تیم روابط جستجوی Google در آخرین پادکست «Search Off The Record» اطلاعاتی در مورد کنترل تعاملات Googlebot با صفحات وب ارائه می دهد. شما نمی توانید Googlebot را از خزیدن بخش های خاصی از صفحه HTML مسدود کنید. استفاده از ویژگی data-nosnippet HTML یا iframe می‌تواند نحوه نمایش محتوا در قطعه‌های جستجو را کنترل کند. یک قانون غیر مجاز در robots.txt یا قوانین فایروال با استفاده از آدرس های IP Googlebot می تواند Googlebot را از یک سایت مسدود کند.

چگونه تعامل Googlebot با وب سایت خود را کنترل کنیم

Google’s Search Relations به چندین سوال در مورد نمایه سازی صفحات وب در آخرین قسمت از پادکست “Search Off The Record” پاسخ داد. موضوعات مورد بحث این بود که چگونه Googlebot را از خزیدن در بخش‌های خاصی از صفحه مسدود کنیم و چگونه از دسترسی کامل Googlebot به یک سایت جلوگیری کنیم. جان مولر و گری ایلیس از گوگل به سوالات بررسی شده در این مقاله پاسخ دادند.

مسدود کردن Googlebot از بخش‌های خاص صفحه وب

مولر می‌گوید وقتی از او پرسیده می‌شود که چگونه می‌توان Googlebot را از خزیدن در بخش‌های خاص صفحه وب، مانند مناطق «هم‌چنین خریداری شده» در صفحات محصول، جلوگیری کرد، غیرممکن است . مولر گفت: “نسخه کوتاه این است که شما نمی توانید خزیدن یک بخش خاص در یک صفحه HTML را مسدود کنید.” وی در ادامه دو راهبرد بالقوه برای مقابله با این موضوع ارائه کرد که هیچکدام راه حل ایده آل نیستند. مولر استفاده از ویژگی HTML data-nosnippet را برای جلوگیری از ظاهر شدن متن در یک قطعه جستجو پیشنهاد کرد.

از طرف دیگر، می توانید از iframe یا جاوا اسکریپت با منبع مسدود شده توسط robots.txt استفاده کنید، اگرچه او هشدار داد که این ایده خوبی نیست. مولر اظهار داشت: «استفاده از فایل iframe روباتی یا جاوا اسکریپت می‌تواند مشکلاتی در خزیدن و نمایه‌سازی ایجاد کند که تشخیص و رفع آن‌ها سخت است. او به همه افرادی که گوش می‌دهند اطمینان داد که اگر محتوای مورد نظر در چندین صفحه دوباره استفاده شود، مشکلی نیست که نیاز به اصلاح داشته باشد. او افزود: “نیازی به مسدود کردن Googlebot از دیدن این نوع تکراری وجود ندارد.”

مسدود کردن Googlebot از دسترسی به وب سایت

در پاسخ به سوالی در مورد جلوگیری از دسترسی Googlebot به هر قسمت از سایت، Illyes راه حلی را ارائه کرد که به راحتی قابل پیگیری است. ایلیز توضیح داد: «ساده‌ترین راه robots.txt است: اگر یک Disallow: / برای عامل کاربر Googlebot اضافه کنید، Googlebot تا زمانی که این قانون را در آنجا نگه دارید، سایت شما را تنها می‌گذارد. برای کسانی که به دنبال راه حل قوی تر هستند، Illyes روش دیگری را ارائه می دهد:

او گفت: “اگر می خواهید حتی دسترسی به شبکه را مسدود کنید، باید قوانین فایروال ایجاد کنید که محدوده IP ما را در یک قانون انکار بارگذاری کند.” برای فهرستی از آدرس‌های IP Googlebot به اسناد رسمی Google مراجعه کنید .

به طور خلاصه

اگرچه جلوگیری از دسترسی Googlebot به بخش‌های خاصی از یک صفحه HTML غیرممکن است، روش‌هایی مانند استفاده از ویژگی data-nosnippet می‌تواند کنترل را ارائه دهد. هنگامی که در نظر دارید Googlebot را به طور کامل از سایت خود مسدود کنید، یک قانون غیر مجاز ساده در فایل robots.txt شما این کار را انجام می دهد. با این حال، اقدامات شدیدتر مانند ایجاد قوانین خاص فایروال نیز در دسترس هستند.