Google اسناد تأیید Googlebot را به روز می کند

Google اسناد رسمی Googlebot را با راهنمایی جدید درباره بازدید از IP های مرتبط با GoogleUserContent.com به روز کرد.

Google اسناد تأیید Googlebot را به روز می کند

Google اسناد مرکزی جستجوی خود را برای تأیید Googlebot به‌روزرسانی کرد، اسنادی را درباره بازدیدهای ربات ایجاد شده توسط کاربر اضافه کرد، اطلاعاتی که در اسناد قبلی Googlebot وجود نداشت، که برای سال‌ها سردرگمی ایجاد کرده است و برخی ناشران محدوده IP بازدیدهای قانونی را مسدود می‌کنند.

اسناد ربات به تازگی به روز شده

گوگل سند جدیدی اضافه کرد که سه نوع مختلف ربات را که ناشران باید انتظار داشته باشند دسته بندی می کند. این سه دسته از ربات های گوگل هستند:

Googlebot – خزنده جستجو, خزنده های مورد خاص, واکشی توسط کاربر (GoogleUserContent)
آخرین مورد، GoogleUserContent یکی از مواردی است که ناشران را برای مدت طولانی سردرگم کرده است، زیرا Google هیچ سند صریحی در مورد آن ندارد.
این چیزی است که گوگل در مورد GoogleUserContent می گوید:
«واکش‌کننده‌های تحریک‌شده توسط کاربر ابزارها و عملکردهای محصول که در آن کاربر نهایی واکشی را راه اندازی می کند. به عنوان مثال، Google Site Verifier به درخواست یک کاربر عمل می کند. از آنجا که واکشی توسط یک کاربر درخواست شده است، این واکشی‌کننده‌ها قوانین robots.txt را نادیده می‌گیرند.
مستندات بیان می کند که ماسک DNS معکوس دامنه زیر را نشان می دهد:
“***-***-***-***.gae.googleusercontent.com”
Google اخیراً صفحه Google Crawlers خود را به‌روزرسانی کرده است تا بخشی را به طور خاص در مورد واکشی‌های راه‌اندازی شده توسط کاربر ایجاد کند . فهرست خزنده‌های مختلف حاوی ربات‌های یکسانی است، اما صفحه برای دسته‌بندی واکشی‌های راه‌اندازی شده توسط کاربر در گروه خود سازماندهی مجدد شده است. خزنده های زیر اکنون به عنوان واکشی توسط کاربر تعیین شده اند:
Feedfetcher Feedfetcher برای خزیدن فیدهای RSS یا Atom برای Google Podcasts، Google News و PubSubHubbub استفاده می‌شود.
Google Publisher Center فیدهایی را که ناشران صریحاً از طریق Google Publisher Center برای استفاده در صفحات مقصد Google News ارائه کرده اند، واکشی و پردازش می کند.
Google Read Aloud به درخواست کاربر، Google Read Aloud صفحات وب را با استفاده از تبدیل متن به گفتار (TTS) واکشی می کند و می خواند.
Google Site Verifier به درخواست کاربر، توکن‌های تأیید کنسول جستجو را واکشی می‌کند.»
در گذشته، آنچه توسط برخی از جامعه سئو به من گفته شد، این بود که فعالیت ربات از آدرس‌های IP مرتبط با GoogleUserContent.com زمانی که کاربر یک وب‌سایت را از طریق یک تابع ترجمه که قبلاً در نتایج جستجو بود، مشاهده می‌کرد، فعال می‌شد. که دیگر در SERP های گوگل وجود ندارد. نمی دانم در گذشته این درست بود یا نه. اما موارد فوق اطلاعات جدیدی است که ما اکنون در مورد واکشی‌های تحریک‌شده توسط کاربر داریم. به‌علاوه، Google اطلاعات زیر را درباره واکشی‌های راه‌اندازی شده توسط کاربر اضافه کرد:
واکشی‌های راه‌اندازی شده توسط کاربر توسط کاربران برای انجام یک عملکرد خاص محصول فعال می‌شوند. به عنوان مثال، Google Site Verifier به درخواست کاربر عمل می کند. از آنجا که واکشی توسط یک کاربر درخواست شده است، این واکشی‌کننده‌ها عموماً قوانین robots.txt را نادیده می‌گیرند. محدوده IP که واکشی‌های راه‌اندازی شده توسط کاربر استفاده می‌کنند، در شی user-triggered-fetchers.json منتشر می‌شوند.”
اسناد جدید گوگل توضیح می دهد که فعالیت ربات از آدرس های IP مرتبط با GoogleUserContent.com می تواند توسط ابزار Google Site Verifier فعال شود. تغییر دیگر در اسناد، ارجاع به googleusercontent.com در زمینه آدرس های IP است که به نام دامنه، GoogleUserContent.com اختصاص داده شده است. در نهایت، گوگل خزنده Android Apps Mobile خود را بازنشسته کرد. رمز عامل کاربر و رشته کامل هر دو عبارت بودند از: AdsBot-Google-Mobile-Apps
این هدف از خزنده بازنشسته بود:
«کیفیت آگهی صفحه برنامه اندروید را بررسی می‌کند. از قوانین ربات های AdsBot-Google پیروی می کند، اما عامل جهانی کاربر (*) را در robots.txt نادیده می گیرد.”
اینم متن جدید:
“تأیید کنید که نام دامنه googlebot.com، google.com، یا googleusercontent.com باشد.”
یکی دیگر از موارد اضافه شده، متن زیر است که از صفحه قدیمی گسترش یافته است:
از طرف دیگر، می‌توانید Googlebot را با آدرس IP با تطبیق آدرس IP خزنده با لیست‌های محدوده IP خزنده‌ها و واکنده‌های Google شناسایی کنید:
Googlebot, خزنده های ویژه مانند AdsBot, واکشی توسط کاربر

اسناد شناسایی ربات گوگل

اسناد جدید در نهایت چیزی در مورد ربات هایی دارد که از آدرس های IP مرتبط با GoogleUserContent استفاده می کنند. بازاریابان جستجو با این آدرس های IP گیج شده بودند و تصور می کردند که آن ربات ها هرزنامه هستند. یک بحث راهنمای Google Search Console از سال 2020 نشان می‌دهد که افراد چقدر در مورد فعالیت مرتبط با GoogleUserContent سردرگم بودند. بسیاری در آن بحث به درستی به این نتیجه رسیدند که این ربات گوگل نیست، اما سپس به اشتباه به این نتیجه رسیدند که این یک ربات جعلی است که وانمود می کند گوگل است. کاربری ارسال کرده است:
رفتاری که من از این آدرس ها می بینم به رفتار قانونی ربات Google بسیار نزدیک است (اگر نه یکسان) و به چندین سایت ما برخورد می کند. اگر اینطور نیست – به نظر می رسد این نشان می دهد که فعالیت ربات مخرب گسترده ای توسط شخصی وجود دارد که تلاش زیادی می کند تا شبیه گوگل در سایت های ما باشد که نگران کننده است.
پس از چندین پاسخ، شخصی که بحث را شروع کرده است، نتیجه می گیرد که فعالیت GoogleUserContent هرزنامه بوده است. آنها نوشتند:
«…ربات‌های Google مورد بحث از کاربران رسمی تقلید می‌کنند، اما به نظر می‌رسد شواهد نشان می‌دهد که جعلی هستند. فعلاً آنها را مسدود خواهم کرد.»
اکنون می دانیم که فعالیت ربات از IP های مرتبط با GoogleUserContent ربات های اسپم یا هکر نیستند. آنها واقعا از گوگل هستند. ناشرینی که در حال حاضر آدرس‌های IP مرتبط با GoogleUserContent را مسدود می‌کنند، احتمالاً باید آنها را رفع انسداد کنند.