سیاست و بازاریابی - با نحوه عملکرد ربات گوگل چقدر آشنا هستید؟ اگر می‌خواهید محتوای پربازدیدی داشته باشید، باید اصول مورد نیاز برای بهبود عملکرد ربات گوگل را در سایت خود مورد توجه قرار دهید. در این مقاله به عوامل موثر در خزیدن ربات گوگل در صفحات وب می پردازیم.
ربات گوگل (Googlebot) یک ربات خزنده وب است که وظیفه‌اش جمع‌آوری اطلاعات صفحات وب‌سایت‌های گوناگون و ارسال آن به سرورهای گوگل جهت آپدیت ایندکس گوگل است. میزان حضور این ربات در صفحات وب از اهمیت بسزایی برای تعیین کیفیت محتوای تولید شده، برخوردار است. جهت سئوی حرفه‌ای و اصولی حتما باید با نحوه کارکرد گوگل بات آشنا باشید.

وظیفه ربات گوگل چیست؟
در مورد ربات گوگل ممکن است با نام‌های متفاوتی مواجه شوید که بهتر است با آن‌ها آشنا شوید. از این ربات با نام‌هایی چون کرالر به معنای خزنده، یا اسپایدر به معنای عنکبوت، نیز یاد می‌شود. خزنده وب یک ربات اینترنتی است که به طور سیستماتیک شبکه جهانی وب را مرور می کند و معمولاً توسط موتورهای جستجو به منظور نمایه سازی وب اداره می شود. از این موضوع با عنوان ایندکس کردن یا فهرست کردن نیز یاد می‌شود.
دو مورد از مهم‌ترین وظایف گوگل بات شامل موارد زیر است:
موتورهای جستجوی وب و برخی دیگر از وب سایت‌ها از نرم افزار خزنده وب برای به روزرسانی محتوای وب استفاده می‌کنند. کرالرها، صفحات وب را پردازش کرده و در صورتی که کیفیت صفحه را مناسب ببیند، آن ها را کپی و بارگیری می‌کنند. سپس این صفحات بارگیری شده را در اختیار موتور جستجو قرار می‌دهند تا امکان نمایش صفحه، به هنگام جستجوی کاربران فراهم شود. بدین ترتیب کاربران می‌توانند جستجوی کارآمدتری داشته باشند و به سادگی به محتوای مناسب و با کیفیت دسترسی پیدا کنند.
ربات گوگل صفحه به صفحه وب را به صورت مستمر و بدون وقفه کاوش می‌کند، صفحات را از نظر داشتن لینک‌های جدید بررسی کرده و اطلاعات به دست آمده را ذخیره می‌کند. گوگل از خزنده‌های متفاوتی برای ایندکس‌گذاری صفحات وب استفاده می‌کند که هر کدام از این خزند‌ه‌ها از مکان‌ها و سرورهای متفاوتی نشأت گرفته‌اند.

تشریح نحوه عملکرد خزنده ها از زبان تحلیل‌گران گوگل
طی برگزاری یک رویداد علاقه ‌مندانی از سراسر جهان گرد هم آمدند تا با ویژگی‌های جدید گوگل آشنا شوند. جان مولر، تحلیل‌گر و عضو تیم ارتباط و پشتیبانی گوگل که مدرس این دوره بود، عوامل و فاکتورهای موثر بر رفتار ربات گوگل را توضیح داد. اینکه چرا گوگل بات گاهی در تعداد زیادی از صفحات یک سایت می‌خزد و گاهی در مورد یک سایت دیگر اصلا چنین کاری نمی‌کند.
ابتدا با بودجه خزیدن گوگل آشنا می‌شویم و در ادامه در جریان مکالمات این رویداد و پاسخ های مولر به کارآموزان قرار خواهیم گرفت.
بودجه خزیدن گوگل چیست؟
GoogleBot نام خزنده گوگل است که به صفحات وب می‌رود و آن‌ها را برای اهداف رتبه‌بندی پیمایش و نمایه می‌کند. اما از آن‌جا که وب گسترده است، استراتژی گوگل به گونه‌ای است که فقط قدرت پیمایش صفحات وب با کیفیت بالاتر را دارد و نمی‌تواند صفحات وب با کیفیت پایین را پیمایش کند.
تعریف بودجه خزیدن طبق صفحه توسعه دهنده گوگل برای وب سایت های عظیم (در میلیون‌ها صفحه وب):
مقدار زمان و منابعی که گوگل برای خزیدن یک سایت اختصاص می دهد، بودجه خزیدن سایت نامیده می‌شود. توجه داشته باشید که هر آنچه در سایت شما پیماش شده است، لزوماً فهرست نخواهد شد. هر صفحه باید ارزیابی، تلفیق و بررسی شود تا مشخص شود که آیا پس از خزیدن، استحقاق نمایه شدن را دارد یا خیر.
بودجه خزیدن توسط دو عنصر اصلی تعیین می شود:
تقاضای خزش (crawl demand): میزان آدرس‌هایی است که گوگل می خواهد در سایت شما به ازای آن‌ها بخزد. محدودیت ظرفیت خزش (crawl capacity): کشش سرور شما برای خزش بدون مشکل آدرس‌ها چقدر است.

چه چیزی بودجه خزیدن ربات گوگل را تعیین می کند؟
در رویداد آموزشی گوگل، یکی از توسعه دهندگان به جان مولر گفت:
«ما سایتی با صدها هزار صفحه داریم و مشاهده کرده‌ایم که روزانه حدود 2000 صفحه از صفحات ما مورد خزش ربات گوگل قرار می‌گیرد؛ در حالی که این سرعت خزش برای چنین سایت بزرگی بسیار کند است. حتی متوجه شده‌ایم که بالغ بر 60.000 صفحه از صفحات ما یا کراول نشده و یا هنوز فهرست و ایندکس نشده است. با اینکه ما واقعا در تلاش بوده‌ایم تا پیشرفت‌هایی را انجام دهیم؛ اما شاهد پرش روزانه صفحاتمان نیستیم. آیا شما توصیه‌ای برای اطلاع از افزایش بودجه خزنده فعلی دارید؟»
جان مولر پاسخ داد:
« با توجه به توضیحات شما من دو عامل اصلی را بر این امر موثر می‌دانم:
یک دلیل ممکن است کند بودن سرور باشد که حتما این موضوع را در گزارش‌های آماری خزنده نیز می‌بینید.
بنابراین اولین موضوع مهمی که باید به دنبال آن باشید، سرعت ارائه صفحات سایت به گوگل است. این موضوع می تواند بودجه خزیدن ربات گوگل را تحت تأثیر قرار دهد و باعث شود که خزنده در وب‌سایت شما نگردد.»
دومین دلیل مهم دیگر این که چرا ربات گوگل در بسیاری از وب سایت‌ها نمی‌خزد؛ این است که درمورد کیفیت آن‌ها به طورکلی قانع نشده است. این چیزی است که من مشاهده می‌کنم. به خصوص سایت‌های جدید و نوپا بیش‌تر با این مشکل دست و پنجه نرم می‌کنند.»
جان مولر در ادامه توضیح داد:
«روزانه صفحات بسیار زیادی به وب افزوده می‌شود و خزنده‌ها آن‌ها را پیدا می‌کنند. اما تا زمانی که مطمئن نشوند کیفیت به حد کافی مناسب است، در مورد خزیدن و نمایه سازی آن‌ها احتیاط می‌کنند. »

تشویق گوگل
مولر در ادامه صحبت های خود به نکته قابل توجه دیگری اشاره کرد و گفت:
«اگر سایت به خوبی قابل خزش باشد، مورد بعدی که می‌خواهم عنوان کنم این است که چه کاری می‌توانید انجام دهید تا وب سایت خود را کمی بهتر ارتقا دهید. این روش می‌تواند چیزی مانند تشویق کاربران به بازدید از سایت، تبلیغات و یا شاید یک همکاری موقت با شخص دیگری جهت افزایش بازدید از سایت باشد.
همچنین اگر شما یک سایت تجاری خصوصاً یک سایت تجاری محلی کوچک دارید، شاید اتاق‌های بازرگانی محلی وجود داشته باشند که علاقه‌مند به لینک دادن به وب سایت شما باشند تا کمی اطلاعات اضافی به شما بدهند. این شیوه نیز در افزایش بازدید سایت شما و ارزشمند ساختن آن برای خزش کرالرها مفید است.به طوری که وقتی ربات‌های گوگل به وب سایت شما نگاه می‌کنند، بگویند این یک سایت تجاری کوچکِ درست و پذیرفتنی است و باید سعی کنیم همه چیز را فهرست بندی کنیم.
کلمات کلیدی قهرمان
کلمات کلیدی واقعی متن را به درستی پیدا کرده و آن‌ها را جایگزین کنید. سپس تغییرات عملکرد آن‌ها را در Google Analytics مورد بررسی قرار دهید. این تکنیک نیز در جهت بهبود سئو سایت و ارزشمند ساختن محتوا برای کرالرها به میزان قابل توجهی اثرگذار است.

عواملی که بر تعداد صفحات کرال شده تأثیر می گذارد
عوامل دیگری نیز وجود دارد که می‌تواند بر تعداد صفحاتی که ربات گوگل در آن‌ها می‌خزد، تأثیرگذار باشد.
به عنوان مثال یک وب سایت میزبان در یک سرور مشترک ممکن است نتواند صفحات را به سرعت به گوگل ارائه دهد. به این علت که ممکن است سایت‌های دیگری نیز در سرور وجود داشته باشند که از بیش از حد از منابع استفاده می‌کنند و باعث کند شدن سرعت سرور برای هزاران سایت دیگر موجود در آن می‌شوند.
جان مولر برای یادآوری سرعت ارائه دهنده سرور به صفحات وب توصیه خوبی دارد:
" حتماً دقت کنید که بعد از ساعت‌ها و در شب آن را بررسی کنید. زیرا بسیاری از خزنده ها در ساعات اولیه صبح می خزند. چرا که در آن ساعات تعداد بازدید کنندگان کمتری در سایت‌ها است."

علت اهمیت ربات گوگل
ربات گوگل را می‌توان ابزار اصلی گوگل برای بررسی و درک سایت‌ها دانست. گوگل، محبوب‌ترین موتور جستجوی دنیا، خود به تنهایی بر موفقیت سایت‌ها بسیار اثر گذار است. چرا که حجم بالایی از ‌ترافیک سایت‌ها از سوی گوگل تامین می‌شود. بنابراین همواره توصیه می‌شود فعالیت‌های سئوی سایت، متمرکز بر موتور جستجوی گوگل انجام شوند.
این گوگل است که کاربران را به سمت محتوای شما هدایت می‌کند و برای این منظور به دو چیز نیاز دارد:
اول اینکه باید از وجود داشتن محتوای شما آگاه شود. دوم اینکه باید به اندازه کافی در مورد محتوای شما اطلاعات در دسترس داشته باشد. کرالر گوگل بات انجام این وظایف را بر عهده دارد. او ابتدا باید صفحات سایت شما را پیدا کرده و به گوگل اطلاع دهد. سپس با جمع‌آوری اطلاعات مناسب کمک می‌کند که گوگل محتوای شما را به مخاطبان اصلی آن متصل کند.
بهینه سازی سایت برای گوگل بات
ربات گوگل در هر حال محتوای شما را خواهد یافت. شاید این موضوع باعث شود فکر کنید پس دیگر نیازی نیست که شما کاری انجام دهید. اما باید بدانید هر چه زودتر این اتفاق بیفتد برای بهبود وضعیت انتشار محتوای شما مفیدتر است. سرعت بخشیدن به این فرآیند مستلزم انجام مراحلی در قالب سئو می‌باشد. سئو مجموعه گسترده‌ای از تکنیک‌ها را شامل می‌شود که در این‌جا شما را با برخی از مهم‌ترین آن‌ها در جهت ساده‌تر کردن کار ربات گوگل آشنا می‌کنیم:
انجام دادن تنظیمات لازم در داشبورد وردپرس: با این کار از قابل مشاهده بودن محتوا و سایت خود برای موتورهای جستجو اطمینان حاصل کنید. عدم استفاده یا به حداقل رساندن لینک های نوفالو (nofollow): توجه کنید که این دسته از لینک‌ها هرگز نباید به عنوان لینک داخلی در سایت شما مورد استفاده قرار گیرند. ایجاد یک نقشه سایت برای وب سایتتان: این کار می‌تواند باعث شود که کرالرها به سادگی همه محتواهای موجود در سایت شما را پیدا کنند. برای این کار می‌توانید از پلاگین هایی مانند Yoast SEO کمک بگیرید. بهره گرفتن از ابزارهای متنوع کنسول جستجوی گوگل (Google Search Console): به کمک ابزارها نقشه سایت خود را ثبت کنید. این ابزارها همچنین در رفع خطاهای احتمالی موجود در سایت شما مفید هستند و در صورت یافتن مشکل، توصیه‌های لازم جهت رفع آن را به شما ارائه خواهند داد. قرار دادن لینک محتوای جدید در صفحه اصلی سایت: به گفته جان مولر ربات‌های گوگل در هر بار مراجعه به سایت، صفحات مهم و اصلی سایت را مورد بررسی قرار می‌دهند. قرار دادن لینک محتوای جدید در این صفحات موجب هدایت کرالرها به سمت آن محتوا و ایندکس شدن آن می‌شود. نشر محتوا به طور منظم: با توجه به تعداد بسیار بالای سایت‌ها و صفحات موجود در وب، قطعاً ربات‌های گوگل محدودیت‌ها و اولویت‌هایی برای بررسی صفحات وب دارند. خوب است که بدانیم محدوده‌ای که کرالرها برای بررسی یک سایت مد نظر قرار می‌دهند، متأثر از میزان گستردگی سایت و بازه‌های زمانی انتشار محتوا می‌باشد. پس می‌توان نتیجه گرفت که انتشار منظم مطالب، مراجعه کرالرها را به سایت ما افزایش می‌دهد و به این ترتیب سرعت ایندکس شدن مطالب نیز بالا می‌رود.
البته به این موضوع هم توجه داشته باشید که سئو به معنای پیروی از یک روش ثابت و مشخص و یا اعتماد کردن به روش یک سایت یا فرد معتبر نیست. سئو یک فرآیند منطقی است که می ‎ تواند بسته به نوع مشکل شما منجر به پاسخ های متفاوتی شود. می‌توانید روش‌های مختلفی را تست کرده و در نهایت بهترین آن‌ها را مورد استفاده قرار دهید.

بررسی رفتار گوگل بات در سایت شما
برای چک کردن تعداد دفعات خزش کرالرها در سایت خود، هم می‌توانید از فایل‌های لاگ کمک بگیرید و هم می‌توانید این کار را با مراجعه به Crawl Section در کنسول جستجوی گوگل انجام دهید. همچنین ابزارهایی مانند Kibana برای دستیابی به امکانات پیشرفته‌تر جهت بهبود عملکرد خزنده‌ها در سایت شما، می‌توانند مفید واقع شوند.
جمع‌بندی
قطعاً صاحبان همه سایت‌ها تمایل دارند که محتوای جدیدشان به سرعت توسط موتورهای جستجو ایندکس شود و شاهد بازخورد محتوا با حضور کاربران و افزایش بازدید از سایتشان باشند. با بررسی چیستی کرالرها و چگونگی عملکرد آن‌ها درمی‌یابیم که تا چه میزان در بالا بردن رتبه محتوا و سایت ما اثرگذارند. پس اگر می‌خواهید محتوای پربازدیدی داشته باشید، باید اصول مورد نیاز برای بهبود عملکرد ربات گوگل را در سایت خود مورد توجه قرار دهید. تولید محتوای جدید و ایجاد تغییرات فنی در سایت، میزان حضور این ربات نامحسوس را در سایت شما افزایش داده و به همان نسبت نتایج بهتری به هنگام جستجو در موتور گوگل خواهید گرفت.
اگرچه فاکتورهای متعددی از جمله تعداد تولید محتوا، اعتبار دامنه، کیفیت سایر صفحات سایت، موضوع کاری سایت و رتبه سایر صفحات سایت در گوگل، درایندکس شدن سریع صفحات جدید اثرگذار هستند؛ اما محتوای صفحه، بسیار مهم‌تر و اثرگذارتر نسبت به سایر موارد گفته شده است.
بر خلاف گذشته که تاکید صاحبان سایت بر تکنیک‌های سئو به گونه‌‍‌ای بود که محتواهای تولید شده از حالت کاربر پسند خارج شده بودند، اکنون می‌دانیم که استفاده از این روش‌ها باعث ایندکس نشدن صفحه و یا حتی پنالتی شدن آن می‌شود.