بودجه خزش (Crawl Budget) چیست؟ چرا نادیده گرفتن آن به ضرر شماست؟

قبل از هر چیز اجازه دهید مکالمه آشنایی که در ذهن خیلی از سئوکارها تکرار میشود را به نوشتار تبدیل کنیم:

سئوکار: من هر وقت که محتوای جدیدی تو سایتم میزارم یا یک بخشی رو به‌روزرسانی میکنم، تازه بعد چند هفته متوجه میشم که گوگل این تغییرات رو هنوز ایندکس نکرده!

گوگل: مگه نگفتم بودجه سایت ات رو بیهوده سرِ ریدایرکت ها و صفحات 404 هدر نده!

سئوکار: کدوم بودجه؟

گوگل: همون بودجه ای که باید برای ایندکس کردن صفحات ازش استفاده میکنم، بودجه خزش.

سئوکار: مگه خزش هم بودجه داره؟ از کجا بفهمم چه کارهایی باعث میشه بودجه خزش سایتم کم شه؟

این جاست که داستان شکل گیری مفهومی به نام Crawl Budget برای ما شروع میشود.

بودجه خزش Crawl Budget در سئو چه مفهومی دارد؟

بودجه کراول به تعداد صفحاتی گفته میشود که ربات های گوگل طی یک دوره زمانی مشخص (مثلاً یک روز) در سایت شما ایندکس میکنند. بودجه سایت شما، معمولاً بر اساس بزرگی و تعداد لینک های ورودی به آن مشخص میشود.

بودجه یا نرخ خزش در واقع میزان توجهی است که خزنده های گوگل به سایت شما دارند. این توجه هر چه بیشتر باشد، تعداد بیشتری از صفحات سایت شما کراول و ایندکس میشوند.

حتماً شما هم دارید به این فکر میکنید که چطور بیشترین توجه گوگل را جذب سایت خود کنید… ولی لطفاً هیچ عجله نکنید، بهینه سازی نرخ خزش موضوع جذاب و مهمی است ولی برای درست انجام دادن آن نیاز داریم تا با سازوکار Crawl Budget بیشتر آشنا شویم.

چرا موتورهای جستجو برای سایت ها نرخ کراول در نظر میگیرند؟

اجازه دهید چند قدم به عقب برداریم و درباره ماموریت اصلی گوگل حرف بزنیم:

رساندن بهترین محتوا به دست کاربر

برای اینکه گوگل بتواند این ماموریت سخت ولی ارزشمند را انجام دهد، نیاز دارد که به هر سایت نمره بدهد و بر اساس این نمره بندی، بهترین را انتخاب و در اختیار کاربر قرار دهد. اولین قدم برای نمره دهی چیست؟

اولین قدم این است که گوگل وارد آن سایت ها شود (به آن ها خزش کند!)

پس میتوانیم اینطور نتیجه بگیریم که:

اختصاص دادن بودجه برای خزش، گوگل را قادر میکند تا بتواند در میزان خزش اولویت بندی کند. هر چه این اولویت بندی بهتر صورت گیرد، فضای عادلانه تری برای رقابت سایت های مختلف در فضای اینترنت به وجود می‌آید.

نظر گوگل در مورد بودجه خزش چیست؟

اجازه دهید با نگاه خود گوگل مفهوم نرخ خزش را برای شما توضیح دهیم:

«اول از هر چیز باید بگم که نرخ خزش موضوعی نیست که باعث نگرانی شما بشه. اگر قرار را بر این بزاریم که محتوا بلافاصله بعد از انتشار کراول و ایندکس میشه، پس نگرانی درباره نرخ خزش منطقی نیست.

اگر تعداد صفحات سایت شما به چند صد عدد میرسه، کراول شدن کامل این صفحات امری بدیهی و روتینه. اینکه مشخص کنیم چه محتوایی در چه زمانی کراول بشه موضوعیه که باید دغدغه سایت های بزرگ با تعداد صفحات بالا باشه.»

گوگل به این توضیح بسنده نکرده و برای موشکافی دقیق تر این مفهوم، ما را با دو معیار جدید آشنا میکند.

بودجه مورد نیاز هر سایت چطور تعیین میشود؟

گوگل با استفاده از دو فاکتور Crawl Limit و Crawl Demand، بودجه مورد نیاز هر سایت را مشخص میکند:

1. Crawl limit / host load: منابع سرور سایت ما چه تعداد خزش را میتواند تحمل کند؟

همانطور که میدانید هر بار که گوگل یک صفحه را کراول میکند، یک درخواست مبنی بر دسترسی به منابع سایت به سمت سرور فرستاده میشود. اگر این درخواست ها بیش از حد از طرف ربات های گوگل ارسال شود، منابع سرور سایت نمیتوانند به همه این درخواست ها پاسخ دهند و در نتیجه سایت از کار می‌افتد (یا به اصطلاح down میشود). گوگل از کجا میفهمد ظرفیت خزش سایت ما چقدر است؟ به 2 طریق:

• نشانه های باگ سرور: درخواست های ربات های گوگل مبنی بر خزش چند بار توسط سرور با مشکل روبرو شده اند
• تعداد سایت های فعال در هاست: اگر سایت شما در حال اجرا بر روی یکی از هاست های اشتراکی است و صدها سایت دیگر فعال در این هاست وجود دارند و سایت شما از نظر محتوا و صفحات بزرگ است، در این صورت نرخ کراول شما محدودیت زیادی خواهد داشت.

اگر در این گروه قرار دارید، بهتر است از هاست های اختصاصی استفاده کنید تا هم نرخ خزش شما افزایش پیدا کند و هم سرعت لود صفحات بهبود داده شود.

2. Crawl demand / crawl scheduling: کدام یک از صفحات، ارزش کراول شدن (یا دوباره کراول شدن) را دارد؟

این ارزش بر اساس فاکتورهای زیر اندازه گیری میشود:

• محبوبیت صفحه: چه تعداد لینک داخلی و خارجی با کیفیت به این صفحه داده شده و در چه تعداد عبارت کلیدی جایگاه دارد؟
• تازگی محتوا: محتوای صفحه چند وقت یک بار به‌روزرسانی میشود
• نوع صفحه: برای مثال صفحه دسته بندی را با صفحه شرایط و ضوابط مقایسه کنید. احتمال تغییر محتوا در کدام یک بیشتر مشهود است

برای آشنایی بیشتر با مفهوم تازگی محتوا میتوانید به مقاله الگوریتم freshness گوگل مراجعه کنید.

چرا باید به Crawl Budget اهمیت چند برابری بدهید؟

شاید برای شما هم پیش آمده باشد که بخشی از محتوای سایت خود را به‌روزرسانی میکنید ولی بعد از اینکه آن را منتشر کردید، گوگل چند هفته بعد این تغییر را کراول و ایندکس کرده!

در مواردی حتی این تغییرات همیشه از چشم گوگل پنهان میمانند و هیچ وقت ایندکس نمیشوند. مشکل کجاست؟

نرخ خزش سایت شما با مشکل روبرو است. با مقایسه دو حالت زیر خیلی خوب متوجه اهمیت بودجه سالم سایت خود میشوید:

• سناریوی بهترین حالت بودجه خزش: وقتی یک صفحه به سایت خود اضافه میکنید، توقع دارید که گوگل به طور هوشمندانه و سریعی آن صفحه را ایندکس کند، بدون اینکه شما درخواست fetch کردن آن صفحه را به گوگل بدهید. هر چه این فرآیند سریع تر اتفاق بیافتد، سریع تر میتوانید از محتوای صفحات تازه اضافه شده به سایت (یا به‌روز شده) بهره ببرید.
• سناریوی بدترین حالت بودجه خزش: اگر در حال هدر دادن نرخ کراول سایت خود باشید، ربات های گوگل نمیتوانند به صورت موثری سایت شما را کراول کنند. مثلاً ممکن است توجه خود را بیشتر بر روی صفحاتی از سایت قرار دهند که هیچ اهمیتی برای شما ندارند.

این یعنی ممکن است بعضی از صفحات هدف شما هیچ وقت توسط گوگل شناخته نشوند. اگر گوگل این صفحات را نشناسد، نمیتواند آن ها را کراول و ایندکس کند و در این وضعیت، دریافت ترافیک ارگانیک با استفاده از نتایج گوگل امری غیر ممکن خواهد بود.

میبینید که این سناریو به کجا دارد میرسد؟ سئو سایت شما ممکن است در خاموشی تمام به گند کشیده شود!

حالا اجازه دهید با معرفی چند روش از این سناریوی فاجعه آفرین جلوگیری کنیم.

8 اشتباه جبران ناپذیر برای اینکه بودجه خزش سایت خود را به بدترین شکل بهینه کنید!

«بهینه سازی بودجه خزش» به زبان ساده یعنی اینکه مطمئن شویم هیچ بودجه ای از سایت ما هدر نمیرود و هر خزشی که الگوریتم های گوگل برای سایت ما انجام میدهد با هدف خاصی (مثل ایندکس یک صفحه لندینگ مهم) مصرف شوند.

خوشبختانه ما بودجه کراول سایت های زیادی را بررسی کردیم و میتوانیم با اطمینان بگوییم که بیشتر آن ها از مشکلات مشابهی رنج میبرند. مشکلات ساده ولی در عین حال مهمی که میتواند سایت شما را با کمبود بودجه روبرو کند.

دلایل رایج تلف شدن بودجه خزش عبارتنند از:

1. وجود پارامترهای فیلتر محصولات در URL: آدرس صفحات فروشگاهی گاهی اوقات دارای پارامترهایی هستند که کاربر برای فیلتر کردن محصول از آن ها استفاده میکند. به عنوان مثال آدرس https://www.example.com/toys/cars?color=white . مطمئن شوید که این پارامترها برای گوگل قابل دسترسی و کراول نیست چون در غیر اینصورت باید برای ایندکس آن بودجه اضافه صرف شود.
2. محتوای تکراری Duplicate: صفحاتی که محتوای آن ها کاملاً مشابه یا خیلی شبیه هم باشند را محتوای تکراری میگویند. محتوای کپی شده، صفحات با عنوان های یکسان، و صفحات برچسب تکراری از جمله رایج ترین آن هاست. محتوای کپی معمولاً از لحاظ اولویت ایندکس شدن در جایگاه پایینی قرار دارند پس استفاده بودجه برای ایندکس آن ها منطقی نیست.
3. محتوای بی کیفیت: صفحاتی که محتوای کم ارزش یا کمی در آن هاست، باید تا جای ممکن یا در سایت قرار نگیرند یا اگر میگیرند برای گوگل قابل دسترسی نباشند. این صفحات میتوانند مانند خوره بودجه سایت شما تمام کنند ولی هیچ ارزشی به سایت شما اضافه نکنند!
4. لینک های شکسته یا ریدایرکت شده: لینک های شکسته یا ریدایرکت شده میتوانند مانند زنجیره ای بی نهایت از لینک ها ربات های گوگل را سردرگم کنند. هر چه این سردرگمی بیشتر باشد، بودجه بیشتری هدر میرود. تا جای ممکن یا از آن ها استفاده نکنید یا طبق اصول و به شکلی درستی از آن ها بهره ببرید.

توصیه میکنیم باری درک عمیق تر این دو مفهوم، مقالات لینک شکسته چیست و ریدایرکت 301 چیست را خوب مطالعه کنید.

1. URL های اشتباه در سایت مپ سایت: نقشه سایت شما مهم ترین کروکی دسترسی برای ربات های گوگل است. اگر سایت مپ شما پر از صفحات Broken یا Redirected باشند، گوگل به اشتباه آن ها را کراول میکند. توصیه میکنیم تا جای ممکن ریدایرکت های 3xx، 4xx یا 5xx را در نقشه xml سایت قرار ندهید. به طور پیوسته نقشه xml سایت خود را چک کنید تا مطمئن شوید:

• صفحات بی ارزش و کم اهمیت در آن نیست.
• صفحات هدف در آن حضور دارد.

1. صفحاتی با سرعت لود پایین: صفحاتی که سرعت لود پایینی دارند، یا هیچ وقت لود نمیشوند اثر منفی بر روی Crawl Budget سایت شما میگذارند. چون که این اتفاق این سیگنال را به گوگل میدهد که سرورهای سایت نمیتوانند درخواست ربات های هوشمند گوگل را به خوبی انجام دهند. در نتیجه گوگل نرخ خزش را کاهش میدهد تا درخواست ها به درستی صورت بگیرند.
2. تعداد زیادی صفحات غیر قابل ایندکس: اگر سایت شما صفحات غیرقابل ایندکس زیادی دارد، عملاً دارید گوگل را سرگرم کراول کردن آن ها میکنید. برخی از صفحات سایت غیر قابل ایندکس نیست.
3. ساختار لینک سازی غیراصولی: اگر ساختار کلی لینک سازی داخلی سایت شما غیر اصولی باشد، ممکن میزان توجه گوگل به درستی در بخش های مختلف سایت تقسیم نشود.

مثلاً اگر 10 لینک به صفحه پرسش و پاسخ دادید ولی تنها 5 لینک به صفحه دسته بندی محصولات دادید، یعنی صفحه پرسش و پاسخ نیاز به توجه بیشتری از سوی گوگل دارد. حتماً میدانید که این کار اشتباه محض است! چون صفحه دسته بندی اهمیت بیشتری نسبت به پرسش و پاسخ دارد. یکی از موضوعات مهمی که در سئو کلاه سفید مطرح میشود، لینک سازی داخلی است. برای اینکه خوب بفهمید منظور ما از لینک سازی اصولی چیست به مقاله لینک سازی سئو کلاه سفید بروید.

مهم ترین سوالاتی که کاربران درباره نرخ خزش سایت پرسیده اند (ولی کسی جواب آن ها را نداده!)

در این بخش مهم ترین سوالاتی که در فضای وب درباره نرخ خزش پرسیده شده ولی تا به حال کسی به آن ها پاسخ نداده را به عنوان یک نتیجه گیری برای شما قرار دهیم. جواب بعضی از آن ها در محتوای مقاله موجود است ولی در این جا میخواهیم به طور مختصر و مفید آن ها را بررسی کنیم:

1. چطور نرخ خزش سایت ام رو زیاد کنم؟

گوگل به طور واضحی بیان کرده که ارتباط مستقیمی بین اعتبار صفحه Page Authority و بودجه خزش وجود دارد. یعنی هر چه یم صفحه اعتبار بیشتری داشته باشد، بودجه بیشتری هم برای کراول در اختیار دارد. پس اگر میخواهید بودجه بیشتری داشته باشید، باید اعتبار صفحه یا دامنه خود را تقویت کنید. برای تقویت اعتبار دامنه خود بهترین نقطه شروع این است که سری به مقاله افزایش اعتبار دامنه بزنید تا به طور کامل با روش ها و تکنیک های افزایش اعتبار دامنه آشنا شوید.

2. سرعت سایت و تعداد ارور ها چه تاثیری در Crawl Budget دارد؟

از نظر گوگل یک سایت پر سرعت نشانه سالم بودن سرور های آن است. همانطور که در بخش Crawl Limit گفتیم، سلامت سرور ها یکی از نشانه های بیشتر بودن نرخ خزش است. برعکس این قضیه هم درست است؛ یعنی اگر درخواست به سمت سرور، ارورهای زیادی داشته باشد، نرخ خزش پایین می‌آید.

3. آیا خزش یک فاکتور تاثیر گذار در سئو است؟

تعداد بالای نرخ خزش تاثیری در بهبود جایگاه در صفحه نتایج ندارد. گوگل از 200 فاکتور برای ارزیابی کیفیت سایت ها استفاده میکند و با اینکه نرخ کراول برای گرفتن جایگاه امری ضروری است ولی جزئی از فاکتورهای رتبه دهی نیست.

4. آیا میتوان از تگ کنونیکال برای خزش بهتر سایتم استفاده کنم؟

خوب است در همینجا به تمایز بین خزش و ایندکس اشاره کنیم. استفاده از تگ کنونیکال به ربات های گوگل سیگنالی مبنی بر ایندکس نکردن صفحه مورد نظر میدهد. ولی باید به این نکته توجه کنید که درک این مسئله از نظر گوگل نیازمند خزش است و میتوانیم بگوییم که استفاده از تگ کانونی در میزان خزش تاثیری ندارد. پیشنهاد می‌کنیم برای درک بهتر مقاله تگ canonical چیست را مطالعه کنید.