بودجه خزش (crawl budget) + ترفند های افزایش و کاهش آن

بودجه خزش، یک اصطلاحی است که برای موتورهای جستجو هنگام خزیدن در وبسایت ها در نظر گرفته می شود. گوگل برای اینکه بتواند منابع خود را حفظ کند با توجه به میزان فعالیت آن وبسایت و همینطور اثر گذاری و مهم بودن آن برای کاربران، یک بودجه خزشی را در نظر می گیرد.

بودجه خزش را می توان اینگونه تعریف کرد، به سرعت و تعداد صفحاتی که ربات های گوگل ایندکس کرده و در دیتابیس گوگل ثبت می کنند.

بالا بودن میزان Crawl Budget نشان دهنده این نیست که وبسایت شما رتبه های خوب را قطعا خواهد گرفت و شما دیگه جزو برترین های حوزه کاری خودتان هستید. اما زمانی که بودجه خزش سایت شما کم باشد، قطعا صفحات شما در نتایج نمایش داده نخواهند شد.

در اکثر مواقع در مورد میزان بودجه خزش وبسایت ها نگرانی وجود ندارد اما در این مقاله آموزش سئو از آکادمی seoedu، گاهی اوقات این مسائل می تواند دردسر ساز باشند و همینطور نگران کننده که الان می خواهیم به بررسی تعداد از علل کاهش و یا کم بودن نرخ خزش بپردازیم.

چه زمانی باید نگران میزان بودجه خزش سایت خود باشیم؟

اولا که شما نباید زیاد نگرانی بابت Crawl Budget داشته باشید، زیرا گوگل خودش می داند که باید برای هر وبسایتی چه میزان قرار دهد. اما خوب این مسئله می تواند سایت های که تازه تاسیس بوده و نوپا هستند را کمی دچار نگرانی کند.

باید گفت تا زمانی که شما وبسایت معروفی نشده اید و گوگل به شما اهمیت زیادی نداده است، قطعا بودجه زیادی برای شما کنار نخواهد گذاشت.

تصور کنید شما در حال اجرای کمپین فروش خود می باشید، یک وبسایت ناشناس به شما پیشنهاد تبلیغات می دهد و می گوید در وبسایت من می توانید تبلیغات بروید.

اگر آن وبسایت حتی ورودی های هدفمند و خوبی را برای شما به وجود آورد قطعا شما بودجه کمتری به آن اختصاص خواهید داد زیرا این وبسایت شناخته شده نبوده و در کنار تبلیغ در وبسایتی مثل ورزش 3 و امثال این ها کمتر مورد توجه قرار می گیرد.

اما زمانی که یک تست از آن وبسایت گرفته و از تبلیغ از آن بهترین نتیجه را می گیرید، قطعا دفعات بعدی هم برای شما ارزشمند خواهد بود.

این موضوع در مورد ربات های گوگل هم صدق می کند. زمانی که شما بتوانید ورودی های خوب از گوگل دریافت کنید، حتی ورودی های کم، اما همان میزان را راضی نگه داشته و اطلاعات مفیدی به آن کاربران بدهید، قطعا گوگل به شما اهمیت بیشتری خواهد داد.

نکته خیلی مهمی که اینجا وجود دارد این است که گاهی اوقات سایت شما ممکن است مطالب و صفحات زیادی نداشته باشد و حتی آن صفحات به روز رسانی هم نشوند قطعا نباید نگران میزان بودجه کروال خود باشید.

اما این مسئله برای وبسایت هایی که صفحات میلیونی داشته و دائم در حال به روز رسانی می باشند اهمیت پیدا کرده و در نتیجه، باید راه هایی را ارائه کرد تا میزان بودجه خزش را افزایش داد که راه کار های آن را به شما خواهیم گفت.

نحوه بررسی خزنده های گوگل

برای بررسی میزان بودجه خزش وبسایت خود می توانید از طریق پنل سرچ کنسول، از قسمت settings وارد بخش Crawl stats شده و در آنجا میزان خزش و بودجه خود را مشاهده نمایید.

حال شما با استفاده از اطلاعات درج شده در این بخش می توانید متوجه این موضوع شوید که میزان خزش وبسایت شما چقدر بوده و همینطور به چه میزان وبسایت شما خزش دریافت می کند.

گوگل چگونه سایت ها را خزش می کند؟

هر وبسایت دارای میزان مشخصی از بودجه خزش می باشد که گوگل آن را برایش تعیین می کند. حال اینکه چطوری مشخص می شود باید گفت که بر اساس چندین ورودی این موضوع مشخص می گردد.

1- میزان درخواست خزش

اینکه سایت شما چه میزان درخواست برای خزش برای گوگل ارسال می کند، چه تعداد صفحه در روز تولید می کند و اینکه این صفحات چقدر اهمیت دارند، تعیین کننده این است که گوگل چه میزان بودجه را برای وبسایت شما در نظر بگیرد. زمانی که شما سفارش تولید محتوا متنی سایت خود را جدی نگرفته و صفحات خیلی بد و افتضاح به سایت اضافه کنید، قطعا گوگل به شما اهمیتی نخواهد داد.

قطعا صفحات سایت شما که میزان قابل توجهی لینک داخلی داشته باشند، ابتدا گوگل آن ها را ایندکس و بررسی می کند. شما می توانید این صفحات که میزان خیلی زیاد لینک داخلی دریافت کرده اند را از صفحه سرچ کنسول خود از قسمت links استخراج کنید.

اما این ها هیچ کدام دلیل بر آن نیست که میزان بودجه خزش را بفهمیم، گوگل صفحه ای را که روز اول خزیده است، روز دوم خزش می کند و اگر تغییری مشاهده نکند فرضا 2 روز بعد مجدد به آن سر میزند و همینطور در بازه های 10، 100 و … خزش کرده و زمانی که متوجه شود دیگر هیچ تغییری در آن رخ نداده دیگر هرگز کروال نخواهد کرد.

اما در کل زمانی که گوگل تغییرات زیاد و بزرگی را در صفحات سایت شما ببینید قطعا به صورت مداوم به سایت شما سر زده و به طور موقت میزان بودجه خزش را افزایش می دهد.

2- محدودیت نرخ خزش

زمانی که وبسایت شما گنجایش خزش زیاد را نداشته باشد، ربات ها به صورت اتومات سعی می کنند تا به وبسایت صدمه ای وارد نکنند و در نتیجه میزان نرخ خزش را کاهش می دهند که این موضوع می تواند به ساختار و طراحی سایت و همینطور هاستینگ شما مرتبط باشد.

تصور کنید میزان نرخ خزش زیادی بر روی سایت شما انجام گیرد، قطعا وبسایت شما دچار مشکل شده و منابع آن مصرف شده و از دسترس خارج خواهد شد. پس هر وبسایت با توجه به محدودیت ها و ظرفیت خود، بودجه را دریافت می کند.

من می خواهم گوگل سریع تر وبسایتم را کروال کند

چند راه وجود دارد تا شما بتوانید میزان بودجه خزش وبسایت خود را افزایش دهید و با چک کردن آن ها قطعا به میزان کروال وبسایت شما کمک بسیار زیادی خواهد کرد.

سرعت سرور خود را افزایش دهید

یکی از موضوعاتی که باعث می شود تا میزان خزش شما افزایش پیدا کند، مسئله تقویت سرور و منابع شما می باشد. هرچه سرعت سایت شما بهینه تر و همینطور سرور قوی تری داشته باشید باعث می شود تا زمانی که ربات های گوگل فایل های داخل سایت یعنی صفحات سایت را دانلود می کند منابع کمتری را شامل شوند و در نتیجه میتواند بودجه خزش شما را افزایش دهد.

وجود لینک های داخلی و خارجی زیاد

استفاده از لینک های داخلی و خارجی زیاد می تواند میزان بودجه خزش را افزایش دهد و این موضوع به این صورت است که، وقتی ربات گوگل وارد یک صفحه می شود و با لینک های داخلی زیاد (البته نه اسپم) رو به رو میشود باید تمامی آن لینک ها را کروال کند.

تصور کنید ربات گوگل فضول ترین شخص در دنیای وب باشد، هر جا لینک ببینید آن را پیگیری می کند.

زمانی که در دفعه اول، لینک های زیادی را ببینید و نتواند همه را کراول کند قطعا مجبور است برای کروال بعدی خود، میزان نرخ بودجه خزش را افزایش داده تا در نتیجه بتواند تمامی صفحات را بررسی نماید.

از این روش شما می توانید برای بحث افزایش میزان بودجه خزش وبسایت خود استفاده کنید. اما نکته ای که وجود دارد این است که برای لینک های خارجی هم به همین صورت است اما خوب لینک های خارجی ما دسترسی کمتری به آن ها داریم و در نتیجه لینک داخلی گزینه بهتر و مناسب تری می باشد.

اما شما می توانید با شرکت در دوره آموزش لینک سازی خارجی، به راحتی بک لینک های خود را در کوتاه ترین زمان ممکن ساخته و همینطور به صورت کاملا طبیعی این روش را یاد بگیرید.

ریدایرکت ها و لینک های شکسته را درست کنید

در مورد موضوع ریدایرکت ها و لینک های شکسته، بهتر است توجه داشته باشید که شما با درست کردن آن ها می توانید ربات گوگل را بهتر در صفحات خود هدایت کنید.

تصور کنید وارد یک ساختمان می شوید و در آن ساختمان تعداد زیادی در وجود دارد، شما در اول را باز می کنید و متوجه می شوید که پشت آن هیچ چیزی وجود ندارد و در نتیجه برای باز کردن درهای دیگر اشتیاقی نخواهید داشت.

این اتفاق دقیقا برای ربات های گوگل نیز رخ خواهد داد. پس مراقب باشید صفحات با ارور های 4xx و 3xx را در وبسایت خود درست کنید.

یک ابزار عالی که می تواند درمورد موضوع لینک های شکسته و ریدایرکت ها به شما کمک کند ahrefs می باشد که شما می توانید از بخش reports وارد قسمت internal pages شده و از آن جا صفحات خود را بررسی کنید.

البته استفاده از ابزار اسکریمینگ فراگ نیز میتواند به شما در این موضوع کمک کند.

چه کارهایی بودجه خزش را بهتر نمی کند؟

1- تغییرات کوچک در صفحات سایت

گوگل خیلی باهوش تر از این حرفاست!

زمانی که شما فقط تاریخ انتشار، رنگ یک متن، علامت گذاری ها و امثال این ها را تغییر میدهید قطعا به این تغییرات توجهی نخواهد کرد و قرار نیست به خاطر آن ها به شما بودجه خزش بیشتری بدهد.

2- دست کاری در فایل robots.txt

3- عدم استفاده از تگ های nofollow

یکی از شایعاتی که در ذهن عزیزان وجود دارد این است که استفاده از تگ های نوفالو در صفحه منجر به کاهش نرخ خزش می شود. آخه این چه حرفیه

4-حذف کردن third-party scripts

باید بدانید که موضوع فایل های third-party scripts تاثیری در میزان نرخ بودجه شما نخواهد داشت. منظور از third-party scripts این است که شما کدهای جاوایی که از جای دیگر فراخوانی می شوند مثل کدهای وبسایت آپارت.

من میخوام گوگل سایتم رو دیر به دیر کروال کنه!!!

چند راه وجود دارد که می توانید با استفاده از آن ها نرخ خزش را کاهش دهید که البته این ها را اصلا پیشنهاد نمی کنم و تعهد آن برعهده خودتان می باشد.

یکی از راه هایی که وجود دارد استفاده از ابزار خود گوگل برای کاهش میزان نرخ کروال می باشد. شما می توانید از طریق سرچ کنسول وبسایت خود از این لینک میزان نرخ بودجه خزش وبسایت خود را کم یا زیاد کنید.

اما اضافه کردن میزان نرخ خزش در این بخش می تواند ریسک پذیر باشد و به وبسایت شما ضربه بزند.

باز هم این مورد را تاکید می کنیم که تغییرات در تنظیمات این بخش تعهدی برعهده تیم seoedu نداشته و برعهده خودتان می باشد.

من محمد رضا دهقانی، مدیر آکادمی seoedu خوشحالم که در این مقاله نیز با شما همراه بودم. امیدوارم که توانسته باشم تجربه جدیدی را برای شما خلق کنم. در صورت داشتن هر گونه سوال و اشکال درمورد مطالب گفته شده می توانید از بخش دیدگاه ها اقدام نمایید و من سعی می کنم در کوتاه ترین زمان ممکن به سوال شما پاسخ دهم.

سوالات متداول

بودجه خزش چیست؟

بودجه خزش به میزان سرعت و تعداد صفحاتی گفته می شود که ربات های گوگل با هر بار خزش در سایت، ایندکس می کنند.

بودجه خزش چگونه مشخص می شود؟

گوگل برای اینکه بتواند بودجه خزش متناسب با هر سایت را مشخص کند از دو فاکتور Crawl Limit و Crawl Demand استفاده می کند.

آیا می توان بودجه خزش را افزایش و کاهش داد؟

جواب قطعی برای این سوال وجود ندارد که بله یا خیر، اما خوب روش هایی وجود دارد که با استفاده از آن ها می توانید بودجه خزش وبسایت خود را افزایش یا کاهش دهید که در مقاله به توضیح کامل آن ها پرداخته ایم.