کراول باجت یا بودجه خزش چیست؟

کراول باجت (بودجه خزش) یعنی تعداد صفحاتی از سایت شما که ربات گوگل (Googlebot) در یک بازه زمانی مشخص در آنها می‌خزد و ایندکسشان می‌کند.

چرا کراول باجت برای سئو اهمیت دارد؟

به طور خلاصه، اگر گوگل صفحه‌ای را ایندکس نکند، هیچ رتبه‌ای نخواهد گرفت.

بنابراین اگر تعداد صفحات شما بیشتر از بودجه خزش سایت شود، پس با صفحات ایندکس نشده در سایت مواجه خواهید شد.

البته اکثریت سایت‌های موجود، نیازی به نگرانی در مورد کراول باجت ندارند. چون گوگل در پیدا کردن و فهرست کردن صفحات واقعا خوب عمل می‌کند.

با این حال، در چند مورد زیر به بودجه خزش توجه کنید:

• سایت بزرگی دارید: اگر وب سایتی (مانند یک سایت فروشگاهی) با بیش از 10 هزار صفحه دارید، پس گوگل در یافتن همه آنها مشکل دارد.
• به تازگی یک مجموعه از صفحات را اضافه کرده‌اید: اگر اخیراً یک بخش جدید با صدها صفحه به سایت خودتان اضافه کرده‌اید، پس باید مطمئن شوید که بودجه خزش برای ایندکس کردن سریع همه آنها را دارید.
• تعداد زیادی ریدایرکت دارید: تعداد زیاد ریدایرکت‌ها و زنجیره‌های ریدایرکت، کراول باجت یا بودجه خزش شما را می‌خورد.

با این وجود، در اینجا چند راه ساده برای به حداکثر رساندن بودجه خزش سایت شما وجود دارد.

مطلب پیشنهادی: چگونه سرعت ایندکس شدن سایت را افزایش دهیم؟

بهترین روش‌ها برای بهبود کراول باجت

بهبود سرعت سایت

بهبود سرعت صفحه سایت شما می‌تواند منجر به خزش ربات گوگل در URL‌های سایت شما شود.

در واقع  به اعتقاد گوگل:

سریع‌تر کردن سایت، تجربه کاربران را بهبود می‌بخشد و در عین حال، نرخ خزش را نیز افزایش می‌دهد. [بخوانید: روش های افزایش سرعت سایت]

به عبارت دیگر:

صفحات با سرعت بارگذاری آهسته، زمان ارزشمند ربات گوگل را تلف می‌کنند.

اما اگر صفحات شما به سرعت بارگذاری می‌شوند، ربات گوگل هم زمان دارد تا صفحات بیشتری را بازدید و ایندکس کند.

از لینک‌های داخلی استفاده کنید

ربات گوگل صفحات دارای تعداد زیاد لینک خارجی و داخلی را در اولویت قرار می‌دهد.

بله، شما در حالت ایده آل بک لینک‌ هایی دریافت می‌کنید که به تک تک صفحات سایت شما اشاره می‌کنند. اما این شرایط، در بیشتر موارد چندان واقع بینانه نیست.

به همین دلیل هم لینک داخلی اهمیت بسیار کلیدی دارد.

لینک‌های داخلی شما، ربات گوگل را به سمت تمام صفحاتی هدایت می‌کند که می‌خواهید ایندکس شوند.

استفاده از معماری فلت در طراحی سایت

به گفته گوگل:

«آدرس‌ها یا همان URLهایی که در اینترنت محبوب‌تر هستند، بیشتر کراول می‌شوند تا در ایندکس ما باقی بمانند.»

و محبوبیت در دنیای گوگل، مساوی با اعتبار لینک (link authority) است.

مطلب پیشنهادی: اعتبار دامنه چیست؟

به همین دلیل باید از معماری یا طراحی فلت در سایت خودتان استفاده کنید.

معماری فلت همه چیز را طوری تنظیم می‌کند که اعتبار لینک در تمام صفحات سایت شما جریان پیدا کند.

اجتناب از صفحات یتیم (Orphan Pages)

صفحات یتیم یعنی صفحاتی که هیچ لینک داخلی یا خارجی به آنها اشاره نمی‌کند.

گوگل برای یافتن صفحات یتیم، واقعاً با مشکل مواجه است. بنابراین اگر می‌خواهید از کراول باجت خودتان بیشترین بهره را ببرید، مطمئن شوید که حداقل یک لینک داخلی یا خارجی به هر صفحه از سایت شما اشاره دارد.

محتوای تکراری را محدود کنید

محدود کردن محتوای تکراری به دلایل زیادی، کاری هوشمندانه است.

پر واضح است که محتوای تکراری می‌تواند به بودجه خزش شما آسیب برساند.

چون گوگل نمی‌خواهد منابعش را صرف ایندکس کردن چندین صفحه با محتوای یکسان کند.

بنابراین مطمئن شوید که صد درصد از صفحات سایت شما دارای محتوای منحصر به فرد و با کیفیت هستند.

این کار در سایتی با بیش از 10 هزار صفحه آسان نیست. اما اگر می‌خواهید از کراول باجت خودتان بیشترین بهره را ببرید، ضروری است.

عوامل اثر گذار بر کراول باجت

طبق بررسی‌های انجام شده، داشتن تعداد زیادی URL کم ارزش، تأثیر منفی روی کراول شدن و ایندکس شدن سایت شما دارد. این ‌URL‌های کم ارزش در طبقات زیر قرار می‌گیرند:

• faceted navigation و session identifier
• محتوای تکراری روی سایت
• صفحات soft error
• صفحات هک شده
• پراکسی و فضای نامحدود
• محتوای کم کیفیت و اسپم

مطلب پیشنهادی: اسپم اسکور چیست؟

در نهایت…

از روش‌های فوق برای بهبود بودجه خزش سایت استفاده کنید تا به رتبه بهتری در نتایج جستجوی گوگل برسید.

منبع

https://backlinko.com/hub/seo/crawl-budget