چگونه سرعت کراول و ایندکس شدن سایت را افزایش دهیم؟

آیا سایت بزرگی دارید و می‌خواهید تغییراتش هر چه سریع‌تر دیده شود؟ شاید هم می‌خواهید سایت خبری خودتان را بهینه سازی کنید. برای این منظور باید به افزایش سرعت کراول و ایندکس شدن سایت فکر کنید. چندین روش برای بهبود سرعت کراول شدن سایت وجود دارد. در این مقاله آنها را بررسی خواهیم کرد.

سرعت کراول گوگل چیست؟

سرعت کراول (خزش) گوگل عبارت از تعداد دفعاتی است که روبات گوگل (Googlebot) از وب سایت شما بازدید می‌کند. این نرخ، بسته به نوع وب سایت و محتوای شما متفاوت است.

اگر ربات گوگل نتواند وب سایت شما را به درستی کراول کند، صفحات و پست‌های شما ایندکس نمی‌شوند.

به خاطر داشته باشید که نمی‌توانید ربات گوگل را مجبور کنید تا سایت شما را دوست داشته باشد!

ایندکس شدن یعنی قرار گرفتن و پیدا شدن صفحات سایت شما در موتورهای جستجو که پس از کراول اتفاق می افتد.

دلایل پایین بودن سرعت کراول و ایندکس شدن

چند دلیل احتمالی برای کندی گوگل در حین کراول و ایندکس کردن سایت شما وجود دارد. اولین دلیل این است که اگر گوگل لینک‌های کافی (با کیفیت) به سمت سایت شما پیدا نکند، سایت شما را چندان مهم در نظر نمی‌گیرد. از دلایل فنی دیگر می‌توان به وجود محتوای زیاد روی سایت، کندی سایت شما یا وجود خطاهای زیاد در آن اشاره کرد.

سایت شما از آتوریتی (اعتبار) کافی برخوردار نیست

وقتی سایت شما لینک‌های ورودی با کیفیت و کافی ندارد، گوگل هم با سرعت آن را کراول نمی‌کند. یعنی گوگل نمی‌خواهد زمان زیادی را صرف سایتی نه چندان مهم کند. هنگامی‌که سایت شما کاملاً جدید است، با این مورد مواجه خواهید شد.

بنابراین، هنگامی‌که به افزایش سرعت کراول در سایت خودتان نیاز دارید، شروع به لینک سازی کنید. [ببینید: آموزش لینک سازی]

مطلب پیشنهادی: دامین آتوریتی (اعتبار دامنه) چیست؟

دلایل فنی برای کندی سرعت کراول و ایندکس شدن

دلایل فنی کندی کراول و ایندکس گوگل را می‌توان به سه گروه تقسیم کرد:

• سایت شما خیلی کند است
• خطاهای بسیار زیاد یا
• URL‌های زیادی دارد.

سرور شما کند است

دلیل اصلی کندی کراول شدن سایتها از جانب گوگل ، کند بودن خود سایت‌ها است. اگر وب‌سایت شما در پاسخگویی به درخواست‌ها کند است یا منابع حجیم زیادی را دانلود می‌کند، شاید گوگل هم عمداً فراوانی و عمق کراول را کاهش دهد (یا کراول باجت یا بودجه خزش شما را محدود کند) تا از به هم ریختن برخی عملیات و الگوریتم‌ها جلوگیری کند.

سفارش بهبود سرعت سایت

خطاهای سایت، زیاد است

اگر در سایت خودتان خطاهای زیادی برای گوگل دارید، گوگل نیز به آرامی‌ شروع به کراول می‌کند. برای سرعت بخشیدن به فرآیند کراول، آن خطاها را برطرف کنید. به سادگی با ریدایرکت 301 آن صفحات خطا را به سمت URL‌های مناسب در سایت خودتان هدایت کنید. اگر نمی‌دانید این خطاها را کجا پیدا کنید، وارد سرچ کنسول (وبمستر) گوگل شوید. اگر به گزارش‌های سایت دسترسی دارید، ترجیحاً با ابزاری مانند Screaming Frog SEO Log File Analyser نیز می‌توانید خطاها را پیدا کنید. برای جلوگیری از کراول کند سایت خودتان، به طور منظم به خطاهای سایت خودتان نگاه کنید و آنها را برطرف کنید.

هنگامی‌که سایت شما اغلب اوقات از کار می‌افتد، کراول گوگل نیز به شدت کند می‌شود. اگر این مشکل به خاطر‌ هاستینگ است، پس آن را تغییر دهید. آپ تایم (uptime) سایت خودتان را با ابزاری مانند Pingdom بررسی کنید.

URL‌های بسیار زیادی دارید

اگر URL‌های زیادی در سایت خودتان دارید، شاید گوگل صفحات سایت شما را زیاد کراول کند، اما هرگز کافی نخواهد بود. به عنوان مثال، شاید این مشکل به دلیل faceted search navigation یا سیستم دیگری در سایت به وجود آید که به سادگی URL‌های زیادی تولید می‌کند. برای اینکه بفهمید آیا این موضوع برای شما صادق است یا خیر، همیشه به طور منظم سایت خودتان را کراول کنید. می‌توانید این کار را به صورت دستی با Screaming Frog’s SEO spider یا با ابزاری مانند Ryte انجام دهید.

در ادامه شما را با روش‌های افزایش سرعت کراول و اینکس شدن سایت آشنا خواهیم کرد.

مطلب پیشنهادی: روش های افزایش سرعت سایت

12 گام کارآمد برای افزایش سرعت کراول و ایندکس شدن سایت از جانب گوگل

کارهای زیر را برای افزایش سرعت کراول گوگل انجام دهید.

1.به طور منظم، محتوای جدید را به وب سایت خودتان اضافه کنید

محتوا یکی از مهمترین معیارهای رتبه بندی در موتورهای جستجو است.

وب سایت‌هایی که به طور منظم محتوایشان را به روز می‌کنند، شانس خوبی برای کراول و ایندکس شدن مکرر دارند.

برای بهبود سرعت کراول گوگل، توصیه شده که بسته به موضوع سایت‌تان در هر ماه، تعداد مشخصی محتوا به صورت منظم پست کنید.

به جای اضافه کردن صفحات وب جدید، می‌توانید محتوای تازه را از طریق وبلاگ ارائه دهید. این یکی از ساده ترین و مقرون به صرفه ترین راه‌ها برای تولید محتوا به صورت منظم است.

برای تنوع، می‌توانید محتوای ویدئویی و صوتی جدید را هم تولید و منتشر کنید.

در سایت کارلنسر می‌توانید با بهترین قیمت و کاملا توافقی، سفارش تولید محتوای متنی، تصویری، ویدئویی و صوتی بدهید! ⬅️ سفارش پروژه

2.زمان بارگذاری وب سایت را بهبود دهید

کراولرها زمان محدودی برای ایندکس کردن وب سایت شما دارند.

اگر زمان زیادی را صرف دسترسی به تصاویر یا pdf‌ها کنند، دیگر زمانی برای بررسی سایر صفحات نخواهد داشت.

برای افزایش سرعت بارگذاری وب سایت خودتان، صفحات کوچکتر با تصاویر و گرافیک کمتر در نظر بگیرید.

به خاطر بسپارید که فایل ویدیویی یا صوتی در صورتی که بد آپلود شوند، می‌تواند برای کراولرها مشکل ساز شود.

3.سایت مپ‌ها را برای افزایش سرعت کراول گوگل اضافه کنید

هر محتوایی در وب سایت باید کراول شود، اما گاهی اوقات کراول شدن محتوا، زمان زیادی می‌برد یا بدتر این که هرگز کراول نمی‌شود.

ساخت و ثبت سایت مپ‌، یکی از کارهای مهم برای شناسایی سایت خودتان توسط ربات گوگل است.

وب سایت با داشتن سایت مپ به طور کارآمد کراول می‌شود.

همچنین سایت مپ‌ها به دسته بندی و اولویت بندی صفحات وب شما کمک خواهند کرد. بنابراین صفحات حاوی محتوای اصلی، سریعتر از صفحات کم اهمیت تر کراول و ایندکس می‌شوند.

4.زمان پاسخ سرور را بهبود دهید

به گفته گوگل:«شما باید زمان پاسخگویی سرور خودتان را به کمتر از 200 میلی ثانیه کاهش دهید.»

اگر گوگل از زمان بارگذاری طولانی‌تری رنج ‌ببرد، به احتمال زیاد همین شرایط برای بازدیدکنندگان سایت شما هم وجود دارد.

چنانچه زمان پاسخگویی سرور شما کند باشد، دیگر بهینه سازی سرعت بارگذاری صفحات سایت، چندان اهمیتی پیدا نمی‌کند و باز هم صفحات شما به کندی نمایش داده می‌شوند.

در چنین شرایطی، گوگل به این موضوع در صفحه «crawl rate» کنسول سرچ گوگل اشاره خواهد کرد. می‌توانید آن را روی «Faster» تنظیم کنید.

بعلاوه، از‌ هاستینگی که دارید به نحو احسن استفاده کنید و کش سایت خودتان را بهبود دهید.

مطلب پیشنهادی: بهترین ابزارهای سئو

5.از محتوای تکراری دوری کنید

محتوای کپی شده، نرخ کراول گوگل را کاهش می‌دهد. زیرا موتورهای جستجو به راحتی می‌توانند محتوای تکراری را شناسایی کنند.

محتوای تکراری گواه روشنی از فقدان هدف و اصالت است.

اگر محتوای تکراری سایت شما از سطح خاصی  فراتر رود، شاید موتورهای جستجو وب سایت شما را پنالتی کنند یا رتبه جستجوی سایت شما را کاهش دهند.

6.صفحات ناخواسته را از طریق Robots.txt مسدود کنید

اگر وب سایت بزرگی دارید، شاید محتوایی دارید که نمی‌خواهید موتورهای جستجو، آنها را کراول و ایندکس کنند. به عنوان مثال، پیج ادمین و فولدرهای بک اند از جمله این موارد هستند.

فایل Robots.txt می‌تواند مانع از کراول شدن صفحات ناخواسته از جانب روبات گوگل شود.

به کارگیری Robeots.txt ساده و گاهی اوقات هم پیچیده است. اگر اشتباهی در این زمینه مرتکب شوید، احتمال حذف وب سایت شما از نتایج موتورهای جستجو وجود دارد.

بنابراین همیشه قبل از آپلود فایل robots.txt، آن را با استفاده از ابزار گوگل وبمستر تست کنید.

7.تصاویر و ویدیوها را برای افزایش سرعت کراول بهینه کنید

تصاویر تنها در صورت بهینه سازی، در نتایج جستجو نمایش داده می‌شوند.

کراولرها نمی‌توانند مانند انسان، تصاویر را مستقیماً بخوانند.

هر زمان که از تصاویر استفاده می‌کنید، مطمئن شوید که از تگ alt استفاده می‌کنید و توضیحاتی را برای نمایش به موتورهای جستجو ارائه دهید. برای آنکه بیشتر درباره تگ Alt بدانید می توانید مقاله کارلنسر درباره تگ Alt را مطالعه کنید.

همین مفهوم برای ویدیوها نیز صادق است، برای مثال گوگل طرفدار «فلش» نیست و آن‌ها را ایندکس نمی‌کند.

اگر در بهینه سازی این المان‌ها مشکل دارید، بهتر است از آن‌ها کمتر استفاده کنید یا به طور کلی دورشان را خط بکشید.

مطلب پیشنهادی: فرمت تصویر WebP و مزایای آن

8.لینک‌های داخلی داخل بلاگ ها

وقتی بلاگ‌های درون وبلاگ خودتان را به هم لینک می‌دهید، ربات گوگل می‌تواند عمیقاً در وب سایت‌های شما کراول کند.

پست‌های قدیمی‌را به پست‌های جدید و بالعکس پیوند دهید. این کار به طور مستقیم نرخ کراول و ایندکس شدن از جانب گوگل را بهبود می‌بخشد و به شما کمک می‌کند تا بیشتر دیده شوید.

9.از خدمات پینگ استفاده کنید

هر زمان که محتوای جدیدی را به وب سایت خودتان اضافه می‌کنید، از خدمات پینگ برای اطلاع رسانی به ربات‌ها در مورد به روز رسانی استفاده کنید.

این کار معادل تکان دادن پرچم و درخواست از موتورهای جستجو برای بررسی محتوای جدید است.

پینگ کردن روش خوبی است؛ چون می‌تواند تفاوت قابل توجهی در سرعت ایندکس شدن صفحات شما ایجاد کند.

در عین حالی که پینگ ارزش اجرا را دارد، ولی نتایج تضمین شده ندارد. شما باید روی بک لینک سازی کار کنید و بهترین شیوه‌های سئو را دنبال کنید.

10.از شر نتایج سئو کلاه سیاه خلاص شوید

اگر تاکتیک‌های سئو کلاه سیاه را در نظر گرفته‌اید، باید تمام نتایج مرتبط را نیز حذف کنید.

این فرایند شامل استفاده بیش از حد کلمات کلیدی (کیورد استافینگ)، استفاده از کلمات کلیدی نامربوط، محتوای اسپم، دستکاری لینک و تکنیک‌های دیگر است.

استفاده از تکنیک‌های سئو کلاه سیاه برای کراولرها به معنای مواجهه با یک سایت بی کیفیت است. فقط از تکنیک‌های کلاه سفید برای افزایش نرخ کراول و ایندکس شدن از جانب گوگل استفاده کنید.

11.لینک‌های باکیفیت برای افزایش سرعت کراول بسازید

بک لینک‌های باکیفیت بالا، نرخ کراول و ایندکس شدن از جانب گوگل را بهبود می‌بخشد. همچنین موثرترین راه برای رتبه بندی بهتر و افزایش ترافیک سایت است.

حتی در اینجا هم ساختن لینک کلاه سفید یک روش قابل اعتماد است. از کرایه لینک، سرقت یا خرید لینک خودداری کنید.

بهترین راه این است که بک لینک‌ها را با وبلاگ نویسی مهمان، رفع مشکل لینک سازی و لینک زدن به منابع به دست آورید.

12.تا حد امکان اشتراک‌های شبکه های اجتماعی بیشتری به دست آورید (سوشیال سیگنال)

هیچ مدرکی مبنی بر این که اشتراک‌های شبکه های اجتماعی بر رتبه‌بندی جستجو تأثیر می‌گذارد وجود ندارد، اما به ایندکس شدن سریع محتوای جدید کمک می‌کنند.

به عنوان مثال، فیسبوک به ربات‌ها اجازه نمی‌دهد تا اطلاعات غیر عمومی‌ را کراول کنند و توییتر هم به هیچ وجه اجازه کراول شدن را نمی‌دهد.

با این حال، ربات گوگل و بینگ می‌توانند به اطلاعات عمومی‌ در دسترس در شبکه‌های اجتماعی دسترسی پیدا کنند. از این رو به اشتراک گذاری محتوای شما به کراول و ایندکس شدن سایت کمک می‌کند.

مطلب پیشنهادی: سوشیال سیگنال چیست؟

در نهایت…

افزایش سرعت کراول و ایندکس شدن سایت از جانب گوگل امکان پذیر است، اما یک شبه اتفاق نمی‌افتد. باید صبور باشید.

توصیه‌های این مقاله را در کل وب سایت خودتان اعمال کنید تا با گذشت زمان، به نتیجه برسید. مطمئناً با این کار، برای صفحات شخصی خودتان هم به ترافیک بیشتری خواهید رسید.

شما از چه تکنیک‌هایی برای بهبود سرعت کراول سایت استفاده می‌کنید؟

منابع

colorwhistle.com/increase-google-crawl-rate

yoast.com/how-to-get-google-to-crawl-your-site-faster