خزیدن و یا کرال صفحات وب سایت یکی از موضوعات مهم در سئو سایت بوده و زمانی که نوبت به آن می‌رسد، شاید مطمئن نباشید که دقیقا باید از کجا کار خود را آغاز کنید. گزینه‌های زیادی رو به روی شما قرار خواهد گرفت و ما در این مطلب تصمیم داریم در رابطه با این موضوعات صحبت کنیم.
اگر خزنده‌های گوگل نتوانند محتوا و صفحات سایت شما را پیدا کرده و کرال کنند، به قطعیت می‌توان گفت که هیچ شانسی برای دیده شدن در گوگل نخواهید داشت. بنابراین هرچقدر که متخصص سئو در مشهد اقدامات بهینه سازی سایت را به بهترین شکل انجام دهد، تا زمانی که سایت توسط ربات‌های گوگل کرال نشود، اقدامات ارزشمند او دیده نشده و سایت رتبه نخواهد گرفت. پس بهتر است در رابطه با بهینه سازی خزیدن صحبت کرده و بهترین راه حل‌ها را بیان کنیم.
کرال صفحات چیست؟
اگر بخواهیم به ساده‌ترین شکل ممکن این موضوع را بیان کنیم، گوگل خزنده یا ربات‌هایی دارد که وظیفه آن‌ها کشف صفحات سایت‌های مختلف است. در واقع گوگل باید در رابطه با محتوای شما اطلاع پیدا کند تا بتواند آن را در دسته بندی درستی قرار داده و رتبه بندی نماید. این به معنای کرال صفحات است.
محتواهایی که در سطح گوگل وجود دارند انواع مختلفی دارند. متن، عکس، ویدئو و انواع و اقسام فایل‌ها، همان محتواهای مورد نظر هستند. باید بدانید که هر سایت بودجه خزش یا crawl budget مخصوص به خود را دارد. یعنی اینکه تعداد مشخصی از خزنده‌های گوگل روزانه وظیفه بررسی سایت شما را برعهده دارند. قاعدتا هرچقدر بودجه خزش سایت بیشتر باشد، صفحات سایت شما بیشتر کرال شده و سریع‌تر ایندکس خواهند شد. تکنیک هایی هم برای افزایش دادن این بودجه وجود دارد که سایت پارس وب به توضیح مفصل آن پرداخته است.
کرال صفحات چگونه انجام می‌شود؟
برای اینکه خزنده‌های گوگل یا هر موتور جستجو دیگری بتوانند صفحات مختلف را کرال کرده و نهایتا ایندکس نمایند، باید لیستی از صفحات و لینک‌های قابل خزش داشته باشند. خزنده باید url را کشف کرده و محتوای آن را در صف دانلود قرار دهد.
تمامی صفحات سایت‌های موجود در اینترنت در دسته بندی‌های مختلفی در حوزه ایندکس و کرال قرار می‌گیرند:
- اولین دسته url هایی هستند که کاملا جدید بوده و تا به حال کرال نشدند. مانند مقالاتی که به تازگی در سایت منتشر کردید.
- برخی از url ها قبلا کرال شدند ولی بعد از مدتی دیگر هیچ راهنمایی برای خزیدن مجدد ارائه نکردند. این آدرس‌ها باید به صورت دوره‌ای بررسی شوند تا خزنده‌های گوگل متوجه شوند آیا به روز رسانی در آن اتفاق افتاده یا خیر.
- دسته سوم به url هایی تعلق می‌گیرد که قبلا کرال شدند و با بروزرسانی جدیدی که در آن‌ها اتفاق افتاده، مدیر سایت درخواست ایندکس و کرال مجدد برای گوگل ارسال کرده است. این درخواست را می‌توانید با استفاده از سرچ کنسول ارسال کرده و خیلی زود جواب بگیرید.
- دسته بعدی مربوط به مدیران وب سایت‌هایی است که وسواس عجیبی در رابطه با ایندکس صفحات دارند. این url ها بعد از آخرین به روز رسانی هیچ تغییری نداشتند ولی باز هم درخواست کرال آن‌ها ارسال شده است. معمولا خزنده‌ها آن‌ها را در لیست صفحاتی قرار می‌دهند که نباید کرال شوند.
- برخی از نشانی‌های اینترنتی نباید کرال شوند و این موضوع برای خزنده‌ها کاملا واضح است. برای مثال صفحاتی که دارای برچسب nofollow هستند، به هیچ وجه نباید در صف کرال قرار بگیرند. این صفحات به درخواست مدیر وب سایت بسته شدند.
- تعداد دیگری از نشانی‌های اینترنتی برای خزنده‌های گوگل غیر مجاز اعلام می‌شود. می‌توانید از فایل txt برای این کار استفاده کرده و لیستی از آن‌ها را در اختیار خزنده‌ها قرار دهید.
ربات‌ها بعد از بررسی این موضوعات لیستی از url های قابل خزیدن خواهند داشت. تمامی این صفحات باید در صف قرار گرفته و به نوبت کرال شده و در صورت داشتن معیارهای لازم، ایندکس شوند. نهایتا بعد از آن می‌توانند در لیست نتایج جستجو قرار گرفته و رتبه خوبی دریافت کنند.
نکته کاربردی: در برخی شرایط، متخصص سئو تشخیص می‌دهد که قرار دادن لینک یک صفحه در سایت دیگری که خزنده‌ها در آن کرال می‌کنند، می‌تواند موجب دیدن شدن آن لینک و در نتیجه آن صفحه شده و صفحه سایت ما هم ایندکس شود. به این صورت هم صفحه از نظر سئو خارجی به نحوی بهینه می‌شود و هم سایت به احتمال بیشتری ایندکس خواهد شد.
این که صفحات سایت شما در کدام قسمت از صف کرال و ایندکس قرار بگیرند، به عوامل مختلفی بستگی دارد. این عوامل می‌توانند اهمیت نسبی هر صفحه را مشخص نمایند.
این را می‌دانیم که گوگل تنها موتور جستجو موجود در جهان نبوده و هر موتور جستجویی دارای الگوریتم‌های مخصوص خود است. در واقع فعالیت تمامی آن‌ها یکسان نیست. ولی پیشنهاد ما این است که گوگل را مد نظر قرار داده و با توجه به الگوریتم‌های آن پیش بروید چرا که بزرگترین و پرطرفدارترین موتور جستجویی است که در جهان وجود دارد.
چرا باید صفحات سایت کرال شوند؟
اگر بخواهیم خیلی ساده این موضوع را بیان کنیم، در صورتی که صفحه سایتی کرال نشود، نهایتا در نتایج جستجو قرار نگرفته و خیلی راحت از دور رقابت سئو خارج می‌شود.
البته این تنها موضوعی نیست که در کرال صفحات اهمیت دارد. باید بدانید که زمان کرال شدن صفحات نیز اهمیت بسیار زیادی دارد. اگر صفحه مورد نظر شما در زمان درست ایندکس نشده و در دید مخاطب قرار نگیرد، ممکن است دیگر هیچ فایده‌ای نداشته باشد.
به صورت کلی کرال صفحات سایت، سنگ بنای پروژه‌های سئو بوده و بدون آن نمی‌توانید به اهدافی که دارید دست پیدا کنید.
برای مثال فرض کنید در سایتی خبری فعالیت دارید و مقالات و خبرهای دست اول شما در لحظه کرال نشده و به این صورت زمانی که هنوز به عنوان خبر داغ شناخته می‌شوند، در نتایج قرار نخواهند گرفت. این خبرها اگر بعد از یک هفته ایندکس شوند، دیگر هیچ مخاطبی ندارند چرا که آن‌ها قبلا اخبار را دریافت کرده و به دنبال خبرهای جدید هستند.
ولی این تنها اهمیت خزش سریع نبوده و از این موضوع می‌توانید سود زیادی به دست آورید. وقتی مقاله سایت خود را بازنگری کرده و بروزرسانی در آن به وجود می‌آورید، خیلی مهم است که زود کرال شود. ممکن است این بروزرسانی را در سایت رقیب نیز قرار دهند. صفحه‌ای برنده است که زودتر توسط ربات‌های گوگل کرال شود.
اگر محصولی را با فرصت فروش محدود در سایت بارگذاری کرده و زمانی ایندکس شود که بازه فروش آن به اتمام رسیده و دیگر موجودی ندارد، طبیعتا مشتریان ناراضی پیدا می‌کنید. این در رابطه با رویدادها، اخبار و تخفیفات نیز صدق می‌کند.
در نهایت اگر اشتباهی در سایت انجام دهید و بخواهید آن را ویرایش کنید، نیاز به سرعت بالا در ایندکس دارید تا بتوانید مشکل را جحل کنید. برای بهود این زمان باید با موضوعی به نام کرال باجت آشنایی پیدا کنید.
نهایتا تمامی چیزی که مشخص است اهمیت بیش از اندازه کرال صفحات بوده و شما بدون آن به هیچ مقصدی در سئو نمی‌رسید.