Creep به فرآیندی اشاره دارد که توسط آن موتورهای جستجو، مانند Google، صفحات وب را در اینترنت کشف و فهرست می کنند. این شامل خزیدن سیستماتیک وب سایت ها توسط ربات های موتور جستجو یا عنکبوت ها برای جمع آوری اطلاعات در مورد محتوا و ساختار صفحات وب است. فرآیند خزیدن گوگل یکی از جنبه‌های مهم بهینه‌سازی موتور جستجو (SEO) است، زیرا تعیین می‌کند یک وب‌سایت تا چه اندازه در نتایج موتورهای جستجو فهرست‌بندی و رتبه‌بندی شود.
در اینجا 9 مرحله برای درک فرآیند خزش و نحوه خزیدن گوگل در وب سایت ها آورده شده است:
- کشف: فرآیند خزیدن با کشف صفحات وب جدید آغاز می شود. این امر می تواند از طرق مختلف، مانند دنبال کردن پیوندها از سایر وب سایت ها، نقشه های سایت ارسال شده توسط صاحبان وب سایت، یا از طریق ارسال مستقیم به موتورهای جستجو رخ دهد.
- بودجه خزیدن: موتورهای جستجو بودجه خزیدن محدودی را به هر وب سایت اختصاص می دهند که فرکانس و عمق خزیدن آنها در سایت را تعیین می کند. وب‌سایت‌هایی با اعتبار و ارتباط بالاتر، بودجه خزیدن بیشتری دریافت می‌کنند.
- Robots.txt: ربات‌های موتور جستجو قبل از خزیدن در یک وب‌سایت، فایل robots.txt واقع در فهرست اصلی را بررسی می‌کنند. این فایل به ربات‌ها دستور می‌دهد که کدام صفحات را بخزند و کدام را نادیده بگیرند.
- خزیدن URL: هنگامی که یک صفحه وب کشف شد، ربات‌های موتور جستجو URL آن را دنبال می‌کنند و فرآیند خزیدن را آغاز می‌کنند. آنها کد HTML صفحه شامل متن، تصاویر و منابع دیگر را بازیابی می کنند.
- استخراج پیوند: در طول خزیدن، ربات‌ها تمام پیوندهای موجود در یک صفحه وب را استخراج می‌کنند. سپس این پیوندها برای خزیدن بعدی به یک صف اضافه می شوند.
- صف خزیدن: ربات‌های موتور جستجو یک صف خزیدن را برای مدیریت ترتیب خزیدن صفحات وب حفظ می‌کنند. صفحات با اولویت یا تازگی بیشتر در اولویت هستند.
- پردازش صفحه: علاوه بر کد HTML، ربات‌های موتور جستجوی مدرن نیز صفحات وب را مانند مرورگر ارائه می‌کنند. این به آنها امکان می‌دهد محتوای پویا تولید شده توسط فراخوان‌های جاوا اسکریپت یا AJAX را درک کنند.
- نمایه سازی: ربات های موتور جستجو پس از خزیدن در یک صفحه وب، اطلاعات جمع آوری شده را پردازش کرده و به فهرست خود اضافه می کنند. این فهرست یک پایگاه داده عظیم است که امکان بازیابی سریع صفحات مربوطه را برای عبارت های جستجو فراهم می کند.
- خزیدن مجدد: موتورهای جستجو به صورت دوره‌ای صفحاتی را که قبلاً خزیده شده‌اند را برای بررسی به‌روزرسانی‌ها یا تغییرات بررسی می‌کنند. فراوانی خزیدن مجدد به عواملی مانند اعتبار صفحه، تازگی، و بودجه خزیدن اختصاص داده شده به وب سایت بستگی دارد.
درک فرآیند خزیدن برای صاحبان وب سایت و متخصصان سئو ضروری است تا اطمینان حاصل کنند که محتوای آنها به طور مؤثر توسط موتورهای جستجو نمایه می شود. با بهینه سازی عواملی مانند خزیدن، ساختار سایت و پیوند داخلی، آنها می توانند دید وب سایت خود را در نتایج موتورهای جستجو افزایش دهند.
3 انتشارات مرجع معتبر برتر:
- وبلاگ مرکزی Google Webmaster: وبلاگ رسمی Google اطلاعات ارزشمندی را در مورد فرآیندهای موتور جستجو از جمله خزیدن و نمایه سازی ارائه می دهد.
- Moz: Moz یک پلت فرم سئو معتبر است که راهنماها و مقالات جامعی را در مورد جنبه های مختلف بهینه سازی موتورهای جستجو، از جمله خزیدن و نمایه سازی ارائه می دهد.
- ژورنال موتور جستجو: ژورنال موتور جستجو یک منبع قابل اعتماد برای اخبار و بینش های SEO است. آنها موضوعات مربوط به خزیدن، نمایه سازی و سایر فرآیندهای موتور جستجو را پوشش می دهند.
