يعطي Semalt الأسباب الرئيسية لعدم قيام Googlebot بالزحف إلى كل صفحة في بعض المواقع


لدينا عملاء يأتون للشكوى من أن Googlebot لا يقوم بالزحف إلى بعض مواقعهم. بصفتنا خبراء تحسين محركات البحث (SEO) ، فإن مهمتنا هي إيجاد المشكلة وحلها حتى يكون عملاؤنا سعداء والحفاظ على موقعهم في حالة الذروة.

يشرح جون مولر من Google بعض العوامل التي تؤثر على كيفية الزحف إلى الصفحات الموجودة على أي موقع. بالطبع ، لم يكن هذا محددًا ، لكنه يوجهنا في الاتجاه الصحيح. في هذا المنشور ، يبرز جون أيضًا سبب عدم الزحف إلى بعض الصفحات على الموقع.

كان السؤال الذي أثار هذه الاستجابة قلقًا بشأن سبب قيام Google بالزحف إلى مواقع الويب بوتيرة بطيئة نسبيًا ، وهي غير كافية للتعامل مع العدد الهائل من مواقع الويب اليوم.

فهم ميزانية الزحف من Google

هذا هو المجال الأول الذي نختار التركيز عليه لأنه يشرح الكثير حول عدد مرات زحف Google إلى موقع ويب. Googlebot (اسم زاحف الويب الخاص بـ Google) يمر عبر صفحات الويب ويبقيها مفهرسة حتى يتمكنوا من الترتيب في SERP. ومع ذلك ، فإن الحجم الكبير من مواقع الويب يصبح مشكلة ، ولهذا السبب ابتكرت Google إستراتيجية تقوم من خلالها بفهرسة صفحات الويب عالية الجودة فقط. فكر في الأمر على أنه شكل من أشكال التصفية. بدلاً من إنفاق كل هذه الموارد على الصفحات التي من المحتمل ألا تكون ذات صلة بالمستخدم ، تركز Google فقط على صفحات الويب عالية الجودة.

ميزانية الزحف الخاصة بالموقع هي مقدار الموارد التي تخصصها Google للزحف إلى هذا الموقع. من المهم أيضًا ملاحظة أنه لا تتم فهرسة كل شيء يتم الزحف إليه. لا تتم فهرسة صفحات الويب إلا بعد الزحف إليها واعتبارها ذات قيمة.

بمجرد نفاد ميزانية الزحف الخاصة بك ، تتوقف Google عن الزحف إلى صفحات الويب الخاصة بك.

تحديد ميزانية الزحف الخاصة بك

يتم تحديد ميزانية الزحف إلى مواقع الويب من خلال أربعة عوامل رئيسية:
من السهل أن تفهم سبب قلقك الشديد عندما لا يتم الزحف إلى بعض المحتوى الخاص بك كمالك موقع ويب. هذا يقلل من فرصك في الترتيب ، خاصةً عندما يتم استبعاد أجزاء المحتوى الأكثر قيمة لديك.

كيفية إصلاح مشكلات الزحف

إصلاح مشكلات العلامات الوصفية أو ملف robots.txt

عادة ما يكون من السهل اكتشاف المشكلات التي تندرج تحت هذه الفئة وحلها. في بعض الأحيان ، قد يظل موقع الويب الخاص بك بالكامل أو صفحات معينة على موقع الويب الخاص بك غير مرئي بواسطة Google لأن Googlebot غير مسموح له بالدخول إليها.

هناك عدد من أوامر الروبوت التي تمنع الزحف إلى الصفحة ، ويمكن إصلاح ذلك عن طريق التحقق من العلامات الوصفية وملف robots.txt. في الواقع ، سيساعدك امتلاك المعلمات الصحيحة واستخدامها بشكل مناسب على حفظ ميزانية الزحف الخاصة بك وتوجيه Googlebot في الاتجاه الصحيح.

من الممكن أيضًا وجود روابط عدم متابعة. في هذه الحالة ، يقوم الزاحف بفهرسة الصفحة ولكن يتم منعه من تتبع الرابط. هذا ليس جيدًا لموقعك حيث يستخدم Googlebot هذه الروابط الداخلية للعثور على صفحات جديدة. هذا يأخذنا إلى النقطة التالية.

الروابط الداخلية المعطلة

لا يعد وجود روابط معطلة تجربة جيدة على الإطلاق لكل من المستخدمين وبرامج الزحف. لكل صفحة تتم فهرستها ، يتم إخراج جزء من ميزانية الزحف الخاصة بالموقع. بمعرفة ذلك ، نتفهم أنه عندما يكون هناك عدد كبير جدًا من الروابط المعطلة ، فإن الروبوت سوف يهدر كل ميزانية الزحف الخاصة بك في فهرستها ، لكنه لن يصل إلى صفحاتك ذات الصلة والجودة.

يساعد إصلاح الروابط المعطلة في جعل المحتوى عالي الجودة الخاص بك مرئيًا بشكل أكبر لبرنامج Googlebot.

قد تكون الروابط المعطلة الداخلية نتيجة لأخطاء مطبعية في عنوان URL (حيث يوجد خطأ إملائي في عنوان URL المرتبط تشعبيًا) أو عناوين URL القديمة أو الصفحات التي تم رفض الوصول إليها.

مشكلة متعلقة بالخادم

يمكن أن يكون خادمك أيضًا هو سبب عدم عثور Google على صفحات معينة. قد يكون وجود عدد كبير من أخطاء 5xx على موقع الويب الخاص بك إشارة إلى وجود خطأ ما في الخادم الخاص بك. لحل هذه المشكلة ، نقوم بإعادة تكوين المناطق التي توجد بها أخطاء وإصلاح الأخطاء.

في بعض الأحيان ، قد يكون هناك زيادة في التحميل على الخادم الخاص بك. في هذه الحالة ، يتوقف عن الاستجابة لطلبات المستخدم والروبوت. عندما يحدث هذا ، يتعذر على المشاهدين والبوتات الوصول إلى هذه الصفحة.

في الحالات القصوى ، يمكن أن ننظر إلى تهيئة خاطئة لخادم الويب. هنا ، يكون الموقع مرئيًا للمستخدمين البشريين ، لكنه يستمر في إرسال رسالة خطأ إلى برامج زحف الموقع. هذه المشكلة صعبة للغاية حيث يصعب ملاحظتها. في هذه الحالة ، يتعذر على Googlebot الوصول إلى صفحة الويب ، مما يجعل من المستحيل الزحف إليها وفهرستها بواسطة برامج الروبوت.

المشكلات المتعلقة بملف Sitemap XML

يؤثر ملف Sitemap على مجموعة كبيرة من العناصر على موقع الويب الخاص بك. من الضروري الاحتفاظ بعناوين URL في خريطة موقعك ذات الصلة. يجب أن تكون محدثة وصحيحة. هذا مهم لأنه عندما تكون ميزانية الزحف لديك غير كافية ، يوجه ملف Sitemap الخاص بك روبوتات الزاحف إلى المواقع الأكثر صلة. بهذه الطريقة ، ستستمر فهرسة أهم صفحاتك.

أخطاء في هندسة الويب

هذه واحدة من أصعب القضايا التي يجب حلها. يمكن أن تؤدي المشكلات التي تندرج تحت هذه الفئة إلى حظر أو إرباك برامج الزحف في موقع الويب الخاص بك. يمكن أن يأتي في شكل مشاكل مع الارتباط الداخلي الخاص بك. أو قد تكون حالة عمليات إعادة التوجيه الخاطئة. في هذه الحالة ، تتم إعادة توجيه المستخدمين والروبوتات إلى صفحات أقل صلة. أخيرًا ، لدينا محتوى مكرر. لسوء الحظ ، يعد المحتوى المكرر أحد أكثر مشكلات تحسين محركات البحث شيوعًا. يعد هذا أيضًا أحد الأسباب الرئيسية وراء نفاد ميزانية الزحف لديك ، ويصبح من الصعب على Google الزحف إلى بعض صفحاتك.

استنتاج

يتعذر على Google العثور على المحتوى الخاص بك ليس فقط بسبب المشكلات المتعلقة بالمحتوى أو لأنك تقوم بالتحسين للكلمات الرئيسية الخاطئة. حتى المحتوى المحسّن يمكن أن يظل غير مرئي لـ Google إذا كان لديه مشكلات في الزحف.

نحن هنا لمعرفة الخطأ وكذلك صياغة خطة حول كيفية إصلاح هذه المشكلة. اتصل بنا اليوم و سيمالت يمكن أن تساعدك على إعادة المحتوى الخاص بك إلى الرادار.

mass gmail