مشكلات الفهرسة في SEO التقني: مسار التشخيص والإصلاح
مسار واحد للإجابة عن سؤال لماذا الصفحة غير مفهرسة: قراءة حالات Search Console، والتحقق بأداة فحص URL، وإيجاد السبب الجذري، وإثبات الإصلاح.
بقلم Roozbeh Nazari · CEO
جملة "صفحتنا لا تظهر في Google" هي الشكوى الأكثر سماعًا والأقل معلومات في SEO التقني. قد تكون الصفحة لم تُزحف، أو زُحفت ولم تُفهرس، أو فُهرست لكنها في ظل عنوان URL آخر، أو مفهرسة لكنها لا تظهر في الاستعلام المبحوث عنه. إصلاح هذه الحالات الأربع مختلف تمامًا، والعمل الأول هو معرفة أي حالة أنت فيها. يقترح هذا المقال مسار تشخيص ثابتًا لذلك: بالترتيب نفسه، وبالأدوات نفسها، في كل مرة.
هذا المسار هو الصيغة المكتوبة للتسلسل الذي نطبقه على كل شكوى فهرسة في أعمال السيو التقني. وللقائمة الأوسع في جانب الزحف، انظر مقال قائمة production من 20 بندًا.
الخطوة 1: حوّل الشكوى إلى حالة
يضع تقرير فهرسة الصفحات في Search Console كل عنوان URL في حالة تسميها Google بنفسها. هذه الأسماء هي لغة التشخيص، والخطوة الأولى في المسار هي ترجمة الشكوى إلى إحدى هذه الحالات. وتنقسم الحالات في التقرير تقريبًا إلى أربع مجموعات.
- عوائق الوصول: خطأ في الخادم (5xx)، خطأ في إعادة التوجيه، محظور بواسطة robots.txt، حظر 401 و403، غير موجود (404)، 404 لينة.
- تعليمة صريحة: عنوان URL معلَّم بـ noindex.
- اختيار Google: تم الزحف ولكن لم تتم الفهرسة حاليًا، تم الاكتشاف ولكن لم تتم الفهرسة حاليًا.
- إدارة النسخ المكررة: صفحة بديلة لها علامة canonical صحيحة، نسخة مكررة بدون canonical يختاره المستخدم، نسخة مكررة اختارت Google لها canonical مختلفًا عن المستخدم، صفحة بها إعادة توجيه.
لكل مجموعة معنى مختلف. عائق الوصول عطل تقني، والتعليمة الصريحة قرار اتخذته أنت، واختيار Google إشارة جودة أو سعة، وإدارة النسخ المكررة مشكلة معمارية. البدء بالإصلاح قبل إيجاد الاسم في التقرير يعني تخمين المجموعة التي أنت فيها.
الخطوة 2: تحقق على عنوان URL واحد
يعطي التقرير صورة مجمعة ويُحدَّث بتأخير. يجب التحقق من التشخيص على عنوان URL واحد بأداة فحص URL. تخبرك الأداة بشيئين: ماذا تعرف نسخة Google المفهرسة عن هذه الصفحة، وهل الصفحة قابلة للفهرسة اليوم عند إجراء اختبار مباشر. والفرق بينهما يبين ما إذا كانت المشكلة مستمرة؛ فإذا كانت النسخة المفهرسة معيبة لكن الاختبار المباشر نظيف، فالإصلاح قد تم وإعادة الزحف قيد الانتظار.
وللاختبار المباشر مخرج يُتجاهل غالبًا: HTML كما عرضته Google. الصفحة التي تراها في المتصفح والصفحة التي تعرضها Google ليستا بالضرورة متطابقتين؛ فإذا كان العنوان وcanonical والمحتوى الرئيسي غائبة من HTML المعروض، يجب إيجاد سبب هذا الفارق قبل الانتقال إلى بقية التشخيص. وغالبًا ما يكون السبب مكوّنًا يُحمَّل متأخرًا في جانب العميل، أو طبقة تجيب البوتات بشكل مختلف.
في الاختبار المباشر يجب النظر في حقلين: هل الزحف مسموح، وما عنوان canonical المختار للصفحة. في المواقع متعددة اللغات يمتلئ الحقل الثاني بالمفاجآت؛ فالحالات التي تختار فيها Google النسخة الإنجليزية canonical لصفحة تركية تنشأ غالبًا من عدم توافق hreflang وcanonical.
الخطوة 3: ابحث عن السبب الجذري بحسب المجموعة
في مجموعة عوائق الوصول يكون السبب الجذري في البنية التحتية دائمًا تقريبًا. أخطاء 5xx في طبقة الخادم أو التطبيق؛ وأخطاء إعادة التوجيه في سلسلة أو حلقة؛ وحظر robots.txt في الملف نفسه، وأحيانًا في ملف بيئة خاطئة يخرج إلى الإنتاج مع النشر. أما 404 اللينة، أي أن الصفحة تعيد 200 لكن محتواها فارغ أو يقول "غير موجود"، فغالبًا ما تنشأ من محتوى يُحمَّل في جانب العميل ويصل فارغًا إلى Googlebot.
وهناك أيضًا خوادم تعامل البوتات والمستخدمين بشكل مختلف. المواقع التي تعيد التوجيه تلقائيًا بحسب لغة المستخدم تعيد توجيه Googlebot أيضًا، ولا تُزحف بعض النسخ اللغوية أبدًا. عشنا هذه الحالة في موقعنا وشرحناها مع طريقة الاختبار في مقال إعادة التوجيه التلقائي للغة؛ وفي هذه الخطوة من المسار، مقارنة الاستجابة التي يتلقاها Googlebot بالاستجابة التي يتلقاها المستخدم أمر إلزامي.
في مجموعة التعليمة الصريحة يكون السبب الجذري وسم noindex أو ترويسته. والسؤال هنا ليس "أين الوسم" بل "من وضع الوسم، ولماذا". قد يكون قالبًا نُقل من بيئة الاختبار إلى الإنتاج، أو إعدادًا على مستوى الصفحة في نظام إدارة المحتوى، أو الإعداد الافتراضي لإضافة SEO. إذا لم تجد المصدر قبل إزالة الوسم، فسيعود مع النشر التالي.
مجموعة اختيار Google هي الأصعب، لأن كل شيء يبدو صحيحًا تقنيًا. "تم الاكتشاف ولكن لم تتم الفهرسة" غالبًا سعة زحف أو ضعف في الروابط الداخلية؛ و"تم الزحف ولكن لم تتم الفهرسة" غالبًا أن الصفحة لم تُعتبر مميزة بما يكفي مقارنةً ببقية الموقع. الإصلاح هنا ليس تقنيًا: الربط إلى الصفحة من داخل الموقع، أو دمج الصفحات المتشابهة، أو جعل المحتوى مختلفًا فعلًا.
في مجموعة إدارة النسخ المكررة يكون السبب الجذري في المعمارية: عناوين URL ذات معاملات، وفروق الشرطة المائلة في النهاية، ونسختا http وhttps، ونشر المحتوى نفسه تحت نسختين لغويتين بلا canonical. اختيار Google لـ canonical مختلف عن المستخدم ليس خطأ من Google بل تعارض بين إشارتين؛ ويجب أن تشير إعادة التوجيه وcanonical وhreflang إلى عنوان URL نفسه.
الخطوة 4: أثبت الإصلاح، لا تفترضه
بعد الإصلاح تُطلب ثلاثة أدلة. الأول، أن يخرج الاختبار المباشر في أداة فحص URL نظيفًا. الثاني، أن يكون Googlebot قد جلب الصفحة فعلًا مرة أخرى بعد الإصلاح، كما يظهر في سجل الخادم؛ ومن دون ذلك لا تتغير حالة الفهرسة. الثالث، أن تتغير الحالة في التقرير؛ وقد يستغرق هذا الدليل الثالث أيامًا أو أسابيع، والأداة الوحيدة لتقصير هذه المدة هي طلب الفهرسة من أداة فحص URL.
يجب ألا يُنظر إلى طلب الفهرسة كأداة إصلاح جماعي. فهو ينفع للصفحات المهمة واحدة واحدة؛ أما لمئات الصفحات فالمطلوب أن تكون خريطة الموقع محدّثة وأن تصل الروابط الداخلية إلى تلك الصفحات فعلًا. وتكتب وثائق Google الخاصة بـ robots.txt نقطة كثيرًا ما تُخلط بوضوح: robots.txt ليس آلية لإبقاء صفحة خارج Google؛ فذلك يتطلب noindex أو حماية بكلمة مرور. وهذا ينطبق في الاتجاه المعاكس أيضًا: وضع noindex على صفحة محظورة بـ robots.txt لا أثر له، لأن Google لا تستطيع زحف الصفحة لترى الوسم.
لماذا نبقي المسار ثابتًا
تطبيق هذه الخطوات الأربع بالترتيب نفسه في كل مرة ليس لأجل سرعة التشخيص بقدر ما هو لمنع الإصلاح الخاطئ. الخطأ الأكثر شيوعًا الذي نراه هو تغيير canonical لصفحة في حالة "تم الزحف ولكن لم تتم الفهرسة"، أو إعادة كتابة المحتوى لحالة "تم الاكتشاف ولكن لم تتم الفهرسة"؛ وكلاهما ينشأ من قراءة خاطئة للمجموعة ويكلف أسابيع. ولأن المسار يربط كل إصلاح باسم حالة ودليل، يتكون سجل ما تم فعله ولماذا من تلقاء نفسه.
الخلاصة
مشكلة الفهرسة ليست مشكلة واحدة بل حالة تقع في إحدى أربع مجموعات. يبدأ مسار التشخيص بترجمة الشكوى إلى الحالة التي تسميها Search Console، ويُتحقق منه باختبار مباشر على عنوان URL واحد، ويُبحث عن السبب الجذري بحسب المجموعة، ويُغلق الإصلاح بثلاثة أدلة. الفرق التي تطبق هذا الترتيب دون كسره تصلح الصفحة نفسها مرة واحدة بدل ثلاث مرات.