ما هو محرك البحث؟ الزحف والفهرسة والترتيب

ما هو محرك البحث؟ أقصر جواب هو أنه نظام يجد صفحات الويب ويفهمها ويخزنها، ثم يعرض أنسبها لاستعلام ما مرتّبة. لكن هذا التعريف وحده لا يكفي صاحب الموقع؛ المهم أن يعرف عند أي حلقة من هذه السلسلة قد يتعثر موقعه. يشرح هذا المقال، استنادًا إلى وثائق جوجل نفسها، المراحل الثلاث الأساسية لمحرك البحث بلغة بسيطة، وهي الزحف والفهرسة وتقديم النتائج، ويبيّن ما الذي ينبغي فحصه في موقعك عند كل مرحلة. كُتب لشرح سؤال ما هو محرك البحث لصاحب القرار، لا لفريق تقني.

ما هو محرك البحث: سلسلة من ثلاث مراحل

يعرّف دليل Google Search Central عن كيفية عمل البحث العملية في ثلاث مراحل. في مرحلة الزحف تنزّل برامج آلية تسمى برامج الزحف النصوص والصور والفيديوهات من الصفحات الموجودة على الإنترنت. وفي مرحلة الفهرسة يُحلَّل محتوى الصفحة وتُخزَّن المعلومات في قاعدة بيانات كبيرة. وفي مرحلة تقديم النتائج، حين يبحث المستخدم، تُعثر الصفحات المرتبطة بالاستعلام وتُعرض مرتّبة.

هذه المراحل الثلاث متتالية: الصفحة التي لا يُزحف إليها لا يمكن فهرستها، والصفحة غير الموجودة في الفهرس لا يمكن أن تظهر في النتائج. لذلك حين لا تظهر صفحة في البحث، لا ينبغي أن يكون السؤال الأول "لماذا لا تتصدر"، بل "عند أي حلقة من السلسلة توقفت". وتذكر جوجل أيضًا بوضوح أنها لا تضمن الزحف إلى صفحة أو فهرستها أو عرضها؛ وهذا ينطبق حتى على موقع يلتزم بالقواعد.

ومن النقاط الأخرى التي يؤكدها الدليل أن جوجل لا تقبل المال مقابل الزحف إلى موقع بوتيرة أعلى أو رفع ترتيبه. فالإعلانات نظام منفصل، ولا يمكن شراء النتائج العضوية. وهذا يفسر أيضًا لماذا يستغرق عمل السيو وقتًا: فالترتيب ليس دفعة مالية، بل نتيجة اجتياز الصفحة كل مراحل السلسلة بنجاح.

الزحف: كيف يجد محرك البحث الصفحات

تعثر برامج الزحف على الصفحات الجديدة في الغالب عبر الروابط: فالرابط من صفحة معروفة إلى صفحة جديدة هو أكثر طرق الاكتشاف شيوعًا. وتساعد خرائط الموقع أيضًا في هذا الاكتشاف. وبحسب وثيقة جوجل عن خرائط الموقع، فإن خريطة الموقع ملف يعطي محرك البحث معلومات عن الصفحات والملفات المهمة في الموقع؛ وهي مفيدة خصوصًا للمواقع الكبيرة أو الجديدة أو التي لديها روابط خارجية قليلة.

الأداة الأساسية للتحكم في الزحف هي ملف robots.txt. وهنا خطأ شائع: robots.txt ليس وسيلة لإخفاء صفحة عن جوجل. فبحسب وثائق جوجل، يمنع robots.txt الزحف لكنه لا يمنع الفهرسة؛ وعنوان URL الذي يتلقى روابط من مواقع أخرى قد يظهر في الفهرس دون أن يُزحف إليه. ولإبقاء صفحة خارج البحث يجب استخدام noindex أو حماية الصفحة بكلمة مرور.

ما ينبغي فحصه في موقعك في هذه المرحلة: هل للصفحات المهمة روابط داخلية، وهل خريطة الموقع محدّثة ولا تحتوي إلا الصفحات التي تريد فهرستها، وهل يحجب robots.txt قسمًا مهمًا عن طريق الخطأ؟ وقد تناولنا أيضًا كيفية بناء بنية خرائط الموقع في المواقع متعددة اللغات في مقالنا عن خرائط الموقع متعددة اللغات.

الفهرسة: الإضافة إلى الفهرس والنسخة الأساسية

تُحلَّل الصفحة التي زُحف إليها قبل فهرستها: يُفحص النص والعناوين والصور وبنية الصفحة. ومن الأجزاء المهمة في هذه المرحلة فرز المحتوى المكرر. فجوجل تجمع الصفحات المتشابهة جدًا وتختار إحداها نسخةً أساسية (canonical)، أي النسخة الرئيسية التي ستمثّل المجموعة في النتائج. ووجود المحتوى نفسه على عدة عناوين مختلفة في الموقع قد يدفع محرك البحث إلى اختيار نسخة لم تكن تفضّلها.

مشكلات الفهرسة غالبًا صامتة: الصفحة منشورة، ويستطيع المستخدمون الوصول إليها، لكنها لا تظهر في البحث. والطريق لرؤية ذلك هو تقرير فهرسة الصفحات في Search Console. وقد شرحنا خطوة بخطوة قراءة الحالات في هذا التقرير وترتيب الإصلاحات في مقالنا عن مشكلات الفهرسة.

الترتيب: كيف تُرتَّب النتائج

في المرحلة الأخيرة، حين يكتب المستخدم استعلامًا، يبحث محرك البحث في الفهرس عن الصفحات المطابقة ويعرض النتائج التي يقدّر أنها الأكثر صلة وجودة. وبحسب دليل جوجل، تؤدي عوامل كثيرة دورًا في هذا التقييم، مثل موقع المستخدم ولغته وجهازه. وقد يعطي الاستعلام نفسه نتائج مختلفة في مدن مختلفة أو على أجهزة مختلفة؛ لذلك فإن الفحص اليدوي من حاسوب واحد ليس قياسًا موثوقًا للترتيب.

كما أن صفحة النتائج لا تتكون من عشرة روابط زرقاء فقط. فبحسب نية الاستعلام قد تظهر ميزات مختلفة مثل النتائج المحلية أو الصور أو الفيديوهات أو الملخصات المدعومة بالذكاء الاصطناعي. وقد ناقشنا إلى ماذا يتحول تحسين محركات البحث في عصر البحث بالذكاء الاصطناعي في مقالنا عن ما هو السيو.

القائمة الكاملة لعوامل الترتيب وأوزانها ليست علنية؛ فجوجل لا تشارك إلا المبادئ والإرشادات العامة. لذلك ينبغي التعامل بتشكك مع الادعاءات من نوع "أصلح هذا العامل وستصل إلى المركز الأول". والنهج الموثوق هو التأكد من أن الصفحة تجيب فعلًا عن سؤال المستخدم، وأنها متاحة تقنيًا، وأنها تُظهر بوضوح الخبرة والتخصص في الموضوع.

ومن الطرق العملية لفهم وجهة نظر محرك البحث أن تفحص موقعك بعينه. فأداة فحص عنوان URL في Search Console تُظهر كيف ترى جوجل صفحة معينة، ومتى زحفت إليها آخر مرة، وأي نسخة أساسية اختارت. وهذه المعلومة تتيح لك أن تشرح لماذا لا تظهر صفحة في البحث بالبيانات لا بالتخمين.

ووجود الصفحة في الفهرس وظهورها في استعلام معين أمران مختلفان أيضًا. فالصفحة المفهرسة التي لا تُعد ذات صلة كافية بأي استعلام قد لا تظهر في النتائج تقريبًا. ويكشف تقرير الأداء في Search Console الاستعلامات التي تحصل فيها الصفحة على مرات ظهور؛ فإن لم تكن هناك مرات ظهور، فالمشكلة غالبًا ليست تقنية، بل عدم تطابق بين المحتوى والاستعلام.

قائمة فحص عملية لصاحب الموقع

تحويل السلسلة إلى قائمة فحص يتيح العثور سريعًا على المرحلة التي توجد فيها المشكلة. للزحف: هل يمكن الوصول إلى الصفحات المهمة عبر الروابط الداخلية، وهل يسمح robots.txt واستجابات الخادم بالزحف؟ للفهرسة: هل الصفحات خالية من noindex، وهل تشير وسوم canonical إلى النسخة الصحيحة، وهل هناك استبعادات غير متوقعة في Search Console؟ لتقديم النتائج: هل تلبي الصفحة فعلًا نية الاستعلام المستهدف، وبماذا تختلف عن النتائج المنافسة؟

يتعلق الجزآن الأولان من هذه القائمة بالبنية التقنية، وغالبًا ما يجب حلّهما قبل العمل على المحتوى؛ فالمحتوى الجيد لا يحقق أي نتيجة في صفحة لا يمكن الزحف إليها أو فهرستها. وبناء هذا الأساس التقني وتدقيقه بانتظام هو نقطة انطلاق خدمة السيو التقني لدينا.

المصادر

• Google Search Central — كيف يعمل بحث Google: مراحل الزحف والفهرسة وتقديم النتائج.
• Google Search Central — مقدمة إلى robots.txt: كيف يتحكم robots.txt في الزحف وحدوده.
• Google Search Central — ما هي خريطة الموقع: متى تكون خرائط الموقع مفيدة.