llms.txt وإدارة زواحف AI: استراتيجية الوصول
إطار لتقرير ما تفتحه أمام زواحف AI: الفصل بين بوتات التدريب والبحث والمستخدم في robots.txt، والمكان الحقيقي لـ llms.txt، والتحقق عبر السجلات.
بقلم Roozbeh Nazari · CEO
جزء كبير من البوتات التي تزور موقعك اليوم لم يعد محركات بحث. هناك ثلاث عائلات مختلفة من البوتات: تلك التي تجمع المحتوى لتدريب النماذج، وتلك التي تبني فهرسًا لنتائج بحث AI، وتلك التي تجلب الصفحة لحظيًا عندما يطرح مستخدم سؤالًا. كلها تقرأ ملف robots.txt نفسه، لكن ما يقدمه كل منها لموقعك وما يأخذه منه مختلف. يشرح هذا المقال كيف تقرر ما تفتحه أمام أي بوت، وأين يقف llms.txt من هذا القرار.
استراتيجية الوصول هي الخطوة الأولى في أي عمل على الظهور في بحث AI؛ فمن دون معرفة أي بوت لا يستطيع رؤية صفحتك لا يمكنك تفسير غيابك عن أي إجابة. أما جانب المحتوى من الظهور، أي كيف تصبح الفقرة قابلة للاقتباس، فقد تناولناه في مقال قابلية اقتباس الفقرات.
ثلاث عائلات من البوتات، ثلاثة قرارات منفصلة
وثائق المزودين الكبار ترسم هذا التمييز بنفسها. تعرّف OpenAI ثلاثة وكلاء مستخدم رئيسيين: GPTBot يزحف لتدريب النماذج، وOAI-SearchBot يبني الفهرس لميزة البحث في ChatGPT، وChatGPT-User يجلب الصفحة بناءً على طلب مستخدم. وتوثق Anthropic الثلاثي نفسه بأسماء ClaudeBot وClaude-SearchBot وClaude-User. أما لدى Google فإن Google-Extended رمز منتج مستقل يتحكم في ما إذا كان المحتوى المزحوف من موقعك يمكن استخدامه لتدريب نماذج Gemini؛ وتنص وثائق Google صراحةً على أنه لا يؤثر في ترتيب البحث.
النتيجة العملية لهذا التمييز: "هل نحظر بوتات AI" ليس سؤالًا واحدًا بل ثلاثة أسئلة. الإغلاق أمام بوتات التدريب مع البقاء مفتوحًا لبوتات البحث ممكن، والوثائق تدعم ذلك صراحةً؛ إذ تكتب OpenAI أن كل إعداد يعمل باستقلال، وأن بإمكان الموقع السماح لـ OAI-SearchBot ومنع GPTBot. أما البوتات التي يشغّلها المستخدم فلها ملاحظة منفصلة: لأنها ليست زحفًا آليًا، قد لا تُطبَّق قواعد robots.txt عليها في كل حالة.
مصفوفة القرار: ما الذي يُفتح أمام أي بوت
يجب اتخاذ القرار بحسب نوع الصفحة. الإطار أدناه هو خلاصة الممارسة التي نطبقها كوكالة في مواقع العيادات ومواقع B2B؛ لن يعطي النتيجة نفسها في كل موقع، لكنه يطرح الأسئلة بالترتيب الصحيح.
- بوتات البحث (OAI-SearchBot وClaude-SearchBot وأمثالها): مفتوحة في كل صفحة تريد أن تُرى. إغلاقها يعني الانسحاب من نتائج بحث AI؛ وتقول OpenAI ذلك مباشرة.
- بوتات التدريب (GPTBot وClaudeBot وGoogle-Extended): بحسب نموذج عمل الموقع. تركها مفتوحة على المدونة والأدلة قد يسهم بشكل غير مباشر في الظهور؛ وإغلاقها على البيانات الأصلية والأبحاث والمحتوى المدفوع خيار يمكن الدفاع عنه.
- البوتات التي يشغّلها المستخدم (ChatGPT-User وClaude-User): مفتوحة. اللحظة التي يصل فيها هذا البوت هي اللحظة التي يوشك فيها مستخدم حقيقي على رؤية صفحتك داخل إجابة.
الخطأ الأكثر شيوعًا الذي نراه في مواقع العيادات في تركيا هو قرار "نحن مغلقون أمام AI" المتخذ بسطر واحد، والذي يحجب بوتات البحث أيضًا. وبعد أشهر يسأل أصحاب هذه المواقع "لماذا لا يوصي بنا ChatGPT"؛ والجواب في ملف robots.txt الخاص بهم.
robots.txt: ما الذي يفعله فعلًا وما لا يفعله
تكتب وثائق Google حدود robots.txt بوضوح: الملف يخبر الزواحف بأي عناوين URL يمكنها الوصول إليها، ويُستخدم أساسًا لتجنب إغراق الموقع بالطلبات؛ وليس آلية لإبقاء صفحة خارج Google. لإخراج صفحة من الفهرس تحتاج إلى noindex أو حماية بكلمة مرور. والمنطق نفسه ينطبق على بوتات AI: robots.txt طلب، لا جدار تقني. المزودون الكبار الذين لديهم وثائق يوثقون أنهم يحترمون هذا الطلب؛ أما البوتات غير الموثقة فالضمانة الوحيدة هي التحكم في الوصول من جانب الخادم.
عمليًا، كتابة الملف في ثلاث كتل تحسّن قابليته للقراءة: بوتات محركات البحث، وبوتات بحث AI والمستخدم، وبوتات تدريب AI. وتدوين سبب فتح أو إغلاق كل مسار في سطر تعليق داخل كل كتلة يوفر الوقت لمن يفتح الملف بعد ستة أشهر. تكتب OpenAI أن تغييرات robots.txt تنعكس في أنظمتها خلال نحو 24 ساعة؛ فإجراء التغيير والبحث عن النتيجة في السجل في اليوم نفسه مضلل.
llms.txt: ما هو، وما ليس هو
llms.txt اقتراح لملف يوضع في جذر الموقع ويشرح لنماذج اللغة، بصيغة Markdown، ما الذي يدور حوله الموقع وأين توجد الموارد المهمة. ونص الاقتراح نفسه يحدد الصيغة: عنوان H1، وملخص داخل كتلة اقتباس، ثم قوائم روابط مشروحة تحت عناوين H2. والهدف أن يفهم النموذج الموقع دون معالجة HTML بأكمله.
هنا يجب أن نكون صريحين. llms.txt ليس آلية للتحكم في الوصول؛ فهو لا يحظر أي بوت ولا يُلزم أي بوت. وثائق الزواحف لدى Google لا تدرج هذا الملف كآلية مدعومة؛ ووثائق البوتات لدى OpenAI وAnthropic تعتمد على robots.txt. أي أن llms.txt ليس بديلًا عن robots.txt، بل على الأكثر ملف تعريفي يرافقه. كلفة نشره منخفضة، لكن توقع الظهور منه افتراض غير مقيس.
نصيحتنا العملية: أعدّ ملف llms.txt، لكن ليحتوِ على أفضل خمس عشرة أو عشرين صفحة في الموقع فعلًا، لا خريطة الموقع كلها. والطريقة الوحيدة لمعرفة من يقرأ الملف هي عدّ الطلبات الواردة إلى ذلك المسار في سجل الخادم؛ تابع هذا العدد ثلاثة أشهر بعد النشر، ولا تعد إلى القرار إلا حينها.
التحقق من السجلات: السلوك لا الملف
استراتيجية الوصول ليست شيئًا يُكتب في robots.txt، بل شيئًا يُرى في السجل. العمل الشهري هو تجميع الطلبات في سجل الخادم بحسب اسم وكيل المستخدم والنظر في ثلاثة أسئلة: هل البوت الذي حظرته ما زال يأتي، وهل البوت الذي فتحته يأتي، وأي صفحات يجلب. وإذا كان جواب السؤال الأول "نعم"، فإما أن القاعدة كُتبت خطأً، وإما أن البوت يأتي بهوية غير موثقة.
اسم وكيل المستخدم يمكن انتحاله. ولهذا تنشر Google والمزودون الكبار نطاقات IP الخاصة ببوتاتهم؛ في حالة الحركة المشبوهة تحقق من نطاق IP لا من الاسم. وإذا كنت ترى مشكلة حمل مرتبطة بـ AI على الموقع، فالحل غالبًا ليس حظر كل البوتات بل فصل الحركة المنتحلة وتطبيق Crawl-delay أو حد معدل من جانب الخادم على البوتات الحقيقية.
نحتفظ بهذا التحقق بندًا ثابتًا في كل تدقيق سيو تقني؛ فالفرق بين آخر نسخة من robots.txt والسلوك في السجل هو المقياس الوحيد لما يقوله الموقع فعلًا لأي بوت.
الخلاصة
إدارة زواحف AI ليست قرار حظر واحدًا بل ثلاثة أجوبة منفصلة لثلاث عائلات من البوتات. البقاء مفتوحًا لبوتات البحث شرط مسبق للظهور، وبوتات التدريب قرار بحسب نموذج العمل، وبوتات المستخدم مفتوحة في كل الأحوال تقريبًا. robots.txt هو المكان الذي تُكتب فيه هذه القرارات، والتحقق من السجلات هو الدليل الوحيد على أنها تُطبَّق فعلًا. أما llms.txt فهو ملف تعريفي صغير داخل هذه الصورة؛ إعداده لا يضر، لكنه ليس الاستراتيجية نفسها.