ظهور العلامة في ChatGPT: إعداد قياس بمئة prompt
كيف تُبنى مجموعة ثابتة من مئة prompt لقياس ظهور علامتك في إجابات الذكاء الاصطناعي: تصميم المجموعة، وبروتوكول التشغيل، وقواعد التسجيل.
بقلم Roozbeh Nazari · CEO
يُجاب سؤال الظهور في إجابات الذكاء الاصطناعي في معظم الشركات بتجربة لمرة واحدة: تُطرح بضعة أسئلة، فإن لم تظهر العلامة ساد القلق، وإن ظهرت ساد الاطمئنان. ومشكلة هذه الطريقة أن طرح السؤال نفسه في اليوم التالي يأتي بإجابة مختلفة. وما يلزم ليصير الأمر قياسًا ليس مزيدًا من الأسئلة بل مجموعة أسئلة ثابتة وبروتوكولًا لا يتغير.
يشرح هذا المقال كيفية بناء مثل هذه المجموعة. ولا ننشر نتيجة قياس ولا معدل استشهاد: فأرقام من هذا النوع لا تكون ذات معنى إلا لعلامة بعينها وتاريخ بعينه ولغة بعينها، وتضلّل حين تُنقل إلى علامة أخرى. ولجانب معنى القياس فإن مقالنا عن القياس على مستوى الـ prompt مكمّل، ولجانب التطبيق خدمة الظهور في البحث بالذكاء الاصطناعي لدينا.
لماذا مئة prompt، ولماذا مجموعة ثابتة
لا سحر في الرقم نفسه؛ فالمئة هي نقطة تقاطع قيدين عمليين. فدونها يقل عدد الأسئلة في كل طبقة إلى حد يسمح لإجابة واحدة بتغيير الجدول. وفوقها تصير مراجعة المجموعة يدويًا وتكرارها في كل تشغيل حملًا لا تحتمله معظم الفرق.
والحاسم فعليًا ليس العدد بل ثبات المجموعة. فقيمة القياس المرجعي لا تأتي من نسبة مطلقة بل من تغيّر المجموعة نفسها عبر الزمن. فإن حُدِّثت المجموعة في كل تشغيل، صار المقيس ليس ظهور العلامة بل تغيّر الأسئلة المطروحة. والقاعدة هي: تُحدَّث المجموعة مرة كل ربع، بمبرر مكتوب ورقم نسخة؛ وفي الفترة الفاصلة لا يتغير ولا prompt واحد.
تصميم مجموعة الـ prompt: أربع طبقات
لا تُختار المئة عشوائيًا؛ بل تُقسَّم إلى طبقات تمثل السياقات المختلفة التي ينبغي أن تظهر فيها العلامة. والتوزيع الناجح عمليًا هو:
- أسئلة الفئة (نحو أربعين prompt): أسئلة لا يرد فيها اسم العلامة وتُطرح عن الخدمة أو المشكلة. وهذه هي الطبقة التي يُختبر فيها الظهور حقًا، لأن النموذج مضطر إلى اختيار العلامة بنفسه.
- أسئلة المقارنة (نحو خمسة وعشرين prompt): أسئلة تطلب الاختيار بين أسلوبين أو طريقتين أو مدينتين. وهذه الطبقة تُظهر السياق الذي تُذكر فيه العلامة.
- أسئلة العلامة (نحو عشرين prompt): أسئلة يرد فيها اسم العلامة مباشرة. وهي تقيس الدقة لا الظهور: هل يصف النموذج العلامة وصفًا صحيحًا، وهل ينتج معلومة خاطئة؟
- أسئلة الذيل الطويل (نحو خمسة عشر prompt): أسئلة ضيقة ومحددة ومكتوبة بلغة العميل الحقيقية. وعادةً يخرج أعلى معدل ظهور هنا، وهي أسرع الطبقات تحسنًا.
وفي العلامات العاملة بعدة لغات تُبنى المجموعة لكل لغة على حدة؛ فالترجمة لا تكفي لأن أسلوب طرح أسئلة الفئة يختلف بحسب اللغة. وبالنسبة لعيادة تعمل بأربع لغات يعني ذلك أربع مجموعات مئوية منفصلة، وهذه الكلفة ينبغي قبولها منذ البداية.
بروتوكول التشغيل
غاية البروتوكول التأكد من أن الفارق بين تشغيلين ناتج عن العلامة. وأربع قواعد تحقق ذلك. الأولى التكرار: يُطرح كل prompt ثلاث مرات على الأقل في التشغيل نفسه، لأن بين الإجابات عن السؤال الواحد تباينًا طبيعيًا وإجابة واحدة ليست قياسًا. والثانية نظافة الجلسة: يُطرح كل prompt في جلسة نظيفة، وإلا أثّر السؤال السابق في إجابة اللاحق.
والثالثة التسجيل: يُحفظ النص الكامل لكل إجابة وتاريخها ونسخة الواجهة المستخدمة. وهذا السجل هو الشيء الوحيد الذي يحسم لاحقًا نقاش "كان مختلفًا الشهر الماضي". والرابعة نافذة تاريخ ثابتة: يكتمل التشغيل في يوم واحد ولا يُمدّ على أسبوع. فإن وقعت تحديثات من جانب النموذج داخل نافذة القياس، صارت النتيجة خليطًا من نظامين مختلفين.
التسجيل: ما يُحتسب وما لا يُحتسب
تُكتب قواعد التسجيل قبل التشغيل ولا تُغيَّر أثناءه. ويُسجَّل لكل prompt ثلاثة أمور منفصلة: هل ذُكرت العلامة في نص الإجابة، وهل أُعطي رابط بوصفه مصدرًا، وهل كان سياق الذكر إيجابيًا أم محايدًا أم خاطئًا. وهذه الثلاثة مقاييس منفصلة ولا ينبغي جمعها في "درجة ظهور" واحدة؛ فعند جمعها يضيع الفارق الحاسم بين الذكر دون إسناد وبين الحصول على رابط.
وتُحدَّد صراحةً أيضًا الأمور التي لا تُحتسب. فحين يضع المستخدم العلامة في السؤال نفسه، لا يكون تكرار النموذج لها ظهورًا. وذكر مؤسسة أخرى مشابهة الاسم لا يُحتسب كذلك — وهذا يقع في المجموعات متعددة اللغات أكثر مما يُظن بسبب الكتابة بحروف أخرى. والعلامة التي تظهر في واحدة فقط من التكرارات الثلاثة تُعلَّم "غير مستقرة" ولا تُحتسب كاملة.
أخطاء يجب تجنبها عند تفسير النتائج
أشهر خطأ هو قراءة نتيجة تشغيل واحد بوصفها مستوى. فالتشغيل الأول ليس مستوى بل خط أساس فحسب؛ والمعنى يولد مع التشغيل الثاني. والخطأ الثاني مقارنة النسبة بنسبة منافس: فما لم تكن مجموعة المنافس مطابقة لمجموعتكم، فالنسبتان غير قابلتين للمقارنة.
والخطأ الثالث والأغلى هو الانتقال من النتيجة إلى تعهد. فاستشهاد إجابات الذكاء الاصطناعي بعلامة نتيجةٌ يمكن التأثير فيها من جانب المحتوى لكن لا يمكن ضمانها؛ وأي مصدر يُقتبس ليس تحت سيطرة الناشر. ووظيفة القياس المرجعي رؤية اتجاه التغييرات المُجراة — لا الوعد بهدف. أما على جانب سياسة الوصول فينبغي أن يُحسم عن وعي، قبل القياس، كيفية التعامل مع الزواحف المعنية عبر robots.txt.
من يشغّل المجموعة، وما كلفتها
تشغيل مئة prompt بثلاثة تكرارات يعني ثلاثمئة سؤال وجواب للغة واحدة. وإذا أُنجز يدويًا استغرق من شخص متمرس نحو يوم كامل؛ ولعلامة تعمل بأربع لغات يصير ذلك أربعة أيام في الربع. وحين لا تُقبل هذه الكلفة منذ البداية يقع المتوقع: يُنجَز التشغيل الأول، ويُؤجَّل الثاني، ويعود القياس المرجعي تجربةً لمرة واحدة.
والطريق الصحيح لخفض الكلفة ليس تصغير المجموعة بل منهجة التشغيل. فربط التسجيل بقالب موحّد، وكتابة قواعد التسجيل سلفًا، وجمع التكرارات في جلسة واحدة، كلها تقصّر الزمن بوضوح. وإذا لزم تصغير المجموعة فليكن مع الحفاظ على نسب الطبقات؛ إذ إن الإبقاء على أسئلة الفئة وحدها وإسقاط أسئلة العلامة يُفقد القياس بُعد الدقة كليًا.
ومن يشغّل المجموعة يؤثر في النتيجة أيضًا. فتشغيل الشخص نفسه لها كل ربع يقلل انحراف البروتوكول. وإن كان الشخص سيتغير، فإن إنجاز تشغيل واحد بالتوازي من شخصين قبل التسليم ومقارنة النتائج يبيّن ما إذا كانت قواعد التسجيل مشتركة فعلًا — وهي مقارنة تنتهي في معظم الفرق بإعادة كتابة القواعد.
ما الذي يغيّره القياس المرجعي وما الذي لا يغيّره
القياس المرجعي ليس أداة ظهور بل حلقة تغذية راجعة. وما يغيّره هو أن اتجاه القرارات المتخذة على جانبي المحتوى والتقنية يصير قابلًا للقياس: فبعد تقوية مجموعة صفحات بعينها يُرى كيف يتحرك معدل الذكر في الطبقة المعنية. وهذا لا يعزل أثر صفحة واحدة لكنه يبيّن الاتجاه، وهو ما يكفي لمعظم القرارات.
أما ما لا يغيّره فهو النتيجة نفسها. فأي مصدر يقتبسه النموذج ليس تحت سيطرة الناشر، وهذا مستقل عن جودة إعداد القياس. والاستعمال الأمين للقياس المرجعي هو ملاحظة أثر العمل المُنجز، لا وضع هدف. وتعهّد مزوّد بمعدل ذكر بعينه استنادًا إلى نتائج القياس يقلب غاية القياس رأسًا على عقب.