دیدهشدن برند در ChatGPT: بنچمارک 100 پرامپت
چگونه یک بنچمارک ثابت 100 پرامپتی برای سنجش دیدهشدن برندتان در پاسخهای هوش مصنوعی بسازید: طراحی مجموعه، پروتکل اجرا و قواعد امتیازدهی.
نوشته Roozbeh Nazari · CEO
پرسش دیدهشدن در پاسخهای هوش مصنوعی در بیشتر شرکتها با یک آزمایش تکباره پاسخ داده میشود: چند پرسش مطرح میشود، اگر برند نیامد نگرانی پیش میآید و اگر آمد آسودگی. مشکل این روش آن است که همان پرسش را فردا که بپرسید پاسخ دیگری میآید. آنچه لازم است تا این کار به سنجش بدل شود پرسش بیشتر نیست، بلکه مجموعهای ثابت از پرسشها و پروتکلی تغییرناپذیر است.
این نوشته توضیح میدهد چنین مجموعهای چگونه ساخته میشود. نتیجه سنجش یا نرخ استناد منتشر نمیکنیم: چنین اعدادی تنها برای یک برند مشخص، یک تاریخ مشخص و یک زبان مشخص معنا دارند و وقتی به برند دیگری منتقل شوند گمراه میکنند. برای سمت معنای سنجش، نوشته ما درباره سنجش در سطح prompt مکمل است و برای سمت اجرا، خدمت مرئیبودن در جستجوی هوش مصنوعی ما.
چرا صد پرامپت، چرا مجموعه ثابت
در خود عدد جادویی نیست؛ صد نقطه تقاطع دو محدودیت عملی است. پایینتر از آن، شمار پرسش در هر لایه آنقدر کم میشود که یک پاسخ میتواند جدول را تغییر دهد. بالاتر از آن، بازبینی دستی مجموعه و تکرارش در هر اجرا به باری بدل میشود که بیشتر تیمها تاب نمیآورند.
آنچه واقعاً تعیینکننده است عدد نیست، ثبات مجموعه است. ارزش بنچمارک نه از یک نسبت مطلق، بلکه از تغییر همان مجموعه در گذر زمان میآید. اگر مجموعه در هر اجرا بهروز شود، آنچه سنجیده میشود دیدهشدن برند نیست بلکه تغییر پرسشهای مطرحشده است. قاعده این است: مجموعه هر سهماه یک بار، با دلیل مکتوب و شماره نسخه بهروز میشود؛ در فاصله میان دو بهروزرسانی حتی یک پرامپت هم تغییر نمیکند.
طراحی مجموعه پرامپت: چهار لایه
صد پرامپت تصادفی انتخاب نمیشوند؛ به لایههایی تقسیم میشوند که بافتارهای گوناگونی را که برند باید در آنها دیده شود نمایندگی کنند. توزیعی که در عمل کار میکند این است:
- پرسشهای دسته (حدود چهل پرامپت): پرسشهایی که نام برند در آنها نمیآید و درباره خدمت یا مسئله مطرح میشوند. لایهای که دیدهشدن واقعاً در آن آزموده میشود همین است، چون مدل ناچار است خودش برند را انتخاب کند.
- پرسشهای مقایسه (حدود بیستوپنج پرامپت): پرسشهایی که انتخاب میان دو رویکرد، دو روش یا دو شهر را میخواهند. این لایه نشان میدهد برند در چه بافتاری نام برده میشود.
- پرسشهای برند (حدود بیست پرامپت): پرسشهایی که نام برند مستقیم در آنها میآید. اینها دقت را میسنجند نه دیدهشدن را: آیا مدل برند را درست توصیف میکند، آیا اطلاعات نادرست میسازد؟
- پرسشهای دمبلند (حدود پانزده پرامپت): پرسشهای باریک، مشخص و نوشتهشده به زبان واقعی مشتری. معمولاً بالاترین نرخ دیدهشدن اینجا درمیآید و این سریعترین لایه در بهبود است.
در برندهایی که چندزبانه کار میکنند مجموعه برای هر زبان جداگانه ساخته میشود؛ ترجمه کافی نیست چون شیوه طرح پرسشهای دسته به زبان بستگی دارد. برای کلینیکی که در چهار زبان کار میکند این یعنی چهار مجموعه صدتایی جدا، و این هزینه باید از ابتدا پذیرفته شود.
پروتکل اجرا
هدف پروتکل آن است که مطمئن شویم تفاوت میان دو اجرا از برند میآید. چهار قاعده این را تأمین میکند. نخست تکرار: هر پرامپت دستکم سه بار در همان اجرا پرسیده میشود، چون میان پاسخهای یک پرسش تغییرپذیری طبیعی وجود دارد و یک پاسخ سنجش نیست. دوم بهداشت نشست: هر پرامپت در نشستی تمیز پرسیده میشود، وگرنه پرسش پیشین بر پاسخ پسین اثر میگذارد.
سوم ثبت: متن کامل هر پاسخ، تاریخ آن و نسخه رابط بهکاررفته نگه داشته میشود. تنها چیزی که بعدها بحث «ماه پیش فرق داشت» را فیصله میدهد همین ثبت است. چهارم بازه تاریخ ثابت: اجرا در یک روز کامل میشود و روی یک هفته پخش نمیشود. اگر بهروزرسانیهای سمت مدل درون پنجره سنجش بیفتند، نتیجه آمیزهای از دو سامانه متفاوت میشود.
امتیازدهی: چه چیزی شمرده میشود، چه چیزی نه
قواعد امتیازدهی پیش از اجرا نوشته میشوند و حین اجرا تغییر نمیکنند. برای هر پرامپت سه چیز جدا ثبت میشود: اینکه برند در متن پاسخ نام برده شده یا نه، اینکه پیوندی بهعنوان منبع داده شده یا نه، و اینکه بافتار نامبردن مثبت، خنثی یا نادرست بوده است. این سه سنجههای جداییاند و نباید در یک «امتیاز دیدهشدن» واحد جمع شوند؛ وقتی جمع شوند، تفاوت حیاتی میان نامبردهشدن بدون ارجاع و گرفتن پیوند از میان میرود.
چیزهایی که شمرده نمیشوند هم صریح تعریف میشوند. جایی که کاربر خودش برند را در پرسش آورده است، تکرار آن توسط مدل دیدهشدن نیست. نامبردهشدن سازمانی دیگر با نامی مشابه هم شمرده نمیشود — این در مجموعههای چندزبانه به سبب حرفنویسی بیش از آنچه گمان میرود رخ میدهد. برندی که تنها در یکی از سه تکرار میآید «ناپایدار» علامت میخورد و کامل شمرده نمیشود.
خطاهایی که در تفسیر نتیجه باید پرهیز کرد
رایجترین خطا خواندن نتیجه یک اجرا بهعنوان یک سطح است. اجرای نخست سطح نیست، تنها خط پایه است؛ معنا با اجرای دوم زاده میشود. خطای دوم مقایسه نسبت خود با نسبت رقیب است: تا وقتی مجموعه رقیب با مجموعه شما یکی نباشد، این دو نسبت قابل مقایسه نیستند.
خطای سوم و پرهزینهترین، گذر از نتیجه به تعهد است. استناد پاسخهای هوش مصنوعی به یک برند نتیجهای است که از سمت محتوا میتوان بر آن اثر گذاشت اما نمیتوان تضمینش کرد؛ اینکه کدام منبع نقلقول شود در کنترل ناشر نیست. کارکرد بنچمارک دیدن جهت تغییرهای انجامشده است — نه وعده هدف. در سمت سیاست دسترسی هم باید پیش از سنجش آگاهانه تصمیم گرفت که خزندههای مربوط در robots.txt چگونه مدیریت شوند.
چه کسی مجموعه را اجرا میکند و هزینهاش چیست
اجرای صد پرامپت با سه تکرار برای یک زبان یعنی سیصد پرسشوپاسخ. اگر دستی انجام شود، از فردی باتجربه حدود یک روز کامل میگیرد؛ برای برندی که در چهار زبان کار میکند این میشود چهار روز در هر سهماهه. وقتی این هزینه از ابتدا پذیرفته نشود آنچه رخ میدهد پیشبینیپذیر است: اجرای نخست انجام میشود، دومی به تعویق میافتد و بنچمارک به آزمایشی تکباره بازمیگردد.
راه درست کاهش هزینه کوچککردن مجموعه نیست، نظاممندکردن اجراست. گرهزدن ثبت به یک قالب استاندارد، از پیش نوشتن قواعد امتیازدهی و جمعکردن تکرارها در یک نشست، همگی زمان را بهروشنی کوتاه میکنند. اگر قرار است مجموعه کوچک شود، باید با حفظ نسبت لایهها کوچک شود؛ نگهداشتن تنها پرسشهای دسته و انداختن پرسشهای برند، بُعد دقت سنجش را یکسره از میان میبرد.
اینکه چه کسی اجرا میکند هم بر نتیجه اثر دارد. اجرای هر سهماهه توسط یک نفر، انحراف پروتکل را کم میکند. اگر قرار است فرد عوض شود، انجام موازی یک اجرا توسط دو نفر پیش از تحویل و مقایسه نتیجهها نشان میدهد که آیا قواعد امتیازدهی واقعاً مشترکاند — مقایسهای که در بیشتر تیمها به بازنویسی قواعد میانجامد.
بنچمارک چه چیزی را تغییر میدهد و چه چیزی را نه
بنچمارک ابزار دیدهشدن نیست، حلقه بازخورد است. آنچه تغییر میدهد این است که جهت تصمیمهای گرفتهشده در سمت محتوا و فنی سنجشپذیر میشود: پس از تقویت مجموعهای مشخص از صفحهها، دیده میشود نرخ نامبردهشدن در لایه مربوط چگونه حرکت میکند. این اثر یک صفحه را جدا نمیکند اما جهت را نشان میدهد، و برای بیشتر تصمیمها همین کافی است.
آنچه تغییر نمیدهد خود نتیجه است. اینکه مدل کدام منبع را نقلقول میکند در کنترل ناشر نیست و این مستقل از آن است که سنجش چقدر خوب چیده شده باشد. کاربرد صادقانه بنچمارک مشاهده اثر کار انجامشده است، نه گذاشتن هدف. تعهد یک ارائهدهنده به نرخ نامبردهشدن مشخص بر پایه نتایج بنچمارک، هدف سنجش را وارونه میکند.