ChatGPT marka görünürlüğü: 100-prompt benchmark kurulumu
Markanızın AI yanıtlarındaki görünürlüğünü ölçmek için 100 promptluk sabit bir benchmark nasıl kurulur: küme tasarımı, protokol ve skorlama.
Yazan Roozbeh Nazari · CEO
AI yanıtlarında görünürlük sorusu, çoğu şirkette tek seferlik bir denemeyle cevaplanıyor: birkaç soru sorulur, marka çıkmazsa endişelenilir, çıkarsa rahatlanılır. Bu yöntemin sorunu, aynı soruyu ertesi gün sorduğunuzda farklı cevap gelmesidir. Ölçüm haline gelmesi için gereken şey daha fazla soru değil, sabit bir soru kümesi ve değişmeyen bir protokoldür.
Bu yazı böyle bir kümenin nasıl kurulacağını anlatıyor. Ölçüm sonucu ya da alıntılanma oranı yayımlamıyoruz: bu tür rakamlar yalnızca belirli bir marka, belirli bir tarih ve belirli bir dil için anlamlıdır, başka bir markaya taşındığında yanıltır. Ölçümün ne anlama geldiği tarafı için prompt seviyesinde ölçüm yazımız, uygulama tarafı için AI arama görünürlüğü hizmetimiz tamamlayıcıdır.
Neden yüz prompt, neden sabit bir küme
Sayının kendisinde sihir yok; yüz, iki pratik kısıtın kesiştiği yer. Altında kalındığında katman başına düşen soru sayısı, tek bir cevabın tabloyu değiştirmesine izin verecek kadar azalır. Üstüne çıkıldığında ise kümenin elle gözden geçirilmesi ve her çalıştırmada tekrarlanması, çoğu ekibin sürdüremeyeceği bir yüke dönüşür.
Asıl belirleyici olan sayı değil, kümenin sabitliğidir. Benchmark’ın değeri mutlak bir orandan değil, aynı kümenin zaman içindeki değişiminden gelir. Küme her çalıştırmada güncellenirse, ölçülen şey markanın görünürlüğü değil, sorulan soruların değişimi olur. Kural şudur: küme çeyrekte bir, yazılı gerekçeyle ve sürüm numarası verilerek güncellenir; ara dönemde tek bir prompt bile değişmez.
Prompt kümesini tasarlamak: dört katman
Yüz prompt rastgele seçilmez; markanın görünmesi gereken farklı bağlamları temsil edecek şekilde katmanlara bölünür. Pratikte işleyen dağılım şu:
- Kategori soruları (yaklaşık kırk prompt): marka adı geçmeyen, hizmet ya da problem üzerinden sorulan sorular. Görünürlüğün asıl sınandığı katman budur, çünkü model markayı kendi seçmek zorundadır.
- Karşılaştırma soruları (yaklaşık yirmi beş prompt): iki yaklaşım, iki yöntem ya da iki şehir arasında seçim soran sorular. Bu katman, markanın hangi bağlamda anıldığını gösterir.
- Marka soruları (yaklaşık yirmi prompt): marka adının doğrudan geçtiği sorular. Görünürlüğü değil, doğruluğu ölçer: model markayı doğru mu tarif ediyor, yanlış bilgi üretiyor mu?
- Uzun kuyruk soruları (yaklaşık on beş prompt): dar, spesifik ve gerçek müşteri diliyle yazılmış sorular. Genellikle en yüksek görünürlük oranı burada çıkar ve en hızlı iyileşen katman budur.
Çok dilli çalışan markalarda küme dil başına ayrı kurulur; çeviri yeterli değildir çünkü kategori sorularının sorulma biçimi dile göre değişir. Dört dilde çalışan bir klinik için bu, dört ayrı yüzlük küme demektir ve bu maliyet baştan kabul edilmelidir.
Çalıştırma protokolü
Protokolün amacı, iki çalıştırma arasındaki farkın markadan kaynaklandığından emin olmaktır. Dört kural bunu sağlar. Birincisi tekrar: her prompt aynı çalıştırmada en az üç kez sorulur, çünkü aynı soruya verilen cevaplar arasında doğal değişkenlik vardır ve tek cevap ölçüm değildir. İkincisi oturum hijyeni: her prompt temiz bir oturumda sorulur, aksi halde önceki soru sonrakinin cevabını etkiler.
Üçüncüsü kayıt: her cevabın tam metni, tarihi ve kullanılan arayüz sürümü saklanır. Sonradan "geçen ay farklıydı" tartışmasını çözen tek şey bu kayıttır. Dördüncüsü sabit tarih aralığı: çalıştırma tek bir gün içinde tamamlanır, haftaya yayılmaz. Model tarafındaki güncellemeler ölçüm penceresinin içine düşerse, sonuç iki farklı sistemin karışımı olur.
Skorlama: ne sayılır, ne sayılmaz
Skorlama kuralları çalıştırmadan önce yazılır ve çalıştırma sırasında değiştirilmez. Her prompt için üç ayrı şey kaydedilir: markanın cevap metninde anılıp anılmadığı, kaynak olarak bağlantı verilip verilmediği ve anılma bağlamının olumlu, nötr ya da hatalı olduğu. Bu üçü ayrı ölçülerdir ve tek bir "görünürlük puanı"na toplanmamalıdır; toplandığında, kaynak gösterilmeden anılma ile bağlantı alma arasındaki kritik fark kaybolur.
Sayılmayacak şeyler de açıkça tanımlanır. Markanın kullanıcı tarafından soruda geçirildiği durumlarda modelin bunu tekrarlaması görünürlük değildir. Benzer isimli başka bir kuruluşun anılması da sayılmaz — bu, çok dilli kümelerde harf çevirisi nedeniyle sanıldığından sık görülür. Üç tekrarın yalnızca birinde çıkan marka, "kararsız" olarak işaretlenir ve tam sayılmaz.
Sonuçları yorumlarken kaçınılacak hatalar
En yaygın hata, tek çalıştırmanın sonucunu bir seviye olarak okumaktır. İlk çalıştırma bir seviye değil, yalnızca başlangıç çizgisidir; anlam ikinci çalıştırmayla birlikte doğar. İkinci hata, oranı rakip oranıyla kıyaslamaktır: rakibin kümesi sizinkiyle aynı olmadığı sürece iki oran karşılaştırılabilir değildir.
Üçüncü ve en maliyetli hata, sonuçtan bir taahhüde geçmektir. Bir markanın AI yanıtlarında kaynak gösterilmesi, içerik tarafında etkilenebilen ama garanti edilemeyen bir sonuçtur; hangi kaynağın alıntılanacağı yayıncının kontrolünde değildir. Benchmark’ın işlevi, yapılan değişikliklerin yönünü görmektir — hedef vaat etmek değil. Erişim politikası tarafında ise ilgili tarayıcıların robots.txt üzerinden nasıl ele alındığı, ölçümden önce bilinçli olarak kararlaştırılmalıdır.
Kümeyi kim çalıştırır, maliyeti nedir
Yüz promptun üç tekrarla çalıştırılması, tek bir dil için üç yüz soru-cevap demektir. Elle yapıldığında bu, deneyimli bir kişinin yaklaşık bir tam gününü alır; dört dilde çalışan bir marka için çeyrek başına dört gün eder. Bu maliyet baştan kabul edilmediğinde olan şey öngörülebilir: ilk çalıştırma yapılır, ikincisi ertelenir ve benchmark tek seferlik bir denemeye geri döner.
Maliyeti düşürmenin doğru yolu küme boyutunu küçültmek değil, çalıştırmayı sistemleştirmektir. Kayıt tutmanın standart bir şablona bağlanması, skorlama kurallarının önceden yazılmış olması ve tekrarların tek oturumda toplanması, süreyi belirgin biçimde kısaltır. Küme küçültülecekse, katman oranları korunarak küçültülmelidir; yalnızca kategori sorularını bırakıp marka sorularını atmak, ölçümün doğruluk boyutunu tamamen kaybettirir.
Çalıştırmayı kimin yaptığı da sonucu etkiler. Aynı kişinin her çeyrekte çalıştırması, protokol sapmasını azaltır. Kişi değişecekse, devir öncesinde bir çalıştırmanın iki kişi tarafından paralel yapılması ve sonuçların karşılaştırılması, skorlama kurallarının gerçekten paylaşılıp paylaşılmadığını gösterir — bu karşılaştırma çoğu ekipte kuralların yeniden yazılmasıyla sonuçlanır.
Benchmark neyi değiştirir, neyi değiştirmez
Benchmark bir görünürlük aracı değil, bir geri bildirim döngüsüdür. Değiştirdiği şey, içerik ve teknik tarafta alınan kararların yönünün ölçülebilir hale gelmesidir: belirli bir sayfa kümesi güçlendirildikten sonra ilgili katmandaki anılma oranının nasıl hareket ettiği görülür. Bu, tek bir sayfanın etkisini izole etmez ama yönü gösterir ve çoğu karar için yeterli olan budur.
Değiştirmediği şey ise sonucun kendisidir. Modelin hangi kaynağı alıntılayacağı yayıncının kontrolünde değildir ve bu, ölçümün ne kadar iyi kurulduğundan bağımsızdır. Benchmark’ın dürüst kullanımı, hedef koymak değil, yapılan işin etkisini gözlemlemektir. Bir sağlayıcının benchmark sonuçlarına dayanarak belirli bir anılma oranı taahhüt etmesi, ölçümün amacını tersine çevirir.