Yapay zekada en çok önerilen iç giyim markaları nasıl ölçülüyor

Bir yapay zeka asistanına iç giyim markası sorduğunuzda aldığınız cevap tek başına bir sıralama değildir. Sıralama, aynı türden binlerce cevabın sayılmasıyla ortaya çıkar. Sadakat ve ödül platformu Herm.io’nun iç giyim, çorap ve plaj giyimi ölçümünde beş asistandan toplanan 1.117 yanıt tarandı, bu yanıtlarda geçen 189 marka kaydedildi ve her markanın kaç yanıtta göründüğü hesaplandı. Penti yanıtların yüzde 41’inde anılarak listenin başında yer aldı, Ayyıldız ikinci sırada kaldı.

Böyle bir tabloyu okurken belirleyici olan hangi markanın önde olduğu değil, sayının hangi kararlardan geçerek üretildiğidir. Soru seti, tekrar sayısı, asistan grubu ve sayma kuralı açıklanmadığında elde kalan şey ölçüm değil, iddiadır.

Ölçülen şey tek bir cevap değil, cevap havuzudur

Görünürlük ölçümünün birimi tek bir sohbet değil, önceden belirlenmiş soruların ürettiği yanıt kümesidir. Bir markanın oranı bu kümede kaç kez göründüğüne bakılarak çıkar. Penti’nin yüzde 41’i şu anlama gelir: toplanan her yüz yanıttan kırk birinde marka adı geçmiştir. Bu oran markanın bir yanıt içinde kaç kez tekrarlandığını değil, kaç ayrı yanıtta göründüğünü anlatır.

İzlenen marka sayısı ile görünür marka sayısı da aynı şey değildir. İç giyim ölçümünde 189 marka kayda girdi, ancak kayda girmek görünür olmak anlamına gelmiyor. Aynı serinin kozmetik ölçümünde izlenen 138 markadan yalnızca 31’i yanıtların yüzde 5’inde anılma eşiğini geçebildi. Geri kalanı listede vardır fakat pratikte asistanların cevaplarına neredeyse hiç girmez.

Aynı soru neden defalarca soruluyor

Yapay zeka asistanları aynı soruya her seferinde aynı cevabı vermez. Tek bir oturumdan çıkan liste bu yüzden ölçüm değil, örnektir. Herm.io serisinde bu sorun tekrarla çözülüyor: kozmetik ölçümünde 27 Türkçe soru her modele beşer kez soruldu ve dört asistanla çalışıldığı için toplam yanıt sayısı 540’ta kapandı. Rapordaki yanıt sayısı, soru sayısı ile tekrar sayısının ve asistan sayısının çarpımıdır; okur bu çarpımı kendi başına kontrol edebilir.

Tekrar, tek seferlik tesadüfleri sonuçtan temizler. Bir marka yalnızca tek denemede öne çıkmışsa oranı düşük kalır, beş denemenin beşinde de anılıyorsa bu artık rastlantı sayılmaz. İç giyim tarafında yayımlanan yapay zekada en çok önerilen iç giyim markaları tablosu da bu birikmiş yanıt havuzunun sayımıdır, tek bir sorunun cevabı değil.

Tek asistanla yapılan ölçüm farklı sonuç verir mi

Verebilir. Kozmetik ölçümünde dört asistanın toplamı bir sıralama üretirken, Claude’un yanıtları tek başına ele alındığında ilk sıraya Farmasi çıktı. Soru seti değişmediği halde model değişince tablo da değişti. Mobilya ölçümünde ise tersi görüldü: beş asistan büyük ölçüde aynı isimlerde buluştu ve hiçbiri en üstteki markayı değiştirmedi.

İki sonuç birlikte okunduğunda ortaya şu çıkıyor: asistanlar arası uyum sabit bir özellik değil, kategoriye göre değişen bir bulgudur. İç giyim ölçümü beş asistanla yapıldı ve yalnızca birinin çıktısına bakan bir okur aynı kategoride başka bir tablo görebilir. Bir görünürlük sıralamasında hangi asistanların kullanıldığı bu yüzden dipnot değil, sonucun parçasıdır.

Soru seti açıklanmadan sıralama yorumlanamaz

Sorunun kurulma biçimi cevabın kapsamını belirler. Küçük ev aletleri ölçümünde sorudan Türk sözcüğü çıkarıldığında listenin en üst sırası değişti ve Philips öne geçti. İç giyimde menşe belirtilmeyen sorularda anılmaların yüzde 59’u Türk, yüzde 41’i yabancı markalara gitti; bu, serideki kategoriler arasındaki en dengeli dağılımdı.

Bu nedenle bir ölçümün soru listesi, sorularda köken kısıtı bulunup bulunmadığı ve soruların dili açıklanmadan sonucu yorumlamak mümkün değildir. Aynı kategoride farklı soru setiyle çalışan iki ölçüm birbiriyle çelişmiyor olabilir; farklı sorulara cevap veriyor olabilirler.

Bir görünürlük ölçümünde açıklanması gereken alanlar

Aynı ölçüm baştan yapılsa aynı sonuç çıkar mı

Birebir aynı sayılar çıkmaz, çıkması da beklenmez. Asistanların yanıtları oturumdan oturuma değişiyor ve modeller zaman içinde güncelleniyor. Tekrarlanabilirlik burada sayıların eşleşmesi değil, yöntemin aynı adımlarla yeniden uygulanabilmesi anlamına gelir.

Bir okurun ölçümü kendi başına yinelemesi için soru listesinin tamamına, soruların diline, her sorunun kaç kez sorulduğuna, hangi asistanların kullanıldığına ve bir markanın anılmış sayılması için hangi ölçütün uygulandığına ihtiyacı vardır. Bu beş bilgi elde varsa iki ölçüm arasındaki fark tartışılabilir hale gelir. Yoksa listeler karşılaştırılamaz, çünkü neyin farklı olduğu bilinmez.

Ölçüm neyi göstermez

Görünürlük ölçümü bir markanın yapay zeka cevaplarında ne sıklıkla göründüğünü söyler. Ürünün daha iyi olduğunu söylemez. Bu ayrım raporların kendisinde de açıkça korunuyor ve sonucu okurken düşürülmemesi gereken sınır burasıdır.

• Anılma sıklığı ürün kalitesinin, dayanıklılığın veya müşteri memnuniyetinin ölçüsü değildir
• Sıralama pazar payı ya da satış rakamı yerine geçmez
• Bir markanın az anılması onun kötü olduğu anlamına gelmez; ölçüm neden az anıldığını açıklamaz
• Sonuçlar kullanılan soru setine ve asistan grubuna bağlıdır, kategorinin tamamı için genel geçer bir hüküm değildir

Karşınıza çıkan bir yapay zeka sıralamasını nasıl sınarsınız

1. Kaç yanıt üzerinden hesaplandığını arayın; yanıt sayısı yoksa oran da yoktur
2. Hangi asistanların kullanıldığına bakın, tek asistanla yapılan ölçüm o asistanın tablosudur
3. Her sorunun aynı modele kaç kez sorulduğunu kontrol edin
4. Soruların köken, fiyat veya kullanım kısıtı içerip içermediğine bakın
5. Bir markanın anılmış sayılması için hangi ölçütün kullanıldığını arayın
6. Sıralamanın kaliteyi değil görünürlüğü anlattığının yazılı olarak belirtildiğini görün

Bu altı bilgi yayımlandığında sıralama üzerinde tartışılabilir bir veri haline gelir, eksik olduğunda ise elde yalnızca sıranın kendisi kalır. İç giyim ölçümündeki yüzde 41 de tek başına değil, arkasındaki soru seti, tekrar sayısı ve asistan grubuyla birlikte okunduğunda anlam taşıyor.