Benchmark sonuçları nasıl okunur? Puanların arkası

Her yeni dil modeli duyurusunun neredeyse vazgeçilmez bir parçası vardır: Satırlarında tuhaf kısaltmalar, sütunlarında rakip modeller ve bazı hücreleri kalın yazılmış bir puan tablosu. Bu tablolar bir modelin yeteneği hakkında fikir verir ama tek başına okunduğunda yanıltıcı da olabilir. Bu rehber, o tabloya bakarken aklınızda tutmanız gereken soruları sıralıyor.

Benchmark bir sınav kâğıdıdır, karne değil

Benchmark, belirli bir yeteneği ölçmek için hazırlanmış soru setidir. Her model aynı soruları çözer, doğru cevapların oranı puan olarak yazılır. Mantığı okuldaki deneme sınavlarına benzer: Aynı sınava giren öğrencileri karşılaştırmak için kullanışlıdır, ama bir öğrencinin iş hayatında ne kadar başarılı olacağını tek başına söylemez.

Tablolarda sık gördüğünüz bazı isimler ve kabaca ölçtükleri şeyler şöyledir:

• MMLU: Tarihten tıbba, hukuktan matematiğe pek çok alanda çoktan seçmeli genel bilgi soruları.
• GSM8K: İlkokul ve ortaokul düzeyinde, birkaç adımda çözülen sözel matematik problemleri.
• HumanEval: Verilen tanıma göre küçük Python fonksiyonları yazma; çözüm, hazır testlerden geçerse doğru sayılır.
• SWE-bench: Gerçek açık kaynak projelerden alınmış hata kayıtlarını, kod tabanında değişiklik yaparak çözme.
• GPQA: Uzman düzeyinde, internette arayarak kolayca bulunamayacak şekilde hazırlanmış fen soruları.

Gördüğünüz gibi her biri farklı bir kas grubunu çalıştırır. Bir modelin matematikte parlaması, kod yazmada da aynı başarıyı göstereceği anlamına gelmez.

Bir puanın arkasındaki üç soru

Ne ölçüldü?

Önce testin gerçekten sizin ilgilendiğiniz şeyi ölçüp ölçmediğine bakın. Çoktan seçmeli bir bilgi testinde yüksek puan alan bir model, sizin müşteri e-postalarınızı nazik ve doğru bir Türkçeyle yanıtlamada aynı başarıyı göstermeyebilir. Testin dili de önemlidir: Benchmark’ların büyük bölümü İngilizcedir ve sonuçlar Türkçeye doğrudan taşınmaz.

Nasıl ölçüldü?

Aynı test farklı ayarlarla çok farklı sonuç verebilir. Tablonun dipnotlarında sık rastlanan ifadeler şunlardır:

• 0-shot / 5-shot: Modele soruyu sormadan önce kaç tane çözülmüş örnek gösterildiği. Örnek göstermek genellikle puanı yükseltir.
• Chain-of-thought (düşünce zinciri): Modelin cevabı vermeden önce adım adım düşünmesine izin verilip verilmediği. Özellikle matematikte fark yaratır.
• pass@1 / pass@k: Kod testlerinde modelin tek denemede mi, yoksa birkaç denemeden en az birinde mi doğru çözümü bulduğu.
• Araç kullanımı: Modelin hesap makinesi, kod çalıştırma ya da arama gibi araçlara erişimi olup olmadığı.

İki modelin puanı yan yana duruyorsa ama biri beş örnekle, diğeri sıfır örnekle ölçülmüşse, bu karşılaştırma elma ile armudu kıyaslamaktır.

Kim ölçtü?

Model geliştiricisinin kendi yayımladığı sonuçlar ile bağımsız grupların yaptığı ölçümler her zaman örtüşmez. Bu her seferinde kötü niyet anlamına gelmez; komut biçimi, cevabın nasıl ayrıştırıldığı gibi küçük ayrıntılar bile sonucu etkiler. Yine de mümkün olduğunda bağımsız değerlendirmelere de göz atmak iyi bir alışkanlıktır. Değerlendirme kodunu ve kullanılan komutları açıkça paylaşan çalışmalar, sonuçların başkaları tarafından tekrarlanabilmesine imkân tanıdığı için daha fazla güveni hak eder.

Veri sızıntısı: Sınav soruları önceden ezberlenmişse

Dil modelleri internetten toplanmış devasa metinlerle eğitilir. Popüler bir benchmark’ın soruları ve cevapları da yıllar içinde forumlara, makalelere, kod depolarına yayılır. Bu sorular eğitim verisine karışırsa model, problemi çözmek yerine cevabı hatırlıyor olabilir. Buna kirlenme (contamination) denir.

Bunu, sınavdan önce soru kitapçığının sızdığı bir okul gibi düşünebilirsiniz: Puanlar yükselir ama öğrencilerin gerçekten ne bildiğini artık ölçemezsiniz. Araştırmacılar bu sorunu azaltmak için soruları gizli tutulan testler, düzenli olarak yenilenen soru havuzları ya da modelin eğitim tarihinden sonra yazılmış problemler kullanır. Bir test ne kadar eski ve ünlüyse, sonuçlarına o kadar temkinli yaklaşmak gerekir.

Doygunluk: Herkes 90’ın üzerindeyse

Bir test zamanla “dolar”. Önde gelen modellerin hepsi çok yüksek puanlar almaya başladığında, aradaki farklar artık anlamlı bir şey söylemez. Kalan hataların bir kısmı da sorunun kendisindeki belirsizlikten ya da cevap anahtarındaki yanlışlardan kaynaklanabilir. Bu yüzden yeni duyurularda eski testlerin yerini giderek daha zor testler alır. Tabloda hangi testlerin seçildiğine, hangilerinin seçilmediğine de dikkat edin; insanlar genellikle iyi göründükleri testleri öne çıkarır.

Küçük farkların anlamı

Bir modelin 78,4, diğerinin 79,1 aldığını gördüğünüzde ikincisinin daha iyi olduğunu düşünmek doğaldır. Ama birkaç yüz sorudan oluşan bir testte bu kadarlık fark, birkaç sorunun farklı cevaplanmasına denk gelebilir. Aynı model, komut biraz değiştirildiğinde ya da rastgelelik ayarı farklı olduğunda da benzer oynamalar gösterebilir. Kabaca kural şudur: Soru sayısı azsa ve fark küçükse, iki modeli bu test açısından “aşağı yukarı aynı” kabul edin.

İnsan tercihine dayalı sıralamalar

Sabit soru setlerinin yanında, kullanıcıların iki modelin cevabını isimlerini görmeden karşılaştırıp hangisini beğendiğini seçtiği platformlar da vardır. LMArena (eski adıyla Chatbot Arena) bunun en bilinen örneğidir; oylar, satranç derecelendirmesine benzer bir puana dönüştürülür. Bu yöntem gerçek kullanıcı beğenisini yakalaması açısından değerlidir. Ancak insanlar uzun, iyi biçimlendirilmiş ve kendinden emin cevapları, doğru olmasalar bile ödüllendirmeye yatkındır. Yani bu sıralama “en doğru” modeli değil, “en çok beğenilen” modeli gösterir.

Kendi küçük testinizi kurun

Bir modeli işinizde kullanacaksanız, en güvenilir benchmark sizin kendi verinizdir. Bunun için büyük bir ekibe gerek yok:

1. Gerçek örnekler toplayın: Modelin yapmasını istediğiniz işe dair 30–100 arası gerçek örnek seçin. Kolay, orta ve zor örnekleri karıştırın.
2. “İyi cevap” tanımını yazın: Her örnek için doğru cevabı ya da kabul edilebilir bir cevabın taşıması gereken özellikleri not edin.
3. Aynı koşulları sağlayın: Tüm modellere aynı komutu, aynı sıcaklık ayarını ve aynı biçim talimatını verin.
4. Kör değerlendirin: Cevapları hangi modelin verdiğini bilmeden puanlayın; mümkünse iki kişi ayrı ayrı puanlasın.
5. Hata türlerini not edin: Yalnızca puana değil, hataların niteliğine bakın. Biçim hatası ile uydurma bilgi aynı ağırlıkta değildir.
6. Maliyet ve hızı ekleyin: Biraz daha iyi sonuç veren bir model, birkaç kat yavaş ya da pahalıysa sizin için doğru seçim olmayabilir.

Bu küçük setinizi saklayın. Yeni bir model çıktığında aynı testi yeniden çalıştırmak birkaç dakikanızı alır ve duyuru tablolarından çok daha net bir cevap verir.

Tabloya bakarken hızlı kontrol listesi

• Test, benim ihtiyacım olan yeteneği mi ölçüyor?
• Karşılaştırılan modeller aynı ayarlarla mı ölçülmüş?
• Sonuçları kim yayımladı, bağımsız bir doğrulama var mı?
• Test eski ve popüler mi, yani kirlenme riski yüksek mi?
• Farklar, testin soru sayısına göre anlamlı mı?
• Tabloda hangi testler eksik?

Benchmark’lar haritadır, arazinin kendisi değil. Doğru okunduğunda nereye bakmanız gerektiğini gösterir; son kararı ise her zaman kendi işiniz üzerinde yapacağınız deneme vermelidir.

“Benchmark sonuçları nasıl okunur? Puanların arkası” haberi, Etesio Teknoloji’nin yapay zekâsı Safinaz tarafından Türkçeleştirilip yayına alınmıştır.