Enver KOÇAK
Microsoft, yapay zekâ ajanlarını değerlendirmek için geliştirdiği ThinkingBox’ı Hugging Face ile birlikte herkese açtı. ThinkingBox, ajanları yazdıkları cevaplara göre değil, iş sistemlerinde bıraktıkları kayıtlara göre puanlıyor. Üstelik her görevi 20 kez tekrarlayarak ajanın işi bir kez değil, her seferinde doğru yapıp yapmadığını ölçüyor. Duyuru 3 Ekim’de yayımlandı.
Sorun Ne?
Microsoft’un verdiği örnek durumu iyi anlatıyor. Bir müşterinin 745 dolarlık mutfak aleti kargo merkezinde takılı kalmış ve tahmini teslim tarihini 15 gün geçmiş. Ajan dokuz araç çağrısı yapıyor: siparişi çekiyor, kargoyu sorguluyor, iade politikasını okuyor, bir destek kaydı açıyor. Sonra kaydı “çözüldü” diye kapatıyor.
Oysa kargo sorunu hâlâ açık olduğu için kaydın “beklemede” kalması gerekiyordu. Müşteri de aslında sorduğu soruya cevap alamadı. Yalnızca araç çağrılarına bakan bir değerlendirici dokuz düzgün çağrı görür. Hatayı gösteren tek şey veritabanındaki durum alanı.
Ne Değişti?
ThinkingBox-Bench test seti, perakende, araç sigortası, seyahat, dijital bankacılık ve danışmanlık alanlarında 507 iş akışından oluşuyor. Her görev, temiz bir başlangıç durumuyla 20 kez bağımsız olarak çalıştırılıyor. Ajan MCP araçlarıyla çalışıyor. Sonunda neyin değiştiği çıkarılıyor ve olması gereken durumla karşılaştırılıyor. Yanlış, eksik ya da fazladan yapılan değişiklikler hata sayılıyor.
Ekibin 12 modelle yaptığı geniş bir denemede 121.680 geçerli denemenin 79.853’ü kontrollerden geçemedi. Dikkat çekici olan, bu başarısız denemelerin yüzde 67’sinden fazlasının sorunsuz bitmiş gibi görünmesi. Ajan işlem yapmış, hata mesajı da almamış, ama sonuç yanlış.
Test, tek seferlik başarı ile güvenilirlik arasındaki farkı da ortaya koyuyor. Açık ağırlıklı modeller içinde en güçlü sonucu Kimi-K3 aldı. Model görevlerin yüzde 93,89’unu en az bir kez çözdü, ama yalnızca yüzde 13,41’ini 20 denemenin hepsinde başardı. Microsoft’a göre gerçek kayıtlara dokunan işler için bakılması gereken sütun, “en az bir kez çözdü” değil, “her seferinde çözdü”.
Hataların yaklaşık beşte dördü akıl yürütmeden değil, araç kullanımından kaynaklanıyor. Ajanlar genellikle işe başlıyor ama bir araç hatası, eksik bir ön koşul ya da boş dönen bir sorgudan sonra toparlanamıyor.
Kimi İlgilendiriyor?
ThinkingBox, müşteri hizmetleri, sipariş yönetimi ya da finans gibi gerçek kayıtları değiştiren ajanlar kuran ekipler için doğrudan kullanışlı. Microsoft’un önerileri de pratik: İşlemi onaylamadan önce son durumu kontrol etmek, araç hatalarını sınıflandırıp yalnızca düzeltilebilecek olanları yeniden denemek, ajana yalnızca gereken araçları vermek ve geri alınması zor değişikliklerde insan onayı istemek. Ekip, bu önerilerin etkisini henüz bu testte ölçmediğini de açıkça belirtiyor.
Sistemin kodu ve veri seti açık. Test, Hugging Face’in OpenEnv arayüzü üzerinden çalıştırılabiliyor ve her bölüm sonunda geçti ya da kaldı şeklinde bir ödül döndürüyor. Linux ve WSL üzerinde, Python 3.11 ve Docker ile test edilmiş.
Türkiye’den Kullanıcılar İçin
Test görevleri İngilizce ve ABD odaklı iş senaryolarına dayanıyor. Yine de Türkiye’de e-ticaret, bankacılık ya da sigorta alanında ajan kuran ekipler için yöntem doğrudan uygulanabilir. Kendi iş akışlarınız için küçük bir test seti hazırlayıp ajanı aynı görevde defalarca çalıştırmak ve sonucu veritabanından kontrol etmek, canlıya çıkmadan önce sağlam bir güvence sağlar.
Kaynaklar
Bu yazı, yukarıdaki kaynaklardan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynaklara başvurun.
