Microsoft ThinkingBox: Ajanlar veritabanından notlanıyor

Microsoft, yapay zekâ ajanlarını değerlendirmek için geliştirdiği ThinkingBox’ı Hugging Face ile birlikte herkese açtı. ThinkingBox, ajanları yazdıkları cevaplara göre değil, iş sistemlerinde bıraktıkları kayıtlara göre puanlıyor. Üstelik her görevi 20 kez tekrarlayarak ajanın işi bir kez değil, her seferinde doğru yapıp yapmadığını ölçüyor. Duyuru 3 Ekim’de yayımlandı.

Sorun Ne?

Microsoft’un verdiği örnek durumu iyi anlatıyor. Bir müşterinin 745 dolarlık mutfak aleti kargo merkezinde takılı kalmış ve tahmini teslim tarihini 15 gün geçmiş. Ajan dokuz araç çağrısı yapıyor: siparişi çekiyor, kargoyu sorguluyor, iade politikasını okuyor, bir destek kaydı açıyor. Sonra kaydı “çözüldü” diye kapatıyor.

Oysa kargo sorunu hâlâ açık olduğu için kaydın “beklemede” kalması gerekiyordu. Müşteri de aslında sorduğu soruya cevap alamadı. Yalnızca araç çağrılarına bakan bir değerlendirici dokuz düzgün çağrı görür. Hatayı gösteren tek şey veritabanındaki durum alanı.

Reklam

Öne Çıkan Değişiklikler

ThinkingBox-Bench test seti, perakende, araç sigortası, seyahat, dijital bankacılık ve danışmanlık alanlarında 507 iş akışından oluşuyor. Her görev, temiz bir başlangıç durumuyla 20 kez bağımsız olarak çalıştırılıyor. Ajan MCP araçlarıyla çalışıyor. Sonunda neyin değiştiği çıkarılıyor ve olması gereken durumla karşılaştırılıyor. Yanlış, eksik ya da fazladan yapılan değişiklikler hata sayılıyor.

Ekibin 12 modelle yaptığı geniş bir denemede 121.680 geçerli denemenin 79.853’ü kontrollerden geçemedi. Dikkat çekici olan, bu başarısız denemelerin yüzde 67’sinden fazlasının sorunsuz bitmiş gibi görünmesi. Ajan işlem yapmış, hata mesajı da almamış, ama sonuç yanlış.

Test, tek seferlik başarı ile güvenilirlik arasındaki farkı da ortaya koyuyor. Açık ağırlıklı modeller içinde en güçlü sonucu Kimi-K3 aldı. Model görevlerin yüzde 93,89’unu en az bir kez çözdü, ama yalnızca yüzde 13,41’ini 20 denemenin hepsinde başardı. Microsoft’a göre gerçek kayıtlara dokunan işler için bakılması gereken sütun, “en az bir kez çözdü” değil, “her seferinde çözdü”.

Hataların yaklaşık beşte dördü akıl yürütmeden değil, araç kullanımından kaynaklanıyor. Ajanlar genellikle işe başlıyor ama bir araç hatası, eksik bir ön koşul ya da boş dönen bir sorgudan sonra toparlanamıyor.

Hangi Kullanıcıları Etkiliyor?

ThinkingBox, müşteri hizmetleri, sipariş yönetimi ya da finans gibi gerçek kayıtları değiştiren ajanlar kuran ekipler için doğrudan kullanışlı. Microsoft’un önerileri de pratik: İşlemi onaylamadan önce son durumu kontrol etmek, araç hatalarını sınıflandırıp yalnızca düzeltilebilecek olanları yeniden denemek, ajana yalnızca gereken araçları vermek ve geri alınması zor değişikliklerde insan onayı istemek. Ekip, bu önerilerin etkisini henüz bu testte ölçmediğini de açıkça belirtiyor.

Sistemin kodu ve veri seti açık. Test, Hugging Face’in OpenEnv arayüzü üzerinden çalıştırılabiliyor ve her bölüm sonunda geçti ya da kaldı şeklinde bir ödül döndürüyor. Linux ve WSL üzerinde, Python 3.11 ve Docker ile test edilmiş.

Türkiye’deki Kullanıcılar Açısından

Test görevleri İngilizce ve ABD odaklı iş senaryolarına dayanıyor. Yine de Türkiye’de e-ticaret, bankacılık ya da sigorta alanında ajan kuran ekipler için yöntem doğrudan uygulanabilir. Kendi iş akışlarınız için küçük bir test seti hazırlayıp ajanı aynı görevde defalarca çalıştırmak ve sonucu veritabanından kontrol etmek, canlıya çıkmadan önce sağlam bir güvence sağlar.

Reklam

Kaynaklar

  • The Agent Said It Was Done. The Database Disagreed. (huggingface.co)

Bu yazı, yukarıdaki kaynaktan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynağa başvurun.

Enver KOÇAK

Enver KOÇAK

Gaziantep merkezli yazılım mühendisi, yapay zekâ ve siber güvenlik uzmanı; Etesio Teknoloji'nin kurucusu ve enverkocak.com'un yayıncısı. Yapay zekâ modellerini, araçlarını ve sektördeki gelişmeleri günlük olarak takip ediyor; haberleri kaynaklarıyla birlikte Türkçe olarak derliyor. Fatih Sultan Mehmet Vakıf Üniversitesi Sürekli Eğitim Merkezi (FSMSEM) – 560 saatlik Gazetecilik Eğitimi (Ağustos–Aralık 2024) sertifikasına sahiptir.

İlgili Haberler

NVIDIA Cosmos 3 Açık Modelleri ile Dünya Simülasyonu

Yapay zekâ teknolojilerindeki hızlı ilerleyiş, metin ve görsel üretimi aşarak fiziksel dünyanın kurallarını anlayan ve taklit eden sistemlere doğru evriliyor. Bu alandaki en güncel adımlardan biri, çip üreticisi lider teknoloji…

Devamını oku

Tencent’in Yeni Modeli Hy4 Sahneye Çıktı

Teknoloji dünyasında yapay zekâ yarışı hız kesmeden devam ederken, Çin’in önde gelen teknoloji devlerinden Tencent, bugüne kadarki en iddialı büyük dil modeli olan Hy4 modelini resmi olarak duyurdu. 4 Kasım…

Devamını oku

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir