Enver KOÇAK
Alibaba’nın Qwen ekibi, Eylül 2026’da yapay zekâ ajanlarını ölçmek için yeni bir çerçeve yayımladı. RecreationWorld, açık kaynak uygulamaları doğrulanabilir eğitim görevlerine dönüştürüyor. Çerçevenin içinde 250 görevden oluşan RecreationBench adlı bir değerlendirme seti de bulunuyor. GitHub deposu en son 21 Eylül’de güncellendi ve proje MIT lisanslı.
Ne Değişti?
Bugüne kadar bilgisayar kullanan ajanlar genellikle iki ayrı kategoride test ediliyordu: ekranda tıklayıp yazan arayüz ajanları ve kod yazan ajanlar. RecreationWorld ikisini birleştiren ‘hibrit’ ajanları ölçüyor.
Görev mantığı şu: Ajan önce çalışan bir referans uygulamayı arayüz üzerinden keşfediyor. Sonra kodlama araçlarıyla bu uygulamanın bir benzerini yazıyor. Ardından kendi yazdığı uygulamayı çalıştırıp görsel olarak kontrol ediyor. Ekip bunu sabit bir sıra değil, ‘keşfet, uygula, doğrula’ döngüsü olarak tanımlıyor.
Puanlama, kaynak koda benzerliğe değil gözlemlenebilir davranışa bakıyor. Yani ajan istediği dili, çatıyı ya da mimariyi seçebilir; önemli olan uygulamanın aynı şekilde davranması.
Beş Platform, 250 Görev
Test seti beş platformu kapsıyor ve her biri için 50 görev içeriyor: Ubuntu, macOS, Windows, Android ve web. Her platformda, o sistemin kendi erişilebilirlik altyapısı değerlendirme için kullanılıyor; örneğin Windows’ta UI Automation, Android’de UiAutomator.
Sonuçlar dikkat çekici bir tablo ortaya koyuyor. Dokuz model test edilmiş. Ortalama başarıda GPT-6 Astra yüzde 58,06 ile önde. Claude Opus 5 yüzde 44,16, GPT-5.6 Sol yüzde 42,06 alıyor. Qwen’in kendi modeli Qwen3.7-Plus ise yüzde 9,15 ile listenin en altında yer alıyor.
Bir ekibin kendi modelini bu kadar geride gösteren bir test yayımlaması alışılmış bir durum değil. Ancak maliyet farkı da büyük: Görev başına tahmini maliyet GPT-6 Astra’da 115,80 dolar, Claude Opus 5’te 117,17 dolar iken Qwen3.7-Plus’ta 1,23 dolar. Bu rakamlar, görevlerin ne kadar uzun ve pahalı olduğunu da gösteriyor.
Kimi İlgilendiriyor?
RecreationWorld, bilgisayar kullanan ajanlar üzerinde çalışan araştırmacılar ve model geliştiren laboratuvarlar için tasarlanmış. Görevler doğrulanabilir olduğu için yalnızca test değil, pekiştirmeli öğrenme ile eğitim ortamı olarak da kullanılabiliyor. Açık kaynak uygulamalardan otomatik görev üretilebilmesi de ölçeklenebilirliği artırıyor.
Ajan ürünleri geliştiren şirketler için de bir ders var: En güçlü modeller bile bu karmaşık görevlerin yaklaşık yarısında başarısız oluyor. Bir uygulamayı baştan sona kopyalamak hâlâ zor bir iş.
Bu tür testlerin değeri, gerçek iş hayatına yakın olmalarından geliyor. Bir yazılımcının eski bir uygulamayı yeni bir teknolojiyle yeniden yazması ya da rakip bir ürünün davranışını inceleyip benzerini kurması sık karşılaşılan görevler. Ajanın hem arayüzü kullanabilmesi hem kod yazabilmesi hem de sonucu kendi gözüyle kontrol edebilmesi, tek tek yeteneklerden çok daha zor bir birleşim.
Kurulum uv ile yapılıyor. Puanlı bir çalıştırma için Hugging Face ve ModelScope’ta bulunan sabit görev paketi, bir çalışma ortamı ve model ile hakem uç noktaları gerekiyor. Depoyu hızlıca kontrol etmek için çevrimdışı deneme betikleri de mevcut. Teknik makale arXiv’de yayımlandı.
Türkiye’den Kullanıcılar İçin
Türkiye’deki üniversitelerde ajan araştırması yapan gruplar için RecreationWorld, büyük bütçe gerektirmeden kurulabilecek açık bir ölçüt sunuyor. Yine de tabloda görülen görev başına maliyetler, güçlü kapalı modellerle tam bir değerlendirmenin ciddi API harcaması gerektireceğini gösteriyor. Daha ucuz modellerle küçük alt kümelerle başlamak mantıklı bir yol olacaktır.
Kaynaklar
Bu yazı, yukarıdaki kaynaklardan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynaklara başvurun.
