Yapay zekâ ajanlarının laboratuvar deney sonuçlarını tahmin etme yeteneğini ölçen Science Prediction Universe, kısaca SPU benchmark testi yayınlandı. UniPat AI tarafından geliştirilen bu sistem, yapay zekâ modellerinin kimya, malzeme bilimi, biyoloji ve tıp alanlarındaki gerçek dünya deney sonuçlarını öngörme kapasitesini inceliyor. Yapılan testler, en gelişmiş modellerin dahi bu karmaşık bilimsel süreçlerde henüz istenen düzeyde başarı gösteremediğini ortaya koyuyor.

Laboratuvar Deneylerinde Yapay Zekâ Sınavı
Yeni yayınlanan SPU benchmark paketi, toplam 116 farklı görevi ve bu görevlerin altında yer alan 4.207 ıslak laboratuvar deneyini kapsıyor. Bu testlerin 100 adedi, Ocak 2025 ile Ağustos 2026 tarihleri arasında 11 farklı Nature Portfolio dergisinde yayımlanan 85 akademik makaleden türetilen halka açık görevlerden oluşuyor. Geriye kalan 16 gizli görev ise VHH nanobantları, reaksiyon koşulları, elektrolitler ve Magrolimab antikor varyantları üzerinde gerçekleştirilen henüz yayımlanmamış ortak laboratuvar deneylerini içeriyor.
Test sürecinde her yapay zekâ ajanı, 8 CPU çekirdeği, 16 GiB bellek ve bir adet NVIDIA H20 GPU barındıran izole bir konteyner ortamında sekiz saat süreyle çalıştırılıyor. Ajanların internette arama yapmasına ve bilimsel yazılımlar kurmasına izin veriliyor. Sürecin sonunda ajanlardan, ölçülen sonuçlara göre adayları sıralaması bekleniyor. Sıralamalar, Spearman korelasyonu kullanılarak çevrimdışı bir konteynerde puanlanıyor. Ayrıca kaynak makalelerin kimlik bilgilerine ulaşılması ve kopya çekilmesi, araç çıktıları taranarak engelleniyor.
Claude Opus 5.5 Önde Ama Güvenlik Engeline Takılıyor
UniPat AI tarafından yürütülen ilk tur testlerde, 12 farklı öncü modelin 13 farklı konfigürasyonu ele alındı. Elde edilen verilere göre, test edilen en iyi konfigürasyonlar bile tam puanın 1 ve rastgele tahminin 0 kabul edildiği ölçekte 0.5 ortalamasını aşamadı. Mükemmel bir tahmin için 1 puan gerekirken, en yüksek ortalamayı 0.486 ile Claude Opus 5.5 modeli elde etti. Ancak bu modelin çalışmalarının büyük bir kısmı güvenlik reddi ile sonuçlandığı için daha az sayıda görev üzerinden puanlandığı belirtildi. Tüm konfigürasyonlar göz önüne alındığında, görevlerin yalnızca yüzde 34 ile yüzde 52 arasındaki bir kısmının şans eşiğini geçebildiği görüldü.
Araştırma sonuçları, temel sorunun araç kullanımından ziyade modelin muhakeme ve karar verme yeteneğindeki eksikliklerden kaynaklandığını gösteriyor. Deneyler sırasında yapay zekâ ajanlarının gerçek dünya verilerinden ziyade birbirleriyle çok daha yüksek oranda fikir birliğine vardığı saptandı. Ajanlar arası mutabakat 0.52 seviyesindeyken, deneysel gerçeklikle olan uyum 0.33 seviyesinde kaldı.
Muhakeme Gücünün Maliyete ve Performansa Etkisi
Yapılan analizlerde model ayarlarının değiştirilmesinin sonuçlara etkisi de incelendi. Örneğin, bir modelin muhakeme çabasını orta seviyeden maksimum seviyeye çıkarmanın, medyan çalışma süresini 4.8 kat, API maliyetini ise 5.3 kat artırdığı gözlemlendi. Buna karşın skorlarda neredeyse hiçbir değişiklik olmadı. Ayrıca elektrolit testlerinde iyonik iletkenlik sıralamaları 0.89 ile 0.95 gibi yüksek puanlar alırken, elektrokimyasal pencere sıralamaları -0.55 ile 0.07 arasında değişen düşük skorlar elde etti.
Stanford, Cornell, Harvard, Peking Üniversitesi, HKUST ve FutureHouse gibi prestijli kurumların danışmanlık yaptığı projenin 100 halka açık görevi Hugging Face üzerinden CC BY 4.0 lisansıyla erişime açıldı. Kaynak kodlar ise GitHub üzerinde Apache 2.0 lisansıyla paylaşıldı. Bilimsel araştırmalar için geliştirilen bu araç, yapay zekânın laboratuvar ortamındaki gerçekçi simülasyon kapasitesini artırmayı hedefliyor.
Kaynaklar
- UniPat AI's SPU Benchmark Asks AI Agents to Predict Real Wet-Lab Results, and None Score Above 0.5 (pandaily.com)
Bu yazı, yukarıdaki kaynaktan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynağa başvurun.
