Mimari Tercihler ve DSH-SQL’in Çalışma Prensibi

Metin tabanlı sorgu oluşturma yani text-to-SQL alanında yaşanan en büyük zorluk, modelin doğrudan tek hamlede mükemmel sonuç üretmesini beklemektir. Geleneksel yaklaşımlar genellikle tek atışlık sorgulara odaklanırken, HarnessSQL bu süreci çok adımlı bir akıl yürütme döngüsüne dönüştürüyor. Sistemin çekirdeğini oluşturan DSH-SQL bileşeni, DeepSeek ekosisteminin sunduğu altyapıyı veritabanı dünyasına uyarlıyor. Yapay zekâ ajanı bu süreçte dört temel aracı kullanabiliyor: Tabloları listeleme, veri tabanı şemasını okuma, sorguları çalıştırma ve nihai yanıtı sunma.

Araştırmacılar bu sistemi test etmek için Spider 2.0-Lite ve Spider 2.0-DBT projelerinden yararlandı. DuckDB projeleri SQLite formatına dönüştürülerek toplam 79 adet izole kum havuzu veritabanı inşa edildi. Tüm bu ortamlar salt okunur modda ve 60 saniyelik zaman aşımı kuralıyla çalıştırıldı. Eğitim süreci ise iki aşamalı titiz bir mühendislikle yürütüldü. İlk olarak tam ajan yörüngeleri üzerinde denetimli ince ayar yapıldı. Bu aşamada ortalama 11 bin 800 jetonluk uzunluklar, 16 tur ve 14 sorgu çalıştırma adımı kaydedildi. İkinci aşamada ise DAPO algoritmasıyla pekiştirmeli öğrenme süreci devreye sokuldu.

Veritabanı Kıyaslamalarında Çarpıcı Başarı Oranları

Gerçekleştirilen performans ölçümleri, doğru tasarlanmış bir ajan çalışma zamanının ham model boyutundan çok daha kritik olduğunu gözler önüne serdi. Qwen3-8B modelini temel alan 8 milyar parametreli sürüm, Spider 2.0-SQLite testinde başarı oranını yüzde 15.5 seviyesinden yüzde 45.2’ye tırmandırdı. Daha büyük olan 14 milyar parametreli versiyon ise çıtayı yüzde 54.8’e taşıdı. Aynı testlerde OmniSQL-32B, Arctic-Text2SQL-32B ve Qwen2.5-Coder-32B gibi 32 milyar parametreli devasa modellerin başarı oranları yüzde 14.8 ile yüzde 16.3 arasında kaldı. Canlı veritabanı senaryolarını test eden LiveSQLBench kıyaslamasında da benzer bir tablo ortaya çıktı. 8B ve 14B modeller sırasıyla yüzde 24.8 ve yüzde 28.5 skor elde ederken, 32B rakipleri yüzde 7.0 ile yüzde 8.9 arasında kaldı.

Yapılan detaylı ablasyon analizleri, başarının hangi bileşenlerden beslendiğini net bir şekilde ortaya koydu. Doğrudan pekiştirmeli öğrenme uygulandığında başarı yüzde 20.0’de kalırken, yalnızca denetimli ince ayar aşaması 8B model için yüzde 30.4, 14B model için ise yüzde 37.8 sonuç verdi. Öte yandan, bağlam penceresi uzunluğunun performansı doğrudan etkilediği görüldü. 8K bağlam penceresiyle yüzde 27.4 alan model, pencere 32K seviyesine çıkarıldığında yüzde 45.2 başarıya ulaştı. Farklı pekiştirmeli öğrenme algoritmaları arasında GRPO yüzde 40.7, GSPO yüzde 43.7 ve DAPO yüzde 45.2 skor üretti.

Derinlemesine Bakış ve Geliştiriciler İçin Pratik Değer

HarnessSQL projesi, yapay zekâ topluluğunda uzun süredir tartışılan “ölçek her şeydir” hipotezine güçlü bir alternatif sunuyor. Model boyutunu iki ya da üç katına çıkarmak yerine, doğru araç entegrasyonuna ve çok adımlı hata düzeltme döngülerine sahip bir ajan çalışma zamanı kurmak çok daha az maliyetle çok daha yüksek verim sağlıyor. Kod tabanının GitHub üzerinden açık kaynaklı olarak paylaşılması, bu mimarinin farklı kurumsal veritabanı senaryolarında, özellikle finans ve e-ticaret gibi karmaşık şemalara sahip alanlarda hızla test edilmesine olanak tanıyor.

Bununla birlikte, sistemin pratik uygulamalarında bazı dikkat edilmesi gereken sınırları bulunuyor. 60 saniyelik zaman aşımı ve salt okunur kum havuzu kısıtlamaları, üretim ortamındaki binlerce tabloluk devasa enterprise veritabanlarında benzer hız ve güvenlik garantilerinin verilmesini zorlaştırabilir. Ayrıca DeepSeek Harness ekosisteminin v0.2.1-alpha.1 sürümüyle birlikte gelen “Let Agent create a plugin” gibi yaratıcı mod eklentileri, bu ajanların kendi araçlarını dinamik olarak üretme kapasitesini artırsa da, güvenlik denetimi yapılmamış eklentilerin kurumsal sistemlerde çalıştırılması ciddi riskler barındırıyor. Geliştiricilerin bu tür ajanları canlıya alırken sandbag izolasyonuna ve maliyetli token tüketimine karşı dikkatli bir optimizasyon stratejisi izlemesi gerekiyor.

İlgili Haberler

• Çatışma Bölgelerinde Cloudera Destekli Agentic AI Dönemi
• Ameliyatsız Ultrason Beyin Arayüzü ile Umut Veren Gelişme
• Block'tan Saf Sesle Eğitilen Yeni Model: Dessa