Açık ağırlıklı ve kapalı modeller: Hangisi ne zaman?

Bir yapay zekâ projesine başlayan herkes er ya da geç aynı yol ayrımına gelir: Modeli bir şirketin API’si üzerinden mi kullanacağım, yoksa ağırlıkları indirilebilen bir modeli kendi makinemde ya da sunucumda mı çalıştıracağım? Bu yazıda iki yaklaşımı reklam diliyle değil, gündelik iş hayatında karşınıza çıkacak sorularla ele alıyoruz.

“Açık” kelimesi tam olarak neyi açıyor?

Bir dil modeli, eğitim sonunda milyarlarca sayıdan oluşan bir dosya hâline gelir. Bu sayılara ağırlık denir; modelin “bildiği” her şey bu sayıların içinde saklıdır. Bir şirket bu dosyayı herkesin indirebileceği şekilde yayımlarsa ortaya açık ağırlıklı model çıkar. Meta’nın Llama ailesi, Mistral’in bazı modelleri ve Google’ın Gemma serisi bu yaklaşımın bilinen örnekleridir.

Burada önemli bir ayrım var: Açık ağırlık, her zaman “açık kaynak” anlamına gelmez. Klasik açık kaynak yazılımda kaynak kodunu görür, değiştirir ve yeniden dağıtırsınız. Yapay zekâda ise modelin hangi verilerle, hangi adımlarla eğitildiği çoğu zaman paylaşılmaz. Elinize geçen şey, pişmiş bir yemeğin tarifi değil, yemeğin kendisidir. Onu ısıtabilir, üzerine sos ekleyebilirsiniz ama mutfakta tam olarak ne olduğunu bilemezsiniz.

Kapalı model ise ağırlıkları hiç paylaşılmayan modeldir. OpenAI’ın GPT serisi, Anthropic’in Claude’u ya da Google’ın Gemini’si gibi modellere yalnızca bir arayüz veya API üzerinden erişirsiniz. Model şirketin sunucularında çalışır; siz soruyu gönderir, cevabı alırsınız.

Bir benzetme: Kendi mutfağınız mı, iyi bir restoran mı?

Kapalı model kullanmak, iyi bir restorana gitmeye benzer. Malzeme almanız, ocak yakmanız, bulaşık yıkamanız gerekmez. Menüde ne varsa onu yersiniz ve hesabı ödersiniz. Şef tarifi değiştirirse yemeğin tadı da değişir; buna itiraz etme şansınız sınırlıdır.

Açık ağırlıklı model ise kendi mutfağınızı kurmaktır. Başta yatırım ister: ocak, tencere, malzeme. Ama bir kez kurulduğunda tarifi istediğiniz gibi değiştirir, misafirlerinizin verisini evden dışarı çıkarmadan yemek pişirirsiniz. Karşılığında bulaşık da, elektrik faturası da sizindir.

Açık ağırlığın gerçek avantajları

Veri evden çıkmaz

Hastane kayıtları, hukuk dosyaları, müşteri yazışmaları ya da henüz duyurulmamış ürün planları üzerinde çalışıyorsanız, verinin üçüncü bir şirketin sunucusuna gitmesi başlı başına bir sorun olabilir. Modeli kendi altyapınızda çalıştırdığınızda veri sizin kontrolünüzde kalır. KVKK gibi düzenlemelere uyum açısından bu, tartışmayı ciddi biçimde kolaylaştırır.

Özelleştirme özgürlüğü

Ağırlıklara erişiminiz olduğunda modeli kendi verinizle ince ayardan (fine-tuning) geçirebilir, belirli bir yazım tarzına ya da dar bir alana uyarlayabilirsiniz. Örneğin bir sigorta şirketi, poliçe dilini iyi anlayan küçük bir modeli kendi belgeleriyle eğitebilir.

Sürüm sabitliği

İndirdiğiniz model dosyası siz değiştirmedikçe aynı kalır. Bugün verdiğiniz bir soruya altı ay sonra da aynı şekilde yaklaşır. Davranışı test edilmiş ve onaylanmış bir sisteme ihtiyaç duyan kurumlar için bu öngörülebilirlik değerlidir. Bir bankanın ya da kamu kurumunun, her ay yeniden doğrulama yapmak zorunda kalmadan aynı sistemi yıllarca işletebilmesi, çoğu zaman en yüksek yetenekten daha önemli bir ihtiyaçtır.

Görünmeyen maliyetler

“Model ücretsiz, o zaman bedava” düşüncesi en sık yapılan hatadır. Açık ağırlıklı bir modeli üretim ortamında çalıştırmanın gerçek bedeli şunlardan oluşur:

• Donanım: Büyük modeller güçlü ekran kartları ve bol bellek ister. Bulutta kiralasanız da bu kalem her ay faturaya yansır.
• Mühendislik zamanı: Modeli kurmak, ölçeklemek, izlemek ve hataları ayıklamak birinin işidir.
• Güvenlik: Modeli internete açan bir uç nokta, saldırganlar için yeni bir hedeftir. Erişim kontrolü ve kayıt tutma sizin sorumluluğunuzdadır.
• Güncelleme takibi: Daha iyi bir sürüm çıktığında geçiş, test ve doğrulama yine sizin elinizdedir.

Az sayıda istek alan bir uygulamada bu kalemler, API’ye ödenecek ücretin çok üzerine çıkabilir. Kullanım yoğunlaştıkça hesap tersine dönebilir. Kesin eşik projeden projeye değişir; bu yüzden kendi trafik tahmininizle küçük bir hesap yapmadan karar vermeyin.

Kapalı modellerin güçlü ve zayıf yanları

Kapalı modellerin en büyük avantajı hızdır: Bir API anahtarı alır ve aynı gün çalışan bir prototip çıkarırsınız. Altyapı, ölçekleme ve donanım derdi sağlayıcıdadır. Ayrıca alanın en yetenekli modelleri genellikle önce kapalı olarak sunulur; karmaşık akıl yürütme, uzun belgelerle çalışma ya da çok adımlı görevlerde bu fark hissedilebilir.

Öte yandan bazı riskleri baştan kabul etmiş olursunuz:

• Bağımlılık: Sağlayıcı fiyatını, kullanım koşullarını ya da hizmet bölgesini değiştirirse buna uyum sağlamak zorunda kalırsınız.
• Sessiz davranış değişiklikleri: Sağlayıcı modeli güncellediğinde, dün düzgün çalışan bir komut bugün farklı sonuç verebilir. Eski sürümler belirli bir süre sonra emekliye ayrılabilir.
• Veri politikası: Gönderdiğiniz verinin ne kadar süre saklandığı ve eğitimde kullanılıp kullanılmadığı sözleşmeye bağlıdır. Kurumsal planlar bu konuda genellikle daha sıkı güvence verir; yine de koşulları okumak sizin işinizdir.

Lisansı okumadan karar vermeyin

Açık ağırlıklı modellerin hepsi aynı serbestliği tanımaz. Bazıları Apache 2.0 gibi oldukça geniş izinli lisanslarla yayımlanır. Bazılarının ise kendine özgü lisansları vardır: Belirli bir kullanıcı sayısının üzerindeki şirketler için ek izin şartı, belirli kullanım alanlarına yasak ya da modelin çıktılarıyla başka model eğitmeye kısıtlama gibi maddeler içerebilir. Ticari bir ürün çıkaracaksanız, modelin sayfasındaki lisans metnini baştan sona okumak ve gerekiyorsa bir hukukçuya danışmak, sonradan yaşanacak sürprizlerden çok daha ucuzdur.

Karar vermek için beş soru

1. Veri ne kadar hassas? Dışarı çıkması kabul edilemeyecek veriyle çalışıyorsanız açık ağırlıklı ve yerel çalışan bir model güçlü adaydır.
2. Ne kadar kullanım bekliyorsunuz? Ayda birkaç bin istek için kendi sunucunuzu kurmak nadiren mantıklıdır. Sürekli ve yoğun trafikte kendi altyapınız avantajlı hâle gelebilir.
3. Görev ne kadar zor? Sınıflandırma, özetleme, metinden bilgi çıkarma gibi iyi tanımlanmış işlerde orta boy açık modeller çoğu zaman yeterlidir. Karmaşık akıl yürütme gerekiyorsa en güçlü kapalı modelleri de test edin.
4. Ekibinizde altyapıyı kim yönetecek? Bu soruya bir isimle cevap veremiyorsanız, kapalı modelle başlamak daha gerçekçidir.
5. Davranışın sabit kalması ne kadar önemli? Denetlenen, onaylanan, sertifikalanan süreçlerde sürümü sizin kontrol ettiğiniz bir model işinizi kolaylaştırır.

Çoğu zaman cevap “ikisi birden”

Pratikte pek çok ekip iki yaklaşımı birlikte kullanır. Hassas veriyi ön işleyen, kişisel bilgileri maskeleyen ya da basit soruları yanıtlayan işler küçük bir yerel modele verilir; yalnızca gerçekten zor olan istekler kapalı bir modele yönlendirilir. Bu düzen hem maliyeti hem de veri riskini azaltır.

En sağlıklı yol, kodunuzu tek bir sağlayıcıya kilitlemeden yazmaktır. Model çağrılarını tek bir katmanın arkasında toplarsanız, yarın daha uygun bir seçenek çıktığında uygulamanın geri kalanına dokunmadan geçiş yapabilirsiniz. Yapay zekâ alanında bugünün doğru seçimi, birkaç ay sonra yeniden değerlendirilmesi gereken bir seçimdir; esnek kalmak, hangi modeli seçtiğinizden daha uzun ömürlü bir karardır.

“Açık ağırlıklı ve kapalı modeller: Hangisi ne zaman?” haberi, Etesio Teknoloji’nin yapay zekâsı Safinaz tarafından Türkçeleştirilip yayına alınmıştır.