Bolmo Nature’da: Dil Modelleri Bayt Düzeyine Taşınıyor

Allen Yapay Zekâ Enstitüsü (Ai2), bayt düzeyinde çalışan açık dil modeli ailesi Bolmo üzerine yaptığı araştırmanın Nature dergisinde yayımlandığını 7 Ekim 2026’da duyurdu. Ai2, Bolmo’yu ilk olarak geçen Aralık ayında tanıtmıştı. Nature yayınıyla birlikte Hugging Face’te yeni model kontrol noktaları da paylaşıldı.

Çalışmanın temel iddiası şu: Zaten eğitilmiş güçlü bir dil modeli, sıfırdan eğitime gerek kalmadan, görece kısa bir ek eğitimle bayt düzeyinde çalışan bir modele dönüştürülebilir.

Ne Değişti?

Bugünkü dil modellerinin büyük çoğunluğu metni sabit bir sözlükten gelen alt kelime parçalarına bölerek işliyor. Bu işi tokenleştirici adı verilen bileşen yapıyor. Yöntem genel olarak iyi çalışıyor, ancak bazı durumlarda esnekliği sınırlıyor. Yazım hataları, alışılmadık karakter dizileri, nadir kelimeler ve bu parçalara iyi uymayan metinler bunların başında geliyor.

Bayt düzeyindeki modeller ise sabit bir sözlük kullanmıyor. Ai2’nin tarifiyle metni, bilgisayarların karakterleri temsil etmek için kullandığı baytlar üzerinden işliyorlar. Sorun şu ki bu modeller, alt kelime modellerinin başarısını şimdiye kadar ancak sıfırdan eğitildiklerinde yakalayabiliyordu. Bu da çok pahalı bir süreç demek.

Baytlaştırma Nasıl Çalışıyor?

Ai2 yöntemine “baytlaştırma” adını veriyor. Var olan bir alt kelime modeli, ek bir eğitim aşamasıyla bayt düzeyinde bir modele dönüştürülüyor. İlk aşamada orijinal modelin ana gövdesi dondurulmuş hâlde tutuluyor ve yalnızca yeni eklenen bayt düzeyindeki bileşenler eğitiliyor. Böylece modelin önceden öğrendiği bilgi büyük ölçüde korunuyor.

Ai2 bu yöntemle birkaç model üretti. Bolmo 1B ve Bolmo 7B, Ai2’nin kendi Olmo modellerinden türetildi. Bwen 8B, Qwen 3 8B modelinden, Blama 8B ise Llama 3 8B modelinden elde edildi. Ai2’ye göre Bwen 8B şimdiye kadarki en güçlü baytlaştırılmış model ve kurumun toplu değerlendirme setinde Bolmo 7B’yi geride bırakıyor. Bwen ve Blama’nın, türetildikleri orijinal modellere oldukça yaklaştığı da belirtiliyor.

Ai2’nin duyuru yazısında ayrıntılı test puanları verilmiyor. Kesin sonuçlar için Nature’daki makaleye bakmak gerekiyor.

Bu yaklaşımın bir avantajı da farklı model ailelerine uygulanabilmesi. Ai2 yöntemi yalnızca kendi Olmo modellerinde değil, Qwen ve Llama gibi başka kurumların açık modellerinde de denedi. Bu, baytlaştırmanın belirli bir mimariye bağlı kalmadığını ve var olan açık modellerin yatırımından yararlanabildiğini gösteriyor.

Kimi İlgilendiriyor?

Çalışma en çok dil modeli araştırmacılarını ve açık modeller üzerinde çalışan geliştiricileri ilgilendiriyor. Bolmo tamamen açık: Yeni kontrol noktaları, ilk aşama kontrol noktaları ve eğitim tarifi paylaşıldı. İlk aşama kontrol noktaları, araştırmacılara deney yapmak için daha hızlı bir başlangıç noktası sunuyor.

Topluluk modeli kullanmaya da başlamış durumda. Ai2’nin aktardığına göre geliştiriciler, Bolmo 7B üzerine Rusçadan İngilizceye şiir ve şarkı sözü çevirisi yapan bir ince ayar modeli geliştirdi.

Yöntemin önemi, tokenleştiriciden bağımsız modeller için gereken maliyeti düşürmesinde yatıyor. Her yeni deneme için sıfırdan eğitim gerekmiyorsa, bu alandaki araştırmalar çok daha fazla ekibin erişebileceği bir hâle gelebilir.

Türkiye’den Kullanıcılar İçin

Kaynakta Türkçe üzerine özel bir test yer almıyor, bu yüzden Türkçe performansı hakkında kesin bir şey söylemek mümkün değil. Yine de Türkçe gibi eklerle uzayan kelimelere sahip dillerde, alt kelime tokenleştiricilerinin kelimeleri bölme biçimi sık tartışılan bir konu. Türkçe doğal dil işleme üzerine çalışan araştırmacılar, açık kontrol noktaları sayesinde baytlaştırılmış modelleri kendi Türkçe veri setleriyle doğrudan deneyebilir.