Enver KOÇAK
Yapay zekâ ekosistemindeki rekabet her geçen gün yeni bir boyut kazanırken, Çin merkezli teknoloji devi Baidu, araştırma ve geliştirme ekiplerinin doğrudan inceleyebileceği yeni temel dil modelini tanıttı. ERNIE 5.5 Flash Base adı verilen bu yeni model, ön eğitim aşamasının ham çıktısı olarak doğrudan geliştiricilerin erişimine sunulmuş durumda. Herhangi bir ara eğitim, talimat ayarı veya pekiştirmeli öğrenme sürecinden geçirilmemiş olan bu ham kontrol noktası, yazılım ekiplerine tamamen temiz ve tarafsız bir başlangıç noktası vadediyor.
280 Milyar Toplam Parametreye Sahip Seyreltilmiş MoE Mimarisi
Baidu tarafından geliştirilen ERNIE 5.5 Flash Base, toplamda 280 milyar parametre barındıran ancak her bir token işlenirken yalnızca 14 milyar parametreyi aktif hale getiren seyreltilmiş bir Uzman Karışımı (Mixture-of-Experts) mimarisi üzerine kuruludur. Otuz üç buçuk trilyon token üzerinde sıfırdan eğitilen model, Muon optimizasyon aracı kullanılarak optimize edilmiştir. 201 bin 216 girdiye sahip özel bir belirteçleyici kullanan sistem, sayıları sağdan sola doğru üçlü gruplar halinde işleme yeteneğine sahiptir.
Modelin mimari yapısı incelendiğinde, kırk üç katmandan oluştuğu ve dört bin doksan altı gizli boyuta sahip olduğu görülüyor. Dikkat mekanizmasında ise hibrit bir yaklaşım benimsenmiştir. Otuz yedi katman, her yüz yirmi token için tek bir girdi önbelleğe alan sıkıştırılmış dikkat teknolojisini kullanırken, kalan altı katman seyrek dikkat özellikli çok kafalı gizli dikkat mekanizmasını tercih ediyor. Bu sayede model katmanlarının belirli bir oranı tam bağlam erişimini korumaya devam ediyor.
ECHO Teknolojisi ve Gelişmiş Spekülatif Çözümleme
Klasik çoklu token tahmini yöntemleri yerine ECHO adı verilen yenilikçi bir yaklaşımı benimseyen ERNIE 5.5 Flash Base, omurganın son katmanını gelecekteki token’ları tahmin etmek için yeniden kullanıyor. Bu katman aynı zamanda spekülatif çözümleme için yerleşik bir taslak model görevi üstleniyor. Ana parametre sayımına dahil edilmeyen ECHO, sisteme ek olarak sıfır nokta otuz altı milyar parametre kazandırıyor. Uzman katmanlarında ise beş yüz on iki yönlendirilmiş uzman ve bir paylaşılan uzman yapısı yer alıyor.
Performans testlerinde Baidu’nun birleşik değerlendirme boru hattı kullanılarak elde edilen sonuçlara göre model, sınavlar, bilgi testleri ve kodlama görevlerinde dikkat çekici skorlar üretiyor. Özellikle MMLU-Pro testinde yetmiş sekiz nokta dört puan alarak benzer kategorideki rakip modellerin önüne geçmeyi başarıyor. Ancak kodlama ve uzun bağlam değerlendirmelerinin belirli alt başlıklarında rakiplerinin gerisinde kaldığı senaryolar da mevcut.
Geliştiriciler İçin Dağıtım ve Lisans Koşulları
Modelin ağırlıkları Hugging Face ve ModelScope platformlarında FP8 ve BF16 formatlarında açık kaynak topluluğunun erişimine sunulmuş durumdadır. SGLang ve vLLM sunucu altyapıları üzerinden çalıştırılabilen sistem, çıkarım aşamasında bir milyon token’a kadar bağlam penceresini destekliyor. Eğitim sürecinde ise özel olarak geliştirilen FlashMask-4 çekirdeği kullanılmış ve donanım seviyesinde önemli hız artışları elde edilmiştir.
Lisans koşulları açısından incelendiğinde, ERNIE 5.5 Flash Base elli milyon doların altındaki gelirler için ücretsiz kullanım sunarken; Avrupa Birliği, Birleşik Krallık ve Güney Kore bölgelerini bu kapsamın dışında tutuyor. Araştırmacılar ve şirketler için deneme aşamasında olan bu ham model, ince ayar yöntemlerini karşılaştırmak isteyen ekipler için güçlü bir altyapı alternatifi oluşturuyor.
Kaynaklar
- Baidu Releases ERNIE 5.5 Flash Base: A 280B MoE Base Model With 14B Active Parameters (marktechpost.com)
- unite.ai
- the-decoder.com
Bu yazı, yukarıdaki kaynaklardan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynaklara başvurun.
