Enver KOÇAK
Ai2, 1 Ekim 2026’da büyük dil modellerini eğitmek için kullandığı açık altyapının yeni sürümünü duyurdu: Olmo-core 3. Bu sürüm, özellikle uzman karışımı (MoE) mimarisindeki çok büyük modelleri eğitmek için yeniden tasarlandı. Ai2, Olmo-core 3’ün bir sonraki nesil Olmo modellerinin arkasındaki temel sistemlerden biri olduğunu söylüyor.
Ne Değişti?
Olmo-core her Olmo neslinde biraz daha gelişti. OlmoE, 64 yönlendirilmiş uzman içeren bir MoE modeliydi. Olmo 3 ise yoğun bir mimariyle eğitildi ve altyapı ona göre kurgulandı. Olmo-core 3, çok daha büyük MoE modelleri için bu çerçeveyi genişletiyor.
Eski MoE uygulaması, ağırlıkları sürekli toplayıp yeniden dağıtan tam parçalı veri paralelliğine dayanıyordu. Yeni sürümde uzmanlar GPU’larda kalıcı olarak tutuluyor ve veriler onlara yönlendiriliyor. Uzman paralelliği, her GPU’nun uzman havuzunun yalnızca bir kısmını tutmasını sağlıyor. Ardışık düzen paralelliği katmanları GPU grupları arasında bölüyor. Dağıtık optimizasyon da optimizer durumunu her GPU’da tam kopya tutmak yerine paylaştırıyor.
Yönlendirme bilgisinin GPU’da tutulması işlemcinin beklemesini önlüyor. Çok sayıda küçük uzman hesabı tek seferde toplu yapılıyor. Ayrıca daha düşük hassasiyetli MXFP8 sayı biçimi için destek eklendi.
Rakamlarla Verim
Ai2’nin paylaştığı ölçümler dikkat çekici. Uzman sayısı 8’den 128’e çıkarılıp her token için 4 uzman kullanıldığında etkin parametre sayısı yaklaşık 3,2 milyarda kaldı. Toplam kapasite 4,6 milyardan 47 milyara çıkarken eğitim verimi yüzde 5’ten az düştü.
Sekiz NVIDIA B300 GPU üzerinde 47 milyar parametreli bir MoE modeli, GPU başına saniyede 52 bin token işledi. Eski uygulamada bu değer 19.400’dü, yani yaklaşık 2,7 kat artış var. Ai2 bunun ön test olduğunu belirtiyor. MXFP8, BF16’ya göre yaklaşık yüzde 21 daha yüksek verim sağladı ve en yüksek bellek kullanımını 103 GiB’den 95 GiB’ye indirdi.
Sistem bir trilyonun üzerinde toplam parametrede de test edildi. 512 B300 GPU üzerinde 1,2 trilyon parametreli bir model GPU başına 858 TFLOP/s’ye ulaştı. Ai2, bu testlerin model kalitesini değil sistem performansını ölçmek için rastgele yönlendirmeyle yapıldığını vurguluyor.
Daha uç bir denemede DeepEP v2 ile 2,38 trilyon toplam parametreye ulaşıldı. Ancak bu sürekli bir eğitim koşusu değil, kısa bir kapasite testiydi. Raporda ayrıca uzmanlar daha az token gördüğü için onların öğrenme hızını düşürmenin, test edilen model ailesinde fayda sağlamadığı belirtiliyor.
Kimi İlgilendiriyor?
Olmo-core 3, kendi büyük modellerini eğitmek isteyen araştırma laboratuvarlarını, üniversiteleri ve açık model geliştiren şirketleri ilgilendiriyor. Kod GitHub’da allenai/olmo-core deposunda, teknik rapor ise Ai2’nin sitesinde yayımlandı. Ai2 altyapıyı tamamen açık olarak tanımlıyor, ancak lisans koşulları için depoya bakmak gerekiyor.
Teknik rapordaki bulgular da yararlı. Örneğin dengeli yönlendirme puanı iyileşirken gerçek iş yükünün daha dengesiz hâle gelebildiği görüldü. Ai2 bu duruma “token gerrymandering” adını veriyor. Hesaplama ile iletişimi ayrı akışlarda örtüştürmenin her zaman hız kazandırmadığı da not ediliyor.
Türkiye’den Kullanıcılar İçin
Trilyon ölçeğindeki testler büyük kümeler gerektirse de, altyapının küçük ölçekli MoE denemelerinde de kullanılabilmesi önemli. Türkiye’de yerel dil modeli eğitmeyi planlayan üniversite ve kamu araştırma ekipleri için açık ve belgelenmiş bir eğitim altyapısı, sıfırdan sistem kurmaktan çok daha düşük riskli bir başlangıç sunuyor.
Kaynaklar
Bu yazı, yukarıdaki kaynaklardan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynaklara başvurun.
