Enver KOÇAK
Yapay zekâ dünyasında modeller büyüdükçe, bu devasa sistemleri çalıştıracak donanım altyapıları da büyük bir yarış içine giriyor. Son olarak Moonshot AI tarafından geliştirilen ve açık ağırlıklı yapısıyla dikkat çeken Kimi K3.1 Pro modeli, donanım üreticilerinin yakın markajına girdi. Huawei Ascend ve Moore Threads ekipleri, bu devasa modeli kendi donanımlarında çalıştırmak ve eğitmek için önemli adaptasyon çalışmalarını tamamladıklarını duyurdular. Gelin, bu teknik entegrasyonların detaylarına ve yapay zekâ dünyası için ne anlama geldiğine yakından bakalım.
128 Kartlı Atlas 950 SuperPoD Üzerinde LoRA Eğitimi
Huawei Ascend bilişim ekibi, yaklaşık 2,8 trilyon toplam parametreye sahip bu devasa modeli 128 kartlık bir Atlas 950 SuperPoD sistemi üzerinde LoRA ince ayar sürecinden geçirdi. Kimi K3.1 Pro, milyarlarca parametresi ve 1 milyon jetona kadar ulaşabilen dev bağlam penceresiyle bellek üzerinde ciddi bir baskı oluşturuyor. BF16 formatındaki ağırlıkların tek başına yaklaşık 5,6 terabayt yer kaplaması, gradyanlar ve iyileştirici durumları hesaba katıldığında oldukça karmaşık bir mühendislik problemi yaratıyor.
Bu sorunu aşmak için Huawei ekibi, FSDP2 parametre bölme yöntemini uzman paralelliği ile birleştirdi. Uzmanlar hızlandırıcılar arasında dağıtıldı ve 128 kartlık sistemde FSDP2 ile EP64 yapılandırması kullanıldı. Ayrıca bellek yönetimini optimize etmek amacıyla ‘Swap Core’ adı verilen seçici bir önbellekleme mekanizması devreye sokuldu. Bu mekanizma, matris çarpımı operasyonlarının çıktılarını HBM ve DDR bellekler arasında katmanlı bir depoda tutarak eğitim performansını test yapılandırmasında yüzde 15 oranında artırdı.
Eğitim sürecindeki kayıp eğrileri de paylaşılan detaylar arasında yer alıyor. Rastgele başlatılan eğitim süreçlerinde kayıp oranı zamanla düşerken, açık ağırlıklar üzerinden yapılan LoRA ince ayarlarında da hedeflenen yakınsama başarıyla sağlandı. Ekip, ajan tabanlı bir geliştirme iş akışı sayesinde modelin bu sisteme günler içinde adapte edildiğini belirtti.
Moore Threads MTT S5000 Kartlarında Day-Zero Desteği
Donanım cephesindeki bir diğer hamle ise Moore Threads şirketinden geldi. Şirket, MTT S5000 yapay zekâ eğitimi ve çıkarım kartı ile MUSA yazılım yığınının Kimi K3.1 Pro için ilk gün desteğini tamamladığını açıkladı. Bu entegrasyon; model yükleme, servis başlatma ve temel metin ile görsel çıkarım adımlarını kapsıyor. Herhangi bir performans kıyaslaması yayınlanmasa da, modelin ana çıkarım yollarının başarılı bir şekilde migrate edildiği ve kararlı bir şekilde çalıştığı ifade edildi.
Bu süreçte SGLang-MUSA altyapısı temel alınırken, MATE operatör kütüphanesi, Triton-MUSA, TileLang-MUSA ve MTCC derleyicisi aktif olarak kullanıldı. MUSA yazılım yığını; çerçeve yürütme, operatör derleme ve çoklu kartlar arası iletişimi yöneterek geliştiricilerin mevcut arayüzleri korumasını sağlıyor. DSA seyrek dikkat mekanizması, Kimi Delta Attention durum yönetimi ve çapraz katman kalıntı bağlantıları gibi kritik bileşenler bu donanım üzerinde başarıyla ayağa kaldırıldı.
Pratik Anlamı ve Geleceğe Etkisi
Bu tür devasa açık ağırlıklı modellerin farklı donanım ekosistemlerinde hızla desteklenmesi, yapay zekâ pazarındaki tekelleşme riskini azaltması açısından oldukça değerlidir. Sadece tek bir çip üreticisine bağlı kalmadan, farklı donanım mimarilerinde milyon jeton bağlam kapasitesine sahip modellerin çalıştırılabilmesi, kurumsal şirketlerin altyapı maliyetlerini optimize etmesine olanak tanır. Çin merkezli donanım ekosistemlerinin bu düzeydeki karmaşık modellere hızla adapte olması, küresel çip yarışının hangi yönlere evrildiğini net bir şekilde gösteriyor.
Kaynaklar
- Huawei Ascend Adapts Kimi K3.1 Pro for LoRA Fine-Tuning on a 128-Card Atlas 950 SuperPoD (pandaily.com)
- pandaily.com
Bu yazı, yukarıdaki kaynaklardan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynaklara başvurun.
