Enver KOÇAK
Yapay zekâ dünyasında donanım ve yazılım entegrasyonu her geçen gün daha kritik bir hal alırken, devasa dil modellerinin eğitimi için yeni bir adım atıldı. Çip üreticisi Moore Threads, kendi grafik işlemcileri üzerinde büyük modelleri eğitebilmek amacıyla geliştirdiği altyapı projesini tamamen açık kaynak haline getirdi. Bu hamle, şirketin kendi teknolojisini kullanan geliştiriciler için önemli bir dönüm noktası olarak öne çıkıyor.
Trilyon Parametreli MoE Modelleri İçin Altyapı
Yeni duyurulan Megatron-MUSA-Titan adlı bu altyapı projesi, trilyonlarca parametreye sahip olan karmaşık uzman karışımı modelleri hedefliyor. Proje, on binlerce Moore Threads grafik işlemcisinden oluşan devasa küme yapıları üzerinde sorunsuz bir şekilde çalışabiliyor. Ön eğitim süreçlerinden pekiştirmeli öğrenme aşamalarına kadar geniş bir yelpazeyi kapsayan bu sistemin kaynak kodları GitHub üzerinde paylaşıldı. Şirket yetkilileri, bu altyapının kendi büyük kümelerinde uzun süredir kesintisiz olarak kullanıldığını ve başarılı sonuçlar verdiğini ifade ediyor.
Sistemin en dikkat çekici mimari tercihlerinden biri, mevcut standartlara çok yakın kalmayı başarmasıdır. Yapı, NVIDIA tarafından geliştirilen Megatron-LM framework mimarisinin üzerine inşa edildi. Geliştiriciler, PyTorch entegrasyonu ve MUSA C uyumluluğu sayesinde mevcut Megatron-LM ve ilgili diğer resmi depoları klonlayabiliyor. Bu sayede, kod tabanında büyük değişiklikler yapmadan doğrudan Moore Threads donanımları üzerinde eğitim süreçlerini başlatabiliyorlar.
Mühendislik Detayları ve Donanım Optimizasyonları
Proje kapsamında genel algoritmalar ve hata düzeltmeleri orijinal ana projelere aktarılıyor. Moore Threads tarafında ise donanıma özel büyük ölçekli optimizasyonlar ve MUSA tabanlı uyarlamalar ayrı bir kolda tutuluyor. Ön eğitim aşamasında bloklu FP8 eğitimi öne çıkarken, bu süreç şirketin kendi donanımsal transformatör motoruna dayanıyor. Uzman paralel iletişiminin hesaplama ile örtüşmesini sağlayan mekanizmalar, sistemin verimliliğini artıran unsurlar arasında yer alıyor.
Pekiştirmeli öğrenme tarafında ise altyapı farklı framework yapılarını destekliyor. Eğitim sürecini Megatron yönetirken, üretim aşamalarında SGLang sisteminin MUSA sürümü kullanılıyor. Böylece hem ön eğitim hem de pekiştirmeli öğrenme aynı temel altyapı üzerinden yürütülebiliyor. Dağıtık izleme aracı, her bir grafik işlemcisinden gelen verileri okuyarak darboğazları tespit edebiliyor ve büyük ölçekli çalıştırmalardaki sorunları hızla raporlayabiliyor.
Piyasa Yansımaları ve Sektörel Durum
Bu teknik gelişmeler yaşanırken şirket cephesinde piyasa dalgalanmaları da dikkat çekiyor. Son dönemde güçlü yapay zekâ talebi sayesinde üçüncü çeyrekte yüksek gelir elde eden Moore Threads ve yarı iletken tedarikçisi Biwin Storage Technology hisseleri, genel teknoloji piyasasındaki dalgalanmalarla birlikte gerileme yaşadı. Sabah saatlerinde yaşanan düşüşler, önceki günlerdeki artışların ardından piyasanın dalgalı seyrini gözler önüne serdi.
Alternatif donanım arayışındaki geliştiriciler için en büyük soru işaretlerinden biri, mevcut kod tabanının yeni ekosistemlere ne kadar uyum sağlayacağıdır. Moore Threads, sunduğu bu entegrasyon ile ekosistem kodlarının değiştirilmesine gerek kalmadığını savunuyor. Ancak bu tür alternatif donanımların yaygınlaşması, büyük ölçekli veri merkezlerinde test edilme süreçlerine ve topluluk desteğinin büyümesine bağlı olarak uzun vadede şekillenecek.
Kaynaklar
- Moore Threads Open-Sources Megatron-MUSA-Titan for Trillion-Parameter MoE Training on Its GPUs (pandaily.com)
- scmp.com
Bu yazı, yukarıdaki kaynaklardan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynaklara başvurun.
