Enver KOÇAK
Yapay zekâ ekosisteminde sınırları zorlayan yeni bir deneysel çalışma, büyük dil modellerinin çalışma mantığına dair ezberleri değiştirmeye hazırlanıyor. Geliştirici Vixhal tarafından GitHub üzerinde MIT lisansıyla yayımlanan qwenGPU, metin tabanlı bir dil modelinin ağırlıkları içine doğrudan donanımsal bir grafik işlem birimi yerleştiriyor. Bu yenilikçi yaklaşım, yapay zekâ modellerinin sadece metin üretmekle kalmayıp, kendi içlerinde gerçek zamanlı kod çalıştırma ve hesaplama yapabilme kapasitesini test ediyor.
Qwen3.5-2B Modelinin Ağırlıklarına Entegre Edilen 45 Katman
Sistem, temel olarak Qwen3.5-2B modelinin orijinal yapısını korurken, önüne yerleştirilen 45 ek derlenmiş katmanla toplamda 69 katmanlı devasa bir yapıya ulaşıyor. Bu ek katmanlar önceden eğitilmiş yapay zekâ ağırlıklarından oluşmuyor; bunun yerine bir derleyici tarafından doğrudan hesaplanan matematiksel devrelerden meydana geliyor. Qwen3.5 modelinin kendi katman tipleri olan Gated DeltaNet doğrusal dikkat mekanizmaları ve SwiGLU çok katmanlı algılayıcılar, bu mimaride adeta hafıza hücreleri ve kaydediciler olarak işlev görüyor.
Geliştirilen bu dahili sistem, 4 şeritli SIMT (Tek Komut, Çoklu Veri) mimarisine sahip mini bir grafik işlemci olarak çalışıyor. Her şerit için ayrı kaydediciler, boru hatları ve bellek alanları barındıran bu yapı; tam sayı aritmetiğini, koşullu ifadeleri, döngüleri ve paylaşılan bellek operasyonlarını destekliyor. Model, metin üretimi sırasında CUDA komutlarını doğrudan işleyebiliyor ve sonuçları yine kendi iç mekanizmaları aracılığıyla geri döndürebiliyor.
CUDA Çalıştırma Süreci ve Pratik Performans Sonuçları
Modelin çalışma prensibi, ana makinenin tıpkı geleneksel bir CUDA sürücüsü gibi davranmasına dayanıyor. Host adı verilen ana sistem, CUDA kodunu clang kullanarak PTX formatına derliyor ve bu kodları model için girdi jetonlarına dönüştürüyor. Model, ileri yönlü geçişler sırasında bu kodları işleyerek sonuçları üretiyor. Geliştiricinin paylaştığı test sonuçlarına göre, sistem Apple Silicon işlemciler üzerinde saniyede yaklaşık 10 ila 15 jeton hızında çalışabiliyor.
Performans testlerinde modelin doğruluk oranı dikkat çekiyor. Referans yorumlayıcı, standart bir NVIDIA Tesla T4 grafik kartıyla yapılan testlerde denenen 49 farklı çekirdeğin tamamında hatasız sonuç verdi. Gelişmiş modda ise model, kendisine yöneltilen kod yazma görevlerinin çok büyük bir kısmında ilk denemede doğru çalışan CUDA çekirdekleri üretebildi. Doğal metin yetenekleri açısından bakıldığında, entegre edilen bu donanımsal devrelerin modelin temel dil kabiliyetine etkisinin oldukça düşük olduğu ve metin kaymasının minimum düzeyde kaldığı belirtiliyor.
Yapay Zekâ Araştırmaları İçin Ne Anlama Geliyor?
qwenGPU, sağladığı 16 GB civarında bellek gereksinimi ve henüz erken aşamadaki yapısıyla günlük kullanıcılar için hazır bir son kullanıcı ürünü olmaktan ziyade, akademik bir araştırma demosu niteliği taşıyor. Qwenputer projesinin RISC-V işlemci entegrasyonu ve Percepta’nın WebAssembly yorumlayıcısı gibi benzer çalışmaların devamı niteliğindeki bu girişim, dil modellerinin gelecekte sadece birer metin motoru değil, eksiksiz birer sanal bilgisayar olarak çalışabileceğini kanıtlıyor. Geliştiriciler ve araştırmacılar, bu tür hibrit mimarilerin gelecekte yapay zekâ güvenliği, kod yürütme güvenilirliği ve donanım optimizasyonu alanlarında nasıl yeni kapılar aralayacağını merakla takip ediyor.
Kaynaklar
- Meet qwenGPU: Qwen3.5-2B With 45 Compiled GPU Layers That Run CUDA (marktechpost.com)
Bu yazı, yukarıdaki kaynaktan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynağa başvurun.
