Enver KOÇAK
Açık kaynak dil modeli sunucusu vLLM’in 0.31.0 sürümü 5 Ekim 2026’da yayımlandı. vLLM 0.31, 307 katkıcının imzasını taşıyan 717 değişiklik içeriyor. Sürümün öne çıkan başlıkları daha hızlı yeniden başlatma, büyük ölçekli sunum özellikleri ve güvenlik sıkılaştırmaları.
vLLM, açık ağırlıklı modelleri kendi sunucusunda çalıştırmak isteyen şirketlerin en sık tercih ettiği çıkarım motorlarından biri. Bu yüzden her sürüm, açık model ekosisteminin performansını doğrudan etkiliyor.
Ne Değişti?
Yeni sürümde vllm preload adlı bir komut geldi. Bu komut, kuantize edilmiş ağırlıkları GPU’da önbellekte tutarak sunucunun yeniden başlatılmasını hızlandırıyor. Büyük modellerde ağırlık yüklemek dakikalar sürebildiği için bu, bakım ve güncelleme sırasında yaşanan kesinti süresini kısaltabilir.
DeepSeek-V4.1-Flash için de önemli performans iyileştirmeleri var. Sıkıştırılmış KV önbelleğiyle çalışan FlashMLA dikkat mekanizması ve çok sayıda kod çözücü birleştirmesi bunların başında geliyor.
İkinci nesil model çalıştırıcı Model Runner V2, taslak model tabanlı spekülatif kod çözme ve özel logit işlemcileri desteği kazandı. Büyük ölçekli sunum için MoonEP adlı yeni bir tümden tüme iletişim altyapısı ve ön doldurma aşamasında bağlam paralelliği eklendi. Zamanlama tarafında aynı anda çalışan dizi sayısına tavan koyma seçeneği ve yeniden düzenlenen bir bekleme kuyruğu geldi.
Güvenlik ve Uyumluluk
Sürümde iki güvenlik düzeltmesi dikkat çekiyor. İstek başına gönderilen çok modlu parametreler artık açıkça etkinleştirilmedikçe reddediliyor. Ön ek önbelleği anahtarlarındaki çakışma riski de giderildi. Bu tür ayarlar, aynı sunucuyu birden fazla kullanıcıya açan kurumlar için önemli.
Bazı kırıcı değişiklikler de var. Yavaş tokenleştirici seçeneği ve AllSpark INT8 altyapısı kaldırıldı. Bu seçenekleri kullanan kurulumlar güncellemeden önce yapılandırmalarını gözden geçirmeli.
Bir önceki 0.30 sürümü 22 Eylül’de çıkmış ve GLM-5.3-Flash, K2-Horizon gibi yeni model destekleri, metin filigranı ve ağırlıkları CUDA IPC üzerinden yükleyen hızlı başlatma servisi getirmişti. 9 Eylül’deki 0.29 sürümünde ise Model Runner V2 tüm modeller için varsayılan olmuştu. Eski çalıştırıcının 0.32 sürümünde kaldırılması planlanıyor.
Son üç sürüme birlikte bakınca ekosistemin hızı dikkat çekiyor. 0.30 sürümü seyrek dikkat için ana bellek katmanı HiSparse’ı, hedefli çevrimiçi kuantizasyonu ve NVFP4 desteğini de getirmişti. 0.29 sürümünde Mamba mimarisinde ön ek önbelleği iyileştirmeleri yapılmış ve ilk tokenin gelme süresinde yüzde 9 ile 25 arasında kazanç bildirilmişti. Proje üç sürümde de yaklaşık 300 katkıcıya ulaştı. Bu tempo, açık model kullanan ekiplerin güncellemeleri düzenli izlemesini gerekli kılıyor.
Kimi İlgilendiriyor?
vLLM 0.31, açık modelleri kendi altyapısında sunan şirketleri, model barındırma hizmeti veren sağlayıcıları ve araştırma laboratuvarlarını ilgilendiriyor. Özellikle sık güncelleme yapan ve kesinti süresini kısaltmak isteyen ekipler preload komutundan fayda görebilir.
Model Runner V1’e bağlı özel kod yazmış ekipler için de uyarı net: Eski çalıştırıcı kaldırılmadan önce geçiş planı yapılmalı.
Türkiye’den Kullanıcılar İçin
Türkiye’de veriyi yurt dışına çıkarmadan yapay zekâ kullanmak isteyen kurumlar, açık modelleri genellikle vLLM gibi motorlarla kendi sunucularında çalıştırıyor. Bu kurumlar için yeni sürümdeki güvenlik ayarları ve hızlı yeniden başlatma özelliği doğrudan işe yarar. Güncellemeden önce kaldırılan seçeneklerin kullanılıp kullanılmadığını bir test ortamında kontrol etmek en güvenli yol.
Kaynaklar
Bu yazı, yukarıdaki kaynaklardan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynaklara başvurun.
