Enver KOÇAK
Hugging Face, en yaygın kullanılan açık kaynak kütüphanesi Transformers için önemli bir yenilik duyurdu. Transformers GGUF desteği sayesinde llama.cpp’nin sıkıştırılmış model dosyaları artık doğrudan Transformers ile çalıştırılabiliyor. Duyuru 22 Eylül 2026’da şirketin blogunda yayımlandı.
GGUF, yerel yapay zekâ dünyasında en çok kullanılan model formatı. Ollama ve LM Studio gibi araçlar bu formatla çalışıyor. Şimdiye kadar Transformers bu dosyaları açabiliyordu ama önce sıkıştırmayı tamamen çözmesi gerekiyordu. Bu da çok daha fazla bellek demekti.
Ne Değişti?
Yeni yöntemde model ağırlıkları bellekte sıkıştırılmış hâlde kalıyor. Hesaplama, ggml’in Metal çekirdekleriyle doğrudan Apple grafik işlemcisinde yapılıyor. Bu çekirdekler Hugging Face’in kernels kütüphanesi üzerinden yükleniyor.
Fark bellek kullanımında net görülüyor. Örneğin Qwen3.5-4B modeli sıkıştırılmamış hâlde 8,42 GB yer kaplıyor. Önerilen başlangıç seviyesi olan Q4_K_M sürümü ise yalnızca 2,74 GB. Hugging Face, belleği yeten kullanıcıların daha hassas Q5_K_M veya Q6_K sürümlerine geçebileceğini söylüyor.
Kullanım da kolay. Python’da modeli yüklerken dosya adını belirtmek yetiyor. Sonrası bildiğimiz Transformers. İsteyenler transformers serve komutuyla OpenAI uyumlu bir yerel sunucu da açabiliyor. Ekip bu sırada metin üretim döngüsünü de hızlandırdı. Bu iyileştirmeler GGUF dışındaki modellere de yansıyor.
Kimi İlgilendiriyor?
Bu yenilik özellikle Mac kullanan araştırmacılar ve geliştiriciler için anlamlı. Sıkıştırılmış bir modeli Python içinde açıp katmanlarını incelemek, değerlendirme yapmak ya da özel üretim kuralları denemek artık mümkün. Dönüştürülmüş bir modelin orijinaliyle tutarlı olup olmadığını kontrol etmek de kolaylaşıyor.
GGUF dosyasından başlayarak ince ayar yapmak isteyenler için de bir seçenek var. Bu durumda ağırlıklar standart formata açılarak yükleniyor.
Nasıl Denenir?
Denemek isteyenlerin birkaç şarta dikkat etmesi gerekiyor. Apple Silicon işlemcili bir Mac şart. PyTorch’un desteklenen son iki sürümünden biri ve Transformers’ın ana daldaki en yeni hâli kurulmalı. Uyumlu bir kernels paketi de gerekiyor. Hugging Face’in testleri, 32 GB bellekli bir M2 Max MacBook Pro üzerinde yapıldı.
Yerel sunucu açıldığında Jan veya Pi gibi istemciler bu sunucuya bağlanabiliyor. Düşünme özelliği olan modellerde akıl yürütme adımı bir ayarla açılıp kapatılabiliyor. Bu, yerel sohbet uygulaması kurmak isteyenler için kolaylık sağlıyor.
Bu gelişme açık kaynak ekosistemi açısından da anlamlı. Yerel modeller dünyası ile araştırma dünyası uzun süredir ayrı araçlar kullanıyordu. Hugging Face bu iki dünyayı ortak bir formatta buluşturmaya çalışıyor. Eylül ayında şirket ayrıca Mac’te model çalıştırma aracı oMLX’in geliştiricisi Jun Kim’i ekibine kattığını duyurmuştu. İki adım birlikte okununca, Hugging Face’in Apple cihazlarında yerel yapay zekâya ciddi biçimde yatırım yaptığı görülüyor.
Sınırlamalar
Destek şimdilik dar. Hızlı yol yalnızca Apple Silicon Mac’lerde çalışıyor. Model mimarisi olarak da Qwen3.5 ve uyumlu Qwen3.8 modelleri destekleniyor. Uygun çekirdek bulunamazsa sistem modeli tamamen açıyor ve daha fazla bellek harcıyor.
Hugging Face, hızın llama.cpp’ye yakın olduğunu söylüyor. Ama verimli yerel çalıştırma öncelikse llama.cpp’yi önermeye devam ediyor. Yani bu yenilik llama.cpp’nin yerine geçmiyor. Onu Python dünyasına bağlayan bir köprü kuruyor. Şirket, ileride bu çekirdeklerin ses ve görüntü modellerini de hızlandırabileceğini belirtiyor. Desteklenmeyen bir model için GitHub üzerinden talep açılabiliyor.
Kaynaklar
Bu yazı, yukarıdaki kaynaklardan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynaklara başvurun.
