Yapay zekâ denince akla genellikle dev veri merkezlerinde çalışan ve internet bağlantısı olmadan kullanılamayan sohbet asistanları gelir. Oysa son yıllarda bambaşka bir eğilim güçleniyor: Bir dizüstü bilgisayarda, hatta telefonda, internete ihtiyaç duymadan çalışabilen küçük dil modelleri. Bu yazıda bu modellerin nasıl mümkün olduğunu, nerede işe yaradığını ve nerede yetersiz kaldığını ele alıyoruz.
“Küçük” ne kadar küçük?
Dil modellerinin boyutu genellikle parametre sayısıyla ifade edilir. Parametreler, modelin eğitim sırasında ayarlanan iç sayılarıdır. En büyük modellerin parametre sayısı yüz milyarların üzerine çıkabilirken, küçük modeller genellikle birkaç yüz milyon ile birkaç milyar parametre aralığında kalır. Kesin bir sınır yoktur; “küçük” kelimesi daha çok “sıradan bir cihazda çalışabilecek kadar” anlamında kullanılır.
Microsoft’un Phi ailesi, Google’ın Gemma serisi ve Llama, Qwen, Mistral gibi ailelerin küçük sürümleri bu alanın bilinen örnekleridir. Bu aileler düzenli olarak yeni sürümler çıkardığı için belirli bir sürüm yerine aileye odaklanmak daha anlamlıdır.
Bir model nasıl küçültülür?
Daha iyi veriyle eğitmek
Küçük modellerin başarısındaki en büyük etkenlerden biri, eğitim verisinin özenle seçilmesidir. İnternetten gelişigüzel toplanmış metin yerine temizlenmiş, eğitici ve çeşitli veriler kullanmak, aynı boyuttaki bir modelden çok daha iyi sonuç almayı sağlayabilir. Bir öğrenciye bin rastgele kitap yerine yüz iyi seçilmiş kitap okutmaya benzer.
Damıtma (distillation)
Büyük ve güçlü bir “öğretmen” model, küçük bir “öğrenci” modele örnek cevaplar üretir. Öğrenci yalnızca doğru cevabı değil, öğretmenin cevaplara ne kadar güvendiğini de öğrenmeye çalışır. Böylece büyük modelin bilgisinin bir kısmı daha küçük bir yapıya aktarılır.
Kuantizasyon
Modelin ağırlıkları normalde 16 ya da 32 bitlik sayılarla saklanır. Kuantizasyon, bu sayıları 8 bit, 4 bit gibi daha az hassas biçimlere dönüştürür. Fotoğrafı daha düşük kaliteyle sıkıştırmaya benzer: Dosya ciddi biçimde küçülür, gözle fark edilen kayıp ise çoğu durumda sınırlı kalır. Ancak sıkıştırma arttıkça kalite kaybı da belirginleşir; özellikle çok düşük bit seviyelerinde model hata yapmaya daha yatkın hâle gelebilir.
Budama (pruning)
Modelin sonuca az katkı veren bağlantılarının ya da bölümlerinin çıkarılmasıdır. Bir ağacın verimsiz dallarını kesmek gibi, modeli hafifletirken temel yapısını korumayı amaçlar.
Bellek hesabı: Model bilgisayarıma sığar mı?
Bir modelin ne kadar bellek isteyeceğini kabaca hesaplamak için basit bir formül yeter: parametre sayısı × parametre başına bayt. 16 bitlik bir sayı 2 bayt, 8 bitlik bir sayı 1 bayt, 4 bitlik bir sayı ise yarım bayttır.
Örnek bir hesap yapalım: 7 milyar parametreli bir model 16 bitle saklanırsa yaklaşık 14 GB, 4 bitle kuantize edilirse yaklaşık 3,5 GB yer kaplar. Buna, modelin çalışırken konuşma geçmişini tuttuğu ek bellek ve uygulamanın kendi ihtiyacı eklenir. Bu yüzden hesapladığınız rakamın üzerine bir pay bırakmak gerekir. Uzun metinlerle çalıştıkça bu ek bellek de büyür.
Apple Silicon işlemcili Mac’lerde işlemci ve grafik birimi aynı belleği paylaştığı için toplam RAM miktarı belirleyicidir. Ayrı ekran kartı olan bilgisayarlarda ise asıl önemli olan ekran kartının belleğidir; model oraya sığmazsa sistem belleğine taşar ve hız belirgin biçimde düşer.
Küçük modeller nerede parlıyor?
- Gizlilik gerektiren işler: Kişisel notlarınızı, şirket içi belgelerinizi ya da sağlık bilgilerinizi hiçbir sunucuya göndermeden özetleyebilirsiniz.
- İnternetin olmadığı yerler: Uçakta, şantiyede ya da bağlantının zayıf olduğu bir köyde de çalışırlar.
- Dar ve tekrarlayan görevler: E-postaları sınıflandırmak, formlardan bilgi çıkarmak, kısa metinleri yeniden yazmak, kod tamamlama önerileri vermek gibi.
- Düşük gecikme: İstek ağ üzerinden gidip gelmediği için klavye önerisi gibi anlık işlerde daha akıcı bir deneyim sunabilirler.
- Sabit maliyet: Cihaz bir kez alındıktan sonra her istek için ayrıca ödeme yapılmaz.
Nerede zorlanıyorlar?
Küçük modellerden büyük modellerle aynı performansı beklemek hayal kırıklığına yol açar. Sınırlı parametre, sınırlı bilgi demektir. Bu modeller:
- Genel kültür sorularında daha sık yanlış ya da uydurma bilgi verebilir.
- Çok adımlı akıl yürütme, karmaşık matematik ya da uzun planlama gerektiren işlerde daha çabuk tökezler.
- İngilizce dışındaki dillerde, Türkçe dahil, büyük modellere göre daha belirgin kalite düşüşü gösterebilir.
- Uzun belgelerde bağlamı tutmakta zorlanabilir.
Bu zayıflıkları azaltmanın etkili bir yolu, modelin bilgisine güvenmek yerine ona gereken bilgiyi vermektir. Örneğin bir belge hakkında soru soracaksanız, ilgili bölümü komutla birlikte modele vermek, cevabın doğruluğunu ciddi biçimde artırır. Küçük model, bir ansiklopediden çok, önüne konan metni hızlıca okuyup işleyen bir asistan gibi kullanıldığında en iyi sonucu verir.
Dizüstünüzde ilk deneme: Kontrol listesi
- Belleğinizi öğrenin: Bilgisayarınızın toplam RAM’ini ve varsa ekran kartı belleğini not edin.
- Bir çalıştırma aracı seçin: Ollama ve LM Studio gibi araçlar modeli indirmeyi ve çalıştırmayı birkaç tıklamaya ya da tek bir komuta indirir. Bu araçların çoğunun arkasında llama.cpp projesi ve GGUF dosya biçimi bulunur.
- Küçükten başlayın: İlk denemede birkaç milyar parametreli, 4 bit kuantize edilmiş bir model seçin. Akıcı çalışıyorsa bir üst boyutu deneyin.
- Kendi işinizle test edin: Genel sohbet yerine gerçekten yapmak istediğiniz işi deneyin: bir toplantı notunu özetletmek, bir e-postayı düzelttirmek gibi.
- Türkçe performansına ayrıca bakın: Aynı görevi Türkçe ve İngilizce deneyip farkı gözlemleyin.
- Lisansı kontrol edin: Modeli bir ürünün parçası yapacaksanız kullanım koşullarını okuyun.
Hız, pil ve ısı: Gerçekçi beklentiler
Yerel bir modelin hızı, ekranda kelimelerin ne kadar akıcı belirdiğiyle hissedilir. Güçlü bir ekran kartında küçük bir model, okuma hızınızdan daha hızlı metin üretebilir. Yalnızca işlemciyle çalışan eski bir dizüstünde ise aynı model kelime kelime, sabır isteyen bir hızda ilerleyebilir. Uzun bir komutu ilk kez işlerken yaşanan bekleme de cihazın gücüne bağlıdır.
Unutmamak gereken bir başka nokta, yapay zekâ işlemlerinin donanımı yoğun biçimde çalıştırmasıdır. Pille çalışan bir dizüstünde uzun süreli kullanım şarjı belirgin biçimde azaltır, fanlar devreye girer ve cihaz ısınır. Bu yüzden yerel modelleri sürekli açık bir hizmet gibi değil, gerektiğinde çağrılan bir araç gibi kullanmak çoğu kişi için daha konforludur.
Telefondaki yapay zekâ
Telefon üreticileri de bu alana yatırım yapıyor. Yeni nesil cihazlardaki sinir işlem birimleri, küçük modellerin pili hızla tüketmeden çalışmasını sağlıyor. Mesaj önerileri, sesli notların yazıya dökülmesi, fotoğraflarda nesne tanıma gibi özelliklerin bir kısmı artık doğrudan cihazda gerçekleşiyor. Daha zor istekler ise çoğu zaman buluttaki büyük modellere aktarılıyor. Bu “önce cihaz, gerekirse bulut” yaklaşımı, gizlilik ile yetenek arasında makul bir denge kuruyor.
Küçük dil modelleri büyük modellerin yerini almıyor; onları tamamlıyor. Her soru için veri merkezine gitmek, her yemek için şehrin en büyük restoranına gitmek gibidir. Bazen evdeki küçük mutfak, hem daha hızlı hem de daha mahrem bir çözüm sunar.
“Küçük dil modelleri: Telefonda ve dizüstünde yapay zekâ” haberi, Etesio Teknoloji’nin yapay zekâsı Safinaz tarafından Türkçeleştirilip yayına alınmıştır.
