Bilgisayarda yerel model çalıştırmak: Ollama ve LM Studio

Yapay zekâ denince çoğumuzun aklına tarayıcıda açılan bir sohbet penceresi gelir. Yazdığımız her şey internet üzerinden bir şirketin sunucusuna gider, orada işlenir ve cevap geri döner. Oysa artık birçok dil modelini kendi bilgisayarınıza indirip internete bağlı olmadan çalıştırmak mümkün. Bu yazıda yerel model çalıştırmanın ne anlama geldiğini, hangi donanımın gerektiğini ve bu iş için en çok kullanılan iki araç olan Ollama ile LM Studio’ya nasıl başlanacağını anlatıyoruz.

Yerel model ne demek?

Bir dil modeli, sonuçta çok büyük bir sayı dosyasıdır. Bu sayılara “parametre” ya da “ağırlık” denir ve modelin eğitim sırasında öğrendiği her şey bu sayılarda saklıdır. Bulut hizmetlerinde bu dosya şirketin sunucularında durur. Yerel kullanımda ise dosyayı kendi diskinize indirir, kendi işlemciniz veya ekran kartınızla çalıştırırsınız.

Bunu müzik dinlemeye benzetebiliriz. Bir yayın servisinden şarkı dinlemek, bulut modelini kullanmak gibidir: Pratik, devasa bir arşive erişirsiniz ama internet ve servis sağlayıcıya bağımlısınız. Şarkıyı indirip kendi cihazınızda çalmak ise yerel model gibidir: Seçenekleriniz daha sınırlı olabilir ama dosya sizindir ve nerede olursanız olun çalışır.

Neden yerelde çalıştırmak isteyesiniz?

• Gizlilik: Yazdıklarınız bilgisayarınızdan çıkmaz. Müşteri verisi, şirket içi belgeler veya kişisel notlarla çalışırken bu ciddi bir avantajdır.
• Çevrimdışı çalışma: Model indirildikten sonra internet bağlantısı gerekmez. Uçakta, sahada veya bağlantının kısıtlı olduğu ortamlarda işe yarar.
• Kullanım sınırı yok: Abonelik kotası veya istek başına ücret yoktur; tek maliyet elektrik ve donanımdır.
• Deneme ve öğrenme: Farklı modelleri karşılaştırmak, ayarlarla oynamak ve yapay zekânın nasıl çalıştığını daha yakından görmek için iyi bir laboratuvardır.
• Geliştirme: Yazılımcılar, uygulamalarını bir bulut API’sine bağlamadan önce yerel bir modelle prototip oluşturabilir.

Dürüst olmak gerekirse dezavantajları da var. Kişisel bir bilgisayarda çalışabilen modeller, büyük şirketlerin veri merkezlerinde çalışan en gelişmiş modellerden genellikle daha küçüktür ve karmaşık görevlerde daha zayıf kalabilir. Hız da tamamen donanımınıza bağlıdır.

Donanım: Asıl belirleyici bellek

Yerel model çalıştırırken en önemli soru, modelin belleğe sığıp sığmayacağıdır. Model çalışırken ağırlıklarının tamamı bellekte bulunmalıdır. Ekran kartınız varsa bu ekran kartının kendi belleği (VRAM), yoksa sistem belleği (RAM) olur. Apple Silicon işlemcili Mac’lerde işlemci ve grafik birimi aynı belleği paylaştığı için toplam bellek miktarı doğrudan belirleyicidir.

Parametre sayısı ve nicemleme

Model adlarında sık gördüğünüz “7B”, “13B” gibi ifadeler milyar cinsinden parametre sayısını gösterir. Her parametre normalde 16 bit, yani 2 bayt yer kaplar. Bu durumda 7 milyar parametreli bir model yaklaşık 14 GB bellek ister; çoğu kişisel bilgisayar için bu fazladır.

Burada “nicemleme” (quantization) devreye girer. Nicemleme, her parametreyi daha az bitle saklayarak modeli küçültme yöntemidir. Bir fotoğrafı daha yüksek sıkıştırmayla kaydetmek gibi düşünebilirsiniz: Dosya küçülür, kalite biraz düşer ama çoğu zaman fark edilmez. 4 bitlik nicemlemede her parametre yarım bayt yer kaplar; böylece 7 milyar parametreli model yaklaşık 3,5 GB’a iner. Buna çalışma sırasında gereken ek belleği de eklemek gerekir.

Kaba bir hesap için şu formül işinizi görür: parametre sayısı (milyar) × bit sayısı ÷ 8 = yaklaşık GB. Üzerine birkaç GB pay bırakın, çünkü işletim sisteminiz ve diğer programlar da bellek kullanır. Model belleğe sığmıyorsa ya hiç çalışmaz ya da diske taşarak çok yavaşlar.

Pratik öneri şu: İlk denemeniz için küçük bir modelle başlayın. Bilgisayarınızın nasıl tepki verdiğini gördükten sonra daha büyük modellere geçebilirsiniz.

Ollama: Komut satırından hızlı başlangıç

Ollama, yerel modelleri indirip çalıştırmayı birkaç komuta indiren açık kaynaklı bir araçtır. Windows, macOS ve Linux için sürümleri vardır. Kurulumdan sonra arka planda çalışan bir servis olarak bekler ve modellerinizi yönetir.

Temel komutlar

• ollama pull <model-adı>: Modeli indirir.
• ollama run <model-adı>: Modeli başlatır ve terminalde sohbet açar. Model henüz inmemişse önce indirir.
• ollama list: İndirdiğiniz modelleri listeler.
• ollama ps: Şu anda bellekte çalışan modelleri gösterir.
• ollama rm <model-adı>: Modeli diskten siler.

Ollama’nın kendi sitesinde bir model kütüphanesi bulunur. Model adlarının yanında genellikle farklı boyutlar ve nicemleme seçenekleri etiket olarak yer alır. Hangi etiketi seçeceğinize yukarıdaki bellek hesabıyla karar verebilirsiniz.

Yazılımcılar için yerel API

Ollama’nın asıl gücü, çalışırken bilgisayarınızda yerel bir HTTP sunucusu açmasıdır. Varsayılan olarak localhost:11434 adresinde dinler. Kendi yazdığınız bir uygulama, bu adrese istek göndererek modeli kullanabilir. Ollama ayrıca yaygın bulut API biçimiyle uyumlu bir uç nokta da sunar; bu sayede bu biçimi destekleyen birçok kütüphane ve araç, sadece adres değiştirilerek yerel modele yönlendirilebilir.

Bu, örneğin şirket içi belgeleri işleyen bir betiği önce yerelde, veriyi dışarı göndermeden geliştirmek için çok kullanışlıdır.

LM Studio: Grafik arayüzle rahat kullanım

Terminalle aranız iyi değilse LM Studio daha rahat bir başlangıç sunar. LM Studio, Windows, macOS ve Linux için masaüstü uygulaması olarak indirilebilen, tanıdık bir sohbet arayüzüne sahip bir programdır.

Neler sunar?

• Model arama ve indirme: Uygulama içinden açık modelleri arayabilir, farklı boyut ve nicemleme seçeneklerini görüp indirebilirsiniz. Uygulama, bilgisayarınızın belleğine göre hangi dosyanın sığabileceği konusunda yol gösterir.
• Sohbet ekranı: Bulut sohbet araçlarına benzer bir arayüzde modelle konuşabilir, sohbetlerinizi saklayabilirsiniz.
• Ayarlar: Bağlam uzunluğu, sıcaklık (temperature) gibi parametreleri arayüzden değiştirip sonuca etkisini görebilirsiniz.
• Belgeyle sohbet: Bir dosya ekleyip onun hakkında soru sorabilirsiniz.
• Yerel sunucu: Tıpkı Ollama gibi, yüklenen modeli yerel bir API üzerinden diğer uygulamalara açabilir.

Hangisini seçmeli?

İkisi birbirinin rakibi olmaktan çok farklı ihtiyaçlara cevap verir. Birçok kişi modelleri LM Studio’da deneyip beğendiğini Ollama ile bir uygulamaya bağlar. İkisini aynı bilgisayarda kullanmak da mümkündür; sadece aynı anda iki büyük modeli belleğe yüklemeye çalışmamak gerekir.

İlk deneme için adım adım

1. Bilgisayarınızın toplam RAM’ini ve varsa ekran kartı belleğini öğrenin.
2. Terminal kullanmak istiyorsanız Ollama’yı, istemiyorsanız LM Studio’yu kurun.
3. Bellek hesabına göre küçük boyutlu, 4 bit nicemlenmiş bir model seçin.
4. Modeli indirin; dosya boyutu birkaç GB olabileceği için indirme biraz sürebilir.
5. Basit sorularla başlayın, ardından kendi gerçek işlerinizle deneyin: bir e-postayı özetletmek, bir metni sadeleştirmek, kısa bir kod parçasını açıklatmak.
6. Sonuçları beğenmezseniz farklı bir model ailesi veya bir üst boyut deneyin.

Dikkat edilmesi gerekenler

Lisanslar: “Açık model” her zaman “her amaçla serbestçe kullanılabilir” anlamına gelmez. Bazı modellerin lisansları ticari kullanıma koşullar getirir. Modeli bir ürüne veya şirket içi bir sisteme koyacaksanız lisans metnini mutlaka okuyun.

Kaynak güvenilirliği: Model dosyalarını bilinen kaynaklardan ve tanınmış yayıncılardan indirin. İnternette rastgele paylaşılan dosyalara temkinli yaklaşın.

Türkçe performansı: Modellerin Türkçe başarısı birbirinden çok farklıdır. Bir model İngilizcede iyi sonuç verirken Türkçede dil bilgisi hataları yapabilir veya cevabı İngilizce verebilir. Kendi kullanım alanınızda Türkçe birkaç örnekle test etmeden karar vermeyin.

Doğruluk: Yerel modeller de bulut modelleri gibi hata yapar, hatta küçük boyutları nedeniyle bazı konularda daha sık yapabilir. Önemli bilgileri her zaman doğrulayın.

Yerel model çalıştırmak, yapay zekâyı bir hizmet olmaktan çıkarıp elinizde tuttuğunuz bir araca dönüştürür. Her işi bulut modellerinin yerine yapmasa da gizliliğin önemli olduğu, internetin olmadığı veya sadece merak ettiğiniz durumlarda bilgisayarınızda hazır bekleyen bir asistan olmak için yeterince iyidir.

“Bilgisayarda yerel model çalıştırmak: Ollama ve LM Studio” haberi, Etesio Teknoloji’nin yapay zekâsı Safinaz tarafından Türkçeleştirilip yayına alınmıştır.