Enver KOÇAK
Bir sohbet robotuna soru yazdığınızda cevabın kelime kelime ekrana akması bir tesadüf değildir. Büyük dil modelleri metni gerçekten de parça parça, her adımda “sırada ne gelmeli?” sorusunu yanıtlayarak üretir. Bu yazıda, matematiğe boğulmadan, bir büyük dil modelinin içinde neler olup bittiğini üç kavram üzerinden anlatacağız: token, olasılık ve bağlam. Bu üçünü kavradığınızda modellerin neden bazen parlak, bazen tuhaf davrandığı da çok daha anlaşılır hâle gelir.
Telefonunuzdaki otomatik tamamlamanın çok büyük akrabası
Telefon klavyesinde “Akşam yemeğe” yazdığınızda klavye size “geliyorum”, “çıkalım” gibi öneriler sunar. Klavye bunu, sizin ve başkalarının daha önce yazdıklarından öğrendiği kalıplara dayanarak yapar. Büyük dil modeli de özünde aynı işi yapar: verilen metnin devamını tahmin eder. Fark, ölçektedir. Klavye son birkaç kelimeye bakarken dil modeli çok daha uzun bir metni aynı anda değerlendirir; klavye sınırlı bir sözlükle çalışırken dil modeli devasa miktarda metinden dilin yapısını, konular arasındaki ilişkileri ve yazım üsluplarını öğrenmiştir.
Bu benzetme önemli bir gerçeği de hatırlatır: model “düşünüp sonra konuşan” bir varlık gibi çalışmaz. Cevabı önceden hazırlayıp sonra yazmaz; her yeni parçayı, o ana kadar yazılmış her şeye bakarak seçer. Uzun ve tutarlı bir paragraf, aslında art arda verilmiş çok sayıda küçük kararın toplamıdır.
Metin önce parçalara bölünür: token
Model harflerle ya da tam kelimelerle değil, token adı verilen parçalarla çalışır. Bir token bazen bütün bir kelimedir, bazen bir kelimenin kökü ya da eki, bazen de bir noktalama işareti veya boşlukla birlikte gelen kısa bir harf dizisidir. Hangi parçaların token olacağına, model eğitilmeden önce hazırlanan bir “tokenleştirici” karar verir ve bu tokenleştirici sık geçen harf dizilerini tek parça hâline getirmeye çalışır.
Türkçe gibi eklemeli dillerde bu durum ilginç sonuçlar doğurur. “Evlerimizden” kelimesini düşünün: kök ve ekler bir araya gelerek tek bir kelime oluşturur. Tokenleştirici bu kelimeyi büyük ihtimalle birkaç parçaya böler. Bu yüzden aynı anlamı taşıyan bir Türkçe metin, birçok modelde İngilizce karşılığından daha fazla tokene karşılık gelebilir. Bunun pratik sonucu şudur: Ücretlendirme ve uzunluk sınırları genellikle token üzerinden hesaplandığı için Türkçe metinler bazen beklediğinizden daha “uzun” sayılır.
Token kavramı bazı garip hataları da açıklar. Bir modele bir kelimedeki harfleri saydırdığınızda zorlanabilmesinin bir nedeni, modelin o kelimeyi harf harf değil, birkaç bütün parça olarak “görmesidir”.
Her adımda bir olasılık listesi
Model bir sonraki tokeni seçerken tek bir cevap üretmez; olası bütün tokenler için birer olasılık hesaplar. Diyelim ki metin şöyle: “İstanbul’un en kalabalık semtlerinden biri”. Model, devam olarak “de”, “olan”, “Kadıköy” gibi seçeneklerin her birine bir olasılık atar. Bazı seçenekler çok yüksek, bazıları neredeyse sıfır olasılık alır.
Ardından bu listeden bir token seçilir, metne eklenir ve süreç baştan başlar. Artık metin bir token uzamıştır ve yeni olasılıklar bu uzamış metne göre hesaplanır. Cevabın ekrana akarak gelmesinin sebebi budur: Her yeni parça, bir öncekinin üzerine kurulur.
Burada kritik bir nokta var: Olasılık, doğrulukla aynı şey değildir. Model, eğitildiği metinlerde hangi devamın daha sık ve daha uygun göründüğünü öğrenmiştir. Çoğu zaman en olası devam aynı zamanda doğru olandır, çünkü insanların yazdığı metinler büyük ölçüde gerçeklere dayanır. Ama bu bir garanti değildir. Modelin akıcı ve kendinden emin bir cümle kurması, o cümlenin doğru olduğunu kanıtlamaz.
Sıcaklık: Model ne kadar cesur seçsin?
Olasılık listesinden seçim yapmanın birden fazla yolu vardır. Her seferinde en yüksek olasılıklı tokeni seçmek, tutarlı ama tekdüze metinler üretir. Biraz rastgelelik eklemek ise daha yaratıcı ve çeşitli cevaplar doğurur. Bu rastgelelik düzeyi genellikle sıcaklık (temperature) adlı bir ayarla kontrol edilir.
- Düşük sıcaklık: Model en olası seçeneklere yapışır. Kod yazma, veri çıkarma, sınıflandırma gibi tutarlılık gereken işler için uygundur.
- Yüksek sıcaklık: Daha az olası seçeneklere de şans tanınır. Slogan, hikâye, beyin fırtınası gibi işlerde çeşitlilik sağlar ama saçmalama riskini de artırır.
Aynı soruya iki kez farklı cevap almanızın temel nedeni de budur: Seçim aşamasındaki rastgelelik, her denemede biraz farklı bir yol izlenmesine yol açar.
Bağlam: Modelin o anda baktığı her şey
Olasılıklar boşlukta hesaplanmaz. Model, bir sonraki tokeni seçerken o ana kadar kendisine verilen bütün metne bakar: sistemin talimatları, sizin sorunuz, önceki mesajlar ve kendi yazdığı cevabın başı. Bu metnin tamamına bağlam denir.
Modelin bu bağlamı nasıl kullandığını anlamak için “dikkat” (attention) mekanizmasından kısaca söz etmek gerekir. Günümüz dil modellerinin çoğunun temelindeki Transformer mimarisi, her tokenin bağlamdaki diğer tokenlerle ne kadar ilişkili olduğunu hesaplar. “Ali kitabı masaya bıraktı çünkü o çok ağırdı” cümlesinde “o” kelimesinin Ali’yi değil kitabı işaret ettiğini anlamak, bu tür ilişkileri kurabilmeyi gerektirir. Dikkat mekanizması, modelin uzak kelimeler arasında bile bu bağları kurmasını sağlar.
Bağlamın bir sınırı vardır ve bu sınır, ayrı bir yazının konusu olacak kadar önemlidir. Burada bilmeniz gereken şu: Model sadece bağlamın içindekini “görür”. Önceki bir sohbette söylediğiniz bir şey, o bilgi bağlama tekrar eklenmedikçe model için yoktur.
Model bütün bunları nereden öğrendi?
Bir büyük dil modelinin hayatı genellikle iki aşamadan geçer. İlk aşama olan ön eğitimde model, çok büyük bir metin koleksiyonu üzerinde tek bir oyunu milyarlarca kez oynar: Metnin bir kısmını görür ve bir sonraki tokeni tahmin etmeye çalışır. Tahmin yanlışsa, modelin içindeki sayısal değerler (parametreler) tahmini biraz daha iyi yapacak yönde güncellenir. Bu basit oyun yeterince büyük ölçekte oynandığında model dilbilgisini, olgular arasındaki ilişkileri, akıl yürütme kalıplarını ve farklı yazım tarzlarını içselleştirir.
Ancak sadece ön eğitimden geçmiş bir model iyi bir asistan değildir; sorunuza cevap vermek yerine sorunuzu andıran başka sorular yazmaya devam edebilir. Bu yüzden ikinci aşamada model, soru-cevap örnekleri ve insan geri bildirimleriyle yardımcı bir asistan gibi davranmaya yönlendirilir. Talimatlara uyması, zararlı isteklerden kaçınması ve anlaşılır cevaplar vermesi büyük ölçüde bu aşamanın ürünüdür.
Unutulmaması gereken bir ayrıntı daha var: Model, eğitim verisinin toplandığı tarihe kadar olan bilgiye sahiptir. Sonrasında olan bir şeyi, bu bilgi bağlama ayrıca verilmedikçe bilemez.
Bu bilgi size pratikte ne kazandırır?
Bir dil modelinin token token, olasılıklara ve bağlama dayanarak çalıştığını bilmek, onu daha iyi kullanmanızı sağlar. Birkaç somut çıkarım:
- Bağlamı siz zenginleştirin. Model yalnızca önüne konanı görür. Hedef kitleyi, amacı, istenen biçimi ve elinizdeki örnek metinleri açıkça yazmak, olasılıkları sizin istediğiniz cevaba doğru kaydırır.
- Akıcılığı doğrulukla karıştırmayın. Özellikle sayılar, tarihler, isimler ve kaynaklar söz konusuysa cevabı başka bir kaynaktan kontrol edin.
- İşe göre ayar seçin. Ayarlara erişiminiz varsa tutarlılık gereken işlerde sıcaklığı düşük, yaratıcı işlerde daha yüksek tutun.
- Türkçe metinlerde uzunluğa dikkat edin. Token sınırları ve maliyetler söz konusu olduğunda Türkçe içeriğin daha fazla token tutabileceğini hesaba katın.
- Harf ve karakter düzeyindeki işlerde temkinli olun. Harf sayma, kelimeyi tersten yazma gibi görevlerde modelin hata yapması şaşırtıcı değildir; bu tür işler için basit bir program çoğu zaman daha güvenilirdir.
Büyük dil modelleri sihirli kutular değildir, ama sıradan bir otomatik tamamlamadan da çok daha fazlasıdırlar. Onları “devasa ölçekte öğrenilmiş, bağlama duyarlı bir tahmin makinesi” olarak düşünmek, hem güçlü yanlarını hem de sınırlarını doğru değerlendirmenin en sağlam başlangıç noktasıdır.
“Büyük dil modeli nasıl çalışır? Token, olasılık ve bağlam” haberi, Etesio Teknoloji’nin yapay zekâsı Safinaz tarafından Türkçeleştirilip yayına alınmıştır.
