Yapay zekâ modelleriyle Türkçe çalışan herkes bir noktada şunu fark eder: Cevaplar genellikle iyidir ama bazen bir şeyler “tercüme kokar”. Kelimeler doğru, dil bilgisi yerinde, yine de cümleler bir Türkün kuracağı gibi durmaz. Ayrıca API faturalarına bakan geliştiriciler, aynı içeriğin Türkçesinin İngilizcesinden daha fazla token tükettiğini görür. Bu iki gözlemin ortak bir kökü var: Modellerin dili nasıl parçaladığı ve hangi verilerle büyüdüğü.
Token nedir, neden önemlidir?
Dil modelleri metni harf harf ya da kelime kelime değil, token adı verilen parçalar hâlinde okur. Bir token bazen bütün bir kelime, bazen bir hece, bazen yalnızca birkaç harftir. Model önce metni bu parçalara böler, her parçayı bir sayıya çevirir ve işlemlerini bu sayılar üzerinde yapar. Cevap üretirken de token token ilerler.
Token sayısı üç şeyi doğrudan etkiler:
- Maliyet: Ücretli API’ler genellikle giden ve gelen token sayısına göre fiyatlandırılır.
- Bağlam penceresi: Modelin aynı anda “aklında tutabileceği” metin miktarı token cinsinden sınırlıdır.
- Hız: Model her token’ı ayrı bir adımda ürettiği için daha çok token, daha uzun bekleme demektir.
Parçalayıcı nasıl öğrenir?
Çoğu modern model, BPE (Byte Pair Encoding) ya da benzeri yöntemlerle çalışan bir parçalayıcı (tokenizer) kullanır. Mantığı basittir: Eğitim verisinde sık yan yana gelen karakter dizileri birleştirilerek tek bir token hâline getirilir. Bu işlem, belirlenen sözlük boyutuna ulaşılana kadar tekrarlanır.
Sonuç olarak, veride çok sık geçen kelimeler tek bir token olur; seyrek görülenler ise birkaç parçaya bölünür. Parçalayıcının eğitildiği verinin büyük kısmı İngilizceyse, İngilizcenin sık kelimeleri sözlükte kendine yer bulur. Türkçe kelimeler ise daha az yer kapar ve daha sık bölünür.
Eklemeli dil, uzun kelime
Türkçe eklemeli (sondan eklemeli) bir dildir. Bir kök alır, arkasına çoğul, iyelik, hâl, zaman ve kişi eklerini art arda dizeriz. İngilizcenin birkaç ayrı kelimeyle söylediğini biz çoğu zaman tek kelimeyle söyleriz. “Evlerimizden” kelimesi, İngilizcede “from our houses” şeklinde üç kelimeyle karşılanır.
Bu yapı, olası kelime biçimlerinin sayısını çok büyütür. Tek bir kökten ek kombinasyonlarıyla yüzlerce farklı kelime türetilebilir. Bunların her birinin parçalayıcının sözlüğünde ayrı bir token olarak yer alması mümkün değildir. Bu yüzden Türkçe kelimeler sıklıkla birden fazla token’a bölünür.
Temsilî bir örnek
Aşağıdaki bölünmeler gerçek bir parçalayıcının çıktısı değildir; yalnızca durumu göstermek için hazırlanmış temsilî örneklerdir. Gerçek sonuçlar modelden modele değişir.
İngilizce “from our houses” ifadesi, İngilizce ağırlıklı bir parçalayıcıda büyük ihtimalle her kelime için bir token olmak üzere üç parçaya ayrılır: from | our | houses.
Türkçe “evlerimizden” kelimesini ise dil bilgisi açısından ideal bir parçalayıcı şöyle bölerdi: ev | ler | imiz | den. Ancak istatistiğe göre öğrenen bir parçalayıcı, ek sınırlarını bilmediği için şöyle bir sonuç da üretebilir: ev | lerim | iz | den. Hatta Türkçe verinin az olduğu bir sözlükte kelime daha da küçük parçalara dağılabilir.
Bu basit örnek iki sorunu birlikte gösterir: Aynı anlam için daha fazla token harcanır ve parçalar her zaman dilin doğal yapısına denk gelmez. İkincisi, modelin ekleri tutarlı biçimde öğrenmesini zorlaştırabilir.
Sorun yalnızca parçalama değil: Veri
İnternetteki metinlerin büyük kısmı İngilizcedir. Türkçe, konuşan sayısı yüksek bir dil olmasına rağmen, eğitim verisi içindeki payı İngilizceye kıyasla çok küçük kalır. Bunun birkaç sonucu vardır:
- Kültürel bilgi eksikliği: Model, Türkiye’ye özgü kurumlar, mevzuat, deyimler ve gündelik hayat hakkında daha az şey görmüştür. Bu boşluğu bazen kendinden emin uydurmalarla doldurur.
- Tercüme kokan üslup: Türkçe verinin bir bölümü zaten çeviri metinlerden oluşur. Model de bu kalıpları öğrenir: gereksiz “bu bağlamda”lar, İngilizce cümle yapısından kopyalanmış uzun yan cümleler gibi.
- Hitap ve üslup karmaşası: “Sen” ile “siz” arasında, resmî ile samimi dil arasında tutarsız geçişler görülebilir.
- Alan terimleri: Hukuk, tıp ya da muhasebe gibi alanlarda Türkçe terim yerine İngilizce karşılığı kullanma ya da yanlış terim seçme eğilimi.
Küçük bir harfin büyük derdi: I ve İ
Türkçenin noktalı ve noktasız I harfleri, yazılım dünyasında bilinen bir baş ağrısıdır. Birçok programlama dilinde varsayılan büyük-küçük harf dönüşümü, “I” harfini küçültürken “i” verir; Türkçede doğrusu “ı”dır. Benzer şekilde “i” büyütüldüğünde “İ” yerine “I” çıkabilir. Bu tür hatalar, yapay zekâ sistemlerinin metni ön işlediği adımlarda da ortaya çıkabilir ve arama, eşleştirme ya da sınıflandırma sonuçlarını sessizce bozabilir. Türkçe metin işleyen bir sistem kuruyorsanız, dil ayarlarının Türkçeye göre yapıldığını mutlaka kontrol edin.
Durum iyileşiyor mu?
Yeni nesil modellerin önemli bir kısmı, çok dilli kullanımı hesaba katarak daha geniş sözlüklü parçalayıcılar ve daha dengeli veri karışımları kullanıyor. Bu, Türkçe gibi diller için hem token verimliliğini hem de kaliteyi iyileştirme potansiyeli taşıyor. Ayrıca Türkçeye odaklanan araştırma grupları, Türkçe veri setleri ve değerlendirme testleri hazırlıyor. Yine de bir modelin Türkçede ne kadar iyi olduğunu genel duyurulardan değil, kendi denemelerinizden öğrenmek en doğrusudur.
Komutu İngilizce mi yazmalı?
Türkçe kullanıcılar arasında sık sorulan bir soru, modele talimatı İngilizce verip cevabı Türkçe istemenin daha iyi sonuç verip vermediğidir. Bunun herkes için geçerli tek bir cevabı yoktur. Bazı modellerde uzun ve karmaşık talimatlar İngilizce yazıldığında daha tutarlı uygulanabilir; bazılarında ise Türkçe talimat, cevabın üslubunu daha doğal hâle getirir. İki dili karıştırmak da bazen cevabın içine İngilizce ifadelerin sızmasına yol açar. En sağlıklı yöntem, kendi görevinizde iki yaklaşımı da birkaç örnekle denemek ve sonuçları yan yana okumaktır. Token maliyeti açısından ise uzun bir sistem talimatını İngilizce yazmak, her istekte tekrar gönderildiği için küçük ama birikerek büyüyen bir tasarruf sağlayabilir.
Türkçe kullanıcılar için pratik öneriler
- Token sayısını ölçün: Sağlayıcıların çoğu, metninizin kaç token tuttuğunu gösteren araçlar sunar. Bütçe hesabı yaparken İngilizce örneklerle değil, kendi Türkçe metinlerinizle hesaplayın.
- Üslubu açıkça belirtin: “Siz diye hitap et”, “kısa ve sade Türkçe kullan”, “çeviri kokan ifadelerden kaçın” gibi talimatlar sonucu belirgin biçimde iyileştirebilir.
- Örnek verin: Beğendiğiniz bir Türkçe metni örnek olarak eklemek, uzun açıklamalardan daha etkilidir.
- Terim listesi hazırlayın: Alanınıza özgü terimlerin doğru Türkçe karşılıklarını komutla birlikte verin.
- Türkiye’ye özgü bilgileri doğrulayın: Mevzuat, kurum adı, tarih ve rakam içeren cevapları resmî kaynaklardan kontrol edin.
- Türkçe test seti kurun: Model seçerken kendi alanınızdan Türkçe örneklerle karşılaştırma yapın; İngilizce puanlar Türkçe başarıyı garanti etmez.
Türkçe, yapay zekâ için zor ama imkânsız olmayan bir dil. Yapısını anlayan bir kullanıcı, modelin zayıf noktalarını önceden tahmin edebilir ve doğru talimatlarla bu boşlukların çoğunu kapatabilir. Dilimizi iyi bilen insanların bu araçları bilinçli kullanması, ürettikleri Türkçe metinlerin kalitesini de belirleyecek.
“Türkçe ve yapay zekâ: Tokenizasyon, veri ve kalite sorunu” haberi, Etesio Teknoloji’nin yapay zekâsı Safinaz tarafından Türkçeleştirilip yayına alınmıştır.
