ttok 1.0: Token Sayma Aracı Yeni Varsayılana Geçti

Geliştirici Simon Willison, metindeki token sayısını hesaplayan ve metni belirli bir token sınırında kesen komut satırı aracı ttok 1.0 sürümünü 9 Ekim 2026’da yayımladı. Bir gün önce çıkan 0.4 sürümünün ardından gelen 1.0, küçük ama önemli bir değişiklik içeriyor: aracın varsayılan tokenizer’ı değişti.

Token, dil modellerinin metni işlerken kullandığı küçük parçalara verilen ad. Bir modele ne kadar metin sığacağı ve API kullanımının ne kadar tutacağı token sayısına bağlı olduğu için bu sayıyı önceden bilmek pratik bir ihtiyaç.

Ne Değişti?

Willison, aracı güncelleyip bir dosyayı içinden geçirdiğinde ttok’un hâlâ GPT-4 dönemi tokenizer’ını kullandığını fark ettiğini yazıyor. 1.0 ile birlikte varsayılan, GPT-5 ve GPT-6 ailesinin kullandığı o200k_base oldu. Eski davranışı isteyenler --model gpt-3.5-turbo seçeneğiyle cl100k_base tokenizer’ına dönebiliyor.

Aracın belgelerinde önemli bir uyarı da var: token sayıları, kesme sonuçları ve token kimlikleri tokenizer’a göre değişebiliyor. Bu yüzden kodlama ve çözme sırasında aynı modelin seçilmesi gerekiyor. Ayrıca ttok --list-models komutu artık gpt-5* gibi öneklerin alttaki tiktoken kütüphanesinde nasıl eşlendiğini de gösteriyor.

Bir gün önceki 0.4 sürümü de birkaç yenilik getirmişti. --list-models seçeneği o sürümde eklendi. --allow-special artık sayma ve kesme işlemlerinde de kullanılabiliyor. Click kütüphanesinin yeni sürümlerinde çıkan bir uyarı giderildi ve araç artık en az Python 3.10 istiyor.

Willison sürüm numarasını 1.0’a çıkarmanın gerekçesini de bu varsayılan değişikliğine bağlıyor. Araç 2023’te tanıtılmıştı ve bir önceki 0.3 sürümü Mayıs 2024’te çıkmıştı. Yani uzun süre dokunulmamış bir araç, tek bir günde iki sürümle güncellenmiş oldu. Paketleme de eski setup.py yerine pyproject.toml dosyasına taşındı.

GPT-6 Tokenizer’ı Gerçekten Aynı mı?

Burada dikkat edilmesi gereken bir nokta var. OpenAI, GPT-6’nın GPT-5 ile aynı tokenizer’ı kullandığını resmi olarak doğrulamış değil. Willison bu kararı bir deneye dayandırıyor. William Liu adlı bir geliştiricinin testinde GPT-5.5, GPT-5.6 ve GPT-6 ailesinden yedi model, 31 farklı test metninin her birinde aynı token sayısını raporlamış. Bu, tokenizer’ların büyük olasılıkla aynı olduğunu düşündürüyor ama kesin kanıt değil. tiktoken deposunda bu konuda açık bir tartışma da sürüyor.

Kimi İlgilendiriyor?

ttok, uzun belgeleri bir modele göndermeden önce boyutunu ölçmek isteyen geliştiriciler için kullanışlı. Örneğin bir proje klasörünü tek metne çeviren araçların çıktısını ttok’a yönlendirip toplam token sayısını görmek mümkün. Metni belirli bir sınırda kesme özelliği de bağlam penceresini aşmamak için işe yarıyor.

Kullanım basit. Metin doğrudan argüman olarak verilebiliyor, bir borudan okunabiliyor ya da -i seçeneğiyle bir dosyadan alınabiliyor. Örneğin “Hello world” ifadesi varsayılan tokenizer’la 2 token olarak sayılıyor. Belgeler, satır sonu karakterinin bile sayıyı değiştirebildiğini hatırlatıyor; bu tür ayrıntılar maliyet hesabında küçük ama gerçek farklar yaratabiliyor.

Daha önce ttok’u betiklerinde kullananlar için bu sürüm sessiz bir fark yaratabilir. Aynı metin artık farklı bir sayı verebilir. Eski sonuçlarla karşılaştırma yapan ya da maliyet hesabını bu sayıya bağlayan betikler gözden geçirilmeli.

Türkiye’den Kullanıcılar İçin

Araç pip, uv ya da Homebrew ile kurulabiliyor; kurmadan denemek için uvx ttok da yeterli. Türkçe metinler İngilizceye göre farklı sayıda tokena bölünebildiği için, Türkçe içerikle çalışanların kendi metinleri üzerinde ölçüm yapması daha doğru bir maliyet tahmini sağlar. Not: ttok yalnızca OpenAI’ın tiktoken kütüphanesini kullanıyor; başka şirketlerin modelleri farklı tokenizer kullanabilir.