Anlamı sayılara çevirmek

Bilgisayarlar metni doğrudan “anlamaz”; sayılarla çalışır. Embedding, bir metni (bir kelimeyi, cümleyi, paragrafı ya da bütün bir belgeyi) uzun bir sayı listesine dönüştürme işlemidir. Bu listeye vektör denir. Türkçede “gömme” ya da “anlam vektörü” dendiği de olur, ama sektörde genellikle İngilizce adıyla anılır.

Buradaki asıl fikir şudur: Bu sayılar rastgele değildir. Embedding modeli, anlamca birbirine yakın metinlere birbirine yakın vektörler üretecek şekilde eğitilmiştir. “Kedi” ve “yavru kedi” birbirine yakın düşer; “kedi” ile “muhasebe” ise birbirinden uzak.

Bir harita benzetmesi

Bir şehir haritası düşünün. Her yerin bir enlemi ve bir boylamı vardır; iki sayı, bir noktanın yerini belirlemeye yeter. Birbirine yakın iki adres, haritada da yakın görünür. Embedding de metinleri bir tür “anlam haritasına” yerleştirir. Fark, bu haritanın iki değil, yüzlerce hatta binlerce boyutu olmasıdır. Bu kadar boyutu zihnimizde canlandıramayız, ama mantık aynıdır: Yakınlık, benzerlik demektir.

Bu haritada boyutların her birinin “renk”, “duygu” ya da “konu” gibi tek bir insan kavramına karşılık gelmesi gerekmez. Model, metinleri ayırt etmek için hangi özelliklerin işe yaradığını eğitim sırasında kendisi bulur. Biz sadece sonucu görürüz: benzer anlamlar, benzer konumlar.

Benzerlik nasıl ölçülür?

İki metnin ne kadar benzer olduğunu bulmak için onların vektörleri karşılaştırılır. En yaygın yöntemlerden biri kosinüs benzerliğidir. Basitçe söylemek gerekirse, iki vektörün aynı yönü ne kadar gösterdiğine bakılır. Aynı yönü gösteren vektörler yüksek benzerlik puanı alır, farklı yönleri gösterenler düşük. Bunun dışında iki nokta arasındaki düz mesafeyi ölçen yöntemler de kullanılır; hangisinin seçileceği, kullanılan embedding modelinin önerisine bağlıdır.

Önemli olan şu: Bu karşılaştırma, kelimelerin harf harf aynı olup olmadığına değil, metnin genel anlamına dayanır. Bu yüzden “arabam çalışmıyor” ile “otomobil marş basmıyor” cümleleri, ortak tek bir kelimeleri olmamasına rağmen birbirine yakın bulunabilir.

Anahtar kelime aramasıyla farkı

Geleneksel arama, büyük ölçüde kelime eşleşmesine dayanır. Aradığınız kelime belgede geçiyorsa belge bulunur, geçmiyorsa bulunmaz. Bu yöntem hızlıdır, öngörülebilirdir ve belirli bir ürün kodu, kişi adı ya da hata numarası aranırken hâlâ çok başarılıdır.

Bu yüzden pek çok gerçek sistem ikisini birlikte kullanır. Bu yaklaşıma hibrit arama denir: Kelime eşleşmesi kesinliği, embedding ise anlam esnekliğini sağlar.

Peki vektör veritabanı ne işe yarar?

Elinizde birkaç yüz belge varsa, her sorguda sorgunun vektörünü bütün belge vektörleriyle tek tek karşılaştırmak sorun olmaz. Ama belge sayısı milyonlara çıktığında bu yöntem yavaşlar. Vektör veritabanı, tam olarak bu sorunu çözmek için tasarlanmış bir depolama ve arama sistemidir.

Vektör veritabanları, vektörleri özel indeks yapılarıyla düzenler. Bu indeksler, sorguya en yakın vektörleri bütün koleksiyonu taramadan bulmayı sağlar. Bu tekniğe genellikle yaklaşık en yakın komşu araması denir. “Yaklaşık” kelimesi önemlidir: Sistem, hız kazanmak için çok küçük bir doğruluk payından vazgeçer. Çoğu uygulamada bu takas fark edilmez bile.

Bir vektör veritabanı genellikle şunları da sunar:

• Üst veri (metadata) saklama: Her vektörle birlikte belgenin başlığı, tarihi, kategorisi, erişim yetkisi gibi bilgiler tutulur.
• Filtreleme: “Sadece son bir yılın belgelerinde ara” ya da “sadece bu müşterinin kayıtlarına bak” gibi kısıtlar uygulanabilir.
• Güncelleme ve silme: Belgeler değiştikçe ilgili vektörler yenilenebilir.

Ayrı bir vektör veritabanı ürünü kullanmak tek seçenek değildir. Bazı ilişkisel veritabanları ve arama motorları, eklentiler ya da yerleşik özellikler aracılığıyla vektör aramayı destekler. Küçük ve orta ölçekli projelerde mevcut veritabanının bu özelliğini kullanmak, altyapıyı sadeleştirebilir.

Uygulamalı bir örnek: Destek talepleri

Bir yazılım şirketinin, müşterilerden gelen destek taleplerini daha önce çözülmüş benzer taleplerle eşleştirmek istediğini düşünelim. Akış kabaca şöyle işler:

1. Geçmişte çözülmüş her talebin metni bir embedding modelinden geçirilir ve her talep için bir vektör elde edilir.
2. Bu vektörler; talep numarası, ürün adı ve çözüm notuyla birlikte vektör veritabanına kaydedilir.
3. Yeni bir talep geldiğinde onun metni de aynı embedding modeliyle vektöre çevrilir.
4. Veritabanından, yeni talebe en yakın birkaç eski talep istenir; gerekirse aynı ürünle sınırlı bir filtre uygulanır.
5. Destek uzmanına, benzer geçmiş talepler ve onların çözüm notları gösterilir.

Aynı altyapı başka işler için de kullanılabilir. Birbirine çok yakın vektörlere sahip talepler bir araya toplandığında, hangi sorunların son dönemde sıklaştığı görülebilir. Hiçbir eski talebe yeterince benzemeyen yeni bir talep ise yeni bir hata türünün ilk işareti olabilir. Bu tür kümeleme ve aykırı değer tespiti, embedding’in arama dışındaki en yaygın kullanımlarındandır.

Bu sistemde hiçbir kural elle yazılmaz. “Uygulama açılmıyor” ile “program başlatılınca kapanıyor” taleplerinin ilişkili olduğunu, anlam haritasındaki yakınlık ortaya koyar.

Dikkat edilmesi gereken noktalar

• Aynı modeli kullanın. Belgeleri ve sorguları farklı embedding modelleriyle vektöre çevirmek, iki farklı haritanın koordinatlarını karşılaştırmaya benzer. Modeli değiştirirseniz bütün koleksiyonu yeniden işlemeniz gerekir.
• Dil desteğini kontrol edin. Bazı embedding modelleri ağırlıklı olarak İngilizce verilerle eğitilmiştir. Türkçe içerik için çok dilli olduğu belirtilen bir model seçmek ve kendi verinizle küçük bir deneme yapmak önemlidir.
• Metin uzunluğunu dengeleyin. Çok uzun bir belgeyi tek vektöre sıkıştırmak, içindeki farklı konuları bulanıklaştırır. Uzun içerikleri anlamlı parçalara bölmek genellikle daha iyi sonuç verir.
• Yakın, doğru demek değildir. Embedding araması size en benzer sonuçları getirir; bu sonuçların sorunuza gerçekten cevap verdiğini garanti etmez. Bir benzerlik eşiği belirlemek ve sonuçları test etmek gerekir.
• Gizliliği unutmayın. Vektörler de verinizin bir temsilidir. Hassas belgeleri işlerken hangi hizmete gönderdiğinizi ve nerede sakladığınızı bilin.

Embedding ve vektör veritabanı, tek başına göz alıcı bir teknoloji gibi görünmeyebilir. Ama anlamsal arama, öneri sistemleri, benzer içerik bulma, kümeleme ve şirket belgeleriyle konuşan yapay zekâ asistanları gibi pek çok uygulamanın sessiz altyapısını oluşturur. Metni bir haritadaki konuma çevirebildiğinizde, “buna benzeyen ne var?” sorusunu ölçeklenebilir biçimde sorabilirsiniz.

“Embedding ve vektör veritabanı nedir?” haberi, Etesio Teknoloji’nin yapay zekâsı Safinaz tarafından Türkçeleştirilip yayına alınmıştır.