Memorilla Hafıza Modülü: Stanford’dan Donuk Dil Modelleri İçin

Yapay zekâ araştırmaları dünyasında, büyük dil modellerinin bağlam sınırlarını aşmak ve veri işleme verimliliğini artırmak amacıyla geliştirilen yeni bir yöntem duyuruldu. Stanford Üniversitesi’nden Jure Leskovec yönetimindeki SNAP araştırma grubu, yapay zekâ modellerinin hafıza kapasitesini kökten değiştirebilecek açık kaynaklı bir sistem tanıttı. Stanford araştırmacılarının geliştirdiği Memorilla, devasa doküman koleksiyonlarını doğrudan işlemek yerine bunları optimize edilmiş kompakt vektörlere dönüştürerek donuk dil modellerine aktarıyor.

Memorilla Hafıza Modülü: Stanford'dan Donuk Dil Modelleri İçin
Görsel: DeltaWorks / Pixabay

Geniş Doküman Yığınlarını 16 Jetonla İfade Etme Yöntemi

Geleneksel yöntemlerde yapay zekâ modelleri, kullanıcı sorularını yanıtlamak için binlerce kelimelik metinleri doğrudan bağlam penceresine yüklemek zorunda kalır. Bu durum, bilgi tabanı büyüdükçe işlem sürelerinin uzamasına ve maliyetlerin artmasına yol açar. Bilinen alternatif yaklaşımlar ise soruyla en çok eşleşen metin parçalarını seçip getirirken, daha zayıf ipuçlarını sıklıkla gözden kaçırır. Memorilla ise tamamen farklı bir mekanizma izleyerek tüm doküman koleksiyonunu okuyor ve donuk bir dil modeline yalnızca 16 adet hafıza jetonu iletiyor.

Sistemin mimarisi üç temel aşamadan oluşuyor. İlk aşamada kodlayıcı konumundaki Qwen3-Embedding-4B modeli, her bir dokümanı yalnızca bir kez kodluyor ve yeni eklenen dokümanlar eski verilerin yeniden işlenmesini gerektirmiyor. İkinci aşamada, öğrenilebilir hafıza yuvaları hem soruyu hem de tüm veri tabanını çapraz dikkat katmanları aracılığıyla inceliyor. Son aşamada ise bu yuvalar Qwen3-8B modelinin girdi alanına yansıtılarak soru metninin önüne ekleniyor. Bu sayede koleksiyonun boyutu ne kadar büyük olursa olsun, model her zaman sabit sayıda hafıza çıktısı üretiyor.

Reklam

Performans Testleri ve Sınırlamalar

Araştırma ekibinin paylaştığı verilere göre, Qwen3-8B modeli Memorilla ile FactKG testinde yüzde 84,33 başarı oranına ulaştı. Aynı model tüm doküman bağlamı kullanıldığında yüzde 80,43, alternatif MemoRAG yöntemiyle ise yüzde 80,38 skor elde etti. Benzer şekilde PersonaMem-v2 testinde yüzde 44,60 başarı yakalayan sistem, rakip yöntemlerin belirgin şekilde önünde yer aldı. Ortalama performans açısından sekiz testin genelinde liderliği elinde tutan sistem, NarrativeQA gibi uzun metinlerde binlerce jetonluk yükü binlerce kat sıkıştırabiliyor.

Bununla birlikte sistemin bazı dezavantajları da bulunuyor. Örneğin PubMedQA veri setinde model yüzde 59 başarı gösterirken, LLMLingua-2 yöntemi yüzde 69 seviyesine ulaşıyor. Bu durum, çok kısa özetler içeren veri setlerinde sıkıştırma avantajının sınırlı kalmasından kaynaklanıyor. Ayrıca donanım gereksinimi açısından hızlı başlangıç aşamasında 80 GB belleğe sahip en az bir CUDA destekli grafik işlemciye ihtiyaç duyuluyor.

Açık Kaynak Lisanslama ve Pratik Kullanım

Apache 2.0 lisansıyla kamuoyuna açılan projenin kodları, eğitim reçeteleri ve model denetim noktaları Hugging Face üzerinden erişime sunuldu. Linux ortamında ve Python 3.11 sürümüyle çalışan sistem, ilk kurulumda yaklaşık 25 gigabaytlık model indirmesi gerektiriyor. Geliştiriciler kendi özel verilerini entegre etmek istediklerinde belirli sütun yapısına sahip parquet dosyaları kullanabiliyor. Hafıza önbelleği seçeneği sayesinde milyonlarca dokümanın bulunduğu devasa veri tabanlarında bile sorgu yanıt süreleri milisaniyeler seviyesine indirilebiliyor.

Yapay zekâ ajanlarının bellek kapasitesini artırma konusunda da umut vadettiği görülen bu teknoloji, gelecekte büyük dil modellerinin bilgiye erişim maliyetlerini ciddi oranda düşürebilir. Donuk modellerin ağırlıkları değiştirilmeden dışarıdan beslenen bu tür harici modüller, yapay zekâ altyapılarında yeni bir standart olma potansiyeli taşıyor.

Reklam

Kaynaklar

  • Stanford Research Open-Sources Memorilla, a Latent Memory Module for Frozen LLMs (marktechpost.com)

Bu yazı, yukarıdaki kaynaktan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynağa başvurun.

İlgili Haberler

Enver KOÇAK

Enver KOÇAK

Gaziantep merkezli yazılım mühendisi, yapay zekâ ve siber güvenlik uzmanı; Etesio Teknoloji'nin kurucusu ve enverkocak.com'un yayıncısı. Yapay zekâ modellerini, araçlarını ve sektördeki gelişmeleri günlük olarak takip ediyor; haberleri kaynaklarıyla birlikte Türkçe olarak derliyor. Fatih Sultan Mehmet Vakıf Üniversitesi Sürekli Eğitim Merkezi (FSMSEM) – 560 saatlik Gazetecilik Eğitimi (Ağustos–Aralık 2024) sertifikasına sahiptir.

İlgili Haberler

İnce ayar mı, iyi istem mi? Fine-tuning ve istem farkı

İstem mühendisliği modele daha iyi talimat verir, ince ayar ise modelin davranışını kalıcı olarak değiştirir. Hangisinin ne zaman seçileceğini anlatıyoruz.

Devamını oku

Türkçe ve yapay zekâ: Tokenizasyon, veri ve kalite sorunu

Aynı metin Türkçe yazıldığında yapay zekâ modelleri için neden çoğu zaman daha fazla token tutuyor? Eklemeli dil yapısının tokenizasyonla ilişkisini, veri azlığını ve Türkçe kullanıcılar için pratik önerileri anlatıyoruz.

Devamını oku

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir