Yapay zekâ araştırmaları dünyasında, büyük dil modellerinin bağlam sınırlarını aşmak ve veri işleme verimliliğini artırmak amacıyla geliştirilen yeni bir yöntem duyuruldu. Stanford Üniversitesi’nden Jure Leskovec yönetimindeki SNAP araştırma grubu, yapay zekâ modellerinin hafıza kapasitesini kökten değiştirebilecek açık kaynaklı bir sistem tanıttı. Stanford araştırmacılarının geliştirdiği Memorilla, devasa doküman koleksiyonlarını doğrudan işlemek yerine bunları optimize edilmiş kompakt vektörlere dönüştürerek donuk dil modellerine aktarıyor.

Geniş Doküman Yığınlarını 16 Jetonla İfade Etme Yöntemi
Geleneksel yöntemlerde yapay zekâ modelleri, kullanıcı sorularını yanıtlamak için binlerce kelimelik metinleri doğrudan bağlam penceresine yüklemek zorunda kalır. Bu durum, bilgi tabanı büyüdükçe işlem sürelerinin uzamasına ve maliyetlerin artmasına yol açar. Bilinen alternatif yaklaşımlar ise soruyla en çok eşleşen metin parçalarını seçip getirirken, daha zayıf ipuçlarını sıklıkla gözden kaçırır. Memorilla ise tamamen farklı bir mekanizma izleyerek tüm doküman koleksiyonunu okuyor ve donuk bir dil modeline yalnızca 16 adet hafıza jetonu iletiyor.
Sistemin mimarisi üç temel aşamadan oluşuyor. İlk aşamada kodlayıcı konumundaki Qwen3-Embedding-4B modeli, her bir dokümanı yalnızca bir kez kodluyor ve yeni eklenen dokümanlar eski verilerin yeniden işlenmesini gerektirmiyor. İkinci aşamada, öğrenilebilir hafıza yuvaları hem soruyu hem de tüm veri tabanını çapraz dikkat katmanları aracılığıyla inceliyor. Son aşamada ise bu yuvalar Qwen3-8B modelinin girdi alanına yansıtılarak soru metninin önüne ekleniyor. Bu sayede koleksiyonun boyutu ne kadar büyük olursa olsun, model her zaman sabit sayıda hafıza çıktısı üretiyor.
Performans Testleri ve Sınırlamalar
Araştırma ekibinin paylaştığı verilere göre, Qwen3-8B modeli Memorilla ile FactKG testinde yüzde 84,33 başarı oranına ulaştı. Aynı model tüm doküman bağlamı kullanıldığında yüzde 80,43, alternatif MemoRAG yöntemiyle ise yüzde 80,38 skor elde etti. Benzer şekilde PersonaMem-v2 testinde yüzde 44,60 başarı yakalayan sistem, rakip yöntemlerin belirgin şekilde önünde yer aldı. Ortalama performans açısından sekiz testin genelinde liderliği elinde tutan sistem, NarrativeQA gibi uzun metinlerde binlerce jetonluk yükü binlerce kat sıkıştırabiliyor.
Bununla birlikte sistemin bazı dezavantajları da bulunuyor. Örneğin PubMedQA veri setinde model yüzde 59 başarı gösterirken, LLMLingua-2 yöntemi yüzde 69 seviyesine ulaşıyor. Bu durum, çok kısa özetler içeren veri setlerinde sıkıştırma avantajının sınırlı kalmasından kaynaklanıyor. Ayrıca donanım gereksinimi açısından hızlı başlangıç aşamasında 80 GB belleğe sahip en az bir CUDA destekli grafik işlemciye ihtiyaç duyuluyor.
Açık Kaynak Lisanslama ve Pratik Kullanım
Apache 2.0 lisansıyla kamuoyuna açılan projenin kodları, eğitim reçeteleri ve model denetim noktaları Hugging Face üzerinden erişime sunuldu. Linux ortamında ve Python 3.11 sürümüyle çalışan sistem, ilk kurulumda yaklaşık 25 gigabaytlık model indirmesi gerektiriyor. Geliştiriciler kendi özel verilerini entegre etmek istediklerinde belirli sütun yapısına sahip parquet dosyaları kullanabiliyor. Hafıza önbelleği seçeneği sayesinde milyonlarca dokümanın bulunduğu devasa veri tabanlarında bile sorgu yanıt süreleri milisaniyeler seviyesine indirilebiliyor.
Yapay zekâ ajanlarının bellek kapasitesini artırma konusunda da umut vadettiği görülen bu teknoloji, gelecekte büyük dil modellerinin bilgiye erişim maliyetlerini ciddi oranda düşürebilir. Donuk modellerin ağırlıkları değiştirilmeden dışarıdan beslenen bu tür harici modüller, yapay zekâ altyapılarında yeni bir standart olma potansiyeli taşıyor.
Kaynaklar
- Stanford Research Open-Sources Memorilla, a Latent Memory Module for Frozen LLMs (marktechpost.com)
Bu yazı, yukarıdaki kaynaktan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynağa başvurun.
