Enver KOÇAK
Yapay zekâ modelleri çok akıcı yazar. Sorun da tam burada başlar: Akıcı bir metin, doğru bir metin gibi görünür. Bir model yanlış bir bilgiyi, doğru bir bilgiyi yazdığı kadar kendinden emin ve düzgün cümlelerle sunabilir. Metnin tonunda “bu kısımdan emin değilim” diyen bir işaret çoğu zaman yoktur.
Bu yüzden yapay zekâdan gelen her çıktıyı bir uzmanın onaylanmış raporu gibi değil, hızlı çalışan ama arada hata yapan bir asistanın taslağı gibi ele almak gerekir. Bu rehber, hangi çıktının ne kadar kontrol gerektirdiğine nasıl karar vereceğinizi ve kontrolü pratikte nasıl yapacağınızı anlatıyor.
Model neden yanılır?
Dil modelleri, temelde bir metnin devamında hangi kelimelerin gelmesinin en olası olduğunu tahmin eden sistemlerdir. Eğitim sırasında çok büyük miktarda metin görmüşlerdir ve bu sayede dilin kalıplarını, olgular arasındaki ilişkileri, akıl yürütme biçimlerini oldukça iyi öğrenirler. Ama bir bilgiyi bir veri tabanından çeker gibi “bakıp” getirmezler. Cevap, öğrenilen kalıplardan yeniden üretilir.
Bunun sonucu şudur: Model bir konuda yeterli bilgiye sahip değilse bile, o konuya dair inandırıcı görünen bir metin üretebilir. Literatürde buna genellikle “halüsinasyon” denir. İnsan hafızasına benzetmek yardımcı olabilir: Bir olayı yıllar sonra anlatırken bazı ayrıntıları farkında olmadan tamamlarız ve anlattığımıza kendimiz de inanırız. Modelin uydurması da kötü niyetli bir yalan değil, boşluğu makul görünen bir şeyle doldurmadır.
Hataların en sık görülen biçimleri
Neyi kontrol edeceğinizi bilmek, kontrolü çok hızlandırır. Yapay zekâ çıktılarında karşılaşılan hatalar genellikle birkaç türe ayrılır:
- Uydurma kaynaklar: Var olmayan makaleler, kitaplar, mahkeme kararları veya yanlış kişiye atfedilmiş sözler. Başlık ve yazar adı gerçekçi görünür, ama aradığınızda bulamazsınız.
- Yanlış sayılar ve tarihler: Bir oranın, bir kuruluş yılının, bir nüfus rakamının yakın ama hatalı olması. Bu tür hatalar özellikle fark edilmesi zor olanlardır, çünkü göze tuhaf gelmezler.
- Güncelliğini yitirmiş bilgi: Modellerin bilgisi eğitim verisinin toplandığı tarihle sınırlıdır. Web araması yapmayan bir model, değişmiş bir yönetmeliği, fiyatı veya ürün özelliğini eski hâliyle anlatabilir.
- Hesaplama hataları: Model sayıları bir hesap makinesi gibi işlemez. Uzun çarpmalar, yüzde hesapları veya birden fazla adımlı işlemler hatalı çıkabilir.
- Mantık atlamaları: Akıl yürütmenin bir adımında ince bir hata yapılır, sonraki adımlar bu hatanın üzerine kurulur ve sonuç kusursuz bir zincirle yanlış bir yere varır.
- Kaynak metni çarpıtma: Bir belgeyi özetlerken belgede olmayan bir iddiayı eklemek veya bir çekinceyi atlamak. “Bazı durumlarda” ifadesinin özette “her zaman”a dönüşmesi gibi.
Her şeyi aynı titizlikle kontrol etmek zorunda değilsiniz
Kontrolün maliyeti vardır ve her çıktı aynı riski taşımaz. Bir doğum günü mesajı için alternatif cümle önerisi ile bir ilacın dozu hakkında bilgi aynı kefeye konamaz. Pratik bir yaklaşım, çıktıyı “yanlış olursa ne olur?” sorusuna göre sınıflandırmaktır.
| Risk düzeyi | Örnekler | Ne kadar kontrol? |
|---|---|---|
| Düşük | Başlık önerileri, beyin fırtınası, metnin üslubunu düzeltme, tatil planı fikirleri | Okuyup mantıklı görünüyorsa yeterli |
| Orta | İş e-postaları, blog yazıları, sunumlar, öğrenme amaçlı açıklamalar | Olgular, isimler ve sayılar tek tek kontrol edilmeli |
| Yüksek | Sağlık, hukuk, finans, güvenlik, yayımlanacak haber, üretime gidecek kod | Birincil kaynaktan ve gerekiyorsa bir uzmandan doğrulanmalı |
Bu tablo kesin bir kural değil, düşünme biçimidir. Aynı bilgi, kullanıldığı yere göre risk seviyesi değiştirebilir. Bir tarihî olayın yılı, sohbet sırasında merak ettiğiniz bir konuda düşük risklidir; bir sınav sorusunda veya yayımlanacak bir makalede yüksek risklidir.
Doğrulama teknikleri
Birincil kaynağa gidin
En güvenilir yöntem, bilginin asıl kaynağına bakmaktır. Bir yasa maddesi için resmî mevzuat metnine, bir ürün özelliği için üreticinin belgelerine, bir bilimsel bulgu için makalenin kendisine. Yapay zekânın verdiği bilgi bir başlangıç noktası, nereye bakacağınızı gösteren bir işaret olabilir; ama son söz kaynağındır.
Kaynak isteyin, sonra kaynağı kontrol edin
Modelden kaynak istemek faydalıdır ama tek başına yeterli değildir, çünkü kaynakların kendisi de uydurulabilir. Verilen her kaynağın gerçekten var olduğunu ve iddia edilen şeyi gerçekten söylediğini kontrol edin. Web araması yapabilen araçlar bağlantı verdiğinde, bağlantıyı açıp ilgili cümleyi sayfada bulmak birkaç saniye sürer ve çok şey kazandırır.
Sayıları yeniden hesaplayın
Çıktıda bir hesaplama varsa, sonucu bir hesap makinesiyle veya tablo programıyla kendiniz tekrarlayın. Model bir hesabı kod yazıp çalıştırarak yapabiliyorsa bu daha güvenilirdir, ama yine de girdilerin doğru alındığını kontrol etmek gerekir. Hızlı bir mantık testi de işe yarar: Sonuç büyüklük olarak makul mü? Yüz kişilik bir şirketin aylık kahve gideri milyonlarla ifade ediliyorsa bir yerde hata vardır.
Soruyu farklı biçimde tekrar sorun
Aynı soruyu farklı kelimelerle, yeni bir sohbette sormak tutarsızlıkları ortaya çıkarabilir. Model iki seferde iki farklı rakam veriyorsa, ikisine de güvenmemek için iyi bir sebebiniz vardır. Ancak bunun tersi geçerli değildir: İki seferde aynı cevabı vermesi, cevabın doğru olduğunu kanıtlamaz.
Modelden kendi cevabını eleştirmesini isteyin
Şu tür bir istem bazen gözden kaçan zayıf noktaları gösterir:
“Yukarıdaki cevabında yanlış olabilecek, emin olmadığın veya kontrol edilmesi gereken iddiaları listele. Her biri için neden şüpheli olduğunu kısaca açıkla.”
Bu yöntem bir doğrulama değil, bir işaretleme yöntemidir. Model hangi noktaların kontrol edilmesi gerektiğini göstermenize yardım eder; kontrolü yine siz yaparsınız.
Özetlerde kaynağı yanınızda tutun
Bir belgeyi özetlettiğinizde, özetin önemli cümlelerini orijinal metinde arayın. Özellikle sayılar, koşullar, istisnalar ve olumsuzluk ifadeleri (“değildir”, “hariç”, “yalnızca”) çarpıtılmaya en açık kısımlardır. Modelden özet yazarken her iddianın yanına belgedeki ilgili bölümü belirtmesini istemek, bu kontrolü hızlandırır.
Kodu çalıştırın ve test edin
Yazılımcılar için doğrulamanın en net yolu kodu çalıştırmaktır. Derlenen kod doğru çalışan kod demek değildir; kenar durumları için test yazın, var olmayan bir kütüphane fonksiyonunun kullanılıp kullanılmadığına bakın, önerilen paketin gerçekten var olduğunu ve beklediğiniz paket olduğunu kontrol edin. Güvenlikle ilgili kodlarda, yani kimlik doğrulama, şifreleme veya kullanıcı girdisi işleme gibi konularda, ek bir göz her zaman gereklidir.
Uyarı işaretleri
Bazı ifadeler, metnin o kısmına daha dikkatli bakmanız gerektiğini gösterir:
- Çok kesin ve yuvarlak olmayan sayılar, ama kaynak belirtilmemiş.
- Belirli bir kişiye atfedilen tırnak içindeki sözler.
- Akademik makale, kitap veya karar künyeleri.
- “Son araştırmalar gösteriyor ki” gibi kaynağı belirsiz genellemeler.
- Sizin sorunuza tam olarak uyan, neredeyse fazla mükemmel görünen cevaplar.
- Yerel ve güncel konular: Türkiye’deki bir düzenleme, bir kurumun yeni kuralı, bir ürünün güncel fiyatı.
Yayımlamadan veya kullanmadan önce kontrol listesi
- Bu çıktı yanlışsa kime, ne kadar zarar verir?
- Metindeki tüm isimler, tarihler ve sayılar işaretlendi mi?
- Her kaynak açılıp gerçekten var olduğu ve iddiayı desteklediği görüldü mü?
- Hesaplamalar bağımsız olarak tekrarlandı mı?
- Güncellik gerektiren bilgiler güncel bir kaynaktan teyit edildi mi?
- Yüksek riskli bir konuysa bir uzmanın görüşü alındı mı?
- Son metni okuyan kişi olarak, altına kendi adınızı koymaya hazır mısınız?
Son soru belki de en önemlisidir. Yapay zekâ bir aracı, sorumluluk ise o aracı kullanan kişidedir. Doğrulama alışkanlığı yerleştikçe hem hataları daha çabuk yakalarsınız hem de modelin hangi konularda güvenilir, hangi konularda zayıf olduğuna dair kendi sezginizi geliştirirsiniz.
“Yapay zekâ çıktısını doğrulama rehberi” haberi, Etesio Teknoloji’nin yapay zekâsı Safinaz tarafından Türkçeleştirilip yayına alınmıştır.
