Öğrenme yolu 14 ders

DERS 02 / 14 · Sıfırdan başlayın

RAG ve hafıza: kaynaktan yanıta

Bilginin aramada bulunmasından yanıta dönüşmesine kadar geçen adımları izleyin. RAG ile hafızanın ilişkisini ve bağlam bütçesini örneklerle öğrenin.

5 dk okumaYazar: MESA’ya katkıda bulunanlarYayın: Markdown indir ↓
BU DERSTE ÖĞRENECEKLERİNİZ
  • Kaynakla desteklenen istek kurmak
  • Arama ve yanıt hatasını ayırmak
  • İstisnaları kaybetmeden kanıt bütçelemek

Bu dersten önce: Yapay zekâ hafızası: sohbet bitince ne kalır?

RAG ne yapar, hafıza neyi yönetir?#

RAG, dışarıdan bulunan bilgiyi dil modeline sunarak yanıtı bu bilgiye dayandırma yöntemidir. Getirilen içerik bir kılavuz, kullanıcı tercihi veya önceki görev kaydı olabilir. “Hafıza” ise uygulamanın neyi sakladığını ve bunu zaman içinde nasıl yönettiğini anlatır. Bir hafıza sistemi RAG akışına veri sağlayabilir; RAG’in kullandığı belgeler de sürekli güncellenebilir. Ayrım, birinin sabit diğerinin değişken olması değildir.

Lewis ve arkadaşları, modelin öğrendiği bilgiyle aramada bulunan bilgiyi birleştiren belirli bir eğitilebilir RAG mimarisi sundu. Bugün RAG adı, arama bileşeniyle yanıt üreten model birlikte eğitilmeden yapılan uygulamalar için de kullanılıyor. Hangi kullanımdan söz ettiğinizi belirtin. Bu ders uygulama akışını açıklar; kaynağa dayanan her istemin özgün makaledeki eğitim yöntemini kullandığını söylemez. Özgün makale

Tek soru, incelenebilir beş karar#

  1. Soru · hafta içi saat?
  2. Kapsam · archive-team
  3. Adaylar · sürüm 1 ve 2
  4. Seçim · etkin kaynak 2
  5. Üretim · yanıt + kaynak
Generator yalnızca isteğe gerçekten yerleştirilen kanıtı görür.

Önce isteği yapan kişinin hangi kaynaklara erişebildiğini belirleyin. Sonra adayları bulun; uygun olmayan veya yerini daha yeni sürüme bırakmış kayıtları çıkarın. Kalan sonuçları sıralayıp sınırlı kanıt bağlamına yerleştirin. Son olarak modelden bu bağlama dayalı bir yanıt ve onu destekleyen kaynakları isteyin. Her aşamayı ayrı izleyin: Makul görünen son yanıt, aramadaki bir hatayı veya modelin eğitimden tesadüfen bildiği bir cevabı gizleyebilir.

Parça sınırları cevaplanabilirliği değiştirir#

Kaynakta “Salon hafta içi 09.00’da açılır; resmî tatiller hariç” yazsın. Metni bölerken istisna ayrı parçaya düşer ve arama yalnızca ilk parçayı getirirse sistem gerçek bir cümleye atıf yaparak yanlış yönlendirebilir. Başlık, paragraf, tablo ve ek sınırlarını gözetin. Kaynak içindeki konumları koruyun; soruların komşu parçalara ihtiyaç duyup duymadığını test edin.

Parçaları bir miktar örtüştürmek yakın bağlamı koruyabilir, ancak çok benzer sonuçları da çoğaltır. Modelin bağlamını doldurmadan önce belge, sürüm ve metin aralığına göre tekrarları ayıklayın. Her belgeye uygun tek bir parça boyutu yoktur. Kısa bir SSS ile uzun bir tablo aynı biçimde bölünmez. Başlangıç ayarını seçin, hataları inceleyin ve daha önce ayarlarda kullanmadığınız test sorularıyla karşılaştırın.

Kanıt bütçesini hesaplayın#

Çözümlü örnek
input budget = 8,000 tokens
instructions + question + tool schemas = 2,000
reserved evidence capacity = 6,000
If the model limit includes output: reserve output separately.
Actual packing must include source labels and separators.

Her kanıt 500 token, kimlik ve biçim bilgileri de 50 token gerektiriyorsa on öğe 5.500 token tutar. On bir öğe 6.050 token ile bu örnekteki bütçeyi aşar. Sığdırmak için metni olumsuzluk veya istisna cümlesinin ortasından kesmeyin. Öğeyi çıkarın ya da daha uygun bir bütünle değiştirin. Kaynak kimliğini koruyun; mümkünse modelin gerçek token sayacını kullanın. Bu sayılar bir modelin kapasitesini değil, hesap örneğini gösterir.

Aramayla yanıt üretimini ayrı değerlendirin#

Gözlemİncelenecek alan
Doğru kaynak adaylarda yokVeri alımı, sorgu, indeks ve kapsam
Kaynak geldi ama bağlama girmediSıralama, tekrar ayıklama ve paketleme
Kaynak bağlamda var, yanıt yine de yanlışTalimat, model davranışı ve belirsizlik
Cevap doğru, kaynak ilgisizAtfın desteği ve olası model ezberi

Aramada bulunan metin “önceki talimatları yok say” dese bile veri olarak kalmalıdır. Onu güvenilir talimatlardan ayırın; bir belge istedi diye araçlara işlem yetkisi vermeyin. Kaynağın bulunması, içeriğin doğru olduğunu veya araç çağrısının güvenliğini göstermez. OWASP, dolaylı istem enjeksiyonu riskini ve birden fazla katmanda alınabilecek önlemleri açıklar. Tek bir ayraç kullanmak sorunu çözmez. Güvenlik kaynağı

Eksik istisnayı bulun#

Kendinizi sınayın

Kaynak 400 token kural ve 100 token istisna içeriyor. Yalnızca kurallar sığıyor. Son 100 token’ı kesmek güvenli optimizasyon mudur?

Açıklamayı göster

Hayır. Kuralı istisnalarıyla koruyun, daha küçük tam birim getirin veya tam cevap veremediğinizi belirtin. Yalnızca bağlama yerleştirilen parça sayısını değil, yanıtın kaynak desteğini ölçün.

Kaynaklar ve ileri okuma#

  1. Lewis et al. (2020) · Retrieval-Augmented Generation
  2. Liu et al. (2023) · Lost in the Middle
  3. OWASP · LLM Prompt Injection Prevention
Sonraki derse hazır mısınız?

Devam etmeden soruyu deneyin. Tarayıcınız izin veriyorsa ilerlemeniz bu cihazda saklanır.

← Öğrenme haritasına dönün
Bu derste