Öğrenme yolu 14 ders

DERS 09 / 14 · Güvenilir sistem kurun

Kaynak izi: bir atıf neyi kanıtlar?

Bir atfı belge sürümüne ve dayanak pasajına kadar izleyin. İçerik bütünlüğü, kaynak güvenilirliği ve yanıtın desteklenmesi arasındaki farkı öğrenin.

5 dk okumaYazar: MESA’ya katkıda bulunanlarYayın: Markdown indir ↓
BU DERSTE ÖĞRENECEKLERİNİZ
  • Kanıt aralığını sabit kaynakta doğrulamak
  • İçerik bütünlüğü ile kaynak özgünlüğünü ayırmak
  • Denetim kaydı ve desteksiz yanıt davranışı tasarlamak

Bu dersten önce: Metinden bilgi kaydına: kaynakta neyi korumalı?

Dört kontrol, dört ayrı sonuç#

Asistan “Salon cumaları onda açılır” deyip bir bağlantı göstersin. Bağlantının gerçekten var olması yalnızca ilk kontroldür. Kaynak erişilebilir mi? Alıntılanan pasaj bu yanıtı destekliyor mu? Bilgi sorulan tarih ve kapsam için geçerli mi? Kaynak güvenilir mi? Bu soruları ayrı değerlendirin; birini doğrulamak diğerlerini otomatik olarak doğrulamaz.

KontrolBaşarının gösterdiğiGöstermediği
BütünlükBaytlar kayıtlı özete uyuyorKimin yazdığı veya doğruluk
Kaynak iziKayıtlı türetim/sahiplik yoluDoğru çıkarım veya dürüst köken
DestekBu pasaj bu iddiayı destekliyorKaynağın doğruluğu veya güncellik
UygulanabilirlikKapsam/zaman soruya uyuyorEvrensel doğruluk

Küçük, tekrar üretilebilir aralık kontrolü#

Çözümlü örnek
text = "Atlas opens at 09:00."
start, end = 15, 20  # Unicode code points; [start, end)
assert text[start:end] == "09:00"
# A different encoding/offset convention must be declared explicitly.

Metindeki başlangıç ve bitiş konumları, yalnızca bilgi çıkarılırken kullanılan tam metin üzerinde anlamlıdır. Konumların bayt, Unicode kod noktası veya başka bir birimle sayıldığını belirtin. Bitiş konumunun aralığa dâhil olup olmadığını da tanımlayın. Unicode normalizasyonu, PDF’den metin çıkarma veya satır sonu dönüşümü konumları değiştirebilir. Kaynak sürümünü ve aynı metni yeniden elde etmek için gereken bilgileri koruyun; seçilen aralığın gerçekten eşleştiğini kontrol edin.

SHA-256 gibi bir özet, elinizdeki içeriğin güvenilir bir beklenen özetle uyuşup uyuşmadığını gösterir. Ancak uydurma bir metnin özeti de kolayca hesaplanabilir. Metin ve beklenen özet aynı güvenilmeyen kişiden geliyorsa eşleşme özgünlüğü kanıtlamaz. Kaynağın nasıl edinildiği, yayıncının kimliğinin doğrulanması ve aktarım kayıtları farklı soruları yanıtlar.

Yanıttan kaynağa zinciri koruyun#

  1. Yanıt · cuma onda
  2. İddia · a42 + koşullar
  3. Aralık · tam destek metni
  4. Sürüm · handbook-r3
  5. Köken · edinim kaydı
Atıf inceleyenin hattı yeniden kurmadan kanıtı kontrol etmesini sağlamalıdır.

Alıntıyı kolay incelenecek kadar kısa tutun; anlamı sınırlayan cümleleri de ekleyin. “1 Kasım sonrası cumaları” koşulu olmadan “onda açılır” ifadesi ekim ayına ilişkin soruyu desteklemez. Bir paragrafın sonundaki tek atfın bütün cümlelere dayanak olduğunu varsaymayın. Birden çok iddia içeren yanıtta desteklenmeyen kısımları ayrıca belirtin.

Özel veriyi çoğaltmadan kararları kaydedin#

Arama kararlarını izlemek için istek kimliğini, erişim kapsamını, kaynakların güncelleme bilgisini, adayları, elenme gerekçelerini ve kullanılan son kanıtları kaydedin. Özel belgeleri bütünüyle günlüklere kopyalamak yerine kimlik veya referans kullanın. Hassas değerleri hata mesajlarından çıkarın. Denetim kayıtları için de erişim, saklama ve silme kuralları gerekir. Her şeyi kaydetmek, denetimsiz ikinci bir hafıza deposu oluşturabilir.

Uygun kaynaklar yanıtı desteklemiyorsa kanıtın eksik olduğunu söyleyin veya sorunun daraltılmasını isteyin. Aramayla kaynak sağlamak ve atıfları düzenlemek, bazı dayanaksız yanıtları azaltabilir; tamamen ortadan kaldırmaz. W3C PROV, bilginin hangi kaynaktan nasıl türediğini anlatan kavramlar sunar. OWASP ise bulunan metnin neden güvenilir talimat sayılmaması gerektiğini açıklar. Bu iki konu birbirini tamamlar. PROV OWASP

Bağlantıyı değil iddiayı test edin#

Kendinizi sınayın

Belge SHA-256 özetiyle eşleşiyor; fakat belgeyi bilinmeyen kullanıcı yüklemiş. Ne sonuç çıkarabilirsiniz?

Açıklamayı göster

Yalnızca verilen baytların belirtilen yöntemle o özete uyduğunu söyleyebilirsiniz. Köken/özgünlük değerlendirmesi ve pasajın cevabı desteklediğine ayrı kontrol gerekir. Sağlama toplamı kaynak doğruluğunu sertifikalandırmaz.

Kaynaklar ve ileri okuma#

  1. W3C · PROV Overview
  2. OWASP · LLM Prompt Injection Prevention
  3. MESA Core v0.9.3 · Architecture and limitations
Sonraki derse hazır mısınız?

Devam etmeden soruyu deneyin. Tarayıcınız izin veriyorsa ilerlemeniz bu cihazda saklanır.

← Öğrenme haritasına dönün
Bu derste