Kısa yanıt

Girdileri sabitleyin. Soruları hazırlayanlarla sonuçları değerlendirenleri ayırın. Birden çok ölçümü ve hata örneklerini raporlayın; sonuçları kullanılan sürümler ve ham çıktılarla birlikte kaydedin.

Kapsam#

Bu yöntem, farklı arama sistemlerini karşılaştırmak içindir. Tek bir veri kümesinde veya soru listesinde elde edilen sonuçlar, bütün kullanım alanları için başarı garantisi vermez.

Veri kümesi ve sorgu seçimi#

  • Kaynak uygunluğunu ve zamansal kesimi tanımlayın.
  • Lisans ve saklama sınırlarını kaydedin.
  • Veri kümesini, sorguları ve hariç tutmaları sürümleyin.
  • Zor ve sıfır sonuçlu örnekleri bilinçli biçimde dahil edin.

İlgililik değerlendirmesi#

Değerlendirme kılavuzu; ilgililik derecelerini, gerekli dayanakları, değerlendiriciler arasındaki görüş ayrılıklarının nasıl çözüleceğini ve bağımsızlığın nasıl sağlanacağını açıklamalıdır. Sistemin kendi çıktısı, doğru kabul edilen yanıtları kendiliğinden belirlememelidir.

Metrikler#

ÖlçümSoru
Recall@kİlgili kayıtların ne kadarı seçilen ilk k sonuçta bulundu?
nDCG@kDaha ilgili öğeler daha önce sıralandı mı?
MRRİlk ilgili öğe ne kadar erken göründü?
Gecikme dağılımıArama ne kadar sürdü ve hangi kaynakları kullandı?

Raporlama ve düzeltmeler#

  • Yapılandırma ve kod revizyonu
  • Veri kümesi, sorgu ve değerlendirme sürümleri
  • Toplu ve sorgu bazlı çıktılar
  • Hata örnekleri ve hariç tutmalar
  • Bilinen sınırlılıklar
  • Bulgular değiştirildiğinde düzeltme tarihi ve değişiklik kaydı