Araştırma kaydı

Durum
Araştırma planı · henüz sonuç yok
MESA sürümü
Çalıştırmadan önce sabitlenecek
Veri kümesi
Henüz seçilmedi; önce seçim ölçütleri kesinleştirilecek
Modeller
Modeller ve kullanılacak sürümleri açıklanacak
Planlanan metrikler
Recall@k · nDCG@k · MRR · latency distribution

Bilinen sınırlılıklar

  • Henüz deney yürütülmedi.
  • Veri seti büyüklüğü, skor veya performans iddiası sunulmuyor.
  • Araştırma planı, ön kayıt yapılana kadar değişebilir.

Araştırma sorusu#

Aynı hukuk belgeleri, sabit sorgular ve bağımsız ilgililik değerlendirmeleri kullanıldığında sözcük tabanlı, anlamsal ve hibrit arama; ilgili sonuçları bulma ve işletim maliyeti bakımından nasıl farklılaşır?

Neden önemli?#

Arama yöntemleri bazen kullanılan belgeler, sorular, etiketler ve ayarlar açıklanmadan karşılaştırılıyor. Yararlı bir karşılaştırma, bu seçimlerin nasıl yapıldığını da göstermelidir.

Veri kümesi#

Henüz seçilmedi

Uydurma bir büyüklük verilmeyecektir. Kaynak uygunluğu, lisans, zamansal kesim, tekilleştirme ve sürüm kimliği çalıştırmadan önce kaydedilmelidir.

Deney düzeni#

  • Veri kümesini, sorgu setini, değerlendirmeleri ve sistem yapılandırmalarını dondur.
  • Sözcük tabanlı, anlamsal ve hibrit koşulları aynı uygun belgeler üzerinde çalıştır.
  • Sorgu üretimini ilgililik değerlendirmesinden ayır.
  • Yalnızca olumlu örnekleri değil, hataları ve sıfır sonuçlu sorguları da kaydet.

Sonuçlar#

Henüz sonuç yok

Karşılaştırmalı test çalıştırılmadı. Tablolar ve grafikler yalnızca kanıt çıktıları mevcut olduğunda eklenecektir.

Tekrarlanabilirlik#

Yayımlanacak bir deneyde veri kümesi, sorgu ve değerlendirme sürümleri; model kimlikleri, ayarlar, kod sürümü, gerekiyorsa rastgelelik başlangıç değerleri, çalışma ortamı, ham çıktılar ve analiz adımları kaydedilmelidir.