Araştırma kaydı
- Durum
- Araştırma planı · henüz sonuç yok
- MESA sürümü
- Çalıştırmadan önce sabitlenecek
- Veri kümesi
- Henüz seçilmedi; önce seçim ölçütleri kesinleştirilecek
- Modeller
- Modeller ve kullanılacak sürümleri açıklanacak
- Planlanan metrikler
- Recall@k · nDCG@k · MRR · latency distribution
Bilinen sınırlılıklar
- Henüz deney yürütülmedi.
- Veri seti büyüklüğü, skor veya performans iddiası sunulmuyor.
- Araştırma planı, ön kayıt yapılana kadar değişebilir.
Araştırma sorusu#
Aynı hukuk belgeleri, sabit sorgular ve bağımsız ilgililik değerlendirmeleri kullanıldığında sözcük tabanlı, anlamsal ve hibrit arama; ilgili sonuçları bulma ve işletim maliyeti bakımından nasıl farklılaşır?
Neden önemli?#
Arama yöntemleri bazen kullanılan belgeler, sorular, etiketler ve ayarlar açıklanmadan karşılaştırılıyor. Yararlı bir karşılaştırma, bu seçimlerin nasıl yapıldığını da göstermelidir.
Veri kümesi#
Uydurma bir büyüklük verilmeyecektir. Kaynak uygunluğu, lisans, zamansal kesim, tekilleştirme ve sürüm kimliği çalıştırmadan önce kaydedilmelidir.
Deney düzeni#
- Veri kümesini, sorgu setini, değerlendirmeleri ve sistem yapılandırmalarını dondur.
- Sözcük tabanlı, anlamsal ve hibrit koşulları aynı uygun belgeler üzerinde çalıştır.
- Sorgu üretimini ilgililik değerlendirmesinden ayır.
- Yalnızca olumlu örnekleri değil, hataları ve sıfır sonuçlu sorguları da kaydet.
Sonuçlar#
Karşılaştırmalı test çalıştırılmadı. Tablolar ve grafikler yalnızca kanıt çıktıları mevcut olduğunda eklenecektir.
Tekrarlanabilirlik#
Yayımlanacak bir deneyde veri kümesi, sorgu ve değerlendirme sürümleri; model kimlikleri, ayarlar, kod sürümü, gerekiyorsa rastgelelik başlangıç değerleri, çalışma ortamı, ham çıktılar ve analiz adımları kaydedilmelidir.
