BENCHMARK · MESA 0.9.2

MESA 0.9.2 benchmark raporu

Yerleşik BGE yeniden sıralayıcıyla doğru pasaj, cevaplanabilir soruların %57,9’unda ilk sırada ve %74,4’ünde ilk beş sonuçtaydı. Sayı, tarih ve esas no soruları %48,3 Hit@5 ile en düşük başarıya sahip gruptu.

%74,4

Hit@5

Doğru pasaj ilk beş sonuçta

%57,9

Hit@1

Doğru pasaj ilk sırada

0,656

MRR

İlk doğru pasajın sırası

MESA 0.9.2 · BGE-M3 + yerleşik BGE yeniden sıralayıcı (T2)

Arama sonuçları

7 Kasım 2026 · 141 belge · 121 / 145 cevaplanabilir test sorusu

Yerleşik yapılandırmalar
YapılandırmaHit@5Hit@1MRRHit@10Doc@1Doc@5p50p95Donanım
Modelsiz (T0)20261107T141454Z%39,7%22,30,300%46,3%44,6%57,90,45 sn0,94 snColab A100
Magibu gömme modeli (T1m)20261107T141454Z%50,4%32,20,410%59,5%52,9%68,61,39 sn2,33 snColab A100
BGE-M3 gömme modeli (T1b)20261107T141454Z%67,8%38,00,514%76,9%56,2%76,91,35 sn2,27 snColab A100

Soru türüne göre sonuçlar

Soru türüne göre Hit@5. Koyu hücreler doğru pasajın daha sık bulunduğunu gösterir.

Doğru pasaj ilk beş sonuçta
Soru türüModelsiz (T0)Magibu gömme modeli (T1m)BGE-M3 gömme modeli (T1b)BGE-M3 + yerleşik BGE yeniden sıralayıcı (T2)
Birebir ifade (36) %75,0%77,8%86,1%97,2
Farklı ifade (39) %15,4%48,7%69,2%71,8
Belgeler arası (17) %35,3%23,5%58,8%76,5
Sayı, tarih veya esas no (29) %31,0%34,5%48,3%48,3

Atıf soruları

Atıf sorularında Hit@5
YapılandırmaAçık madde atfı (50)Doğal ifade (40)
Modelsiz (T0)%100,0%97,5
Magibu gömme modeli (T1m)%100,0%95,0
BGE-M3 gömme modeli (T1b)%100,0%97,5
BGE-M3 + yerleşik BGE yeniden sıralayıcı (T2)%100,0%100,0

Belgelerin aramaya hazır olma süresi

Derlemin tamamının içe alınması
YapılandırmaToplam süreParçaDonanım
Modelsiz (T0)15,8 dk5.041Colab A100
Magibu gömme modeli (T1m)23,7 dk5.041Colab A100
BGE-M3 gömme modeli (T1b)20,7 dk5.041Colab A100

Sonuçları indir

Rapor ve toplu metrikler (JSON) ↓

Nasıl ölçtük?

Tier M derlemi 141 Türkçe kanun, yönetmelik ve mahkeme kararı içerir. Bir dil modeli derlemden sorular üretti. Ayrı bir model ve kural kontrolleri soruları denetledi. Ayarlar 101 geliştirme sorusuyla seçildi, ardından ayrılmış 145 soruyla test edildi. Arama puanları cevaplanabilir 121 soru üzerinden hesaplandı.

Ölçütler ne anlama geliyor?
Hit@1 · Hit@5 · Hit@10
Doğru pasajın ilk 1, 5 veya 10 sonuçta bulunduğu soruların oranı.
MRR
İlk doğru pasajın 1/sıra değerinin ortalaması. Puan 1 ise doğru pasaj her seferinde ilk sıradadır.
Doc@1 · Doc@5
Doğru belgenin ilk 1 veya 5 sonuçta bulunduğu soruların oranı.
p50 · p95
Sorguların yarısı p50, %95’i p95 süresi içinde tamamlandı. İkisi de saniye cinsinden ölçülür.

Kapsam ve sınırlar

Test, MESA’nın doğru pasajı veya belgeyi bulup bulmadığını ölçer. Derlemde yanıtı bulunmayan 24 soru arama puanlarına dahil değildir. Derlem küçüktür ve kararlar Yargıtay kaynaklıdır. Sorular yapay olarak üretilmiştir.