BENCHMARK · MESA 0.9.3
Türkçe hukuk metinlerinde arama benchmark’ı
Aynı arama kalitesi, daha hızlı içe alma: yerleşik yeniden sıralayıcıyla 0.9.2 ve 0.9.3, gösterilen hassasiyette Hit@5 %74,4 ve MRR 0,656 değerlerine ulaşıyor.
%74,4
Hit@5
Doğru pasaj ilk beş sonuçta
%57,9
Hit@1
Doğru pasaj ilk sırada
0,656
MRR
İlk doğru pasajın sırası
%100,0
Atıf Hit@5
Açık madde atfı soruları
MESA 0.9.3 · BGE-M3 + yerleşik BGE yeniden sıralayıcı (T2)
Sonuçları karşılaştır
Modelsiz
BGE-M3 gömme modeli
Yerleşik yeniden sıralayıcı
| Yapılandırma | 0.9.2 | 0.9.3 | Hit@5 farkı | ||
|---|---|---|---|---|---|
| Hit@5 | MRR | Hit@5 | MRR | ||
| Modelsiz | %39,7 | 0,300 | %38,0 | 0,297 | -1,7 yp |
| BGE-M3 gömme modeli | %67,8 | 0,514 | %67,8 | 0,522 | 0,0 yp |
| Yerleşik yeniden sıralayıcı | %74,4 | 0,656 | %74,4 | 0,656 | 0,0 yp |
Fark, seçilen sürümden referans sürüm çıkarılarak yüzde puan cinsinden hesaplanır. Yapılandırmalar model kurulumuna göre eşleştirilir. Arama ayarları ve donanım farklı olabilir. Süreler ve çevrimdışı deneyler sürüm raporlarında yer alır.
Yapılandırmaya göre Hit@5
Arama sonuçları
18 Kasım 2026 · 141 belge · 121 / 145 cevaplanabilir test sorusu
| Yapılandırma | Hit@5 | Hit@1 | MRR | Hit@10 | Doc@1 | Doc@5 | p50 | p95 | Donanım |
|---|---|---|---|---|---|---|---|---|---|
| 0.9.0 · Anahtar sözcük araması (Mod A)20261029T190820Z | %33,1 | %22,3 | 0,293 | %38,8 | %36,4 | %60,3 | 0,96 sn | 1,93 sn | Colab T4 |
| 0.9.0 · BGE-M3, eşit ağırlıklar (S0)20261029T234645Z_exp | %51,2 | %34,7 | 0,431 | %60,3 | %58,7 | %70,3 | 1,91 sn | 3,49 sn | Colab A100 |
| 0.9.0 · BGE-M3, ayarlı vektör ağırlığı (S4)20261029T234645Z_exp | %62,0 | %39,7 | 0,500 | %70,3 | %60,3 | %75,2 | 1,87 sn | 3,29 sn | Colab A100 |
| 0.9.2 · Modelsiz (T0)20261107T141454Z | %39,7 | %22,3 | 0,300 | %46,3 | %44,6 | %57,9 | 0,45 sn | 0,94 sn | Colab A100 |
| 0.9.2 · Magibu gömme modeli (T1m)20261107T141454Z | %50,4 | %32,2 | 0,410 | %59,5 | %52,9 | %68,6 | 1,39 sn | 2,33 sn | Colab A100 |
| 0.9.2 · BGE-M3 gömme modeli (T1b)20261107T141454Z | %67,8 | %38,0 | 0,514 | %76,9 | %56,2 | %76,9 | 1,35 sn | 2,27 sn | Colab A100 |
| 0.9.2 · BGE-M3 + yerleşik BGE yeniden sıralayıcı (T2)20261107T141454Z | %74,4 | %57,9 | 0,656 | %81,0 | %69,4 | %79,3 | 1,98 sn | 2,98 sn | Colab A100 |
| 0.9.3 · Modelsiz (T0)20261117T230132Z_v093 | %38,0 | %22,3 | 0,297 | %47,9 | %43,8 | %57,9 | 0,45 sn | 0,94 sn | Colab A100-SXM4-80GB |
| 0.9.3 · BGE-M3 gömme modeli (T1b)20261117T230132Z_v093 | %67,8 | %38,8 | 0,522 | %77,7 | %57,9 | %77,7 | 1,37 sn | 2,36 sn | Colab A100-SXM4-80GB |
| 0.9.3 · BGE-M3 + yerleşik BGE yeniden sıralayıcı (T2)20261117T230132Z_v093 | %74,4 | %57,9 | 0,656 | %81,0 | %69,4 | %79,3 | 2,02 sn | 3,00 sn | Colab A100-SXM4-80GB |
| Yapılandırma | Hit@5 | Hit@1 | MRR | Hit@10 | Doc@1 | Doc@5 | p50 | p95 | Donanım |
|---|---|---|---|---|---|---|---|---|---|
| 0.9.0 · Madde bazlı parçalar + çevrimdışı Jina20261029T234645Z_exp | %76,0 | %57,0 | 0,654 | %80,2 | %69,4 | %82,6 | — | — | Colab A100 |
- 0.9.0: Mod A, T4 üzerinde çalıştırıldı. S0 ve S4 satırları, madde bazlı parçalama çalışmasındaki A100 tekrarlarını kullanır. İlk T4 gömme modeli koşuları ayrı ölçümlerdir.
- 0.9.0: Jina, kaydedilmiş sonuçları çevrimdışı yeniden sıraladı. Sonuç ayrı bir deney olarak gösterilir ve sürüm karşılaştırmasının dışında tutulur.
- 0.9.2: Tüm yapılandırmalar Colab A100’de çalıştırıldı. T2, T1b ile aynı veri deposunu kullandığı için ayrı bir içe alma ölçümü yoktur.
- 0.9.3: Tüm yapılandırmalar Colab A100-SXM4-80GB üzerinde çalıştırıldı. T2, T1b deposunu kullandığı için ayrı bir içe alma ölçümü yoktur.
Soru türüne göre sonuçlar
Soru türüne göre Hit@5. Koyu hücreler doğru pasajın daha sık bulunduğunu gösterir.
| Soru türü | 0.9.0 · Anahtar sözcük araması (Mod A) | 0.9.0 · BGE-M3, eşit ağırlıklar (S0) | 0.9.0 · BGE-M3, ayarlı vektör ağırlığı (S4) | 0.9.0 · Madde bazlı parçalar + çevrimdışı Jina | 0.9.2 · Modelsiz (T0) | 0.9.2 · Magibu gömme modeli (T1m) | 0.9.2 · BGE-M3 gömme modeli (T1b) | 0.9.2 · BGE-M3 + yerleşik BGE yeniden sıralayıcı (T2) | 0.9.3 · Modelsiz (T0) | 0.9.3 · BGE-M3 gömme modeli (T1b) | 0.9.3 · BGE-M3 + yerleşik BGE yeniden sıralayıcı (T2) |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Birebir ifade (36) | %66,7 | %86,1 | %86,1 | %94,4 | %75,0 | %77,8 | %86,1 | %97,2 | %69,4 | %88,9 | %97,2 |
| Farklı ifade (39) | %10,3 | %28,2 | %56,4 | %79,5 | %15,4 | %48,7 | %69,2 | %71,8 | %18,0 | %69,2 | %71,8 |
| Belgeler arası (17) | %11,8 | %47,1 | %47,1 | %70,6 | %35,3 | %23,5 | %58,8 | %76,5 | %35,3 | %52,9 | %76,5 |
| Sayı, tarih veya esas no (29) | %34,5 | %41,4 | %48,3 | %51,7 | %31,0 | %34,5 | %48,3 | %48,3 | %27,6 | %48,3 | %48,3 |
Atıf soruları
0.9.3, 0.9.2 sonucunu koruyor: açık madde atfında Hit@5, T0, T1b ve T2 için %100,0 (50/50). Doğal ifadede T0 ve T1b için %97,5 (39/40), T2 için %100,0 (40/40).
| Yapılandırma | Açık madde atfı (50) | Doğal ifade (40) |
|---|---|---|
| 0.9.2 · Modelsiz (T0) | %100,0 | %97,5 |
| 0.9.2 · Magibu gömme modeli (T1m) | %100,0 | %95,0 |
| 0.9.2 · BGE-M3 gömme modeli (T1b) | %100,0 | %97,5 |
| 0.9.2 · BGE-M3 + yerleşik BGE yeniden sıralayıcı (T2) | %100,0 | %100,0 |
| 0.9.3 · Modelsiz (T0) | %100,0 | %97,5 |
| 0.9.3 · BGE-M3 gömme modeli (T1b) | %100,0 | %97,5 |
| 0.9.3 · BGE-M3 + yerleşik BGE yeniden sıralayıcı (T2) | %100,0 | %100,0 |
Belgelerin aramaya hazır olma süresi
| Yapılandırma | Toplam süre | Parça | Parça başına saniye | Donanım |
|---|---|---|---|---|
| 0.9.0 · BGE-M3, eşit ağırlıklar (S0) | 29,7 dk | 3.480 | 0,51 sn | Colab A100 |
| 0.9.2 · Modelsiz (T0) | 15,8 dk | 5.041 | 0,19 sn | Colab A100 |
| 0.9.2 · Magibu gömme modeli (T1m) | 23,7 dk | 5.041 | 0,28 sn | Colab A100 |
| 0.9.2 · BGE-M3 gömme modeli (T1b) | 20,7 dk | 5.041 | 0,25 sn | Colab A100 |
| 0.9.3 · Modelsiz (T0) | 7,4 dk | 5.041 | 0,09 sn | Colab A100-SXM4-80GB |
| 0.9.3 · BGE-M3 gömme modeli (T1b) | 12,0 dk | 5.041 | 0,14 sn | Colab A100-SXM4-80GB |
0.9.3, içe alma işlerini toplu yürütür; arama kalitesi değişmedi.
Sonuçları indir
MESA 0.9.0 · Rapor ve toplu metrikler (JSON) ↓
Nasıl ölçtük?
Tier M derlemi 141 Türkçe kanun, yönetmelik ve mahkeme kararı içerir. Bir dil modeli derlemden sorular üretti. Ayrı bir model ve kural kontrolleri soruları denetledi. Ayarlar 101 geliştirme sorusuyla seçildi, ardından ayrılmış 145 soruyla test edildi. Arama puanları cevaplanabilir 121 soru üzerinden hesaplandı.
Ölçütler ne anlama geliyor?
- Hit@1 · Hit@5 · Hit@10
- Doğru pasajın ilk 1, 5 veya 10 sonuçta bulunduğu soruların oranı.
- MRR
- İlk doğru pasajın 1/sıra değerinin ortalaması. Puan 1 ise doğru pasaj her seferinde ilk sıradadır.
- Doc@1 · Doc@5
- Doğru belgenin ilk 1 veya 5 sonuçta bulunduğu soruların oranı.
- p50 · p95
- Sorguların yarısı p50, %95’i p95 süresi içinde tamamlandı. İkisi de saniye cinsinden ölçülür.
Kapsam ve sınırlar
Test, MESA’nın doğru pasajı veya belgeyi bulup bulmadığını ölçer. Derlemde yanıtı bulunmayan 24 soru arama puanlarına dahil değildir. Derlem küçüktür ve kararlar Yargıtay kaynaklıdır. Sorular yapay olarak üretilmiştir.
Sayı, tarih ve esas no sorularında T2 sonucu 0.9.3’te değişmedi: 14/29 = %48,3 Hit@5. Benchmark 50 sonuç ister. 10 sonuç istendiğinde yeniden sıralayıcı 20 aday görür; geliştirme kümesinde Hit@5, %77,7 yerine %75,3 oldu. Bu karşılaştırmada hem aday sayısı hem döndürülen sonuç sayısı değişir.
0.9.3 koşusu: 18 Kasım 2026 · mesa-memory 0.9.3 · 20261117T230132Z_v093.
