{
  "schemaVersion": 1,
  "suite": {
    "documents": 141,
    "dev": 101,
    "test": 145,
    "answerable": 121,
    "questionTypes": {
      "exact": 36,
      "paraphrase": 39,
      "cross_document": 17,
      "number_date_docket": 29
    },
    "method": {
      "en": "Tier M contains 141 Turkish laws, regulations and court decisions. A language model generated questions from the corpus. A separate model and rule checks reviewed them. Configurations were chosen on 101 development questions before evaluation on 145 held-out questions. Retrieval scores use the 121 answerable questions.",
      "tr": "Tier M derlemi 141 Türkçe kanun, yönetmelik ve mahkeme kararı içerir. Bir dil modeli derlemden sorular üretti. Ayrı bir model ve kural kontrolleri soruları denetledi. Ayarlar 101 geliştirme sorusuyla seçildi, ardından ayrılmış 145 soruyla test edildi. Arama puanları cevaplanabilir 121 soru üzerinden hesaplandı."
    },
    "limits": {
      "en": "The test measures whether MESA retrieves the correct passage or document. The 24 questions with no answer in the corpus are outside the retrieval scores. The corpus is small and its decisions come from the Court of Cassation. The questions are synthetic.",
      "tr": "Test, MESA’nın doğru pasajı veya belgeyi bulup bulmadığını ölçer. Derlemde yanıtı bulunmayan 24 soru arama puanlarına dahil değildir. Derlem küçüktür ve kararlar Yargıtay kaynaklıdır. Sorular yapay olarak üretilmiştir."
    }
  },
  "release": {
    "version": "0.9.2",
    "date": "2026-11-07",
    "suite": "tier-m-v1-test",
    "featured": "T2",
    "configs": [
      {
        "id": "T0",
        "label": {
          "en": "Models off (T0)",
          "tr": "Modelsiz (T0)"
        },
        "gpu": "Colab A100",
        "source": "20261107T141454Z",
        "profile": "off",
        "experiment": false,
        "metrics": {
          "mrr": "0.2999",
          "hit1": "0.2231",
          "hit5": "0.3967",
          "hit10": "0.4628",
          "doc1": "0.4463",
          "doc5": "0.5785",
          "p50": "0.4503",
          "p95": "0.9358"
        },
        "byType": {
          "exact": "0.7500",
          "paraphrase": "0.1538",
          "cross_document": "0.3529",
          "number_date_docket": "0.3103"
        }
      },
      {
        "id": "T1m",
        "label": {
          "en": "Magibu embeddings (T1m)",
          "tr": "Magibu gömme modeli (T1m)"
        },
        "gpu": "Colab A100",
        "source": "20261107T141454Z",
        "profile": null,
        "experiment": false,
        "metrics": {
          "mrr": "0.4095",
          "hit1": "0.3223",
          "hit5": "0.5041",
          "hit10": "0.5950",
          "doc1": "0.5289",
          "doc5": "0.6860",
          "p50": "1.3879",
          "p95": "2.3290"
        },
        "byType": {
          "exact": "0.7778",
          "paraphrase": "0.4872",
          "cross_document": "0.2353",
          "number_date_docket": "0.3448"
        }
      },
      {
        "id": "T1b",
        "label": {
          "en": "BGE-M3 embeddings (T1b)",
          "tr": "BGE-M3 gömme modeli (T1b)"
        },
        "gpu": "Colab A100",
        "source": "20261107T141454Z",
        "profile": "embedding",
        "experiment": false,
        "metrics": {
          "mrr": "0.5136",
          "hit1": "0.3802",
          "hit5": "0.6777",
          "hit10": "0.7686",
          "doc1": "0.5620",
          "doc5": "0.7686",
          "p50": "1.3547",
          "p95": "2.2713"
        },
        "byType": {
          "exact": "0.8611",
          "paraphrase": "0.6923",
          "cross_document": "0.5882",
          "number_date_docket": "0.4828"
        }
      },
      {
        "id": "T2",
        "label": {
          "en": "BGE-M3 + built-in BGE reranker (T2)",
          "tr": "BGE-M3 + yerleşik BGE yeniden sıralayıcı (T2)"
        },
        "gpu": "Colab A100",
        "source": "20261107T141454Z",
        "profile": "reranker",
        "experiment": false,
        "metrics": {
          "mrr": "0.6558",
          "hit1": "0.5785",
          "hit5": "0.7438",
          "hit10": "0.8099",
          "doc1": "0.6942",
          "doc5": "0.7934",
          "p50": "1.9843",
          "p95": "2.9811"
        },
        "byType": {
          "exact": "0.9722",
          "paraphrase": "0.7179",
          "cross_document": "0.7647",
          "number_date_docket": "0.4828"
        }
      }
    ],
    "summary": {
      "en": "With the built-in BGE reranker, the correct passage was first in 57.9% of answerable cases and in the top five in 74.4%. Number, date and docket questions were the weakest group at 48.3% Hit@5.",
      "tr": "Yerleşik BGE yeniden sıralayıcıyla doğru pasaj, cevaplanabilir soruların %57,9’unda ilk sırada ve %74,4’ünde ilk beş sonuçtaydı. Sayı, tarih ve esas no soruları %48,3 Hit@5 ile en düşük başarıya sahip gruptu."
    },
    "notes": [
      {
        "en": "All rows ran on a Colab A100. T2 reused the T1b store, so it has no separate ingestion measurement.",
        "tr": "Tüm yapılandırmalar Colab A100’de çalıştırıldı. T2, T1b ile aynı veri deposunu kullandığı için ayrı bir içe alma ölçümü yoktur."
      }
    ],
    "ingest": [
      {
        "config": "T0",
        "minutes": "15.75",
        "chunks": 5041
      },
      {
        "config": "T1m",
        "minutes": "23.74",
        "chunks": 5041
      },
      {
        "config": "T1b",
        "minutes": "20.67",
        "chunks": 5041
      }
    ],
    "citations": {
      "namedCount": 50,
      "naturalCount": 40,
      "rows": [
        {
          "config": "T0",
          "named": "1.0000",
          "natural": "0.9750"
        },
        {
          "config": "T1m",
          "named": "1.0000",
          "natural": "0.9500"
        },
        {
          "config": "T1b",
          "named": "1.0000",
          "natural": "0.9750"
        },
        {
          "config": "T2",
          "named": "1.0000",
          "natural": "1.0000"
        }
      ]
    }
  }
}
