MESA Core · v0.9.3

Test ve kanıt

v0.9.3 kaynak: docs/testing.md

Bu rehberin Türkçe ve İngilizce sürümleri aynı konuyu açıklar. Bu sayfayla ilgili kaynak bölümleri en altta yer alır.

Test sonucu neyi doğrular?#

Sürümde birim, entegrasyon ve denetim odaklı testler bulunur. Önceden belirlenmiş girdilerle yapılan bir testin geçmesi, gerçek model sağlayıcısının yeterli olduğunu göstermez veya dış sertifikasyon kanıtlarının yerini tutmaz. Aynı sonucu sınamak için belirtilen komutu ve ortamı yeniden kurun. Yeni yaptığınız testleri eski raporlardan ayrı değerlendirin; bu web sitesinin kontrolleri de ayrıca raporlanır.

Tam test rehberi#

Komutlar ve koşullar aşağıdaki özgün kaynakta bulunur. Mimari, API, işletim ve sürüm sınırları belgeleri de testleri yorumlamanıza yardımcı olur.

v0.9.1 DEV arama ölçümleri#

Sürüm kanıtı tablosu sabit DEV bölümünü, ağırlık/yeniden sıralama matrisini ve CPU/GPU koşullarını kaydeder. Deterministik sözleşme testlerinden ve üretim sertifikasyonundan ayrı değerlendirilir.

Dayanak kaynaklar
Kaynak belgedeki ilgili bölümler

Bu bölüm, kaynak belgenin bu sayfayla ilgili kısımlarını değiştirmeden gösterir. Kaynak içindeki bir bölüme giden bağlantıyı açtığınızda metin otomatik olarak görünür.

Install the declared environment with uv sync --locked --python 3.11 --extra dev, then run

uv pip check. Use CONTRIBUTING and architecture

for module boundaries and documentation requirements.

bash
uv lock --check
uv run ruff check .
uv run mypy mesa_memory mesa_storage mesa_workers mesa_api mesa_client \
  --ignore-missing-imports --explicit-package-bases --follow-imports=skip
make test-local

test-local selects not optional_provider and not optional_mcp and not live_external and not timing.

For the complete installed contract environment use dev and adapters, then

make test-all. Optional provider/MCP tests use mocks; live-external tests require

explicit external enablement. Do not run official TEST or production calls as

documentation smoke. Historical unsafe proof scripts are not release commands.

The obsolete backup/restore proof that modified real ./storage data has been

removed. Use the isolated recovery contract tests instead.

Inspect fixture roots before execution: tests/conftest.py includes

.test_storage_tmp fixtures, while runtime contracts use explicit isolated roots.

Do not point a test at user storage or assume --basetemp redirects every

custom fixture. Native stores/model tests may consume substantial memory; run

focused checks sequentially before considering load or provider tests.

Focused tests cover V4 API/SDK, revision/ownership, projection fencing, provider

identity, vector representation, graph provenance, temporal/scope filtering,

recovery and bounded query planning. Start with the affected contract, then run

the established broader gates. Tests must not turn backend errors into empty

successful answers or skip failing security checks.

Lightweight authored-document checks:

bash
.venv/bin/python scripts/check_documentation.py

This checks selected first-party prose links/anchors and supported code-fence

syntax. All maintained root documents, guides and ADRs are included, including

the root architecture entry point. Reports, results and for_mvp/ are outside

this check. No MkDocs/Sphinx site is configured. Executable quickstart is a

separate check.

A static parse is not an executed example; each smoke report must name real,

mocked, skipped or unavailable backend evidence.

Build artifacts with uv build --wheel; inspect metadata, migration data and

fresh imports. CI coverage floor is 82 including SDK, MCP service floor is 55.

Legacy full-tree Black/Mypy debt is reported separately; do not call that debt

fixed because the narrower production checks passed.

CI assurance#

CI gerçek production ortamının yerine geçmez; aynı commit üzerinde

tekrarlanabilir contract ve artifact kanıtı üretir.

AlanBlocking kontrolArtifact
SecretTruffleHog history scan + tracked-secret policysecurity assurance
Kod kalitesiRuff, sınırlı Black, production Mypy, override ratchetjob log
V4 contractAPI, SDK, catalog, ownership, Graph V2, projection, RRF, admin CLIv4-contract
V3 uyumlulukPrincipal, queue, worker, finalization ve mevcut route testlericore JUnit
GüvenlikV3 isolation + v4 tenant/workspace/dataset negatif testlerisecurity/v4 JUnit
Migration/DRAlembic closure, recovery, v4 rebuild/projection testlerimigration/DR
PackageWheel install, v3/v4 imports, admin CLI smokepackage report
Retrieval contractCore deterministic RRF ablation and closure manifestv4-contract; comparative benchmark evidence is external
ContainerNon-root image, v3 Compose ve v4 single-combined ComposeDocker logs
DokümanBelgelenmiş CLI/import/Compose komutlarıdocs smoke
CoverageFull test coverage thresholdHTML/XML report

MESA CI dört Python sürümünde kalite ve core contractlarını çalıştırır.

v4-contract işi versioned yüzeyi ayrıca görünür kılar; v4 testlerinin yalnız

genel coverage çalışmasına tesadüfen dahil olmasına güvenilmez.

v4-contract ve migration-dr işleri ayrıca content-free closure evidence

manifesti yükler. Manifest tek Alembic head'i, canonical OpenAPI hash/count'u,

bounded JUnit hash/sonuç özetini, golden candidate/mutation/pipeline/entity/

assertion ID'lerini, deterministik RRF ablation değerlerini ve küçük fixture

SQLite registry/store sayılarını içerir. Source/query içeriği, credential,

filesystem path veya ham test output'u manifestte yer almaz.

Karşılaştırmalı benchmark suite'i ve eski Benchmark data quality workflow'u

Core checkout'unda bulunmaz; sahibi mesa_benchmark projesidir. Core CI'daki

küçük deterministik RRF fixture'ı karşılaştırmalı model kalitesi kanıtı değildir.

Release için gereken dış benchmark kanıtı ayrıca aynı commit'e bağlanır.

MESA external release gates, docker-compose.v4.yml ile tek combined storage owner topology’sini test eder.

V4 Compose’ın CI’da model-disabled başlaması yalnız topology, health, ACL/admin

CLI ve restart sözleşmesini kanıtlar. Gerçek full-cognitive provider davranışı

staging kapısıdır.

CI’nın kanıtlamadığı konular#

  • 24 saat production-benzeri soak;
  • gerçek provider’ın kalite/maliyet/güvenlik sonucu;
  • production storage boyutunda migration süresi;
  • gerçek deployment platformunun secret, network ve disk davranışı.
  • Ortam preflight'ı başarısız olduğu için skipped olan gerçek-provider rehearsal.

Bu kanıtlar release evidence paketine dışarıdan eklenmeden GO verilemez.

Workflow tetikleme#

Core checkout’unda .github/workflows/ci.yml ve external-release-gates.yml

mevcuttur. Karşılaştırmalı benchmark workflow’u burada tetiklenmez. Release

politikası benchmark kanıtını hâlâ ister; dış workflow/kanıt owner tarafından

aynı commit için ilişkilendirilmeden bu kapı tamamlanmış sayılamaz. Workflow YAML, dependency lock,

Docker/Compose ve docs değişiklikleri ilgili smoke kapılarını tetikler. Weekly

legacy static baseline yalnız borç görünürlüğüdür ve güncel v4 blocking

contractının yerine geçmez.