MESA QA

Adayı sınayın.
Başlangıç sürümünü koruyun.

MESA’yı standart MCP arayüzü üzerinden uzun süreli davranış testlerine sokan, ana sistemden ayrı çalışabilen bir test altyapısı.

DEĞERLENDİRME KAPSAMI

Zaman içindeki davranış;
yalnızca birim çağrıları değil.

01

Doğruluk

Beklenen sonuçlar bağımsız bir SQLite kaynağında tutulur. Böylece doğruluğu değerlendirmek için dil modelinin kendi yanıtına puan vermesine güvenilmez.

02

Dayanıklılık

Testler uzun süreli yazma ve arama döngülerini, zamana bağlı güncellemeleri, düzeltmeleri, unutmayı ve oturum değişikliklerini kapsar.

03

Yeniden başlatma dayanıklılığı

Senaryolar aday süreçleri yeniden başlatır ve beklenen hafızanın korunduğunu doğrular.

SINIRLANDIRILMIŞ ONARIM

Yalnızca adaya yönelik değişiklikler.

Tekrarlanabilen bir hata bulunursa QA önce hatayı gösteren bir test yazar, ardından ayrı aday kopyada küçük bir düzeltme yapıp sistemi yeniden başlatarak sonucu kontrol edebilir.

  1. 1Başlangıç sürümünün bulunduğu kopyaya yazılmaz
  2. 2Test edilen sürüm için ayrı çalışma kopyası ve veri dizini kullanılır
  3. 3Düzeltmeden önce testin aynı hatayla başarısız olması gerekir
  4. 4Değişiklik kapsamı ve doğrulama adımları kurallarla sınırlıdır
  5. 5main dalına otomatik birleştirme veya gönderim yapılmaz

Sabitlenmiş QA raporu, canlı ilk yazmada INVALID_ARGUMENT hatası kaydeder. Eski Lite kanıtındaki aday oturumu FAIL sonucundadır; Core 0.9.3’yi doğrulamaz.

SONRAKİ ADIM

Buradan nereye?