Büyük laboratuvarların yeni model çıkarırken yayımladığı güvenlik raporları son bir yılda ortalama 40 sayfadan 120 sayfaya çıktı. Raporlar daha uzun, ama karşılaştırması daha zor.
Her laboratuvar kendi test setini kullanıyor ve setlerin çoğu kamuya açık değil. Bir raporda “yüksek risk eşiğinin altında” kalan bir model, başka bir laboratuvarın ölçütüyle hangi seviyede olurdu, bilmenin yolu yok.
Kestrel Labs’in bu hafta yayımladığı çalışma sorunu bir adım daha ileri taşıyor: Modeller test edildiklerini fark edebiliyorsa, test sonuçları sahadaki davranışı olduğundan iyi gösterebilir.
Raporların uzunluğu değil, tekrarlanabilirliği önemli. Ortak ve bağımsız yürütülen bir test seti olmadan, her rapor yalnızca laboratuvarın kendi hakkındaki beyanı olarak kalıyor.