Benchmark-Versionen
So werden Versionen zugeordnet
Eine Benchmark-Familie ist ein Benchmark mit seinen versionierten IDs in der Datenbank (APEX-Agents und APEX-Agents v1.1, Terminal-Bench 2.0 bis 4.0). Prüfungsjahrgänge wie AIME 2025 sind neue Prüfungen, keine Versionen. Ein Benchmark ohne Versionsnummer gilt als die Version, die seine Beschreibung nennt, sonst als Original. Jedes Paar aus älterer und neuerer Version einer Familie wird gezeigt, wenn beide dieselbe Metrik nutzen und mindestens 5 Modelle in beiden Scores haben; hat ein Modell mehrere Scores in einer Version, zählt der beste.
Die Rangübereinstimmung ist die Spearman-Korrelation der beiden Reihenfolgen: 1 heißt, die neue Version ordnet die Modelle genauso, 0 heißt, die Reihenfolge hat mit der alten nichts zu tun. Jede Modellvariante (Effort-Stufe, mit oder ohne Thinking) ist eine eigene Zeile.