Fu Index

Benchmaxx-Check

Sortieren nach

Nach Lab

# Modell Heimvorteil Tests Größter Ausreißer Ambition Fu
So funktioniert der Heimvorteil

Für jeden Launch nehmen wir die Benchmarks der zentralen Tabelle des offiziellen Launch-Posts oder der Model Card (dieselben Tabellen wie beim Ambition Score). Das Fu-Ranking-Modell gibt jedem Benchmark eine Schwierigkeit und eine Trennschärfe. Wir schätzen die Fähigkeit des Modells neu, diesmal nur aus seinen Werten bei Benchmarks, die nicht in der Launch-Tabelle stehen, und sagen daraus seinen Wert bei jedem Benchmark der Launch-Tabelle vorher.

Das Residuum eines Benchmarks ist der gemeldete Wert minus die Vorhersage auf der Logit-Skala, in Einheiten der Residuen-Standardabweichung σ des Modells (etwa so weit liegt ein typischer Wert von seiner Vorhersage entfernt). Der rohe Vorteil ist das mittlere Residuum der Benchmarks der Launch-Tabelle (jedes auf ±4 σ begrenzt, da größere Abstände meist Datenfehler sind). Labs zeigen die Tests, in denen sie gut sind, daher hat der mittlere Launch-Post einen rohen Vorteil von +0,7 σ; der gezeigte Heimvorteil ist der rohe Vorteil minus dieser Median. Der ±-Bereich ist ein Standardfehler: das Rauschen der Werte der Launch-Tabelle plus die Unsicherheit der Fähigkeitsschätzung. Ein Post braucht mindestens 3 Benchmarks in der Launch-Tabelle und 5 weitere Benchmarks im Modell.

Ein hoher Heimvorteil heißt: Das Modell sieht bei den Benchmarks, die sein Lab ausgewählt hat, besser aus als überall sonst. Das passt zu Training auf den Testdaten oder engen Verwandten davon (Benchmaxxing), aber auch zu ehrlicher Spezialisierung, für den Launch optimierten Scaffolds oder schlecht durchgeführten anderen Benchmarks. Auch die meisten übrigen Werte stammen von den Labs, daher unterschätzt der Heimvorteil eher den Abstand zu unabhängigen Ergebnissen. Auswendig gelernte Testfälle sieht er nicht direkt; dafür braucht es Läufe mit veränderten Aufgaben.