Methode
Wie der Fu-Score berechnet wird, was einfließt, wie er geprüft wird und wo seine Grenzen liegen.
Aktueller Fit: Methode 1.1, 21. November 2026. 1.704 Modelle, 938 Benchmarks.
Diese Seite beschreibt Methode 2.0. Das Ranking auf der Website wurde mit Methode 1.1 gefittet; einige Zahlen unten fehlen bis zum nächsten Fit.
Was der Fu-Score ist
Der Fu-Score ist ein Fähigkeitswert pro Modell. Er stammt aus einem Item-Response-Modell mit zwei Parametern (2PL), das auf der Logit-Skala an die berichteten Benchmark-Scores angepasst wird:
- θm
- Fähigkeit von Modell m
- db
- Schwierigkeit von Benchmark b: hoch bei schweren Tests
- ab
- Trennschärfe von Benchmark b: niedrig bei gesättigten oder verrauschten Tests
Er korrigiert zwei Dinge, die ein einfacher Durchschnitt falsch macht:
- Schwierigkeit der Benchmarks. Die Schwierigkeit eines Benchmarks wird aus allen Modellen geschätzt, die ihn berichten. 60 % in einem schweren Test zählen deshalb mehr als 60 % in einem leichten.
- Welche Benchmarks ein Modell berichtet. Ein Modell punktet, wenn es andere Modelle im selben Benchmark schlägt, nicht wenn es leichte Benchmarks berichtet. Nicht berichtete Scores bleiben leer; nichts wird aufgefüllt.
Der Fit ist robust: Ein Score weit weg von der Vorhersage des Modells, etwa eine Platzhalter-Null oder ein 0–1-Wert auf einer 0–100-Skala, zählt weniger.
Die Skala
Die angezeigte Zahl ist der Score in Prozent, den ein Modell dieser Fähigkeit in einem festen Referenz-Benchmark erwarten lässt.
Die Skala ist verankert. Referenzmodelle, ausgewählt unter den Modellen mit den meisten Scores, die seit mindestens 180 Tagen veröffentlicht waren, behalten den Score, den sie beim Festlegen der Skala hatten. Ein Score ändert sich also nicht allein dadurch, dass andere Modelle oder Benchmarks hinzukommen. Der aktuelle Fit ist an 30 Referenzmodelle gebunden. Über zehn Tage gemessen senkte die verankerte Skala die mittlere Score-Änderung von 1.407 Modellen, deren eigene Scores sich nicht geändert hatten, von 0,86 auf 0,16 Punkte.
Jeder Aufgabenbereich (Text, Code, Mathematik usw.) wird separat auf seinen eigenen Benchmarks gefittet. Scores sind zwischen Bereichen nicht vergleichbar. Siehe die Kategorie-Tabs im Ranking.
Was einfließt
- Berichtete Scores. Prozentwerte (Erfolgsquoten von 0 bis 100), wie sie Labs, Paper und Benchmark-Bestenlisten berichten. Wo niedriger besser ist, wird der Score umgedreht (100 − Score). Ratings, Kosten und Zeiten fließen nicht ins Gesamtranking ein.
- Ein Wert pro Modell und Benchmark. Gibt es für ein Modell mehrere Berichte zu einem Benchmark, zählt der Median derer, die mindestens die Hälfte des besten erreichen. Berichte weit unter dem besten sind andere Set-ups oder Skalenverwechslungen.
- Mindestanzahlen. Ein Benchmark braucht Scores von mindestens 10 Modellen. Ein Modell braucht mindestens 8 Scores, 4 davon zwischen 10 % und 90 %: Scores nahe 0 % oder 100 % allein können ein Modell nicht einordnen. Modelle mit weniger erhalten eine Schätzung, markiert mit *, und keinen Rang.
- Gewichte. Ein Score nahe 0 % oder 100 % zählt weniger als einer in der Mitte (Gewicht p(1−p)), weil sein Logit verrauscht ist. Benchmarks, die beinahe Duplikate voneinander sind (Residualkorrelation von 0,8 oder mehr), teilen sich eine Stimme.
- Nicht im Gesamtranking. Safety- und Alignment-Evaluationen bilden ein eigenes Safety-Ranking. Fine-Tunes von Modellen anderer Labs helfen, die Benchmarks zu kalibrieren, werden aber nur gerankt, wenn die Leserin oder der Leser sie einblendet.
Der aktuelle Gesamt-Fit nutzt 50.695 Scores in 938 Benchmarks und rankt 1.704 Modelle. Woher die Scores stammen: Quellen.
Wie er geprüft wird
Zurückgehaltene Paare
Die Scores werden in fünf Teile geteilt. Jeder Teil wird der Reihe nach zurückgehalten, und das Modell wird auf dem Rest gefittet. Für je zwei Modelle mit zurückgehaltenen Scores im selben Benchmark lautet die Frage: Ordnet das Ranking sie so wie diese Scores? Vergleichsmaßstab ist der einfache Durchschnitt der Scores eines Modells.
| Paare | Anzahl | Fu-Score | Einfacher Durchschnitt |
|---|---|---|---|
| Alle Modelle | 920.984 | 85,0% | 65,9% |
| Top-100-Modelle | 6.002 | 71,6% | 59,8% |
90-%-Rang- und Score-Intervalle
Welche Benchmarks in der Datenbank stehen, ist selbst eine Auswahl. Deshalb werden die Benchmarks mit Zurücklegen neu gezogen und das Modell jedes Mal neu gefittet. Das Intervall reicht vom 5. bis zum 95. Perzentil des Rangs eines Modells über diese Fits. Das Score-Intervall ist dieselbe Spanne für den Fu-Score. Jeder Fit bringt seine Fähigkeiten dafür zuerst auf die Skala des Haupt-Fits, damit die Scores vergleichbar sind.
⚑ Selektives Berichten
Nicht berichtete Scores kann niemand kennen, daher ist dies ein Was-wäre-wenn. Man nehme jeden Benchmark, den mindestens 30 % der Modelle berichten, die im Abstand von höchstens sechs Monaten zu einem Modell erschienen sind, und den das Modell ausgelassen hat. Angenommen wird, es hätte dort eine Residual-Standardabweichung unter seinem erwarteten Score gelegen. Diese angenommenen Scores gehen mit halbem Gewicht in einen zweiten Fit ein. ⚑ markiert ein Modell, dessen Rang dann um mehr als 10 Plätze und um mehr als ein Viertel seines Rangs fällt.
◆ Eigenes Lab
Das Gesamtranking wird ein weiteres Mal gefittet, ohne jeden Score, den ein Modell in einem Benchmark seines eigenen Labs hat. Ein Benchmark gilt als hauseigen, wenn ein Launch-Post ihn so kennzeichnet oder wenn er eine interne Evaluation aus der System Card des Labs ist. ◆ markiert ein Modell, dessen Rang dann um mehr als 3 Plätze und um mehr als ein Zehntel seines Rangs fällt. Im aktuellen Fit verschieben sich 70 der Top-100-Modelle um höchstens einen Platz; die größte Verschiebung beträgt 9 Plätze.
Stufen
Modelle, deren 90-%-Rangintervalle sich überlappen, teilen sich eine Stufe. Innerhalb einer Stufe ist die Reihenfolge nicht entschieden.
Versionsgeschichte
Die Versionsnummer steigt, wenn sich der Fit so ändert, dass sich Scores verschieben. Ränge werden über die Zeit nur innerhalb einer Version verglichen.
2.0 9. November 2026
- Scores werden nach ihrer Präzision p(1−p) gewichtet, und der Prior auf die Fähigkeit ist schwächer.
- Statt des besten Berichts eines Modells zu einem Benchmark zählt der Median.
- Beinahe-Duplikate unter den Benchmarks (Residualkorrelation von 0,8 oder mehr) teilen sich eine Stimme.
- Ein geranktes Modell braucht 4 Scores zwischen 10 % und 90 %.
- Die Score-Skala ist an eingefrorenen Referenzmodellen verankert.
- Neuer Eigenes-Lab-Check (◆).
- Das separate Ranking „Fu Core“ entfällt.
Gemessener Effekt auf zurückgehaltene Paare: alle Paare 84,6 % → 84,7 %; unter den Top-30-Modellen 62,4 % → 64,5 % (699 Paare, innerhalb des Rauschens).
Scores der Versionen 1.0 und 2.0 sind nicht vergleichbar.
1.0 Oktober 2026
- Robuster 2PL-Fit auf Logit-Scores.
- Es zählt der beste Bericht pro Modell und Benchmark.
- Jeder Score hat dasselbe Gewicht.
- Die Skala wird über alle gefitteten Modelle standardisiert; Scores verschieben sich daher, wenn Modelle hinzukommen.
Grenzen
- Scores werden so übernommen, wie sie berichtet wurden. Nichts wird erneut ausgeführt.
- Wer einen Score gemessen hat, wird nicht erfasst, nur wer den Benchmark gebaut hat.
- Nachbarn im Ranking sind oft nicht unterscheidbar. Unter den Top-100-Modellen stimmt die Reihenfolge eines zurückgehaltenen Paars in 71,6 % der Fälle, über alle Modelle in 85,0 %. Deshalb zeigt das Ranking Stufen.
- Gesättigte Benchmarks ziehen die führenden Modelle weiterhin leicht nach unten.
- Eine einzelne Zahl verdeckt Unterschiede zwischen Fähigkeitsbereichen. Siehe die Kategorie-Tabs im Ranking und die Benchmark-Struktur.
Unabhängigkeit
- Fu Index führt keine eigenen Evaluationen durch und baut keine Benchmarks.
- Jeder Score ist eine öffentliche Zahl, berichtet von einem Lab, einem Paper oder einer Benchmark-Bestenliste.
- Es werden keine Daten von Artificial Analysis verwendet.
- Die Methode, ihre Validierungszahlen und die Daten sind auf dieser Website veröffentlicht.
Daten-Downloads
Die Website liest diese JSON-Dateien; sie werden bei jedem Deploy neu erzeugt.
| Datei | Inhalt |
|---|---|
| models.json | Modell-Metadaten: Lab, Familie, Veröffentlichungsdatum, Größe, offene oder geschlossene Gewichte. |
| model_aliases.json | Stillgelegte Modell-IDs und die IDs, die sie ersetzen. |
| benchmarks.json | Benchmark-Metadaten: Name, Thema, Metrik, Links. |
| scores.json | Jeder berichtete Score: Modell, Benchmark, Score, Metrik. |
| irt.json | Das Fu-Ranking je Aufgabenbereich: Rang, Fu-Score, 90-%-Rang- und Score-Intervalle und Prüfränge jedes gerankten Modells. |
| usage.json | Wie oft ein Benchmark in Model Cards und Launch-Posts zitiert wird, mit Quellen. |
| relevance.json | Relevanz-Sterne je Benchmark: bewertete Modelle und kürzlich veröffentlichte Modelle darunter. |
| prices.json | Aktueller API-Preis je Modell in USD pro 1 Mio. Tokens: gemischt (3:1 Input zu Output), Input, Output. |
| leaderboard.json | Je Benchmark: Metadaten, das führende Modell und alle Platzierungen. |
| logos.json | Dateityp jedes Lab-Logos. |
| fu.json | Zusammenfassung des Fits: Validierungszahlen, führende Modelle, Schwierigkeit und Trennschärfe jedes Benchmarks. |
| launches.json | In den letzten 180 Tagen veröffentlichte Modelle mit ihren Scores und in dieser Zeit hinzugefügte Benchmarks. |
| effort.json | Score gegen Kosten pro Aufgabe für Modelle mit Reasoning-Aufwandsstufen. |
| lineage.json | |
| costfront.json | Score gegen Kosten pro Aufgabe für jedes Modell mit veröffentlichten Kosten. |
| buzz.json | Wöchentliche Erwähnungen der führenden Modelle auf Reddit und X in den letzten 12 Wochen. |
| ambition.json | Ambition Score jedes Launch-Posts und seine vier Teilwerte. |
| benchmaxx.json | Heimvorteil jedes Launch-Posts: die Scores seiner Launch-Tabelle gegenüber dem, was die übrigen Benchmarks vorhersagen. |
| versions.json | Dieselben Modelle in zwei Versionen eines Benchmarks. |
| structure.json | Korrelationen, Cluster und Faktoren der am häufigsten berichteten Benchmarks. |
| makers.json | Benchmarks, die ein Lab selbst gebaut hat, mit dem Lab. |
| changes.json | Rangänderungen gegenüber dem Fit von vor mindestens 7 Tagen. |
| regressions.json | |
| race.json | |
| levels.json | |
| agents.json | |
| agent_scores.json | |
| irt_full.json | irt.json einschließlich Fine-Tunes von Modellen anderer Labs. |
| fu_full.json | fu.json einschließlich Fine-Tunes von Modellen anderer Labs. |
| leaderboard_full.json | leaderboard.json einschließlich Fine-Tunes von Modellen anderer Labs. |