Fu Index

Methode

Wie der Fu-Score berechnet wird, was einfließt, wie er geprüft wird und wo seine Grenzen liegen.

Aktueller Fit: Methode 1.1, 21. November 2026. 1.704 Modelle, 938 Benchmarks.

Diese Seite beschreibt Methode 2.0. Das Ranking auf der Website wurde mit Methode 1.1 gefittet; einige Zahlen unten fehlen bis zum nächsten Fit.

85,0%zurückgehaltene Paare richtig geordnet, Fu-Score
65,9%dasselbe, einfacher Durchschnitt
71,6%unter den Top 100, Fu-Score
59,8%unter den Top 100, einfacher Durchschnitt

Was der Fu-Score ist

Der Fu-Score ist ein Fähigkeitswert pro Modell. Er stammt aus einem Item-Response-Modell mit zwei Parametern (2PL), das auf der Logit-Skala an die berichteten Benchmark-Scores angepasst wird:

logit(scoremb / 100) = ab · (θm − db)
θm
Fähigkeit von Modell m
db
Schwierigkeit von Benchmark b: hoch bei schweren Tests
ab
Trennschärfe von Benchmark b: niedrig bei gesättigten oder verrauschten Tests

Er korrigiert zwei Dinge, die ein einfacher Durchschnitt falsch macht:

  • Schwierigkeit der Benchmarks. Die Schwierigkeit eines Benchmarks wird aus allen Modellen geschätzt, die ihn berichten. 60 % in einem schweren Test zählen deshalb mehr als 60 % in einem leichten.
  • Welche Benchmarks ein Modell berichtet. Ein Modell punktet, wenn es andere Modelle im selben Benchmark schlägt, nicht wenn es leichte Benchmarks berichtet. Nicht berichtete Scores bleiben leer; nichts wird aufgefüllt.

Der Fit ist robust: Ein Score weit weg von der Vorhersage des Modells, etwa eine Platzhalter-Null oder ein 0–1-Wert auf einer 0–100-Skala, zählt weniger.

Die Skala

Die angezeigte Zahl ist der Score in Prozent, den ein Modell dieser Fähigkeit in einem festen Referenz-Benchmark erwarten lässt.

Die Skala ist verankert. Referenzmodelle, ausgewählt unter den Modellen mit den meisten Scores, die seit mindestens 180 Tagen veröffentlicht waren, behalten den Score, den sie beim Festlegen der Skala hatten. Ein Score ändert sich also nicht allein dadurch, dass andere Modelle oder Benchmarks hinzukommen. Der aktuelle Fit ist an 30 Referenzmodelle gebunden. Über zehn Tage gemessen senkte die verankerte Skala die mittlere Score-Änderung von 1.407 Modellen, deren eigene Scores sich nicht geändert hatten, von 0,86 auf 0,16 Punkte.

Jeder Aufgabenbereich (Text, Code, Mathematik usw.) wird separat auf seinen eigenen Benchmarks gefittet. Scores sind zwischen Bereichen nicht vergleichbar. Siehe die Kategorie-Tabs im Ranking.

Was einfließt

  • Berichtete Scores. Prozentwerte (Erfolgsquoten von 0 bis 100), wie sie Labs, Paper und Benchmark-Bestenlisten berichten. Wo niedriger besser ist, wird der Score umgedreht (100 − Score). Ratings, Kosten und Zeiten fließen nicht ins Gesamtranking ein.
  • Ein Wert pro Modell und Benchmark. Gibt es für ein Modell mehrere Berichte zu einem Benchmark, zählt der Median derer, die mindestens die Hälfte des besten erreichen. Berichte weit unter dem besten sind andere Set-ups oder Skalenverwechslungen.
  • Mindestanzahlen. Ein Benchmark braucht Scores von mindestens 10 Modellen. Ein Modell braucht mindestens 8 Scores, 4 davon zwischen 10 % und 90 %: Scores nahe 0 % oder 100 % allein können ein Modell nicht einordnen. Modelle mit weniger erhalten eine Schätzung, markiert mit *, und keinen Rang.
  • Gewichte. Ein Score nahe 0 % oder 100 % zählt weniger als einer in der Mitte (Gewicht p(1−p)), weil sein Logit verrauscht ist. Benchmarks, die beinahe Duplikate voneinander sind (Residualkorrelation von 0,8 oder mehr), teilen sich eine Stimme.
  • Nicht im Gesamtranking. Safety- und Alignment-Evaluationen bilden ein eigenes Safety-Ranking. Fine-Tunes von Modellen anderer Labs helfen, die Benchmarks zu kalibrieren, werden aber nur gerankt, wenn die Leserin oder der Leser sie einblendet.

Der aktuelle Gesamt-Fit nutzt 50.695 Scores in 938 Benchmarks und rankt 1.704 Modelle. Woher die Scores stammen: Quellen.

Wie er geprüft wird

Zurückgehaltene Paare

Die Scores werden in fünf Teile geteilt. Jeder Teil wird der Reihe nach zurückgehalten, und das Modell wird auf dem Rest gefittet. Für je zwei Modelle mit zurückgehaltenen Scores im selben Benchmark lautet die Frage: Ordnet das Ranking sie so wie diese Scores? Vergleichsmaßstab ist der einfache Durchschnitt der Scores eines Modells.

PaareAnzahlFu-ScoreEinfacher Durchschnitt
Alle Modelle920.98485,0%65,9%
Top-100-Modelle6.00271,6%59,8%

90-%-Rang- und Score-Intervalle

Welche Benchmarks in der Datenbank stehen, ist selbst eine Auswahl. Deshalb werden die Benchmarks mit Zurücklegen neu gezogen und das Modell jedes Mal neu gefittet. Das Intervall reicht vom 5. bis zum 95. Perzentil des Rangs eines Modells über diese Fits. Das Score-Intervall ist dieselbe Spanne für den Fu-Score. Jeder Fit bringt seine Fähigkeiten dafür zuerst auf die Skala des Haupt-Fits, damit die Scores vergleichbar sind.

⚑ Selektives Berichten

Nicht berichtete Scores kann niemand kennen, daher ist dies ein Was-wäre-wenn. Man nehme jeden Benchmark, den mindestens 30 % der Modelle berichten, die im Abstand von höchstens sechs Monaten zu einem Modell erschienen sind, und den das Modell ausgelassen hat. Angenommen wird, es hätte dort eine Residual-Standardabweichung unter seinem erwarteten Score gelegen. Diese angenommenen Scores gehen mit halbem Gewicht in einen zweiten Fit ein. ⚑ markiert ein Modell, dessen Rang dann um mehr als 10 Plätze und um mehr als ein Viertel seines Rangs fällt.

◆ Eigenes Lab

Das Gesamtranking wird ein weiteres Mal gefittet, ohne jeden Score, den ein Modell in einem Benchmark seines eigenen Labs hat. Ein Benchmark gilt als hauseigen, wenn ein Launch-Post ihn so kennzeichnet oder wenn er eine interne Evaluation aus der System Card des Labs ist. ◆ markiert ein Modell, dessen Rang dann um mehr als 3 Plätze und um mehr als ein Zehntel seines Rangs fällt. Im aktuellen Fit verschieben sich 70 der Top-100-Modelle um höchstens einen Platz; die größte Verschiebung beträgt 9 Plätze.

Stufen

Modelle, deren 90-%-Rangintervalle sich überlappen, teilen sich eine Stufe. Innerhalb einer Stufe ist die Reihenfolge nicht entschieden.

Versionsgeschichte

Die Versionsnummer steigt, wenn sich der Fit so ändert, dass sich Scores verschieben. Ränge werden über die Zeit nur innerhalb einer Version verglichen.

2.0 9. November 2026

  • Scores werden nach ihrer Präzision p(1−p) gewichtet, und der Prior auf die Fähigkeit ist schwächer.
  • Statt des besten Berichts eines Modells zu einem Benchmark zählt der Median.
  • Beinahe-Duplikate unter den Benchmarks (Residualkorrelation von 0,8 oder mehr) teilen sich eine Stimme.
  • Ein geranktes Modell braucht 4 Scores zwischen 10 % und 90 %.
  • Die Score-Skala ist an eingefrorenen Referenzmodellen verankert.
  • Neuer Eigenes-Lab-Check (◆).
  • Das separate Ranking „Fu Core“ entfällt.

Gemessener Effekt auf zurückgehaltene Paare: alle Paare 84,6 % → 84,7 %; unter den Top-30-Modellen 62,4 % → 64,5 % (699 Paare, innerhalb des Rauschens).

Scores der Versionen 1.0 und 2.0 sind nicht vergleichbar.

1.0 Oktober 2026

  • Robuster 2PL-Fit auf Logit-Scores.
  • Es zählt der beste Bericht pro Modell und Benchmark.
  • Jeder Score hat dasselbe Gewicht.
  • Die Skala wird über alle gefitteten Modelle standardisiert; Scores verschieben sich daher, wenn Modelle hinzukommen.

Grenzen

  • Scores werden so übernommen, wie sie berichtet wurden. Nichts wird erneut ausgeführt.
  • Wer einen Score gemessen hat, wird nicht erfasst, nur wer den Benchmark gebaut hat.
  • Nachbarn im Ranking sind oft nicht unterscheidbar. Unter den Top-100-Modellen stimmt die Reihenfolge eines zurückgehaltenen Paars in 71,6 % der Fälle, über alle Modelle in 85,0 %. Deshalb zeigt das Ranking Stufen.
  • Gesättigte Benchmarks ziehen die führenden Modelle weiterhin leicht nach unten.
  • Eine einzelne Zahl verdeckt Unterschiede zwischen Fähigkeitsbereichen. Siehe die Kategorie-Tabs im Ranking und die Benchmark-Struktur.

Unabhängigkeit

  • Fu Index führt keine eigenen Evaluationen durch und baut keine Benchmarks.
  • Jeder Score ist eine öffentliche Zahl, berichtet von einem Lab, einem Paper oder einer Benchmark-Bestenliste.
  • Es werden keine Daten von Artificial Analysis verwendet.
  • Die Methode, ihre Validierungszahlen und die Daten sind auf dieser Website veröffentlicht.

Daten-Downloads

Die Website liest diese JSON-Dateien; sie werden bei jedem Deploy neu erzeugt.

DateiInhalt
models.json Modell-Metadaten: Lab, Familie, Veröffentlichungsdatum, Größe, offene oder geschlossene Gewichte.
model_aliases.json Stillgelegte Modell-IDs und die IDs, die sie ersetzen.
benchmarks.json Benchmark-Metadaten: Name, Thema, Metrik, Links.
scores.json Jeder berichtete Score: Modell, Benchmark, Score, Metrik.
irt.json Das Fu-Ranking je Aufgabenbereich: Rang, Fu-Score, 90-%-Rang- und Score-Intervalle und Prüfränge jedes gerankten Modells.
usage.json Wie oft ein Benchmark in Model Cards und Launch-Posts zitiert wird, mit Quellen.
relevance.json Relevanz-Sterne je Benchmark: bewertete Modelle und kürzlich veröffentlichte Modelle darunter.
prices.json Aktueller API-Preis je Modell in USD pro 1 Mio. Tokens: gemischt (3:1 Input zu Output), Input, Output.
leaderboard.json Je Benchmark: Metadaten, das führende Modell und alle Platzierungen.
logos.json Dateityp jedes Lab-Logos.
fu.json Zusammenfassung des Fits: Validierungszahlen, führende Modelle, Schwierigkeit und Trennschärfe jedes Benchmarks.
launches.json In den letzten 180 Tagen veröffentlichte Modelle mit ihren Scores und in dieser Zeit hinzugefügte Benchmarks.
effort.json Score gegen Kosten pro Aufgabe für Modelle mit Reasoning-Aufwandsstufen.
lineage.json
costfront.json Score gegen Kosten pro Aufgabe für jedes Modell mit veröffentlichten Kosten.
buzz.json Wöchentliche Erwähnungen der führenden Modelle auf Reddit und X in den letzten 12 Wochen.
ambition.json Ambition Score jedes Launch-Posts und seine vier Teilwerte.
benchmaxx.json Heimvorteil jedes Launch-Posts: die Scores seiner Launch-Tabelle gegenüber dem, was die übrigen Benchmarks vorhersagen.
versions.json Dieselben Modelle in zwei Versionen eines Benchmarks.
structure.json Korrelationen, Cluster und Faktoren der am häufigsten berichteten Benchmarks.
makers.json Benchmarks, die ein Lab selbst gebaut hat, mit dem Lab.
changes.json Rangänderungen gegenüber dem Fit von vor mindestens 7 Tagen.
regressions.json
race.json
levels.json
agents.json
agent_scores.json
irt_full.json irt.json einschließlich Fine-Tunes von Modellen anderer Labs.
fu_full.json fu.json einschließlich Fine-Tunes von Modellen anderer Labs.
leaderboard_full.json leaderboard.json einschließlich Fine-Tunes von Modellen anderer Labs.