Fu Index

Agenten

Gleiches Modell, anderer Harness: Scores aus Papers und Leaderboards, die mehrere Agent-Harnesses mit denselben Aufgaben und Modellen laufen lassen. Die Modell-Ränge stammen aus dem Fu Ranking.

Harness-Bestenliste

Harness-Score: Punkte, die ein Harness gegenüber dem durchschnittlichen Harness mit demselben Modell und Benchmark gewinnt oder verliert, über alle Benchmarks gemeinsam geschätzt. Siegquote: Anteil der gewonnenen direkten Vergleiche.

Harness-Score vs. Kosten

Hermes Agent OpenClaw Codex CLI Claude Code andere Harnesses

Oben links ist besser. Die Kosten werden wie der Harness-Score geschätzt: Kosten pro Aufgabe eines Harness gegenüber dem durchschnittlichen Harness mit demselben Modell und Benchmark, logarithmisch. Die Linie ist die Pareto-Front: Kein anderer Harness ist zugleich günstiger und besser.

Wie viel das Harness ausmacht

Hermes Agent OpenClaw Codex CLI Claude Code andere Harnesses

Eine Zeile pro Modell, eine Markierung pro Harness. Die Linie reicht vom schlechtesten zum besten Harness; das beste ist beschriftet.

Score vs. Kosten pro Aufgabe

Hermes Agent OpenClaw Codex CLI Claude Code andere Harnesses

Oben links ist besser. Kosten pro Aufgabe logarithmisch; jede Markierung ist ein Harness mit einem Modell. Die Linie ist die Pareto-Front.

Scores nach Modell

Bestes Harness je Zeile fett, darunter die Kosten pro Aufgabe.

Gehostete Agenten

Noch kein Lab hat Benchmark-Scores für seinen gehosteten Agenten veröffentlicht; das Fu-Ranking des zugrunde liegenden Modells ist der beste Anhaltspunkt.

Woher die Scores stammen

Die Harness-Scores stammen aus Papers und Leaderboards, die mehrere Harnesses mit denselben Aufgaben und Modellen laufen lassen: Claw-SWE-Bench (Mittel aus drei Läufen), WildClawBench, Harness-Bench (Mittel über 8 Modell-Backends), das Harness Leaderboard (DeepSWE v1.1 und Terminal-Bench 2.1, Mittel aus drei Versuchen), Finding the Right Fit (ALE-CLI, TUA-Bench und eine 63-Aufgaben-Auswahl aus Terminal-Bench 4), HarnessTax (je 30 Aufgaben aus SWE-bench Lite und Terminal-Bench 2.0, je drei Läufe) und What Does a Harness Buy? (SWE-bench Verified, die 45 schwersten Aufgaben und ein Pool von 447 Aufgaben). Für ihre gehosteten Agenten hat noch kein Lab Benchmark-Scores veröffentlicht.

Der Harness-Score liest jedes Ergebnis als Niveau seines Modells und Benchmarks plus einen Effekt des Harness und schätzt alle Effekte gemeinsam per kleinsten Quadraten. So profitiert kein Harness davon, nur gegen schwache Konkurrenten angetreten zu sein. Die Effekte werden mit dem Gewicht eines durchschnittlichen Ergebnisses zur Null gezogen, damit ein Harness mit nur einem Ergebnis nicht durch Glück an die Spitze kommt.

Ein Harness ist die Laufzeitumgebung um ein Modell: Es hält Gedächtnis und Skills, führt Tools in einer Sandbox aus und verbindet den Agenten mit Chat-Apps. Ein gehosteter Agent ist dieselbe Idee, betrieben von einem Lab auf dessen eigenem Cloud-Rechner und an dessen Modell gebunden.