Fu Index

Test benchmaxx

Trier par

Par labo

# Modèle Avantage du terrain Tests Plus grand pic Ambition Fu
Comment fonctionne l’avantage du terrain

Pour chaque lancement, nous prenons les benchmarks du tableau principal de l’annonce officielle ou de la fiche du modèle (les mêmes tableaux que pour l’Ambition Score). Le modèle du classement Fu attribue à chaque benchmark une difficulté et une discrimination. Nous estimons à nouveau la capacité du modèle, cette fois uniquement à partir de ses scores sur les benchmarks absents du tableau de lancement, et en déduisons son score attendu sur chaque benchmark du tableau.

Le résidu d’un benchmark est le score annoncé moins la prédiction sur l’échelle logit, en unités de l’écart-type résiduel σ du modèle (l’écart typique entre un score et sa prédiction). L’avantage brut est le résidu moyen des benchmarks du tableau de lancement (chacun plafonné à ±4 σ, car les écarts plus grands sont surtout des erreurs de données). Les labos montrent les tests où ils sont bons, si bien que l’annonce médiane a un avantage brut de +0,7 σ ; l’avantage du terrain affiché est l’avantage brut moins cette médiane. La plage ± correspond à une erreur type : le bruit des scores du tableau plus l’incertitude de l’estimation de capacité. Une annonce doit avoir au moins 3 benchmarks dans le tableau de lancement et 5 autres benchmarks dans le modèle.

Un avantage du terrain élevé signifie que le modèle paraît meilleur sur les benchmarks choisis par son labo que partout ailleurs. Cela correspond à un entraînement sur les jeux de test ou leurs proches parents (benchmaxxing), mais aussi à une spécialisation honnête, à des scaffolds réglés pour le lancement ou à d’autres benchmarks mal exécutés. La plupart des autres scores viennent aussi des labos, si bien que l’avantage du terrain tend à sous-estimer l’écart avec des résultats indépendants. Il ne voit pas directement les cas de test mémorisés ; il faut pour cela des exécutions sur des tâches modifiées.