Claude Fable 5.2 Évaluation des benchmarks : FrontierCode 2.0, RoboDojo et Terminal-Bench-Science
Le rapport de la version 5.2 de Claude Fable d'Anthropic indique des progrès significatifs dans le codage de dépôt, la simulation de robots, la science terminale, l'interprétation de graphiques visuels et le travail de connaissance basé sur l'utilisation d'outils. Les données de titre sont solides. Mais la conclusion responsable est plus prudente : Fable 5.2 est un candidat prometteur pour les flux de travail complexes et exécutables, et les organisations devraient maintenant le tester sur leurs propres tâches.
Une correction importante. Le titre de l'article initialement proposé mentionnait FrontierMath, mais les documents de publication d'Anthropic pour Fable 5.2 rapportent de manière significative FrontierCode 2.0, et non les résultats FrontierMath de Fable 5.2. Cette évaluation utilise des benchmarks confirmés, sans considérer les deux comme interchangeables.
Résultats de publication confirmés
| Test de référence | Fable 5.2 | Fable 5.1 | Opus 5.5 | GPT-6 Astra | Gemini 4 Carbon | |---|---:|---:|---:|---:|---:| | FrontierCode 2.0 | 49,1% | 32,4% | 45,5% | 42,8% | 41,1% | | FrontierSWE v2 | 69,9 % | 56,3 % | 62,3 % | 65,5 % | 61,2 % | | Terminal-Bench-Science 0.1 | 74,6 % | 52,6 % | 58,7 % | 68,1 % | 64,8 % | | Simulateur RoboDojo | 64,9 % | 27,6 % | 39,4 % | 29,8 % | Non spécifié dans le tableau de publication | | Examen ultime humain (avec outils) | 74.2% | 65.6% | 67.7% | 57.2% | Non spécifié dans le tableau de publication | | Graphologie | 73.4% | 44.8% | 64.4% | 71.0% | 72.5% |
La valeur FrontierCode de Fable est signalée comme étant à un niveau d'effort élevé ; la publication d'Anthropic identifie également certaines différences d'effort dans les exécutions concurrentes. Ces détails de configuration limitent un classement simpliste.
FrontierCode 2.0 : Le modèle peut-il changer le dépôt réel ?
FrontierCode évalue les tâches de génie logiciel plus exigeantes qui vont au-delà de la simple production de fragments de code raisonnables. Le modèle doit être capable de naviguer dans la structure du projet, d'inférer les dépendances, d'effectuer des modifications cohérentes, d'utiliser des outils et de satisfaire aux contrôles exécutables. Fable 5.2 passe de 32,4 % à 49,1 %, ce qui est le signe le plus évident des progrès réalisés dans cette version en matière de codage sur de longues périodes.
La limite réside dans la migration. Un dépôt monolithique privé contenant des services non documentés, des outils de construction personnalisés et des tests insuffisants peut être très éloigné de l'environnement de référence. La capacité de fusion interne et le temps de révision humaine sont plus importants que les pourcentages publics.
RoboDojo Sim : Planifier des actions dans un environnement interactif
RoboDojo Sim teste des tâches de simulation robotique, dont le succès dépend de l'état de perception, de la sélection d'actions et de la récupération en cas d'échec du plan. Dans l'évaluation publiée, le résultat de 64,9 % de Fable 5.2 est plus de deux fois supérieur à celui de 27,6 % de Fable 5.1.
Ceci est une preuve concernant la résolution de tâches simulées, et ne peut pas démontrer qu'un robot physique non supervisé est sûr. Les systèmes réels introduisent des capteurs bruyants, des contraintes temporelles, des pannes mécaniques et des conséquences que les simulateurs ne peuvent pas reproduire complètement. Le déploiement physique nécessite des contraintes d'action, des systèmes de sécurité indépendants et une supervision humaine.
Terminal-Bench-Science : Exploration scientifique via des outils
Terminal-Bench-Science exige que le modèle résolve des problèmes scientifiques dans un environnement terminal. Il peut être nécessaire de vérifier des fichiers, d'exécuter du code, de convertir des données et de valider les résultats, plutôt que de répondre de mémoire. Fable 5.2 atteint 74,6 % ; la variante Mythos soumise à des restrictions d'accès atteint 75,3 %.
Ce résultat permet d'utiliser Fable comme assistant de flux de travail scientifique, mais ne permet pas de transformer les découvertes générées en résultats scientifiques validés. Des scripts reproductibles, la traçabilité des données, un examen statistique et l'interprétation par des experts du domaine restent nécessaires.
Graphologie et travail de connaissance assisté par des outils
73,4 % des scores d'analyse de graphiques indiquent une amélioration dans l'interprétation des graphiques et la présentation visuelle des données. Un score de 74,2 % obtenu à l'examen final humain à l'aide d'outils démontre une forte capacité de recherche d'informations et de coordination d'outils face à des questions de connaissances très difficiles. Ces deux résultats sont étroitement liés à l'agent intelligent de recherche qui combine texte, images et opérations externes.
Cependant, la précision globale peut masquer des clusters d'erreurs dangereux. Veuillez évaluer les types de graphiques, les unités, les langues et les conventions de domaine que votre produit reçoit réellement.
Cinq règles pour lire un tableau de référence IA
- La comparaison porte sur la chaîne d'outils, les outils, la charge de travail et la méthode d'échantillonnage, et pas seulement sur le nom du modèle.
- Séparer les résultats rapportés par le fournisseur des résultats de la reproduction indépendante.
- Recherchez les intervalles de confiance et la distribution au niveau des tâches lorsqu'ils sont disponibles.
- En mesurant le taux de réussite, il faut également mesurer le coût et la latence.
- Ne convertissez jamais directement les pourcentages de tests de performance en SLA de production.
Transformer les benchmarks en décisions d'achat
Créez un petit « ensemble de données dures » à partir du travail réel : tickets de codage échoués, analyses difficiles, graphiques désordonnés et flux d'outils nécessitant une restauration. Effectuez une révision à l'aveugle des résultats et évaluez objectivement l'achèvement, le soutien factuel, la sécurité, la latence et le temps de correction. Comparez Fable avec Opus 5.5 et les systèmes dominants actuels sous une charge de travail fixe. Le gagnant est le système avec le coût par résultat accepté le plus bas après ajustement du risque.
Foire aux questions
Anthropic a-t-il publié le score FrontierMath de Fable 5.2 dans son article de lancement ?
Le matériel de publication utilisé pour cette évaluation rapporte FrontierCode 2.0. Par conséquent, nous avons corrigé le titre demandé, plutôt que d'affirmer un résultat FrontierMath non vérifié.
Pourquoi le niveau d'effort est-il important ?
Un effort plus élevé peut améliorer le raisonnement, tout en augmentant l'utilisation des jetons et la latence. Comparer une exécution xhigh à une exécution medium n'est pas une comparaison purement de modèle.
Les benchmarks des fournisseurs sont-ils inutiles ?
Non. Elles reconnaissent les capacités prometteuses et aident à prioriser les tests. Ce n'est que lorsqu'elles sont considérées comme des résultats de production génériques qu'elles deviennent trompeuses.
