Claude Fable 5.2 Benchmark-Test: FrontierCode 2.0, RoboDojo und Terminal-Bench-Science
Anthropics Claude Fable 5.2 Version berichtet über bemerkenswerte Fortschritte bei der Lagerhauscodierung, simulierten Robotern, Terminalwissenschaft, visueller Diagramminterpretation und wissensbasierter Arbeit mit Werkzeugen. Die Titeldaten zeigen starke Leistungen. Die verantwortungsvolle Schlussfolgerung fällt jedoch vorsichtiger aus: Fable 5.2 ist ein vielversprechender Kandidat für komplexe ausführbare Workflows, den Organisationen jetzt an ihren eigenen Aufgaben testen sollten.
Eine wichtige Korrektur. Der ursprünglich vorgeschlagene Artikel-Titel erwähnte FrontierMath, aber in den Veröffentlichungsmaterialien von Anthropic zu Fable 5.2 wird prominent FrontierCode 2.0 berichtet, nicht die FrontierMath-Ergebnisse von Fable 5.2. Diese Bewertung verwendet die bestätigten Benchmarks, anstatt beide als austauschbar zu betrachten.
Bestätigte Veröffentlichungsergebnisse
| Benchmark | Fable 5.2 | Fable 5.1 | Opus 5.5 | GPT-6 Astra | Gemini 4 Carbon | |---|---:|---:|---:|---:|---:| | FrontierCode 2.0 | 49,1 % | 32,4 % | 45,5 % | 42,8 % | 41,1 % | | FrontierSWE v2 | 69,9 % | 56,3 % | 62,3 % | 65,5 % | 61,2 % | | Terminal-Bench-Science 0.1 | 74,6 % | 52,6 % | 58,7 % | 68,1 % | 64,8 % | | RoboDojo Simulator | 64,9% | 27,6% | 39,4% | 29,8% | In der Veröffentlichungstabelle nicht angegeben | | Menschliche Abschlussprüfung (mit Werkzeugen) | 74.2% | 65.6% | 67.7% | 57.2% | In der Tabelle nicht angegeben | | Diagrammstudium | 73,4% | 44,8% | 64,4% | 71,0% | 72,5% |
Der FrontierCode-Wert von Fable wird als hohes Anstrengungsniveau gemeldet; die Veröffentlichung von Anthropic identifiziert auch einige Anstrengungsunterschiede in konkurrierenden Läufen. Diese Konfigurationsdetails schränken eine vereinfachte Rangfolge ein.
FrontierCode 2.0: Kann das Modell echte Repositories verändern?
FrontierCode bewertet anspruchsvollere Softwareentwicklungsaufgaben, die über das Generieren vernünftiger Codefragmente hinausgehen. Das Modell muss in der Lage sein, Projektstrukturen zu navigieren, Abhängigkeiten abzuleiten, kohärente Bearbeitungen vorzunehmen, Werkzeuge zu verwenden und ausführbare Prüfungen zu erfüllen. Fable 5.2 stieg von 32,4 % auf 49,1 %, was das deutlichste Zeichen für den Fortschritt dieser Version bei der langzyklischen Codierung ist.
Die Einschränkung liegt in der Migration. Ein privates Monorepo, das undokumentierte Dienste, benutzerdefinierte Build-Tools und schwache Tests enthält, kann weit von der Basisumgebung entfernt sein. Interne Zusammenführbarkeit und manuelle Überprüfungszeit sind wichtiger als öffentliche Prozentsätze.
RoboDojo Sim: Aktionen in einer interaktiven Umgebung planen
RoboDojo Sim testet simulierte Roboteraufgaben, deren Erfolg von der Wahrnehmung des Zustands, der Auswahl von Aktionen und der Wiederherstellung bei Planungsfehlern abhängt. In der veröffentlichten Bewertung liegt das Ergebnis von Fable 5.2 mit 64,9 % mehr als doppelt so hoch wie das von Fable 5.1 mit 27,6 %.
Dies sind Belege für die Lösung simulierter Aufgaben, die nicht beweisen, dass unbeaufsichtigte physische Roboter sicher sind. Reale Systeme führen Rauschsensoren, zeitliche Einschränkungen, mechanische Fehler sowie Folgen ein, die Simulatoren nicht vollständig reproduzieren können. Der physische Einsatz erfordert eingeschränkte Aktionen, unabhängige Sicherheitssysteme und menschliche Aufsicht.
Terminal-Bench-Science: Wissenschaftliche Erkundung durch Werkzeuge
Terminal-Bench-Science erfordert, dass Modelle wissenschaftliche Probleme in einer Terminalumgebung lösen. Sie müssen möglicherweise Dateien überprüfen, Code ausführen, Daten konvertieren und Ergebnisse validieren, anstatt aus dem Gedächtnis zu antworten. Fable 5.2 erreicht 74,6 %; die zugriffsbeschränkte Mythos-Variante erreicht 75,3 %.
Dieses Ergebnis unterstützt die Verwendung von Fable als wissenschaftlichen Workflow-Assistenten, kann jedoch die generierten Erkenntnisse nicht in validierte wissenschaftliche Ergebnisse umwandeln. Reproduzierbare Skripte, Datenherkunft, statistische Überprüfung und die Interpretation durch Fachexperten bleiben weiterhin erforderlich.
Diagrammatik und werkzeugunterstützte Wissensarbeit
73,4 % der Diagrammanalyse-Ergebnisse deuten auf eine Verbesserung bei der Interpretation von Diagrammen und der visuellen Darstellung von Daten hin. Mit 74,2 % in der ultimativen menschlichen Prüfung unter Nutzung von Werkzeugen zeigt sich eine starke Fähigkeit zur Informationsbeschaffung und Werkzeugkoordination bei der Bewältigung anspruchsvoller Wissensfragen. Beide Ergebnisse stehen in engem Zusammenhang mit forschungsorientierten intelligenten Agenten, die Text, Bilder und externe Operationen kombinieren.
Allerdings kann die Gesamtgenauigkeit gefährliche Fehlercluster verdecken. Bitte bewerten Sie die tatsächlich von Ihrem Produkt empfangenen Diagrammtypen, Einheiten, Sprachen und Bereichskonventionen.
Fünf Regeln zum Lesen von KI-Benchmark-Tabellen
- Verglichen werden die Toolchain, Werkzeuge, Arbeitsaufwand und Probenahmeverfahren, nicht nur die Modellnamen.
- Trennen Sie die vom Anbieter gemeldeten Ergebnisse von den unabhängig reproduzierten Ergebnissen.
- Suchen Sie nach Konfidenzintervallen und Aufgabenverteilungen, wenn verfügbar.
- Messen Sie neben der Durchlaufquote auch die Kosten und die Verzögerung.
- Verwenden Sie niemals Benchmark-Prozentsätze direkt als SLA für die Produktionsumgebung.
Benchmark-Ergebnisse in Kaufentscheidungen umwandeln
Erstellen Sie aus der tatsächlichen Arbeit einen kleinen "harten Datensatz": fehlgeschlagene Codierungsaufträge, schwierige Analysen, unübersichtliche Diagramme und Tool-Prozesse, die wiederhergestellt werden müssen. Führen Sie eine Blindprüfung der Ergebnisse durch und bewerten Sie die objektive Vollständigkeit, faktische Unterstützung, Sicherheit, Verzögerung und Korrekturzeit. Vergleichen Sie Fable mit Opus 5.5 und aktuellen Mainstream-Systemen bei festem Arbeitsaufwand. Der Gewinner ist das System mit den niedrigsten Kosten pro akzeptiertem Ergebnis nach Risikoanpassung.
Häufig gestellte Fragen
Hat Anthropic in der Veröffentlichung die FrontierMath-Punktzahl von Fable 5.2 bekannt gegeben?
Das in dieser Bewertung verwendete Veröffentlichungsmaterial berichtet über FrontierCode 2.0. Daher haben wir den angeforderten Titel korrigiert, anstatt ein nicht verifiziertes FrontierMath-Ergebnis zu behaupten.
Warum der Grad der Anstrengung wichtig ist?
Höhere Anstrengung kann die Schlussfolgerung verbessern, während gleichzeitig die Token-Nutzung und die Latenzzeit steigen. Der Vergleich eines xhigh-Laufs mit einem medium-Lauf ist kein reiner Modellvergleich.
Sind Lieferanten-Benchmarks nutzlos?
Nein. Sie erkennen vielversprechende Fähigkeiten und helfen dabei, Tests zu priorisieren. Nur wenn sie als allgemeine Produktionsergebnisse betrachtet werden, werden sie irreführend.
