Claude Fable 5.2 ベンチマーク評価：FrontierCode 2.0、RoboDojo、Terminal-Bench-Science
AnthropicのClaude Fable 5.2バージョンは、倉庫コーディング、シミュレーションロボット、端末科学、可視化チャート解釈、およびツール使用型知識作業において顕著な進展を報告しています。見出しデータは堅調なパフォーマンスを示しています。しかし、責任ある結論はより慎重です。Fable 5.2は複雑な実行可能ワークフローの有望な候補であり、各組織は現在、自身のタスクでテストすべきです。
重要な訂正です。当初提案された記事のタイトルではFrontierMathに言及していましたが、AnthropicのFable 5.2リリース資料で顕著に報告されているのはFrontierCode 2.0であり、Fable 5.2のFrontierMathの結果ではありません。本評価では、両者を互換可能と見なすのではなく、確認済みのベンチマークを使用しています。
確認済みの公開結果
| ベンチマーク | Fable 5.2 | Fable 5.1 | Opus 5.5 | GPT-6 Astra | Gemini 4 Carbon | |---|---:|---:|---:|---:|---:| | FrontierCode 2.0 | 49.1% | 32.4% | 45.5% | 42.8% | 41.1% | | FrontierSWE v2 | 69.9% | 56.3% | 62.3% | 65.5% | 61.2% | | Terminal-Bench-Science 0.1 | 74.6% | 52.6% | 58.7% | 68.1% | 64.8% | | RoboDojo シミュレーター | 64.9% | 27.6% | 39.4% | 29.8% | 公開表に未記載 | | 人間最終試験（ツール含む） | 74.2% | 65.6% | 67.7% | 57.2% | 発表表に記載なし | | グラフ学 | 73.4% | 44.8% | 64.4% | 71.0% | 72.5% |
FableのFrontierCode値は高努力レベルと報告され、Anthropicの発表も一部の競合実行における努力の差異を特定している。これらの設定の詳細は単純化されたランキングを制限している。
FrontierCode 2.0：モデルは実際のリポジトリを変えられるか？
FrontierCodeは、単に合理的なコード断片を生成する以上の、より高度なソフトウェアエンジニアリングタスクを評価します。モデルはプロジェクト構造をナビゲートし、依存関係を推論し、一貫性のある編集を行い、ツールを使用し、実行可能なチェックを満たす必要があります。Fable 5.2は32.4%から49.1%に向上し、このバージョンが長周期コーディングにおいて進展を遂げた最も明確な指標です。
制約は移行にある。文書化されていないサービス、カスタムビルドツール、脆弱なテストを含むプライベートモノレポは、ベースライン環境とは大きく異なる可能性がある。内部のマージ可能性と手動レビュー時間は、公開されたパーセンテージよりも重要である。
RoboDojo Sim：インタラクティブ環境での行動計画
RoboDojo Sim テストシミュレーションロボットタスクは、その成功が知覚状態、動作選択、および計画失敗時の回復に依存します。公開された評価では、Fable 5.2 の 64.9% の結果は、Fable 5.1 の 27.6% の2倍以上です。
これはシミュレーションタスク解決に関する証拠であり、教師なしの物理ロボットが安全であることを証明するものではありません。実システムでは、ノイズセンサー、時間制約、機械的故障、そしてシミュレーターが完全に再現できない結果が導入されます。物理的な展開には、動作の制約、独立した安全システム、そして人間による監視が必要です。
Terminal-Bench-Science：ツールによる科学的探求
Terminal-Bench-Scienceは、モデルがターミナル環境で科学問題を解決することを要求します。ファイルの確認、コードの実行、データの変換、結果の検証が必要であり、記憶に頼って回答するのではありません。Fable 5.2は74.6%に達し、アクセス制限のあるMythosバリアントは75.3%に達しました。
この結果は、Fableを科学ワークフローアシスタントとして使用することをサポートしますが、生成された発見を検証済みの科学的成果に変換することはできません。再現可能なスクリプト、データのトレーサビリティ、統計的レビュー、および分野の専門家による解釈が依然として必要です。
グラフ理論とツール支援による知識作業
73.4%のグラフ分析スコアは、グラフの解釈とデータの視覚的提示における向上を示しています。人間の最終試験でツールを活用して74.2%の成績を達成したことは、難易度の高い知識問題に対処する際の強力な情報検索とツール調整能力を示しています。これらの成果は、テキスト、画像、外部操作を組み合わせた研究型エージェントと密接に関連しています。
しかし、全体的な精度は危険なエラーのクラスターを隠す可能性があります。実際に製品が受け取るグラフの種類、単位、言語、および分野の慣習を評価してください。
AIベンチマーク表を読むための5つのルール
- 比較しているのは、ツールチェーン、ツール、作業量、サンプリング方法であり、単なるモデル名ではない。
- サプライヤーが報告した結果と独立して再現された結果を分離する。
- 利用可能な場合、信頼区間とタスクレベルの分布を確認します。
- 合格率を測定すると同時に、コストと遅延も測定する。
- ベンチマークのパーセンテージを直接本番環境のSLAに変換しないでください。
ベンチマークを購買判断に変える
実際の業務から小さな「ハードデータセット」を作成する：失敗したコーディングチケット、困難な分析、乱雑なグラフ、復旧が必要なツールフロー。出力をブラインドレビューし、客観的な完成度、事実の裏付け、安全性、遅延、修正時間を評価する。固定された作業量の下で、FableをOpus 5.5および現在の主流システムと比較する。勝者は、リスク調整後の受け入れられた結果あたりのコストが最も低いシステムである。
よくある質問
Anthropic は公開記事で Fable 5.2 の FrontierMath スコアを発表しましたか？
今回の評価で使用された公開資料はFrontierCode 2.0を報告しています。そのため、未検証のFrontierMathの結果を主張するのではなく、要求されたタイトルを訂正しました。
努力の度合いが重要なのはなぜですか？
より高い努力は推論を改善できる一方、トークン使用量と遅延を増加させます。xhighの実行をmediumの実行と比較することは、純粋なモデル比較ではありません。
サプライヤーベンチマークは役に立たないのか？
いいえ。それらは有望な能力を認識し、テストの優先順位付けを支援します。一般的な生産結果として扱われた場合にのみ、誤解を招くものになります。
