Claude Fable 5.2 基準測試評測：FrontierCode 2.0、RoboDojo 與 Terminal-Bench-Science
Anthropic 的 Claude Fable 5.2 版本報告指出，在倉庫編碼、模擬機器人、終端科學、可視化圖表解讀以及工具使用型知識工作方面取得了顯著進展。標題數據表現強勁。但負責任的結論更為審慎：Fable 5.2 是複雜可執行工作流程的一個有前景的候選方案，各組織現在應在其自身任務上進行測試。
一個重要的更正。最初提議的文章標題提到了 FrontierMath，但 Anthropic 的 Fable 5.2 發布資料中顯著報告的是 FrontierCode 2.0，而非 Fable 5.2 的 FrontierMath 結果。本評測使用已確認的基準測試，而非將兩者視為可互換。
已確認的發布結果
| 基準測試 | Fable 5.2 | Fable 5.1 | Opus 5.5 | GPT-6 Astra | Gemini 4 Carbon | |---|---:|---:|---:|---:|---:| | FrontierCode 2.0 | 49.1% | 32.4% | 45.5% | 42.8% | 41.1% | | FrontierSWE v2 | 69.9% | 56.3% | 62.3% | 65.5% | 61.2% | | Terminal-Bench-Science 0.1 | 74.6% | 52.6% | 58.7% | 68.1% | 64.8% | | RoboDojo 模擬器 | 64.9% | 27.6% | 39.4% | 29.8% | 發布表中未說明 | | 人類終極考試（含工具） | 74.2% | 65.6% | 67.7% | 57.2% | 發布表中未說明 | | 圖表學 | 73.4% | 44.8% | 64.4% | 71.0% | 72.5% |
Fable的FrontierCode值被報告為高努力水平；Anthropic的發布也識別出一些競爭運行中的努力差異。這些配置細節限制了簡單化的排名。
FrontierCode 2.0：模型能否改變真實倉庫？
FrontierCode 評估那些需要生成合理程式碼片段之外、要求更高的軟體工程任務。模型必須能夠導覽專案結構、推斷依賴關係、進行連貫編輯、使用工具，並滿足可執行檢查。Fable 5.2 從 32.4% 提升至 49.1%，是該版本在長週期編碼方面取得進展的最明顯標誌。
限制在於遷移。一個包含未文檔化服務、自訂建置工具和薄弱測試的私有單體倉庫，可能與基準環境相去甚遠。內部的可合併性和人工審查時間比公開的百分比更為重要。
RoboDojo Sim：在互動式環境中規劃行動
RoboDojo Sim 測試模擬機器人任務，其成功取決於感知狀態、選擇動作以及在計劃失敗時進行恢復。在已發佈的評估中，Fable 5.2 的 64.9% 結果比 Fable 5.1 的 27.6% 高出兩倍以上。
這是關於模擬任務求解的證據，不能證明無監督的物理機器人是安全的。真實系統會引入噪聲感測器、時間約束、機械故障以及模擬器無法完全重現的後果。物理部署需要約束動作、獨立安全系統以及人類監督。
Terminal-Bench-Science：透過工具進行科學探索
Terminal-Bench-Science要求模型在終端環境中解決科學問題。它們可能需要檢查檔案、執行程式碼、轉換資料並驗證結果，而非憑記憶作答。Fable 5.2達到74.6%；受存取限制的Mythos變體達到75.3%。
該結果支援將Fable用作科學工作流程助手，但並不能將生成的發現轉化為經過驗證的科學成果。可重現的腳本、數據溯源、統計審查以及領域專家的解讀仍然是必要的。
圖表學與工具輔助的知識工作
73.4%的圖表分析得分表明在解讀圖表與視覺呈現數據方面有所提升。在人類終極考試中借助工具取得74.2%的成績，表明在應對高難度知識問題時具備強大的資訊檢索與工具協調能力。這兩項成果均與結合文本、圖像及外部操作的研究型智能體密切相關。
然而，整體準確率可能掩蓋危險的錯誤集群。請評估您的產品實際接收的圖表類型、單位、語言和領域慣例。
閱讀AI基準測試表的五條規則
- 比較的是工具鏈、工具、工作量與採樣方式，而不僅僅是模型名稱。
- 將供應商報告的結果與獨立複現的結果分開。
- 在可用時查找信賴區間和任務級分佈。
- 在衡量通過率的同時，也要衡量成本和延遲。
- 切勿將基準測試百分比直接轉化為生產環境SLA。
將基準測試轉化為購買決策
從實際工作中建立一個小的「硬資料集」：失敗的編碼工單、困難的分析、雜亂的圖表以及需要恢復的工具流程。對輸出進行盲審，並評分客觀完成度、事實支持、安全性、延遲和修正時間。在固定工作量下比較Fable與Opus 5.5及當前主流系統。勝出者是風險調整後每個被接受結果成本最低的系統。
常見問題解答
Anthropic 在發布文章中是否公布了 Fable 5.2 的 FrontierMath 分數？
本次評測使用的發布材料報告了FrontierCode 2.0。因此，我們更正了所請求的標題，而不是斷言一個未經核實的FrontierMath結果。
為什麼努力程度很重要？
更高的努力可以改善推理，同時增加令牌使用和延遲。將xhigh運行與medium運行進行比較並非純粹的模型比較。
供應商基準測試毫無用處嗎？
不。它們識別有前景的能力並幫助確定測試的優先級。只有當被當作通用的生產結果時，它們才會變得具有誤導性。
