Claude Fable 5.2 基准测试评测：FrontierCode 2.0、RoboDojo 与 Terminal-Bench-Science
Anthropic 的 Claude Fable 5.2 版本报告称，在仓库编码、模拟机器人、终端科学、可视化图表解读以及工具使用型知识工作方面取得了显著进展。标题数据表现强劲。但负责任的结论更为审慎：Fable 5.2 是复杂可执行工作流的一个有前景的候选方案，各组织现在应在其自身任务上进行测试。
一个重要的更正。最初提议的文章标题提到了 FrontierMath，但 Anthropic 的 Fable 5.2 发布材料中显著报告的是 FrontierCode 2.0，而非 Fable 5.2 的 FrontierMath 结果。本评测使用已确认的基准测试，而非将两者视为可互换。
已确认的发布结果
| 基准测试 | Fable 5.2 | Fable 5.1 | Opus 5.5 | GPT-6 Astra | Gemini 4 Carbon | |---|---:|---:|---:|---:|---:| | FrontierCode 2.0 | 49.1% | 32.4% | 45.5% | 42.8% | 41.1% | | FrontierSWE v2 | 69.9% | 56.3% | 62.3% | 65.5% | 61.2% | | Terminal-Bench-Science 0.1 | 74.6% | 52.6% | 58.7% | 68.1% | 64.8% | | RoboDojo 模拟器 | 64.9% | 27.6% | 39.4% | 29.8% | 发布表中未说明 | | 人类终极考试（含工具） | 74.2% | 65.6% | 67.7% | 57.2% | 发布表中未说明 | | 图表学 | 73.4% | 44.8% | 64.4% | 71.0% | 72.5% |
Fable的FrontierCode值被报告为高努力水平；Anthropic的发布也识别出一些竞争运行中的努力差异。这些配置细节限制了简单化的排名。
FrontierCode 2.0：模型能否改变真实仓库？
FrontierCode 评估那些需要生成合理代码片段之外的、要求更高的软件工程任务。模型必须能够导航项目结构、推断依赖关系、进行连贯编辑、使用工具，并满足可执行检查。Fable 5.2 从 32.4% 提升至 49.1%，是该版本在长周期编码方面取得进展的最明显标志。
限制在于迁移。一个包含未文档化服务、自定义构建工具和薄弱测试的私有单体仓库，可能与基准环境相去甚远。内部的可合并性和人工审查时间比公开的百分比更为重要。
RoboDojo Sim：在交互式环境中规划行动
RoboDojo Sim 测试模拟机器人任务，其成功取决于感知状态、选择动作以及在计划失败时进行恢复。在已发布的评估中，Fable 5.2 的 64.9% 结果比 Fable 5.1 的 27.6% 高出两倍以上。
这是关于模拟任务求解的证据，不能证明无监督的物理机器人是安全的。真实系统会引入噪声传感器、时间约束、机械故障以及模拟器无法完全复现的后果。物理部署需要约束动作、独立安全系统以及人类监督。
Terminal-Bench-Science：通过工具进行科学探索
Terminal-Bench-Science要求模型在终端环境中解决科学问题。它们可能需要检查文件、运行代码、转换数据并验证结果，而非凭记忆作答。Fable 5.2达到74.6%；受访问限制的Mythos变体达到75.3%。
该结果支持将Fable用作科学工作流助手，但并不能将生成的发现转化为经过验证的科学成果。可复现的脚本、数据溯源、统计审查以及领域专家的解读仍然是必要的。
图表学与工具辅助的知识工作
73.4%的图表分析得分表明在解读图表和视觉呈现数据方面有所提升。在人类终极考试中借助工具取得74.2%的成绩，表明在应对高难度知识问题时具备强大的信息检索与工具协调能力。这两项成果均与结合文本、图像及外部操作的研究型智能体密切相关。
然而，总体准确率可能掩盖危险的错误集群。请评估您的产品实际接收的图表类型、单位、语言和领域惯例。
阅读AI基准测试表的五条规则
- 比较的是工具链、工具、工作量与采样方式，而不仅仅是模型名称。
- 将供应商报告的结果与独立复现的结果分开。
- 在可用时查找置信区间和任务级分布。
- 在衡量通过率的同时，也要衡量成本和延迟。
- 切勿将基准测试百分比直接转化为生产环境SLA。
将基准测试转化为购买决策
从实际工作中创建一个小的“硬数据集”：失败的编码工单、困难的分析、杂乱的图表以及需要恢复的工具流程。对输出进行盲审，并评分客观完成度、事实支持、安全性、延迟和修正时间。在固定工作量下比较Fable与Opus 5.5及当前主流系统。胜出者是风险调整后每个被接受结果成本最低的系统。
常见问题解答
Anthropic 在发布文章中是否公布了 Fable 5.2 的 FrontierMath 分数？
本次评测使用的发布材料报告了FrontierCode 2.0。因此，我们更正了所请求的标题，而不是断言一个未经核实的FrontierMath结果。
为什么努力程度很重要？
更高的努力可以改善推理，同时增加令牌使用和延迟。将xhigh运行与medium运行进行比较并非纯粹模型比较。
供应商基准测试毫无用处吗？
不。它们识别有前景的能力并帮助确定测试的优先级。只有当被当作通用的生产结果时，它们才会变得具有误导性。
