GPT-6.1 推理能力测试：质量、速度与成本对比
GPT-6.1 Sol 支持五个 reasoning.effort 级别：low、medium、high、xhigh 和 max。默认值为 medium。该模型不支持 none 或 minimal。
这些级别并不是“让答案更长”的设置。更高的投入通常会让模型在规划、比较备选方案、检查错误以及处理复杂序列上花费更多精力。这也可能增加延迟和令牌使用量。OpenAI 的建议是，仅在评估显示质量提升足以抵消额外成本和延迟时，才使用更高级别。
本文介绍了一种可复现的测试方法，并解释了每个层级的典型作用。在没有原始执行日志可用时，本文不会将估算数值作为测量结果呈现。
每个推理级别的用途
| 工作量 | 适合的起点 | 常见误用 |
| low | 草稿、常规分析、执行导向的编码、低风险工具工作 | 需要深度权衡的高风险问题 |
| medium | 大多数生产任务、研究、智能编码和专业文档 | 在未测量基线的情况下升级到 high |
| high | 复杂调试、深度规划和高价值分析 | 简单提取与格式化 |
| xhigh | 长期研究、安全审查和困难代理任务 | 假设较慢自动意味着更准确 |
| max | 一组最复杂、价值最高的任务 | 将其设为全局默认值 |
OpenAI 将 medium 描述为在大多数工作负载中，质量、可靠性、延迟和成本之间的平衡点。这使得它成为合适的基准：可以以此为参照，向上或向下进行比较。
测试1：结构化提取
准备50份格式不一致的短文档，并要求输出符合固定JSON Schema。对字段准确性、Schema有效性和成本进行评分。
关键问题在于low是否已经能够可靠地通过。如果是这样，额外的推理可能增加不了多少商业价值。结构化提取通常更多受益于精确的架构、示例和验证器，而非最大化的推理。
测试2：复杂代码修复
选择20个具有可复现失败测试的真实缺陷。模型必须识别原因，进行最小化修改，并运行相关测试。对测试成功率、回归问题、不必要的更改以及审查时间进行评分。
此类别更可能从high中受益，因为模型必须跨文件推理、比较可能的修复方案并检查副作用。不过，仍需衡量medium是否能达到相同结果。如果成功率相同，额外的推理只会增加成本和延迟。
测试3：长文档决策分析
提供若干政策、合同或研究文档，并要求给出结论、反证和逐项引用。对事实准确性、引用匹配、遗漏和无依据推断进行评分。
更高的努力可能有助于解决冲突和歧义，但来源选择和证据要求可能比环境更重要。用不相关的文档填满百万令牌的上下文并不会自动改善分析。
测试4：故事与镜头规划
使用一个故事段落，并请求场景目标、角色状态、镜头顺序、连续性约束和所需资产。让剪辑师或导演在不查看推理层级的情况下评估输出结果。
不要将创意评分为“更多细节”。评估结构是否服务于故事、镜头是否可执行、连续性是否正确，以及修改时间是否减少。更高的推理可能会产生更多备选方案，但未必能改进最终选择。
如果该计划后续进入 ElserStudio 进行镜头生成和编辑，需增加制作评估指标：镜头列表需要多少次修改？是否遗漏了角色、场景或道具？生成的素材能否形成连贯的序列？这将模型评估与实际创意工作流程联系起来。
如何衡量速度和成本
记录每次运行的模型、努力级别、推理模式、输入令牌、缓存输入、输出令牌、总时长、首令牌时间、工具调用、重试次数以及最终接受结果。
不要仅报告平均延迟。生产系统还应检查P50和P95。不要仅报告每次尝试的令牌成本；应计算每个成功任务的成本。
每个成功任务的成本 = 所有尝试的成本 / 被接受的任务数量
对于需要人工审核的工作，请增加编辑、工程师或领域专家的修订时间。
## 标准版和专业版并非额外的努力等级
GPT-6.1 Sol 还支持 `standard` 和 `pro` 推理模式。Standard 是默认模式。Pro 会执行更多模型工作，适用于能够容忍更高延迟和更多令牌消耗的困难任务。
推理模式与推理努力是相互独立的。你可以比较 `标准 + 中等` 与 `专业 + 中等`，或在同一种模式下比较 `中等` 和 `高`。若希望实验具有可解释性，请每次只改变一个变量。
## 实用的推出策略
1. 在 `medium` 上运行完整评估集以建立基线。
2. 在 `low` 级别运行低风险任务；如果质量没有实质性下降，则将其设为该路由的默认值。
3. 仅对在 `medium` 级别失败的有价值任务测试 `high`。
4. 仅在盲评和成本数据均显示有意义的收益时，才启用 `xhigh` 或 `max`。
5. 在最具挑战性的任务上分别比较 `standard` 和 `pro`；不要全局启用 pro。
## 底线
不存在普遍最佳的GPT-6.1推理努力程度。**低推理努力偏向效率，中等是生产基线，高推理努力适用于困难的高价值工作，而极高或最大推理努力必须通过评估来证明其价值。**
成熟的系统应根据任务类型、失败成本、验证结果和延迟预算来分配推理资源，而不是让用户自行猜测。更多的推理并不自动意味着更好的业务结果。最佳设置是能以最低成本稳定通过验收的方案。
