GPT-6.1 推理強度測試：品質、速度與成本比較
GPT-6.1 Sol 支援五種 reasoning.effort 等級：low、medium、high、xhigh 和 max。預設值為 medium。此模型不支援 none 或 minimal。
這些等級並非「讓答案變得更長」的設定。較高的努力程度通常允許模型花費更多心力在規劃、比較替代方案、檢查錯誤，以及處理困難的序列上。這也可能增加延遲時間與 token 使用量。OpenAI 的建議是，僅在評估顯示品質提升足以抵銷額外成本與延遲時，才使用較高的等級。
本文提出了一種可重現的測試方法，並說明每個層級的典型角色。在沒有原始執行日誌可供參考時，本文不會將估計數字當作測量結果呈現。
每個推理層級的用途
| 投入程度 | 適合的起點 | 常見誤用 |
| low | 草稿、例行分析、執行導向的編碼、低風險的工具工作 | 需要深入權衡的高風險問題 |
| medium | 大多數生產任務、研究、代理式編碼及專業文件 | 未先測量基準值即升級至 high |
| high | 複雜的除錯、深度規劃與高價值分析 | 簡單的提取與格式化 |
| xhigh | 長時間執行的研究、安全審查及困難的代理任務 | 假設較慢自動意味著更準確 |
| max | 一小組最複雜、最高價值的任務 | 將其設為全域預設值 |
OpenAI 將 medium 描述為在多數工作負載中，品質、可靠性、延遲和成本之間的平衡點。這使其成為正確的基準：從該點向上和向下進行比較。
測試 1：結構化提取
準備50份格式不一致的短文件，並要求輸出符合固定JSON Schema的結果。評分欄位準確性、Schema有效性及成本。
關鍵問題在於 low 是否已經可靠地通過。如果是，額外的推理可能只會增加很少的商業價值。結構化提取通常更能從精確的架構、範例和驗證器中受益，而非最大化的推理。
測試 2：複雜程式碼修復
選擇20個具有可重現失敗測試的真實缺陷。模型必須找出原因、進行最小改動，並執行相關測試。根據測試成功、回歸、不必要的變更以及審查時間進行評分。
此類別更可能從 high 中受益，因為模型必須跨檔案進行推理、比較可能的修復方案，並檢查副作用。不過，仍需衡量 medium 是否能達到相同結果。若成效相同，額外的推理只會增加成本與延遲。
測試3：長文檔決策分析
提供多份政策、合約或研究文件，並要求提出結論、反證及逐項引用。針對事實準確性、引用相符度、遺漏及無依據推論進行評分。
較高的努力程度可能有助於處理衝突與模糊性，但來源選擇與證據要求可能比設定更為重要。用一百萬個 token 的上下文塞滿不相關的文件，並不會自動提升分析品質。
測試4：故事與鏡頭規劃
使用一個故事段落，並要求場景目標、角色狀態、鏡頭順序、連續性限制及所需資產。讓編輯或導演在不看到推理層級的情況下評估輸出結果。
不要將創意評分為「更多細節」。應評估結構是否服務於故事、鏡頭是否可執行、連貫性是否正確，以及修改時間是否減少。更高層次的推理可能會產生更多替代方案，但未必能改善最終選擇。
若該計畫後續移至 ElserStudio 進行鏡頭生成與剪輯，請加入製作衡量指標：鏡頭清單需要多少次修改？是否遺漏了角色、場景或道具？生成的素材能否構成連貫的序列？這將模型評估與真實的創意工作流程連結起來。
如何衡量速度與成本
記錄每次運行的模型、努力程度、推理模式、輸入令牌、快取輸入、輸出令牌、總持續時間、首次令牌時間、工具呼叫、重試次數以及最終接受結果。
不要只回報平均延遲。生產系統也應檢視 P50 與 P95。不要只回報每次嘗試的 token 成本；應計算每個成功任務的成本。
每個成功任務的成本 = 所有嘗試的成本 / 已接受任務的數量
對於需要人工審查的工作，請加入編輯、工程師或領域專家的修訂時間。
## 標準版與專業版並非額外的努力等級
GPT-6.1 Sol 亦支援 `standard` 與 `pro` 推理模式。`standard` 為預設模式。`pro` 模式會執行更多模型運算，適用於可容忍較高延遲與更多 token 使用的困難任務。
推理模式與推理強度是相互獨立的。你可以比較 `standard + medium` 與 `pro + medium`，或是在同一模式內比較 `medium` 與 `high`。若想進行可解讀的實驗，請一次只變更一個變數。
## 實用的推出政策
1. 在 `medium` 上執行完整的評估集，以建立基準。
2. 將低風險任務設定為 `low`；若品質未明顯下降，則將其設為該路線的預設值。
3. 僅對在 `medium` 級別失敗的有價值任務測試 `high`。
4. 僅在盲測評估與成本數據皆顯示出顯著效益時，才啟用 `xhigh` 或 `max`。
5. 在最具挑戰性的任務上分別比較 `standard` 和 `pro`；請勿全域啟用 pro。
## 結論
沒有普遍最佳的 GPT-6.1 推理強度。**低強度偏向效率，中強度是生產環境的基準，高強度適用於困難且高價值的工作，而極高或最高強度則必須透過評估來證明其價值。**
成熟的系統應根據任務類型、失敗成本、驗證結果和延遲預算來分配運算資源，而非要求使用者自行猜測。更多的推理並不自動等同於更好的商業成果。最佳設定是能以最低成本穩定通過驗收的選項。
