GPT-6.1 與 GPT-5.6:在相同任務上的差異有多大?

來源: Elser AI

官方文檔能夠確立的事實是直截了當的。GPT-6.1 Sol 和 GPT-5.6 Sol 具有相似的標題上下文和輸入/輸出限制,但 GPT-6.1 Sol 擁有更新的定位、更晚的知識截止日期以及更低的 Standard API 令牌價格。

「在相同任務上表現好多少?」無法透過模型名稱或定價表計算出來。一個站得住腳的答案需要相同的輸入、工具、推理努力和盲評標準。因此,本文將已證實的差異與公平測試仍需衡量的內容區分開來。

官方規格對比

| 項目 | GPT-6.1 解決方案 | GPT-5.6 解決方案 | | 模型 ID | gpt-6.1-sol | gpt-5.6-sol | | 官方定位 | 以更低成本實現接近Astra級別的複雜工作效能 | GPT-5.6旗艦級,專為複雜專業工作打造 | | 上下文窗口 | 1,050,000 個令牌 | 1,050,000 個令牌 | | 最大輸入 | 922,000 tokens | 922,000 tokens | | 最大輸出 | 128,000 個令牌 | 128,000 個令牌 | | 知識截止日期 | 2026年4月30日 | 2026年2月16日 | | 推理努力 | low 到 max;無 none 或 minimal | none 到 max | | 標準短上下文輸入價格 | 每百萬 tokens 2 美元 | 每百萬 tokens 4 美元 | | 標準短上下文輸出價格 | 每百萬令牌10美元 | 每百萬令牌20美元 |

GPT-6.1 Sol 所列的輸入和輸出價格是 GPT-5.6 Sol 的一半。但這並不會自動將成功任務的成本減半。輸出長度、推理使用、重試次數以及人工返工仍然很重要。

一個有意義的比較集應該包含什麼?

至少使用六個任務族,每個任務族包含10到30個代表性樣本:

  1. 約束遵循: 結合格式、長度、必需元素和禁止元素。
  2. 長文檔問題: 需要引用證據,並包含一些無法回答的問題。
  3. 複雜程式碼修復: 對測試結果、回歸問題和無關更改進行評分。
  4. 工具使用: 需要搜尋、檔案存取或程式碼執行才能完成任務。
  5. 結構化提取: 評估模式有效性和欄位準確性。
  6. 專業寫作: 使用無法看到每份草稿由哪個模型生成的編輯人員,並記錄修訂時間。

不要讓一個謎題或數學問題代表生產工作負載。模型差異通常表現為不同任務類別中失敗模式的變化,而不是一個統一的分數。

什麼必須保持不變?

兩個模型需要相同的系統指令、輸入、工具、輸出限制和推理努力。在預算允許的情況下,多次運行每個樣本,以減少隨機變異的影響。

至少記錄:

  • 一次完成。
  • 硬約束合規性。
  • 可驗證的事實準確性。
  • 工具呼叫成功。
  • 輸入、快取輸入、輸出以及與推論相關的使用量。
  • 首次令牌生成時間、總時間和重試次數。
  • 人工審核會議紀要。

評估者不應看到模型名稱。否則,對新模型「應該」更好的預期可能會使主觀評分產生偏差。

官方文件提出的假設

以下是一些可檢驗的假設,而非未經測量的結論:

  • GPT-6.1 Sol 可能是複雜工作的更好預設候選,因為 OpenAI 明確將其定位為低成本、接近 Astra 的選項。
  • 依賴截至2026年初的內建知識的任務可能受益於GPT-6.1 Sol較晚的知識截止日期。當前事實仍需即時搜尋。
  • GPT-5.6 Sol 提供了 none 推理設定,而 GPT-6.1 Sol 沒有,這可能對現有的延遲敏感工作流很重要。
  • 如果任務成功率相近,GPT-6.1 Sol 更低的 token 價格應能顯著降低總成本。

不要忽視遷移風險

升級並不總是單行模型ID的變更。GPT-6.1 Sol不支援none或minimal推理力度,其工具呼叫應使用Responses API。依賴Chat Completions工具呼叫或硬編碼none的系統將需要相容性工作。

提示詞可能也需要調整。首先運行一個零變更基線,以便遷移成本可見。然後針對新模型優化提示詞,並單獨報告該結果。這區分了「直接替換」的效能與「適應後最佳可達」的效能。

如何做出發布決策

使用三道門:

  1. 硬約束通過率不得低於現有模型。
  2. 高風險任務中的關鍵錯誤不得增加。
  3. 每項成功任務的總成本——包括審查和返工——必須達到業務目標。

如果GPT-6.1 Sol只在某些工作上勝出,請有選擇性地路由,而不是取代所有內容。它可能處理跨檔案編碼、研究和複雜文件,而現有的GPT-5.6 Sol路徑暫時保留,用於依賴none推理工作量的工作負載。

底線

官方規格說明傳遞了一個強烈信號:GPT-6.1 Sol 以更低價格瞄準複雜工作,且知識截止日期更晚。規格說明不能替代實際評估。

關於「差異」的可發表聲明應準確說明在特定任務集中,一次性成功率、P95延遲、每項成功任務的成本以及人工返工情況發生了怎樣的變化。在獲得這些日誌之前,專家的答案不是發明一個評分——而是清晰地說明已知的內容以及仍需測試的內容。

最新發布