GPT-6.1 推論能力テスト：品質、速度とコストの比較
GPT-6.1 Solは5つのreasoning.effortレベルをサポートしています：low、medium、high、xhigh、max。デフォルト値はmediumです。このモデルはnoneまたはminimalをサポートしていません。
これらのレベルは「回答を長くする」ための設定ではありません。より高い投入は通常、モデルが計画、代替案の比較、エラーのチェック、複雑なシーケンスの処理により多くの労力を費やすことを意味します。これにより、遅延やトークン使用量が増加する可能性もあります。OpenAIは、評価によって品質の向上が追加のコストや遅延を相殺するのに十分であると示された場合にのみ、より高いレベルを使用することを推奨しています。
本稿では、再現可能なテスト方法を紹介し、各レベルの典型的な役割を説明します。元の実行ログが利用できない場合、本稿では推定値を測定結果として提示することはありません。
各推論レベルの用途
| 作業量 | 適した開始点 | よくある誤用 |
| low | 下書き、通常分析、実行指向のコーディング、低リスクのツール作業 | 深いトレードオフを必要とする高リスクの問題 |
| medium | ほとんどの本番タスク、研究、スマートコーディング、専門文書 | 未測定のベースラインで high にアップグレード |
| high | 複雑なデバッグ、深い計画、高価値分析 | 簡単な抽出とフォーマット |
| xhigh | 長期研究、安全審査および困難なエージェントタスク | 遅い自動はより正確であると仮定 |
| max | 最も複雑で価値の高いタスクのグループ | これをグローバルデフォルトに設定 |
OpenAIは、mediumを、ほとんどのワークロードにおいて、品質、信頼性、レイテンシー、コストのバランスが取れた点であると説明しています。これにより、適切な基準となり、これを参照にして、上または下に比較することができます。
テスト1：構造化抽出
50個のフォーマットが統一されていない短いドキュメントを用意し、固定のJSON Schemaに準拠した出力を要求する。フィールドの正確性、Schemaの有効性、およびコストを評価する。
重要な問題は、lowがすでに確実に通過できるかどうかにある。もしそうであれば、追加の推論は商業的価値をあまり増やさない可能性がある。構造化抽出は通常、最大限の推論よりも、正確なアーキテクチャ、例、バリデータからより多くの恩恵を受ける。
テスト2：複雑なコード修正
再現可能な失敗テストを持つ実際の欠陥を20個選択する。モデルは原因を特定し、最小限の修正を行い、関連テストを実行しなければならない。テスト成功率、回帰問題、不要な変更、およびレビュー時間を評価する。
このカテゴリは、モデルがファイルをまたいで推論し、可能な修正案を比較し、副作用を確認する必要があるため、highから恩恵を受ける可能性が高い。ただし、mediumでも同じ結果が得られるかどうかを測定する必要がある。成功率が同じであれば、追加の推論はコストと遅延を増やすだけである。
テスト3：長文書の意思決定分析
いくつかの政策、契約、または研究文書を提供し、結論、反証、および項目ごとの引用を求める。事実の正確性、引用の一致、漏れ、および根拠のない推測を採点する。
より高い努力が紛争や曖昧さの解決に役立つ可能性はあるが、情報源の選択や証拠の要求は環境よりも重要かもしれない。無関係な文書で百万トークンのコンテキストを埋めても、自動的に分析が改善されるわけではない。
テスト4：ストーリーとカメラワークの計画
1つのストーリー段落を使用し、シーンの目標、キャラクターの状態、カメラの順序、連続性の制約、必要なアセットをリクエストします。編集者や監督が推論階層を確認せずに出力結果を評価できるようにします。
クリエイティブを「詳細を追加」と評価しないでください。構造がストーリーに役立っているか、ショットが実行可能か、連続性が正しいか、修正時間が減少しているかを評価してください。より高い推論はより多くの代替案を生み出すかもしれませんが、必ずしも最終的な選択を改善するとは限りません。
この計画がその後 ElserStudio に入り、ショット生成と編集を行う場合、制作評価指標を追加する必要があります：ショットリストは何回の修正が必要か？キャラクター、シーン、または小道具の見落としはないか？生成された素材は一貫したシーケンスを形成できるか？これにより、モデル評価と実際のクリエイティブワークフローが結びつきます。
速度とコストの測定方法
各実行ごとのモデル、努力レベル、推論モード、入力トークン、キャッシュ入力、出力トークン、総時間、最初のトークン時間、ツール呼び出し、再試行回数、および最終受諾結果を記録します。
平均レイテンシのみを報告しないでください。本番システムではP50とP95も確認すべきです。試行ごとのトークンコストだけを報告するのではなく、成功したタスクごとのコストを計算してください。
成功したタスクごとのコスト = すべての試行のコスト / 受け入れられたタスクの数
人手による審査が必要な作業については、編集者、エンジニア、または分野の専門家による修正時間を追加してください。
標準版とプロフェッショナル版は追加の努力レベルではない
GPT-6.1 Sol は standard と pro の推論モードもサポートしています。Standard はデフォルトのモードです。Pro はより多くのモデル処理を実行し、より高い遅延とより多くのトークン消費を許容できる困難なタスクに適しています。
推論モードと推論努力は互いに独立しています。標準 + 中 と 専門 + 中 を比較したり、同じモード内で 中 と 高 を比較したりできます。実験の解釈可能性を高めたい場合は、毎回1つの変数だけを変更してください。
実用的なローンチ戦略
medium上で完全な評価セットを実行してベースラインを確立します。lowレベルで低リスクタスクを実行します。品質に実質的な低下がない場合は、そのルートのデフォルト値に設定します。mediumレベルで失敗した価値のあるタスクに対してのみhighをテストする。- ブラインド評価とコストデータの両方で有意義な利益が示された場合にのみ、
xhighまたはmaxを有効にします。 - 最も困難なタスクにおいて、
standardとproをそれぞれ比較してください。proをグローバルに有効にしないでください。
最低限
普遍的に最適なGPT-6.1推論努力度は存在しません。低推論努力は効率重視、中程度は生産基準、高推論努力は困難で価値の高い作業に適し、非常に高いまたは最大の推論努力は評価によってその価値を証明する必要があります。
成熟したシステムは、タスクの種類、失敗コスト、検証結果、遅延予算に基づいて推論リソースを割り当てるべきであり、ユーザーに推測させるべきではない。より多くの推論が自動的にビジネス成果の向上を意味するわけではない。最適な設定は、最小のコストで安定して受け入れテストを通過できる方案である。
