Test GPT-6.1 sullo sforzo di ragionamento: qualità, velocità e costi a confronto

GPT-6.1 Sol supporta cinque livelli di reasoning.effort: low, medium, high, xhigh e max. Il valore predefinito è medium. Il modello non supporta none o minimal.

Questi livelli non sono impostazioni per "rendere la risposta più lunga". Uno sforzo maggiore generalmente consente al modello di dedicare più lavoro alla pianificazione, al confronto delle alternative, al controllo degli errori e alla gestione di sequenze difficili. Può anche aumentare la latenza e l'uso dei token. La guida di OpenAI è di utilizzare livelli più alti solo quando la valutazione mostra che il miglioramento della qualità giustifica il costo e il ritardo aggiuntivi.

Questo articolo presenta un metodo di test riproducibile e spiega il ruolo tipico di ciascun livello. Non presenta numeri stimati come misurazioni quando non è disponibile un log di esecuzione grezzo.

A cosa serve ogni livello di ragionamento

| Impegno | Buon punto di partenza per | Uso improprio comune | | low | Bozze, analisi di routine, codifica orientata all'esecuzione, lavoro con strumenti a rischio inferiore | Domande ad alto rischio che richiedono compromessi profondi | | medium | La maggior parte delle attività di produzione, ricerca, coding agentico e documenti professionali | Passare a high senza prima misurare la baseline | | high | Debugging complesso, pianificazione approfondita e analisi ad alto valore | Estrazione e formattazione semplici | | xhigh | Ricerca a lungo termine, revisione della sicurezza e compiti complessi per agenti | Presupponendo che più lento significhi automaticamente più accurato | | max | Un piccolo insieme dei compiti più complessi e di maggior valore | Impostarlo come predefinito globale |

OpenAI descrive medium come un punto equilibrato per qualità, affidabilità, latenza e costo nella maggior parte dei carichi di lavoro. Questo lo rende la baseline giusta: confronta sia verso il basso che verso l'alto da lì.

Test 1: Estrazione strutturata

Prepara 50 documenti brevi con formattazione incoerente e richiedi un output che corrisponda a uno Schema JSON fisso. Valuta l'accuratezza dei campi, la validità dello schema e il costo.

La domanda chiave è se low già supera in modo affidabile. Se è così, un ragionamento aggiuntivo potrebbe aggiungere poco valore commerciale. L'estrazione strutturata spesso trae più beneficio da uno schema preciso, esempi e un validatore che da un ragionamento massimo.

Test 2: Riparazione di codice complesso

Seleziona 20 difetti reali con test falliti riproducibili. Il modello deve identificare la causa, apportare una modifica minima ed eseguire i test pertinenti. Valuta il successo del test, le regressioni, le modifiche non necessarie e il tempo di revisione.

Questa categoria ha più probabilità di trarre beneficio da high perché il modello deve ragionare tra file, confrontare possibili correzioni e verificare gli effetti collaterali. Tuttavia, misura se medium raggiunge lo stesso risultato. Se il successo è uguale, un ragionamento extra aggiunge solo costi e ritardi.

Test 3: Analisi decisionale su documenti lunghi

Fornire diverse policy, contratti o documenti di ricerca e richiedere una conclusione, controprove e citazioni dettagliate. Valutare l'accuratezza fattuale, la corrispondenza delle citazioni, le omissioni e le inferenze non supportate.

Un maggiore sforzo può aiutare con conflitti e ambiguità, ma la selezione delle fonti e i requisiti di evidenza possono contare più dell'impostazione. Riempire un contesto di un milione di token con documenti irrilevanti non migliora automaticamente l'analisi.

Test 4: Pianificazione della storia e delle inquadrature

Usa un passaggio della storia e richiedi obiettivi di scena, stati dei personaggi, ordine delle inquadrature, vincoli di continuità e risorse necessarie. Fai valutare i risultati a montatori o registi senza mostrare il livello di ragionamento.

Non valutare la creatività come "più dettaglio." Valuta se la struttura serve la storia, se le inquadrature sono eseguibili, se la continuità è corretta e se il tempo di revisione è ridotto. Un ragionamento più approfondito può produrre più alternative senza migliorare la scelta finale.

Se il piano si sposta successivamente in ElserStudio per la generazione e il montaggio delle inquadrature, aggiungi misure di produzione: Quante modifiche richiede l'elenco delle inquadrature? Ha omesso un personaggio, una location o un oggetto di scena? Il materiale generato può formare una sequenza coerente? Questo collega la valutazione del modello a un flusso di lavoro creativo reale.

Come misurare velocità e costo

Registra il modello, il livello di sforzo, la modalità di ragionamento, i token di input, l'input in cache, i token di output, la durata totale, il tempo al primo token, le chiamate agli strumenti, i tentativi e il risultato finale di accettazione per ogni esecuzione.

Non riportare solo la latenza media. I sistemi in produzione dovrebbero esaminare anche P50 e P95. Non riportare solo il costo dei token per tentativo; calcola il costo per attività completata con successo.

Costo per attività riuscita = costo di tutti i tentativi / numero di attività accettate

Per il lavoro che richiede revisione umana, aggiungi il tempo di revisione dell'editor, dell'ingegnere o dell'esperto della materia.

## Standard e pro non sono livelli di impegno aggiuntivi

GPT-6.1 Sol supporta anche le modalità di ragionamento `standard` e `pro`. Standard è quella predefinita. Pro esegue più lavoro del modello ed è pensata per compiti difficili che possono tollerare una maggiore latenza e un maggiore uso di token.

La modalità di ragionamento e lo sforzo di ragionamento sono indipendenti. Puoi confrontare `standard + medium` con `pro + medium`, oppure confrontare `medium` e `high` all'interno di una stessa modalità. Cambia solo una variabile alla volta se vuoi un esperimento interpretabile.

## Una politica di rollout pratica

1. Esegui l'intero set di valutazione a `medium` per stabilire una baseline.
2. Esegui le attività a basso rischio a `low`; se la qualità non diminuisce in modo significativo, impostalo come predefinito per quel percorso.
3. Testa `high` solo per attività preziose che falliscono a `medium`.
4. Abilita `xhigh` o `max` solo quando la valutazione cieca e i dati sui costi mostrano entrambi un beneficio significativo.
5. Confronta `standard` e `pro` separatamente sui compiti più difficili; non abilitare pro a livello globale.

## La conclusione

Non esiste uno sforzo di ragionamento GPT-6.1 universalmente migliore. **Basso favorisce l'efficienza, medio è la baseline di produzione, alto è riservato a lavori difficili e di alto valore, e xhigh o max devono guadagnarsi il loro posto tramite valutazione.**

Un sistema maturo dovrebbe instradare lo sforzo in base al tipo di attività, al costo del fallimento, ai risultati della validazione e al budget di latenza, piuttosto che chiedere agli utenti di indovinare. Più ragionamento non significa automaticamente un miglior risultato aziendale. L'impostazione migliore è quella meno costosa che supera in modo affidabile l'accettazione.