Test d'Effort de Raisonnement GPT-6.1 : Qualité, Vitesse et Coût Comparés

GPT-6.1 Sol prend en charge cinq niveaux de reasoning.effort : low, medium, high, xhigh et max. La valeur par défaut est medium. Le modèle ne prend pas en charge none ou minimal.

Ces niveaux ne sont pas des réglages de « rendre la réponse plus longue ». Un effort plus élevé permet généralement au modèle de consacrer davantage de travail à la planification, à la comparaison des alternatives, à la vérification des erreurs et au traitement des séquences difficiles. Cela peut également augmenter la latence et l'utilisation de jetons. Les recommandations d'OpenAI sont de n'utiliser des niveaux plus élevés que lorsque l'évaluation montre que l'amélioration de la qualité justifie le coût et le délai supplémentaires.

Cet article présente une méthode de test reproductible et explique le rôle typique de chaque niveau. Il ne présente pas de chiffres estimés comme des mesures lorsqu'aucun journal d'exécution brut n'est disponible.

À quoi sert chaque niveau de raisonnement

| Effort | Bon point de départ pour | Mauvais usage courant | | low | Brouillons, analyses de routine, codage orienté exécution, travail sur des outils à faible risque | Questions à haut risque nécessitant des compromis approfondis | | medium | La plupart des tâches de production, recherche, codage agentique et documents professionnels | Passage à high sans avoir d'abord mesuré la référence | | high | Débogage complexe, planification approfondie et analyse à haute valeur ajoutée | Extraction et mise en forme simples | | xhigh | Recherche de longue durée, revue de sécurité et tâches d'agent difficiles | En supposant que plus lent signifie automatiquement plus précis | | max | Un petit ensemble des tâches les plus complexes et à plus forte valeur | Le définir comme valeur par défaut globale |

OpenAI décrit medium comme un point d'équilibre pour la qualité, la fiabilité, la latence et le coût dans la plupart des charges de travail. Cela en fait la référence appropriée : comparez à la fois en dessous et au-dessus de ce niveau.

Test 1 : Extraction structurée

Préparez 50 documents courts avec un formatage incohérent et exigez une sortie correspondant à un schéma JSON fixe. Évaluez la précision des champs, la validité du schéma et le coût.

La question clé est de savoir si low passe déjà de manière fiable. Si c'est le cas, un raisonnement supplémentaire peut ajouter peu de valeur commerciale. L'extraction structurée bénéficie souvent davantage d'un schéma précis, d'exemples et d'un validateur que d'un raisonnement maximal.

Test 2 : Réparation de code complexe

Sélectionnez 20 défauts réels avec des tests échouants reproductibles. Le modèle doit identifier la cause, apporter une modification minimale et exécuter les tests pertinents. Évaluez la réussite des tests, les régressions, les modifications inutiles et le temps de révision.

Cette catégorie est plus susceptible de bénéficier de high car le modèle doit raisonner à travers les fichiers, comparer les correctifs possibles et vérifier les effets secondaires. Cependant, mesurez si medium atteint le même résultat. Si le succès est égal, un raisonnement supplémentaire n'ajoute que du coût et du délai.

Test 3 : Analyse décisionnelle de documents longs

Fournissez plusieurs politiques, contrats ou documents de recherche et exigez une conclusion, des contre-preuves et des citations détaillées. Évaluez l'exactitude factuelle, la correspondance des citations, les omissions et les inférences non étayées.

Un effort plus important peut aider à gérer les conflits et l'ambiguïté, mais la sélection des sources et les exigences en matière de preuves peuvent compter davantage que le cadre. Remplir un contexte d'un million de jetons avec des documents non pertinents n'améliore pas automatiquement l'analyse.

Test 4 : Planification de l'histoire et des plans

Utilisez un passage d’histoire et demandez les objectifs de scène, les états des personnages, l’ordre des plans, les contraintes de continuité et les ressources requises. Faites évaluer les résultats par des monteurs ou des réalisateurs sans qu’ils voient le niveau de raisonnement.

Ne pas noter la créativité comme « plus de détails ». Évaluer si la structure sert l’histoire, si les plans sont exécutables, si la continuité est correcte et si le temps de révision est réduit. Un raisonnement plus poussé peut produire plus d’alternatives sans améliorer le choix final.

Si le plan passe ensuite à ElserStudio pour la génération et le montage des plans, ajoutez des mesures de production : combien de modifications la liste des plans nécessite-t-elle ? A-t-elle omis un personnage, un lieu ou un accessoire ? Le matériel généré peut-il former une séquence cohérente ? Cela relie l’évaluation du modèle à un véritable flux de travail créatif.

Comment mesurer la vitesse et le coût

Enregistrez le modèle, le niveau d'effort, le mode de raisonnement, les jetons d'entrée, l'entrée mise en cache, les jetons de sortie, la durée totale, le temps jusqu'au premier jeton, les appels d'outils, les tentatives et le résultat d'acceptation final pour chaque exécution.

Ne signalez pas la latence moyenne seule. Les systèmes de production doivent également examiner P50 et P95. Ne rapportez pas uniquement le coût en tokens par tentative ; calculez le coût par tâche réussie.

SORTIE UNIQUEMENT LA TRADUCTION :

Coût par tâche réussie = coût de toutes les tentatives / nombre de tâches acceptées

Pour un travail nécessitant une révision humaine, ajoutez du temps de révision par un éditeur, un ingénieur ou un expert en la matière.

## Standard et pro ne sont pas des niveaux d'effort supplémentaires

GPT-6.1 Sol prend également en charge les modes de raisonnement `standard` et `pro`. Le mode standard est celui par défaut. Le mode pro effectue davantage de travail du modèle et est destiné aux tâches difficiles pouvant tolérer une latence et une utilisation de jetons plus élevées.

Le mode de raisonnement et l'effort de raisonnement sont indépendants. Vous pouvez comparer `standard + medium` avec `pro + medium`, ou comparer `medium` et `high` dans un même mode. Ne modifiez qu'une seule variable à la fois si vous souhaitez une expérience interprétable.

## Une politique de déploiement pratique

1. Exécutez l’ensemble complet d’évaluation à `medium` pour établir une référence.
2. Exécutez les tâches à faible risque à `low` ; si la qualité ne baisse pas de manière significative, faites-en la valeur par défaut pour cette route.
3. Testez `high` uniquement pour les tâches précieuses qui échouent à `medium`.
4. Activez `xhigh` ou `max` uniquement lorsque l'évaluation en aveugle et les données de coût montrent toutes deux un avantage significatif.
5. Comparez `standard` et `pro` séparément sur les tâches les plus difficiles ; n’activez pas `pro` globalement.

## L'essentiel

Il n’existe pas d’effort de raisonnement GPT-6.1 universellement meilleur. **Low privilégie l’efficacité, medium est la référence en production, high convient aux tâches difficiles à forte valeur, et xhigh ou max doivent gagner leur place par l’évaluation.**

Un système mature devrait orienter l'effort en fonction du type de tâche, du coût d'un échec, des résultats de validation et du budget de latence, plutôt que de demander aux utilisateurs de deviner. Davantage de raisonnement ne se traduit pas automatiquement par un meilleur résultat commercial. Le meilleur réglage est le moins coûteux qui réussit de manière fiable l'acceptation.