Prueba de capacidad de razonamiento GPT-6.1: comparación de calidad, velocidad y costo

GPT-6.1 Sol admite cinco niveles de reasoning.effort: low, medium, high, xhigh y max. El valor predeterminado es medium. El modelo no admite none ni minimal.

Estos niveles no son configuraciones para "hacer la respuesta más larga". Una mayor dedicación generalmente hace que el modelo invierta más esfuerzo en planificar, comparar alternativas, verificar errores y manejar secuencias complejas. Esto también puede aumentar la latencia y el uso de tokens. La recomendación de OpenAI es utilizar niveles más altos solo cuando la evaluación muestre que la mejora en calidad justifica el costo y la latencia adicionales.

Este artículo presenta un método de prueba reproducible y explica la función típica de cada nivel. Cuando no se dispone de los registros de ejecución originales, este artículo no presenta valores estimados como resultados de medición.

Usos de cada nivel de razonamiento

| Carga de trabajo | Punto de partida adecuado | Uso común incorrecto | | low | borrador, análisis de rutina, codificación orientada a la ejecución, trabajo con herramientas de bajo riesgo | problemas de alto riesgo que requieren un equilibrio profundo | | medium | La mayoría de tareas de producción, investigación, codificación inteligente y documentación profesional | Actualizar a high sin haber medido una línea base | | high | Depuración compleja, planificación profunda y análisis de alto valor | Extracción y formato simples | | xhigh | Investigación a largo plazo, revisión de seguridad y tareas de agente difíciles | Suponer que la lentitud automática implica mayor precisión | | max | Un conjunto de las tareas más complejas y de mayor valor | Establecerlo como valor predeterminado global |

OpenAI describe medium como el punto de equilibrio entre calidad, fiabilidad, latencia y costo en la mayoría de las cargas de trabajo. Esto lo convierte en un punto de referencia adecuado: se puede comparar hacia arriba o hacia abajo tomándolo como referencia.

Prueba 1: Extracción estructurada

Prepara 50 documentos cortos con formatos inconsistentes y exige que la salida cumpla con un JSON Schema fijo. Evalúa la precisión de los campos, la validez del Schema y el costo.

La cuestión clave es si low ya puede pasar de manera fiable. Si es así, el razonamiento adicional puede no aportar mucho valor comercial. La extracción estructurada generalmente se beneficia más de una arquitectura precisa, ejemplos y validadores, que de un razonamiento maximizado.

Prueba 2: Reparación de código complejo

Seleccionar 20 defectos reales con pruebas fallidas reproducibles. El modelo debe identificar la causa, realizar modificaciones mínimas y ejecutar las pruebas correspondientes. Evaluar la tasa de éxito de las pruebas, problemas de regresión, cambios innecesarios y tiempo de revisión.

Esta categoría tiene más probabilidades de beneficiarse de high, ya que el modelo debe razonar entre archivos, comparar posibles soluciones y verificar efectos secundarios. Sin embargo, aún es necesario medir si medium puede lograr el mismo resultado. Si la tasa de éxito es la misma, el razonamiento adicional solo aumentará el costo y la latencia.

Prueba 3: Análisis de decisiones en documentos largos

Proporcionar varios documentos de políticas, contratos o investigaciones, y exigir conclusiones, refutaciones y citas punto por punto. Calificar la precisión fáctica, la correspondencia de las citas, las omisiones y las inferencias sin fundamento.

Un mayor esfuerzo puede ayudar a resolver conflictos y ambigüedades, pero la selección de fuentes y los requisitos de evidencia pueden ser más importantes que el contexto. Llenar el contexto de un millón de tokens con documentos irrelevantes no mejora automáticamente el análisis.

Prueba 4: Planificación de la historia y los planos

Usa un párrafo de historia y solicita el objetivo de la escena, el estado de los personajes, el orden de las tomas, las restricciones de continuidad y los activos necesarios. Permite que el editor o el director evalúen el resultado sin revisar la jerarquía de razonamiento.

No califiques la creatividad como "más detalles". Evalúa si la estructura sirve a la historia, si los planos son ejecutables, si la continuidad es correcta y si el tiempo de revisión se reduce. Un mayor razonamiento puede generar más alternativas, pero no necesariamente mejora la elección final.

Si el plan posteriormente ingresa a ElserStudio para la generación y edición de tomas, se deben agregar indicadores de evaluación de producción: ¿cuántas modificaciones necesita la lista de tomas? ¿Se omitieron personajes, escenas o accesorios? ¿El material generado puede formar una secuencia coherente? Esto vincula la evaluación del modelo con el flujo de trabajo creativo real.

Cómo medir la velocidad y el costo

Registra para cada ejecución el modelo, nivel de esfuerzo, modo de inferencia, tokens de entrada, caché de entrada, tokens de salida, duración total, tiempo hasta el primer token, llamadas a herramientas, número de reintentos y el resultado final aceptado.

No solo informes la latencia promedio. Los sistemas de producción también deben verificar P50 y P95. No solo informes el costo de tokens por intento; debes calcular el costo por tarea exitosa.

Costo por tarea exitosa = costo de todos los intentos / número de tareas aceptadas

Para trabajos que requieren revisión humana, aumente el tiempo de revisión de editores, ingenieros o expertos en el campo.

La versión estándar y la versión profesional no son niveles de esfuerzo adicionales

GPT-6.1 Sol también admite los modos de razonamiento standard y pro. Standard es el modo predeterminado. Pro realiza más trabajo del modelo y es adecuado para tareas difíciles que pueden tolerar mayor latencia y mayor consumo de tokens.

El modo de razonamiento y el esfuerzo de razonamiento son independientes entre sí. Puedes comparar estándar + medio con profesional + medio, o comparar medio y alto dentro del mismo modo. Si deseas que el experimento sea interpretable, cambia solo una variable a la vez.

Estrategia práctica de lanzamiento

1. Ejecuta el conjunto de evaluación completo en medium para establecer una línea base.
2. Ejecute tareas de bajo riesgo en el nivel low; si la calidad no disminuye sustancialmente, establézcalo como el valor predeterminado para esa ruta.
3. Prueba high solo en tareas valiosas que fallan en el nivel medium.
4. Solo habilita xhigh o max cuando tanto la evaluación ciega como los datos de costos muestren beneficios significativos.
5. Compara standard y pro por separado en las tareas más desafiantes; no habilites pro de forma global.

Límite inferior

No existe un nivel de esfuerzo de razonamiento GPT-6.1 universalmente óptimo. Un bajo esfuerzo de razonamiento favorece la eficiencia, el nivel medio es la línea base de producción, un alto esfuerzo de razonamiento es adecuado para trabajos difíciles de alto valor, y un esfuerzo de razonamiento extremadamente alto o máximo debe justificar su valor mediante evaluación.

Un sistema maduro debe asignar recursos de inferencia según el tipo de tarea, el costo del fallo, los resultados de validación y el presupuesto de latencia, en lugar de dejar que el usuario adivine por sí mismo. Más inferencia no significa automáticamente mejores resultados comerciales. La configuración óptima es aquella que puede pasar la aceptación de manera estable al menor costo.