Evaluación de referencia de Claude Fable 5.2: FrontierCode 2.0, RoboDojo y Terminal-Bench-Science
La versión 5.2 de Claude Fable de Anthropic reporta avances significativos en codificación de repositorios, simulación de robots, ciencia terminal, interpretación de gráficos visuales y trabajo de conocimiento basado en herramientas. Los datos de los títulos muestran un rendimiento sólido. Sin embargo, la conclusión responsable es más cautelosa: Fable 5.2 es un candidato prometedor para flujos de trabajo ejecutables complejos, y las organizaciones deberían probarlo ahora en sus propias tareas.
Una corrección importante. El título del artículo propuesto originalmente mencionaba FrontierMath, pero los materiales de lanzamiento de Fable 5.2 de Anthropic reportan de manera destacada FrontierCode 2.0, no los resultados de FrontierMath de Fable 5.2. Esta evaluación utiliza los puntos de referencia confirmados, sin considerar ambos como intercambiables.
Resultados de publicación confirmados
| Prueba de referencia | Fable 5.2 | Fable 5.1 | Opus 5.5 | GPT-6 Astra | Gemini 4 Carbon | |---|---:|---:|---:|---:|---:| | FrontierCode 2.0 | 49.1% | 32.4% | 45.5% | 42.8% | 41.1% | | FrontierSWE v2 | 69.9% | 56.3% | 62.3% | 65.5% | 61.2% | | Terminal-Bench-Science 0.1 | 74.6% | 52.6% | 58.7% | 68.1% | 64.8% | | Simulador RoboDojo | 64.9% | 27.6% | 39.4% | 29.8% | No especificado en la tabla de publicación | | Examen final humano (con herramientas) | 74.2% | 65.6% | 67.7% | 57.2% | No especificado en la tabla publicada | | Grafología | 73.4% | 44.8% | 64.4% | 71.0% | 72.5% |
El valor de FrontierCode de Fable se reporta como un nivel de alto esfuerzo; el lanzamiento de Anthropic también identifica algunas diferencias de esfuerzo en ejecuciones competitivas. Estos detalles de configuración limitan una clasificación simplista.
FrontierCode 2.0: ¿Puede el modelo cambiar un repositorio real?
FrontierCode evalúa tareas de ingeniería de software más exigentes que la simple generación de fragmentos de código razonables. El modelo debe ser capaz de navegar por la estructura del proyecto, inferir dependencias, realizar ediciones coherentes, usar herramientas y cumplir con verificaciones ejecutables. Fable 5.2 pasó del 32,4% al 49,1%, lo que constituye la señal más clara del progreso de esta versión en la codificación de ciclo largo.
La limitación está en la migración. Un repositorio monolítico privado que contiene servicios no documentados, herramientas de construcción personalizadas y pruebas débiles puede estar muy lejos del entorno de referencia. La capacidad de fusión interna y el tiempo de revisión manual son más importantes que los porcentajes públicos.
RoboDojo Sim: Planificación de acciones en un entorno interactivo
RoboDojo Sim prueba simulando tareas robóticas, cuyo éxito depende del estado de percepción, la selección de acciones y la recuperación en caso de fallo del plan. En la evaluación publicada, el resultado del 64.9% de Fable 5.2 es más del doble que el 27.6% de Fable 5.1.
Esta es evidencia sobre la resolución de tareas simuladas, no puede probar que un robot físico no supervisado sea seguro. Los sistemas reales introducen sensores ruidosos, restricciones de tiempo, fallos mecánicos y consecuencias que el simulador no puede replicar completamente. El despliegue físico requiere acciones restringidas, sistemas de seguridad independientes y supervisión humana.
Terminal-Bench-Science: Exploración científica a través de herramientas
Terminal-Bench-Science requiere que el modelo resuelva problemas científicos en un entorno de terminal. Pueden necesitar revisar archivos, ejecutar código, convertir datos y verificar resultados, en lugar de responder de memoria. Fable 5.2 alcanza el 74.6%; la variante Mythos con restricciones de acceso alcanza el 75.3%.
Este resultado respalda el uso de Fable como asistente de flujo de trabajo científico, pero no puede convertir los hallazgos generados en resultados científicos validados. Los scripts reproducibles, la trazabilidad de datos, la revisión estadística y la interpretación de expertos en el campo siguen siendo necesarios.
Gráficos y trabajo del conocimiento asistido por herramientas
El 73.4% de la puntuación en análisis de gráficos indica una mejora en la interpretación de gráficos y la presentación visual de datos. En el examen final humano, se obtuvo un 74.2% con ayuda de herramientas, lo que demuestra una sólida capacidad de recuperación de información y coordinación de herramientas al enfrentar problemas de conocimiento de alta dificultad. Ambos resultados están estrechamente relacionados con agentes inteligentes de investigación que integran texto, imágenes y operaciones externas.
Sin embargo, la precisión general puede ocultar peligrosos grupos de errores. Evalúe los tipos de gráficos, unidades, idiomas y convenciones del dominio que realmente recibe su producto.
Cinco reglas para leer la tabla de referencia de IA
- La comparación se realiza sobre la cadena de herramientas, las herramientas, la carga de trabajo y el método de muestreo, no solo el nombre del modelo.
- Separar los resultados reportados por el proveedor de los resultados de la reproducción independiente.
- Busque intervalos de confianza y distribución a nivel de tarea cuando estén disponibles.
- Al medir la tasa de aprobación, también se deben medir el costo y la latencia.
- No convierta directamente los porcentajes de las pruebas de referencia en SLA de producción.
Convertir los puntos de referencia en decisiones de compra
Crear un pequeño "conjunto de datos duros" a partir del trabajo real: tickets de codificación fallidos, análisis difíciles, gráficos desordenados y flujos de herramientas que necesitan ser restaurados. Realizar una revisión ciega de los resultados y calificar la completitud objetiva, el respaldo factual, la seguridad, la latencia y el tiempo de corrección. Comparar Fable con Opus 5.5 y los sistemas principales actuales bajo una carga de trabajo fija. El ganador es el sistema con el menor costo por resultado aceptado ajustado por riesgo.
Preguntas Frecuentes
¿Anthropic publicó la puntuación de FrontierMath de Fable 5.2 en su artículo de lanzamiento?
Los materiales de publicación utilizados en esta evaluación informaron sobre FrontierCode 2.0. Por lo tanto, corregimos el título solicitado, en lugar de afirmar un resultado no verificado de FrontierMath.
¿Por qué es importante el nivel de esfuerzo?
Un mayor esfuerzo puede mejorar el razonamiento, al mismo tiempo que aumenta el uso de tokens y la latencia. Comparar la ejecución de xhigh con la de medium no es una comparación puramente de modelos.
¿Son inútiles las evaluaciones comparativas de proveedores?
No. Reconocen la capacidad prometedora y ayudan a priorizar las pruebas. Solo cuando se toman como resultados de producción genéricos se vuelven engañosos.
