Claude Fable 5.2 벤치마크 평가: FrontierCode 2.0, RoboDojo 및 Terminal-Bench-Science
Anthropic의 Claude Fable 5.2 버전 보고서에 따르면, 창고 코딩, 로봇 시뮬레이션, 터미널 과학, 시각화 차트 해석 및 도구 사용형 지식 작업에서 상당한 진전을 이루었다고 합니다. 헤드라인 데이터는 강력한 성과를 보여줍니다. 그러나 책임 있는 결론은 더 신중합니다: Fable 5.2는 복잡한 실행 가능 워크플로우를 위한 유망한 후보이며, 각 조직은 이제 자체 작업에서 테스트해야 합니다.
중요한 정정입니다. 처음 제안된 기사 제목은 FrontierMath를 언급했지만, Anthropic의 Fable 5.2 출시 자료에서 두드러지게 보고된 것은 FrontierCode 2.0이며, Fable 5.2의 FrontierMath 결과가 아닙니다. 본 평가는 확인된 벤치마크를 사용하며, 둘을 상호 교환 가능한 것으로 간주하지 않습니다.
확인된 릴리스 결과
| 벤치마크 | Fable 5.2 | Fable 5.1 | Opus 5.5 | GPT-6 Astra | Gemini 4 Carbon | |---|---:|---:|---:|---:|---:| | FrontierCode 2.0 | 49.1% | 32.4% | 45.5% | 42.8% | 41.1% | | FrontierSWE v2 | 69.9% | 56.3% | 62.3% | 65.5% | 61.2% | | Terminal-Bench-Science 0.1 | 74.6% | 52.6% | 58.7% | 68.1% | 64.8% | | RoboDojo 시뮬레이터 | 64.9% | 27.6% | 39.4% | 29.8% | 릴리스 테이블에 명시되지 않음 | | 인간 궁극 시험 (도구 포함) | 74.2% | 65.6% | 67.7% | 57.2% | 발표 표에 명시되지 않음 | | 그래프학 | 73.4% | 44.8% | 64.4% | 71.0% | 72.5% |
Fable의 FrontierCode 값이 높은 노력 수준으로 보고되었습니다; Anthropic의 발표도 일부 경쟁 실행에서 노력 차이를 식별했습니다. 이러한 구성 세부 사항은 단순화된 순위를 제한합니다.
FrontierCode 2.0：모델이 실제 저장소를 바꿀 수 있을까?
FrontierCode는 합리적인 코드 조각 생성 이상의 더 높은 수준의 소프트웨어 엔지니어링 작업을 평가합니다. 모델은 프로젝트 구조를 탐색하고, 종속성을 추론하며, 일관된 편집을 수행하고, 도구를 사용하며, 실행 가능한 검사를 충족할 수 있어야 합니다. Fable 5.2는 32.4%에서 49.1%로 향상되어, 이 버전이 장기 코딩에서 진전을 이루었음을 가장 명확하게 보여줍니다.
제한은 마이그레이션에 있습니다. 문서화되지 않은 서비스, 사용자 정의 빌드 도구, 취약한 테스트를 포함한 사설 모노레포는 기준 환경과 상당히 다를 수 있습니다. 내부의 병합 가능성과 수동 검토 시간은 공개된 백분율보다 더 중요합니다.
RoboDojo Sim: 대화형 환경에서 행동 계획하기
RoboDojo Sim 테스트 시뮬레이션 로봇 작업은 성공 여부가 인식 상태, 선택 동작, 그리고 계획 실패 시 복구에 달려 있습니다. 공개된 평가에서 Fable 5.2의 64.9% 결과는 Fable 5.1의 27.6%보다 두 배 이상 높습니다.
이는 시뮬레이션 작업 해결에 관한 증거로, 비지도 물리 로봇이 안전하다는 것을 증명할 수 없습니다. 실제 시스템은 노이즈 센서, 시간 제약, 기계적 고장 및 시뮬레이터가 완전히 재현할 수 없는 결과를 도입합니다. 물리적 배포에는 동작 제약, 독립적인 안전 시스템 및 인간의 감독이 필요합니다.
Terminal-Bench-Science: 도구를 통한 과학 탐구
Terminal-Bench-Science는 모델이 터미널 환경에서 과학 문제를 해결하도록 요구합니다. 파일을 확인하고, 코드를 실행하며, 데이터를 변환하고 결과를 검증해야 하며, 기억에 의존하여 답변해서는 안 됩니다. Fable 5.2는 74.6%를 달성했으며, 접근이 제한된 Mythos 변형은 75.3%를 기록했습니다.
이 결과는 Fable을 과학 워크플로우 어시스턴트로 사용하는 것을 지원하지만, 생성된 발견을 검증된 과학적 성과로 전환할 수는 없습니다. 재현 가능한 스크립트, 데이터 출처 추적, 통계 검토 및 분야 전문가의 해석이 여전히 필요합니다.
차트학과 도구 지원 지식 작업
73.4%의 차트 분석 점수는 차트 해석 및 시각적 데이터 표현 능력이 향상되었음을 나타냅니다. 인간 최종 시험에서 도구를 활용해 74.2%의 성적을 기록한 것은 고난도 지식 문제를 해결할 때 강력한 정보 검색 및 도구 조정 능력을 보여줍니다. 이 두 가지 성과는 텍스트, 이미지 및 외부 조작을 결합한 연구형 지능 에이전트와 밀접하게 관련되어 있습니다.
하지만, 전체 정확도는 위험한 오류 집단을 가릴 수 있습니다. 귀하의 제품이 실제로 수신하는 차트 유형, 단위, 언어 및 도메인 관례를 평가하십시오.
AI 벤치마크 테이블을 읽는 다섯 가지 규칙
- 비교 대상은 모델 이름뿐만 아니라 툴체인, 도구, 작업량 및 샘플링 방식입니다.
- 공급업체가 보고한 결과와 독립적으로 재현된 결과를 분리합니다.
- 가능할 때 신뢰 구간과 작업 수준 분포를 찾습니다.
- 통과율을 측정하는 동시에 비용과 지연 시간도 측정해야 합니다.
- 벤치마크 테스트 백분율을 프로덕션 환경 SLA로 직접 변환하지 마십시오.
벤치마크를 구매 결정으로 전환하기
실제 업무에서 작은 "하드 데이터셋"을 만듭니다: 실패한 코딩 작업, 어려운 분석, 지저분한 차트, 복구가 필요한 도구 프로세스. 출력을 블라인드 검토하고, 객관적 완성도, 사실 지원, 안전성, 지연 시간, 수정 시간을 평가합니다. 고정된 작업량에서 Fable과 Opus 5.5 및 현재 주류 시스템을 비교합니다. 승자는 위험 조정 후 수용된 결과당 비용이 가장 낮은 시스템입니다.
자주 묻는 질문
Anthropic이 발표 글에서 Fable 5.2의 FrontierMath 점수를 공개했나요?
이번 평가에 사용된 발표 자료는 FrontierCode 2.0을 보고했습니다. 따라서 요청된 제목을 수정하였으며, 검증되지 않은 FrontierMath 결과를 단정하지 않았습니다.
왜 노력의 정도가 중요한가?
더 높은 노력은 추론을 개선할 수 있지만, 토큰 사용과 지연 시간이 증가합니다. xhigh 실행을 medium 실행과 비교하는 것은 순수한 모델 비교가 아닙니다.
공급업체 벤치마킹은 쓸모없는가?
아니요. 그것들은 유망한 능력을 식별하고 테스트의 우선순위를 정하는 데 도움을 줍니다. 일반적인 생산 결과로 취급될 때만 오해의 소지가 생깁니다.
