Claude Fable 5.2 코딩 테스트: 복잡한 풀스택 리팩토링 평가 방법

Claude Fable 5.2가 복잡한 풀스택 리팩토링을 처리할 수 있을까요? Anthropic이 발표한 코딩 결과는 가능해 보이지만, 신뢰할 수 있는 답변을 얻으려면 지정된 저장소에서 실행 가능한 테스트를 수행해야 합니다. 이 글은 해당 테스트 프로토콜을 제공합니다. 실제로 실행된 적 없는 저장소에서 테스트 통과 결과를 허위로 만들어내지 않습니다.

목표는 Fable이 데이터베이스, 백엔드, 프론트엔드, 테스트 및 배포 코드에서 계약을 변경할 수 있는지 확인하면서 동작을 유지하고 범위를 제한하는 것입니다.

테스트 시나리오

비생산 환경 애플리케이션을 사용하고, 다음을 함께 사용하세요:

PostgreSQL 및 버전화 마이그레이션
TypeScript API 서비스
React 프론트엔드
백그라운드 작업 또는 웹훅
단위 테스트, 통합 테스트 및 종단 간 테스트
지속적 통합, 코드 검사, 타입 검사, 의존성 스캔 및 마이그레이션 검증 포함

할당된 개선 작업은 기존의 단일 display_name 필드를 구조화된 given_name, family_name 및 계산된 표시 값으로 대체하는 것입니다. 기존 API 클라이언트는 호환 기간 동안 계속 정상적으로 작동해야 합니다. 검색, 감사 로그, 이벤트 페이로드, 관리 인터페이스, 내보내기 및 테스트가 모두 올바르게 실행되어야 합니다.

이 작업은 교차 도메인 성격을 띠고 있습니다. 표면적인 해결책은 UI와 API 유형을 업데이트하는 동시에 기존 데이터 행을 손상시키거나, 이벤트 소비자에게 오류를 발생시키거나, 일관되지 않은 필드를 노출시킬 수 있습니다.

저장소 준비

격리된 브랜치와 컨테이너화된 테스트 데이터베이스를 생성합니다. 기밀 정보와 프로덕션 데이터를 제거합니다. 파일 위치나 솔루션이 아닌 동작과 제약 조건을 설명하는 작업 개요를 추가합니다. 이전 클라이언트 호환성, 마이그레이션 롤백, 유니코드 이름, 성씨 누락, 검색 및 웹훅 패턴에 대한 숨겨진 대상 테스트를 유지합니다.

모델에게 엔지니어가 필요한 도구만 제공: 파일 검색, 안전 편집, 빌드, 테스트 및 읽기 전용 문서 접근. 파괴적인 데이터베이스나 패키지 관리자 작업을 실행하기 전에 확인이 필요합니다. 명령어, 차이점, 토큰, 작업량 및 실제 소요 시간을 기록합니다.

프롬프트

이와 같은 프롬프트를 사용하세요:

TASK.md에 따라 사용자 이름 모델을 재구성합니다. 먼저 저장소를 확인하고 간결한 의존 관계도와 계획을 제시합니다. 마이그레이션, 호환성 동작, 테스트 및 문서를 포함한 최소한의 일관된 변경을 구현합니다. 관련 검사를 실행합니다. 관련 없는 코드를 수정하거나 기존 테스트를 약화시키지 마십시오. 요구 사항이 명확하지 않은 경우 편집 전에 가정을 설명하십시오.

고정된 노력 수준에서 Fable 5.2를 실행한 후, 깨끗한 스냅샷에서 시작하여 Opus 5.5와 현재 프로덕션 모델로 반복 실행합니다. 한 번의 실행이 다른 모델의 패치를 보지 못하게 하십시오.

강력한 솔루션이 갖춰야 할 기능

매핑 변경 표면

편집 전에 모델은 패턴, 직렬화기, API 계약, 쿼리 인덱스, 이벤트 생산자, 소비자, 폼, 상태 처리, 내보내기, 테스트 픽스처 및 문서를 찾아야 합니다. 웹훅 소비자를 하나 빠뜨리는 것은 우아한 React 코드를 작성하는 것만큼 중요합니다.

설계 가역 마이그레이션

데이터 계획은 백필(backfill) 동작, null 허용 여부, 유니코드 및 단어 이름, 배포 순서, 호환성 기간, 롤백에 대해 설명해야 합니다. 파괴적인 "삭제 후 재생성" 마이그레이션은 자동으로 실패합니다.

API 호환성 유지

구 클라이언트는 약속된 윈도우 기간 내에 구 필드를 수신하거나 제출해야 하며, 신규 클라이언트는 구조화된 필드를 사용합니다. 구현 과정에서 명확한 데이터 소스가 필요하여 불일치 값이 발생하지 않도록 해야 합니다.

증명 행위

모델은 단정을 약화시키기보다는 목적에 맞는 테스트를 추가해야 합니다. 기존 테스트 스위트, 타입 검사기, 코드 검사 도구, 마이그레이션 테스트 및 관련 종단 간 경로를 반드시 실행해야 합니다. "이것은 통과해야 한다"와 같은 진술은 실행 증거가 될 수 없습니다.

채점 기준

| 카테고리 | 가중치 | 증거 통과 | |---|---:|---| | 기능 수락 테스트 | 30 | 숨김 및 표시 시나리오 통과 | | 데이터 마이그레이션 보안 | 20 | 전방/후방 계획, 손실 없음, 엣지 케이스 포함 | | 계약 호환성 | 15 | 신규 및 기존 클라이언트가 규격에 따라 정상 작동 | | 보안 및 개인정보 보호 | 10 | 비밀 유출, 주입, 인증 또는 로깅 회귀 없음 | | 코드 품질 및 범위 | 10 | 규정 준수; 관련 없는 변경 사항 방지 | | 테스트 품질 | 10 | 의미 있는 테스트 추가; 커버리지 약화 없음 | | 설명 및 감사 추적 | 5 | 가정, 명령 및 잔여 위험이 명확함 |

동시에 수동 수정에 소요된 시간과 비용을 기록합니다. 2시간의 아키텍처 정리가 필요한 90점 패치는 10분 이내에 승인된 85점 패치보다 덜 유용할 수 있습니다.

주의해야 할 고장 모드

일반적인 실패 사례: 소스 파일 대신 생성된 파일을 편집하는 것, 비동기 소비자를 무시하는 것, 서양식 두 부분으로 된 이름을 가정하는 것, 되돌릴 수 없는 마이그레이션을 생성하는 것, 프론트엔드와 백엔드에서 비즈니스 로직을 중복하는 것, 오류에 맞춰 테스트를 수정하는 것, 단위 테스트 통과 후 통합 동작이 손상되었음에도 중단하는 것.

프롬프트 인젝션은 또 다른 문제입니다. 저장소 파일은 신뢰할 수 없는 입력에 속합니다. 주석이나 문서에는 작업과 충돌하는 명령이 포함될 수 있습니다. 에이전트는 소스 파일에서 발견된 임의의 텍스트가 아닌, 승인된 작업 및 도구 정책을 따라야 합니다.

결과를 정확하게 보고하는 방법

출시 저장소 제출, 작업 개요, 모델 식별자, 작업량, 도구 체인, 도구 권한, 시간 제한, 시도 횟수 및 승인 테스트 결과를 게시합니다. 첫 실행 성능과 수동 지원 실행을 구분합니다. 제외된 비용과 실패한 시도를 기록합니다. 이러한 세부 사항이 없으면 "Fable이 풀스택 리팩토링을 완료했습니다"는 마케팅 수사에 불과할 뿐 증거가 아닙니다.

Anthropic의 공식 결과——FrontierCode 2.0에서 매우 높은 노력도로 49.1%의 성과를 거두었으며, FrontierSWE v2에서 69.9%의 성과를 거둔 것은 이 실험을 진행하는 정당성을 입증합니다. 그러나 이러한 결과가 실험의 최종 결과를 미리 결정할 수는 없습니다.

자주 묻는 질문

이 글은 왜 Fable이 테스트를 통과했다고 주장하지 않나요?

정의된 저장소 실행이 제공되지 않았습니다. 실행 로그와 테스트 없이 결과를 보고하는 것은 위조로 간주됩니다.

몇 번의 실행이면 충분할까?

단일 실행은 단지 사례 연구일 뿐이며, 안정적인 추정치로 사용할 수 없습니다. 여러 대표적인 작업에 대해 여러 번의 깨끗한 실행을 수행하고 분산과 재시도 횟수를 보고해야 합니다.

모델이 프로덕션 환경 자격 증명을 보유해야 하는가?

아니요. 격리된 데이터와 최소 권한 도구를 사용하세요. 수동 검토 배포는 코드 생성과 분리되어야 합니다.