GPT-6.1 추론 노력 테스트: 품질, 속도 및 비용 비교
GPT-6.1 Sol은 다섯 가지 reasoning.effort 수준을 지원합니다: low, medium, high, xhigh, max. 기본값은 medium입니다. 이 모델은 none 또는 minimal을 지원하지 않습니다.
이 레벨들은 "답변을 더 길게 만드는" 설정이 아닙니다. 더 높은 노력 수준은 일반적으로 모델이 계획 수립, 대안 비교, 오류 확인, 어려운 시퀀스 처리에 더 많은 작업을 투자할 수 있게 합니다. 또한 지연 시간과 토큰 사용량을 증가시킬 수 있습니다. OpenAI의 지침은 평가 결과 품질 향상이 추가 비용과 지연을 정당화할 때만 더 높은 수준을 사용하라는 것입니다.
이 글은 재현 가능한 테스트 방법을 제시하고 각 수준의 일반적인 역할을 설명합니다. 원시 실행 로그를 사용할 수 없는 경우 추정된 숫자를 측정값으로 제시하지 않습니다.
각 추론 수준의 용도
| 노력 | 시작하기 좋은 지점 | 흔한 오용 |
| low | 초안, 일상적인 분석, 실행 중심 코딩, 위험도가 낮은 도구 작업 | 깊은 트레이드오프가 필요한 고위험 질문 |
| medium | 대부분의 생산 작업, 연구, 에이전트 코딩 및 전문 문서 | 기준선을 먼저 측정하지 않고 high로 상향 조정 |
| high | 복잡한 디버깅, 심층 계획 및 고가치 분석 | 단순 추출 및 포맷팅 |
| xhigh | 장기 실행 연구, 보안 검토, 그리고 어려운 에이전트 작업 | 느리면 자동으로 더 정확하다고 가정 |
| max | 가장 복잡하고 가치가 높은 소규모 작업 집합 | 전역 기본값으로 설정 |
OpenAI는 medium을 대부분의 워크로드에서 품질, 신뢰성, 지연 시간, 비용의 균형점이라고 설명합니다. 따라서 이를 적절한 기준선으로 삼아 그 아래와 위를 모두 비교하는 것이 좋습니다.
테스트 1: 구조화된 추출
서식이 일관되지 않은 50개의 짧은 문서를 준비하고 고정된 JSON 스키마와 일치하는 출력을 요구합니다. 필드 정확성, 스키마 유효성, 비용을 평가합니다.
핵심 질문은 low가 이미 안정적으로 통과하는지 여부입니다. 그렇다면 추가적인 추론이 비즈니스 가치를 크게 더하지 않을 수 있습니다. 구조화된 추출은 최대 추론보다 정확한 스키마, 예시, 검증기가 더 큰 이점을 제공하는 경우가 많습니다.
테스트 2: 복잡한 코드 수리
재현 가능한 실패 테스트가 있는 실제 결함 20개를 선택하세요. 모델은 원인을 식별하고, 최소한의 변경을 수행하며, 관련 테스트를 실행해야 합니다. 테스트 성공, 회귀, 불필요한 변경, 검토 시간을 평가합니다.
이 카테고리는 모델이 파일 간 추론하고, 가능한 수정 사항을 비교하며, 부작용을 확인해야 하므로 high가 더 유리할 가능성이 높습니다. 그래도 medium이 동일한 결과에 도달하는지 측정하세요. 성공이 동일하다면, 추가 추론은 비용과 지연만 증가시킵니다.
테스트 3: 장문 문서 의사결정 분석
여러 정책, 계약서 또는 연구 문서를 제공하고 결론, 반대 증거 및 항목별 인용을 요구하십시오. 사실 정확성, 인용 일치, 누락 및 근거 없는 추론을 평가하십시오.
더 높은 노력은 갈등과 모호함에 도움이 될 수 있지만, 소스 선택과 증거 요구 사항이 설정보다 더 중요할 수 있습니다. 백만 토큰 컨텍스트를 관련 없는 문서로 채우는 것이 자동으로 분석을 개선하지는 않습니다.
테스트 4: 스토리 및 샷 계획
하나의 스토리 구절을 사용하여 장면 목표, 캐릭터 상태, 샷 순서, 연속성 제약 조건 및 필요한 자산을 요청하세요. 편집자나 감독이 추론 수준을 보지 않고 출력을 평가하도록 하세요.
창의성을 "더 많은 디테일"로 점수화하지 마십시오. 구조가 이야기에 부합하는지, 촬영이 실행 가능한지, 연속성이 올바른지, 수정 시간이 줄어드는지 평가하십시오. 더 높은 추론은 최종 선택을 개선하지 않으면서 더 많은 대안을 만들어낼 수 있습니다.
만약 나중에 계획이 ElserStudio로 이동하여 샷 생성 및 편집을 진행한다면, 제작 측정 항목을 추가하세요: 샷 목록에 몇 번의 변경이 필요한가요? 캐릭터, 장소 또는 소품을 누락했나요? 생성된 자료가 일관된 시퀀스를 구성할 수 있나요? 이는 모델 평가를 실제 창작 워크플로우와 연결합니다.
속도와 비용을 측정하는 방법
모든 실행에 대해 모델, 노력 수준, 추론 모드, 입력 토큰, 캐시된 입력, 출력 토큰, 총 소요 시간, 첫 토큰까지의 시간, 도구 호출, 재시도, 최종 수락 결과를 기록하십시오.
평균 지연 시간만 보고하지 마십시오. 프로덕션 시스템은 P50과 P95도 함께 검토해야 합니다. 시도당 토큰 비용만 보고하지 말고, 성공한 작업당 비용을 계산하십시오.
성공적인 작업당 비용 = 모든 시도의 비용 / 수락된 작업 수
인간 검토가 필요한 작업에는 편집자, 엔지니어 또는 해당 분야 전문가의 검토 시간을 추가하세요.
## 표준과 프로는 추가적인 노력 수준이 아닙니다
GPT-6.1 Sol은 `standard` 및 `pro` 추론 모드도 지원합니다. Standard가 기본값입니다. Pro는 더 많은 모델 작업을 수행하며, 더 큰 지연 시간과 토큰 사용을 허용할 수 있는 어려운 작업을 위해 설계되었습니다.
추론 모드와 추론 노력은 독립적입니다. `standard + medium`과 `pro + medium`을 비교하거나, 한 모드 내에서 `medium`과 `high`를 비교할 수 있습니다. 해석 가능한 실험을 원한다면 한 번에 하나의 변수만 변경하세요.
## 실용적인 롤아웃 정책
1. `medium`에서 전체 평가 세트를 실행하여 기준치를 설정합니다.
2. 저위험 작업은 `low`로 실행하세요. 품질이 실질적으로 떨어지지 않으면 해당 경로의 기본값으로 설정하세요.
3. 가치 있는 작업에 대해서만 `medium`에서 실패할 경우 `high`를 테스트하세요.
4. 블라인드 평가와 비용 데이터 모두가 의미 있는 이점을 보여줄 때만 `xhigh` 또는 `max`를 활성화하세요.
5. 가장 어려운 작업에 대해 `standard`와 `pro`를 별도로 비교하고, 전역적으로 pro를 활성화하지 마십시오.
## 결론
보편적으로 가장 좋은 GPT-6.1 추론 노력은 없습니다. **Low는 효율성을 선호하고, medium은 생산 기준선이며, high는 어렵고 가치가 높은 작업에 속하며, xhigh나 max는 평가를 통해 그 자리를 얻어야 합니다.**
성숙한 시스템은 사용자가 추측하도록 요구하기보다 작업 유형, 실패 비용, 검증 결과, 지연 시간 예산에 따라 노력을 배분해야 합니다. 더 많은 추론이 자동으로 더 나은 비즈니스 성과를 의미하지는 않습니다. 최적의 설정은 안정적으로 승인 기준을 통과하는 가장 비용이 적게 드는 설정입니다.
