요즘은 거의 매주 새 AI 모델 소식이 나와요. 10월 7일에는 Anthropic이 Claude Haiku 5.5를 발표했고, OpenAI 문서에는 GPT-6 계열이 이전 모델의 권장 대체 모델로 올라와 있어요. 발표 글에는 "더 빠르고, 더 싸고, 더 똑똑하다"는 말이 빠지지 않죠. 그러면 서비스에 붙어 있는 모델도 바로 바꿔야 할까요?
결론부터 말하면, 바꿀 이유는 많지만 "바로" 바꿀 이유는 많지 않아요. 새 모델이 평균적으로 좋아도, 우리 서비스의 질문과 출력 형식에서 똑같이 좋다는 보장은 없거든요. 이 글은 새 모델이 나왔을 때 무엇을 확인하고 어떤 순서로 바꾸면 되는지를 정리했어요. 데모에서 출시까지 · API 비용 · 구조화 출력 · 스트리밍 · 프롬프트 캐싱 · 평가 세트에 이어지는 AI 기능 개발 시리즈 7편이에요.
확인 1: 평가 세트를 다시 돌려 보기
가장 먼저 할 일은 지금 쓰는 평가 세트를 새 모델로 한 번 돌려 보는 거예요. 평가 세트는 "이 질문에는 이런 답이 나와야 한다"를 모아 둔 시험지예요(만드는 법은 지난 글 'AI 기능 품질, 감으로 말고 평가 세트로 확인해요'에 정리했어요).
비교할 때는 전체 점수보다 문항별 결과를 봐요. 전체 점수가 조금 올라도, 전에 맞던 문항이 새로 틀리기 시작했다면 그 문항이 우리 서비스에서 중요한지부터 확인해야 해요. 새 모델은 말투나 답 길이가 달라지는 경우가 많아서, 같은 프롬프트로는 품질이 오히려 내려가 보일 수도 있어요. 이럴 때는 프롬프트를 새 모델에 맞게 조금 고친 버전도 함께 돌려 보세요.
확인 2: 단가와 응답 속도를 실제 요청으로 재기
새 모델의 단가는 공식 가격표로 바로 확인할 수 있어요. 예를 들어 Claude Haiku 5.5는 입력 100만 토큰당 0.10달러, 출력 0.50달러로, 이전 Haiku 4.5(입력 1달러 · 출력 5달러)보다 크게 낮아요. 다만 100,000토큰이 넘는 긴 프롬프트는 입력 0.50달러 · 출력 2.50달러로 가격 구간이 달라요.
그래서 단가는 우리 요청으로 계산해야 정확해요.
| 확인할 것 | 재는 방법 |
|---|---|
| 요청당 비용 | 평가 세트를 돌릴 때 입력 · 출력 토큰 수를 같이 기록 |
| 긴 입력 비율 | 가격 구간이 바뀌는 길이를 넘는 요청이 얼마나 되는지 |
| 응답 속도 | 첫 글자가 나오기까지 시간과 전체 응답 시간 |
| 답 길이 | 같은 질문에 출력 토큰이 늘었는지 |
토큰은 AI가 글을 처리하는 단위예요. 새 모델이 답을 더 길게 쓰면 단가가 낮아도 요청당 비용은 비슷하거나 오히려 늘 수 있어요.
어디부터 할지 문서로 받아 보고 싶다면AI 도입 진단 49만 원 · 적용 우선순위와 예상 범위를 보고서로 드려요진단 신청확인 3: 출력 형식이 그대로 맞는지
AI 답을 JSON으로 받아 화면이나 다른 시스템에 넘기고 있다면, 형식이 그대로 맞는지가 가장 조용히 깨지는 부분이에요. 필드 이름, 빈 값 처리, 목록 순서처럼 사람 눈에는 사소한 차이가 코드에서는 오류가 돼요.
- 구조화 출력(스키마 지정)을 쓰고 있다면 새 모델에서도 같은 방식이 지원되는지
- 평가 세트의 형식 검사(코드 채점)가 모두 통과하는지
- 스트리밍으로 받는 경우 화면에 나오는 순서와 끊김이 그대로인지
- 프롬프트 캐싱을 쓰고 있다면 새 모델에서도 캐시가 잘 맞는지
확인 4: 지금 모델의 지원 종료 일정
새 모델을 볼 때 함께 봐야 하는 건 지금 쓰는 모델이 언제까지 지원되는지예요. 각 회사는 모델 지원 종료 일정을 공식 문서에 따로 올려요.
- Anthropic: 공개 모델은 종료 최소 60일 전에 사용 중인 고객에게 알리고, 상태를 운영(Active) · 레거시 · 지원 종료 예정(Deprecated) · 종료(Retired)로 나눠 안내해요. 예를 들어 Claude Sonnet 4.5는 9월 30일 공지, 11월 30일 종료 예정이에요.
- OpenAI: 정식 모델은 최소 6개월 전에 알리고, 종료일과 권장 대체 모델을 함께 적어요.
종료일이 정해진 모델을 쓰고 있다면 고민할 필요 없이 바꿔야 해요. 반대로 지금 모델이 계속 지원된다면, 위 세 가지 결과가 충분히 좋을 때 바꾸면 돼요.
바꿀 때는 단계적으로
네 가지를 확인했다면 한 번에 전부 바꾸기보다 단계적으로 넘어가요.
- 모델 버전을 이름까지 정확히 적어 고정해요. 자동으로 최신 모델을 따라가게 두면 언제 바뀌었는지 알기 어려워요
- 일부 사용자나 일부 기능에만 새 모델을 먼저 적용해요
- 오류 · 응답 시간 · 사용자 반응을 며칠 비교해요
- 문제가 없으면 넓히고, 문제가 생기면 설정 한 줄로 되돌려요
정리
새 모델은 대부분 좋아져서 나오지만, 우리 서비스에서도 좋은지는 직접 확인해야 알 수 있어요. 평가 세트 결과, 실제 요청 기준 단가와 속도, 출력 형식, 지원 종료 일정 네 가지를 보고, 버전을 고정한 채 단계적으로 바꾸면 모델 교체가 훨씬 덜 불안해져요.
참고
- Anthropic, Introducing Claude Haiku 5.5 (2026-10-07): https://www.anthropic.com/claude-haiku-5-5
- Claude 공식 문서, Pricing: https://platform.claude.com/docs/en/about-claude/pricing
- Claude 공식 문서, Model deprecations: https://platform.claude.com/docs/en/about-claude/model-deprecations
- OpenAI 공식 문서, Deprecations: https://developers.openai.com/api/docs/deprecations
웹 · 앱 · 업무 시스템을 만들고 그 위에 필요한 AI를 붙여 운영하는 팀이에요. 회의록 · 계약서 · 기업 분석 AI를 직접 만들어 운영해요.
만든 프로젝트 보기