AI 기능을 붙이고 나면 프롬프트를 고칠 일이 계속 생겨요. 답이 길다는 의견이 오면 줄이고, 새 모델이 나오면 바꿔 보고 싶어지죠. 그런데 고친 뒤 "전보다 나아졌나?"를 물으면, 몇 개 질문을 직접 넣어 보고 "괜찮은 것 같아요"로 끝나는 경우가 많아요.
문제는 한 군데를 고치면 다른 곳이 조용히 나빠질 수 있다는 점이에요. 요약은 좋아졌는데 표 형식이 깨지거나, 말투는 부드러워졌는데 꼭 넣어야 할 안내가 빠지는 식이죠. 이 글은 이런 일을 막는 LLM 평가 세트를 만드는 방법을 Anthropic과 OpenAI 공식 문서 기준으로 정리했어요. 데모에서 출시까지 · API 비용 · 구조화 출력 · 스트리밍 · 프롬프트 캐싱에 이어지는 AI 기능 개발 시리즈 6편이에요.
평가 세트는 무엇인가
평가 세트는 "이 질문에는 이런 답이 나와야 한다"를 모아 둔 시험지예요. 질문(입력)과 기대하는 답 또는 채점 기준을 한 줄씩 적어 두고, 프롬프트나 모델을 바꿀 때마다 같은 시험지를 다시 풀게 해서 점수를 비교해요.
OpenAI 문서도 같은 흐름을 안내해요. 할 일을 평가로 정의하고, 입력과 정답이 담긴 데이터를 준비하고, 채점 기준(grader)을 정한 뒤 실행하고, 결과를 보고 프롬프트를 고쳐 다시 돌리는 순서예요. Anthropic 문서는 그 전에 성공 기준부터 구체적으로 정하라고 강조해요. "좋은 답"이 아니라 "분류가 맞다", "세 문장 안에 요약한다"처럼 잴 수 있는 말로요.
질문 모으기: 실제로 들어올 질문부터
평가 세트의 질은 질문이 얼마나 실제와 닮았는지에서 갈려요. Anthropic 문서는 실제 업무에서 들어올 질문의 분포를 그대로 따르라고 권해요.
- 실제 질문: 운영 중이라면 로그에서, 출시 전이라면 담당자가 받는 질문에서 골라요(개인정보는 지우고)
- 경계 사례: 관련 없는 질문, 정보가 빠진 질문, 아주 긴 입력, 뜻이 두 가지로 읽히는 질문
- 꼭 지켜야 할 규칙: 답하면 안 되는 질문, 반드시 넣어야 하는 안내 문구
- 수량: 처음엔 작게 시작해도 돼요. Anthropic 문서는 손으로 채점하는 소수의 문항보다 자동 채점되는 많은 문항이 낫다고 설명해요
처음 질문 몇십 개를 만든 뒤에는 AI에게 비슷한 변형 질문을 더 만들게 해서 늘리는 방법도 문서에 나와 있어요. 다만 AI가 만든 질문은 사람이 한 번 훑어보고 넣어요.
어디부터 할지 문서로 받아 보고 싶다면AI 도입 진단 49만 원 · 적용 우선순위와 예상 범위를 보고서로 드려요진단 신청채점 방법 고르기: 코드 · AI · 사람
같은 평가 세트라도 문항마다 채점 방법이 달라요. Anthropic 문서는 빠르고 믿을 만한 순서로 세 가지를 소개해요.
| 채점 방법 | 잘 맞는 문항 | 주의할 점 |
|---|---|---|
| 코드 채점 | 정답이 정해진 분류 · 숫자 · JSON 형식 | 표현이 달라도 맞는 답을 놓칠 수 있어요 |
| AI 채점 | 요약 품질 · 말투 · 규칙 준수 | 채점 기준표를 자세히 쓰고, 사람 판단과 맞는지 먼저 확인해요 |
| 사람 채점 | 처음 기준 정하기 · 애매한 문항 | 느리고 비용이 커서 꼭 필요한 곳에만 써요 |
AI에게 채점을 맡길 때는 "좋다/나쁘다" 대신 "맞음/틀림" 또는 1~5점처럼 정해진 답만 내게 하고, 점수를 내기 전에 이유를 먼저 쓰게 하면 판단이 안정돼요. 가능하면 답을 만든 모델과 다른 모델로 채점하라는 것도 Anthropic 문서의 권장 사항이에요.
결과를 기록하고 다시 돌리기
평가 세트는 한 번 돌리고 끝나는 게 아니라, 바꿀 때마다 다시 돌리는 습관이에요.
- 지금 프롬프트 · 모델로 먼저 돌려서 기준 점수를 남겨요
- 프롬프트 수정, 모델 교체, 참고 자료 변경처럼 바꾼 점을 한 줄로 적어요
- 같은 평가 세트를 다시 돌려 문항별로 비교해요. 전체 점수보다 "새로 틀린 문항"을 먼저 봐요
- 운영 중 새로 발견한 실패 사례는 평가 세트에 문항으로 추가해요
이렇게 쌓아 두면 "새 모델로 바꿔도 될까?"라는 질문에 감이 아니라 문항별 결과로 답할 수 있어요. 응답 속도와 비용도 같은 표에 함께 적어 두면, 품질 · 속도 · 비용을 한 번에 비교할 수 있어요.
정리
LLM 평가는 거창한 도구보다 "같은 시험지를 매번 다시 푸는 습관"에서 시작해요. 실제 질문을 모으고, 문항마다 채점 방법을 정하고, 바꿀 때마다 다시 돌려 기록하면, 프롬프트를 고치는 일이 훨씬 덜 불안해져요. AI 기능을 처음 붙이는 단계라면 출시 전에 작은 평가 세트 하나부터 만들어 두세요.
참고
- Anthropic, Define success criteria and build evaluations: https://platform.claude.com/docs/en/test-and-evaluate/develop-tests
- OpenAI, Working with evals: https://developers.openai.com/api/docs/guides/evals
웹 · 앱 · 업무 시스템을 만들고 그 위에 필요한 AI를 붙여 운영하는 팀이에요. 회의록 · 계약서 · 기업 분석 AI를 직접 만들어 운영해요.
만든 프로젝트 보기