30초 핵심 요약
- 1P-E-V(Plan-Execute-Validate)는 LLM에게 "답을 내놓아라" 대신 "계획 → 실행 → 검증"의 사고 프레임워크를 제공하는 프롬프트 설계 패턴입니다
- 2Wei et al.(2022)의 Chain-of-Thought 연구에 따르면, 구조화된 추론 단계를 제공하면 LLM 출력 품질이 유의미하게 향상됩니다
- 3적용 전: 카테고리 오분류율 높음, 특정 카테고리에 쏠림. 적용 후: 6개 카테고리 균형 분배, 오분류 대폭 감소 (자사 파이프라인 운영 기준)
- 4구현 비용: 프롬프트 모듈 1개로 여러 호출 지점 통일 (SSOT 원칙)
P-E-V 워크플로우는 LLM이 바로 답을 내지 않고 계획(Plan), 실행(Execute), 검증(Validate) 순서로 판단하도록 만드는 프롬프트 설계 방식입니다. 이 글은 이 방식을 AI 분류 작업에 적용해 정확도를 높인 사례를 정리합니다.
배경: 왜 P-E-V 패턴이 필요한가
P-E-V(Plan-Execute-Validate)란, LLM에게 단순한 지시 대신 계획(Plan) → 실행(Execute) → 검증(Validate)의 3단계 사고 프레임워크를 제공하는 프롬프트 설계 패턴입니다. Google의 Gemini Prompting Guide에서 유래한 에이전트 워크플로우 패턴이며, "답을 내놓아라"가 아니라 판단의 체크리스트를 제공하는 접근입니다 2.
문제 정의: "프롬프트 잘 썼는데 왜 결과가 이상하지?"
AI에게 "이 키워드로 사람들이 실제로 검색할 만한 질문 만들어줘"라고 하면, 이런 결과가 돌아옵니다:
X 서비스의 핵심 기능과 장점은 무엇인가요?
사람이 이렇게 검색하나요? 프롬프트 엔지니어링에서 가장 흔한 실수는 "무엇을 해달라"만 말하고 "어떻게 판단해달라"를 빠뜨리는 것입니다. LLM은 지시를 따르지만, 판단 기준이 없으면 가장 안전한 선택(= 가장 모호한 카테고리)으로 도망갑니다.
CoT, ReAct와의 관계
| 패턴 | 핵심 | 차이점 |
|---|---|---|
| CoT (Chain-of-Thought) | "단계별로 생각해봐" | 사고 과정을 보여주지만 검증 없음 1 |
| ReAct | "관찰하고 행동해" | 외부 도구 호출에 초점 3 |
| P-E-V | "계획 → 실행 → 검증" | 출력 전 자가 검증 단계가 핵심 |
CoT가 "생각의 흐름"이라면, P-E-V는 "생각의 체크리스트"에 가까워요. LLM이 답을 내기 전에 스스로 "이거 맞나?"를 확인하게 만드는 것입니다.
P-E-V 3단계 소개
Plan (계획) → 입력에서 의도 신호를 파악한다
"가격" → qualify, "vs" → compare, "방법" → action
Execute (실행) → Decision Tree를 따라 카테고리를 결정하고 질문을 생성한다
신호가 모호하면 기본값 = recommend (concept이 아님!)
Validate (검증) → 출력 전에 Checklist로 자가 검증한다
"가격을 언급했는데 qualify가 맞나?"
"같은 어미가 3번 이상 반복되지 않았나?"
적용 사례: 3가지 핵심 변화
변화 1: Category Decision Tree
LLM에게 "분류해줘"만 하면 안 됩니다. "이 신호가 보이면 이 카테고리야"라고 명시적으로 알려줘야 합니다.
신호 기반 라우팅:
┌─ "가격", "비용", "요금", "플랜" → qualify
├─ "vs", "비교", "대안", "말고" → compare
├─ "방법", "하는 법", "설정" → action
├─ "안 되", "오류", "문제" → solve
├─ "후기", "추천", "좋은" → recommend
├─ "뭐야", "무엇", "개념" → concept
└─ 모호한 경우 → recommend (기본값)
핵심 설계 결정: 모호할 때 기본값을 concept이 아니라 recommend로 설정했습니다. 사람들이 서비스에 대해 물을 때, 대부분 "이거 괜찮아?"(recommend)이지 "이게 뭐야?"(concept)가 아니기 때문입니다.
변화 2: Validation Checklist (자가 검증)
LLM이 질문을 생성한 후, 출력하기 전에 스스로 체크합니다:
| # | 체크 항목 | 실패 시 액션 |
|---|---|---|
| 1 | 가격/비용 언급했는데 qualify가 맞나? | qualify로 재분류 |
| 2 | 비교 표현("vs", "대안")이 있는데 compare가 맞나? | compare로 재분류 |
| 3 | 실행 동사("설정하다", "만들다")가 있는데 action이 맞나? | action으로 재분류 |
| 4 | 문제/오류 표현이 있는데 solve가 맞나? | solve로 재분류 |
| 5 | 같은 어미가 3회 이상 반복되지 않았나? | 어미 변경 |
| 6 | 질문 길이가 적정 범위인가? | 길이 조정 |
이 체크리스트가 Decision Tree 오분류를 2차로 잡아내요.
변화 3: Tone Rules (톤 제약)
- 한국어: 해요체 통일, 20–50자 제한, 같은 어미 3회 연속 금지, 수식어 금지
- 영어: 8–20 words 제한, 구어체 우선, 같은 문장 구조 반복 금지
SSOT 아키텍처
P-E-V 로직을 하나의 프롬프트 모듈에 통합합니다:
| 항목 | Before | After |
|---|---|---|
| 수정 필요 시 | 여러 파일 각각 수정 | 1개 파일만 수정 |
| 불일치 위험 | 높음 (독립 관리) | 없음 (SSOT) |
| 테스트 범위 | 개별 테스트 | 1곳 테스트 = 전체 반영 |
결과: Before vs After
자사 파이프라인에서 동일 입력으로 테스트한 결과입니다:
적용 전 (P-E-V 없이)
| # | 생성된 질문 | 분류 | 문제점 |
|---|---|---|---|
| 1 | "X 서비스의 핵심 기능과 장점은?" | concept | × 딱딱한 톤, 수식어 과다 |
| 2 | "X 가격 정책은 어떻게 되나요?" | concept | × qualify여야 함 |
| 3 | "X와 유사한 서비스 대안은?" | recommend | × compare여야 함 |
| 4 | "X 서비스의 특장점과 차별화 요소" | concept | × recommend여야 함 |
| 5 | "X 서비스 이용 시 주의사항" | concept | × 모호한 카테고리 |
카테고리 분포: concept에 대부분 쏠림, 나머지 카테고리 거의 미활용
적용 후 (P-E-V 적용)
| # | 생성된 질문 | 분류 | 왜 좋은가 |
|---|---|---|---|
| 1 | "X가 뭐하는 서비스야?" | concept | ○ 진짜 정의 질문만 concept |
| 2 | "X 월 이용료 얼마예요?" | qualify | ○ 가격 신호 → qualify 정확 |
| 3 | "X vs Y 뭐가 나아요?" | compare | ○ 경쟁사 자연 포함 |
| 4 | "X 써본 사람 후기 알려줘" | recommend | ○ 실제 검색 패턴 |
| 5 | "X 설정하는 방법" | action | ○ "방법" 신호 → action 정확 |
| 6 | "X 안 돼요 왜 그래요?" | solve | ○ 문제 해결 → solve |
Before vs After 요약
| 지표 | Before | After | 변화 |
|---|---|---|---|
| 특정 카테고리 쏠림 | 높음 | 해소 | ○ 균형 분배 |
| 카테고리 활용 수 | 2종/6종 | 6종/6종 | ○ 완전 활용 |
| 경쟁사 언급 | 0회 | 자연 포함 | ○ 자동 포함 |
| 톤 | 보고서/논문 | 해요체 구어 | ○ 실제 검색 패턴 |
| 관리 포인트 | 다수 | 1곳 SSOT | ○ 유지보수 감소 |
위 결과는 자사 파이프라인 운영 기준이며, 서비스 도메인과 카테고리 수에 따라 결과가 달라질 수 있습니다.
타임라인
| 기간 | 작업 | 결과 |
|---|---|---|
| Week 1 | Category Decision Tree 설계 | 6종 카테고리 + 신호 매핑 완성 |
| Week 2 | Validation Checklist 적용 | 오분류 2차 방어 가동 |
| Week 3 | SSOT 모듈 통합 + 톤 규칙 | 관리 포인트 단일화 |
| Week 4 | 실전 테스트 + 미세 조정 | 안정적 카테고리 균형 달성 |
배운 점
-
P-E-V는 모델이 아니라 프롬프트 패턴이므로 모델 무관하게 작동합니다. Gemini, GPT, Claude 어디서든 "Decision Tree + Validation Checklist"를 프롬프트에 넣으면 동일한 구조적 개선이 나타납니다. 특정 모델에 종속되지 않는 이식 가능한 패턴이라는 점이 실무에서 가장 큰 장점입니다.
-
기본값 설정(concept → recommend)이 분포 균형의 핵심이었습니다. LLM은 모호한 입력에서 "가장 넓은 카테고리"로 도망가는 경향이 있습니다. 기본값을 concept에서 recommend로 바꾸는 것만으로 쏠림 현상이 해소됐습니다. 가장 작은 변경이 가장 큰 효과를 냈습니다.
-
Validation Checklist 없이 Decision Tree만으로는 부족합니다. Decision Tree가 1차 분류를 담당하지만, 엣지 케이스(예: "가격 비교"가 qualify인지 compare인지)는 검증 단계에서만 잡을 수 있습니다. Plan과 Execute만으로는 CoT와 다를 게 없고, Validate가 P-E-V의 핵심 차별점입니다.
전체 AI 콘텐츠 파이프라인에서 P-E-V가 어떤 위치에 있는지 궁금하다면 Pillar 가이드를 참고하세요. E-E-A-T 기준을 검증 단계에 통합하는 방법도 함께 확인해보세요. GEO 최적화를 위한 콘텐츠 품질 관리에서 P-E-V는 AI 인용 획득의 기반이 되는 정확성을 보장합니다. 검색 의도(Search Intent)를 정확히 분류해야 콘텐츠 최적화 전략도 효과를 발휘할 수 있습니다.

