P-E-V 워크플로우 실전 사례: 계획-실행-검증으로 AI 분류 정확도 높이기

    이재철|
    게시 수정

    30초 핵심 요약

    • 1P-E-V(Plan-Execute-Validate)는 LLM에게 "답을 내놓아라" 대신 "계획 → 실행 → 검증"의 사고 프레임워크를 제공하는 프롬프트 설계 패턴입니다
    • 2Wei et al.(2022)의 Chain-of-Thought 연구에 따르면, 구조화된 추론 단계를 제공하면 LLM 출력 품질이 유의미하게 향상됩니다
    • 3적용 전: 카테고리 오분류율 높음, 특정 카테고리에 쏠림. 적용 후: 6개 카테고리 균형 분배, 오분류 대폭 감소 (자사 파이프라인 운영 기준)
    • 4구현 비용: 프롬프트 모듈 1개로 여러 호출 지점 통일 (SSOT 원칙)

    P-E-V 워크플로우는 LLM이 바로 답을 내지 않고 계획(Plan), 실행(Execute), 검증(Validate) 순서로 판단하도록 만드는 프롬프트 설계 방식입니다. 이 글은 이 방식을 AI 분류 작업에 적용해 정확도를 높인 사례를 정리합니다.

    배경: 왜 P-E-V 패턴이 필요한가

    P-E-V(Plan-Execute-Validate)란, LLM에게 단순한 지시 대신 계획(Plan) → 실행(Execute) → 검증(Validate)의 3단계 사고 프레임워크를 제공하는 프롬프트 설계 패턴입니다. Google의 Gemini Prompting Guide에서 유래한 에이전트 워크플로우 패턴이며, "답을 내놓아라"가 아니라 판단의 체크리스트를 제공하는 접근입니다 2.

    문제 정의: "프롬프트 잘 썼는데 왜 결과가 이상하지?"

    AI에게 "이 키워드로 사람들이 실제로 검색할 만한 질문 만들어줘"라고 하면, 이런 결과가 돌아옵니다:

    X 서비스의 핵심 기능과 장점은 무엇인가요?

    사람이 이렇게 검색하나요? 프롬프트 엔지니어링에서 가장 흔한 실수는 "무엇을 해달라"만 말하고 "어떻게 판단해달라"를 빠뜨리는 것입니다. LLM은 지시를 따르지만, 판단 기준이 없으면 가장 안전한 선택(= 가장 모호한 카테고리)으로 도망갑니다.

    CoT, ReAct와의 관계

    패턴핵심차이점
    CoT (Chain-of-Thought)"단계별로 생각해봐"사고 과정을 보여주지만 검증 없음 1
    ReAct"관찰하고 행동해"외부 도구 호출에 초점 3
    P-E-V"계획 → 실행 → 검증"출력 전 자가 검증 단계가 핵심

    CoT가 "생각의 흐름"이라면, P-E-V는 "생각의 체크리스트"에 가까워요. LLM이 답을 내기 전에 스스로 "이거 맞나?"를 확인하게 만드는 것입니다.


    P-E-V 3단계 소개

    Plan (계획)     → 입력에서 의도 신호를 파악한다
                      "가격" → qualify, "vs" → compare, "방법" → action
    
    Execute (실행)  → Decision Tree를 따라 카테고리를 결정하고 질문을 생성한다
                      신호가 모호하면 기본값 = recommend (concept이 아님!)
    
    Validate (검증) → 출력 전에 Checklist로 자가 검증한다
                      "가격을 언급했는데 qualify가 맞나?"
                      "같은 어미가 3번 이상 반복되지 않았나?"
    

    적용 사례: 3가지 핵심 변화

    변화 1: Category Decision Tree

    LLM에게 "분류해줘"만 하면 안 됩니다. "이 신호가 보이면 이 카테고리야"라고 명시적으로 알려줘야 합니다.

    신호 기반 라우팅:
    ┌─ "가격", "비용", "요금", "플랜" → qualify
    ├─ "vs", "비교", "대안", "말고"  → compare
    ├─ "방법", "하는 법", "설정"     → action
    ├─ "안 되", "오류", "문제"       → solve
    ├─ "후기", "추천", "좋은"        → recommend
    ├─ "뭐야", "무엇", "개념"        → concept
    └─ 모호한 경우                   → recommend (기본값)
    

    핵심 설계 결정: 모호할 때 기본값을 concept이 아니라 recommend로 설정했습니다. 사람들이 서비스에 대해 물을 때, 대부분 "이거 괜찮아?"(recommend)이지 "이게 뭐야?"(concept)가 아니기 때문입니다.

    변화 2: Validation Checklist (자가 검증)

    LLM이 질문을 생성한 후, 출력하기 전에 스스로 체크합니다:

    #체크 항목실패 시 액션
    1가격/비용 언급했는데 qualify가 맞나?qualify로 재분류
    2비교 표현("vs", "대안")이 있는데 compare가 맞나?compare로 재분류
    3실행 동사("설정하다", "만들다")가 있는데 action이 맞나?action으로 재분류
    4문제/오류 표현이 있는데 solve가 맞나?solve로 재분류
    5같은 어미가 3회 이상 반복되지 않았나?어미 변경
    6질문 길이가 적정 범위인가?길이 조정

    이 체크리스트가 Decision Tree 오분류를 2차로 잡아내요.

    변화 3: Tone Rules (톤 제약)

    • 한국어: 해요체 통일, 20–50자 제한, 같은 어미 3회 연속 금지, 수식어 금지
    • 영어: 8–20 words 제한, 구어체 우선, 같은 문장 구조 반복 금지

    SSOT 아키텍처

    P-E-V 로직을 하나의 프롬프트 모듈에 통합합니다:

    항목BeforeAfter
    수정 필요 시여러 파일 각각 수정1개 파일만 수정
    불일치 위험높음 (독립 관리)없음 (SSOT)
    테스트 범위개별 테스트1곳 테스트 = 전체 반영

    결과: Before vs After

    자사 파이프라인에서 동일 입력으로 테스트한 결과입니다:

    적용 전 (P-E-V 없이)

    #생성된 질문분류문제점
    1"X 서비스의 핵심 기능과 장점은?"concept× 딱딱한 톤, 수식어 과다
    2"X 가격 정책은 어떻게 되나요?"concept× qualify여야 함
    3"X와 유사한 서비스 대안은?"recommend× compare여야 함
    4"X 서비스의 특장점과 차별화 요소"concept× recommend여야 함
    5"X 서비스 이용 시 주의사항"concept× 모호한 카테고리

    카테고리 분포: concept에 대부분 쏠림, 나머지 카테고리 거의 미활용

    적용 후 (P-E-V 적용)

    #생성된 질문분류왜 좋은가
    1"X가 뭐하는 서비스야?"concept○ 진짜 정의 질문만 concept
    2"X 월 이용료 얼마예요?"qualify○ 가격 신호 → qualify 정확
    3"X vs Y 뭐가 나아요?"compare○ 경쟁사 자연 포함
    4"X 써본 사람 후기 알려줘"recommend○ 실제 검색 패턴
    5"X 설정하는 방법"action○ "방법" 신호 → action 정확
    6"X 안 돼요 왜 그래요?"solve○ 문제 해결 → solve

    Before vs After 요약

    지표BeforeAfter변화
    특정 카테고리 쏠림높음해소○ 균형 분배
    카테고리 활용 수2종/6종6종/6종○ 완전 활용
    경쟁사 언급0회자연 포함○ 자동 포함
    톤보고서/논문해요체 구어○ 실제 검색 패턴
    관리 포인트다수1곳 SSOT○ 유지보수 감소

    위 결과는 자사 파이프라인 운영 기준이며, 서비스 도메인과 카테고리 수에 따라 결과가 달라질 수 있습니다.


    타임라인

    기간작업결과
    Week 1Category Decision Tree 설계6종 카테고리 + 신호 매핑 완성
    Week 2Validation Checklist 적용오분류 2차 방어 가동
    Week 3SSOT 모듈 통합 + 톤 규칙관리 포인트 단일화
    Week 4실전 테스트 + 미세 조정안정적 카테고리 균형 달성

    배운 점

    1. P-E-V는 모델이 아니라 프롬프트 패턴이므로 모델 무관하게 작동합니다. Gemini, GPT, Claude 어디서든 "Decision Tree + Validation Checklist"를 프롬프트에 넣으면 동일한 구조적 개선이 나타납니다. 특정 모델에 종속되지 않는 이식 가능한 패턴이라는 점이 실무에서 가장 큰 장점입니다.

    2. 기본값 설정(concept → recommend)이 분포 균형의 핵심이었습니다. LLM은 모호한 입력에서 "가장 넓은 카테고리"로 도망가는 경향이 있습니다. 기본값을 concept에서 recommend로 바꾸는 것만으로 쏠림 현상이 해소됐습니다. 가장 작은 변경이 가장 큰 효과를 냈습니다.

    3. Validation Checklist 없이 Decision Tree만으로는 부족합니다. Decision Tree가 1차 분류를 담당하지만, 엣지 케이스(예: "가격 비교"가 qualify인지 compare인지)는 검증 단계에서만 잡을 수 있습니다. Plan과 Execute만으로는 CoT와 다를 게 없고, Validate가 P-E-V의 핵심 차별점입니다.

    전체 AI 콘텐츠 파이프라인에서 P-E-V가 어떤 위치에 있는지 궁금하다면 Pillar 가이드를 참고하세요. E-E-A-T 기준을 검증 단계에 통합하는 방법도 함께 확인해보세요. GEO 최적화를 위한 콘텐츠 품질 관리에서 P-E-V는 AI 인용 획득의 기반이 되는 정확성을 보장합니다. 검색 의도(Search Intent)를 정확히 분류해야 콘텐츠 최적화 전략도 효과를 발휘할 수 있습니다.


    참고자료

    3개 출처2개 도메인

    이 글의 AI 타겟 전략

    핵심 키워드

    P-E-V 워크플로우콘텐츠 품질 관리워크플로우 설계AI 콘텐츠 검증콘텐츠 파이프라인 사례LLM 분류 정확도

    전략 유형

    사례 검증 (결정)

    AI 타겟 프롬프트

    이 글이 AI 검색에서 인용되길 목표하는 질문들이에요.

    • P-E-V 워크플로우 사례 알려줘
    • P-E-V 워크플로우 성공 사례
    이재철

    HaloX 대표 · GEO 전문가

    디지털 마케팅·SEO·GEO 전문가. 7년 이상의 퍼포먼스 마케팅, 마케팅 애널리틱스, 그로스 해킹 경험을 바탕으로 버거킹, 무신사, 올리브영, KFC, SKT, 네이버플러스스토어 등 주요 브랜드의 데이터 기반 성장 전략을 설계하고 실행해왔습니다. 현재 이화여대·국민대에서 스타트업 마케팅과 데이터 마케팅을 강의하며, 한국 최초 Lovable Ambassador로 AI 기반 빌더 문화를 이끌고 있습니다.

    도움이 되셨나요?

    유용하다면 공유해 주세요.

    이 글처럼 AI가 답할 키워드 전략을 자동으로 세워보세요

    HaloX로 분석하기

    자주 묻는 질문

    아니요. P-E-V는 프롬프트 설계 패턴이지 특정 모델 기능이 아닙니다. GPT, Claude, Gemini 등 어떤 LLM에서든 동일하게 적용할 수 있습니다. 핵심은 "Decision Tree + Validation Checklist"를 프롬프트에 넣는 것이고, 이건 모델에 무관합니다.

    CoT는 "단계별로 생각해봐"이고, P-E-V는 "계획 세우고 → 실행하고 → 검증해"입니다. 가장 큰 차이는 Validate(검증) 단계입니다. CoT는 사고 과정을 보여주지만, 그 결과가 맞는지 확인하지 않습니다. P-E-V는 출력 전에 "이거 진짜 맞아?"를 체크하는 단계가 있어서, 오분류를 사전에 잡을 수 있습니다.

    초기 설정(Decision Tree + Checklist 작성)에 시간이 들지만, 이후에는 프롬프트에 포함되어 자동으로 작동합니다. 오히려 후속 수정 작업이 줄어들어서 전체 제작 시간은 감소하는 경향입니다.

    네. P-E-V는 "분류"뿐 아니라 LLM 출력의 품질을 제어해야 하는 모든 작업에 적용 가능합니다. 콘텐츠 생성, 데이터 태깅, 고객 문의 분류 등 판단 기준이 필요한 곳이면 어디든 활용할 수 있습니다. 시리즈 다음 편인 계층적 분류 가이드에서 분류 체계 설계의 심화 내용을 다룹니다. ---