30초 핵심 요약
- 1LLM에게 추상적 개념(Awareness / Consideration / Decision)을 직접 분류시키면 오분류율이 높습니다
- 2대신 구체적 카테고리(6종)를 판단시키고, 코드가 상위 개념으로 매핑하면 오분류를 대폭 줄일 수 있습니다
- 3핵심 트릭: Many-to-One 매핑으로 유사 카테고리 간 혼동이 무해해지는 구조
- 4Khot et al.(2022)의 Decomposed Prompting 연구에 따르면, 복잡한 작업을 모듈 단위로 분해하면 LLM의 정확도가 향상됩니다
콘텐츠 분류가 중요한 이유
계층적 분류(Hierarchical Classification)란, 하나의 복잡한 분류 작업을 여러 단계로 분해하여 각 단계에서 쉬운 판단만 수행하고, 최종 결과는 결정적(deterministic) 코드가 조합하는 패턴입니다 1.
검색 의도(Search Intent)를 정확히 파악하는 것은 콘텐츠 전략의 기반입니다. 잘못된 분류는 잘못된 콘텐츠를 생산하게 하고, 키워드 리서치의 효과를 반감시켜요.
Flat 분류 vs 계층적 분류
전형적인 실패 패턴
"이 키워드를 Awareness / Consideration / Decision / Action 중 하나로 분류해줘"
이렇게 지시하면 LLM은 일관성 없는 판단을 내립니다:
| 키워드 | 기대 분류 | LLM 판단 | 문제 |
|---|---|---|---|
| "X 서비스 가격" | Decision | Consideration | × 가격 = 구매 직전인데 "탐색 중"으로 분류 |
| "X vs Y 비교" | Consideration | Decision | × 비교 = 탐색 단계인데 "결정 직전"으로 분류 |
| "X 설치 방법" | Action | Consideration | × 사용법 = 이미 결정했는데 "탐색 중"으로 분류 |
| "X가 뭐야" | Awareness | Awareness | ○ 이건 맞음 |
왜 이런 일이 생길까? 퍼널 단계는 마케터의 추상적 프레임워크입니다. "Consideration"이 정확히 어디서 시작하고 끝나는지, LLM마다 해석이 다릅니다.
핵심 인사이트
LLM은구체적이고 관찰 가능한 것을 잘 판단하고,추상적이고 해석이 필요한 것을 못 판단합니다.
- ○ "이 키워드에 가격 관련 단어가 있나?" → 관찰 가능
- × "이 키워드는 구매 여정의 어느 단계인가?" → 해석 필요
| 질문 유형 | 예시 | LLM 난이도 |
|---|---|---|
| 구체적 | "가격/비용 관련 단어가 있나?" | 쉬움 |
| 추상적 | "구매 여정의 어느 단계인가?" | 어려움 |
계층적 분류 설계 원칙
2단계 구조
┌──────────────────────────────────────────────────────────┐
│ Step 1: LLM이 판단 (구체적 카테고리) │
│ │
│ "가격" → qualify "vs" → compare "방법" → action │
│ "뭐야" → concept "추천" → recommend "오류" → solve │
│ │
│ → LLM은 관찰 가능한 신호만 판단하면 됨 │
└──────────────────────────┬───────────────────────────────┘
│
(deterministic code)
│
┌──────────────────────────▼───────────────────────────────┐
│ Step 2: 코드가 매핑 (추상적 Journey) │
│ │
│ concept → awareness (인식) │
│ recommend → consideration (비교/탐색) │
│ compare → consideration (비교/탐색) │
│ qualify → decision (결정) │
│ action → action (실행) │
│ solve → action (실행) │
└──────────────────────────────────────────────────────────┘
핵심: LLM에게는 쉬운 일(구체적 카테고리 판단)만 시키고, 어려운 일(추상적 매핑)은 코드가 합니다.
원칙 1: 상호 배타적 최상위 카테고리
카테고리 간 경계가 명확해야 합니다. "recommend"와 "compare"는 유사하지만, 키워드 신호("추천해줘" vs "vs")로 구분할 수 있습니다.
원칙 2: Many-to-One 에러 흡수
이게 이 패턴의 킬러 피처입니다.
LLM이 recommend와 compare를 헷갈렸다고 치자:
"X 추천해줘" → LLM: compare (오분류!)
↓
코드 매핑: consideration ← 어차피 같은 결과!
"X 추천해줘" → LLM: recommend (정분류)
↓
코드 매핑: consideration ← 동일한 결과!
recommend와 compare는 둘 다 consideration으로 매핑되기 때문에, LLM이 둘을 혼동해도 최종 Journey는 동일합니다.
6 Categories 4 Journey Stages
───────────── ──────────────────
concept ──→ awareness
recommend ──┐
compare ──┴→ consideration ← 혼동해도 같은 결과
qualify ──→ decision
action ──┐
solve ──┴→ action ← 혼동해도 같은 결과
에러 흡수 지점 2곳: recommend↔compare, action↔solve
원칙 3: 확신도(Confidence) 기반 분기
LLM이 카테고리를 판단할 때 확신도가 낮으면 기본값(recommend)으로 폴백합니다. P-E-V 워크플로우에서 다룬 Decision Tree가 이 역할을 합니다.
원칙 4: 코드 매핑은 결정적(Deterministic)
코드 매핑은 항상 같은 입력에 같은 출력을 줍니다. LLM의 비결정적 특성을 코드의 결정적 특성으로 보완하는 구조입니다.
실전 적용 예시
검색 인텐트 분류
Before (직접 Journey 분류): 오분류율 높음
| 키워드 | LLM 판단 | 정답 | 결과 |
|---|---|---|---|
| "X 요금제" | consideration | decision | × |
| "X 사용법" | consideration | action | × |
| "X vs Y" | decision | consideration | × |
| "X란" | awareness | awareness | ○ |
After (카테고리 → 코드 매핑): 오분류율 대폭 감소
| 키워드 | LLM 카테고리 | 코드 매핑 | 정답 | 결과 |
|---|---|---|---|---|
| "X 요금제" | qualify | decision | decision | ○ |
| "X 사용법" | action | action | action | ○ |
| "X vs Y" | compare | consideration | consideration | ○ |
| "X란" | concept | awareness | awareness | ○ |
위 결과는 자사 파이프라인 운영 기준입니다.
GEO 관점: 퍼널 커버리지 균형
카테고리 분류가 concept에 쏠리면 Awareness 콘텐츠만 과잉 생산되고, Consideration/Decision/Action 질문에서 AI 인용 기회를 상실합니다.
| 분포 | Before (concept 쏠림) | After (균형 분포) |
|---|---|---|
| Awareness | 과잉 | 적정 |
| Consideration | 부족 | 비교/추천 질문 커버 |
| Decision | 부족 | 가격/조건 질문 커버 |
| Action | 부족 | 사용법 질문 커버 |
오분류를 줄이는 팁
-
카테고리 수 6종이 스윗스팟입니다. 4종이면 구분이 너무 뭉뚱그려지고, 8종 이상이면 LLM이 경계를 혼동하기 시작합니다. 6종은 에러 흡수와 분류 정밀도의 균형점입니다.
-
LLM에게 어려운 판단을 시키지 말고 쉬운 판단만 시키세요. "구매 여정의 어느 단계인가?"는 전문 마케터도 의견이 갈리는 추상적 판단입니다. "가격 관련 단어가 있는가?"처럼 관찰 가능한 판단만 시키세요.
-
Many-to-One 매핑은 에러를 0으로 만드는 게 아니라 무해하게 만듭니다. 모든 오분류를 방지하는 것은 불가능합니다. 유사 카테고리끼리 같은 상위 그룹에 매핑하면, 오분류가 발생해도 최종 결과에 영향이 없는 구조를 만들 수 있습니다.
-
코드 매핑 테이블을 한 곳에서 관리하세요 (SSOT). 매핑 로직이 여러 곳에 흩어지면 불일치가 발생합니다. 인텐트 기반 키워드 리서치에서 다루는 검색 의도 분류도 동일한 원칙이 적용됩니다.
-
테스트 데이터를 체계적으로 관리하세요. 실제 키워드 50–100개로 정답 셋을 만들고, 변경 시마다 정확도를 측정하세요. 분류가 AI 콘텐츠 파이프라인의 상류에 있기 때문에, 여기서의 정확도가 전체 품질을 결정합니다.

