30초 핵심 요약
- 1RAG(Retrieval-Augmented Generation)를 사용해도 할루시네이션은 완전히 사라지지 않습니다
- 2Lewis et al.(2020)의 원본 RAG 논문에 따르면, 외부 지식을 검색해서 LLM에 제공하면 Knowledge-Intensive 작업의 정확도가 향상되지만, 검색 품질과 생성 로직에 따라 여전히 오류가 발생합니다
- 3할루시네이션은 4가지 유형(Fabrication, Misattribution, Context Drift, Over-Generalization)으로 분류할 수 있습니다
- 45가지 방어 전략을 계층적으로 적용하면 할루시네이션 발생을 체계적으로 줄일 수 있습니다
RAG 할루시네이션은 검색으로 찾은 자료를 근거로 답하게 해도 AI가 자료에 없는 내용을 지어내는 현상입니다. 이 글은 할루시네이션 유형과 이를 줄이는 방어 전략을 정리합니다.
RAG와 할루시네이션의 관계
RAG(Retrieval-Augmented Generation)란, LLM이 답변을 생성할 때 외부 데이터베이스에서 관련 문서를 검색(Retrieve)하여 컨텍스트로 제공하는 기법입니다 1. "LLM의 내부 지식만으로 답하지 말고, 검색된 문서를 근거로 답해라"는 접근입니다.
왜 RAG에서도 할루시네이션이 발생하는가
RAG가 완벽한 해법이 아닌 이유는 크게 3가지입니다:
| 원인 | 설명 |
|---|---|
| 검색 실패 | 관련 없는 문서가 검색되거나, 관련 문서가 누락됨 |
| 컨텍스트 과부하 | 너무 많은 문서가 주입되어 LLM이 핵심을 놓침 |
| 생성 단계 오류 | 올바른 문서가 제공되었지만 LLM이 잘못 해석하거나 변형함 |
할루시네이션 유형 분류 (4가지)
유형 1: 소스 미참조 (Fabrication)
검색된 문서에 없는 정보를 LLM이 자체적으로 생성하는 경우입니다. 가장 위험한 유형입니다.
예시: 검색 결과에 "A 서비스의 가격"이 없는데, LLM이 "A 서비스는 월 29달러부터 시작합니다"라고 답변
유형 2: 소스 왜곡 (Misattribution)
검색된 문서의 내용을 잘못 해석하거나, 다른 소스의 정보를 혼합하는 경우입니다.
예시: 소스 A의 수치를 소스 B의 맥락에 적용하여 잘못된 결론을 도출
유형 3: 맥락 이탈 (Context Drift)
검색된 문서는 맞지만, 질문의 맥락과 무관한 부분을 인용하는 경우입니다.
예시: "2024년 가격"을 물었는데 검색된 문서의 "2022년 가격" 데이터를 답변에 사용
유형 4: 과도한 일반화 (Over-Generalization)
특정 사례나 조건부 사실을 보편적 진실처럼 제시하는 경우입니다.
예시: "SaaS 분야에서는 ~"라는 조건부 결론을 "모든 산업에서 ~"로 확대
5가지 방어 전략
전략 1: 검색 품질 개선 (Retrieval Quality)
할루시네이션 방어의 첫 번째 계층은 올바른 문서가 검색되도록 만드는 것입니다.
- 쿼리 리라이팅: 사용자 질문을 검색에 최적화된 형태로 변환
- 하이브리드 검색: 키워드 검색(BM25) + 시맨틱 검색(Vector) 조합
- 검색 결과 필터링: 관련성 점수 임계값 적용
전략 2: 소스 신뢰도 계층화 (Tier System)
모든 소스를 동등하게 취급하면 안 됩니다. E-E-A-T 원칙과 동일하게, 소스에도 신뢰도 계층을 적용합니다:
| Tier | 정의 | 예시 |
|---|---|---|
| Tier 1 | 공식 문서, 학술 논문 | Google 공식 가이드, arXiv 논문 |
| Tier 2 | 업계 미디어, 리서치 기관 | Search Engine Journal, BrightEdge |
| Tier 3 | 커뮤니티, 개인 블로그 | Reddit, 개인 사이트 |
Tier 1 소스를 우선 인용하고, Tier 3 소스는 보조 참고로만 사용하는 규칙을 프롬프트에 명시합니다. 이 원칙은 AI 인용 최적화에서도 핵심입니다.
전략 3: 생성 후 검증 (Post-Generation Verification)
LLM이 답변을 생성한 후, 별도의 검증 단계를 거쳐요:
| 검증 항목 | 방법 |
|---|---|
| 수치 정확성 | 답변의 숫자를 소스 문서와 대조 |
| 인용 일치 | "1"로 인용한 내용이 실제 1 소스에 존재하는지 확인 |
| 시점 일관성 | 답변의 시점이 소스 문서의 시점과 일치하는지 확인 |
| 논리 일관성 | 답변 내 주장 간 모순이 없는지 확인 |
전략 4: 프롬프트 설계 (Grounding Instructions)
LLM에게 "검색된 문서에 없으면 답하지 마라"를 명시적으로 지시합니다:
규칙:
1. 제공된 소스 문서에 근거가 있는 정보만 사용하세요
2. 소스에 없는 수치나 데이터를 생성하지 마세요
3. 확실하지 않은 정보는 "확인되지 않은 정보입니다"라고 표시하세요
4. 여러 소스가 상충하면 Tier가 높은 소스를 우선하세요
전략 5: 불확실성 표현 강제
LLM이 확신이 낮은 답변에 불확실성을 표현하도록 강제합니다. "~로 알려져 있습니다", "~일 가능성이 있습니다" 같은 표현을 사용하게 하면, 사용자가 팩트와 추정을 구분할 수 있습니다.
실전 적용 패턴
콘텐츠 파이프라인에서의 팩트체크
AI 콘텐츠 파이프라인에서 검증(Verification) 단계가 바로 이 방어 전략을 적용하는 지점입니다:
- AI가 초안 생성
- 인라인 인용 [N]과 참고 자료 대조
- 수치/통계가 원본 소스에 실제로 존재하는지 검증
- Tier 1 소스 최소 2개 충족 여부 확인
GEO 관점에서의 중요성
AI 플랫폼들이 콘텐츠를 인용할 때, 정확한 정보를 제공하는 소스를 우선 선택합니다. 할루시네이션이 포함된 콘텐츠는 AI 인용에서 불이익을 받을 수 있습니다. 정확한 정보를 제공해야 AI가 인용한다는 원칙은 인용 획득 가이드에서 상세하게 다룹니다.
검증 자동화의 현실적 한계
모든 팩트체크를 자동화할 수는 없습니다. 현실적인 자동화 범위는 이래요:
| 항목 | 자동화 가능 | 사람 필요 |
|---|---|---|
| 수치 대조 | ○ 소스 문서 검색 + 비교 | 맥락 판단 |
| 인용 형식 | ○ 정규식 검증 | - |
| 논리 일관성 | △ 기본적 모순 탐지 | 미묘한 논리 오류 |
| 맥락 적합성 | × | ○ 전문가 검토 필수 |
| 최신성 확인 | △ 날짜 비교 | 맥락적 최신성 판단 |
자사 운영 기준으로, 자동 검증이 기본적인 오류를 잡아내고 사람이 맥락적 판단을 보완하는 하이브리드 방식이 가장 효과적이었습니다.
E-E-A-T 가이드에서 다루는 신뢰(Trustworthiness) 요소와 소스 신뢰도 계층은 직접적으로 연결됩니다.

