30초 핵심 요약
- 1아니요. AI crawler 숫자만으로 visibility가 늘었다고 보면 안 됩니다.
- 2같은 AI crawler visit이라도 user fetch / training / discovery는 뜻이 다릅니다.
- 3이 셋 중 visibility 해석에 가장 가까운 것은 user fetch지만, 그것도 단독 성과 지표는 아닙니다.
- 4Duda는 858,457개 사이트에서 2026년 2월 AI crawler visits 68.9M을 관찰했고, 59%의 사이트가 최소 1회 방문을 받았다고 밝혔습니다.
- 5다만 이 데이터는 상관관계를 보여줄 뿐, 크롤링이 많아서 사람 트래픽과 전환이 늘었다는 인과관계를 증명하지는 않습니다.
- 6또 Duda 데이터는 SMB, 로컬 비즈니스 성격이 강한 표본이라 시장 전체로 그대로 일반화하면 안 됩니다.
AI 크롤러 로그는 GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot 같은 AI 크롤러가 사이트를 방문한 서버 기록입니다. 방문 수가 늘었다고 AI 검색 노출이 늘었다고 볼 수는 없고, 방문 목적을 user fetch·training·discovery로 나눠 읽어야 합니다.
먼저 확인할 점
AI crawler 로그는 반가운 신호일 수는 있어도, 그 자체가 곧 visibility는 아닙니다.
먼저 봐야 할 것은 총량이 아니라 그 방문이 user fetch인지, training인지, discovery인지입니다.
- user fetch: 실제 사용자 질문 처리 과정과 연결될 가능성이 있는 접근
- training: 모델 학습, 재학습용 데이터 수집 성격의 접근
- discovery: URL을 찾고 사이트 구조를 훑는 탐색성 접근
즉 AI bot이 많이 왔다 = 우리 콘텐츠가 AI 답변에 더 잘 보인다로 말하면 안 됩니다. 더 정확한 질문은 이것입니다.
이 숫자는 노출 신호인가, 학습 신호인가, 아니면 단순 발견 신호인가?
왜 raw bot hit를 visibility로 읽으면 위험할까
AI crawler 리포트가 생기면 숫자부터 보게 됩니다. 그런데 문제는 많은 팀이 목적이 다른 접근을 한 덩어리로 읽는다는 점입니다.
예를 들어,
- 어떤 방문은 실제 사용자 요청 응답용 fetch일 수 있고
- 어떤 방문은 모델 학습 파이프라인의 데이터 수집일 수 있으며
- 어떤 방문은 아직 사용자 노출과 직접 연결되지 않은 탐색 단계일 수 있습니다.
그래서 총 방문 수만 보면 좋아 보이는데, 정작 visibility 해석은 틀릴 수 있습니다. 숫자보다 해석이 더 중요해졌습니다. OpenAI 크롤링 증가를 어떻게 읽을지는 OpenAI 크롤링 증가는 AI 검색 가시성 신호일까?에서 따로 다뤘습니다.
training, discovery, user fetch는 무엇이 다를까
아래처럼 나눠 읽는 것이 가장 중요합니다.
| 유형 | 무엇에 가까운가 | visibility 해석 가능성 | 흔한 오해 | 실무 해석 |
|---|---|---|---|---|
| User fetch | 실제 사용자 질의 처리 중 필요한 페이지 호출 | 높음 | 이것만 잡히면 곧바로 AI 점유율이 늘었다고 봄 | visibility에 가장 가까운 보조 신호. 그래도 단독 해석은 금물 |
| Training | 모델 학습, 재학습용 데이터 수집 | 낮음~중간 | training에 들어갔으니 지금 답변에도 잘 뜬다고 생각함 | 장기적 자산 신호일 수는 있어도 현재 노출과 동일하지 않음 |
| Discovery | URL 발견, 사이트 구조 탐색 | 낮음 | 방문이 있으니 이제 인용되거나 노출된다고 봄 | 발견 가능성 신호일 뿐, 가시화 성과와는 거리가 있음 |
한 줄로 줄이면 이렇습니다.
- user fetch는 visibility에 가장 가깝다
- training은 미래 가능성에 더 가깝다
- discovery는 아직 입구 단계일 때가 많다
Duda 데이터에서 먼저 읽어야 할 핵심 숫자
Duda는 858,457개 사이트를 기준으로 2026년 2월 한 달 동안 68.9M AI crawler visits를 관찰했고, 506,910개 사이트(59%)가 최소 1회 이상 AI crawler 방문을 받았다고 밝혔습니다.
이 자체만 봐도 AI crawler 접근이 일부 실험적 현상이 아니라는 점은 분명합니다. 하지만 더 중요한 점은 총량보다 구성입니다.
유형별 구성
- user fetch 56.9%
- training 28.8%
- discovery 14.3%
공급자 비중
- OpenAI 55.8M (81.0%)
- Anthropic 11.5M (16.6%)
- Perplexity 1.3M (1.8%)
- Google 380K (0.6%)
이 수치는 누가 더 적극적으로 접근하고 있는가를 보여주지만, 역시 이것만으로 어느 플랫폼에서 우리 브랜드가 더 잘 보인다고 단정할 수는 없습니다.
Duda 데이터가 말해주는 것과 말해주지 않는 것
Duda 데이터는 AI crawler 방문을 받은 사이트들이 그렇지 않은 사이트보다 여러 지표에서 더 높은 평균을 보였다고 말합니다.
| 지표 | AI-crawled sites | Non-crawled sites | 해석 |
|---|---|---|---|
| 평균 human traffic | 527.7 | 164.9 | 더 높은 사람이용과 함께 관찰된 패턴 |
| 평균 form completions | 4.17 | 1.57 | 전환 신호가 더 높게 함께 나타남 |
| 평균 click-to-call | 8.62 | 3.46 | 로컬 액션 지표도 더 높게 관찰됨 |
| 10K+ sessions 사이트 crawl rate | 90.5% | - | 규모 있는 사이트에서 crawl rate가 높게 나타남 |
중요한 점은 이 숫자를 패턴으로 읽는 것입니다.
올바른 문장:
AI crawler가 오는 사이트는 사람 트래픽과 전환 신호도 더 높은 경향이 있었다.
위험한 문장:
AI crawler가 많이 와서 사람 트래픽과 전환이 늘었다.
둘은 완전히 다릅니다. 이번 자료는 인과보다 상관관계를 보여줍니다.
왜 어떤 사이트는 AI가 더 자주 다시 찾을까
Duda 자료에는 어떤 사이트 특성이 AI crawler 방문과 함께 더 자주 나타났는지도 나와 있습니다.
| 특성/기능 | 관련 수치 | 해석 메모 |
|---|---|---|
| Yext integration | 97.1% crawl rate | 로컬 비즈니스 데이터 정합성과 연결된 패턴 가능성 |
| Reviews integration | 89.8% | 리뷰/신뢰 신호가 있는 사이트에서 높은 패턴 |
| GBP sync | 92.8% | Google Business Profile 동기화 사이트에서 높은 패턴 |
| Local schema | 72.3% vs 55.2% | 구조화된 로컬 정보가 있는 쪽이 더 자주 크롤링됨 |
| Dynamic pages | 69.4% vs 58.2% | 페이지 인벤토리 확장성이 영향을 줄 가능성 |
| Ecommerce | 54.2% vs 59.2% | 이커머스는 오히려 낮은 패턴도 보임 |
| 50+ blog posts | 1,373.7 vs 41.6 avg visits | 더 많은 URL 인벤토리와 주제 표면적이 함께 작동한 패턴 가능성 |
| Blog post / page 증가 | +7% / +4% | 콘텐츠 깊이, 페이지 수가 crawl과 함께 움직인 관찰값 |
Duda 표본은 로컬 비즈니스 비중이 높습니다. 지역 서비스 페이지를 점검하는 방법은 AI 검색 위치 페이지 체크리스트에 정리했습니다. 이 표가 주는 교훈은 기능 하나만 켜면 visibility가 오른다가 아닙니다. 더 정확한 메시지는 이렇습니다.
- 로컬 구조화 신호가 있는 사이트
- 페이지와 엔터티가 풍부한 사이트
- 사람 유입과 상호작용이 이미 있는 사이트
에서 AI crawler 접근이 더 자주 관찰되었다는 점입니다.
그래서 실무에서는 어떻게 읽어야 할까
숫자를 볼 때는 아래 순서로 읽으면 오판이 줄어듭니다.
1) 총 AI crawler 숫자보다 유형 분해를 먼저 본다
가장 먼저 볼 질문은 이것입니다.
- user fetch 비중이 늘었는가?
- training 비중이 늘었는가?
- discovery만 늘고 있는가?
총량이 늘어도 discovery 중심 증가라면 visibility 해석은 보수적으로 해야 합니다.
2) 페이지 단위로 어떤 URL이 호출되는지 본다
특히 user fetch가 잡히는 페이지를 봐야 합니다.
- 브랜드 소개 페이지인가
- 제품/서비스 페이지인가
- FAQ인가
- 리뷰/비교/사례 페이지인가
이 단계에서야 비로소 어떤 자산이 AI 응답 흐름에 들어가고 있는가를 읽을 수 있습니다.
3) 사람 지표와 함께 본다
AI crawler 숫자는 단독 KPI로 두기보다 아래와 같이 묶어 봐야 합니다.
- organic / direct human traffic
- 브랜드 검색 노출
- 전환 신호(form, call, lead)
- 페이지 신선도와 구조화 상태
- 인용, 참조 가능성이 높은 문단 구조
4) visibility라고 부르기 전에 증거 수준을 구분한다
| 증거 수준 | 표현 예시 |
|---|---|
| 낮음 | AI crawler 접근이 증가했다 |
| 중간 | user fetch 비중이 높아졌다 |
| 중간~높음 | 특정 핵심 페이지가 반복적으로 user fetch되고 있다 |
| 높음에 가까움 | user fetch 증가와 함께 실제 AI surface 관찰, 인용 패턴도 확인된다 |
즉 crawler log는 해석의 출발점이지, visibility 판정의 종착점이 아닙니다. 크롤링부터 답변 선택까지 단계별로 막힌 곳을 찾는 방법은 AI 검색 10-gate 진단 체크리스트에 있습니다.
기존 HaloX 글과 무엇이 다른가
이 글은 설정법이나 콘텐츠 작성법을 반복하는 글이 아닙니다.
llms.txt 완전 가이드와 다른 점
llms.txt 완전 가이드는 무엇을 설정할지가 중심입니다. 이번 글은 들어온 로그를 어떻게 읽을지가 중심입니다.
GEO 콘텐츠 구조화 가이드와 다른 점
GEO 콘텐츠 구조화 가이드는 어떻게 쓰면 AI가 이해하기 쉬운가를 다룹니다. 이번 글은 이미 발생한 AI bot 접근을 어떻게 분류하고 해석할지를 다룹니다.
AVI 점수란? 글과 다른 점
AVI 점수 해설이 가시성 지표를 설명하는 글이라면, 이번 글은 가시성으로 착각하기 쉬운 로그 신호를 분해하는 글입니다.
한마디로 정리하면,
이번 글은 ‘무엇을 만들 것인가’보다 ‘지금 보고 있는 숫자를 어떻게 오해 없이 읽을 것인가’에 대한 글입니다.
로그를 읽을 때 던질 네 가지 질문
AI crawler 숫자는 많이 보여 주는 것보다 잘못 읽지 않는 것이 중요합니다. 실무에서 필요한 질문은 보통 아래 4개입니다.
- 이 방문은 user fetch / training / discovery 중 무엇인가?
- 어떤 URL이 실제로 반복 호출되고 있는가?
- 이 패턴이 사람 트래픽, 전환, 브랜드 노출과 함께 움직이는가?
- 이 수치를 visibility라고 불러도 될 만큼 증거가 쌓였는가?
이 질문에 답하면 발견만 되는 페이지와 실제 user fetch에 걸리는 페이지를 나눌 수 있고, 어떤 자산을 보강해야 할지 판단할 수 있습니다.
결론
다시 답부터 말하면,
AI crawler 숫자가 늘었다고 해서 visibility가 늘었다고 바로 말하면 안 됩니다.
먼저 나눠야 합니다.
- user fetch: visibility에 가장 가까운 신호
- training: 현재 노출보다 학습 편입 가능성에 가까운 신호
- discovery: 발견 단계 신호
그리고 Duda 데이터가 보여주는 패턴은 분명 흥미롭습니다. 하지만 어디까지나 상관관계입니다. 특히 SMB, 로컬 비즈니스 중심 표본이라는 점까지 포함해 읽어야 오판이 줄어듭니다.
그래서 실무의 핵심은 총량 자랑이 아닙니다. AI bot이 무엇을 하러 왔는지 구분해서 읽는 것, 그게 먼저입니다.
다음 단계
AI crawler 숫자가 늘었는데 좋은 신호로 봐야 할지, 과대 해석인지 헷갈린다면 총량만 보지 말고 user fetch / training / discovery를 나눠 읽어야 합니다. 서버 로그의 방문 유형 분류는 호스팅·CDN 로그 분석 도구로 확인합니다.
HaloX에서는 그 앞뒤를 확인할 수 있습니다. 사이트 진단은 robots.txt와 llms.txt 설정, AI 크롤러 접근 가능 여부를 점검하고, AI 답변 모니터링은 실제 AI 답변에 우리 페이지가 출처로 인용되는지를 기록합니다. 크롤링 기록과 실제 인용을 나란히 놓고 보면 visibility 해석이 더 정확해집니다.

