AI 크롤러 robots.txt 설정 2026: 검색·도우미·학습 봇을 분리하는 법
AI 관련 봇은 한 묶음이 아닙니다. 검색용은 허용하고 학습용은 별도 선택하는 식으로 robots.txt를 목적별로 나누고, WAF가 그 요청을 실제로 막고 있지 않은지도 따로 확인해야 합니다.
기존 글의 봇 분류를 2026년 10월 기준 공식 문서에 맞춰 다시 정리했습니다. 특히 ClaudeBot과 Claude-SearchBot, OAI-SearchBot과 GPTBot처럼 이름이 비슷하지만 역할이 다른 봇을 구분하는 것이 핵심입니다.
1. robots.txt의 역할부터 정확히 잡습니다
robots.txt는 사이트 루트의 /robots.txt에 두는 크롤링 지시 파일입니다. 검색·AI 서비스가 이 지시를 따를 수 있지만 방화벽처럼 네트워크 요청을 강제로 막는 장치는 아닙니다.
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml2. OpenAI 봇은 세 역할을 구분합니다
| 봇 | 역할 | robots.txt 판단 |
|---|---|---|
OAI-SearchBot | ChatGPT 검색 결과용 | 검색 노출을 원하면 허용 |
GPTBot | 생성형 AI 모델 학습용 | 학습 사용 정책에 따라 선택 |
ChatGPT-User | 사용자 요청 기반 접근 | 자동 검색 크롤러가 아니며 robots 규칙이 적용되지 않을 수 있음 |
OpenAI는 OAI-SearchBot과 GPTBot 설정이 서로 독립적이라고 명시합니다. 따라서 검색에는 보이고 싶지만 학습에는 쓰이지 않았으면 한다면 검색용은 허용하고 GPTBot은 차단하는 구성이 가능합니다.
3. 다른 AI 서비스도 Search와 Crawler를 구분합니다
| 예시 | Cloudflare 분류 | 메모 |
|---|---|---|
Claude-SearchBot | AI Search | Claude 검색 목적 봇 |
ClaudeBot | AI Crawler | 검색용 봇과 동일하지 않음 |
Claude-User | AI Assistant | 사용자 요청 기반 |
PerplexityBot | AI Search | 검색·답변용 수집 |
Perplexity-User | AI Assistant | 사용자 요청 기반 |
Googlebot | Search Engine | Google 검색 크롤러 |
4. 검색용은 허용하고 GPTBot은 막는 예제
User-agent: *
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xml중요: ChatGPT-User는 사용자가 직접 요청한 접근에 쓰이며 OpenAI는 robots.txt 규칙이 적용되지 않을 수 있다고 안내합니다. ChatGPT 검색 노출을 제어하려면 OAI-SearchBot을 기준으로 봅니다.
5. robots.txt가 정상인데도 403이면 WAF를 봅니다
robots.txt에서 허용해도 Cloudflare WAF, AI Crawl Control, Bot Fight Mode, rate limiting이 먼저 요청을 막을 수 있습니다. 실제 응답이 403이면 Cloudflare AI 크롤러 설정 가이드의 점검 순서대로 Security Events와 적용 규칙을 확인하세요.
User-Agent 문자열만 바꾼 curl은 문자열 기반 규칙을 찾는 데는 유용하지만 검증된 봇의 IP·서명까지 재현하지는 못합니다.
6. 자주 생기는 robots.txt 실수
- 전체 차단:
User-agent: * / Disallow: /가 배포 환경에 남아 있습니다. - 특정 봇 그룹 오해: 봇별 그룹을 추가했지만 기대와 다른 규칙이 적용됩니다. 배포된 원문을 직접 확인합니다.
- 잘못된 위치: 루트가 아닌 하위 폴더에 파일을 둡니다.
- WAF를 robots로 착각: robots는 허용인데 CDN에서 403을 반환합니다.
- 검색과 학습을 한꺼번에 차단: 원하는 검색 노출까지 함께 막습니다.
자주 묻는 질문
ChatGPT 검색에 나오려면 어떤 봇을 허용해야 하나요?
OpenAI는 OAI-SearchBot을 ChatGPT 검색용 크롤러로 안내합니다.
GPTBot을 막으면 ChatGPT 검색에서도 사라지나요?
OpenAI는 OAI-SearchBot과 GPTBot을 독립적으로 관리합니다. GPTBot은 학습용이고 검색 노출은 OAI-SearchBot 설정과 관련됩니다.
robots.txt만 고치면 충분한가요?
아닙니다. WAF나 봇 보호 제품이 403을 반환하면 robots.txt 설정과 무관하게 페이지를 읽지 못할 수 있습니다.