Cloudflare AI 봇 설정 2026: Search·Agent·Training을 따로 봐야 하는 이유

2026.09.27·기록

작성·검토: 퍼스트페이지 · 마지막 검토 2026.09.27

한 문장 답

AI 검색 인용을 원한다면 모든 AI 봇을 한 번에 차단하면 안 됩니다. Cloudflare는 2026년 AI 트래픽을 Search, Agent, Training 같은 행동으로 구분하고 있으므로, 사이트 목적에 맞게 각각 허용 정책을 정하는 편이 좋습니다.

예전에는 “AI Bot: Allow / Block” 한 줄로 생각하기 쉬웠습니다. 지금은 그 방식이 너무 거칩니다. 검색 답변에 출처를 제공하는 봇과 모델 학습을 위한 크롤러는 사이트 운영자가 원하는 결과가 다를 수 있습니다.

핵심 요약

Search는 답변과 검색 결과에 쓸 정보를 찾는 행동입니다.
Agent는 사용자를 대신해 실시간으로 사이트와 상호작용하는 행동입니다.
Training은 모델 학습·미세조정을 위한 수집 행동입니다.
GEO 목적이라면 Search 접근을 유지하되 Training 정책은 별도로 결정하는 식의 분리가 가능합니다.

Cloudflare가 왜 세 행동으로 나누나

Cloudflare 문서는 AI 관련 자동화 트래픽을 하나의 “AI Bot”으로만 보지 않고 Search, Agent, Training 등 행동 중심으로 구분합니다. 같은 회사의 봇이라도 목적이 다르면 사이트에 주는 가치와 비용이 달라질 수 있기 때문입니다.

행동	사이트 관점	대표 판단
Search	검색·답변에 인용될 가능성	노출이 중요하면 허용 검토
Agent	사용자 대신 실시간 조회·작업	기능/부하에 따라 허용
Training	모델 학습·미세조정 데이터 수집	콘텐츠 정책에 따라 별도 결정

Search를 막으면 생기는 일

Cloudflare의 봇 참조에는 OAI-SearchBot, PerplexityBot, Googlebot처럼 검색·답변 탐색과 관련된 크롤러가 구분돼 있습니다. GEO를 목표로 하면서 검색 행동까지 차단하면 콘텐츠를 잘 써놓고 입구를 닫는 상황이 생길 수 있습니다.

Agent를 어떻게 볼 것인가

Agent 트래픽은 사용자의 요청으로 특정 페이지를 실시간으로 읽거나 작업을 수행하는 경우가 있습니다. 공개 정보 사이트라면 접근을 허용할 이유가 있을 수 있지만, 로그인·결제·관리 기능이 있는 서비스는 경로별로 권한과 rate limiting을 따로 설계해야 합니다.

Training은 별도 정책으로

Training 허용 여부는 검색 노출과 동일한 결정이 아닙니다. 사이트가 원본 리서치나 유료 콘텐츠를 운영한다면 학습용 수집에 더 보수적일 수 있습니다. 중요한 점은 검색 노출을 원한다고 모든 학습 크롤러까지 허용할 필요는 없고, 반대도 마찬가지라는 것입니다.

설정 전 반드시 확인할 것

Cloudflare 대시보드의 AI bot policy
WAF custom rule에 verified bot을 잡는 규칙이 있는지
robots.txt가 실제 응답되는지
특정 user-agent로 요청했을 때 200/403 상태
Search Console 등에서 정상 크롤링이 유지되는지

특히 rate limiting을 verified bot에 무차별 적용하면 SEO에 영향을 줄 수 있다는 경고가 Cloudflare 문서에도 있습니다.

자주 묻는 질문

AI 검색에 인용되려면 GPTBot을 허용해야 하나요?

학습 목적 크롤러와 검색 목적 크롤러는 구분해서 보는 것이 좋습니다. 검색 노출은 해당 검색/답변 시스템이 사용하는 검색 크롤러의 접근 가능성이 더 직접적입니다.

robots.txt에서 Allow 하면 WAF 차단도 풀리나요?

아닙니다. robots.txt는 크롤링 선호를 표현하는 파일이고 WAF는 네트워크 요청 자체를 차단할 수 있습니다.

Google AI Overview용 별도 크롤러 허용 설정이 필요한가요?

Google은 AI 기능에 표시되기 위한 별도 기술 요구사항은 없고 일반 Google Search 색인과 스니펫 적격성이 기본이라고 설명합니다.

공식 출처

이 글의 사실 확인에 사용한 1차 자료입니다. 정책과 제품 기능은 바뀔 수 있으므로 적용 전 최신 문서를 다시 확인하는 것이 좋습니다.