9월 15일, Cloudflare가 AI 크롤러를 기본 차단합니다

2026.09.02·기록

보름 뒤에 규칙이 하나 바뀝니다. 대부분의 사이트는 영향이 없지만, 모르고 설정을 잘못 건드리면 AI 답변에서 통째로 사라집니다. 무엇이 바뀌는지, 뭘 확인해야 하는지 정리했습니다.

무엇이 바뀌나

Cloudflare는 2026년 9월 15일부터 신규 등록 도메인에 대해 학습(Training) 봇과 에이전트(Agent) 봇을 광고 수익화 페이지에서 기본 차단합니다. 검색(Search) 봇은 기본 허용으로 유지됩니다.

문장이 짧은데 조건이 많습니다. 하나씩 떼어보면 이렇습니다.

그러니까 대부분의 사이트는 당장 바뀌는 게 없습니다. 그런데도 이 글을 쓰는 이유는 따로 있습니다.

이 소식이 퍼지면서 대시보드에서 "AI 봇 차단"을 통째로 켜는 경우가 늘고 있습니다. AI가 내 콘텐츠를 가져다 쓰는 게 싫다는 판단인데, 문제는 그 스위치가 인용을 만들어주는 봇까지 함께 막는다는 점입니다.

AI 봇은 하는 일이 다릅니다. 한 덩어리로 취급하면 안 됩니다.

분류	대표 봇	하는 일	막으면
검색(Search)	`OAI-SearchBot` · `PerplexityBot`	답변에 쓸 출처를 찾는다	인용이 사라진다
에이전트(Agent)	`ChatGPT-User`	사용자 대신 실시간으로 페이지를 연다	대신 못 읽어준다
학습(Training)	`GPTBot` · `CCBot`	모델 학습 데이터를 모은다	노출에는 영향 없다

막아서 이득인 건 학습 봇뿐입니다. 그것도 "내 글이 학습에 쓰이는 게 싫다"는 판단일 때만이고, 검색 노출과는 무관합니다.

반대로 검색 봇을 막으면 ChatGPT나 퍼플렉시티 답변에 등장할 방법이 원천적으로 사라집니다. 콘텐츠를 아무리 잘 써도 소용없습니다. 크롤러가 못 들어오니까요.

여기가 가장 많이 놓치는 부분입니다.

Cloudflare를 쓰신다면 방화벽(WAF) 규칙이 robots.txt보다 먼저 실행됩니다. 요청이 들어오면 방화벽에서 먼저 걸러지고, 통과한 것만 사이트에 도달해 robots.txt를 읽습니다.

그래서 대시보드에서 봇을 막아두면 robots.txt에 Allow: /를 아무리 써놔도 소용이 없습니다. 요청 자체가 사이트에 닿지 못하니까요.

더 곤란한 건, 시중의 GEO 진단 도구들이 대부분 robots.txt만 읽어서 판단한다는 점입니다. 방화벽에서 막혀 있어도 도구는 "이상 없음"이라고 답합니다. 도구를 믿고 넘어가면 문제를 영영 못 찾습니다.

robots.txt가 아니라 진짜 요청을 보내서 확인해야 합니다. 명령 프롬프트나 터미널에서 한 줄이면 됩니다.

curl -A "OAI-SearchBot" -I https://내도메인.com/

첫 줄에 200이 나오면 정상, 403이면 차단된 상태입니다. 봇 이름을 바꿔가며 몇 개 더 확인해 보세요.

Cloudflare 대시보드 → Security → Bots → AI Crawl Control. Crawlers 탭에서 봇별 Allow/Block 상태와 실제 요청 로그를 함께 볼 수 있습니다. 요청 수가 0인 봇이 있다면 어딘가에서 막혀 있다는 뜻입니다.

Security → WAF → Custom rules에 봇을 막는 규칙이 있는지 확인하세요. AI Crawl Control에서 허용해놨는데도 안 들어온다면 대개 여기입니다.

지난달 국내 쇼핑몰 3,035곳을 점검했을 때 9.7%가 AI 크롤러를 차단한 상태였습니다. 95% 신뢰수준에서 오차범위 ±1.05%p입니다.

열 곳 중 한 곳꼴인데, 대화해 본 범위에서는 의도적으로 막은 경우가 거의 없었습니다. 호스팅 기본값이거나, 보안 설정을 하다가 같이 걸렸거나, 예전에 켜둔 걸 잊은 경우였습니다.

9월 15일 이후로는 이 비율이 올라갈 가능성이 높습니다. 뉴스를 보고 "일단 막자"는 판단이 늘어날 테니까요.

바뀌는 정책 자체는 대부분의 사이트에 영향이 없습니다. 위험한 건 이 소식을 듣고 스위치를 잘못 올리는 것입니다.

막을 거라면 학습 봇만 막으세요. 검색 봇과 에이전트 봇은 열어두는 게 이득입니다. 그리고 Cloudflare를 쓰신다면 robots.txt가 아니라 curl로 실제 응답을 확인하세요. 10초면 됩니다.

주소만 넣으면 크롤러 접근 상태를 포함해 10개 항목을 한 번에 보는 무료 진단 도구도 만들어 두었습니다.

이 사이트는 검색 유입을 0에서 만들어가는 과정을 기록합니다. 월·수·금 발행.
문의는 텔레그램으로 받습니다.