AI 크롤러가 내 사이트를 막고 있는지 확인하는 법

2026.09.14·기록

내일 9월 15일부터 Cloudflare의 AI 크롤러 기본 정책이 바뀝니다. 2주 전에 자세히 다뤘으니 오늘은 확인만 하겠습니다. 세 가지, 10분이면 끝납니다.

다시 짚고 갈 것 한 줄

바뀌는 건 신규 등록 도메인의 광고 수익화 페이지에서 학습·에이전트 봇이 기본 차단된다는 것. 검색 봇은 그대로입니다.

대부분의 사이트는 영향이 없습니다. 위험한 건 정책이 아니라 이 소식을 듣고 대시보드에서 "AI 봇 차단"을 통째로 켜는 것입니다. 그러면 인용을 만들어주는 검색 봇까지 같이 막힙니다.

확인 1 · 실제 응답 (2분)

명령 프롬프트나 터미널을 열고 한 줄씩 붙여넣으세요. 도메인만 본인 것으로 바꾸면 됩니다.

curl -A "OAI-SearchBot" -I https://내도메인.com/
curl -A "PerplexityBot" -I https://내도메인.com/
curl -A "ClaudeBot" -I https://내도메인.com/
curl -A "Yeti" -I https://내도메인.com/

각각 첫 줄에 200이 나와야 정상입니다.

네 줄 다 200이면 오늘 할 일은 끝입니다.

확인 2 · AI Crawl Control (5분)

Cloudflare 대시보드 → 도메인 선택 → Security → Bots → AI Crawl Control

Crawlers 탭에서 아래 네 개가 Allow인지 봅니다.

• OAI-SearchBot — ChatGPT 검색
• PerplexityBot — 퍼플렉시티
• ChatGPT-User — 사용자 요청 조회
• ClaudeBot — Claude

같은 화면에서 요청 로그도 함께 보세요. Allow로 되어 있는데 요청 수가 계속 0이라면 다른 데서 막고 있다는 신호입니다. 그럼 확인 3으로 넘어가세요.

GPTBot과 CCBot은 학습 전용이라 막아도 노출에 영향이 없습니다. 취향껏 정하시면 됩니다.

확인 3 · 방화벽 규칙 (3분)

Security → WAF → Custom rules

봇이나 User-Agent를 조건으로 차단하는 규칙이 있는지 봅니다. WAF는 robots.txt보다, 그리고 AI Crawl Control 설정보다 먼저 실행됩니다. 여기서 막으면 앞의 설정이 전부 무의미해집니다.

예전에 스크래핑 방어용으로 만들어둔 규칙이 AI 검색 봇까지 걸어버리는 경우가 흔합니다. 규칙 이름만 보지 말고 조건을 열어서 확인하세요.

막혀 있었다면

당황할 일은 아닙니다. 열어주고 재크롤링을 기다리면 됩니다.

1. AI Crawl Control에서 검색 봇 4종을 Allow로
2. WAF에 걸리는 규칙이 있으면 예외 처리
3. robots.txt에도 Allow: / 확인
4. curl로 다시 확인 — 200이 나오는지

재크롤링까지는 보통 1~3주입니다. 오늘 열어두면 이달 안에는 정상화됩니다.

한 번에 보고 싶으면

무료 진단 도구에 주소를 넣으면 크롤러 접근 상태를 포함해 10개 항목을 한 번에 확인합니다. 네이버 항목 4개도 따로 봅니다.

다만 도구는 robots.txt를 기준으로 판단합니다. 방화벽에서 막혀 있으면 도구는 "이상 없음"이라고 답할 수 있어요. 그래서 위의 curl 확인을 같이 하시는 게 정확합니다. 도구가 못 보는 영역이 분명히 있습니다.

정리

오늘 할 일은 curl 네 줄, 대시보드 두 화면. 전부 200이고 전부 Allow면 아무것도 안 하셔도 됩니다.

지난달 조사에서 9.7%가 이미 AI 크롤러를 막고 있었고, 그중 의도적으로 막은 곳은 거의 없었습니다. 대부분 모르고 있었어요. 내일 이후로는 이 비율이 올라갈 가능성이 큽니다.

10분입니다. 지금 열어보세요.