2주 전 제 글이 틀렸습니다 — 클라우드플레어 무료 요금제도 AI 봇이 막혔습니다
9월 2일에 "신규 등록 도메인만 해당된다"고 적었습니다. 틀렸습니다. 9월 15일 전에 AI 봇 설정을 한 번도 안 만진 기존 무료 요금제 사이트도 전부 포함입니다. 국내 소상공인 사이트 중 클라우드플레어 무료 요금제를 쓰는 곳이 적지 않은데, 제 글을 읽고 "우린 해당 없네" 하고 넘어가셨다면 지금 막혀 있을 수 있습니다. 정정부터 하고, 이번 주에 사람들을 겁주고 있는 대시보드 숫자 하나를 같이 짚겠습니다.
먼저 정정 — 신규 도메인만이 아니었습니다
9월 2일 글에 이렇게 적었습니다.
바뀌는 건 신규 등록 도메인의 광고 수익화 페이지에서 학습·에이전트 봇이 기본 차단된다는 것.
신규 도메인 부분은 맞습니다. Cloudflare 공지 원문이 "for all new domains onboarding to Cloudflare"로 시작하니까요.
그런데 적용 대상이 하나 더 있었습니다. 기존 무료 요금제 사이트도, 9월 15일 전에 직접 설정을 만지지 않았다면 새 기본값이 적용됩니다. 유료 요금제에서 이미 설정을 잡아둔 곳만 그대로 남습니다.
정리하면 이렇습니다.
| 대상 | 9월 15일 이후 |
|---|---|
| 신규 등록 도메인 | 새 기본값 적용 |
| 기존 고객이 새로 추가한 사이트 | 새 기본값 적용 |
| 기존 무료 요금제 사이트 | 직접 설정 안 했으면 적용 |
| 유료 요금제 + 설정 완료 | 그대로 유지 |
국내 소상공인 사이트 중 Cloudflare 무료 요금제를 쓰는 곳이 적지 않습니다. 저희 글을 읽고 "우린 신규 도메인 아니니까 해당 없네" 하고 넘어가셨다면, 한 번 더 보셔야 합니다.
틀린 걸 적어둔 채로 두는 게 더 나쁘다고 봐서 먼저 적습니다.
대시보드의 "실패한 요청" 숫자는 그대로 믿으면 안 됩니다
이번 주에 Cloudflare 대시보드를 열어본 분들이 놀라는 지점이 있습니다. 실패한 요청(unsuccessful requests) 수가 급등한 것처럼 보이는 것입니다.
그런데 이 숫자는 성격이 다른 세 가지를 한 칸에 합쳐서 보여줍니다.
| 코드 | 뜻 | 심각도 |
|---|---|---|
403 | 차단됨 | 진짜 문제 |
429 | 속도 제한에 걸림 | 상황에 따라 |
404 | 그 주소에 페이지가 없음 | 대개 무해 |
해외 한 매체가 자사 사이트를 점검한 기록을 공개했는데, 24시간에 약 2,000건이 잡히고 74% 늘어난 것처럼 보였지만 대부분이 404였다고 합니다. 예전에 사라진 주소를 가리키는 오래된 외부 링크들이었고요.
즉 숫자가 올랐다고 차단이 늘어난 게 아닙니다. 404는 크롤러가 들어오긴 들어왔다는 뜻이라, 오히려 접근이 되고 있다는 증거에 가깝습니다.
숫자 말고 응답을 보세요
합계는 오해를 부르니 실제 응답 코드를 직접 받아보는 게 유일하게 확실한 방법입니다. 명령 프롬프트나 터미널에서 한 줄씩 붙여넣으세요.
curl -A "OAI-SearchBot" -I https://내도메인.com/
curl -A "PerplexityBot" -I https://내도메인.com/
curl -A "ClaudeBot" -I https://내도메인.com/
curl -A "Yeti" -I https://내도메인.com/첫 줄에 200이 나오면 들어올 수 있는 겁니다. 대시보드 합계가 뭐라고 하든 상관없습니다.
403이 나오면 그때 대시보드를 보시면 됩니다. 순서가 반대면 없는 문제를 찾느라 시간을 씁니다.
지금 확인해야 하는 사람
전부 확인할 필요는 없습니다. 아래에 해당하면 보세요.
- Cloudflare 무료 요금제를 쓰는데 AI 봇 설정을 한 번도 만진 적이 없다
- 9월 15일 이후에 도메인을 새로 연결했다
- 사이트에 광고(애드센스 등)가 붙어 있다
셋 다 아니면 바뀐 게 없습니다. 이 글은 여기서 닫으셔도 됩니다.
그리고 반대 방향의 사고
지난달 조사에서 9.7%가 이미 AI 크롤러를 막고 있었고, 그중 의도적으로 막은 곳은 거의 없었습니다. 호스팅 기본값이거나 보안 설정에 같이 걸린 경우였습니다.
이번 주 이후로 이 비율은 올라갈 겁니다. 정책 자체 때문이 아니라 뉴스를 보고 "일단 다 막자"로 대응하는 분들 때문입니다.
막아서 이득인 건 학습 봇뿐입니다. 검색 봇까지 같이 막으면 ChatGPT나 퍼플렉시티 답변에 등장할 방법이 사라집니다. 이건 정책이 만든 문제가 아니라 대응이 만드는 문제입니다.
정리
- 적용 대상에 기존 무료 요금제 사이트가 포함됩니다. 저희가 좁게 적었습니다
- 대시보드의 실패 요청 합계는 404까지 섞여 있어 그대로 믿으면 안 됩니다
curl네 줄로 실제 응답을 보는 게 제일 빠르고 정확합니다
막혀 있었다면 열어두고 1~3주 기다리면 재수집됩니다. 서두를 일은 아니지만, 모르고 석 달 지나가는 게 제일 나쁩니다.
크롤러 접근 상태까지 한 번에 보시려면 무료 진단 도구에 주소를 넣으시면 됩니다.
문의는 텔레그램으로 받습니다.