검색봇까지 막지 않는 WAF 설정: Verified Bot을 구분하는 기준
WAF는 모든 자동화 트래픽을 차단하는 방식보다 검증된 검색봇, 일반 사용자, 의심스러운 자동화 트래픽을 구분해 적용하는 편이 안전합니다. 특히 rate limiting을 verified bot에 적용하면 SEO에 영향을 줄 수 있습니다.
보안 설정 뒤에 갑자기 색인이 줄었다면 콘텐츠보다 WAF를 먼저 볼 필요가 있습니다. 봇을 막는 규칙은 효과가 강한 만큼, 정상 검색 크롤러까지 잡으면 검색 유입 자체가 줄 수 있습니다.
- Verified bot은 신원이 확인되고 비정상 행동이 관찰되지 않는 자동화 주체를 의미합니다.
- Cloudflare는 verified bot에 rate limit을 적용할 경우 SEO에 영향을 줄 수 있다고 경고합니다.
- 로그인·API·검색 페이지처럼 경로별 부하 특성을 나눠 룰을 만드는 것이 좋습니다.
- user-agent 문자열만 믿지 말고 사업자가 제공하는 verified bot 신호를 활용하는 편이 안전합니다.
Verified Bot이란
Cloudflare는 Verified bot을 투명하게 자신을 식별하고 비정상적으로 권한을 악용하지 않는 봇 또는 에이전트로 설명합니다. 검색엔진 크롤러, 모니터링 서비스 등 여러 범주가 포함될 수 있습니다.
왜 user-agent만 보면 안 되나
Googlebot 같은 문자열은 누구나 요청 헤더에 넣을 수 있습니다. 그래서 “user-agent가 Googlebot이면 무조건 허용”은 좋은 보안 규칙이 아닙니다. 서비스가 제공하는 검증 신호, IP/역방향 DNS, 서명 등 검증 수단을 우선하는 편이 좋습니다.
경로별로 룰을 나누는 법
홈·콘텐츠 페이지와 로그인·API는 공격면이 다릅니다.
| 경로 | 주요 위험 | 권장 접근 |
|---|---|---|
| /blog, /guides | 과도한 수집 | 정상 검색봇 허용 + 비정상 속도 제한 |
| /login | credential stuffing | 강한 rate limit + challenge |
| /api | 대량 호출 | 토큰/세션/키 기반 제한 |
| /admin | 권한 공격 | 접근 통제 + MFA + 제한 |
SEO 영향을 확인하는 테스트
배포 전후로 HTTP 상태코드, 서버 로그, Search Console 크롤링 상태, 색인 수를 함께 봅니다. 특정 규칙을 만든 직후 403이 급증하면 룰 조건을 다시 검토하세요. 검색봇을 테스트할 때는 단순 user-agent 위조 결과만으로 “정상”이라고 판단하지 않는 것이 좋습니다.
실무 체크리스트
- verified bot에 blanket block이 걸려 있지 않은가
- 정적 콘텐츠와 로그인/API가 같은 rate limit을 쓰고 있지 않은가
- robots.txt와 WAF 정책이 서로 모순되지 않는가
- 차단 로그에서 정상 검색 크롤러가 반복적으로 잡히지 않는가
- 정책 변경 후 Search Console 지표가 급변하지 않았는가
자주 묻는 질문
Verified Bot이면 무조건 허용해야 하나요?
아닙니다. 사이트 목적과 경로에 따라 정책이 달라질 수 있습니다. 다만 검색 노출이 중요하다면 정상 검색 크롤러를 과도하게 차단하지 않도록 확인해야 합니다.
User-Agent로 Googlebot만 허용하면 되나요?
문자열은 위조될 수 있으므로 검증된 봇 신호나 공식 검증 절차를 사용하는 것이 안전합니다.
Rate Limiting이 SEO에 영향을 줄 수 있나요?
네. Cloudflare는 verified bot에 rate limiting을 적용하면 SEO에 영향을 줄 수 있다고 문서에서 주의를 줍니다.
공식 출처
이 글의 사실 확인에 사용한 1차 자료입니다. 정책과 제품 기능은 바뀔 수 있으므로 적용 전 최신 문서를 다시 확인하는 것이 좋습니다.
문의는 텔레그램으로 받습니다.