DMCA 봇 차단?
먼저 봇의 역할을 구분해야 합니다

User-Agent 문자열 하나만 보고 전부 막으면 Googlebot·Yeti·AI 검색 크롤러까지 같이 차단될 수 있습니다.

협조적 크롤러와 강제 차단은 다릅니다

robots.txt는 협조적인 크롤러에게 접근 정책을 알리는 수단입니다. 악성봇이나 규칙을 무시하는 스크래퍼는 WAF, 요청 빈도 제한, challenge와 로그 분석이 필요합니다.

검색봇은 검증 후 허용

검색엔진이 제공하는 검증 방식이나 WAF의 verified bot 분류를 이용해 정상 검색봇과 일반 자동 요청을 나누는 편이 안전합니다.

경로별 제한을 다르게

로그인, 검색, API, 글 목록, 관리자 페이지는 정상 요청 패턴이 다릅니다. 사이트 전체에 하나의 임계값을 적용하기보다 경로별로 제한을 나눕니다.

차단 전에 로그부터 봅니다

요청 경로, 응답코드, 빈도, 국가/ASN, user agent, 세션 유무를 함께 보고 룰을 잡아야 오탐을 줄일 수 있습니다.