Cloudflare가 9월 15일부터 광고 페이지 크롤러를 기본 차단합니다 — 우리 사이트가 영향받는지 확인하는 순서

9월 15일부터 Cloudflare를 쓰는 사이트 상당수에서 봇 차단 설정이 자동으로 바뀝니다. 손대지 않았는데 갑자기 어떤 크롤러의 접근이 막히는 사이트가 나온다는 뜻입니다. 무료 플랜을 그대로 쓰는 곳, 광고를 붙여 수익을 내는 블로그·매체, 그리고 AI 답변에 인용되길 바라며 최근 크롤러 설정을 만졌던 곳이라면 이번 변경을 미리 확인해야 합니다.

무엇이 바뀌는가 — '용도를 밝히지 않는' 크롤러가 기준입니다

Cloudflare는 AI 크롤러를 세 갈래로 나눠 다루고 있습니다. 모델 학습용, 검색·답변 인용용, 그리고 이용자가 특정 URL을 요청했을 때만 오는 사용자 요청형입니다. 문제는 이 세 가지를 명확히 구분해 이름을 공개하지 않는 크롤러들입니다. Cloudflare는 이런 크롤러를 'mixed-use(혼합 용도)' 크롤러로 분류하고, 9월 15일부터 광고가 붙은 페이지에서는 이 부류를 기본값으로 완전 차단하기로 했습니다. 광고가 없는 일반 페이지는 검색·인용 목적의 접근은 허용하고 학습·에이전트 목적만 막는 것이 기본값이라, 광고 페이지에만 더 강한 기준이 적용되는 셈입니다.

왜 하필 지금, 왜 광고 페이지부터인가

Cloudflare는 작년에 '크롤당 과금(Pay Per Crawl)'을 내놓았다가, 최근에는 크롤 횟수가 아니라 그 콘텐츠가 실제로 AI 답변에 쓰였을 때 대가를 지급하는 방식으로 방향을 넓히고 있습니다. 두 정책 모두 같은 문제의식에서 나옵니다. 광고 수익으로 운영되는 사이트의 콘텐츠를 AI 서비스가 학습이나 답변 생성에 가져다 쓰면서도, 정작 그 사이트에는 광고 노출이나 방문이 발생하지 않는다는 것입니다. 광고 페이지를 기준선으로 삼은 이유가 여기 있습니다. 수익 구조가 걸린 페이지부터 '허가 없이 가져가지 못하게' 만드는 것이 이번 변경의 실질적인 목적입니다.

대행사가 관리하는 사이트라면 세 곳을 순서대로 봐야 합니다

첫째, Cloudflare 대시보드의 AI Crawl Control 메뉴에서 현재 어떤 크롤러가 허용·차단 목록에 있는지, 그리고 기본값을 직접 변경한 적이 있는지 확인하십시오. 한 번도 손댄 적이 없다면 9월 15일에 새 기본값이 그대로 얹힙니다. 둘째, 애드센스나 제휴 광고가 걸린 페이지가 사이트 전체의 일부인지 전부인지 파악해야 합니다. 광고 게재 여부에 따라 같은 사이트 안에서도 페이지별로 다른 규칙이 적용되기 때문에, 블로그 섹션은 광고가 있고 회사 소개나 상담 신청 페이지는 광고가 없는 구조라면 두 영역이 서로 다른 기본값을 받게 됩니다. 셋째, 이전에 Bot Fight Mode나 보안 수준을 올려 둔 이력이 있다면 이번 변경과 겹쳐서 의도치 않게 검색엔진 크롤러까지 걸리는 경우가 생깁니다. Cloudflare를 붙인 뒤 검색이 흔들린다면 이 부분부터 짚어 보는 것이 순서입니다.

'학습 차단'과 '인용 차단'을 같은 것으로 묶지 마십시오

이번 정책의 함정은 mixed-use 크롤러를 막는 것이 항상 안전한 선택처럼 보인다는 점입니다. 실제로는 그렇지 않습니다. 특정 AI 서비스가 검색·인용 목적과 학습 목적의 크롤러 이름을 따로 공개하지 않고 하나로 운영한다면, 그 서비스를 mixed-use로 분류해 차단하는 순간 학습 데이터에서 빠지는 것과 동시에 그 서비스의 답변에서 우리 사이트가 인용될 기회도 함께 사라집니다. 광고주가 "AI가 우리 글을 가져다 쓰는 걸 막아 달라"고 요청했을 때 이 둘을 가르지 않고 일괄 차단하면, 학습만 막을 생각이었는데 노출 채널까지 같이 끄는 결과가 나올 수 있습니다. AI 답변 인용을 통한 유입을 관리 지표로 이미 보고 있는 사이트라면 더욱 그렇습니다. AI 검색에 사이트가 인용되도록 통제할 수 있는 부분과 겹치는 지점이라 함께 확인해야 합니다.

robots.txt만으로는 이번 변경을 통제할 수 없습니다

많은 운영자가 robots.txt에 크롤러 이름을 적어 두면 그것으로 끝이라고 생각합니다. 하지만 Cloudflare의 AI Crawl Control은 robots.txt의 Disallow 규칙과 별개로 엣지 단에서 요청 자체를 차단하거나 통과시키는 계층입니다. robots.txt는 크롤러가 '지켜 주기로 약속한' 규칙일 뿐이고, Cloudflare 설정은 그 앞단에서 실제로 요청을 걸러내는 방화벽에 가깝습니다. 즉 robots.txt를 아무리 정교하게 써 놔도 Cloudflare 대시보드의 기본값이 9월 15일에 바뀌면 그 설정이 우선 적용됩니다. 두 계층이 다르게 동작한다는 점을 모른 채 robots.txt만 확인하고 안심하는 것이 가장 흔한 실수입니다. 무료 플랜 고객이 아무 조치도 하지 않으면 새 기본값이 그대로 적용되고, 유료 플랜이라도 AI Crawl Control 설정을 별도로 켜 둔 적이 없다면 결과는 같습니다. '요금제가 높으니 알아서 안전할 것'이라는 가정은 이번 변경에는 통하지 않습니다.

9월 15일 전에 확인할 순서

• Cloudflare 대시보드 → AI Crawl Control에서 현재 허용/차단 목록과 기본값 변경 이력을 확인한다.
• 광고(애드센스·제휴 배너 등)가 걸린 페이지 범위를 사이트 구조 기준으로 정리한다.
• 거래 중인 AI 서비스별로 학습용·검색인용용 크롤러 이름이 따로 공개돼 있는지, 아니면 mixed-use로 묶이는지 구분한다.
• Bot Fight Mode·보안 수준 설정이 검색엔진 크롤러까지 건드리고 있지 않은지 서버 로그로 상태 코드를 확인한다.
• 변경 후에는 실제 요청 로그에서 차단된 크롤러 목록을 다시 대조해, 의도한 대상만 걸렸는지 확인한다.