'AI 학습을 막아 달라'는 요청을 받았습니다 — 크롤러를 막으면 실제로 무엇이 사라지나

광고주 쪽에서 "우리 글이 챗GPT 학습에 쓰이는 것 같은데 막아 달라"는 요청이 오면, 대개 robots.txt에 몇 줄 추가하는 것으로 끝나는 일처럼 이야기됩니다. 그런데 '막는다'는 한 가지 동작이 아닙니다. 어떤 이름을 적느냐에 따라 학습 데이터에서만 빠지기도 하고, AI 답변에서 우리 사이트가 통째로 사라져 유입까지 같이 끊기기도 합니다. 실행 전에 갈라야 할 것이 세 가지 있습니다.

같은 'AI 크롤러'인데 역할이 셋으로 갈립니다

주요 AI 회사들은 크롤러를 용도별로 나눠 이름을 따로 공개해 두었습니다. 크게 세 종류입니다.

• 학습용 — 모델을 만드는 데 쓸 웹 문서를 모읍니다. 막아도 검색 노출이나 유입에는 영향이 없습니다.
• 검색·인용용 — 그 서비스의 검색 기능이 답변에 인용할 후보를 색인합니다. 막으면 그 서비스의 답변에서 우리 사이트가 빠지고, 거기서 오던 클릭도 같이 사라집니다.
• 사용자 요청형 — 이용자가 특정 URL을 붙여 넣거나 질문했을 때 그 순간 한 건씩 가져옵니다. 대량 수집이 아닙니다.

"AI를 막아 달라"를 그대로 실행하면 두 번째까지 같이 꺼집니다. 요청을 받은 자리에서 이 셋 중 무엇을 말하는지 되물어 확정해야 합니다. 대부분의 사장님이 걱정하는 것은 첫 번째이고, 두 번째까지 끄는 것에는 동의하지 않습니다.

회사별 이름을 갈라 놓고 시작하십시오

각 사의 공식 문서에 적힌 구분입니다.

• OpenAI — 학습은 GPTBot, ChatGPT 검색 노출은 OAI-SearchBot, 사용자 요청은 ChatGPT-User. 문서에는 OAI-SearchBot을 차단한 사이트는 ChatGPT 검색 답변에 표시되지 않는다고 명시돼 있습니다.
• Anthropic — 학습은 ClaudeBot, 검색 품질용은 Claude-SearchBot, 사용자 질문 시 접근은 Claude-User.
• Perplexity — 색인용 PerplexityBot, 사용자 요청형 Perplexity-User.
• Common Crawl — CCBot. 자사 서비스가 아니라 공개 데이터셋을 만드는 쪽이고, 여러 모델의 재료로 재사용됩니다.

학습만 빼겠다는 결론이 났다면 실제로 적을 이름은 GPTBot·ClaudeBot·CCBot 정도입니다. 뒷줄의 SearchBot 계열을 함께 넣는 순간 성격이 달라집니다.

구글은 구분이 한 겹 더 있습니다

구글의 Google-Extended도 robots.txt 토큰이지만, 검색 색인을 위해 도는 크롤러가 아닙니다. 구글은 검색을 위한 크롤링을 관리하는 수단은 Googlebot에 대한 robots.txt라고 안내하고, Google-Extended는 검색 밖의 다른 시스템에서의 AI 학습·그라운딩에 관한 것이라고 설명합니다.

실무적으로 중요한 결과는 이것입니다. Google-Extended를 막아도 AI 개요와 AI 모드에서는 빠지지 않습니다. 그 기능들은 검색 색인을 쓰기 때문입니다. 반대로 Googlebot을 막으면 AI 답변만이 아니라 일반 검색에서도 함께 사라집니다. 이걸 헷갈린 채 robots.txt를 손대면 되돌릴 때 몇 주가 듭니다. 차단과 색인 제거는 서로 다른 장치라는 점은 robots.txt로 막았는데 검색에 뜨는 이유에 정리해 두었습니다.

구글의 AI 답변에서만 빠지고 싶다면 크롤러가 아니라 서치콘솔에 생긴 별도 토글을 봐야 합니다. 그 판단 기준은 'AI 검색 제외' 토글을 끄기 전 확인할 다섯 가지에서 다뤘습니다.

nosnippet 계열은 일반 검색까지 같이 끕니다

구글이 표시 범위를 제한하는 수단으로 안내하는 것은 nosnippet, data-nosnippet, max-snippet, 그리고 noindex입니다. 이들은 AI 답변만 겨냥한 스위치가 아니라 검색 결과 표시 전반에 적용됩니다.

max-snippet:0이나 nosnippet을 사이트 전체에 걸면 일반 검색 결과에서도 설명문이 사라지고 제목만 남습니다. 클릭률이 어떻게 되는지는 굳이 실험할 필요가 없습니다. 현실적인 절충은 data-nosnippet으로 통째로 인용되기 쉬운 블록만 지정하는 쪽입니다. 가격표, 문단 맨 앞의 요약 정의, FAQ 답변처럼 그 자체가 완결된 답인 영역이 대상입니다.

robots.txt를 지키는 쪽만 robots.txt로 막힙니다

robots.txt는 차단 장치가 아니라 요청입니다. 사용자 요청형 fetcher는 robots.txt 적용 대상이 아니라고 스스로 밝힌 곳도 있습니다. 게다가 2025년 8월 Cloudflare는 선언하지 않은 크롤러가 user-agent와 IP를 바꿔 가며 수집한 사례를 공개한 바 있습니다.

즉 robots.txt로 얻는 것은 두 가지입니다. 규칙을 지키는 봇의 차단, 그리고 문서로 남는 의사표시. 저작권 분쟁을 대비한 근거로는 이 의사표시 자체가 값을 합니다. 그러나 서버 부하나 원문 무단 복제가 실제 문제라면 방화벽·CDN 단에서 user-agent와 ASN 기준으로 막아야 실제로 막힙니다. 이 구분을 설명하지 않고 robots.txt만 고쳐 놓으면, 몇 주 뒤 로그를 본 광고주에게 "막았다면서요"라는 말을 듣게 됩니다. 참고로 AI용 안내 파일로 제안받는 llms.txt는 구글이 쓰지 않는다는 점도 같이 정리해 두는 편이 좋습니다.

결정 순서 요약

1. 요청의 범위를 확정합니다 — 학습만인지, AI 답변 노출까지인지.
2. 서버 로그에서 user-agent별 요청 수를 뽑습니다. 부하 문제인지 저작권 문제인지에 따라 답이 갈립니다.
3. GA4와 서치콘솔에서 AI 계열 유입 규모를 먼저 잽니다. 잃을 것을 모르고 끄지 않습니다.
4. 학습만 막는다면 GPTBot·ClaudeBot·CCBot·Google-Extended.
5. 검색·인용까지 막는 것은 유입 감소를 서면으로 합의한 뒤에 합니다.
6. 표시 제한은 전체 nosnippet이 아니라 data-nosnippet 부분 적용부터.
7. 규칙을 지키지 않는 쪽은 서버·CDN 단에서 처리합니다.
8. 적용 2~4주 뒤 로그와 유입을 다시 확인해 실제로 반영됐는지 봅니다.