정의
AI 검색 색인용 크롤러는 AI 서비스가 검색 답변에 웹사이트를 보여 주고 링크하기 위해 페이지를 모으는 자동 수집 프로그램입니다. robots.txt에서 먼저 허용할 봇은 OAI-SearchBot, Claude-SearchBot, PerplexityBot이며, Google은 Googlebot 접근을 유지하면 됩니다. 생성형 AI 검색으로 고객 접점을 빨리 넓히려는 사이트에서 이 이름들을 먼저 다루는 까닭은 답변 속 노출과 링크 여부를 정하는 이름이 바로 이 봇들이기 때문입니다.
이 표제어가 다루는 범위는 AI 검색 답변의 후보가 되기 위한 접근 조건에 한정됩니다. 봇을 허용하면 수집될 수 있는 상태가 될 뿐이며, 특정 페이지의 색인이나 순위, 답변 속 인용이 보장되는 것은 아닙니다. 페이지가 질문에 실제로 도움이 되는 내용을 담고 있는지는 접근 설정과 별개로 판단됩니다.
모델 학습용 크롤러와 사용자 요청형 봇은 이름이 비슷해도 역할이 다릅니다. 학습용 크롤러는 생성형 AI 모델 학습에 쓰일 수 있는 콘텐츠를 모으고, 사용자 요청형 봇은 사용자가 질문하거나 주소를 줄 때 그 페이지 하나를 엽니다. 따라서 검색 노출을 위해 여는 봇과 학습 제공을 위해 여는 봇은 따로 정해야 합니다.
어떤 이름을 먼저 열어 둘지 판단하는 기준은 그 이름을 차단했을 때 무엇이 사라지는가입니다. 검색 색인용 봇을 막으면 해당 서비스의 검색 답변 노출이 빠지거나 줄어들고, 학습용 봇을 막으면 앞으로의 학습 데이터에서 빼 달라는 신호만 남습니다. 고객 확보가 목적이라면 노출에 직접 닿는 쪽을 먼저 점검하는 순서가 됩니다.
적용 대상
이 항목은 생성형 AI 검색 노출은 늘리고 싶지만 자사 콘텐츠가 모델 학습에 쓰이는 것은 원하지 않는 기업 사이트 운영자에게 해당합니다. 제품 사양이나 납품 조건 페이지가 많은 B2B 제조 기업처럼 한 개의 robots.txt 안에서 학습 제외와 검색 노출 유지를 동시에 정해야 하는 경우가 대표적입니다.
학습 제공까지 허용하기로 이미 정한 사이트라면 봇 이름을 나누는 작업의 실익이 줄어듭니다. 무엇을 허용할지는 회사가 정할 일이며 정해진 정답은 없습니다. 아래 설명은 학습과 검색 노출을 분리하려는 경우를 기준으로 합니다.
해당 여부는 다음 절차로 확인합니다. 먼저 현재 robots.txt를 열어 봇 이름별 규칙을 표로 옮깁니다. 이어서 학습 제공, AI 검색 노출, 사용자 질문 응답 허용 여부를 각각 따로 정하고, 세 결정이 서로 다르다면 이 항목의 설정 방식이 적용됩니다. 블로그나 자료실을 별도 하위 도메인으로 운영하는 사이트라면 그 하위 도메인의 파일도 같은 표에 함께 올려 둡니다.
쓰임
AI 서비스의 봇은 학습용, 검색 색인용, 사용자 요청형으로 나뉘고, 운영사마다 각 역할에 서로 다른 봇 이름을 붙입니다. geoanalytics.ai.kr는 OpenAI·Anthropic·Perplexity·Google이 공개한 크롤러 문서를 역할별로 묶어 정리했으며, 아래 규칙과 설명은 그 정리에 실린 운영사 문서 내용을 근거로 합니다. 학습은 빼고 AI 검색 노출은 유지하려는 사이트는 다음처럼 규칙을 나눌 수 있습니다.
- OAI-SearchBot(Allow: /): 운영사 문서는 이 봇을 차단한 사이트가 ChatGPT 검색 답변에 나오지 않으며, 사이트로 이동하는 탐색 링크로만 나올 수 있다고 설명합니다.
- Claude-SearchBot(Allow: /): 운영사 문서는 이 봇이 검색 결과 품질을 높이려고 콘텐츠를 살피며, 차단하면 검색용 색인에서 콘텐츠가 빠진다고 설명합니다.
- PerplexityBot(Allow: /): 운영사 문서는 이 봇이 검색 결과에 웹사이트를 보여 주고 링크하는 용도이며 AI 기반 모델 학습에는 쓰이지 않는다고 밝힙니다.
- Googlebot(기존 규칙 유지): 운영사 문서는 AI 개요와 AI 모드에 나오려면 페이지가 색인되어 스니펫과 함께 검색에 나올 수 있는 상태여야 하며 추가 기술 요건은 없다고 밝힙니다. 이 설명은 Google 검색에 대한 것이며 다른 AI 서비스에 그대로 적용되지는 않습니다.
- GPTBot·ClaudeBot·Google-Extended(Disallow: /): 앞으로 각 운영사의 모델 학습에서 빼 달라는 신호가 됩니다. Google-Extended는 Gemini 학습과 Gemini 앱·Vertex AI의 일부 그라운딩 사용을 정합니다.
- Claude-User(Allow: /): 운영사 문서는 이 봇을 차단하면 사용자 질문에 답할 때 해당 콘텐츠를 가져오지 못한다고 설명합니다.
설정할 때는 운영사 문서가 밝힌 조건도 함께 반영합니다. Anthropic 쪽 문서는 하위 도메인마다 robots.txt를 따로 설정해야 한다고 설명하고, OpenAI 쪽 문서는 파일을 고친 뒤 반영까지 약 24시간이 걸릴 수 있다고 밝힙니다. 같은 문서는 OAI-SearchBot과 GPTBot을 모두 허용하면 한 번 수집한 결과를 두 용도에 함께 쓸 수 있다고 적고 있으므로, 학습 제외를 원하면 GPTBot 차단 줄을 따로 두어야 합니다. 바꾼 날짜와 바꾼 줄을 변경 기록에 남겨 두면 이후 로그 변화가 설정 때문인지 구분할 수 있습니다.
적용 예시는 가상의 경우로 들 수 있습니다. 제품 상세 경로에 OAI-SearchBot 방문이 응답 코드 200으로 기록되고, 같은 주에 GPTBot 차단 줄을 추가했다면 기록에는 방문 일시, 봇 이름, 역할 분류, 요청 경로, 응답 코드, 진위 확인 방법, 관련 설정 변경을 한 줄로 남깁니다. 이렇게 페이지 단위로 쌓아 두면 검색 색인용 방문이 설정 변경 뒤에도 이어지는지 따로 확인할 수 있습니다.
관련 용어
크롤러는 사이트를 자동으로 돌며 페이지를 모으는 프로그램이고, 페처는 요청이 있을 때 특정 주소 하나만 가져오는 프로그램입니다. 검색 색인용 봇은 앞쪽에, 사용자 요청형 봇은 뒤쪽에 가깝습니다. 이 구분을 알아 두면 로그에 같은 운영사 이름이 여러 번 보여도 역할을 혼동하지 않게 됩니다.
사용자 요청형 봇은 ChatGPT-User, Claude-User, Perplexity-User처럼 사용자가 시작한 동작에 따라 페이지를 여는 봇입니다. 운영사 문서는 ChatGPT-User와 Perplexity-User에 robots.txt 규칙이 적용되지 않을 수 있다고 적고 있으므로, 이 두 봇의 접근은 robots.txt만으로 정해진다고 보지 않습니다. 반면 Claude-User는 차단하면 콘텐츠를 가져오지 못하므로 허용 여부를 직접 정해야 합니다.
사용 제어 토큰은 페이지를 방문하지 않고 이미 수집된 콘텐츠의 사용 범위만 정하는 이름입니다. Google-Extended가 여기에 해당하며 별도 사용자 에이전트 문자열이 없으므로 서버 로그에 따로 남지 않습니다. 그라운딩은 AI가 답변을 만들 때 외부 자료를 근거로 붙이는 과정을 뜻합니다.
구조화 데이터는 봇 허용과는 다른 층위의 작업으로, 페이지 내용을 기계가 읽기 쉬운 어휘로 표시하는 방법입니다. Schema.org 구조화 데이터 안내는 이 어휘를 페이지에 표기하는 기본 방법을 설명합니다. 다만 봇이 페이지에 접근하지 못하면 표시한 내용도 읽히지 않으므로, 접근 설정을 먼저 점검하는 순서가 합리적입니다.
오해하기 쉬운 점
첫째, GPTBot을 막으면 ChatGPT 검색에서도 빠진다는 생각은 운영사 문서 설명과 다릅니다. 각 설정은 따로 작동하며, 검색 노출을 정하는 이름은 OAI-SearchBot입니다. 둘째, Google-Extended를 막으면 AI 개요에 불리하다는 생각도 사실과 다릅니다. 운영사 문서는 Google-Extended가 검색 포함 여부에 영향을 주지 않고 순위 신호로도 쓰이지 않는다고 밝히며, AI 개요와 AI 모드는 Googlebot 접근과 nosnippet 같은 스니펫 제어로 관리합니다.
셋째, IP 차단이 robots.txt보다 확실하다는 생각에 대해 Anthropic 쪽 도움말은 IP 차단이 제대로 또는 계속 작동하지 않을 수 있다고 경고합니다. 봇이 robots.txt 자체를 읽지 못하게 되기 때문입니다. 넷째, 검색 색인용 봇의 방문은 AI 답변에 인용될 수 있는 선행 신호일 뿐 인용을 보장하지 않습니다. 응답 코드가 403이나 404로 반복되는 경로는 허용 의도와 실제 응답이 어긋난 것이므로 먼저 고칩니다.
다섯째, robots.txt 한 줄이면 모든 AI 접근을 정리할 수 있다는 생각도 맞지 않습니다. 차단 효과는 봇 종류마다 다르므로, 파일을 고친 뒤에는 역할 분류별로 결과를 따로 읽어야 합니다. 특히 사용자 요청형 봇의 방문이 이어진다고 해서 설정이 실패했다고 단정하지 않습니다.
방문 기록을 해석할 때는 사용자 에이전트 문자열만 보지 않고, 운영사가 게시한 공개 IP 대역이나 역방향 DNS로 진위를 한 번 더 확인합니다. 서버 로그에는 봇뿐 아니라 사람 방문자의 접속 정보도 함께 남으므로, 기록을 보관하는 범위와 기간은 개인정보보호위원회가 공개한 기준을 확인해 정합니다. 설정을 바꾸고 하루 이상 지난 뒤 역할 분류별 방문 변화와 응답 코드를 비교하면 설정의 효과를 구분해 볼 수 있습니다.