OAI-SearchBot과 GPTBot은 다른 봇입니다: ChatGPT 답변 노출과 학습을 나누는 법

핵심만 먼저

OAI-SearchBot은 ChatGPT 검색 답변에서 웹페이지를 찾고 인용하기 위한 봇이고, GPTBot은 생성형 AI 모델 개선에 사용할 콘텐츠 수집과 관련된 별도 봇입니다. 검색 노출은 허용하면서 학습은 원하지 않는 사업자는 두 봇을 같은 규칙으로 막으면 안 됩니다. 페이지를 ChatGPT 검색 결과에서 제외하려면 noindex도 고려할 수 있지만, 봇이 그 메타 태그를 읽을 수 있어야 적용된다는 점을 함께 봐야 합니다.

AEO에서 봇을 나눠 봐야 하는 이유

AEO는 사람들이 검색창 대신 AI에게 질문했을 때 내 콘텐츠가 정확한 답의 근거로 발견되고 이해되도록 만드는 작업입니다. 여기서 흔한 오해는 ‘AI 봇’이 모두 같은 일을 한다는 생각입니다. 실제로는 검색 답변을 위한 크롤링, 모델 학습을 위한 크롤링, 사용자가 특정 페이지를 불러오도록 요청한 접근이 서로 다른 목적과 제어 방식을 가질 수 있습니다.

목적을 나누지 않고 robots.txt에서 관련 봇을 모두 차단하면 원하지 않은 결과가 생깁니다. 학습 사용만 거부하려던 사업자가 ChatGPT 검색 답변의 링크와 인용 기회까지 닫을 수 있습니다. 반대로 검색 노출을 원한다는 이유로 모든 크롤링을 허용할 필요도 없습니다.

오늘 확인할 이슈와 근거

OpenAI의 게시자·개발자 FAQ는 OAI-SearchBot과 GPTBot을 별도로 설명합니다. OAI-SearchBot은 ChatGPT 검색 결과에서 웹사이트를 연결하고 표시하기 위한 용도이며, GPTBot은 모델 개선 목적의 콘텐츠 수집에 관한 제어 대상입니다. OpenAI는 GPTBot을 차단해도 OAI-SearchBot을 허용하면 ChatGPT 검색 노출 가능성을 유지할 수 있다고 안내합니다.

다만 허용했다고 반드시 노출되는 것은 아닙니다. 크롤링 가능 여부는 검색 포함의 전제 중 하나일 뿐, 실제 답변에 링크가 선택되는지는 질문과 페이지의 관련성, 접근성, 품질 등 여러 조건에 달려 있습니다. 따라서 “봇을 열면 ChatGPT 상위 노출” 같은 표현은 근거가 없습니다.

검색 결과에 페이지 제목과 링크가 나타나는 것 자체를 원하지 않는다면 noindex가 선택지가 될 수 있습니다. 중요한 예외는 크롤러를 robots.txt로 완전히 막으면 페이지의 noindex 메타 태그를 읽지 못할 수 있다는 점입니다. 또한 OpenAI는 ChatGPT에서 웹사이트로 넘어오는 추천 트래픽에 `utm_source=chatgpt.com`이 붙을 수 있다고 설명하므로 분석 도구에서 별도 유입으로 확인할 수 있습니다.

사장님 실무 적용 6단계

1. 사이트 콘텐츠를 `검색·인용 허용`, `학습 사용은 거부`, `검색 노출도 거부` 세 정책으로 나눕니다. 전체 사이트에 한 줄 정책을 적용하기 전에 회원 전용·계약 자료가 공개 경로에 없는지 먼저 확인하세요.
2. 현재 robots.txt에서 `OAI-SearchBot`과 `GPTBot` 규칙을 각각 찾습니다. 대소문자와 User-agent 이름을 정확히 확인하고, 다른 봇 규칙과 섞이지 않게 기록합니다.
3. 검색 노출은 원하지만 학습은 원하지 않는다면 OAI-SearchBot 접근과 GPTBot 거부를 별도 검토합니다. 실제 변경 전에는 개발자와 robots.txt 문법, CDN 캐시, 배포 범위를 확인하세요.
4. 검색 결과에서도 빼야 하는 페이지는 noindex 적용 여부를 검토합니다. robots 차단과 noindex를 동시에 쓸 때 봇이 메타 정보를 읽을 수 있는지 반드시 확인합니다.
5. 분석 도구에서 `utm_source=chatgpt.com` 유입을 별도 채널 또는 보고서로 만듭니다. 유입량이 확인되지 않으면 숫자를 추정하지 말고 ‘측정 전’으로 남깁니다.
6. 월 1회 주요 페이지의 제목, 공개 본문, 구조화된 정보, 원문 출처 링크가 실제 화면에서 읽히는지 확인합니다. 봇 설정만 열고 내용 품질을 방치하면 AEO가 되지 않습니다.

예를 들어 가격표는 검색에 공개하고 내부 견적 산식은 비공개로 유지해야 하는 업체라면, 공개 페이지에는 고객이 이해할 수 있는 범위와 조건을 쓰고 내부 문서는 인증 뒤에 둬야 합니다. robots.txt는 보안 장치가 아니므로 비밀 문서를 숨기는 용도로 사용하면 안 됩니다.

흔한 실수

• OAI-SearchBot과 GPTBot을 하나의 ‘ChatGPT 봇’으로 묶습니다.
• 봇 허용을 답변 노출 보장으로 홍보합니다.
• robots.txt로 막은 페이지는 안전하게 비공개라고 생각합니다.
• noindex를 넣고 크롤러가 실제로 읽을 수 있는지 확인하지 않습니다.
• ChatGPT 추천 유입을 직접 유입이나 기타 채널에 섞어 성과를 판단합니다.

제스토코스트의 판단

AEO의 첫 단계는 콘텐츠를 더 많이 만드는 것이 아니라 공개 범위와 사용 목적을 분리하는 일입니다. 검색에서 발견돼야 할 영업 정보, 학습 사용 여부를 선택할 저작물, 애초에 공개되면 안 되는 자료는 같은 규칙으로 관리할 수 없습니다.

소상공인 사이트라면 공개 서비스 설명과 FAQ는 쉽게 읽히게 하고, 고객 개인정보·계약서·내부 원가는 인증된 시스템에 두는 것이 기본입니다. 그다음 OAI-SearchBot과 GPTBot 정책을 목적별로 정해야 합니다. 답변 노출을 노린 문장 반복보다 정확한 조건, 최신 날짜, 원문 근거와 담당자 검수 체계가 더 오래가는 자산입니다.

자주 묻는 질문

GPTBot을 막으면 ChatGPT 검색에도 안 나오나요?

OpenAI는 GPTBot과 OAI-SearchBot을 별도로 제어할 수 있다고 안내합니다. 학습 관련 봇을 막더라도 검색용 봇을 허용하면 검색 노출 가능성은 남지만, 실제 노출은 보장되지 않습니다.

robots.txt로 고객 자료를 숨길 수 있나요?

안 됩니다. robots.txt는 크롤링 요청에 대한 규칙이며 접근 통제나 인증을 대신하지 않습니다. 민감한 자료는 공개 URL에서 제거하고 인증·권한으로 보호해야 합니다.

ChatGPT 유입은 어디서 확인하나요?

OpenAI 안내에 따르면 추천 링크에 `utm_source=chatgpt.com`이 붙을 수 있습니다. GA4 등 분석 도구의 소스·매체 보고서에서 확인하되, 태그 누락 가능성까지 감안해 절대값을 과장하지 마세요.

출처

• OpenAI Help Center: Publishers and developers FAQ
• OpenAI Help Center: ChatGPT search에서 사이트를 표시하는 방법

CTA

오늘 robots.txt에서 OAI-SearchBot과 GPTBot을 각각 검색해 보세요. 둘이 같은 규칙에 묶여 있다면 먼저 공개·학습 정책을 정한 뒤 개발자 검수와 함께 수정하시기 바랍니다.

편집 고지: 이 글은 공식 자료 조사와 초안 정리에 자동화 도구를 활용했으며, 공개 전 사람이 출처·표현·실무 적합성을 검수합니다.