Google-CloudVertexBot이 새로 보인다면: 검색·학습·에이전트 크롤링을 나누는 법

핵심만 먼저

Google-CloudVertexBot은 웹사이트 소유자가 Vertex AI에서 만든 에이전트가 요청한 페이지를 가져오는 용도의 크롤러로, 일반 Google 검색 색인을 담당하는 Googlebot과 목적이 다릅니다. Google은 이 봇의 접근 허용 여부가 Google 검색이나 다른 Google 제품에 영향을 주지 않는다고 설명합니다. 서버 로그에 낯선 Google 봇이 보였다고 모두 차단하거나 모두 허용하지 말고, 검색·생성형 AI·소유자 요청형 에이전트를 분리해 정책을 정해야 합니다.

GEO에서 크롤러 목적이 중요한 이유

GEO는 생성형 검색과 AI 답변 환경에서 내 정보가 정확하게 발견되고 근거로 사용되도록 관리하는 일입니다. 기존 SEO처럼 Googlebot만 보면 충분하지 않습니다. 검색 색인, AI 모델의 학습 또는 그라운딩, 특정 사용자가 만든 에이전트의 페이지 가져오기가 서로 다른 봇과 정책으로 분리되기 때문입니다.

로그에 `Google`이라는 이름이 붙었다고 전부 검색 순위와 관련 있는 것도 아닙니다. 반대로 새로운 봇을 보안 위협으로 보고 즉시 차단하면, 사업자가 직접 연결한 AI 에이전트가 필요한 공개 정보를 읽지 못할 수 있습니다. 이름보다 요청 목적과 내 서비스 사용 여부를 먼저 확인해야 합니다.

오늘 확인할 이슈와 근거

Google Search 문서 업데이트 기록에는 8월 20일 Google-CloudVertexBot 관련 설명이 추가됐습니다. Google의 공통 크롤러 문서에 따르면 이 봇은 사이트 소유자가 Google Cloud에서 만든 Vertex AI 에이전트를 위해 콘텐츠를 가져오는 데 사용됩니다. 소유자가 직접 요청한 가져오기이므로 일반 검색 크롤링과 성격이 다릅니다.

공식 문서는 Google-CloudVertexBot 제어가 Google 검색이나 다른 Google 제품에 영향을 주지 않는다고 명시합니다. 즉 이 봇을 허용한다고 검색 순위가 오르는 것도 아니고, 차단한다고 Google 검색 색인이 자동으로 사라지는 것도 아닙니다. 검색 색인은 Googlebot 규칙과 페이지 색인 상태를 별도로 봐야 합니다.

또 다른 항목인 Google-Extended는 Google 검색 색인을 담당하는 User-agent가 아닙니다. Google은 공개 웹 콘텐츠가 일부 생성형 AI 모델 개선과 그라운딩에 사용되는 범위를 사이트 운영자가 관리하는 토큰으로 설명하며, 검색 포함이나 순위에는 영향을 주지 않는다고 안내합니다. 세 이름을 한 줄 차단 규칙으로 묶으면 사업 목적에 맞는 선택을 할 수 없습니다.

사장님 실무 적용 6단계

1. 서버나 CDN 로그에서 `Googlebot`, `Google-Extended`, `Google-CloudVertexBot`을 따로 집계합니다. User-agent 문자열만 믿지 말고 Google이 안내한 공식 검증 방식으로 실제 Google 요청인지 확인하는 절차를 개발자와 마련하세요.
2. 회사에서 Vertex AI 에이전트를 만들었거나 외주사가 연결했는지 확인합니다. 아무도 사용하지 않는다면 로그 한 건만으로 필요성을 가정하지 않습니다.
3. 콘텐츠를 `검색 공개`, `생성형 AI 사용 정책 적용`, `내 에이전트가 읽을 공개 자료`, `비공개`로 나눕니다. 비공개 자료는 크롤러 규칙이 아니라 인증과 권한으로 막습니다.
4. robots.txt의 각 User-agent 규칙을 목적표와 대조합니다. `*` 규칙 아래의 광범위한 차단이 개별 봇 허용 규칙과 어떻게 상호작용하는지 문법을 검토합니다.
5. 변경 전후에 Google 검색 색인 상태, 에이전트 가져오기 성공 여부, 서버 오류율을 각각 확인합니다. 하나의 지표로 세 정책의 성공을 판단하지 않습니다.
6. 정책과 변경 이유를 문서에 남깁니다. 누가 어떤 에이전트를 위해 허용했는지 모르면 몇 달 뒤 보안 점검에서 다시 전면 차단될 수 있습니다.

예를 들어 공개된 제품 설명을 바탕으로 상담 답변을 만드는 자체 Vertex AI 에이전트를 운영한다면 Google-CloudVertexBot 접근이 필요할 수 있습니다. 하지만 주문 내역이나 고객 상담 원문까지 공개 URL에 둬서는 안 됩니다. 에이전트 편의보다 데이터 접근 권한이 우선입니다.

흔한 실수

• 이름에 Google이 들어가면 모두 검색 순위용이라고 판단합니다.
• Google-CloudVertexBot을 허용하면 GEO 성과가 자동으로 오른다고 홍보합니다.
• User-agent 문자열만 보고 정상 Google 요청이라고 믿습니다.
• 비공개 자료를 robots.txt 한 줄로 보호합니다.
• 검색 색인, AI 사용, 자체 에이전트 동작을 한 번에 테스트하고 원인을 구분하지 못합니다.

제스토코스트의 판단

GEO의 본질은 봇을 많이 허용하는 일이 아니라 정보의 공개 목적을 선명하게 만드는 일입니다. 검색 고객에게 보여줄 정보와 내부 에이전트가 사용할 정보, 외부 모델 사용 정책은 서로 다른 의사결정입니다. 크롤러 이름을 세분화한 것은 번거로운 변화가 아니라 이 결정을 기술적으로 표현할 수 있게 된 변화입니다.

소상공인은 로그에 새 봇이 보일 때마다 급하게 따라가기보다, 실제로 쓰는 AI 서비스와 공개 콘텐츠 범위를 먼저 적어야 합니다. 우리 사업에 Vertex AI 에이전트가 없다면 우선 관찰할 수 있고, 있다면 필요한 공개 경로만 시험해야 합니다. 검색 순위 효과와 연결하는 문장은 공식 근거가 없으므로 제거하는 것이 맞습니다.

자주 묻는 질문

Google-CloudVertexBot을 막으면 구글 검색에서 사라지나요?

Google은 이 봇의 제어가 Google 검색과 다른 Google 제품에 영향을 주지 않는다고 설명합니다. 검색 색인은 Googlebot과 페이지의 색인 설정을 별도로 확인해야 합니다.

Google-Extended와 같은 봇인가요?

아닙니다. Google-Extended는 특정 생성형 AI 사용 범위를 관리하는 제어 토큰이고, Google-CloudVertexBot은 사이트 소유자가 요청한 Vertex AI 에이전트용 가져오기와 관련됩니다.

로그의 User-agent만 보면 진짜 Google 봇인지 알 수 있나요?

충분하지 않습니다. User-agent는 흉내 낼 수 있으므로 Google 공식 문서의 역방향 DNS 또는 공개 IP 범위 검증 절차를 개발자와 적용해야 합니다.

출처

• Google Search Central: 검색 문서 업데이트 기록
• Google 크롤러 문서: Google의 공통 크롤러와 Google-CloudVertexBot
• Google Cloud: Vertex AI에서 Google Search로 그라운딩

CTA

서버 로그에서 Google 계열 User-agent를 한 줄로 합치지 말고 세 종류로 나눠 보세요. 그다음 실제 사용 서비스와 공개 목적이 확인된 봇만 정책표에 남기시기 바랍니다.

편집 고지: 이 글은 공식 자료 조사와 초안 정리에 자동화 도구를 활용했으며, 공개 전 사람이 출처·표현·실무 적합성을 검수합니다.