2024년 12월 Vercel·MERJ 측정에서 GPTBot·ClaudeBot·PerplexityBot 등 주요 AI 크롤러는 자바스크립트를 실행하지 않았습니다. Googlebot과 AppleBot처럼 렌더링하는 예외도 있습니다. 자바스크립트로만 그리는 내용은 일부 크롤러가 읽지 못할 수 있습니다. 브라우저의 '페이지 소스 보기'에서 핵심 문장을 찾아보면 확인할 수 있습니다.
측정 결과
- Vercel과 MERJ는 2024년 12월, 자사 네트워크의 크롤러 요청을 분석해 주요 AI 크롤러 중 자바스크립트를 렌더링하는 곳은 없다고 발표했습니다. 한 달간 GPTBot 요청은 약 5억 6,900만 회였습니다.
- OpenAI 크롤러(OAI-SearchBot·ChatGPT-User·GPTBot), Anthropic ClaudeBot, PerplexityBot이 여기에 포함됩니다. 이 크롤러들은 자바스크립트 파일을 내려받기도 하지만 실행하지는 않았습니다.
- 예외로 Google Gemini는 Googlebot의 렌더링을 쓰고, AppleBot도 브라우저 기반으로 렌더링합니다.
- Bing은 안정적으로 렌더링되지 않는 콘텐츠는 Copilot 답변의 근거로 선택되지 않을 수 있다고 안내합니다.
직접 확인하는 법
- 확인할 페이지를 브라우저로 열고 '페이지 소스 보기'(Windows Ctrl+U, Mac Cmd+Option+U)를 엽니다. 개발자 도구의 Elements 탭은 자바스크립트가 실행된 뒤의 화면이라 이 확인에는 맞지 않습니다.
- 가격, 핵심 설명, 자주 묻는 질문의 답처럼 AI가 인용해야 할 문장을 소스에서 찾습니다(Ctrl+F 또는 Cmd+F).
- 소스에 없고 자바스크립트가 나중에 그리는 문장은 자바스크립트를 실행하지 않는 크롤러가 읽지 못할 수 있습니다.
- 이미지 안의 글자는 소스에 텍스트로 나오지 않습니다. 상세 페이지의 가격·스펙이 이미지에만 있다면 텍스트로도 써야 합니다.
터미널에서는 원본 HTML을 받아 바로 찾을 수 있습니다.
curl -s https://example.com/page | grep "찾을 핵심 문장"봇인 척 요청하지 마세요
User-Agent를 AI 봇 이름으로 바꿔 요청하는 방법도 있지만 권하지 않습니다. 방화벽은 실제 봇의 IP 주소를 함께 확인하는 경우가 많아 결과가 실제와 다를 수 있고, 다른 회사의 봇을 사칭하는 일이기도 합니다. 실제 AI 봇이 어떤 응답을 받았는지는 서버 접속 기록에서 확인하는 것이 정확합니다.
고치는 법
- 핵심 본문은 서버 렌더링(SSR)이나 정적 생성(SSG)으로 원본 HTML에 담습니다. Google도 서버 렌더링·정적 렌더링·hydration을 권장합니다.
- AI 봇에게만 렌더링된 버전을 따로 주는 동적 렌더링은 Google이 권장하지 않는 임시방편이라고 설명합니다. 모든 방문자에게 같은 HTML을 주는 방식이 안전합니다.
- 쇼핑몰 빌더처럼 렌더링 방식을 바꿀 수 없다면, 상세 설명의 핵심 문장을 이미지 대신 텍스트 블록으로 넣는 것부터 시작합니다.
출처
아래 문서는 게시일에 직접 확인했습니다.