AI 봇에게만 다른 HTML이나 마크다운을 보여주면 빨리 바뀐 것처럼 보일 수 있습니다. Google은 검색 순위 조작·오도 목적으로 다른 콘텐츠를 보여주는 클로킹을 금지하고, Bing은 크롤러와 방문자에게 실질적으로 다른 경험을 주는 방식에 기대지 말라고 합니다. 공개 실험에서도 봇 방문 증가를 확인하지 못했고, 답변 인용은 측정하지 않았습니다. 같은 목적은 모든 방문자가 보는 원본 페이지를 고쳐서 이룰 수 있습니다.
어떤 방식인가
사이트 앞단(CDN이나 프록시)에서 요청을 보낸 쪽의 이름(User-Agent)을 보고, AI 봇이면 정리된 별도 버전을, 사람이면 원래 페이지를 보여주는 방식입니다. 사이트 코드를 고치지 않고 적용할 수 있어 개발 인력이 부족한 사이트에서 관심을 받습니다.
검색엔진 정책은 어떻게 보나
- Google 스팸 정책은 클로킹을 "검색 순위를 조작하고 사용자를 오도할 의도로 사용자와 검색엔진에 다른 콘텐츠를 보여주는 것"으로 정의합니다. 요청한 쪽이 검색엔진일 때만 텍스트나 키워드를 넣는 것이 예시로 나옵니다.
- Google은 자바스크립트 문제를 피하려는 동적 렌더링을 "권장하지 않는 임시방편"이라고 설명합니다. 내용이 비슷하면 클로킹으로 보지 않지만, 권장하는 방법은 서버 렌더링·정적 렌더링·hydration입니다.
- Bing 웹마스터 가이드라인은 크롤러와 방문자에게 실질적으로 다른 경험을 주는 방식에 기대지 말라고 합니다. 이 가이드라인은 Bing 검색과 Copilot 답변에 함께 적용됩니다.
- Google의 생성형 AI 검색 가이드는 AI용 별도 파일이나 마크다운이 필요 없다고 하고, 하위 질문마다 페이지를 따로 만드는 것은 대량 생성 콘텐츠 정책 위반이라고 명시합니다.
효과는 확인됐나
봇에게만 마크다운을 보여준 공개 무작위 실험이 있습니다. 2026년 1월 19일부터 2월 8일까지 6개 사이트 381페이지를 둘로 나눠 비교했는데, 페이지당 AI 봇 방문 중앙값은 6회와 7회로 우연의 범위를 벗어나지 않았습니다. 이 실험은 봇 방문 수를 쟀고 AI 답변 인용은 재지 않았으며, 실험한 쪽도 지금은 우선순위로 삼을 근거가 없다고 결론 내렸습니다.
성과 사례를 볼 때는 같은 페이지를 같은 조건으로 적용 전후 비교한 결과인지, 비교 기간과 기준이 공개됐는지 확인하는 것이 좋습니다.
보안 쪽에서 보는 시각
보안 연구에서는 AI 봇에게만 다른 내용을 보여주는 방식을 'AI 대상 클로킹'이라는 공격 기법으로 다룹니다. 2025년 10월 발표된 연구에서 AI 검색 도구들은 봇에게만 보인 내용을 그대로 인용했습니다. AI 서비스가 사람용 페이지와 봇용 페이지가 같은지 확인하기 시작하면, 봇 전용 페이지는 효과를 잃거나 불이익을 받을 가능성이 있습니다.
대신 무엇을 하면 되나
- 핵심 본문을 서버 렌더링이나 정적 생성으로 원본 HTML에 담습니다. 주요 AI 크롤러는 자바스크립트를 실행하지 않습니다.
- 가격·스펙처럼 이미지 안에만 있는 정보를 텍스트로도 씁니다.
- robots.txt와 방화벽이 AI 검색 봇(예: OAI-SearchBot)을 막고 있지 않은지 확인합니다.
- 구조화 데이터는 화면에 보이는 내용과 일치하게 씁니다.
- 고친 뒤에는 같은 질문·같은 AI·같은 기간 길이로 전후를 비교합니다.
Signent는 봇 전용 페이지 방식을 알고 있고, 쓰지 않습니다. 사람과 모든 봇이 같은 페이지를 보도록 원본을 고치는 방식만 씁니다.
출처
아래 문서는 게시일에 직접 확인했습니다.