JavaScript와 AI 크롤러 — 초기 HTML이 가장 안전한 기준인 이유

확실히 알려진 사실

Vercel은 MERJ와 함께 자사 네트워크의 트래픽을 분석했습니다. 해당 표본에서 GPTBot은 월 5억 건 이상의 요청을 만들었고 JavaScript 실행 흔적은 없었습니다. 요청의 약 11.5%가 JS 파일을 내려받았지만 실행하지는 않았습니다. 이 결과는 GPTBot에 한정되며 Claude, Perplexity 또는 다른 모든 크롤러의 동작을 입증하지 않습니다.

공식 분류를 보면 역할이 다릅니다. OpenAI의 OAI-SearchBot은 검색용, ChatGPT-User는 사용자가 요청한 방문용, GPTBot은 학습용입니다. Anthropic의 Claude-SearchBot과 Claude-User는 검색·사용자 요청용이고 ClaudeBot은 학습용입니다. Google의 Googlebot은 Search와 AI Overviews에 쓰이며, Google-Extended는 Gemini 관련 사용을 제어하지만 Google Search 노출이나 순위를 제어하지 않습니다.

클라이언트에서만 렌더링되는 페이지는 JavaScript를 실행하지 않는 페처에게 거의 빈 초기 HTML을 줄 수 있습니다. 제품 설명과 가격에는 실제 위험이지만, 콘텐츠가 「모든 AI에 존재하지 않는다」는 뜻은 아닙니다. Google은 크롤링 가능한 JavaScript를 렌더링할 수 있습니다. 완전한 초기 HTML이 가장 신중하고 검증 가능한 기준입니다.

3분 만에 사이트 점검하기

1. 개발자 도구에서 JavaScript를 끄고 핵심 페이지를 새로고침하세요. 본문이 남아 있으면 초기 HTML 기준선은 확인한 것이지만 모든 크롤러를 재현한 것은 아닙니다.
2. 또는 우클릭 → “페이지 소스 보기”로 본문 텍스트가 소스 HTML에 있는지 확인하세요. 텅 빈 <div id="root"></div>는 경고 신호입니다.
3. CDN/WAF 설정도 확인하세요. robots.txt에서 AI 봇을 허용해도 일부 CDN은 기본값으로 차단합니다 — 흔한 숨은 원인입니다. Otterly가 100만 건 이상의 AI 인용을 분석한 결과, 73%의 사이트에 AI 크롤러를 막는 기술적 장벽이 있는 것으로 나타났습니다.

선택지

• 정적 생성(SSG) — 콘텐츠 사이트의 첫 번째 선택: 빌드 시점에 HTML이 완성되어 크롤러, 속도, 운영 모두에서 유리합니다. 이 사이트도 이 방식으로 동작합니다.
• 서버 사이드 렌더링(SSR) — 실시간 데이터가 필요한 페이지용. 요청마다 서버가 HTML을 반환합니다.
• 인터랙티브 영역 격리 — 전체 SPA 대신 필요한 위젯만 클라이언트에서 실행(아일랜드 아키텍처)하여 본문 텍스트는 항상 정적 HTML에 남깁니다.

Google Search는 차단되지 않은 크롤링 가능 JavaScript를 렌더링할 수 있으며, AI 기능에는 색인 가능하고 스니펫에 적합한 페이지가 사용됩니다. 다른 시스템의 렌더링 능력과 시차는 서로 다르며 GPTBot 관찰로 추정할 수 없습니다. 핵심 텍스트를 첫 HTML 응답에 담는 SSR·SSG·프리렌더링이 가장 안전한 기준입니다.

요약

첫 점검은 간단합니다. 핵심 텍스트가 초기 HTML에 있고 robots.txt·CDN·WAF가 관련 봇을 실수로 막지 않는지 확인하세요. 이는 기술 준비도 확인이지 색인이나 인용 보장이 아닙니다.

관련 용어: AI 크롤러, RAG, GEO