AIクローラーのレンダリング調査から考える、初期HTMLの重要性

事実関係：何がわかっているか

VercelとMERJは、2024年末にVercelネットワーク上のクローラートラフィックを分析しました。1か月で5億6,900万件のGPTBotリクエストを観測し、JavaScriptを実行した痕跡は確認できなかったと報告しています。GPTBotはリクエストの11.5%でJavaScriptファイルを取得していましたが、調査上は実行していません。これはGPTBotに関する調査時点の観測結果であり、すべてのAIサービスに共通する恒久的な仕様ではありません。

OpenAIは用途ごとにボットを分けています。OAI-SearchBotはChatGPT Searchへの掲載、ChatGPT-Userはユーザー操作に応じたページ取得、GPTBotは基盤モデルの学習に使われる可能性があるデータの収集を担います。ChatGPT-Userは検索掲載の判定には使われません。Anthropicも、検索用のClaude-SearchBot、ユーザー起点のClaude-User、モデル開発用のClaudeBotを区別しています。

ReactやVueで本文をクライアント側だけに描画している場合、JavaScriptを実行しない取得システムには、ほぼ空のHTMLが返ることがあります。製品説明や料金などの重要情報がハイドレーション後にしか表示されない構成では、そうした取得経路が内容を見落とす可能性があります。一方、Google検索とAI Overviewsを支えるGooglebotは、クロール可能なJavaScriptをレンダリングできます。

自社サイトを3分で確認する方法

1. ブラウザの開発者ツールでJavaScriptを無効化し、重要ページ（製品・料金・会社情報）を再読み込みします。本文が残っていれば、重要な情報はクライアント側のJavaScriptに依存していません。
2. または、ページを右クリックして「ページのソースを表示」を選びます。ソースHTMLに本文が含まれているか確認してください。<div id="root"></div>だけの場合は、初期HTMLに本文がありません。
3. CDN・WAFの設定も確認します。robots.txtで許可していても、エッジ側が403・429を返していれば取得できません。OtterlyAIは100万件超の引用データを使った調査で、73%のサイトにクローラーを妨げる技術的な障壁があったと報告しています。ベンダー調査のスナップショットであるため、自社のアクセスログで実態を確認します。

対処の選択肢

• 静的生成（SSG）：更新頻度が低いコンテンツでは、ビルド時に本文をHTMLへ出力できます。本サイトもこの方式です。
• サーバーサイドレンダリング（SSR）：リクエスト時のデータが必要なページで、サーバーから本文を含むHTMLを返します。
• インタラクティブ部分の分離：操作が必要な部品だけをクライアントで動かし、主要本文は初期HTMLに残します。

Googleは、AI OverviewsやAI Modeの引用リンク候補になるには、ページがインデックスされ、通常の検索結果でスニペット表示の要件を満たす必要があると説明しています。生成AI機能だけの追加技術要件はありません。GooglebotがJavaScriptを処理できる場合でも、初期HTMLに重要情報を含める構成なら、他の取得システムにも同じ内容を届けやすくなります。

まとめ

GEOでは、内容だけでなく取得経路も確認します。対象サービスのボット用途、robots.txt、CDN・WAF、HTTPレスポンス、初期HTMLを分けて点検してください。これらを通過して分かるのは技術的な対応状況であり、引用の発生を予測するものではありません。

関連用語：AIクローラー、RAG、GEO