AIクローラー（エーアイクローラー）

AI企業がウェブからコンテンツを取得するボット。GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBotなど。直接取得系はJavaScriptを実行しないことが多く、Googlebotはレンダリングできます。

解説

重要な区別がひとつあります。学習用クローラー（GPTBot等：モデルの訓練データ収集）と取得用ボット（OAI-SearchBot、ChatGPT-User等：回答生成時のリアルタイム取得）は別物で、robots.txtで個別に制御できます。引用されたいなら取得用ボットは許可が前提です。

もうひとつの重要事実：Vercelの分析では、GPTBotのリクエストからJavaScript実行の痕跡は見つかりませんでした。一方、Googlebotはクロール可能なJavaScriptをレンダリングできます。重要な本文は初期HTMLに含めるのが、複数サービスをまたぐ安全な基準です。CDNやWAFが既定でAIボットをブロックしている場合もあるため、robots.txtだけでなくCDN設定の確認も必要です。

参考・出典

最終更新: 2026/06/10