GPTBot et JavaScript : pourquoi le HTML initial est la base GEO la plus sûre

Ce que l’on sait réellement

Vercel, avec MERJ, a analysé le trafic des crawlers sur son réseau. Dans l’échantillon étudié, GPTBot a produit plus d’un demi-milliard de requêtes sans exécution de JavaScript observée. Il a téléchargé des fichiers JS sur une partie des requêtes (environ 11,5 %), mais Vercel n’a pas vu d’exécution. Il s’agit d’une observation propre à GPTBot. L’analyse ne démontre pas que les fetchers de Claude, de Perplexity ou d’autres services fonctionnent de façon identique.

Il faut distinguer les bots selon leur fonction :

• OpenAI : OAI-SearchBot sert la recherche, ChatGPT-User récupère une page à la demande d’un utilisateur, GPTBot collecte du contenu susceptible de servir à l’entraînement.
• Anthropic : Claude-SearchBot sert la recherche, Claude-User les récupérations demandées par un utilisateur, ClaudeBot l’entraînement potentiel.
• Google : Googlebot explore pour Google Search, y compris AI Overviews et AI Mode. Google-Extended est un jeton de contrôle pour certains usages d’entraînement et de grounding de Gemini ; ce n’est pas un crawler de Search et son réglage n’influence ni l’inclusion ni le classement dans Google Search.

Une page React ou Vue rendue uniquement côté client peut livrer un HTML initial presque vide. Un fetcher dépourvu de l’étape de rendu nécessaire risque alors de manquer la description produit ou les tarifs. Cela ne veut pas dire que le contenu côté client « n’existe » pour toutes les plateformes IA : Google peut rendre un JavaScript explorable et non bloqué. Le HTML initial réduit la dépendance à ces capacités propres à chaque plateforme.

Vérifiez votre site en trois minutes

1. Désactivez JavaScript dans les outils de développement de votre navigateur et rechargez les pages clés (produit, tarifs, société). Si le texte essentiel reste visible, il est déjà présent dans le document initial exploitable ; ce test ne prouve toutefois pas le comportement de chaque bot.
2. Ou faites un clic droit → « Afficher le code source de la page » et confirmez que le corps du texte figure dans le HTML source. Un simple <div id="root"></div> est le signal d’alerte.
3. Contrôlez séparément votre robots.txt et les réglages CDN/WAF pour les bots de recherche, d’utilisateur et d’entraînement que vous souhaitez autoriser. Une règle d’autorisation ne sert à rien si le pare-feu renvoie un 403.

Vos options

• Génération statique (SSG) — premier choix pour les sites de contenu : le HTML est complet au moment du build, ce qui gagne sur les crawlers, la vitesse et l’exploitation. Ce site fonctionne ainsi.
• Rendu côté serveur (SSR) — pour les pages qui ont besoin de données en temps réel ; le serveur renvoie le HTML à chaque requête.
• Isoler l’interactivité — plutôt qu’une SPA complète, n’exécutez côté client que les widgets qui en ont besoin (architecture en îlots), afin que le corps du texte reste toujours dans le HTML statique.

Google Search sait rendre JavaScript. Pour AI Overviews et AI Mode, Google exige qu’une page soit indexée et éligible à un extrait de recherche ; un texte explorable et non bloqué reste la base. SSG, SSR ou prérendu ne sont pas une obligation universelle, mais constituent l’option la plus sûre lorsque le contenu clé doit être disponible sur le plus grand nombre de plateformes sans supposer une étape de rendu.

En résumé

La plupart des conseils GEO portent sur quoi écrire. Mais il faut d’abord vérifier la préparation technique : le contenu essentiel se trouve-t-il dans le HTML initial, et les bots de recherche ou d’utilisateur souhaités peuvent-ils réellement le récupérer ? Ces contrôles lèvent des obstacles possibles. Ils ne prédisent ni ne garantissent qu’une plateforme sélectionnera ou citera ensuite la page.

Termes associés : Crawler IA, RAG, GEO