← Retour au blog

GEO technique

GEO technique pour les ingénieurs marketing : robots.txt, données structurées, llms.txt

La GEO technique commence par l'accès des bots et le contenu clé dans le HTML initial. Distinguez les bots de recherche des bots d'entraînement comme GPTBot et ClaudeBot. Les données structurées et llms.txt ne sont pas des facteurs généraux de citation. La préparation technique n'en garantit aucune.

Maksim Gurchenkov (CEO, Apurichoumi Inc.)

Ce qui relève de l’ingénierie dans la GEO

Le contenu est le travail du marketeur ; la capacité d’un fetcher donné à récupérer le site et à lire le texte clé est un problème d’infrastructure. Le volet technique couvre surtout l’accès des bots et le rendu. Les données structurées servent la recherche classique et peuvent rendre des faits lisibles par machine, mais ne constituent pas un facteur général de citation IA. llms.txt est un extra optionnel dont le statut peut changer. Ce socle lève des obstacles ; il ne garantit ni sélection ni citation.

1. Admettre les crawlers IA

Bots de récupération vs scrapers d’entraînement

Tous les crawlers IA ne font pas le même travail. OpenAI distingue OAI-SearchBot pour la recherche, ChatGPT-User pour les récupérations demandées par un utilisateur et GPTBot pour l’entraînement potentiel.* Anthropic sépare de même Claude-SearchBot, Claude-User et le bot d’entraînement ClaudeBot. Google Search, AI Overviews et AI Mode s’appuient sur Googlebot. Google-Extended est au contraire un jeton de contrôle autonome pour certains usages d’entraînement et de grounding de Gemini ; ce n’est pas un crawler de Search et il n’influence ni l’inclusion ni le classement dans Google Search. Les règles doivent donc être choisies selon la fonction et l’accès produit souhaité.

C’est loin d’être théorique : une analyse Otterly de plus d’un million de citations IA a révélé que 73 % des sites présentent des barrières techniques bloquant l’accès des crawlers IA.†

# Recherche et récupérations demandées par l'utilisateur — à décider selon l'accès produit souhaité
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Googlebot
Allow: /

# Entraînement potentiel — décision distincte
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Jeton de produit Google autonome ; ne contrôle pas Google Search
User-agent: Google-Extended
Disallow: /

Une réserve : les user agents peuvent être usurpés. Pour savoir qui a réellement visité le site, validez les entrées des logs contre les plages d’IP officielles lorsqu’un fournisseur les publie. robots.txt indique par ailleurs ce qui est autorisé ; seuls les logs montrent si un bot est effectivement venu.

Vérifiez aussi que la protection anti-bots de votre CDN ou WAF ne bloque pas silencieusement les crawlers IA. Une règle d’autorisation dans robots.txt ne sert à rien si le pare-feu renvoie un 403.

Un HTML qui ne dépend pas de JavaScript

L’analyse de Vercel n’a trouvé aucune trace d’exécution JavaScript sur plus d’un demi-milliard de requêtes GPTBot. Cela documente le comportement observé de GPTBot, pas celui de tous les fetchers OpenAI, Claude ou Perplexity. Google peut rendre du JavaScript explorable et non bloqué pour Search et les AI Overviews. SSR, SSG ou prérendu reste néanmoins la base multiplateforme la plus sûre pour que le contenu essentiel figure dans le HTML initial.

La vérification tient en une commande :

curl -A "GPTBot" https://example.com/page/ | grep "key copy"

Cette commande vérifie ce que votre serveur livre dans le HTML initial à un user agent GPTBot ; elle ne prouve pas si un vrai bot exécute JavaScript. Si le texte manque, vérifiez s’il doit être disponible sur les plateformes visées sans supposer un rendu côté client.

2. Données structurées : utiles, mais pas là où on l’attend

Deux faits d’emblée. Google déclare officiellement que les données structurées ne sont pas requises pour la recherche générative par IA et qu’il n’existe aucun balisage schema.org spécial à ajouter pour les fonctionnalités IA.*** Et l’expérience contrôlée la plus solide à ce jour — Ahrefs a suivi 1 885 pages ayant ajouté du JSON-LD face à des groupes témoins appariés — n’a trouvé aucun gain de citations sur aucune plateforme IA.††

Une étude multiplateforme rapporte une exception observationnelle, à interpréter avec prudence :

Après l’implémentation, validez à la fois avec le test des résultats enrichis et le validateur Schema.org.

3. llms.txt : publiez-le, mais en sachant ce que c’est

D’abord le cadrage honnête : aucun effet de llms.txt sur le classement ou les citations n’est actuellement établi. Google ne le prend pas en charge ; certains systèmes peuvent crawler le fichier, mais le crawling ne prouve pas son utilisation dans les réponses.‡‡ Ces documentations fournisseur et comportements observés sont des sources vivantes susceptibles de changer : revérifiez régulièrement l’état au lieu de transformer le constat actuel en règle permanente.

Pourquoi le publier malgré tout ? Un résumé Markdown de la structure du site et de ses contenus clés coûte peu lorsqu’il est généré automatiquement, et reste disponible si un client choisit réellement de l’utiliser. Il n’en découle aucun avantage de classement ou de citation.

Une règle d’exploitation : évitez une maintenance exclusivement manuelle, car le fichier peut dériver du contenu réel du site. Générez-le si possible au moment du build à partir de vos collections et contrôlez le résultat — le llms.txt de ce site est construit à partir des articles et des termes du glossaire.

Check-list de vérification

  1. robots.txt traite consciemment les bots de recherche et d’utilisateur voulus (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Claude-User, Googlebot)
  2. Le WAF/CDN ne renvoie pas de 403 aux user agents des crawlers IA (vérifiez les logs d’accès)
  3. curl -A "GPTBot" montre ce que le serveur livre dans le HTML initial, sans l’extrapoler au comportement de tous les bots
  4. Les données structurées correspondent au texte visible ; attributs produit et liens sameAs sont exacts, sans promettre de gain de citations
  5. llms.txt, s’il est publié, est généré au build et revérifié régulièrement face au statut actuel des fournisseurs
  6. Les visites de crawlers IA dans les logs serveur sont validées contre les plages d’IP officielles et passées en revue régulièrement

Avec ce socle en place, les obstacles techniques connus sont réduits. Cela rend les améliorations de contenu mesurables, sans garantir récupération ni citation. Un mouvement ultérieur des métriques ne constitue pas non plus une preuve causale d’une modification précise.

* OpenAI, « Overview of OpenAI Crawlers » ** Vercel, « The rise of the AI crawler » *** Google Search Central, « AI Features and Your Website » † OtterlyAI, « The AI Citation Economy: 1+ Million Data Points » †† Ahrefs, « We Tracked 1,885 Pages Adding Schema. AI Citations Barely Moved. » ‡ Vishwakarma et al., « What Gets Cited: Competitive GEO in AI Answer Engines », SIGIR ‘26 ‡‡ Search Engine Land, « Google says normal SEO works … and LLMS.txt won’t be used » § « Does Schema Markup Predict AI Citation? » — étude multiplateforme

Sources

  1. OpenAI, "Overview of OpenAI Crawlers"
  2. Anthropic Help Center, "Does Anthropic crawl data from the web, and how can site owners block the crawler?"
  3. Vercel, "The rise of the AI crawler"
  4. Google Search Central, "AI Features and Your Website"
  5. Google Search Central, "Google's common crawlers"
  6. Search Engine Land, "Google says normal SEO works … and LLMS.txt won't be used"
  7. Ahrefs, "We Tracked 1,885 Pages Adding Schema. AI Citations Barely Moved."
  8. Does Schema Markup Predict AI Citation? — cross-platform study
  9. Vishwakarma et al. (Sprinklr), "What Gets Cited: Competitive GEO in AI Answer Engines" (SIGIR '26)
  10. OtterlyAI, "The AI Citation Economy: 1+ Million Data Points"
Diagnostic gratuit Contacter l’équipe commerciale