JavaScript e crawler AI: perché l’HTML iniziale è la base più sicura

Cosa sappiamo davvero

Vercel, insieme a MERJ, ha analizzato il traffico sulla propria rete. In quel campione, GPTBot generava oltre mezzo miliardo di richieste al mese e non mostrava esecuzione JavaScript; circa l’11,5% delle richieste scaricava file JS senza eseguirli. Il dato riguarda GPTBot. Non dimostra che Claude, Perplexity o ogni altro crawler si comportino nello stesso modo.

La tassonomia ufficiale evita errori di configurazione. Per OpenAI, OAI-SearchBot serve la ricerca, ChatGPT-User effettua visite richieste dagli utenti e GPTBot raccoglie dati per il training. Per Anthropic, Claude-SearchBot e Claude-User supportano ricerca e richieste degli utenti, mentre ClaudeBot è dedicato al training. Per Google, Googlebot alimenta Search e AI Overviews; Google-Extended controlla usi per Gemini e non l’inclusione o il ranking in Google Search.

Una pagina renderizzata solo lato client può consegnare HTML iniziale quasi vuoto ai fetcher che non eseguono JavaScript. Questo crea un rischio concreto per descrizioni e prezzi, ma non significa che il contenuto «non esista per tutta l’AI»: Google può renderizzare JavaScript crawlable. L’HTML iniziale completo resta la base più prudente e verificabile.

Verifica il tuo sito in tre minuti

1. Disattiva JavaScript nei dev tools e ricarica le pagine chiave. Se il testo resta visibile, hai verificato una buona baseline nell’HTML iniziale; non hai simulato ogni crawler.
2. Oppure clic destro → «Visualizza sorgente pagina» e conferma che il testo del corpo esista nell’HTML sorgente. Un nudo <div id="root"></div> è il segnale d’allarme.
3. Controlla anche le impostazioni di CDN/WAF. Anche con i bot AI permessi nel robots.txt, alcune CDN li bloccano di default — una causa nascosta frequente: un’analisi di Otterly su oltre un milione di citazioni AI ha rilevato che il 73% dei siti presenta barriere tecniche che bloccano i crawler AI.

Le tue opzioni

• Generazione statica (SSG) — prima scelta per i siti di contenuto: l’HTML è completo al momento della build, il che vince su crawler, velocità e operazioni. Questo sito funziona così.
• Server-side rendering (SSR) — per le pagine che richiedono dati in tempo reale; il server restituisce HTML a ogni richiesta.
• Isolare l’interattività — invece di una SPA completa, eseguire sul client solo i widget che ne hanno bisogno (islands architecture), così il testo del corpo resta sempre nell’HTML statico.

Google Search può renderizzare JavaScript crawlable, e le sue funzionalità AI usano pagine indicizzabili e idonee agli snippet. Per gli altri sistemi, capacità e tempi di rendering variano e non vanno dedotti dal solo test GPTBot. SSR, SSG o prerendering restano la baseline più sicura per rendere il testo essenziale disponibile nel primo response HTML.

In sintesi

La verifica iniziale è semplice: testo essenziale presente nell’HTML e nessun blocco involontario in robots.txt, CDN o WAF. È una misura di prontezza tecnica, non una garanzia di indicizzazione o citazione.

Termini correlati: AI crawler, RAG, GEO