Technische GEO für Marketing-Engineers: robots.txt, strukturierte Daten, llms.txt

Was das Engineering bei GEO verantwortet

Inhalte sind Sache des Marketings; ob ein bestimmter Fetcher die Website abrufen und den Schlüsseltext lesen kann, ist ein Infrastrukturproblem. Die technische Seite verantwortet vor allem Bot-Zugang und Rendering. Strukturierte Daten helfen bei klassischer Suche und können Fakten maschinenlesbar machen, sind aber kein allgemeiner KI-Zitationsfaktor. llms.txt ist ein optionales Extra mit einem Status, der sich ändern kann. Dieses Fundament beseitigt Hürden; es garantiert keine Auswahl oder Zitierung.

1. Die KI-Crawler zulassen

Retrieval-Bots vs. Training-Scraper

Nicht alle KI-Crawler erfüllen dieselbe Aufgabe. OpenAI trennt OAI-SearchBot für Search, ChatGPT-User für nutzerinitiierte Seitenabrufe und GPTBot für mögliches Modelltraining.* Anthropic trennt entsprechend Claude-SearchBot, Claude-User und den Trainings-Bot ClaudeBot. Google Search einschließlich AI Overviews und AI Mode nutzt Googlebot. Google-Extended ist dagegen ein eigenständiger Steuerungs-Token für bestimmte Trainings- und Grounding-Nutzungen von Gemini; er ist kein Search-Crawler und beeinflusst weder Aufnahme noch Ranking in Google Search. Regeln müssen daher nach Zweck und gewünschtem Produktzugang entschieden werden.

Das ist praxisrelevant: Eine Otterly-Analyse von über einer Million KI-Zitaten ergab, dass 73 % der Websites technische Barrieren haben, die den Zugang von KI-Crawlern blockieren.†

# Search und nutzerinitiierte Abrufe — nach gewünschtem Produktzugang entscheiden
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Googlebot
Allow: /

# Mögliches Modelltraining — getrennte Entscheidung
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Eigenständiger Google-Produkt-Token; steuert nicht Google Search
User-agent: Google-Extended
Disallow: /

Eine Einschränkung: User-Agents können gefälscht werden. Um zu wissen, wer wirklich da war, validieren Sie Log-Einträge gegen offizielle IP-Bereiche, soweit der Anbieter sie veröffentlicht. robots.txt zeigt außerdem nur, was erlaubt ist; Server-Logs zeigen, ob ein Bot tatsächlich kam.

Prüfen Sie außerdem, ob der Bot-Schutz Ihres CDN oder Ihrer WAF KI-Crawler nicht stillschweigend blockiert. Eine Allow-Regel in robots.txt nützt nichts, wenn die Firewall 403 zurückgibt.

HTML, das nicht von JavaScript abhängt

Vercels Analyse fand über mehr als eine halbe Milliarde GPTBot-Anfragen keine Spuren von JavaScript-Ausführung. Das belegt das beobachtete GPTBot-Verhalten, nicht das Verhalten aller OpenAI-, Claude- oder Perplexity-Fetcher. Google kann crawlbares, nicht blockiertes JavaScript für Search und AI Overviews rendern. SSR, SSG oder Prerendering bleibt dennoch die sicherste plattformübergreifende Basis, damit der Schlüsseltext bereits im initialen HTML vorhanden ist.

Die Verifikation ist ein einziger Befehl:

curl -A "GPTBot" https://example.com/page/ | grep "key copy"

Der Befehl prüft, was Ihr Server einem GPTBot-User-Agent im initialen HTML liefert; er beweist nicht, ob ein echter Bot JavaScript ausführt. Fehlt die Copy, sollten Sie prüfen, ob sie für die Zielplattformen ohne clientseitige Rendering-Annahme verfügbar sein muss.

2. Strukturierte Daten: nützlich, aber nicht dort, wo man es erwartet

Zwei Fakten vorweg. Google erklärt offiziell, dass strukturierte Daten für die generative KI-Suche nicht erforderlich sind und es kein spezielles schema.org-Markup für KI-Funktionen gibt.*** Und das bislang stärkste kontrollierte Experiment — Ahrefs verfolgte 1.885 Seiten, die JSON-LD hinzufügten, gegen gematchte Kontrollgruppen — fand auf keiner KI-Plattform einen Zitations-Uplift.††

Eine Cross-Platform-Studie berichtet eine beobachtete Ausnahme, die vorsichtig interpretiert werden muss:

• Product / SoftwareApplication + Offer mit echten Attributen — im beobachteten Datensatz wurden Seiten mit konkret ausgefülltem Product/Review-Schema häufiger zitiert (61,7 % gegenüber 41,6 % bei generischen Schema-Typen).§ Das ist eine Assoziation aus einem Preprint, kein Beleg, dass das Markup die Zitate verursacht. Ein expliziter Preis war außerdem in einer SIGIR-‘26-Studie mit 252.000 kontrollierten Tests einer von vier kontextabhängigen Zitations-„Gatekeepern”.‡ Der praktische Wert liegt in korrekten, maschinenlesbaren Fakten — nicht in einer universellen „Schema erhöht Zitate“-Regel.
• Organization — was die Entität tatsächlich kanonisiert, ist nicht das Markup selbst, sondern sameAs-Links zu offiziellen Profilen plus konsistente Markenfakten im gesamten Web. Nutzen Sie es als Anker für offiziellen Namen, Adresse und Schreibvarianten.
• FAQPage — der Wrapper selbst ist kein bestätigter Zitationsfaktor. FAQ kann die Struktur verbessern, wenn jede Antwort belastbare Zahlen, Definitionen oder Vergleiche trägt; eine bloße Q&A-Hülle reicht nicht.
• Article + Person — Autorschaft und Datumsangaben stützen E-E-A-T, aber beachten Sie Googles eigene Einordnung: E-E-A-T ist kein direkter Rankingfaktor. Trust ist sein Kern, und das Gewicht ist bei YMYL-Themen am höchsten.

Validieren Sie nach der Implementierung sowohl mit dem Rich Results Test als auch mit dem Schema.org-Validator.

3. llms.txt: veröffentlichen ja — aber wissen, was es ist

Zuerst die ehrliche Einordnung: Für llms.txt ist derzeit kein Ranking- oder Zitationseffekt belegt. Google unterstützt es nicht; einzelne Systeme können die Datei crawlen, doch Crawling ist kein Nachweis für Nutzung in Antworten.‡‡ Diese Anbieter-Dokumentation und das beobachtete Verhalten sind lebende Quellen und können sich ändern — prüfen Sie den Status regelmäßig neu, statt die heutige Einordnung als dauerhafte Plattformregel zu behandeln.

Warum es trotzdem veröffentlichen? Eine automatisch generierte Markdown-Zusammenfassung der Website-Struktur und Kerninhalte ist günstig und steht einem Client zur Verfügung, falls er die Datei tatsächlich nutzt. Daraus folgt kein Ranking- oder Zitationsvorteil.

Eine Betriebsregel: Vermeiden Sie eine ausschließlich manuell gepflegte Datei, weil sie gegenüber dem Website-Inhalt driften kann. Generieren Sie sie nach Möglichkeit zum Build-Zeitpunkt aus Ihren Content-Collections und prüfen Sie das Ergebnis — die llms.txt dieser Website wird aus Artikeln und Glossarbegriffen erzeugt.

Verifikations-Checkliste

1. robots.txt behandelt die gewünschten Search- und User-Bots bewusst (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Claude-User, Googlebot)
2. WAF/CDN liefert KI-Crawler-User-Agents kein 403 (Access-Logs prüfen)
3. curl -A "GPTBot" zeigt, was Ihr Server im initialen HTML liefert, ohne daraus das Verhalten aller Bots abzuleiten
4. Strukturierte Daten stimmen mit dem sichtbaren Text überein; Produktattribute und sameAs-Links sind korrekt, ohne einen Zitations-Uplift zu versprechen
5. llms.txt wird, falls veröffentlicht, zum Build-Zeitpunkt generiert und regelmäßig gegen den aktuellen Anbieterstatus geprüft
6. Server-Logs zeigen echte KI-Crawler-Besuche, gegen offizielle IP-Bereiche validiert und regelmäßig gesichtet

Steht dieses Fundament, sind bekannte technische Hürden reduziert. Das macht Content-Verbesserungen messbar, garantiert aber weder Retrieval noch Zitierung. Eine spätere Bewegung in den Messwerten ist außerdem kein Kausalnachweis für eine einzelne Änderung.

* OpenAI, „Overview of OpenAI Crawlers“ ** Vercel, „The rise of the AI crawler“ *** Google Search Central, „AI Features and Your Website“ † OtterlyAI, „The AI Citation Economy: 1+ Million Data Points“ †† Ahrefs, „We Tracked 1,885 Pages Adding Schema. AI Citations Barely Moved.“ ‡ Vishwakarma et al., „What Gets Cited: Competitive GEO in AI Answer Engines“, SIGIR ‘26 ‡‡ Search Engine Land, „Google says normal SEO works … and LLMS.txt won’t be used“ § „Does Schema Markup Predict AI Citation?“ — Cross-Platform-Studie