Fragen zu Crawlern und Technik
Stand: 4. Oktober 2026
Hier stehen Antworten zu KI-Crawlern und zu dem, was der Bereich Traffic daraus macht.
Soll ich GPTBot in der robots.txt sperren?
Training und Suche haben bei OpenAI getrennte Kennungen: GPTBot sammelt Inhalte für das Training, OAI-SearchBot gehört zur Suche für Antworten, und ChatGPT-User ruft eine Seite auf Zuruf eines Nutzers ab. Wer nur GPTBot sperrt, bleibt für aktuelle Antworten erreichbar, das Training kann aber auf lange Sicht beeinflussen, ob ein Modell Ihre Marke kennt, besonders bei kleineren Marken. Die Entscheidung liegt bei Ihnen als Betreiber der Website.
Mehr dazu: Technische Optimierung und Zugang für KI-Crawler und Kapitel 16 im Praxis-Handbuch
Was ist llms.txt?
Die llms.txt ist eine Textdatei im Hauptverzeichnis einer Website, die KI-Systemen eine Übersicht der Inhalte geben soll. Die großen Anbieter nutzen sie derzeit nicht als Signal für Sichtbarkeit oder Zitate. Deshalb prüft die App sie bewusst nicht und rät weder dazu noch davon ab.
Mehr dazu: Technische Optimierung und Zugang für KI-Crawler und Kapitel 31 im Praxis-Handbuch
Brauche ich technisches Wissen für Traffic?
Das hängt vom Weg ab. Für Cloudflare gibt es eine fertige Anbindung, für den Abruf vom Webhosting genügt ein Zugang per SFTP oder FTPS, und eine Logdatei lässt sich auch von Hand hochladen. Die Seiten für Administratoren führen Schritt für Schritt durch jeden Weg.
Mehr dazu: Logs anbinden
Was beweist ein Crawler-Abruf und was nicht?
Ein Abruf im Log belegt, dass ein Crawler Ihre Seite angefordert hat. Ob die Seite danach in einer KI-Antwort vorkam, verlinkt oder zitiert wurde, belegt er nicht, das messen die Ebenen im Bereich Sichtbarkeit. Auch die Art eines Zugriffs wird aus der Kennung geschlossen, und die App prüft bei KI-Zugriffen zusätzlich die Herkunft.
Mehr dazu: Was Traffic zeigt und Menschen und Crawler unterscheiden