EA Digital Solutions
SEOSchemaMeta TagsBriefGEOOG PreviewImageFarbenBGUTMRedirectsPHPE-MailLadezeitHeaderKI-CrawlerMockup

robots.txt · llms.txt · GPTBot · ClaudeBot · PerplexityBot

KI-Crawler-Check: Dürfen ChatGPT, Claude und Perplexity Ihre Website lesen?

Ihre robots.txt entscheidet, welche KI-Crawler Ihre Seiten abrufen dürfen. Dieser kostenlose Check wertet sie für 19 Crawler und Einträge aus, trennt KI-Suche von KI-Training und liefert eine fertige robots.txt.

Der Check ruft genau zwei Dateien Ihrer Domain ab: /robots.txt und /llms.txt. Andere Seiten werden nicht aufgerufen. Bewertet wird, ob die Crawler die Startseite (/) abrufen dürfen.

Wissen

KI-Crawler und robots.txt: Suche, Training und Assistenten

Ob KI-Suchen wie ChatGPT, Claude oder Perplexity Ihre Website als Quelle nutzen können, entscheidet zuerst Ihre robots.txt. Die Anbieter trennen Crawler fürs Training (z. B. GPTBot, ClaudeBot) von Crawlern für die Suche (z. B. OAI-SearchBot, Claude-SearchBot, PerplexityBot). Wer nur die Trainings-Crawler sperrt, bleibt in KI-Suchen sichtbar.

Drei Arten von KI-Crawlern

KI-Training

GPTBot, ClaudeBot, CCBot …

Sammeln Inhalte fürs Training von Modellen. Sie zu sperren ist eine legitime Entscheidung und kostet keine Sichtbarkeit in KI-Antworten.

KI-Suche

OAI-SearchBot, Claude-SearchBot, PerplexityBot …

Bauen den Index auf, aus dem KI-Antworten ihre Quellen ziehen. Gesperrt heißt: dort nicht zitiert.

Assistenten

ChatGPT-User, Claude-User, Perplexity-User …

Rufen eine einzelne Seite ab, wenn eine Person danach fragt. Kein automatisches Crawlen.

So lesen Crawler eine robots.txt (RFC 9309)

  1. 1.Eine Gruppe beginnt mit einer oder mehreren „User-agent“-Zeilen; die folgenden Allow- und Disallow-Zeilen gehören zu ihr.
  2. 2.Ein Crawler sucht die Gruppe mit seinem Produkt-Token (Groß- und Kleinschreibung egal). Mehrere solche Gruppen werden zusammengeführt. Nur wenn es keine gibt, gilt die Gruppe „*“.
  3. 3.Innerhalb der Gruppe gewinnt der längste passende Pfad; sind Allow und Disallow gleich lang, gewinnt Allow. „*“ steht für beliebige Zeichen, „$“ für das Ende des Pfads.
  4. 4.Antwortet /robots.txt mit 4xx (z. B. 404), dürfen Crawler alles abrufen. Bei 5xx oder gar keiner Antwort müssen sie von einer vollständigen Sperre ausgehen.

Eine häufige Falle: Sobald ein Crawler eine eigene Gruppe hat, ignoriert er alles unter „*“. Wer „User-agent: GPTBot“ mit nur einer Regel ergänzt, hebt für GPTBot alle übrigen Ausschlüsse auf.

Lieber erledigen lassen? Kostenloses Gespräch buchen →

Häufige Fragen zum KI-Crawler-Check

Verschwindet meine Website aus der ChatGPT-Suche, wenn ich GPTBot sperre?

Nein. OpenAI nutzt getrennte Crawler: GPTBot sammelt Inhalte fürs Training, OAI-SearchBot erfasst Seiten für die Suche in ChatGPT. OpenAI zeigt selbst als Beispiel, OAI-SearchBot zu erlauben und GPTBot zu sperren. Anthropic trennt ebenso ClaudeBot (Training) und Claude-SearchBot (Suche).

Sperrt Google-Extended meine Website aus der Google-Suche aus?

Nein. Google-Extended ist kein Crawler, sondern ein Eintrag für die robots.txt. Er steuert, ob von Google gecrawlte Inhalte für Training und Grounding der Gemini-Modelle genutzt werden dürfen. Laut Google hat er keinen Einfluss auf Aufnahme oder Ranking in der Google-Suche. KI-Übersichten gehören zur Suche und werden nicht über Google-Extended gesteuert.

Hält sich jeder Crawler an die robots.txt?

Nein. RFC 9309 hält fest, dass die Regeln keine Zugriffskontrolle sind. OpenAI und Perplexity geben an, dass Abrufe, die eine Person auslöst (ChatGPT-User, Perplexity-User), robots.txt nicht immer befolgen. Wer einen Crawler wirklich aussperren muss, braucht Regeln am Server oder in der Firewall.

Brauche ich eine llms.txt?

Pflicht ist sie nicht. Die llms.txt ist ein auf llmstxt.org veröffentlichter Vorschlag, kein Standard. Sie fasst eine Website in Markdown für Sprachmodelle zusammen; ob ein KI-Dienst sie liest, entscheidet der Dienst. Sie ersetzt weder robots.txt noch Sitemap.

Wie schnell wirkt eine Änderung an der robots.txt?

Laut RFC 9309 sollen Crawler eine zwischengespeicherte robots.txt nicht länger als 24 Stunden verwenden. OpenAI nennt für die Suche rund 24 Stunden. Bis dahin kann noch die alte Fassung gelten.

Was prüft der Check genau?

Er sendet je eine GET-Anfrage an /robots.txt und /llms.txt der eingegebenen Domain, folgt bis zu fünf Weiterleitungen und wertet die robots.txt nach RFC 9309 aus: passende Gruppe nach Produkt-Token, sonst die Gruppe „*“, die längste passende Regel gewinnt, bei Gleichstand Allow. Bewertet wird die Startseite „/“. Andere Seiten werden nicht abgerufen.

Quellen

Der Check zeigt, was Ihre robots.txt sagt. Ob und wie ein Anbieter Ihre Inhalte nutzt, liegt bei ihm; das Ergebnis ist ein technischer Hinweis, keine Rechtsberatung.