robots.txt

Aufbau und Syntax

Die Datei liegt immer unter https://ihre-domain.de/robots.txt — reiner Text, kein HTML, keine Unterverzeichnisse. Sie besteht aus Gruppen: ein oder mehrere User-agent-Zeilen, darunter die Regeln.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /*?s=
Disallow: /danke/

Sitemap: https://ihre-domain.de/sitemap.xml

Was Sie dabei wissen sollten:

• Pfade sind case-sensitive. /Danke/ und /danke/ sind zwei verschiedene Dinge.
• Wildcards funktionieren: * steht für beliebige Zeichen, $ markiert das Zeilenende (Disallow: /*.pdf$).
• Die spezifischste Regel gewinnt — also die mit der längsten Pfadübereinstimmung. Bei gleicher Länge setzt sich Allow durch.
• Sitemap steht außerhalb der Gruppen und nennt die vollständige URL.
• Crawl-delay ignoriert Google. Bing wertet es aus, Google nicht — die Crawl-Frequenz regelt Google selbst.
• Noindex: /pfad/ funktioniert nicht. Google hat die Unterstützung zum 1. September 2019 eingestellt.

Crawling ist nicht Indexierung

Das ist der häufigste und teuerste Irrtum. Disallow verbietet den Abruf einer URL — nicht deren Aufnahme in den Index.

Verlinkt eine andere Website auf eine gesperrte URL, kann Google sie trotzdem in den Suchergebnissen listen: ohne Beschreibung, oft mit dem Hinweis, dass keine Informationen verfügbar sind. In der Search Console erscheint sie dann als „Indexiert, obwohl durch robots.txt-Datei blockiert”.

Die Trennung sieht so aus:

Und der Fallstrick daraus: Ein noindex wirkt nur, wenn Google die Seite abrufen darf. Wer beides kombiniert — Disallow plus noindex — sperrt Google aus, bevor es das noindex lesen kann. Die Seite bleibt dann im Index. Wie die Schritte zusammenspielen, steht unter Indexierung.

Noch ein Hinweis, der oft untergeht: Die robots.txt ist öffentlich. Jeder kann sie aufrufen. Ein Disallow: /kundenbereich-intern/ ist damit eher ein Wegweiser als ein Schutz. Vertrauliches gehört hinter eine Authentifizierung.

KI-Crawler gezielt steuern

KI-Anbieter nutzen eigene User Agents. Die wichtigsten:

Ein gezielter Ausschluss sieht so aus:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

Wichtig ist dabei eine Feinheit, die häufig falsch dargestellt wird: Google-Extended ist kein eigener Crawler. Es steuert nur, ob Ihre Inhalte für Gemini-Anwendungen verwendet werden dürfen. Auf das Crawling durch den Googlebot, auf die Aufnahme in den Google-Index und auf die Anzeige in den AI Overviews hat die Angabe keinen Einfluss.

Vor dem Sperren lohnt die Gegenfrage: Wollen Sie in KI-Antworten vorkommen? Dann ist der Ausschluss kontraproduktiv — siehe Generative Engine Optimization. Eine llms.txt ist übrigens kein Ersatz: Sie beschreibt Inhalte, sie steuert keine Zugriffe.

Typische Fehler

1. Die gesamte Seite gesperrt. Disallow: / aus einer Entwicklungsumgebung geht beim Livegang mit — der häufigste Totalausfall überhaupt.
2. CSS und JavaScript blockiert. Google rendert Seiten. Fehlen die Ressourcen, sieht der Crawler eine kaputte Seite.
3. Die Datei liefert 500 statt 404. Bei einem Serverfehler stellt Google das Crawling unter Umständen vorübergehend ganz ein. Eine fehlende robots.txt (404) ist unproblematisch, ein Fehler dagegen nicht.
4. Canonical- oder Weiterleitungsziele gesperrt. Was Google nicht abrufen darf, kann es auch nicht als maßgebliche Version erkennen.

Ob diese Punkte bei Ihnen sauber sind, prüfen wir im SEO-Audit mit — zusammen mit Sitemap, Statuscodes und Indexabdeckung.