Was ist robots.txt?

robots.txt ist eine reine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Bots (wie Googlebot und Bingbot) mitteilt, welche Bereiche Ihrer Website sie crawlen dürfen und welche sie nicht crawlen sollen. Sie können die robots.txt jeder Website erreichen, indem Sie https://www.ihreseite.com/robots.txt in die Adresszeile eingeben.

Sie können sich diese Datei als einen "Türsteher" vorstellen: Sie leitet die Bots aus Höflichkeit an. Es gibt jedoch einen wichtigen Punkt zu beachten; robots.txt ist kein Sicherheitswerkzeug. Eine Seite hier zu blockieren bedeutet nicht, dass sie niemals in Google erscheint, und garantiert auch nicht, dass die Seite verborgen bleibt.

Wofür dient robots.txt?

Der Hauptzweck von robots.txt besteht darin, Suchmaschinen zu helfen, ihr Crawl-Budget effizient zu nutzen. Indem Sie Bereiche ohne SEO-Wert — wie Admin-Panels, Suchergebnisseiten, Warenkorb- und Kassenseiten — für das Crawling sperren, ermöglichen Sie es den Bots, sich auf die wirklich wichtigen Inhalte zu konzentrieren. Sie können Suchmaschinen außerdem helfen, Ihre Karte leicht zu finden, indem Sie die Adresse Ihrer Sitemap in dieser Datei angeben.

Grundlegende robots.txt-Befehle

Die Datei besteht aus einfachen Befehlen:

  • User-agent: Gibt an, für welchen Bot die Befehle gelten. Das Zeichen * bedeutet "alle Bots".
  • Disallow: Verhindert, dass der angegebene Pfad gecrawlt wird.
  • Allow: Erlaubt einen bestimmten Pfad innerhalb eines gesperrten Ordners.
  • Sitemap: Gibt die vollständige Adresse Ihrer Sitemap an.

Beispiele für robots.txt-Dateien

Die empfohlene Struktur für eine standardmäßige WordPress-Website:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.siteniz.com/sitemap_index.xml

Diese Struktur sperrt das Admin-Panel für das Crawling, erlaubt jedoch die Datei admin-ajax.php, die Themes und Plugins benötigen, um einwandfrei zu funktionieren.

Die einfachste Struktur, die die gesamte Website für das Crawling öffnet:

User-agent: *
Disallow:

Der leere Disallow-Befehl bedeutet hier "nichts blockieren".

Achtung — die gefährliche Struktur, die die gesamte Website blockiert:

User-agent: *
Disallow: /

Ein einziges Zeichen / sperrt das Crawling Ihrer gesamten Website. Wird diese Zeile versehentlich hinzugefügt, kann Ihre Website vollständig aus Google verschwinden; seien Sie daher sehr vorsichtig.

Wie erstellt man robots.txt?

In WordPress

WordPress erzeugt standardmäßig eine virtuelle robots.txt. Sie können diese Datei im Bereich "Werkzeuge > Datei-Editor" des Yoast-SEO- oder Rank-Math-Plugins anzeigen und bearbeiten. Das Plugin speichert die Änderungen für Sie und legt sie am richtigen Ort ab.

Manuelles Erstellen

Öffnen Sie einen Texteditor wie Notepad, geben Sie die Befehle ein und speichern Sie die Datei unter dem Namen robots.txt (mit der Endung .txt). Laden Sie sie anschließend per FTP oder über den Dateimanager Ihres Hostings in das Stammverzeichnis Ihrer Website (public_html) hoch. Die Datei muss sich im Stammverzeichnis befinden; eine robots.txt in einem Unterordner gilt als ungültig.

robots.txt testen

Überprüfen Sie nach der Veröffentlichung Ihrer Datei die Syntax mit dem robots.txt-Testtool in der Google Search Console. Dieses Tool zeigt Ihnen fehlerhafte Befehle sowie wichtige Seiten an, die Sie versehentlich blockiert haben. Wir empfehlen dringend, vor der Veröffentlichung zu testen, denn schon ein kleiner Tippfehler kann Ihre gesamte Website aus den Suchergebnissen entfernen.

robots.txt und ihr Verhältnis zu SEO

Die Rolle von robots.txt im SEO wird oft missverstanden. Diese Datei verbessert Ihre Rankings nicht direkt; ihre eigentliche Funktion besteht darin, das Crawl-Budget zu verwalten. Google weist jeder Website eine begrenzte Crawling-Ressource zu. Wenn Bots ihre Zeit mit wertlosen Adressen wie gefilterten Suchergebnissen, endlosen Kalenderseiten oder Admin-Bereichen verbringen, werden Ihre wirklich wichtigen Inhalte später gecrawlt. Eine korrekt konfigurierte robots.txt lenkt Bots zu wertvollen Seiten und verschafft dadurch einen indirekten SEO-Vorteil.

Dies ist besonders bei großen E-Commerce-Websites entscheidend. Die unzähligen parametrisierten URLs, die durch Farb-, Größen- und Sortierfilter entstehen, können das Crawl-Budget schnell aufbrauchen. Solche parametrisierten Adressen mit robots.txt zu verwalten, sorgt dafür, dass Ihre Website effizient gecrawlt wird.

Fortgeschrittene Anwendungsbeispiele

Über die grundlegenden Befehle hinaus gibt es einige nützliche Muster. Sie können einen Platzhalter (Wildcard) verwenden, um einen bestimmten Dateityp zu blockieren:

User-agent: *
Disallow: /*.pdf$

Dieser Befehl blockiert das Crawling aller PDF-Dateien. Um Adressen zu blockieren, die einen bestimmten Parameter enthalten:

Disallow: /*?filtre=

Sie können auch unterschiedliche Regeln für verschiedene Bots definieren. Wenn Sie beispielsweise nur einen Bild-Bot blockieren möchten, sprechen Sie die entsprechende "User-agent"-Zeile an. Aber denken Sie daran: Regeln werden nicht von oben nach unten angewendet, sondern gemäß der spezifischsten Übereinstimmung, und ein einziger Fehler kann Ihre gesamte Website betreffen. Probieren Sie fortgeschrittene Regeln daher immer im Testtool aus, bevor Sie sie veröffentlichen.

Worauf Sie bei der Verwaltung von robots.txt achten sollten

robots.txt ist eine mächtige Datei, und bei korrekter Verwendung sorgt sie dafür, dass Ihre Website effizient gecrawlt wird; eine einzige falsche Zeile kann jedoch Ihre gesamte Sichtbarkeit gefährden. Aus diesem Grund sollten Sie einige Grundregeln befolgen: Halten Sie die Datei immer im Stammverzeichnis, geben Sie die Pfade, die Sie blockieren möchten, klar an, vergessen Sie nicht, die Adresse Ihrer Sitemap hinzuzufügen, und überprüfen Sie nach jeder Änderung stets mit dem Testtool. Beachten Sie außerdem: Wenn Sie möchten, dass eine blockierte Seite vollständig aus der Suche verschwindet, sollten Sie das noindex-Tag anstelle von robots.txt verwenden.

Häufig gestellte Fragen (FAQ)

Ist robots.txt ein Sicherheitswerkzeug?

Nein. robots.txt leitet Bots nur aus Höflichkeit an und ist kein Sicherheitswerkzeug. Eine Seite hier zu blockieren garantiert nicht, dass sie verborgen bleibt oder niemals in Google erscheint. Echter Schutz erfordert Methoden wie ein Passwort oder noindex.

Wo sollte sich die robots.txt-Datei befinden?

Die Datei muss sich im Stammverzeichnis Ihrer Website (public_html) befinden und unter https://www.ihreseite.com/robots.txt erreichbar sein. Eine robots.txt in einem Unterordner gilt als ungültig.

Verbessert robots.txt mein Ranking?

Nicht direkt. Ihre eigentliche Funktion besteht darin, das Crawl-Budget zu verwalten. Indem sie Bots von wertlosen Seiten weg und zu wertvollen Inhalten lenkt, verschafft sie einen indirekten SEO-Vorteil.

Fazit

robots.txt ist eine kleine, aber entscheidende Datei, die Suchmaschinen-Bots korrekt über Ihre Website leitet. Bei richtiger Konfiguration konzentriert sie Ihr Crawl-Budget auf wertvolle Seiten; eine einzige falsche Zeile kann jedoch Ihre gesamte Website aus der Suche entfernen. Halten Sie die Befehle einfach, fügen Sie Ihre Sitemap hinzu und überspringen Sie nach jeder Änderung niemals den Test.

Verwandte Artikel