Robots.txt erstellen: Anleitung mit Beispielen für 2026

Werden wichtige Seiten Ihrer Website von Google nicht gecrawlt, oder verschwenden Suchmaschinen-Bots ihre Zeit mit unnötigen URLs? Die Ursache kann eine falsch konfigurierte robots.txt sein. Die Antwort auf die Frage, wie man eine robots.txt erstellt, besteht nicht nur darin, ein paar Befehle einzufügen, sondern vor allem darin, richtig zu bestimmen, welche Inhalte gecrawlt werden sollen.

In diesem Leitfaden erläutern wir die Funktionsweise der robots.txt, die Googlebot-Regeln, Beispielkonfigurationen für verschiedene Website-Typen und häufige SEO-Fehler. Außerdem zeigen wir, wie Sie Ihre Datei im Jahr 2026 gemäß den aktuellen Google-Richtlinien testen können.

Was ist die robots.txt und warum ist sie für SEO wichtig?

Die robots.txt ist eine Nur-Text-Datei im Stammverzeichnis einer Website, die Crawlern von Suchmaschinen mitteilt, welche URL-Pfade sie crawlen dürfen und welche nicht. Sie basiert auf dem Standard namens Robots Exclusion Protocol (REP).

Bevor der Googlebot eine Website crawlt, prüft er die relevanten Regeln in der robots.txt. Diese Regeln helfen dabei, den Crawling-Zugriff zu steuern, bestimmen jedoch nicht allein, ob Seiten im Google-Index enthalten sind.

Die wichtigsten Aufgaben der robots.txt

• Crawling-Steuerung: Regelt den Zugriff von Suchmaschinen auf bestimmte Verzeichnisse und URL-Pfade.
• Unnötiges Crawling reduzieren: Kann das Crawlen von Suchergebnissen, Filterkombinationen und ähnlichen URLs mit geringem Wert einschränken.
• Serverressourcen schonen: Kann insbesondere bei Websites mit hohem URL-Volumen dazu beitragen, unnötige Bot-Anfragen zu verringern.
• XML-Sitemap angeben: Kann Crawlern über die Sitemap-Direktive den Speicherort der Sitemap mitteilen.

Die robots.txt ist kein direkter Rankingfaktor. Wird sie jedoch falsch konfiguriert, kann sie das Crawlen wichtiger Seiten verhindern und so die organische Sichtbarkeit beeinträchtigen.

Gerade bei großen Websites ist die Bewertung der Crawling-Effizienz ein wichtiger Bestandteil einer umfassenden technischen SEO-Optimierung.

Der Unterschied zwischen robots.txt und noindex

Robots.txt und noindex werden häufig verwechselt. Dabei greifen sie in unterschiedlichen Phasen: Die robots.txt steuert den Crawling-Zugriff, noindex dagegen die Aufnahme in den Index der Suchergebnisse, sofern die Anweisung korrekt erkannt wird.

Wichtig: Wird eine URL per robots.txt blockiert, kann Google die noindex-Anweisung innerhalb der Seite möglicherweise nicht sehen. Deshalb ist es kein guter Ansatz, eine Seite, die aus dem Index entfernt werden soll, gleichzeitig per robots.txt zu sperren.

Robots.txt erstellen: Schritt-für-Schritt-Anleitung

Um eine gültige robots.txt zu erstellen, benötigen Sie keine spezielle Software. Ein Texteditor und der Zugriff auf das Stammverzeichnis Ihrer Website genügen. Bevor Sie die Regeln live einsetzen, sollten Sie jedoch die Ziel-URLs festlegen.

1. Bereiche zum Crawlen und Sperren festlegen

Analysieren Sie zunächst die URL-Strukturen Ihrer Website. Produkt-, Kategorie-, Leistungs- und Blogseiten sollten in der Regel crawlbar sein. Interne Suchergebnisse, bestimmte Filterkombinationen und technische Vorgangs-URLs können dagegen je nach Fall eingeschränkt werden.

Nicht jedes Verzeichnis muss automatisch gesperrt werden. Wenn Sie beispielsweise JavaScript- oder CSS-Dateien blockieren, die für die Darstellung der Produkte nötig sind, kann Google die Seite unter Umständen nicht korrekt rendern.

2. Die robots.txt-Datei erstellen

Öffnen Sie auf Ihrem Computer einen Texteditor und speichern Sie die Datei unter dem Namen robots.txt in der Zeichenkodierung UTF-8. Verwenden Sie einen reinen Texteditor statt Textverarbeitungsprogrammen wie Word, die eigene Formatierungen hinzufügen.

Für den Anfang eignet sich folgende Struktur, die keinerlei Crawling-Einschränkung vorsieht:

User-agent: *
Disallow:
Sitemap: https://www.example.com/sitemap.xml

In diesem Beispiel steht das Sternchen für alle Crawler. Die leere Disallow-Zeile blockiert keinen Pfad. Die Sitemap-Adresse ist ein Beispiel und muss durch die tatsächliche Adresse der XML-Sitemap Ihrer eigenen Website ersetzt werden.

3. Die Datei im Stammverzeichnis hochladen

Legen Sie die erstellte Datei im Stammverzeichnis des Hosts Ihrer Website ab. Sie muss beispielsweise unter https://www.example.com/robots.txt erreichbar sein.

Es genügt nicht, die Datei in einem Unterordner abzulegen. Außerdem werden die Domain mit www, die Domain ohne www und verschiedene Subdomains jeweils in ihrem eigenen Geltungsbereich betrachtet. Eine Datei unter HTTPS steuert HTTP-Adressen nicht automatisch mit.

4. Die Erreichbarkeit der Datei prüfen

Rufen Sie die robots.txt-Adresse im Browser auf und prüfen Sie, ob der Text angezeigt wird. Stellen Sie sicher, dass der Server den HTTP-Statuscode 200 liefert, die Datei nicht auf eine HTML-Fehlerseite weiterleitet und die erwarteten Regeln enthält.

Prüfen Sie im letzten Schritt vor der Veröffentlichung den robots.txt-Bericht in der Google Search Console. Beurteilen Sie außerdem die Crawlbarkeit kritischer Seiten mit dem URL-Prüftool.

Robots.txt-Befehle und Anwendungsbeispiele

Die von Google unterstützten Grundfelder in der robots.txt sind die Direktiven User-agent, Disallow, Allow und Sitemap. Jeder Befehl hat einen eigenen Zweck und ein eigenes Matching-Verhalten.

User-agent: Bestimmt, welcher Bot betroffen ist

Der Befehl User-agent legt fest, für welchen Crawler die nachfolgenden Regeln gelten. Das Sternchen steht für die allgemeine Gruppe, die alle Bots umfasst, Googlebot für den Haupt-Webcrawler von Google.

User-agent: Googlebot
Disallow: /ozel-dizin/

Dieses Beispiel verhindert, dass der Googlebot das angegebene Verzeichnis crawlt. Das Verhalten der anderen Google-Crawler, die für unterschiedliche Zwecke eingesetzt werden, sollte jedoch gegebenenfalls gesondert geprüft werden.

Disallow: Sperrt bestimmte URL-Pfade

Der Befehl Disallow gibt URL-Pfade an, die nicht gecrawlt werden sollen. Die folgende Struktur definiert beispielsweise eine Crawling-Sperre für das Verzeichnis /arama/ und alle URLs darunter.

User-agent: *
Disallow: /arama/

Prüfen Sie vor dem Sperren eines Verzeichnisses, ob sich dort Seiten befinden, die organischen Traffic bringen oder dafür Potenzial haben. Eine einzige falsch eingesetzte Regel kann sehr viele wichtige URLs betreffen.

Allow: Definiert Ausnahmen in gesperrten Bereichen

Der Befehl Allow ermöglicht den Zugriff auf bestimmte URLs innerhalb einer allgemeineren Sperre. Google wendet unter den passenden Regeln die spezifischere an; bei widersprüchlichen Treffern gleicher Länge wird Allow bevorzugt.

User-agent: *
Disallow: /dokumanlar/
Allow: /dokumanlar/genel-rehber.pdf

Diese Struktur sperrt das Dokumentenverzeichnis grundsätzlich, erlaubt aber das Crawlen der angegebenen PDF-Datei.

Sitemap: Gibt die XML-Sitemap bekannt

Die Sitemap-Zeile erleichtert es Suchmaschinen, die Sitemap zu finden. In dieser Direktive sollte eine vollständige URL statt eines relativen Pfads verwendet werden.

Sitemap: https://www.example.com/sitemap.xml

Wenn Sie eine URL in die Sitemap aufnehmen, bedeutet das nicht, dass diese Seite zwingend gecrawlt oder indexiert wird. Robots.txt-Regeln, Canonical-Signale und die Erreichbarkeit der Seite sollten eine konsistente Struktur ergeben.

Platzhalterzeichen und URL-Matching

In Googles Auslegung der robots.txt kann das Sternchen (*) mit beliebig vielen Zeichen übereinstimmen. Das Dollarzeichen ($) kennzeichnet das Ende des URL-Pfads.

User-agent: *
Disallow: /*?sort=
Disallow: /*.pdf$

Die erste Regel zielt auf Beispiel-URLs, bei denen auf den Pfad der Parameter sort folgt. Die zweite Regel verhindert das Crawlen von URLs, deren Pfad auf .pdf endet. Solche Muster sollten vor dem Einsatz mit realen URL-Beispielen getestet werden.

Beachten Sie außerdem, dass Google die Direktiven Crawl-delay und Noindex in robots.txt-Dateien nicht unterstützt. Der Versuch, Crawling-Geschwindigkeit oder Indexierungsstatus mit diesen Befehlen zu steuern, führt nicht zum erwarteten Ergebnis.

Beispiele für WordPress, E-Commerce und Unternehmenswebsites

Es gibt nicht die eine ideale robots.txt-Vorlage für jede Website. Die Regeln sollten sich nach dem Content-Management-System, der URL-Architektur und den Ressourcen richten, auf die Suchmaschinen zugreifen müssen.

Robots.txt-Beispiel für eine WordPress-Website

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/sitemap_index.xml

In diesem Beispiel wird das Crawlen des WordPress-Administrationsverzeichnisses eingeschränkt, während die Datei admin-ajax.php, die in einigen Frontend-Funktionen verwendet werden kann, erlaubt bleibt. Die Sitemap-Adresse kann je nach verwendetem SEO-Plugin oder Sitemap-System variieren.

In WordPress-Systemen kann die robots.txt auch virtuell erzeugt werden. Prüfen Sie daher, bevor Sie die Bearbeitungsmethode festlegen, ob es sich bei der vorhandenen Datei um eine physische Datei oder um eine von der Anwendung generierte Ausgabe handelt.

Robots.txt-Beispiel für einen Onlineshop

User-agent: *
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?sort=
Sitemap: https://www.example.com/sitemap.xml

In Onlineshops können sehr viele Filter-, Sortier- und Such-URLs entstehen. Werden diese Adressen unkontrolliert gecrawlt, können Bots identische oder sehr ähnliche Inhalte immer wieder besuchen.

Allerdings ist es nicht immer richtig, alle gefilterten Seiten zu sperren. Kategorie-URLs zu Marken, Farben oder Produkteigenschaften mit Suchnachfrage können beispielsweise für die organische Sichtbarkeit wertvoll sein.

Daher sollten bei der E-Commerce-SEO-Optimierung zunächst die Filter-URLs klassifiziert und anschließend die Crawling- und Indexierungsstrategie festgelegt werden.

Robots.txt-Beispiel für eine Unternehmenswebsite

User-agent: *
Disallow: /site-ici-arama/
Disallow: /gecici-raporlar/
Sitemap: https://www.example.com/sitemap.xml

Bei Unternehmenswebsites hat es Priorität, dass Leistungs-, Branchen-, Referenz- und Wissensseiten nicht versehentlich gesperrt werden. Werden Subdomains für mehrere Sprachen oder Länder genutzt, sollte der robots.txt-Geltungsbereich jedes Hosts gesondert geprüft werden.

Die Verzeichnisnamen in diesen Beispielen sind stellvertretend gewählt. Insbesondere die Sicherheit von Zahlungsbereichen lässt sich nicht mit der robots.txt gewährleisten; dafür sind Autorisierung, Sitzungsverwaltung und die erforderlichen serverseitigen Zugriffskontrollen einzusetzen.

Die häufigsten SEO-Fehler in der robots.txt

Auch wenn Fehler in der robots.txt klein wirken, können sie große URL-Gruppen betreffen. Besonders bei Livegang, Infrastrukturänderungen und Migrationen gibt es kritische Risiken, die geprüft werden müssen.

Die gesamte Website versehentlich für das Crawling sperren

User-agent: *
Disallow: /

Diese Struktur verhindert, dass regelkonforme Bots die gesamte Website crawlen. In Testumgebungen kann sie bewusst eingesetzt werden, bleibt sie jedoch auf der Live-Website bestehen, kann das zu gravierenden Problemen bei der organischen Sichtbarkeit führen.

CSS- und JavaScript-Ressourcen blockieren

Beim Rendern von Seiten kann Google auf CSS- und JavaScript-Ressourcen zurückgreifen. Werden diese Ressourcen pauschal blockiert, kann dies insbesondere die korrekte Verarbeitung von per JavaScript erzeugten Inhalten erschweren.

Wenden Sie ohne Sicherheitsgrund keine breiten Ressourcensperren an, sondern bewerten Sie wirklich unnötige Dateien einzeln.

Die robots.txt für ein Datenschutz-Werkzeug halten

Die robots.txt ist öffentlich einsehbar. Wenn Sie geheime Verwaltungspfade in die Datei schreiben, verbergen Sie diese nicht vor der Außenwelt, sondern machen sie im Gegenteil leichter auffindbar.

Für vertrauliche Informationen sollten Authentifizierungs- und Autorisierungsmechanismen verwendet werden. Die robots.txt ist keine Firewall.

Groß- und Kleinschreibung in URLs übersehen

Das Pfad-Matching der robots.txt ist bei Google von der Groß- und Kleinschreibung abhängig. Daher werden /Katalog/ und /katalog/ möglicherweise nicht von derselben Regel erfasst.

Erstellen Sie Ihre Datei passend zur tatsächlichen URL-Struktur. Testen Sie insbesondere bei mehrsprachigen Projekten und Projekten mit speziellen URL-Weiterleitungen die verschiedenen Varianten.

Serverfehler ignorieren

Liefert die robots.txt dauerhaft einen Serverfehler, kann das die Crawling-Prozesse beeinträchtigen. Bei 5xx-Antworten oder Verbindungsproblemen kann Google das Crawlen vorübergehend einstellen oder reduzieren.

Diese Prüfungen sind bei Website-Umzügen und Serveränderungen wichtig. Mit regelmäßigen SEO-Audits und Reportings lassen sich fehlerhafte Regeln und Zugriffsprobleme frühzeitig erkennen.

Wie werden robots.txt-Tests und Performance-Monitoring durchgeführt?

Die Erstellung der Datei ist nur der erste Schritt. Sie müssen überprüfen, ob sie korrekt funktioniert, und anschließend das Crawling-Verhalten beobachten.

Prüfung mit der Google Search Console

1. Öffnen Sie in Ihrem Google-Search-Console-Konto die entsprechende Website-Property.
2. Rufen Sie in den Einstellungen den robots.txt-Bericht auf.
3. Prüfen Sie die von Google erkannte Dateiversion und den Abrufstatus.
4. Werten Sie für wichtige URLs die Crawling-Informationen im URL-Prüftool aus.
5. Fordern Sie nach den nötigen Korrekturen ein erneutes Abrufen der Datei an und verfolgen Sie die Ergebnisse.

Der robots.txt-Bericht der Search Console liefert Informationen zur Erreichbarkeit der Datei und zu dem Inhalt, den Google sieht. Er ist nicht als aktueller Ersatz für das frühere eigenständige robots.txt-Tester-Tool zu verstehen, das jede URL-Regel interaktiv testete.

SEO-Metriken, die Sie beobachten sollten

Konzentrieren Sie sich nach robots.txt-Änderungen nicht nur auf einen Anstieg des organischen Traffics. Prüfen Sie zuerst, ob die Ziel-URLs korrekt gecrawlt werden und ob bei wichtigen Seiten unerwartete Zugriffsblockaden entstanden sind.

Checkliste vor der Veröffentlichung der robots.txt

• Liegt die Datei im Stammverzeichnis des richtigen Hosts?
• Lautet der Dateiname robots.txt und ist die Kodierung UTF-8?
• Gibt es eine Regel, die die Live-Website vollständig blockiert?
• Sind wichtige Leistungs-, Produkt- und Kategorie-URLs crawlbar?
• Sind die für das Rendern der Seite nötigen CSS- und JavaScript-Ressourcen zugänglich?
• Greifen die Allow- und Disallow-Regeln bei realen URL-Beispielen korrekt?
• Ist die Sitemap-Adresse gültig, erreichbar und aktuell?
• Wurde vor der Änderung ein Backup der Datei erstellt?

Gerade bei großen Websites erleichtert es die Versionskontrolle von Dateiänderungen, im Fall von Fehlern zur vorherigen Konfiguration zurückzukehren.

Um die aktuellen technischen Anforderungen von Google zu überprüfen, können Sie auch die offizielle technische Dokumentation zur robots.txt heranziehen.

Häufig gestellte Fragen

Was passiert, wenn es keine robots.txt gibt?

Eine robots.txt ist nicht zwingend erforderlich. Gibt es keine anderen Zugriffsbeschränkungen, können Suchmaschinen die erreichbaren URLs Ihrer Website crawlen. Die Datei gewinnt vor allem dann an Bedeutung, wenn Sie den Crawling-Zugriff bewusst steuern möchten.

Beeinflusst die robots.txt das Google-Ranking?

Die robots.txt ist kein direkter Rankingfaktor. Werden jedoch wichtige Seiten versehentlich blockiert, kann es für Google schwieriger werden, auf diese Seiten zuzugreifen und ihre Inhalte zu bewerten. Daher kann es indirekte SEO-Auswirkungen geben.

Kann man eine Seite per robots.txt aus Google entfernen?

Nein, die robots.txt allein garantiert keine Entfernung aus den Google-Ergebnissen. Google kann eine blockierte URL, auf die von anderen Seiten verlinkt wird, ohne Inhalt auflisten. Für die Entfernung aus dem Index sollten Sie noindex auf einer erreichbaren Seite oder passende HTTP-Statuscodes in Betracht ziehen.

Wo befindet sich die robots.txt bei WordPress?

Bei WordPress lässt sich die Datei unter dem Pfad /robots.txt der Stammadresse der Website aufrufen. In manchen Installationen wird statt einer physischen Datei eine von WordPress erzeugte virtuelle Ausgabe verwendet. Die Bearbeitung kann je nach Server-Infrastruktur und SEO-Plugin variieren.

Wann erkennt Google Änderungen an der robots.txt?

Google speichert die robots.txt in der Regel im Cache und kann sie unter normalen Bedingungen etwa alle 24 Stunden aktualisieren. Bei Verbindungs- oder Serverproblemen kann sich dieser Zeitraum verlängern. Das erneute Abrufen der aktualisierten Datei lässt sich über die Search Console anfordern, eine sofortige Umsetzung wird jedoch nicht garantiert.

Fazit: Crawling mit der richtigen robots.txt-Konfiguration steuern

Die grundlegende Antwort auf die Frage, wie man eine robots.txt erstellt, lautet: die richtigen User-agent-Gruppen festlegen, Disallow- und Allow-Regeln sorgfältig formulieren, die Datei im Stammverzeichnis ablegen und mit realen URLs testen.

Eine erfolgreiche robots.txt-Strategie sollte im Jahr 2026 darauf ausgerichtet sein, unnötiges URL-Crawling zu begrenzen und gleichzeitig sicherzustellen, dass wertvolle Inhalte zugänglich bleiben. Dieser Ansatz ist besonders bei Onlineshops und Unternehmenswebsites mit Tausenden von URLs wichtig.

Ist die robots.txt Ihrer Website korrekt konfiguriert? Als SEO Performans bewerten wir Crawling-Sperren, Indexierungsprobleme und technische SEO-Risiken gemeinsam. Für eine individuelle Analyse Ihrer Website und einen umsetzbaren Optimierungsplan lernen Sie unsere Leistung Technische SEO-Optimierung kennen.