Erstellen Sie Ihre robots.txt mit dem kostenlosen Robots.txt-Generator

Legen Sie fest, welche Bereiche Ihrer Website Suchmaschinen-Bots crawlen dürfen. Wählen Sie Ihre Direktiven und erzeugen Sie sofort eine gültige robots.txt.

Robots.txt-Angaben

Legen Sie Bot, Freigaben, Sperren und Sitemap-Adresse fest.

User-agent

Name des eigenen Bots

Erlaubte Pfade (ein Pfad pro Zeile)

Gesperrte Pfade (ein Pfad pro Zeile)

Crawl-delay

Host (optional)

Sitemap-Adresse

Robots.txt-Ausgabe

Ihre Datei wird automatisch aktualisiert, sobald Sie Angaben eingeben.

Dateivorschautext/plain

Datei ist einsatzbereit

Sie haben Ihr Ergebnis. Wie geht es weiter?

Lassen Sie uns die Ergebnisse gemeinsam auswerten

Unser Expertenteam prüft das Ergebnis und erstellt einen priorisierten Verbesserungsplan.

Per WhatsApp schreiben Kontaktformular

Für fertige Lösungen mit festem Umfang und Monatspreisen sehen Sie sich unsere SEO-Pakete an.

Weitere kostenlose Tools

XML-Sitemap-Generator Erstellen Sie aus Ihrer URL-Liste eine gültige sitemap.xml. Tool öffnen SEO-Website-Analyse Ermitteln Sie den SEO-Score Ihrer Website mit mehr als 40 Prüfungen. Tool öffnen Schema-Markup-Generator Erzeugen Sie JSON-LD für Organization, FAQ, Article und Product. Tool öffnen

Crawling-Direktiven

Was ist ein Robots.txt-Generator?

Ein kostenloses Tool, das die Direktiven, die festlegen, welche Bereiche Ihrer Website Suchmaschinen-Bots crawlen dürfen, im gültigen robots.txt-Format aufbereitet.

Machen Sie aus Ihren Regeln eine übersichtliche Datei

Definieren Sie erlaubte und gesperrte Pfade für alle Bots oder einen bestimmten User-agent; das Tool entfernt doppelte Regeln und erzeugt die Textausgabe sofort.

Bot festlegen

Wählen Sie alle Crawler oder einen eigenen User-agent-Wert.

Freigaben und Sperren eingeben

Steuern Sie crawlbare Pfade mit Allow- und Disallow-Regeln.

Datei erzeugen

Laden Sie die robots.txt mit Sitemap und optionalen Direktiven herunter.

Robots.txt-Vorschau

User-agent: *
Allow: /assets/
Disallow: /admin/
Disallow: /warenkorb/

Sitemap: https://site.com/sitemap.xml

Bereit zum Kopieren und Herunterladen

Crawling-Steuerung

Warum ist ein Robots.txt-Generator wichtig?

Eine korrekte robots.txt gibt Suchmaschinen-Bots klare Hinweise, welche Bereiche gecrawlt werden sollen und welche nicht.

Lenkt Crawling-Ressourcen auf wichtige Seiten

Indem der Zugriff auf Bereiche beschränkt wird, die nicht gecrawlt werden müssen, etwa Admin-Bereich, interne Suche, Filterparameter und Warenkorb, konzentrieren sich Bots auf wertvolle Seiten.

Crawling-Effizienz

Unterstützt den sinnvollen Einsatz des Crawl-Budgets, indem das Crawling unnötiger URL-Bereiche begrenzt wird.

Bot-spezifische Regeln

Ermöglicht es, getrennte Zugriffsdirektiven für verschiedene Suchmaschinen-Bots zu definieren.

Verzeichnissteuerung

Legt klare Crawling-Grenzen für Admin-, Such- und parametrisierte Seitenpfade fest.

Sitemap-Angabe

Unterstützt die URL-Erkennung, indem die Sitemap-Adresse in der Datei angegeben wird.

Erwartete Ergebnisse

Welche Ergebnisse sind mit einem Robots.txt-Generator zu erreichen?

Steuern Sie das Crawling-Verhalten der Bots mit sauberen, klaren Direktiven und halten Sie die wichtigen Seiten Ihrer Website zugänglich.

Eine besser kontrollierte Crawling-Infrastruktur

Begrenzen Sie unnötige URL-Bereiche, schaffen Sie Raum für die Erkennung wertvoller Seiten und machen Sie das technische SEO planbarer.

Crawl-Budget effizient nutzen

Verringern Sie, dass Bots Zeit mit wenig wertvollen und doppelten URLs verlieren.

Fokus auf wichtige Seiten

Lenken Sie Suchmaschinen-Crawler zu den Bereichen, die sichtbar sein sollen.

Unnötiges URL-Crawling reduzieren

Setzen Sie klare Grenzen für Bereiche wie Filter, Warenkorb, Admin und interne Suche.

URL-Erkennung unterstützen

Helfen Sie Suchmaschinen, Ihre Seiten zu entdecken, indem Sie die Sitemap-Adresse angeben.

Technische Prüfungen

Was sollte ein professioneller Robots.txt-Generator prüfen?

Eine gültige Datei sollte nicht nur Direktiven erzeugen, sondern auch Umfang und Konsistenz der Regeln sowie deren Auswirkung auf kritische Ressourcen bewerten.

User-agent-Struktur

Prüft Bot-Gruppen und ob die Regeln für den jeweiligen Crawler gelten.

Regelkonflikte

Macht Duplikate, Geltungsbereichsprobleme und Widersprüche in Allow- und Disallow-Pfaden sichtbar.

Kritische Ressourcen

Hilft zu verhindern, dass benötigte CSS- und JavaScript-Dateien versehentlich gesperrt werden.

Sitemap- und Pfadformat

Stellt sicher, dass Sitemap-Adresse und Verzeichnispfade im korrekten Format geschrieben sind.

Vier einfache Schritte

Wie funktioniert ein Robots.txt-Generator?

Von der Bot-Auswahl bis zur veröffentlichungsfähigen Datei läuft der gesamte Prozess sofort und geordnet anhand Ihrer Eingaben ab.

User-agent auswählen

Legen Sie fest, ob die Regeln für alle Bots oder für einen bestimmten Crawler gelten.

Crawling-Regeln eingeben

Fügen Sie erlaubte und gesperrte Verzeichnispfade hinzu, eine Regel pro Zeile.

Weitere Direktiven festlegen

Definieren Sie bei Bedarf Crawl-delay, Host und die vollständige Sitemap-Adresse.

Herunterladen und veröffentlichen

Laden Sie die erzeugte robots.txt herunter und legen Sie sie im Stammverzeichnis Ihrer Website ab.

Die Ausgabe wird sofort aktualisiert

Jede Änderung in den Formularfeldern wird automatisch in der Dateivorschau übernommen.

User-agent: *
Disallow: /admin/
Allow: /assets/
Sitemap: https://site.com/sitemap.xml

Einsatzbereit ohne technisches Vorwissen

Kontrollierter Prozess

Wie steuern wir den robots.txt-Prozess?

Wir behandeln jede Phase, von der Festlegung der Regeln bis zur Kontrolle nach der Veröffentlichung, in einem konsistenten und überprüfbaren Ablauf.

Wir erstellen Regeln nicht nur, wir prüfen sie auch

Wir bewerten den Bot-Zugriff gemeinsam mit Website-Struktur und technischen SEO-Anforderungen und verringern so das Risiko, kritische Seiten versehentlich zu sperren.

Bot- und Regelanalyse

Wir bestimmen, welche Bots auf welche Bereiche der Website zugreifen sollen.

Konfliktprüfung

Wir prüfen doppelte oder widersprüchliche Allow- und Disallow-Muster.

Direktiven erstellen

Wir überführen die Regeln in eine standardkonforme, saubere und lesbare Textstruktur.

Konformitätsprüfung

Wir prüfen das Format der Werte für User-agent, Pfad, Host, Crawl-delay und Sitemap.

Test und Veröffentlichung

Wir testen, ob die Datei im Stammverzeichnis erreichbar ist und von Suchmaschinen gelesen werden kann.

Umfang der Direktiven

Welche Bereiche deckt der Robots.txt-Generator ab?

Verwalten Sie gängige robots.txt-Direktiven, von der Bot-Zuordnung bis zur Sitemap-Angabe, in einer übersichtlichen Ausgabe.

User-agent

Legt fest, für welche Suchmaschinen-Bots die Regeln gelten.

Disallow

Definiert Verzeichnisse oder URL-Muster, die Bots nicht crawlen sollen.

Allow

Legt crawlbare Ausnahmepfade innerhalb eines gesperrten Bereichs fest.

Crawl-delay / Host

Definiert Anfrageintervall und bevorzugten Host für Bots, die dies unterstützen.

Sitemap

Fügt die vollständige Adresse der XML-Sitemap in die Datei ein, damit Bots sie finden.

Erstellen und veröffentlichen

Wie veröffentlichen Sie Ihre robots.txt?

Übertragen Sie die erzeugten Direktiven in wenigen kontrollierten Schritten auf Ihre Live-Website und prüfen Sie, dass Suchmaschinen die Datei abrufen können.

Von der Entwurfsdatei zur Live-Version

Das Herunterladen der Datei genügt nicht. Sie muss unter dem richtigen Namen im Stammverzeichnis abgelegt und auf Erreichbarkeit geprüft werden.

Regeln ein letztes Mal prüfen

Stellen Sie sicher, dass kritische Seiten und Rendering-Ressourcen nicht versehentlich gesperrt sind.

Als robots.txt herunterladen

Kopieren Sie den erzeugten Text oder laden Sie ihn mit dem richtigen Dateinamen auf Ihr Gerät herunter.

Im Stammverzeichnis ablegen

Veröffentlichen Sie die Datei so, dass sie unter ihre-domain.de/robots.txt erreichbar ist.

Erreichbarkeit prüfen

Öffnen Sie die Datei im Browser und testen Sie die Regeln mit den jeweiligen Suchmaschinen-Tools.

Änderungen verfolgen

Aktualisieren Sie die Direktiven, wenn sich die Website-Struktur ändert, und beobachten Sie das Crawling-Verhalten.

Kopieren und anpassen

Fertige robots.txt-Beispiele

Die folgenden Beispiele sind Ausgangspunkte für gängige Szenarien. Passen Sie die Pfade an Ihre Website-Struktur an und testen Sie sie vor der Veröffentlichung.

Gesamte Website erlauben

User-agent: *
Allow: /

Sitemap: https://www.ornek.com/sitemap.xml

Die einfachste Datei, ausreichend, wenn Sie keinen Bereich einschränken möchten. Die Sitemap-Zeile hilft Bots, Ihre Sitemap zu finden; erstellen können Sie sie mit dem XML-Sitemap-Generator.

WordPress-Website

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.ornek.com/sitemap.xml

Schließt den Admin-Bereich vom Crawling aus, erlaubt aber weiterhin den Zugriff auf admin-ajax.php, die manche Themes und Plugins im Frontend nutzen.

E-Commerce-Shop

User-agent: *
Disallow: /sepet
Disallow: /odeme
Disallow: /*?siralama=
Disallow: /*?filtre=

Sitemap: https://www.ornek.com/sitemap.xml

Warenkorb, Checkout sowie URLs mit Sortier- und Filterparametern können doppelte URLs erzeugen, die in den Suchergebnissen keinen Mehrwert bieten. Passen Sie die Pfade an Ihre eigene URL-Struktur an und achten Sie darauf, Kategorie- und Produktseiten nicht zu sperren.

Staging-Umgebung: gesamte Website sperren

User-agent: *
Disallow: /

Dient dazu, eine Testumgebung vom Crawling auszuschließen. Wird diese Datei auf die Live-Website übernommen, ist die gesamte Website für das Crawling gesperrt und die organische Sichtbarkeit kann stark leiden. Die robots.txt ist keine Sicherheitsmaßnahme; schützen Sie Staging zusätzlich per Passwort.

Das sollten Sie vermeiden

Die 5 häufigsten Fehler in der robots.txt

Eine einzige falsche Zeile kann verhindern, dass wichtige Seiten gecrawlt werden. Prüfen Sie die folgenden Punkte vor der Veröffentlichung.

Disallow mit noindex verwechseln

Die robots.txt entfernt keine Seite aus dem Index; eine gesperrte URL kann aufgrund von Links trotzdem in den Suchergebnissen erscheinen. Damit die noindex-Anweisung gelesen werden kann, muss die Seite crawlbar sein; sperren Sie eine Seite, die aus dem Index soll, daher nicht per robots.txt.

CSS- und JavaScript-Dateien sperren

Das Sperren von Style- und Skript-Verzeichnissen kann es Suchmaschinen erschweren, die Seite so zu rendern, wie Nutzer sie sehen. Nehmen Sie die benötigten Ressourcenpfade von der Sperre aus oder geben Sie sie mit Allow frei.

Disallow: / vom Staging auf die Live-Seite übernehmen

Wird die Datei, die die gesamte Testseite sperrt, in die Produktion kopiert, können Bots Ihre Website nicht crawlen. Nehmen Sie die robots.txt in Ihre Launch-Checkliste auf und öffnen Sie die Datei nach dem Go-live im Browser, um sie zu prüfen.

Falscher Speicherort oder Dateiname

Die Datei muss im Stammverzeichnis der Domain unter dem kleingeschriebenen Namen robots.txt veröffentlicht werden. Ein Ort wie /blog/robots.txt oder ein anderer Name wird von Bots möglicherweise nicht wie erwartet gelesen.

Fehler bei Platzhaltern und $

* steht für eine beliebige Zeichenfolge und $ markiert das Ende der URL. Disallow: /*.pdf$ betrifft zum Beispiel nur Adressen, die auf .pdf enden; ein fehlerhaftes Muster kann mehr oder weniger URLs betreffen als beabsichtigt. Testen Sie Muster anhand von Beispiel-URLs.

Korrekte Regeln hängen auch von Ihrer Website-Architektur ab. Für das gesamte Spektrum an Crawling- und Indexierungsproblemen lesen Sie mehr zu unserer Technischen SEO-Optimierung oder nutzen Sie die SEO-Website-Analyse, um aktuelle Probleme zu erkennen.

Häufige Fragen

Robots.txt-Generator: Häufig gestellte Fragen

Lesen Sie die Antworten auf die häufigsten Fragen zu Speicherort, Wirkung der Direktiven und korrekter Anwendung.

Was ist die robots.txt?

Eine reine Textdatei, die Suchmaschinen-Bots mitteilt, welche Bereiche Ihrer Website sie crawlen dürfen und welche nicht.

Wo wird die robots.txt abgelegt?

Die Datei muss im Stammverzeichnis der Domain veröffentlicht werden, zum Beispiel unter https://site.com/robots.txt.

Entfernt Disallow eine Seite aus dem Index?

Nein. Disallow verhindert das Crawling; um eine Seite aus dem Index zu entfernen, sollten noindex oder geeignete Entfernungsmethoden verwendet werden.

Wie spreche ich alle Bots an?

Mit einem Sternchen (*) im Feld User-agent wenden Sie die Regeln auf alle regelkonformen Bots an.

Können Allow und Disallow zusammen verwendet werden?

Ja. Allow kann eine Crawling-Ausnahme für einen bestimmten Unterpfad innerhalb eines gesperrten Verzeichnisses definieren.

Sollte die Sitemap-Adresse in die robots.txt aufgenommen werden?

Das ist nicht zwingend, aber die vollständige Sitemap-URL erleichtert es Suchmaschinen, die Datei zu finden.

Unterstützt Google Crawl-delay?

Googlebot unterstützt die Crawl-delay-Direktive nicht. Die Crawling-Rate bei Google wird über die Search Console gesteuert.

Sollten CSS- und JavaScript-Dateien gesperrt werden?

In der Regel nicht. Suchmaschinen benötigen Zugriff auf die erforderlichen Ressourcen, um die Seite korrekt zu rendern.

Ist der Robots.txt-Generator kostenlos?

Ja. Sie können Ihre Direktiven kostenlos erstellen, kopieren und als robots.txt herunterladen.

Unterscheidet die robots.txt zwischen Groß- und Kleinschreibung?

URL-Pfade können je nach Server-Konfiguration zwischen Groß- und Kleinschreibung unterscheiden; Pfade müssen genau wie in der tatsächlichen URL-Struktur geschrieben werden.

Wo befindet sich die robots.txt?

Die robots.txt liegt im Stammverzeichnis Ihrer Domain. Ob die Datei vorhanden ist, prüfen Sie, indem Sie ihredomain.de/robots.txt im Browser öffnen. Jede Subdomain benötigt eine eigene Datei.

Was ist der Unterschied zwischen Disallow und noindex?

Disallow verhindert, dass ein Bot eine Seite crawlt; noindex ist eine Anweisung, die Seite nicht in den Suchergebnissen anzuzeigen, und der Bot muss die Seite lesen können, um sie zu sehen. Sperren Sie eine Seite mit Disallow, kann die noindex-Anweisung nicht gesehen werden, und die gesperrte URL kann aufgrund von Links weiterhin im Index erscheinen.

Wie teste ich die robots.txt in der Search Console?

In der Google Search Console zeigen die Berichte zu Ihrer robots.txt, wie Google die Datei liest und welche Fehler auftreten. Mit dem URL-Prüftool können Sie außerdem kontrollieren, ob eine bestimmte Adresse gesperrt ist. Da sich die Oberfläche mit der Zeit ändern kann, finden Sie die aktuellen Menüs in der Hilfe der Search Console.

Nächster Schritt

Entdecken Sie unsere SEO-Leistungen

Ergänzen Sie Ihre robots.txt-Konfiguration durch technisches SEO, Content und strukturierte Daten für einen ganzheitlicheren Optimierungsprozess.

Technischer SEO-Support

Optimieren wir Ihre robots.txt mit Sicherheit

Wir beheben fehlerhafte Sperrregeln, schützen Ihre Crawling-Ressourcen und stellen sicher, dass Suchmaschinen-Bots korrekt auf Ihre Website zugreifen.

Kostenlos beraten lassen Technische SEO-Leistung