Crawl-Budget-Optimierung: Was ist das und wie funktioniert sie?

Sie veröffentlichen auf Ihrer Website neue Produkte, Leistungsseiten oder umfangreiche Inhalte, stellen aber fest, dass Google diese Seiten erst spät entdeckt? Gerade bei Websites mit einem großen URL-Bestand kann ein Teil des Problems damit zusammenhängen, für welche Adressen Suchmaschinen beim Crawling Ressourcen aufwenden.

Crawl-Budget-Optimierung bezeichnet technische Verbesserungen, die die Effizienz der Ressourcen steigern, die Suchmaschinen beim Crawlen einer Website einsetzen. Kern dieser Arbeit ist es, die Erzeugung unnötiger URLs zu kontrollieren, Zugriffsprobleme zu beseitigen und die Entdeckung wichtiger Inhalte zu erleichtern.

In diesem Leitfaden erläutern wir, wie das Crawl-Budget funktioniert, für welche Unternehmen es Priorität hat und wie technische Maßnahmen gemessen werden sollten.

Was ist das Crawl-Budget und wie wird es bestimmt?

Das Crawl-Budget beschreibt die Zeit und die Ressourcen, die Google für das Crawlen einer Website einplant. Es sollte nicht als festes tägliches Seitenkontingent verstanden werden. Es besteht aus zwei Hauptkomponenten:

• Crawling-Kapazitätsgrenze: Die Grenze, bis zu der Google crawlen kann, ohne den Server zu überlasten.
• Crawling-Bedarf: Das Interesse von Google, die Website zu crawlen – abhängig von Aktualität und Qualität der Inhalte sowie weiteren Faktoren.

Selbst wenn die Serverkapazität ausreicht, findet bei geringem Crawling-Bedarf unter Umständen kein intensiveres Crawling statt. Außerdem gilt: Dass eine Seite gecrawlt wird, bedeutet nicht, dass sie auch indexiert wird. Nach dem Crawling muss der Inhalt separat bewertet werden. Google-Dokumentation zum Crawl-Budget

Für Unternehmen besteht das Ziel nicht darin, Bot-Besuche wahllos zu steigern, sondern die Erreichbarkeit und Entdeckung der geschäftlich wichtigen Seiten zu verbessern.

Für welche Websites hat das Thema Priorität?

Maßnahmen zum Crawl-Budget gewinnen vor allem bei großen und häufig aktualisierten Websites an Bedeutung. Umfangreiche Produktkataloge, intensive Filteroptionen und stetig wachsende Content-Archive können eine Prüfung erforderlich machen.

Google richtet seinen fortgeschrittenen Leitfaden in erster Linie an sehr große Websites, an Websites mit zehntausenden täglich wechselnden Seiten sowie an Websites, bei denen ein erheblicher Teil der URLs den Status „Gefunden – zurzeit nicht indexiert“ hat. Zahlenbeispiele sind keine festen Schwellenwerte. Bei kleinen Websites, deren Seiten zeitnah gecrawlt werden, hat ein umfassendes Crawl-Budget-Projekt möglicherweise keine Priorität. Googles Erläuterung zum Geltungsbereich

Die folgenden Anzeichen sind ein Ausgangspunkt für eine technische Prüfung:

• Wiederholte Verzögerungen bei der Entdeckung neuer Produkte.
• Filter- und Sortier-URLs dominieren den URL-Bestand.
• Wichtige Seiten werden über lange Zeit nicht besucht.
• Bot-Anfragen landen überwiegend bei Weiterleitungen oder Fehlerseiten.

Diese Anzeichen allein sind noch keine Diagnose. Auch Content-Qualität, interne Verlinkung und Indexierungsregeln sollten bewertet werden.

Wie diagnostiziert man ein Crawl-Budget-Problem?

Eine fundierte Analyse interpretiert die Daten der Search Console gemeinsam mit Serverlogs und einem Website-Crawl.

Gesamtbild mit der Google Search Console prüfen

Im Bericht „Crawling-Statistiken“ lassen sich Gesamtanfragen, heruntergeladene Datenmenge, durchschnittliche Antwortzeit und der Host-Status prüfen. Die Aufschlüsselungen nach Antwortcode, Dateityp und Crawling-Zweck helfen zudem zu verstehen, woher eine Veränderung stammt.

Steigen beispielsweise bei sinkender Anfragezahl die Antwortzeiten, sollte die Infrastruktur untersucht werden. Aus einer einzelnen Grafik lässt sich jedoch kein Ursache-Wirkung-Zusammenhang ableiten. Dieser Bericht sollte nicht als vollständiges URL-basiertes Zugriffsprotokoll verwendet werden. Leitfaden zu den Crawling-Statistiken der Search Console

Tatsächliche Zugriffe mit der Logfile-Analyse bewerten

Anhand der Zugriffsprotokolle von Server oder CDN lassen sich folgende Fragen beantworten:

• Welche URL-Gruppen rufen die Bots auf?
• Wie häufig werden Produkt-, Kategorie- und Leistungsseiten besucht?
• Welchen Anteil an den Gesamtanfragen machen URLs mit Parametern aus?
• Gibt es wiederkehrende Muster bei Fehlern und Weiterleitungen?

Bei der Analyse sollte die Identität des Bots verifiziert werden; man sollte sich nicht allein auf einen User-Agent mit der Angabe „Googlebot“ verlassen. Bei Setups mit CDN zeigen die Logs des Ursprungsservers allein möglicherweise nicht alle Anfragen.

Empfehlenswert ist es, die Logs in Gruppen wie Produkt, Kategorie, Blog, Filter und interne Suche zu unterteilen. So lassen sich die technischen Befunde mit den Prioritäten des Unternehmens abgleichen.

Wie führt man eine Crawl-Budget-Optimierung durch?

1. URL-Bestand und Filterkombinationen kontrollieren

Eine E-Commerce-Kategorie kann mit Optionen für Farbe, Größe, Marke und Sortierung eine Vielzahl von URLs erzeugen. Unkontrollierte Kombinationen können dazu führen, dass Bots ähnliche Ergebnismengen immer wieder crawlen.

Zum Beispiel:

• /ayakkabi/
• /ayakkabi/?renk=siyah
• /ayakkabi/?renk=siyah&beden=42
• /ayakkabi/?renk=siyah&beden=42&sirala=fiyat

Nicht für jede URL mit Parametern sollte dieselbe Entscheidung getroffen werden. Filterseiten, die in der organischen Suche eine Entsprechung haben und Nutzern eine sinnvolle Liste bieten, können gesondert betrachtet werden.

In der Praxis sollte folgende Unterscheidung getroffen werden:

Google empfiehlt bei Filterstrukturen, die gecrawlt werden sollen, ein konsistentes Parameterschema und bei ungültigen Kombinationen sowie Kombinationen ohne Ergebnisse die Antwort 404. Dokumentation zur Facettennavigation

2. Funktionen von robots.txt, noindex und Canonical unterscheiden

Diese Werkzeuge dienen unterschiedlichen Zwecken. Werden sie austauschbar eingesetzt, können technische Probleme entstehen.

Wenn Sie einer Seite noindex hinzufügen und gleichzeitig den Zugriff über die robots.txt sperren, kann Google das Tag möglicherweise nicht lesen. Die Reihenfolge der Umsetzung sollte daher danach geplant werden, ob die Entfernung aus dem Index oder die Begrenzung des Crawlings das Ziel ist. Google-Leitfaden zu noindex

Canonical wiederum dient dazu, doppelte oder sehr ähnliche Inhalte zusammenzuführen. Interne Links, Sitemap und Canonical-Angaben sollten dieselbe bevorzugte URL stützen. Es ist nicht sinnvoll, voneinander verschiedene Seiten pauschal per Canonical auf eine einzige Adresse zu verweisen. Google-Leitfaden zu Canonical

3. XML-Sitemaps bereinigen

Sitemaps sind eine Möglichkeit, Google mitzuteilen, welche URLs Sie für wichtig halten. Nehmen Sie in die Sitemap die bevorzugten Adressen auf, die in den Suchergebnissen erscheinen sollen.

Checkliste:

• Verwenden Sie URLs, die mit den Canonical-Präferenzen übereinstimmen.
• Entfernen Sie weitergeleitete und gelöschte alte Adressen.
• Trennen Sie Seiten ab, die nicht indexiert werden sollen.
• Pflegen Sie das Datum lastmod so, dass es sinnvolle Inhaltsaktualisierungen widerspiegelt.

Das tägliche Ändern des Datums aller URLs erzeugt ein Signal, das keine tatsächlichen Aktualisierungen abbildet. Zudem verwendet Google die Werte priority und changefreq in Sitemaps nicht. Das Einreichen einer Sitemap garantiert weder Crawling noch Indexierung. Google-Leitfaden zu Sitemaps

Für das operative Monitoring kann es hilfreich sein, Produkt-, Kategorie- und Content-Sitemaps getrennt zu gruppieren.

4. Interne Verlinkung an priorisierten Seiten ausrichten

Konzentrieren Sie sich bei der Analyse nicht nur auf die Anzahl der URLs. Prüfen Sie auch die Position wichtiger Seiten innerhalb der Website.

Empfohlene Prüfungen sind:

• Sind die priorisierten Kategorien über die Hauptnavigation erreichbar?
• Verlinken thematisch passende Ratgeber auf Produkt- und Leistungsseiten?
• Führen interne Links direkt auf das aktuelle Ziel?
• Gibt es wichtige URLs, die von keiner Seite einen Link erhalten?

Befindet sich beispielsweise eine geschäftlich wertvolle Leistungsseite nur in der Sitemap, sollte geprüft werden, sie in die zugehörige Leistungskategorie und in unterstützende Blogbeiträge einzubinden.

5. Server- und Weiterleitungsprobleme beheben

Langsame Antworten, 5xx-Fehler und 429-Antworten können die Crawling-Kapazität beeinträchtigen. Auch lange Weiterleitungsketten verursachen unnötigen Aufwand. Google empfiehlt, diese Bereiche im Rahmen der Crawling-Effizienz zu verbessern. Technische Empfehlungen von Google

Berichten Sie dem Umsetzungsteam die Befunde mit URL-Template und Zeitraum. Verwenden Sie statt der Aussage „Die Website ist langsam“ eine überprüfbare Beschreibung wie „Bei Anfragen an gefilterte Kategorien steigt die Antwortzeit zu Spitzenzeiten“.

Auch bei der Prüfung von Weiterleitungen sollten Start-URL, Zwischenschritte und endgültiges Ziel gemeinsam erfasst werden.

An welchen Metriken wird der Erfolg gemessen?

Eine steigende Gesamtzahl an Crawls ist allein noch kein Erfolg. Während unnötige URL-Anfragen abnehmen, kann das Gesamtvolumen sinken.

Im Projekt-Monitoring können folgende Messgrößen verwendet werden:

Diese Metriken sind für das Projekt empfohlene Messgrößen; es handelt sich nicht um einen von Google vergebenen „Crawl-Budget-Score“.

Verwenden Sie bei Vorher-Nachher-Vergleichen dieselben URL-Gruppen. Dokumentieren Sie Kampagnen, Änderungen der Produktanzahl und Website-Umzüge. Berücksichtigen Sie bei der Bewertung des organischen Wachstums auch den Einfluss paralleler Content- und SEO-Maßnahmen.

Anwendungsbeispiel: Ein E-Commerce-Shop mit wachsenden Filter-URLs

Dieses Szenario dient der Erläuterung der Methode; es ist kein Kundenergebnis.

Nehmen wir an, ein E-Commerce-Shop hat 30.000 Produkte, im Crawling-Bestand finden sich jedoch hunderttausende Filter- und Sortier-URLs.

Empfohlene Vorgehensweise:

1. Bestätigen Sie anhand der Logfiles, wie stark die Filter-URLs tatsächlich gecrawlt werden.
2. Sondern Sie die Filterseiten aus, die organischen Traffic oder Conversions liefern.
3. Bestimmen Sie doppelte und unnötige Kombinationen.
4. Treffen Sie für jede URL-Gruppe die passende Entscheidung zu Crawling und Indexierung.
5. Testen Sie die Regeln in einem begrenzten Bereich.
6. Weiten Sie die Umsetzung aus, während Sie Erreichbarkeit und Entdeckungszeit wichtiger Produkte beobachten.

Alle Parameter mit einer einzigen Regel zu sperren, kann auch wertvolle Landingpages beeinträchtigen. Entscheidungen sollten sich neben dem URL-Muster auch auf die Funktion der Seite stützen.

Crawl-Budget-Optimierung mit SEO Performans

Bei der Bewertung der Crawl-Budget-Optimierung von SEO Performans ist der Ausgangspunkt, das Problem Ihrer Website und Ihre geschäftlichen Prioritäten zu klären. In Ihrer Analyseanfrage können Sie verzögert entdeckte Produkte, wachsende Filterstrukturen oder von Ihnen beobachtete Zugriffsprobleme mitteilen.

Der je nach Projektbedarf festgelegte Leistungsumfang kann folgende Punkte umfassen: Prüfung des URL-Bestands, Auswertung der Zugriffsprotokolle, Kontrollen von robots.txt und Canonical, Sitemaps sowie Messung nach der Umsetzung.

Das Ziel sind konkrete Entscheidungen, die das Entwicklungsteam umsetzen kann: Welche URL-Gruppe muss sich ändern, warum muss sie sich ändern und wie wird das Ergebnis verifiziert?

Häufig gestellte Fragen

Garantiert die Crawl-Budget-Optimierung bessere Rankings?

Nein. Ein verbesserter technischer Zugriff kann die Bewertung von Inhalten erleichtern; dennoch wird nicht jede gecrawlte Seite indexiert. Rankings oder Traffic-Zuwächse sollten nicht als garantiert dargestellt werden. Googles Erläuterung zu Crawling und Indexierung

Verhindert die Verwendung von noindex das Crawling?

Nein. noindex ist eine Indexierungsregel. Damit Google diese Regel verarbeiten kann, muss es auf die Seite zugreifen können. Google-Dokumentation zu noindex

Wird eine URL mit Canonical nicht mehr gecrawlt?

Canonical ist ein Präferenzsignal; es stoppt das Crawling nicht verbindlich. Google berücksichtigt bei der Bestimmung der bevorzugten URL auch weitere Signale. Google-Dokumentation zu Canonical

Welche Informationen sollten für eine Analyseanfrage mitgeteilt werden?

Für den Einstieg sind die Adresse Ihrer Website, die verwendete Infrastruktur, die ungefähre Seitenanzahl und die von Ihnen beobachteten Probleme hilfreich. Je nach Umfang der detaillierten Prüfung können zusätzlich Daten der Search Console und Zugriffsprotokolle ausgewertet werden.

Identifizieren Sie die Probleme, die die Entdeckung Ihrer wichtigen Seiten erschweren

Eine späte Entdeckung neuer Inhalte oder eine Zunahme unnötiger URLs sind technische Anzeichen, die genauer untersucht werden sollten. Der erste Schritt besteht darin, anhand von Daten zu bestimmen, woher das Problem stammt.

Teilen Sie SEO Performans Ihre Website und Ihre Probleme mit; wenden Sie sich an uns, um Ihren Bedarf an Crawl-Budget-Optimierung zu bewerten.

Kostenlose SEO-Analyse anfordern