fbpx

Crawlbudget – ein Mythos?

Inhaltsverzeichnis

     

    Der Begriff Crawlbudget ist immer im Bereich Suchmaschinenoptimierung (SEO) immer wieder zu lesen und zu hören. Google hat sich hierzu in seinem Webmasterblog geäußert und klargestellt, dass es keinen einzelnen Faktor gibt, der mit Crawlbudget einhergehen würde.

     

    Nichtsdestotrotz wird dargelegt, dass zwei Faktoren existieren, die das Crawlverhalten der Googlebots maßgeblich beeinflussen und diese letztendlich doch wieder zu einer Begrenzung des „Crawlbudgets“ führen.

    crawling_aktivitaeten

     

    Crawling-Frequenz und Crawling-Bedarf

    Würde der Google-Bot in sehr kurzer Zeit umfangreiche Webseiten komplett crawlen, so käme das im weitesten Sinne einer DDOs-Attacke gleich: im schlimmsten Fall wäre die Webseite nur noch eingeschränkt oder gar nicht mehr erreichbar, da zu viele Anfragen gleichzeitig am Server eingehen würden. Aus diesem Grund misst der Bot u.a. die Antwortgeschwindigkeit des Servers und passt daraufhin die Abstände zwischen den jeweiligen Abfragen an.

    Sollte der Googlebot dennoch massiv danebenliegen, bleibt dem Webseitenbetreiber auch noch die Option, die Crawling-Frequenz in der Google Search-Console anzupassen. In den meisten Fällen ist dies jedoch nicht notwendig.

    Daneben versucht Google den Crawling-Bedarf einer Website zu ermitteln und zielt dabei in erster Linie auf aktuelle Inhalte ab. Hierbei spielen die Beliebtheit der einzelnen URLs sowie der Status der URL (veraltete URL oder noch aktuell?) eine entscheidende Rolle.

     

    Wie kann das Crawling erleichtert werden?

    Auch wenn Google sagt, dass die Crawling-Möglichkeiten keinen Einfluss auf das Ranking haben, ist es natürlich essenziell – denn ohne Crawling gibt es kein Ranking.

    Wichtig ist vor allem, die Webseiten aus technischer Sicht solide aufzustellen. Dies beinhaltet eine ausgereifte Ladegeschwindigkeit und gute Antwortzeiten des Servers.  Ergänzend sollten Soft-Errors auf einem möglichst niedrigen Niveau gehalten werden.

    Wenig überraschend ist die Aussage, dass sich gehackte Seiten, Spam, Duplicate Content oder eine fehlerhaft umgesetzte facettierte Navigation schlecht auf das Crawling auswirken.

     

    Fazit

    Damit Crawlbudget überhaupt ein Thema wird, muss die betroffene Webseite sehr umfangreich sein– also aus mehreren tausend URLs bestehen. Insgesamt wird deutlich, dass wieder mal die Seitengeschwindigkeit und guter, einzigartiger Content die Basis für eine gesunde Entwicklung darstellen.

     

     

    Wir unterstützen seit 10 Jahren Unternehmen bei der Suchmaschinenoptimierung. Für jeden Kunden erstellen wir eine individuelle Strategie zum fairen Preis.

    Kostenlose SEO Tipps für Deine Website

    Suchmaschinenoptimierung - Passende Artikel

    Was ist SEO? Unsere Experten beantworten häufige SEO-Fragen

    SEO ist die Optimierung von Webseiten mit dem Ziel, bessere Platzierungen und Rankings in Suchmaschinen wie Google oder Bing zu erreichen. Gezielte SEO-Maßnahmen führen dazu, den...

    Wie Google Ranking verbessern? 31 SEO-Tipps für bessere Positionen

    Wie kann man sein SEO und Google Ranking verbessern? Ich möchte in diesem Artikel meine ehrlichen Erfahrungen als Suchmaschinenoptimierer aus über 6 Jahren Agentur-Tagesgeschäft teilen und...

    SEO für Software-Unternehmen | Experten-Gespräch mit André Hützen

    Unser Key-Account Manager André Hützen im Interview Unser SEO-Experte André Hützen ist bei MADMEN Onlinemarketing für die Betreuung unserer Key-Accounts zuständig. In diesem Interview sprechen wir...

    top