Wer ab und an mal in seinen Zugriffs-Statistiken schaut, dem ist vielleicht auch schon aufgefallen, dass der Crawler Slurp von Yahoo unverhältnismäßig viel Traffic erzeugt. Insbesondere wenn man erzeugten Crawler-Traffic den über Yahoo kommenden Nutzern gegenüberstellt.
Bei mir macht er beispielsweise für ombelico.de im August ca. 14% des Traffics aus, jedoch kamen lediglich 1,6% meiner Besucher über Yahoo. Vergleicht man das mit Google: 6,3% Traffic-Anteil, aber 75% meiner Besucher kamen von Google-Suchergebnissen.
Auch wenn das keine detaillierte Analyse ist, zeigt sich doch ein recht eindeutiges Missverhältnis.
Da das nicht so weitergehen kann, habe ich mal geschaut, wie man Abhilfe schaffen kann.
Der Artikel “How to Reduce the Number of Requests the Search Crawler Makes on Your Site” beschreibt, wie man Robots mittels robots.txt anweisen kann, nicht so oft zu kommen.
Ich habe nun folgendes eingetragen:
# Yahoos Crawler ausbremsen
User-agent: Slurp
Crawl-delay: 20
Sollte das nicht helfen, hätte ich auch kein Problem den Spider komplett zu blocken.
