Wie gut oder schlecht es um eine Seite steht, kann man in bestimmter (grober) Hinsicht auch an Bot-Besuchen von Google (und anderen Suchmaschinen) erkennen. Und weil mich genau das für das ein oder andere Projekt interessiert hat, wollte ich gern genaueren Statistiken darüber in Erfahrung bringen und habe ein paar Bot Tracking Plugins und Scripte getestet.
Am liebsten hätte ich natürlich eine direkte Einbindung in Google Analytics, um alles an einem Ort zu haben. Dabei bin ich auf folgendes WordPress-Plugin gestoßen: WP Bots Analytics was eigentlich genau macht, was es soll und zwar die Botbesuche in Google Analytics ausgeben. Die Installation ging recht fix und ich wartet gespannt auf den kommenden Tag, wo ich dann feststellen musste, dass das Plugin meine Statistiken schön kaputt macht, da die Bot-Aufrufe nun auch als zusätzliche Besucher zählt, was einfach mal gar keinen Sinn macht.
Also musste ich es wieder deaktivieren und habe mich weiter umgesehen. Nun ging es weiter mit dem Testen und dem Plugin: The Crawl Rate Tracker ist auf jeden Fall gut gemacht und hätte ich auch genutzt, wenn ich nicht noch etwas besseres gefunden hätte (danke @gefruckelt für den Tipp): Statpress SEOlution, was eine Erweiterung des normalen Statpress Statistiktools ist. Sicher die reinen Besucher sind nie 100% genau mit Analytics, aber auch das Tool von Google hat aus verschiedenen Gründen keine 100% Genauigkeit, wenn man es beispielsweise einmal mit seinen eigenen Logfiles abgleicht.
Google Bot Tracking im Einsatz
Nachfolgenden sieht man beispielsweise einmal die Google-Bot-Besuche der letzten 30 Tage. (gleiches könnte ich mir auch für Bing oder Yahoo anzeigen lassen oder auch nach anderen Crawler suchen)
Wie man sieht, kann man sich auch noch interessanter Weise ein paar Durchschnitte anzeigen lassen. Bei mir gibt es also derzeit fast Stillstand bzw. einen ganz ganz leichten Anstieg in den Botbesuchen, sprich nichts auffälliges. (Der starke Abfall zum Schluss/rechts ist einfach der heutige Tag, an dem eben noch nicht so viel gecrawlt wurde)
Neben den reinen Zahlen erfährt man zudem, welche die Top25 gecrawlten Dokumente sind, was auch ein wenig darüber verräte, was Google für wichtig empfindet auf der entsprechenden Domain.
Wer also den Bots auf dem eigenen Blog ein wenig über die Schulter gucken möchte und keine großen Geschütze wie eine komplette/umfassende Logfileanalyse aufziehen möchte/kann, sollte sich auf jeden Fall mal mit den beiden letzt genannten Plugins auseinandersetzen. Crawl Rate Tracker besinnt sich dabei auf seine Kernfunktion, während Statpress SEOlution mit ein paar mehr Featuren aufwartet. Einen weiterer lesenswerte Artikel mit einem anderen Plugin zu dem Thema findet man bei Netzpanorama.
Was sind Eure Erfahrungen mit der Frequenz von Bot-Besuchen und praktischen Plugins/Tools dafür?
Nettes Tool, werde es die Tage mal testen =) Hast du eine Vergleich zwischen Bot und „echten“ Besuchern?
Warum lässt du dir die Bot-Besuche anzeigen? Ich hab die ganzen Bots bei mir in GA rausgefiltert, weil mich nicht wirklich interessiert was die machen. Ob ich gecrawlt werde oder nicht oder Fehler hab, seh ich ja im Google Webmaster-Tool.
Hallo Max – vielen Dank für den Beitrag. Du solltest allerdings erwähnen dass Statpress SEOlution nicht mehr weiterentwickelt wird und derzeit lt. meinen Test´s zumindest in einer MU-Umgebung nicht (mehr) läuft…
Habe mich ehrlich gesagt bislang noch nicht genauer damit auseinandergesetzt. Aber ich werde auf jeden Fall die zwei von Dir empfholenen Plugins mal ausprobieren – bin gespannt.
High,
Dein Artikel kommt gerade wie gerufen., da mein derzeitiger Provider nur ein rudimentäres Statistiktool anbietet, mit dem ich nicht wirklich was anfangen kann.
da ich demnächst auch auf WordPress umsteigen werden, bin ich echt froh, dass schon Jemand vor mir einige Tools getestet und installiert hat.
Aus Erfahrung weiß ich wie heikel das manchmal mit Plug-Ins und Updates bei WordPress ausgehen kann.
Danke für den Tipp.
Schöne Idee, ich glaube nur nicht das es Auswirkungen auf die Platzierung hat.