Aufgrund in letzter Zeit vermehrt auftretender "aggressiver Robots" möchten wir Sie über dieses Thema und die möglichen Auswirkungen für Sie informieren.

Hintergrundinfo:

Weltweit versuchen derzeit verschiedene Firmen, teils mit Einsatz erheblichen Fremd-Kapitals, Stücke des Milliarden-Werbemarktes von Google "abzuschneiden". Dazu werden verschiedene mehr oder weniger intelligent programmierte Suchmaschinen entwickelt, die zum Teil speziell auf Online-Shops ausgerichtet sind.

Die Informationen über die Seiteninhalte holen sich die Suchmaschinen über sog. "Robots", manchmal auch "Crawler" oder "Spider" genannt.

Diese Robots sind also die Suchagenten der Suchmaschinen, die Webseiten aufrufen und einlesen und der Suchmaschine den Seiteninhalt zur Auswertung übergeben.

Leider sind unter diesen Robots auch solche, die stark fehlerhaft oder wenig intelligent entwickelt sind, so dass sie zum Teil sinnloserweise mehrere hunderttausend Zugriffe im Monat (im Einzelfall sogar Millionen Zugriffe) auf einzelne Shops durchführen.

Die bisher bekannt gewordenen Extremfälle waren überwiegend russischer, chinesischer und amerikanischer Herkunft.

Was passiert durch diese hohen Zugriffszahlen?

Aufgrund der Leistungsfähigkeit des Shopsystems und der Server wird auch durch diese insgesamt viel-millionenfachen Zugriffe keine Beeinträchtigung der Performance hervorgerufen, denn insgesamt über das Serversysstem gesehen ist das nur eine Mehrlast von etwa 0,1%, die also im "Grundrauschen" des Gesamt-Leistungsbedarfs völlig untergeht.

Auch bei hoher Besucherfrequenz in einem Shop fallen diese Zugriffe nicht weiter auf, sie können aber fallweise auch den größeren Teil aller Zugriffe eines Monats in einem Shop ausmachen.

Durch den mehr oder weniger starken Leistungsbedarf den diese nicht-menschlichen Besucher beim Aufruf der Shopseiten benötigen, können somit zusätzliche Gebühren für die benötigte Mehrleistung anfallen.

Diese Suchmaschinen haben teilweise einen "Experimental"-Status oder keinerlei Bedeutung für die Neukundengewinnung bzw. Umsätze. Somit stehen Kosten und Nutzen nicht wie bei "normalen" Suchmaschinen in einem vernünftigen Verhältnis, sondern es ist in der Regel kaum Nutzen zu erwarten.

Was können Sie tun?

Wenn Sie regelmäßig in Ihre Statistik (Zugriffe) im Online Servicebereich gehen, sehen Sie die Übersichts-Grafik "Leistungseinheiten". Wenn dort ein unerwarteter, nicht durch Ihre Werbemaßnahmen erklärbarer, sprunghafter Anstieg zu sehen ist, könnte so ein Robot die Ursache sein.

Um detailliertere Informationen zu erhalten: Bei den WEBSALE-Statistiken finden Sie eine Tabelle "Robots/Spiders (Suchmaschinen) (Top 15)".

Vergleichen Sie regelmäßig die Zahlen der dort aufgeführten Robots mit den üblichen Werten der Vormonate. Sehen Sie z.B. in der Tabelle besonders hohe Zugriffszahlen, z.B. oberhalb von 100.000? Wenn ja, dann liegt der Verdacht nahe, dass ein besonders aggressiver Robot immer wieder ihren Shop besucht.

Üblicherweise melden sich diese Robots bei einem Besuch mit einer eindeutigen Kennung, die, sofern allgemein bekannt, auch in der  o.g. Tabelle aufgeführt werden. Bekannte Namen sind z.B. "googlebot" (Google), "slurp" (Yahoo)", "msnbot" (MSN). Viele Robots sind jedoch unbekannt und können nur anhand von allgemeinen Regeln (z.B. "bot" in der Kennung) erkannt werden und somit nur allgemein einer größeren Gruppe von Robots zugeordnet werden.

Sofern Sie eine plötzliche aussergewöhnliche Häufung von Zugriffen von einem "Crawler", "Spider" oder "Robot" feststellen und Sie keinen Nutzen daraus erwarten, kann untersucht werden, ob die verursachende Suchmaschine durch einen Eintrag in einer Steuerdatei (robots.txt), durch Sperrung nur für Ihren Shop oder durch globales Sperren über die Firewall der Shopserver ausgesperrt werden kann.

Bei Fragen steht Ihnen unser Shop-Support gerne zur Verfügung.