Hallo zusammen,
ich hoffe, ich bin mit meiner Frage an dieser Stelle richtig.
Wir betreiben ein Forum, in dem in letzter Zeit immer häufiger AhrefsBot Suchmaschinen mitlesen.
Die IP.Nr. ist z.B. 5.10.83.87
Kann mir bitte jemand sagen, was dies für Suchmaschinen sind? Sind das Spambots?
Ich weiß bis heute nicht wirklich das sie sind, aber es sind Bots die die Seiten lesen um deren Inhalte für irgendetwas zu verwenden. Sie lesen jedoch so intensiv, dass ich sie auf einigen Servern per Firewall ausschließen musste da sie eine zu hohe Last verursachen. Sinn und Zweck ist mir nicht bekannt, sie zu sperren sollte nicht schädlich sondern eher hilfreich sein.
Ein Bot aus der Ukraine, der Inhalte durchsucht und nach Backlinks stöbert, so die eigene Aussage. In Wirklichkeit ist dieser Bot ziemlich aggressiv, hält sich nicht an die robot.txt und sollte per Htaccess-Datei anhand der IP oder der Kennung ausgesperrt werden.
Benutzte IPs:
212.113.35.162
212.113.37.105
212.113.37.106
213.186.119.134
213.186.120.196
213.186.122.2
213.186.122.3
213.186.127.3
173.199.115.115
5.10.83.70
Benutzter User Agent:
AhrefsBot/1.0;
AhrefsBot/2.0;
AhrefsBot/3.0;
AhrefsBot/4.0;
AhrefsBot/5.0;
SiteBot/0.1
Wie gesagt: der Bot verursacht teilweise so starke Zugriffe, dass eine Sperre in der .htaccess zu spät ansetzt. Die Firewall anzupassen ist effektiver und sorgt für mehr Entlastung des Servers.
Die Firewall anzupassen ist effektiver und sorgt für mehr Entlastung des Servers.
Wie macht man das denn, wenn man nur einen Webspace hat bei einem Webhoster?
Dann sollte der Webhoster selbst für entsprechende Ausschlussverfahren sorgen (meist automatische Scripte wie fail2ban) von denen man als User nichts mitbekommen. Wenn man dennoch auf Grund hoher Last durch solche Bots Probleme mit der Erreichbarkeit seines Webspaces hat, dann sollte man sich an den Webhoster wenden.
