Seite 1 von 2 12 LetzteLetzte
Ergebnis 1 bis 10 von 12

Thema: Bot aussperren

  1. #1
    Interessierte/r Avatar von Friedel
    Registriert seit
    18.09.2008
    Ort
    Weingarten/Pfalz
    Beiträge
    102
    Danke
    1
    Bekam 1 mal "Danke" in 1 Posting

    Standard Bot aussperren

    Hallo.

    Ich ahbe seit einiger zeit das Problem, dass ein bestimmter Bot für recihlichbTrafik auf meiner Site sorgt. Er gibt sich als Gaisbot/3.0+(robot06@gais.cs.ccu.edu.tw;+http://gais.cs.ccu.edu.tw/robot.php) aus. Nachdem er in etwa 14 Tagen für mehr als 80000 Hits und fast 4 GB Trafik gesorgt hatte, habe ich ihn per .htaccess ausgesperrt. Dazu habe ich folgendes verswendet:
    Code:
    Order allow,deny
    Allow from all
    Deny from .seed.net.tw

    Das hat einige Tage gewirkt. Aber seit ein paar Tagen ist er wieder aktiv. Inzwischen sind es mehr als 100000 Hits und fast 5GB Trafik in diesem Monat durch diesen Bot. Er benutzt die Server
    • h65-203-73-108.seed.net.tw
    • h161-210-66-69.seed.net.tw
    • h97-203-70-234.seed.net.tw
    • h36-203-70-235.seed.net.tw
    • h44-203-70-235.seed.net.tw
    • h43-203-70-235.seed.net.tw
    • h37-203-70-235.seed.net.tw
    • h39-203-70-235.seed.net.tw
    • h41-203-70-235.seed.net.tw
    • h45-203-70-235.seed.net.tw
    • h34-203-70-235.seed.net.tw
    • h38-203-70-235.seed.net.tw
    • h42-203-70-235.seed.net.tw
    • h35-203-70-235.seed.net.tw
    • h33-203-70-235.seed.net.tw
    • h40-203-70-235.seed.net.tw
    und vielleicht ein paar andere.

    Wie kann man den Störenfried loswerden?
    Achtung: Dies ist ein alter Thread im HTML und Webmaster Forum
    Diese Diskussion ist älter als 90 Tage. Die darin enthaltenen Informationen sind möglicherweise nicht mehr aktuell. Erstelle bitte zu deiner Frage ein neues Thema im Forum !!!!!
    Geändert von Friedel (26.09.2008 um 12:46 Uhr)

  2. #2
    der/die Göttliche Avatar von jojo87
    Registriert seit
    23.03.2007
    Ort
    Leipzig
    Alter
    30
    Beiträge
    3.131
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings

    Standard

    Diese Zeilen in der .htaccess sollten helfen:
    Code:
    RewriteEngine On
    RewriteCond %{HTTP_USER_AGENT} Gaisbot/3.0+
    RewriteRule ^.*$ - [F]
    Das "Gaisbot/3.0+" ist der Useragent des Bots, wenn der im Beispiel nicht stimmt, einfach mit dem richtigen Useragent ersetzen.

    Gruß,
    jojo

  3. #3
    Interessierte/r
    Themenstarter
    Avatar von Friedel
    Registriert seit
    18.09.2008
    Ort
    Weingarten/Pfalz
    Beiträge
    102
    Danke
    1
    Bekam 1 mal "Danke" in 1 Posting

    Standard

    Danke. Aber das geht leider nicht. Ich muss mal nachsehen, warum das so ist, aber die Zeile
    Code:
    RewriteEngine On
    führt zu einem Fehler 500. Mir ist aber schon nicht klar, warum meine jetzige .htaccess nicht (mehr) zum gewünschten Erfolg führt.

  4. #4
    der/die Göttliche Avatar von jojo87
    Registriert seit
    23.03.2007
    Ort
    Leipzig
    Alter
    30
    Beiträge
    3.131
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings

    Standard

    Es könnte sein, dass auf deinem Host das Rewrite-Modul nicht installiertist.
    Obwohl das schon sehr ungewöhnlich ist......
    Frag dazu am besten mal deinen Hoster.

    Gruß,
    Jojo

  5. #5
    Administrator Avatar von admin
    Registriert seit
    16.01.2003
    Ort
    Karlsruhe
    Beiträge
    12.779
    Danke
    1
    Bekam 4 mal "Danke" in 2 Postings
    Blog-Einträge
    42

    Standard

    Zur Not schließe einfach ganz TW aus.
    Aus Taiwan bekommst du bestimmt keine Besucher, die deine HP besuchen wollen.
    Code:
    Deny from .tw
    Die Forenregeln und Nutzungsbedingungen sind auch zum lesen da !!!


  6. #6
    Interessierte/r
    Themenstarter
    Avatar von Friedel
    Registriert seit
    18.09.2008
    Ort
    Weingarten/Pfalz
    Beiträge
    102
    Danke
    1
    Bekam 1 mal "Danke" in 1 Posting

    Standard

    Danke für die Antworten.

    Es könnte sein, dass auf deinem Host das Rewrite-Modul nicht installiertist.
    Obwohl das schon sehr ungewöhnlich ist......
    Frag dazu am besten mal deinen Hoster.
    Das Rewrite-Modul ist (und war) installiert und konfiguriert. Meinen Hoster konnte ich nicht fragen, denn dafür bin ich selbst zuständig. Das ist mein vServer. Ich bin nicht auf die Idee gekommen, dass das Modul installiert, aber nicht eingebunden sein könnte. So war es aber. Jetzt habe ich es eingebunden und die .htaccess angepasst. Hoffentlich bringt es was.

    Aber imho hätte die alte .htaccess den Bot doch auch aussperren müssen. Kann mir jemand sagen, warum das nicht geklappt hat?

    Beim Anblick des neuen Eintrags werde ich unsicher, ob meine robots.txt richtig ist. Da habe ich
    Code:
    # robots.txt zu http://www.friedels-home.de/
    User-agent: *
    Disallow: /emailform/
    User-agent: Gaisbot
    Disallow: /
    drin stehen. Ist "Gaisbot" richtig? Oder muss ich "Gaisbot/3.0+" oder sonst was schreiben?

  7. #7
    der/die Göttliche Avatar von jojo87
    Registriert seit
    23.03.2007
    Ort
    Leipzig
    Alter
    30
    Beiträge
    3.131
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings

    Standard

    entweder "^Gaisbot*" oder "Gaisbot/3.0+"
    Das erstere würde sich auf alle Useragents beziehen, die "Gaisbot" am Anfang haben und mit irgendwelchen Zeichen weitergehen, das Zweite exakt auf "Gaisbot/3.0+".
    Reguläre Ausdrücke sind sehr exakt

    Grüße,
    jojo

  8. #8
    Forum Guru Avatar von The User
    Registriert seit
    28.10.2007
    Ort
    Zwischen Pazifik und Atlantik...
    Beiträge
    4.044
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings

    Standard

    Das ^Gaisbot* bedeutet doch am Anfang Gaisbo und dann 0-unendlich viele 't's.
    Also ^Gaisbot sollte reichen, sicherheitshalber vielleicht ^Gaisbot.*$

  9. #9
    Interessierte/r
    Themenstarter
    Avatar von Friedel
    Registriert seit
    18.09.2008
    Ort
    Weingarten/Pfalz
    Beiträge
    102
    Danke
    1
    Bekam 1 mal "Danke" in 1 Posting

    Standard

    Oha. Da hab ich mir das Leben schon seit ein paar Jahren unnötig schwer gemacht. Ich dachte, in der robots.txt könnte man keine regulären Ausdrücke verwenden. Nach diesen Antworten hab ich nochmal nachgesehen und festgestellt, dass das nur dür die Disallow-Strings gilt. Dann isses natürlich einfach. Danke.

  10. #10
    Shogun Avatar von DarkSyranus
    Registriert seit
    28.03.2006
    Ort
    ::1/128
    Alter
    25
    Beiträge
    3.446
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings
    Blog-Einträge
    1

    Standard

    Also, ich weis wirklich nicht ob sich der Bot an deine robots.txt halten will, die kann ihm auch scheiss egal sein.
    Wenn du ihn wirklich ausschließen willst, dann mach das über die .htaccess.
    Das Protokoll ist rein hinweisend und ist auf die Mitarbeit des Webcrawlers angewiesen.

Ähnliche Themen

  1. Seite mit htaccess aussperren
    Von tesa im Forum HTML & CSS Forum
    Antworten: 1
    Letzter Beitrag: 17.03.2008, 15:01

Stichworte

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •