Ergebnis 1 bis 2 von 2

Thema: robots.txt

  1. #1
    Azubi(ne)
    Registriert seit
    18.04.2010
    Beiträge
    83
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings

    Standard robots.txt

    Hi,

    habe jetzt keinen wirklich passenden Bereich gefunden, sollt ich ihn jedoch übersehen haben, wäre es toll wenn es in den richtigen verschoben werden könnte.

    Es geht um eine robots.txt Datei, die ich gerade erstellt habe:

    Code:
     
    User-agent: *
    Sitemap: http://www.nicolas-pecher.com/sitemap.xml
    Also, es sollen alle Spider durchgelassen werden, Sitemap habe ich angeführt, nur wie sieht das mit Allow aus? Ich will, dass die Spider jede Seite besuchen, muss ich da jetzt für jede Seite zb: Allow: http://www.blabla.htm anführen, oder reicht es, wenn ich Allow erst gar nicht erwähne, dass dann der Spider automatisch alle Seiten anschaut?

    Mit freundlichen Grüßen,
    Nico
    Achtung: Dies ist ein alter Thread im HTML und Webmaster Forum
    Diese Diskussion ist älter als 90 Tage. Die darin enthaltenen Informationen sind möglicherweise nicht mehr aktuell. Erstelle bitte zu deiner Frage ein neues Thema im Forum !!!!!
    http://www.nicolas-pecher.com <- Meine Website
    Mein neues Projekt: http://www.mc-web.net

  2. #2
    Administrator Avatar von admin
    Registriert seit
    16.01.2003
    Ort
    Karlsruhe
    Beiträge
    12.779
    Danke
    1
    Bekam 4 mal "Danke" in 2 Postings
    Blog-Einträge
    42

    Standard AW: robots.txt

    Code:
    User-agent: *
    Damit erlaubst Du allen Spider das indizieren deiner Seite.

    Nur wenn du Teile oder Bereiche von deiner HP ausschließen möchtest wäre noch ein Zusatz notwendig
    zb so
    Code:
    Disallow: /search.php
    Oder wenn du bestimmte Spider ganz ausschließen wolltest
    zb so
    Code:
    User-agent: Spinn3r
    Disallow: /
    oder einzelne Spider etwas Bremsen möchtest, die zu aggressiv deine Site Spidern
    zb so
    Code:
    User-agent: Slurp
    Crawl-delay: 30
    Die Forenregeln und Nutzungsbedingungen sind auch zum lesen da !!!


Ähnliche Themen

  1. <Files robots.txt> htaccess
    Von Unregistriert im Forum PHP Forum - Apache - CGI - Perl - JavaScript und Co.
    Antworten: 1
    Letzter Beitrag: 15.08.2008, 20:26
  2. robots.txt
    Von im Forum HTML & CSS Forum
    Antworten: 1
    Letzter Beitrag: 10.04.2008, 20:54
  3. HILFE robots.txt
    Von Delikanli im Forum HTML & CSS Forum
    Antworten: 1
    Letzter Beitrag: 05.10.2005, 20:05

Stichworte

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •