robots.txt - habt ihr oder habt ihr nicht?

  • Tag!

    Wie der Titel schon verrät... habt ihr eine robots.txt datei oder nicht? ich bin mir immer noch unsicher, ob sie sinnvoll ist.

    da tät mich mal eure meinung zu interessieren :D

  • Möchtest du kontrollieren, was Suchmaschinen mit deiner Website anfangen, dann ist das sehr wohl berechtigt und nützlich.
    Bei kleinen Seiten, zum Beispiel einem Berechnungstool mit einer Seite, da lohnt sich sowas überhaupt nicht, das ist klar.

    Hat man aber Daten auf der Website, wie zum Beispiel ein File Listing oder ein Portfolio, da ist meiner Meinung nach eine robots.txt notwendig, um zu kontrollieren, was die meisten und grössten Suchmaschinenbots alles mitnehmen und auch indexieren dürfen.

    Guck mal hier: http://www.white-tiger.ch (mein Portfolio) und meine robots.txt => http://www.white-tiger.ch/robots.txt
    Das hat den Zweck, dass die Suchmaschine nichts personenrelevantes mitnimmt, da ich das nicht mag.

    Fazit
    Schlussendlich liegt es an dir, ob sie sinnvoll ist oder nicht.
    Ist es dir egal, was Bots machen oder speichern, dann lass es, sonst mach eine.

    Meiner Meinung nach eine gute Beschreibung (Quelle Googles Webmaster Tools)

    Einmal editiert, zuletzt von Thonixx (11. Februar 2011 um 14:07)

  • Aber immer daran denken: die robots.txt ist für die Suchmaschinen nicht bindend! Sie können lesen/speichern/indexieren was sie wollen, auch wenn in der robots.txt was anderes steht!


    • Offizieller Beitrag

    Ich würde dir persönlich zu eine robots.txt Datei raten, auch wenn du keine Suchmaschinen davon aussperren oder bremsen möchtest.
    Der Grund ist, das bei einer fehlende robots.txt Datei Google und andere Suchmaschinen einen Fehler auswirft und je mehr Fehler deine HP bei den Suchmaschinen verursacht, desto schlechter (kann) wir deine HP gewertet.
    Das gleiche gilt natürlich auch für das Fehlen des Favicon usw.
    Würde dir auf alle Fälle zu einem Webmasterkonto von Google raten. Dort werde viele Fehler aufgezeigt.

  • Kann mich dem admin nur anschließen. Es ist für die großen Suchmaschinen hierzulande eher von Nachteil keine robots.txt vorweisen zu können. Zudem erleichtert es einem auch die spätere Arbeit, wenn man (aus was für Gründen auch immer) mal eine Seite oder eine ganze Rubrik ausschließen möchte - da muss man nicht die einzelnen HTML-Dateien anpassen sondern kann einfach die robots.txt bearbeiten.

  • hallo, die Robotx txt. ist auf jeden fall sinnvoll und sollte jeder haben. Damit kannst du den Zugriff des GoogleBots steuern, d.h. zugriff gewähren oder bei Bedarf auch ausschließen.

    ein Muss