Ergebnis 1 bis 7 von 7

Thema: robots.txt - habt ihr oder habt ihr nicht?

  1. #1
    HTML Newbie Avatar von JND19099
    Registriert seit
    31.01.2011
    Ort
    Hannover
    Beiträge
    2
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings

    Standard robots.txt - habt ihr oder habt ihr nicht?

    Tag!

    Wie der Titel schon verrät... habt ihr eine robots.txt datei oder nicht? ich bin mir immer noch unsicher, ob sie sinnvoll ist.

    da tät mich mal eure meinung zu interessieren
    Achtung: Dies ist ein alter Thread im HTML und Webmaster Forum
    Diese Diskussion ist älter als 90 Tage. Die darin enthaltenen Informationen sind möglicherweise nicht mehr aktuell. Erstelle bitte zu deiner Frage ein neues Thema im Forum !!!!!

  2. #2
    Thonixx
    Gast

    Standard AW: robots.txt - habt ihr oder habt ihr nicht?

    Möchtest du kontrollieren, was Suchmaschinen mit deiner Website anfangen, dann ist das sehr wohl berechtigt und nützlich.
    Bei kleinen Seiten, zum Beispiel einem Berechnungstool mit einer Seite, da lohnt sich sowas überhaupt nicht, das ist klar.

    Hat man aber Daten auf der Website, wie zum Beispiel ein File Listing oder ein Portfolio, da ist meiner Meinung nach eine robots.txt notwendig, um zu kontrollieren, was die meisten und grössten Suchmaschinenbots alles mitnehmen und auch indexieren dürfen.

    Guck mal hier: www.white-tiger.ch (mein Portfolio) und meine robots.txt => http://www.white-tiger.ch/robots.txt
    Das hat den Zweck, dass die Suchmaschine nichts personenrelevantes mitnimmt, da ich das nicht mag.

    Fazit
    Schlussendlich liegt es an dir, ob sie sinnvoll ist oder nicht.
    Ist es dir egal, was Bots machen oder speichern, dann lass es, sonst mach eine.

    Meiner Meinung nach eine gute Beschreibung (Quelle Googles Webmaster Tools)
    Code:
     The simplest robots.txt file uses two rules:
     
    
    • User-agent: the robot the following rule applies to
    • Disallow: the URL you want to block
    These two lines are considered a single entry in the file. You can include as many entries as you want. You can include multiple Disallow lines and multiple user-agents in one entry. Each section in the robots.txt file is separate and does not build upon previous sections. For example: User-agent: * Disallow: /folder1/ User-Agent: Googlebot Disallow: /folder2/ In this example only the URLs matching /folder2/ would be disallowed for Googlebot. User-agents and bots A user-agent is a specific search engine robot. The Web Robots Database lists many common bots. You can set an entry to apply to a specific bot (by listing the name) or you can set it to apply to all bots (by listing an asterisk). An entry that applies to all bots looks like this: User-agent: * Google uses several different bots (user-agents). The bot we use for our web search is Googlebot. Our other bots like Googlebot-Mobile and Googlebot-Image follow rules you set up for Googlebot, but you can set up specific rules for these specific bots as well. Blocking user-agents The Disallow line lists the pages you want to block. You can list a specific URL or a pattern. The entry should begin with a forward slash (/).
    • To block the entire site, use a forward slash. Disallow: /
    • To block a directory and everything in it, follow the directory name with a forward slash. Disallow: /junk-directory/
    • To block a page, list the page. Disallow: /private_file.html
    • To remove a specific image from Google Images, add the following: User-agent: Googlebot-Image Disallow: /images/dogs.jpg
    • To remove all images on your site from Google Images: User-agent: Googlebot-Image Disallow: /
    • To block files of a specific file type (for example, .gif), use the following: User-agent: Googlebot Disallow: /*.gif$
    • To prevent pages on your site from being crawled, while still displaying AdSense ads on those pages, disallow all bots other than Mediapartners-Google. This keeps the pages from appearing in search results, but allows the Mediapartners-Google robot to analyze the pages to determine the ads to show. The Mediapartners-Google robot doesn't share pages with the other Google user-agents. For example: User-agent: * Disallow: / User-agent: Mediapartners-Google Allow: /
    Note that directives are case-sensitive. For instance, Disallow: /junk_file.asp would block http://www.example.com/junk_file.asp, but would allow http://www.example.com/Junk_file.asp. Googlebot will ignore white-space (in particular empty lines)and unknown directives in the robots.txt. Googlebot supports submission of Sitemap files through the robots.txt file. Pattern matching Googlebot (but not all search engines) respects some pattern matching.
    • To match a sequence of characters, use an asterisk (*). For instance, to block access to all subdirectories that begin with private: User-agent: Googlebot Disallow: /private*/
    • To block access to all URLs that include a question mark (?) (more specifically, any URL that begins with your domain name, followed by any string, followed by a question mark, followed by any string): User-agent: Googlebot Disallow: /*?
    • To specify matching the end of a URL, use $. For instance, to block any URLs that end with .xls: User-agent: Googlebot Disallow: /*.xls$ You can use this pattern matching in combination with the Allow directive. For instance, if a ? indicates a session ID, you may want to exclude all URLs that contain them to ensure Googlebot doesn't crawl duplicate pages. But URLs that end with a ? may be the version of the page that you do want included. For this situation, you can set your robots.txt file as follows: User-agent: * Allow: /*?$ Disallow: /*? The Disallow: / *? directive will block any URL that includes a ? (more specifically, it will block any URL that begins with your domain name, followed by any string, followed by a question mark, followed by any string). The Allow: /*?$ directive will allow any URL that ends in a ? (more specifically, it will allow any URL that begins with your domain name, followed by a string, followed by a ?, with no characters after the ?).
    Geändert von Thonixx (11.02.2011 um 15:07 Uhr)

  3. #3
    der/die Göttliche Avatar von jojo87
    Registriert seit
    23.03.2007
    Ort
    Leipzig
    Alter
    30
    Beiträge
    3.131
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings

    Standard AW: robots.txt - habt ihr oder habt ihr nicht?

    Aber immer daran denken: die robots.txt ist für die Suchmaschinen nicht bindend! Sie können lesen/speichern/indexieren was sie wollen, auch wenn in der robots.txt was anderes steht!

  4. #4
    Meister(in) Avatar von Cujo
    Registriert seit
    11.07.2008
    Beiträge
    438
    Danke
    1
    Bekam 1 mal "Danke" in 1 Posting

    Standard AW: robots.txt - habt ihr oder habt ihr nicht?

    Ich habe vor einiger Zeit einen Artikel über die robots.txt geschrieben:

    Mit einer robots.txt Google steuern

    Dort kannst du nachlesen, was du mit einer robots.txt alles steuern kannst und was der Unterschied zum Metatag "robots" ist.

  5. #5
    Administrator Avatar von admin
    Registriert seit
    16.01.2003
    Ort
    Karlsruhe
    Beiträge
    12.779
    Danke
    1
    Bekam 4 mal "Danke" in 2 Postings
    Blog-Einträge
    42

    Standard AW: robots.txt - habt ihr oder habt ihr nicht?

    Ich würde dir persönlich zu eine robots.txt Datei raten, auch wenn du keine Suchmaschinen davon aussperren oder bremsen möchtest.
    Der Grund ist, das bei einer fehlende robots.txt Datei Google und andere Suchmaschinen einen Fehler auswirft und je mehr Fehler deine HP bei den Suchmaschinen verursacht, desto schlechter (kann) wir deine HP gewertet.
    Das gleiche gilt natürlich auch für das Fehlen des Favicon usw.
    Würde dir auf alle Fälle zu einem Webmasterkonto von Google raten. Dort werde viele Fehler aufgezeigt.
    Die Forenregeln und Nutzungsbedingungen sind auch zum lesen da !!!


  6. #6
    König(in)
    Registriert seit
    07.02.2009
    Ort
    Leipzig
    Beiträge
    1.391
    Danke
    2
    Bekam 21 mal "Danke" in 20 Postings

    Standard AW: robots.txt - habt ihr oder habt ihr nicht?

    Kann mich dem admin nur anschließen. Es ist für die großen Suchmaschinen hierzulande eher von Nachteil keine robots.txt vorweisen zu können. Zudem erleichtert es einem auch die spätere Arbeit, wenn man (aus was für Gründen auch immer) mal eine Seite oder eine ganze Rubrik ausschließen möchte - da muss man nicht die einzelnen HTML-Dateien anpassen sondern kann einfach die robots.txt bearbeiten.

  7. #7
    HTML Newbie
    Registriert seit
    28.02.2011
    Beiträge
    5
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings

    Standard AW: robots.txt - habt ihr oder habt ihr nicht?

    hallo, die Robotx txt. ist auf jeden fall sinnvoll und sollte jeder haben. Damit kannst du den Zugriff des GoogleBots steuern, d.h. zugriff gewähren oder bei Bedarf auch ausschließen.

    ein Muss

Ähnliche Themen

  1. Finde den Fehler nicht...habt ihr ne Ahnung!
    Von notimeguys im Forum HTML & CSS Forum
    Antworten: 4
    Letzter Beitrag: 02.11.2007, 10:36
  2. habt ihr eine hp??
    Von Tilight im Forum Forum-Hilfe.de intern
    Antworten: 14
    Letzter Beitrag: 08.10.2006, 02:23
  3. wo habt ihr eure HP??
    Von terminatorxxx im Forum Eure Homepages und Foren - Vorstellung und Bewertungen
    Antworten: 11
    Letzter Beitrag: 05.02.2005, 16:47

Stichworte

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •