Hi,
habe jetzt keinen wirklich passenden Bereich gefunden, sollt ich ihn jedoch übersehen haben, wäre es toll wenn es in den richtigen verschoben werden könnte.
Es geht um eine robots.txt Datei, die ich gerade erstellt habe:
Code
User-agent: *
Sitemap: [URL]http://www.nicolas-pecher.com/sitemap.xml[/URL]
Also, es sollen alle Spider durchgelassen werden, Sitemap habe ich angeführt, nur wie sieht das mit Allow aus? Ich will, dass die Spider jede Seite besuchen, muss ich da jetzt für jede Seite zb: Allow: http://www.blabla.htm anführen, oder reicht es, wenn ich Allow erst gar nicht erwähne, dass dann der Spider automatisch alle Seiten anschaut?
Mit freundlichen Grüßen,
Nico