Hallo ihr,
kleine Frage, zu den MetaTags:
<meta name="robots" content="all" />
<meta name="robots" content="index, follow" />
sagen ja nur aus, das "alles" gecrawlt werden darf und das die Seiten in den Index aufgenommen werden sollen.
Sofern meine Seite gespidert wird, sind die angaben doch eh in Verbindung mit einer robot.txt überflüssig, oder sehe ich das falsch?