# Robots.txt # ---------- # basierren auf dem "Robots Exclusion Standard" # User-Agent # Die erste Zeile eines Datensatzes, "User-Agent", spezifiziert einen bestimmten Robot, für den die folgenden # Anweisungen gelten sollen. Will man zum Beispiel Googlebot, den Robot von Google, verbieten, eine bestimmte # Datei zu indizieren # Soll ein Eintrag für alle Robots gelten, so kann man mit dem Wildcard-Zeichen "*" arbeiten # Die zweite Zeile gibt an, von welchen Dateien oder Verzeichnissen man den in der ersten Zeile # spezifizierten Robot ausschliessen will # Auch hier kann man wieder mit Wildcards arbeiten: Disallow: * User-agent: * Disallow: counter.asp