# robots.txt Datei für gerbernews.de # User-agent = die Suchmaschinen (* bedeutet alle) # Allow = keine Beschränkung # Disallow = ( - ganze Seite zur Indexierung freigegeben) (/ - ganze Seite gesperrt) (/pfadodername - alle Urls die mit pfad anfangen werden nicht indexiert z.B. pfadodername.html oder pfadodername/neanderedatei.html) (/pfad/ - nur die Dateien die im Verzeichnis pfad stehen) (bei genauer Dateibenennung /pfad/dateien/diezubenenndedatei.html) User-agent: * Disallow: /