#Alle robots einladen
User-agent: *

User-agent: wget
Disallow: 

User-agent: WebCrawler
Disallow: 

User-agent: getright
Disallow: 

#bestimmte Verzeichnisse sperren
Disallow: /kundeninfo/
Disallow: /cgi-bin/
 
#Seiten Verbieten:
Disallow: /diesunddas.html
Disallow: /unddiesehier.html 
Disallow: /verbotenr.html