User-agent: webcrawler
Disallow:/suchfibelpro/fussnote/

# Dem Webcrawler wird also der Zugriff auf den Ordner /suchfibelpro/fussnote verwehrt. Alle Robots kann man ansprechen, indem man den üblichen Platzhalter verwendet: 

User-agent: *
Disallow:/suchfibelpro/fussnote/
Disallow: /cgi-bin/
Disallow: /logs/
Disallow:/testpages/

Auch einzelne Dateien lassen sich ausschließen: 

User-agent: *
Disallow: /privat
# Disallow: /testpages/version5.html
# einen bestimmten Robot komplett von der Site fernhalten möchte, kann man das tun, indem der Name und dann kein Verzeichnis genannt wird. Wichtig ist der Slash /. 

User-agent: EmailCollector
Disallow: /

# Lässt man den Slash weg, so kann man die gesamte Site freigeben, in diesem Beispiel für den Robot Spider. 
User-agent: Spider
Disallow:

# Die Einträge lassen sich auch kombinieren. Bei umfassenden robots.txt-Dateien kann man auch Kommentare einfügen. Sie werden mit dem Doppelkreuz # eingeleitet. So finden Mitarbeiter oder Sie sich selber nach längerer Pause wieder zurecht. 

# alle robots

User-agent: *
Disallow: /cgi-bin/
Disallow: /logs/
Disallow: /testpages/

# email Sammler draussenbleiben

User-agent:EmailCollector
Disallow: /

# Robots die durchdrehen fliegen raus 

User-agent: GagaRobot
Disallow: /