Ziel ist bestimmte Seiten oder Bereiche einer Website davor zu schützen dass sie von Suchmaschinen gelesen und indiziert werden.
- Dazu können einzelne oder alle Suchmaschinen ausgeschlossen werden.
- Verzeichnisse gezielte blockiert oder freigeschaltet werden