Was schreibt ein datensammler in die robots.txt

Was schreibt so ein datensammler eigentlich in die robots.txt seiner webseit? Beim fratzenbuch steht zum beispiel dieser niedliche kommentar über den ganzen zeilen:

# Notice: Crawling Facebook is prohibited unless you have express written
# permission.

Wäre ja auch schlimm, wenn beim datensammler fratzenbuch jemand daten sammeln würde. Deshalb wird verboten, auf öffentlich zugängliche daten zuzugreifen.

Ich wünsche euch allen weiterhin viel spaß dabei, dort eurer ganzes leben abzuladen und exklusiv für eine unternehmung ohne seriöses geschäftsmodell auswertbar zu machen!