plik robots

Jak korzystać z pliku robots.txt?