Wget 1.5.3. Руководство пользователя

---

Следующий пример файла "/robots.txt" определяет, что ни один робот не должен посещать любой URL начинающийся с "/cyberworld/map/" или с "/tmp/":

# robots.txt для http://www.site.com/

User-agent: *
Disallow: /cyberworld/map/ # Это бесконечное виртуальное URL пространство
Disallow: /tmp/ # это скоро исчезнет

Данный пример файла "/robots.txt" определяет, что ни один робот не должен посещать любые URL начинающиеся с "/cyberworld/map/", за исключением робота именующегося "cybermapper":

# robots.txt для http://www.site.com/

User-agent: *
Disallow: /cyberworld/map/ # Это бесконечное виртуальное URL пространство

# Cybermapper знает где можно ходить.
User-agent: cybermapper
Disallow:

Этот пример индицирует, что ни один робот не должен посещать данный сайт вообще:

# уходите
User-agent: *
Disallow: /