Порой нужно некоторые ресурсы скрыть от глаз поисковых систем. Например корпоративная почта через Web вовсе не должна присутствовать в результатах поиска по ключевым словам компании.
Потому нужно в корень директории, где лежит ваш ресурс положить файл robots.txt c текстом
# Make changes for all web spiders
User-agent: *
Disallow: /
Комментариев нет:
Отправить комментарий