Robots.txt
Robots.txt - текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.
Robots.txt – это файл, который помещается в корневую директорию сайта, основная его задача – управление поведением поисковых машин на сайте. В нем указываются все страницы и разделы сайта, которые вы не хотите проиндексировать в поисковых системах. Это могут быть, к примеру, страницы учетных данных пользователей или страницы с какой-либо технической информацией.