Генератор файла robots.txt

Это текстовый файл, который размещается в корне вашего сайта. Robots.txt содержит в себе подробные инструкции в отношении индексации страниц для поисковых роботов. От того насколько правильно будет настроен данный документ, будет зависеть корректность и скорость индексации сайта.

Сервис позволит вам быстро сгенерировать файл robots.txt. В результате вы получите текст, который необходимо скопировать и сохранить в корневом каталоге сайта. Здесь предоставляется список поисковых систем, напротив которых вы можете выбрать те из них, где хотите чтобы сайт прошел индексацию. Есть выбор “Закрыть от индексации” какую либо из систем. Кроме того, введите в специальную строку адрес карты сайта.