03.05.2017

Robots.txt

Стандарт исключения для роботов поисковых систем. Файл robots.txt закрывает для робота поисковой системы файлы, страницы или каталоги сайта, которые не должны индексироваться. Также файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.


Возврат к списку