Поисковые системы в сети Интернет сейчас хорошо развиты и их "пауки" индексируют ежедневно сотни миллионов страниц сайтов. Но часто случается так, что пауки находят на сайтах страницы, которые не предназначены для того, чтоб быть проиндексированными - они либо не содержат полезного контента, либо же просто на просто содержат служебную информацию которую генерирует CMS. Вот от подобного рода проблем можно легко защититься если правильно создать файл robots.txt и поместить его в корневой каталог диска.
В сети сейчас представлено большое количество различных CMS для управления сайтом, для каждой CMS требуется свой robot.txt, так как каждая система управления контентом уникальна и имеет собственную структуру.
Как же создать правильный robot.txt ?
Тут все достаточно просто, а вариантов всего 2:1
1. Вы либо ищите в сети кем-то уже составленный robot.txt для своей CMS. Ярким примером будет статья рассказывающая про
2. Вариант еще более прост. Зачастую разработчики многих CMS уже позаботились о составлении правильного robots.txt и включили его в дистрибутив по умолчанию. Вмешиваться в него и вносить изменения требуется только если вам это необходимо, а так лучше всего просто на просто оставить такой robots.txt в покое, так как разработчики CMS лучше знают как его составить для своего детища.
Вот такие вот дела в этом плане. Ничего сложного. Главное если начали создавать новый сайт, то лучше сразу позаботиться о наличии в нем правильного robots.txt.