Запрещаем поисковым системам индексировать ненужные страницы вашего блога

Поисковые системы в сети Интернет сейчас хорошо развиты и их "пауки" индексируют ежедневно сотни миллионов страниц сайтов. Но часто случается так, что пауки находят на сайтах страницы, которые не предназначены для того, чтоб быть проиндексированными - они либо не содержат полезного контента, либо же просто на просто содержат служебную информацию которую генерирует CMS. Вот от подобного рода проблем можно легко защититься если правильно создать файл robots.txt и поместить его в корневой каталог диска.

robotstxt

В сети сейчас представлено большое количество различных CMS для управления сайтом, для каждой CMS требуется свой robot.txt, так как каждая система управления контентом уникальна и имеет собственную структуру.

Как же создать правильный robot.txt ?

Тут все достаточно просто, а вариантов всего 2:1
1. Вы либо ищите в сети кем-то уже составленный robot.txt для своей CMS. Ярким примером будет статья рассказывающая про правильный robots.txt для wordpress.
2. Вариант еще более прост. Зачастую разработчики многих CMS уже позаботились о составлении правильного robots.txt и включили его в дистрибутив по умолчанию. Вмешиваться в него и вносить изменения требуется только если вам это необходимо, а так лучше всего просто на просто оставить такой robots.txt в покое, так как разработчики CMS лучше знают как его составить для своего детища.

Вот такие вот дела в этом плане. Ничего сложного. Главное если начали создавать новый сайт, то лучше сразу позаботиться о наличии в нем правильного robots.txt.

Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: