Файл robots.txt

Привет, друзья, с вами снова я – Денис, автор и ведущий блога Старая Ворона. Вы не поверите, но сегодня мы с вами будет разговаривать о файле robots.txt. Я расскажу для чего он нужен и как правильно его составлять. Сегодня свершится чудо — я не буду вас мучать историями из своей жизни, а сразу начну рассказ о файле robots.txt 🙂 .

Сам по себе файл robots.txt, это некая инструкция, предназначенная исключительно для поисковых роботов. Создается файл в обычном блокноте (я, как и многие, пользуюсь Notepad++). Ценность данного документа в  том, что он указывает поисковому роботу, куда следует ходить на сайте и  что индексировать, а какие файлы трогать не стоит. Для чего это нужно? Все просто. Представьте, что у вас есть страница на сайте с конфиденциальной информацией, к примеру, финансовые документы о закупке бананов у Кенийских наркоторговцев. Ясень пень, вам бы не хотелось, что бы такая информация была доступна через поиск.

Во вторых, файл robots.txt дает вам возможность указать главное зеркало сайта. А это очень важно. Те, кто читал статью Что такое SEO и его основы, помнят об этом. В третьих, в robots.txt’е, можно указать путь до карты вашего сайта. О том, насколько необходима такая карта, и как ее правильно составлять, можно почитать вот тут. Ну, и, конечно же, в файле robots.txt можно указать правила поведения для каждого поисковика.

Учимся составлять файл robots.txt

Составить файл robots.txt можно с помощью online генераторов, коих в сети великое множество. Может быть, я о них когда-нибудь и напишу, но не сегодня. Сегодня я расскажу о том, как составить robots.txt самому.

Для этого, открываем обычный текстовой документ (у меня это Notepad++). В нем, первым делом, прописываем строчку Useragent: — здесь мы укажем, для каких поисковиков создан наш файл. Если поставить *, то инструкция будет относиться ко всем поисковикам. Я бы советовал вам все же ставить звездочку. Но, пример, все равно приведу:

Useragent: *
Useragent: Mail.ru
Useragent: Googlebot

Следом прописываем строчку Host: . В этой строчке мы прописываем главное зеркало нашего сайта. К примеру, у меня это http://starayavorona.ru. Т.е., вся строчка будет иметь вид:

Host: http://examle.ru

Затем следует прописать директории, которые не будут индексироваться поисковиками (не попадут в поиск). Для этого прописываем строчку Disallow: . Здесь можно прописать как отдельные файлы, так и целые папки. Какие именно директории и файлы вы будете закрывать, решать только вам. Но, учтите, что путь до папки нужно указывать полностью, начиная с корня вашего сайта. К примеру:

Disallow: page.html
Disallow: /folder
Disallow: /folder/foldersecond
Disallow: /folder/folderthird/page.html

Теперь следует прописать путь до карты сайта. В файле robots.txt за это отвечает строчка Sitemap:. Путь до карты указывается полностью, начиная с URLадреса ресурса. Но, учтите, что если на вашем сайте нет карты сайта, то эту строчку прописывать не надо.

Пример:

Sitemap: http://examle.ru/sitepam.xml

Вот, это основные параметры, которые вы обязаны указать в своем файле robots.txt. Теперь давайте попробуем составить полноценный файл robots.txt для своего ресурса:

User agent: *
Host: http://examle.ru
Disallow: page.html
Disallow: /folder
Disallow: /folder/foldersecond
Disallow: /folder/folderthird/page.html
Sitemap: http://examle.ru/sitepam.xml

После того файл составлен его следует сохранить. Для этого сохраняем документ как robots.txt. И после этого, загружаем получившийся файл в корень нашего сайта. Проверяем его правильность в Гугл и Яндекс вебмастере, и со спокойной душой и чистой совестью идем пить чай с плюшками 🙂 .

Надеюсь, описал я все достаточно понятно, но, если у кого остались какие либо вопросы, не стесняйтесь, задавайте их в комментариях.

Так же советую почитать:

Что такое тИЦ и как его получить
На днях, а именно 22 апреля, произошло знаковое для многих событие – Яндекс наконец-то обновил свои ...
Как сделать картинку на сайте уникальной?
Как сделать картинку на сайте уникальной? Никак. Да, вот так, сразу, с ходу, с самого начала статьи ...
Черная оптимизация или  как загубить свой сайт
Давеча, блуждая по просторам интернета, зашел на один сеошный форум, где в одной из веток шло бурное...
Как сделать удобную навигацию по сайту
Всем доброго времени суток. Сегодня будет замечательный пост об оформлении удобной навигации по сайт...

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *