Работа с файлом robots.txt на движке WordPress

Что такое файл robots.txt, и для чего он нужен? Это текстовый фай, содержащий инструкцию для роботов поисковых машин. С его помощью можно указывать правильное зеркало домена, запрещать индексацию страниц или указывать наличие sitemap.xml. Конечно, есть еще много других функций, но в данной статье я планирую остановиться на самых основных. И сделаю это на примере движка WordPress.

Если вы занимаетесь продвижением или созданием сайтов, написание файла robots.txt должно быть вашим первым шагом. Будьте внимательны при его составлении, так как ошибки влекут за собой проблемы с индексацией. При создании robots.txt используются следующие основные команды.

User-Agent

С помощью этой команды указывается имя робота, к которому применяются правила, описанные в файле robots.txt.

Allow и Disallow

Служат для разрешения или запрещения доступа к отдельным разделам сайта или всего ресурса. Между директивами не должно быть пустой строки. Первой всегда используется директива Allow, а уже потом – Disallow.

Host

Команда указывает главное зеркало сайта и используется только для Яндекса.

Sitemap

Применяется для указания наличия и пути карты сайта.

Спецсимвол *

Предназначен для обозначения любой последовательности символов.

Теперь давайте вместе пройдемся по основным этапам создания robots.txt. Начинаем с директивы User-Agent. Думаю, что самые актуальные боты для рунета вам известны, однако все же напомню еще раз: это, прежде всего, Yandex, YandexBlog, StackRambler, Googlebot, msnbot (бот Bing). Если приходится работать с обычным сайтом, я пишу единое правило для всех ботов. Если же это блог, сперва ставлю YandexBlog и разрешаю ему все. Дело в том, что этот бот ходит только в админку и по фидам. Итак, имеем:

User-agent: YandexBlog
Disallow:
User-Agent: *

При работе с несколькими юзерагентами не забывайте, что перед каждым должна быть пустая стройка. А символ * можно использоваться только после конкретных роботов.

Теперь перейдем к директивам Allow и Disallow.

Allow: /wp-content/uploads/

Так мы открываем доступ только к папке uploads, в которой размещаются изображения, загруженные через админку. Дальше будем закрывать от индексации папку верхнего уровня wp-content.

Директива Disallow имеет большое значение, так как ее используют для закрытия разделов, дублирующих контент. Отмечу, что обычно дублирование текста в пределах 1-го домена (без других грубых нарушений) не влечет за собой каких-либо санкций и фильтров. Следовательно, если вы делаете профессиональные сайты с уникальным контентом, вам бояться нечего.

При работе с директивой Disallow, в первую очередь, закрываем служебные директории: админку, страницы авторизации и регистрации, плагины.

Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content

Дальнейший выбор за вами, какие именно разделы сайта или блога вы будете закрывать.
Продемонстрирую, каким образом можно закрыть некоторые разделы. Например, так:

Disallow: /tag

В данном случае подумайте, стоит ли закрывать его от индексации, так как он помогает продвигать страницы тегов в поисковых машинах.

Disallow: /category
Disallow: /archive

Здесь будьте осторожны. Дело в том, что в блоге посты могут содержать урл http://ваш сайт/archive/123, и вы просто закроете их от индексации. Поэтому всегда обращайте внимание на то, каким образом у вас в блоге выводятся посты.

На следующем этапе закрываем от индексации фиды, трекбеки и страницы поиска по сайту.

Выглядит это так:

Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

А вот и 2 последение директивы:

Sitemap: http:// ваш сайт.ru/sitemap.xml

С путем к карте сайта в формате xml, думаю, вы разберетесь сами. А вот при указании главного зеркала советую использовать вариант без www. В таком виде доменное имя и запоминается, и смотрится лучше.

В конечном итоге у вас должен получиться такой вот robots.txt:

User-agent: YandexBlog
Disallow:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Host: ваш сайт.ru

Sitemap: http://ваш сайт.ru/sitemap.xml

————

Если вы решили открыть собственный косметический бизнес, а с выбором надежных поставщиков пока что еще не успели определиться, обратите внимание на интернет-магазин aryacosmetic.com.ua, где представлена парфюмерия оптом, а так же декоративная косметика по очень выгодным ценам. Доставка продукции по Киеву осуществляется бесплатно.