Делаем правильный robots.txt для WordPress
Есть у движка wordpress одна проблема в техническом плане. Заключается она в дублирование контента и мусорных страниц. Эта штука сулит очень большие проблемы с поисковыми системами, особенно если очень увлекаться тегами (метками).
В самом плохом варианте сайт может попасть под фильтр Яндекса АГС (бан, когда в индексе остается 10 или менее страниц), и в дополнительный индекс Гугла. Объяснять, что такое АГС и дополнительный индекс я сейчас не буду, эта тема отдельного разговора, а вот как решить проблему с дублями я расскажу.
Во первых проверьте, что сейчас проиндексировано Яндексом по вашему сайту: способ 1, способ 2. Тут задача убедиться, есть ли дубли контента и другие мусорные данные. На этом этапе мы осознаем проблему.
ВНИМАНИЕ!
Ниже я привожу такой роботс, который блокирует все возможные страницы с дублирующем контентом на wordpress.
Если ваш сайт уже старый и раскрученный, то это может повлиять не очень благоприятно — из индекса могут вылететь страницы на которые идет трафик с поисковиков и на которых содержится дублирующая информация!
В этом случае, я рекомендую использовать более универсальный роботс, он делает только самое необходимое (не подходит для сайтов с url по умолчанию, вида: http://ваш_сайт.ru/?p=123).
А сама проблема решается очень просто, нужно создать правильный файл robots.txt. Для этого нужно скопировать содержание, указанное ниже, в блокнот, отредактировать его (заменить ваш_сайт.ru на нужный url-адрес) и сохранить с названием robots.txt.
Затем этот сохраненный файл нужно закачать по фтп в корень сайта – там, где лежат папочки: wp-admin, wp-content, wp-includes и файлик wp-config.php. Вот содержание (что оно обозначает смотрите в видео выше):
Allow: /wp-content/uploads/
Disallow: /wp-
Disallow: /cgi-bin
Disallow: /author/
Disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /category/
Disallow: /page/
Disallow: /archive/
Disallow: /*?tag=
Disallow: /*?cat=
Disallow: /*?paged=
Disallow: /*?m=
Disallow: /*feed
Disallow: /*comments
Disallow: /*trackback
Disallow: /*comment-page
Disallow: /*cpage=
Disallow: /*?s=
Disallow: /*&s=
Crawl-delay: 3
User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-
Disallow: /cgi-bin
Disallow: /author/
Disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /category/
Disallow: /page/
Disallow: /archive/
Disallow: /*?tag=
Disallow: /*?cat=
Disallow: /*?paged=
Disallow: /*?m=
Disallow: /*feed
Disallow: /*comments
Disallow: /*trackback
Disallow: /*comment-page
Disallow: /*cpage=
Disallow: /*?s=
Disallow: /*&s=
Crawl-delay: 3
Host: ваш_сайт.ru
Sitemap: http://ваш_сайт.ru/sitemap.xml
Скачать его можно тут: robots.txt (правой кнопкой мыши -> сохранить объект как…)
Замените ваш сайт.ru – на URL адрес нужного сайта, например nokak2.ru!
Если у вас нету файла sitemap.xml — то советую его создать, но это не обязательно. Можно убрать последнюю строку и не париться с этим.
Затем зайти сюда: http://webmaster.yandex.ru/robots.xml, ввести адрес своего сайта (имя хоста) и проверить правильно ли все вы сделали. Просто убедиться в наличие этого файла у вас на сайте и его правильное понимание Яндексом — используемые секции 24-46 и 48-48 (т.е. Яндекс будет руководствоваться строками с 24 по 46 и 48).
Я старался сделать этот robots максимально универсальным и он подойдет как к проектам с ЧПУ, так и к базовым url-адресам, которые стоят по умолчанию. Но есть одна оговорка. Вот этот блок, нужно использовать ОЧЕНЬ ВНИМАТЕЛЬНО и аккуратно!:
Disallow: /category/
Disallow: /page/
Disallow: /archive/
Disallow: /*?tag=
Disallow: /*?cat=
Disallow: /*?paged=
Disallow: /*?m=
Дело в том, что в нем мы закрываем дубли (тэги, списки категорий и архивов, а также постраничную навигацию. Первые 4 строки для сайтов с ЧПУ остальные 4 для сайтов по умолчанию (/?p=123). Проблема может заключаться в том, что при использование не стандартных ЧПУ, вы можете выводи свои статьи через archive или category, например адрес статьи — site.ru/archives/123.
А это означает, что стати НЕ БУДУТ ИНДЕКСИРОВАТЬСЯ, так как в robots.txt прописан запрет на индексацию archive и category! Будьте внимательны!
Узнать подробнее, что обозначают все эти директивы в файле robots.txt можно в разделе помощь, на Яндексе.
P.S.: Для любознательных, мы блок:
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Заменяем на
Disallow: /wp-
Этим мы закрываем все от индексации начинающееся с wp-. Т.е. все что указано выше + многое другое.
А теперь о robots.txt от Яндекса:
Поделиться в соц. сетях
