Файл robots.txt и мета-тег robots — настройка индексации сайта Яндексом и Гуглом, правильный роботс и его проверка

Если не запретить индексацию всего этого мусора, то время, отведенное поисковиками на индексацию вашего сайта, будет тратиться на перебор файлов движка (на предмет поиска в них информационной составляющей, т.е. контента). Но фишка в том, что в большинстве CMS контент хранится не в файликах, а в базе данных, к которой поисковым ботам никак не добраться. Полазив по мусорным объектам движка, бот исчерпает отпущенное ему время и уйдет не солоно хлебавши.

Кроме того, следует стремиться к уникальности контента на своем проекте и не следует допускать полного или даже частичного дублирования контента (информационного содержимого). Дублирование может возникнуть в том случае, если один и тот же материал будет доступен по разным адресам (URL).

Яндекс и Гугл, проводя индексацию, обнаружат дубли и, возможно, примут меры к некоторой пессимизации вашего ресурса при их большом количестве (машинные ресурсы стоят дорого, а посему затраты нужно минимизировать). Да, есть еще такая штука, как мета-тэг Canonical.

Замечательный инструмент для борьбы с дублями контента — поисковик просто не будет индексировать страницу, если в Canonical прописан другой урл. Например, для такой страницы https://ktonanovenkogo.ru/page/2 моего блога (страницы с пагинацией) Canonical указывает на https://ktonanovenkogo.ru и никаких проблем с дублированием тайтлов возникнуть не должно.

<link rel="canonical" href="https://ktonanovenkogo.ru/" />

Но это я отвлекся...

Если ваш проект создан на основе какого-либо движка, то дублирование контента будет иметь место с высокой вероятностью, а значит нужно с ним бороться, в том числе и с помощью запрета в robots.txt, а особенно в мета-теге, ибо в первом случае Google запрет может и проигнорировать, а вот на метатег наплевать он уже не сможет (так воспитан).

Например, в WordPress страницы с очень похожим содержимым могут попасть в индекс поисковиков, если разрешена индексация и содержимого рубрик, и содержимого архива тегов, и содержимого временных архивов. Но если с помощью описанного выше мета-тега Robots создать запрет для архива тегов и временного архива (можно теги оставить, а запретить индексацию содержимого рубрик), то дублирования контента не возникнет. Как это сделать описано по ссылке приведенной чуть выше (на плагин ОлИнСеоПак)

Подводя итог скажу, что файл Роботс предназначен для задания глобальных правил запрета доступа в целые директории сайта, либо в файлы и папки, в названии которых присутствуют заданные символы (по маске). Примеры задания таких запретов вы можете посмотреть чуть выше.

Теперь давайте рассмотрим конкретные примеры роботса, предназначенного для разных движков — Joomla, WordPress и SMF. Естественно, что все три варианта, созданные для разных CMS, будут существенно (если не сказать кардинально) отличаться друг от друга. Правда, у всех у них будет один общий момент, и момент этот связан с поисковой системой Яндекс.

Т.к. в рунете Яндекс имеет достаточно большой вес, то нужно учитывать все нюансы его работы, и тут нам поможет директива Host. Она в явной форме укажет этому поисковику главное зеркало вашего сайта.

Для нее советуют использовать отдельный блог User-agent, предназначенный только для Яндекса (User-agent: Yandex). Это связано с тем, что остальные поисковые системы могут не понимать Host и, соответственно, ее включение в запись User-agent, предназначенную для всех поисковиков (User-agent: *), может привести к негативным последствиям и неправильной индексации.

Как обстоит дело на самом деле — сказать трудно, ибо алгоритмы работы поиска — это вещь в себе, поэтому лучше сделать так, как советуют. Но в этом случае придется продублировать в директиве User-agent: Yandex все те правила, что мы задали User-agent: *. Если вы оставите User-agent: Yandex с пустым Disallow:, то таким образом вы разрешите Яндексу заходить куда угодно и тащить все подряд в индекс.

Robots для WordPress

Не буду приводить пример файла, который рекомендуют разработчики. Вы и сами можете его посмотреть. Многие блогеры вообще не ограничивают ботов Яндекса и Гугла в их прогулках по содержимому движка WordPress. Чаще всего в блогах можно встретить роботс, автоматически заполненный плагином Google XML Sitemaps.

Но, по-моему, все-таки следует помочь поиску в нелегком деле отсеивания зерен от плевел. Во-первых, на индексацию этого мусора уйдет много времени у ботов Яндекса и Гугла, и может совсем не остаться времени для добавления в индекс вебстраниц с вашими новыми статьями. Во-вторых, боты, лазящие по мусорным файлам движка, будут создавать дополнительную нагрузку на сервер вашего хоста, что не есть хорошо.

Мой вариант этого файла вы можете сами посмотреть. Он старый, давно не менялся, но я стараюсь следовать принципу «не чини то, что не ломалось», а вам уже решать: использовать его, сделать свой или еще у кого-то подсмотреть. У меня там еще запрет индексации страниц с пагинацией был прописан до недавнего времени (Disallow: */page/), но недавно я его убрал, понадеясь на Canonical, о котором писал выше.

А вообще, единственно правильного файла для WordPress, наверное, не существует. Можно, кончено же, реализовать в нем любые предпосылки, но кто сказал, что они будут правильными. Вариантов идеальных robots.txt в сети много.

Приведу две крайности:

1. Тут можно найти мегафайлище с подробными пояснениями (символом # отделяются комментарии, которые в реальном файле лучше будет удалить):

   User-agent: * # общие правила для роботов, кроме Яндекса и Google,
    # т.к. для них правила ниже
   Disallow: /cgi-bin # папка на хостинге
   Disallow: /? # все параметры запроса на главной
   Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
   Disallow: /wp/ # если есть подкаталог /wp/, где установлена CMS (если нет,
    # правило можно удалить)
   Disallow: *?s= # поиск
   Disallow: *&s= # поиск
   Disallow: /search/ # поиск
   Disallow: /author/ # архив автора
   Disallow: /users/ # архив авторов
   Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой
    # ссылки на статью
   Disallow: */feed # все фиды
   Disallow: */rss # rss фид
   Disallow: */embed # все встраивания
   Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не используете,
    # правило можно удалить)
   Disallow: /xmlrpc.php # файл WordPress API
   Disallow: *utm= # ссылки с utm-метками
   Disallow: *openstat= # ссылки с метками openstat
   Allow: */uploads # открываем папку с файлами uploads
   
   User-agent: GoogleBot # правила для Google (комментарии не дублирую)
   Disallow: /cgi-bin
   Disallow: /?
   Disallow: /wp-
   Disallow: /wp/
   Disallow: *?s=
   Disallow: *&s=
   Disallow: /search/
   Disallow: /author/
   Disallow: /users/
   Disallow: */trackback
   Disallow: */feed
   Disallow: */rss
   Disallow: */embed
   Disallow: */wlwmanifest.xml
   Disallow: /xmlrpc.php
   Disallow: *utm=
   Disallow: *openstat=
   Allow: */uploads
   Allow: /*/*.js # открываем js-скрипты внутри /wp- (/*/ - для приоритета)
   Allow: /*/*.css # открываем css-файлы внутри /wp- (/*/ - для приоритета)
   Allow: /wp-*.png # картинки в плагинах, cache папке и т.д.
   Allow: /wp-*.jpg # картинки в плагинах, cache папке и т.д.
   Allow: /wp-*.jpeg # картинки в плагинах, cache папке и т.д.
   Allow: /wp-*.gif # картинки в плагинах, cache папке и т.д.
   Allow: /wp-admin/admin-ajax.php # используется плагинами, чтобы не блокировать JS и CSS
   
   User-agent: Yandex # правила для Яндекса (комментарии не дублирую)
   Disallow: /cgi-bin
   Disallow: /?
   Disallow: /wp-
   Disallow: /wp/
   Disallow: *?s=
   Disallow: *&s=
   Disallow: /search/
   Disallow: /author/
   Disallow: /users/
   Disallow: */trackback
   Disallow: */feed
   Disallow: */rss
   Disallow: */embed
   Disallow: */wlwmanifest.xml
   Disallow: /xmlrpc.php
   Allow: */uploads
   Allow: /*/*.js
   Allow: /*/*.css
   Allow: /wp-*.png
   Allow: /wp-*.jpg
   Allow: /wp-*.jpeg
   Allow: /wp-*.gif
   Allow: /wp-admin/admin-ajax.php
   Clean-Param: utm_source&utm_medium&utm_campaign # Яндекс рекомендует не закрывать
    # от индексирования, а удалять параметры меток,
    # Google такие правила не поддерживает
   Clean-Param: openstat # аналогично
   
   # Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
   # не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
   Sitemap: http://site.ru/sitemap.xml
   Sitemap: http://site.ru/sitemap.xml.gz
   
   # Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
   # то пишем протокол, если нужно указать порт, указываем). Команду Host понимает
   # Яндекс и Mail.RU, Google не учитывает.
   Host: www.site.ru
   

2. А вот тут можно взять на вооружение пример минимализма:

   User-agent: *
   
   Disallow: /wp-admin/
   Allow: /wp-admin/admin-ajax.php
   Host: https://site.ru
   Sitemap: https://site.ru/sitemap.xml

Истина, наверное, лежит где-то посредине. Еще не забудьте прописать мета-тег Robots для «лишних» страниц, например, с помощью чудесного плагина — All in One SEO Pack. Он же поможет и Canonical настроить.

Правильный robots.txt для Joomla

Рекомендованный файл для Джумлы 3 выглядит так (живет он в файле robots.txt.dist корневой папки движка):

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

В принципе, здесь практически все учтено и работает он хорошо. Единственное, в него следует добавить отдельное правило User-agent: Yandex для вставки директивы Host, определяющей главное зеркало для Яндекса, а так же указать путь к файлу Sitemap.

Поэтому в окончательном виде правильный robots для Joomla, по-моему мнению, должен выглядеть так:

User-agent: Yandex
 Disallow: /administrator/
 Disallow: /cache/
 Disallow: /includes/
 Disallow: /installation/
 Disallow: /language/
 Disallow: /libraries/
 Disallow: /modules/
 Disallow: /plugins/
 Disallow: /tmp/
 Disallow: /layouts/
 Disallow: /cli/
 Disallow: /bin/
 Disallow: /logs/
 Disallow: /components/
 Disallow: /component/
 Disallow: /component/tags*
 Disallow: /*mailto/
 Disallow: /*.pdf
 Disallow: /*%
 Disallow: /index.php
 Host: vash_sait.ru (или www.vash_sait.ru)

 User-agent: *
 Allow: /*.css?*$
 Allow: /*.js?*$
 Allow: /*.jpg?*$
 Allow: /*.png?*$
 Disallow: /administrator/
 Disallow: /cache/
 Disallow: /includes/
 Disallow: /installation/
 Disallow: /language/
 Disallow: /libraries/
 Disallow: /modules/
 Disallow: /plugins/
 Disallow: /tmp/
 Disallow: /layouts/
 Disallow: /cli/
 Disallow: /bin/
 Disallow: /logs/
 Disallow: /components/
 Disallow: /component/
 Disallow: /*mailto/
 Disallow: /*.pdf
 Disallow: /*%
 Disallow: /index.php
 Sitemap: http://путь к вашей карте XML формата 

Да, еще обратите внимание, что во втором варианте есть директивы Allow, разрешающие индексацию стилей, скриптов и картинок. Написано это специально для Гугла, ибо его Googlebot иногда ругается, что в роботсе запрещена индексация этих файлов, например, из папки с используемой темой оформления. Даже грозится за это понижать в ранжировании.

Поэтому заранее все это дело разрешаем индексировать с помощью Allow. То же самое, кстати, и в примере файла для Вордпресс было.