Все о создании сайтов, блогов, форумов, интернет-магазинов, их продвижении в поисковых системах и заработке на сайте

Это вторая статья из серии, посвященной созданию и оптимизации файла robots.txt (с содержанием первой статьи вы можете ознакомиться здесь: Улучшаем индексацию сайта поисковиками — Robots.txt для Joomla, SMF, WordPress — Часть 1) . Файл robots.txt в купе с мета-тегом Robots позволяют указать поисковым системам какие страницы сайта индексировать, а какие нет.

К тому же, у проектов, созданных на основе какого-либо движка (Joomla, WordPress, SMF и др), имеется множество вспомогательных файлов не несущих никакой информативной нагрузки. Если не запретить индексацию всего этого мусора в robots.txt, то время, отведенное поисковыми системами на индексацию вашего сайта, будет тратиться на перебор поисковыми ботами файлов движка на предмет поиска в них информационной составляющей. В этом случае, времени на полноценную индексацию сайта может не остаться.

Как запретить индексацию поисковыми системами дубликатов на сайте через robots.txt

Кроме того, следует стремиться к уникальности контента на своем проекте и не следует допускать дублирования контента (информационного содержимого) вашего сайта в индексе поисковых систем. Дублирование может возникнуть в том случае, если один и тот же материал будет доступен по разным адресам. Поисковые системы, проводя индексацию сайта, обнаружат дубли и, возможно, примут меры к некоторой пессимизации вашего ресурса.

Если ваш проект создан на основе какого-либо движка (Joomla, SMF, WordPress), то дублирование контента будет иметь место возможно с высокой вероятностью, а значит нужно с ним бороться, в том числе и с помощью запрещающих индексацию директив файла robots.txt.

Например, в WordPress, страницы с очень похожим содержимым, могут попасть в индекс поисковика если разрешена индексация содержимого рубрик, содержимого архива тегов и содержимого временных архивов. Но если с помощью мета-тега Robots запретить индексацию архива тегов и временного архива (можно теги оставить, а запретить индексацию содержимого рубрик), то дублирования контента не возникнет. Для этой цели в WordPress лучше всего будет воспользоваться возможностями плагина All in One SEO Pack.

Еще сложнее с дублированием контента обстоит дело в форумном движке SMF. Если не производить тонкую настройку индексации сайта поисковиками в robots.txt, то в индекс поисковых систем попадут многократные дубли одних и тех же постов. В Joomla иногда возникает проблема с дублированием контента обычных страниц и их копий, предназначенных для печати.

Robots.txt предназначен для задания глобальных правил запрета индексации в целых директориях, либо в файлах и директориях, в названии которых присутствуют заданные символы (по маске). Примеры задания таких правил вы можете посмотреть в первой статье этой серии: Назначение и синтаксис файла robots.txt.

Для запрета индексации поисковыми системами одной единственной страницы, удобно использовать мета-тег Robots, который прописывается в шапке (между тегами HEAD) нужной страницы. Подробно о синтаксисе мета-тега Robots можно почитать здесь: Назначение и синтаксис мета-тега Robots. Для запрета индексации внутри страницы можно использовать тег NOINDEX, но он, правда, поддерживается только поисковой системой Яндекс.

Включение директивы Host в файл robots.txt для Яндекса

Теперь давайте рассмотрим конкретные примеры robots.txt, предназначенного для разных движков - Joomla, WordPress и SMF. Естественно, что все три файла robots.txt, созданные для разных движков, будут существенно (если не сказать кардинально) отличаться друг от друга. Правда, будет во всех этих robots.txt один общий момент и момент этот связан с поисковой системой Яндекс.

Т.к. в рунете поисковик Яндекс имеет достаточно большой вес, то нужно учитывать все нюансы его работы, то для корректной индексации сайта Яндексом нужно добавить директиву Host в файл robots.txt. Эта директива, в явной форме, укажет Яндексу главное зеркало вашего сайта. Более подробно почитать об этом вы можете здесь: Директива Host, позволяющая задать главное зеркало сайта для Яндекса.

Для указания директивы Host советуют использовать отдельную директиву User-agent в файле robots.txt, предназначенную только для Яндекса (User-agent: Yandex). Это связано с тем, что остальные поисковые системы могут не понимать директиву Host и, соответственно, ее включение в директиву User-agent, предназначенную для всех поисковиков (User-agent: *), может привести к негативным последствиям.

Как обстоит дело на самом деле - сказать трудно, ибо алгоритмы работы поисковиков - это вещь в себе, поэтому лучше сделать в robots.txt все так, как советуют. Но в этом случае в файле robots.txt вам придется дублировать в директиве User-agent: Yandex все те правила, что вы задали в директиве User-agent: *. Если вы оставите директиву User-agent: Yandex с пустой директивой Disallow:, то таким образом вы в robots.txt разрешите Яндексу индексировать все содержимое сайта.

Прежде чем перейти к рассмотрению конкретных вариантов файла robots.txt, хочу вам напомнить, что проверить работу своего файла robots.txt вы можете в панелях вебмастеров поисковых систем. О том, как это сделать, вы можете почитать в материалах этой рубрики - Панели для вебмастеров в поисковых системах.

Правильный robots.txt для форума на движке SMF (Simple Machines Forum)

Для форума на движке SMF правильным будет файл robots.txt следующего содержания (взят с форума технической поддержки SMF из этой темы ) :

User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*arcade
Allow: /forum/*rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action

User-agent: Slurp
Crawl-delay: 100

Обратите внимание, что этот robots.txt приведен для того случая, когда ваш форум SMF установлен в директории forum основного сайта. Если форум не стоит в директории, то просто удалите из всех правил /forum. Авторы данного варианта файла robots.txt для форума на движке SMF говорят, что он даст максимальный эффект, если вы не будете активировать на своем форуме дружественные URL (ЧПУ).

Дружественные URL в SMF можно активировать или дезактивировать в админке форума, пройдя по следующему пути: в левой колонке админки выбираете пункт "Характеристики и настройки", в нижней части открывшегося окна находите пункт "Разрешить дружественные URL ", где можете поставить или снять галочку.

Еще один правильный файл robots.txt для форума SMF (но, наверное, еще не окончательно оттестированный):

User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*arcade # если не стоит мод игр, удалить без пропуска строки
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /forum/*go.php # либо тот редирект что стоит у вас
Host: www.мой сайт.ru # указать ваше главное зеркало

User-agent: Slurp
Crawl-delay: 100

Как вы можете видеть в этом robots.txt, директива Host, предназначенная только для Яндекса, включена в директиву User-agent для всех поисковиков. Я бы, наверное, все-таки добавил отдельную директиву User-agent в robots.txt только для Яндекса, с повтором всех правил. Но решайте сами.

Правило:

User-agent: Slurp
Crawl-delay: 100

связано с тем, что поисковая система Yahoo (Slurp - это имя его поискового бота) сканирует ваш сайт в много потоков, что может негативно сказаться на его производительности. В этом правиле robots.txt, директива Crawl-delay, позволяет задать поисковому роботу Yahoo минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. Это позволит снять нагрузку на сервер при индексации сайта поисковой системой Yahoo.

Для удаления из индекса поисковиков версий для печати страниц форума SMF рекомендуют проделать, описанные ниже операции (для их осуществления понадобится открыть некоторые файлы движка на редактирование - Как открыть файл вашего сайта на редактирование с помощью программы FileZilla). В файле Sources/Printpage.php находите (например, с помощью встроенного поиска в Notepad++) строку:

fatal_lang_error(472, false);

Вставляете сразу под ней:

$context['robot_no_index'] = true;

В файле Themes/название_вашей_темы_оформления/Printpage.template.php находите строку:

<meta http-equiv="Content-Type" content="text/html; charset=', $context['character_set'], '" />

Вставляете ниже нее следующую строку:

<meta name="robots" content="noindex" />

Если вы так же хотите, чтобы в версии для печати была ссылка для перехода на полную версию форума (в случае, если часть страниц для печати уже попали в индекс поисковиков), то в том же файле Printpage.template.php вы находите строку с открывающим тегом HEAD:

<head>

И вставляете ниже строку:

<a href="http://www.мой сайт.ru/">На форум</a>

Получить больше информации по этому варианту файла robots.txt для форума SMF вы можете, почитав эту ветку русскоязычного форума поддержки SMF.

Правильный robots.txt для сайта на Joomla

Рекомендованный файл robots.txt для Joomla выглядит так:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

В принципе, здесь практически все учтено и работает этот файл robots.txt для Joomla хорошо, запрещая индексацию поисковыми системами того, что индексировать не следует. Единственное, в этот правильный robots.txt следует добавить отдельное правило User-agent: Yandex для вставки директивы Host, определяющей главное зеркало сайта для Яндекса, а так же указать в robots.txt путь к файлу Sitemap. Поэтому в окончательном виде правильный robots.txt для Joomla, по-моему мнению, должен выглядеть так:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: vash_sait.ru

Sitemap: http://vash_sait.ru/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1

Да, еще обратите внимание, что во втором варианте файла robots.txt для Joomla нет директивы Disallow: /images/, запрещающей индексацию картинок вашего сайта. Я забыл сначала акцентировать ваше внимание на этом, но мне об этом напомнил уважаемый Alex, написавший следующее:

В Joomla не правильно закрывать от индексации поисковыми системами папку Images. Закрыв ее от индексации в robots.txt, вы не будете участвовать в поиске по картинкам Яндекса и Google. А если у вас еще и изображения уникальные, так вы будете терять еще один весомый аргумент, для показа поисковикам, что ваш проект интересный

Полностью с ним согласен в том, что если изображения, используемые на вашем проекте уникальные, и вы хотите, чтобы посетители находили ваш сайт еще и с поиска по картинкам от Яндекса и Google, то обязательно удалите это правило из своего файла robots.txt, но так же не забывайте прописывать всем вашим изображениям атрибуты Alt и Title (Для участия ваших изображений в поиске по картинкам Яндекса и Google прописываем теги ALT и TITLE). Именно по ключевым словам, прописанным в этих атрибутах и будут приходить целевые посетители на ваш проект с поиска по картинкам Яндекса и Google.

При создании интернет магазина для Joomla на основе компонента VirtueMart я столкнулся с тем, что в индекс поисковой системы стали попадать версии для печати страниц этого самого магазина. Кнопка, ведущая на страницу для печати, была необходима (заказчик так хотел), поэтому оставался только вариант с запрещением индексации страниц для печати в robots.txt.

Но все оказалось совсем не сложно. Дело в том, что для создания версии для печати в Joomla используется такой же адрес страницы, за исключением одного: обращение идет не к файлу index.php, а к файлу index2.php. При этом не осуществляется загрузка шаблона Joomla, т.е. выводится только содержимое страницы на весь экран. Поэтому, для запрещения индексации версий страниц для печати в VirtueMart, я добавил в файл robots.txt для Joomla следующее правило:

Disallow: /index2.php?page=shop

Вы тоже можете добавлять свои правила в robots.txt, но после этого обязательно проверьте robots.txt - достигли ли вы желаемого результата. Для это используйте соответствующие инструменты панелей вебмастеров поисковиков.

Правильный robots.txt для блога на WordPress

Не буду приводить пример файла robots.txt для WordPress, который рекомендуют разработчики. Вы и сами можете его посмотреть. Многие блогеры вообще не ограничивают роботов поисковых систем в индексации их блогов на WordPress. Чаще всего в WordPress блогах можно встретить файл robots.txt автоматически заполненный плагином Google XML Sitemaps (Установка и настройка плагина для WordPress Google XML Sitemaps для создания карты сайта в формате XML — для поисковых систем), в котором присутствует лишь ссылка на адрес карты сайта для WordPress-блога, созданной этим плагином.

Но, по-моему, все-таки следует запретить индексацию в robots.txt тех файлов вашего блога на WordPress, которые не имеют отношения к информационный составляющей. Во-первых, на это уйдет много времени у поискового бота и может совсем не остаться времени для индексации статей на вашем блоге под управлением WordPress. Во-вторых, индексация всего того мусора, что вы поленитесь запретить в robots.txt для индексации в WordPress, будет создавать довольно приличную нагрузку на сервер, а у WordPress и без этого есть с этим проблемы (Оптимизируем блог на WordPress для снижения его нагрузки на сервер хостинг-провайдера).

Поэтому, здесь я приведу в правильный robots.txt для блога на WordPress, а вам уже решать, использовать его в таком виде, использовать свой вариант robots.txt для WordPress или же не использовать robots.txt вовсе:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: ktonanovenkogo.ru

Sitemap: http://ktonanovenkogo.ru/sitemap.xml.gz
Sitemap: http://ktonanovenkogo.ru/sitemap.xml

Пока что индексация блога при таком варианте файла robots.txt для WordPress меня полностью устраивает. Но запрет на индексацию определенных страниц блога задаются не в этом файл, а с помощью мете-тега Robots. Он у меня используется для запрета индексации страниц с архивом тегов и временным архивом.

Для того, чтобы прописать этот тег я не прибегал к правке кода файлов движка WordPress. В этом не было необходимости, т.к. все это можно осуществить простой установкой или снятием галочек в соответствующих пунктах чудесного плагина для WordPress - All in One SEO Pack (Установка и настройка плагина All in One SEO Pack.). Более подробно об этом можете прочитать на здесь: Убираем дублированный контент из индекса поисковиков.

Вы так же можете ознакомиться с другими статьями на тему продвижения сайта:

• Продвижение сайта в поисковых системах (SEO)
  • Панели вебмастеров Яндекса, Google, Yahoo, Bing
  • Счетчики посещаемости LiveInternet, Mail.ru, Google Analytics, HotLog, SpyLog, Rambler, Я.Метрика
  • Twitter и FriendFeed
  • E-mail рассылки Subscribe, Content.Mail и MailList
  • Постинг в сервисы социальных закладок для продвижения своего сайта, привлечения дополнительных посетителей и ускорения индексации сайта поисковиками
  • Показатели продвижения вашего сайта — Google PageRank (PR), тематический индекс цитирования Яндекса (ТИЦ) и Alexa Rank
• Все про RSS (фид, feed)
  • Feedburner и все, что с ним связано
• Улучшаем индексацию сайта поисковиками с помощью настройки файла robots.txt и мета-тега Robots
• GoGetLinks — самая выгодная биржа рекламных обзоров
• Получение множества бесплатных обратных ссылок (бэклинков) с трастовых сайтов

На сегодня все. Если вы не хотите пропустить появление новых материалов на этом сайте, то можете подписаться на рассылку новостной ленты через форму, расположенную чуть ниже, или же выбрать удобный для вас способ подписки на странице Подписка. Если у вас остались нерешенные вопросы из области вебмастеринга, то вы можете поискать на них ответы, посетив страницу Вопросы и ответы.

Удачи вам! До скорых встреч на страницах блога KtoNaNovenkogo.ru

Создание robots.txt Robots.txt для Joomla, WordPress, SMF