Все о создании сайтов, блогов, форумов, интернет-магазинов, их продвижении в поисковых системах и заработке на сайте

Для продвижение вашего сайта важно не только его уникальное наполнение, но и то, как индексируется ваш сайт. Надо очень четко понимать, что не все содержимое сайта (файлы и директории), созданного на каком-либо движке (Joomla, SMF или WordPress), должно быть доступно для индексирования. Если не прописать определенные правила поведения для ботов поисковых систем, то в индекс поисковиков попадет множество страниц, не имеющих отношения к содержимому сайта, а также может произойти многократное дублирование информации (по разным ссылкам будет доступен один и тот же материал сайта), что поисковики не любят.

Для чего нужен файл robots.txt, как его можно посмотреть для любого сайта, блога, форума

Для того, чтобы задать правила поведения для поисковых ботов используется файл robots.txt. С его помощью мы сможем влиять на процесс индексации сайта. Robot.txt представляет из себя обычный текстовый файл, который вы сможете создать, и в дальнейшем редактировать, в любом текстовом редакторе (например, Notepad++). Поисковый робот будет искать этот файл в корневом каталоге вашего сайта и если не найдет, то будет индексировать все до чего сможет дотянуться.

Поэтому после написания требуемого файла robots.txt (все буквы в названии должны быть в нижнем регистре - без заглавных) его нужно сохранить в корневую папку сайта, так чтобы он был доступен по такому адресу: http://vash_site.ru/robots.txt (например, мой файл robots.txt доступен по адресу http://ktonanovenkogo.ru/robots.txt).

Кстати, если вы хотите узнать как выглядит файл robots.txt того или иного сайта, то достаточно будет дописать к адресу главной страницы этого сайта /robots.txt. Это может быть полезно для определения наилучшего варианта для вашего файла robots.txt, но при этом надо учитывать, что для разных сайтовых движков оптимальный файл robots.txt будет выглядеть по разному. Поэтому если вы хотите определиться с лучшим вариантом файла robots.txt, допустим для форума на SMF, то и изучать файлы robots.txt нужно для форумов, построенных на этом движке.

Составные части (директивы) и правила написания файла robots.txt

Файл robots.txt имеет совсем не сложный синтаксис, который очень подробно описан, например, в яндексе. Обычно, в файле robots.txt указывается для какого поискового робота предназначены описанные ниже директивы (директива 'User-agent'), сами разрешающие ('Allow') и запрещающие директивы ('Disallow'), а также еще активно используется директива 'Sitemap' для указания поисковикам, где именно находится файл карты сайта.

Еще полезно указать в файле robots.txt какое из зеркал вашего сайта является главным в директиве 'Host'. Если даже у вашего сайта нет зеркал, то полезно будет указать в этой директиве, какой из вариантов написания вашего сайта является главным с www или без него. Т.к. это тоже является своего рода зеркалированием. Об этом я подробно рассказывал в этой статье: Домены с www и без www — история появления, использование 301 редиректа для их склеивания.

Теперь поговорим немного о правилах написания файла robots.txt. Директивы в файле robots.txt имеют следующий вид:

<поле>:<пробел><значение><пробел>
<поле>:<пробел><значение><пробел>

Правильный файл robots.txt должен содержать хотя бы одну директиву «Disallow» после каждой записи «User-agent». Пустой файл robots.txt предполагает разрешение на индексирование всего сайта.

Указание названия поискового робота в директиве User-agent

Директива «User-agent» должна содержать название поискового робота. При помощи этой директивы можно указать каждому конкретному поисковому роботу, какие страницы сайта индексировать, а какие нет. Пример написания директивы «User-agent», адресованной всем поисковым ботам зашедшим на ваш сайт, выглядит так:

User-agent: * 

Если вы хотите в директиве «User-agent» задать условия индексирования только для какого то одного поискового робота, например, Rambler, то нужно написать так:

User-agent: StackRambler

Робот каждой поисковой системы имеет своё название (например, для рамблера это StackRambler), как в приведенном выше примере. Здесь я приведу список наиболее часто встречаемых поисковых роботов, самых известных поисковиков:

Google       http://www.google.com     Googlebot
Yahoo!       http://www.yahoo.com      Slurp (или Yahoo! Slurp)
AOL          http://www.aol.com 	   Slurp
MSN 	     http://www.msn.com 	   MSNBot
Live 	     http://www.live.com 	   MSNBot
Ask 	     http://www.ask.com 	   Teoma
AltaVista    http://www.altavista.com  Scooter
Alexa        http://www.alexa.com 	   ia_archiver
Lycos        http://www.lycos.com 	   Lycos
Яндекс       http://www.ya.ru 	       Yandex
Рамблер      http://www.rambler.ru     StackRambler
Мэйл.ру      http://mail.ru 	       Mail.Ru
Aport        http://www.aport.ru 	   Aport
Вебальта     http://www.webalta.ru 	   WebAlta (WebAlta Crawler/2.0)

У крупных поисковых систем иногда кроме основных поисковых ботов имеются также отдельные боты для индексации блогов, новостей, изображений и т.д. Много информации по разновидностям поисковых роботов вы можете почерпнуть на этом ресурсе.

Примеры использования директив (User-agent, Disallow, Host, Sitemap) в файле robots.txt

Приведу несколько простых примеров файла robots.txt с объяснением его действий.

1. Приведенный ниже код для файла robots.txt разрешает всем поисковым ботам индексировать весь сайт. Это задается пустой директивой Disallow.

User-agent: *
Disallow:

2. Следующий код, напротив, запрещает всем поисковикам индексировать сайт. Устанавливает это директива Disallow с "/" в поле значения.

User-agent: *
Disallow: /

3. Такой файл robots.txt будет запрещать всем поисковикам индексировать содержимое каталога /image/ (http://mysite.ru/image/ - путь к этому каталогу)

User-agent: *
Disallow: /image/

4. В приведенном ниже примере, для индексирования будут запрещены директория «image», а так же все файлы и директории, начинающиеся с символами «image», т. е. файлы: «image.htm», «images.htm», директории: «image», «images1», «image34» и т. д.):

User-agent: *
Disallow: /image

5. При описании путей для директив Allow-Disallow можно использовать символы '*' и '$', задавая, таким образом, определенные логические выражения. Символ '*' означает любую (в том числе пустую) последовательность символов. Следующий пример запрещает всем поисковикам индексацию файлов с расширение ".aspx":

User-agent: *
Disallow: *.aspx

Во избежания возникновения неприятных проблем с зеркалами сайта (Домены с www и без www — история появления, использование 301 редиректа для их склеивания) , рекомендуется добавлять в файл robots.txt директиву Host, которая указывает роботу Яндекса на главное зеркало вашего сайта (Директива Host, позволяющая задать главное зеркало сайта для Яндекса). По правилам написания robots.txt в записи для User-agent должна быть хотя бы одна директива Disallow (обычно ставят пустую, ничего не запрещающую):

User-agent: Yandex
Disallow:
Host: www.site.ru 

либо

User-agent: Yandex
Disallow:
Host: site.ru 

в зависимости от того что для вас оптимальнее.

Директива Sitemap указывает на местоположение карты сайта в формате .xml. В качестве параметра указывается путь к файлу, включая http://. Например:

Sitemap: http://site.ru/sitemap.xml

Назначение и синтаксис мета-тега Robots

Существует альтернативный способ сообщить роботам поисковиков о том, можно ли индексировать данную конкретную страницу или нет. Для этого внутри тега "HEAD" нужной страницы, прописывается МЕТА-тег “Robots” и так повторяется для всех страниц, к которым нужно применить то или иное правило индексации. Пример применения мета-тега:

<html>
<head>
<meta name="robots" content="noindex,nofollow">
<meta name="description" content="Эта страница ....">
<title>...</title>
</head>
<body>
...

В этом случае роботы всех поисковых систем должны будут забыть об индексации этой страницы (об это говорит noindex в мета-теге) и анализе размещенных на ней ссылок (об этом говорит nofollow) .

Существуют только две пары директив: [no]index и [no]follow. Index указывают, может ли робот индексировать страницу. Follow - может ли он следовать по ссылкам со страницы. Значения по умолчанию – "index" и "follow". Есть также укороченный вариант написания с использованием "all" и "none", которые обозначают активность всех директив или, соответственно, наоборот: all=index,follow и none=noindex,nofollow.

Для блога на WordPress вы сможете настроить мета-тег Robots, например, с помощью плагина All in One SEO Pack - Боремся с дублированием контента в блоге на WordPress, запрещая индексацию архивов тегов, категорий или временных архивов в плагине All in One SEO Pack

Ну все, с теорией покончено и пора переходить к практике, а именно, к составлению оптимальных файлов robots.txt для Joomla, SMF и WordPress. Но об этом уже во второй части статьи.

Вы так же можете ознакомиться с другими статьями на тему продвижения сайта:

• Продвижение сайта в поисковых системах (SEO)
  • Панели вебмастеров Яндекса, Google, Yahoo, Bing
  • Счетчики посещаемости LiveInternet, Mail.ru, Google Analytics, HotLog, SpyLog, Rambler, Я.Метрика
  • Twitter и FriendFeed
  • E-mail рассылки Subscribe, Content.Mail и MailList
  • Постинг в сервисы социальных закладок для продвижения своего сайта, привлечения дополнительных посетителей и ускорения индексации сайта поисковиками
  • Показатели продвижения вашего сайта — Google PageRank (PR), тематический индекс цитирования Яндекса (ТИЦ) и Alexa Rank
• Все про RSS (фид, feed)
  • Feedburner и все, что с ним связано
• Улучшаем индексацию сайта поисковиками с помощью настройки файла robots.txt и мета-тега Robots
• GoGetLinks — самая выгодная биржа рекламных обзоров
• Получение множества бесплатных обратных ссылок (бэклинков) с трастовых сайтов

На сегодня все. Если вы не хотите пропустить появление новых материалов на этом сайте, то можете подписаться на рассылку новостной ленты через форму, расположенную чуть ниже, или же выбрать удобный для вас способ подписки на странице Подписка. Если у вас остались нерешенные вопросы из области вебмастеринга, то вы можете поискать на них ответы, посетив страницу Вопросы и ответы.

Удачи вам! До скорых встреч на страницах блога KtoNaNovenkogo.ru

Создание robots.txtRobots.txt для Joomla, WordPress, SMF