Домены с www и без него — история появления, использование 301 редиректа для их склеивания

Есть мнение, и оно не безосновательно, что каждый ресурс в сети должен иметь 301 редирект, который был бы настроен так, чтобы один из вариантов написания доменного имени в Урле (с или без www) был бы главным (например, для моего блога главным является вариант ktonanovenkogo.ru, и при заходе по адресу www.ktonanovenkogo.ru, вас автоматически перебросит на ktonanovenkogo.ru).

Для чего это нужно, спросите вы? Да и что такое доменная система имен? Об этом я и постараюсь рассказать в этом посте, но начать, пожалуй, стоит с истории зарождении самой проблемы, связанной с использованием или не использованием приставки WWW в Урле страниц ресурса.

Откуда появилась приставка WWW и что в этом плохого

Несколько десятков лет назад World Wide Web была лишь малой частью интернета, а сервера были очень слабенькими, поэтому приходилось размещать, например, сервер Apache на одном компьютере, почтовый сервер на другом, а сервер FTP — на третьем.

Имена серверов начинались с названия машин, на которых они располагались, и в зависимости от предоставляемого сервиса выглядели так: www.domain.com, mail.domain.com, и ftp.domain.com (а так же совсем раритет — gopher.domain.com).

В настоящее же время данные приставки являются анахронизмом и они должны были бы благополучно отмереть, однако, до сих пор существует масса каталогов, которые автоматически прибавляют к имени вебсайта вида domain.com пресловутое www.

Так же существует немало пользователей, которые автоматически набирают в браузерах адрес ресурса с этой приставкой в начале (все же знают песню группы Ленинград). Поэтому данный префикс остается и создает очень интересную ситуацию.

Получается, что www.domain.com и domain.com технически считаются полностью различными объектами, причем www.domain.com является родственным домену третьего уровня вида sub.domain.com.

Но при этом же, обычно, www.domain.com и domain.com ведут (или должны вести) на одну и ту же страницу (в отличии от субдомена sub.domain.com), т.е. получается, что оба они являются псевдонимами для друг друга (алиасами, зеркалами или же по англицки alias).

Конечно же, можно все это пропустить и не забивать голову, но если вы всерьез заботитесь о продвижении в поисковых системах, то это может быть огромной помехой у вас на пути. Смотрите сами, что получается. Многие поисковики воспримут domain.com и www.domain.com как разные ресурсы, со всеми вытекающими отсюда последствиями.

А именно — все внешние ссылки на ваш проект будут делиться на две части, в зависимости от того, в каком виде на вас проставили ссылку (с www или же без него).

Получается, что вы лишаетесь части внешних ссылок, а это, соответственно, приводит к понижению сайта в рейтинге поисковиков (влияет отрицательно на ранжирование, про которое я писал здесь), и пользователей с них к вам будет приходить меньше, чем могло бы.

Кроме этого еще нужно учитывать то, что серьезные поисковики (Google, например) борются за уникальный контент и не индексируют страницы двойники (и даже ресурсы целиком могут выпасть из индекса), что чревато для нашей ситуации. Поясню.

Допустим, что доменное имя domain.com стало популярным и на него много ссылаются, но, как на зло, при начальной индексации поисковик нашел первым вариант написания www.domain.com и теперь получается, что domain.com стал двойником (не имеет уникального содержания) и с большой долей вероятности он выпадает из индекса. Печально, не правда ли? Теперь поговорим о том, как этого избежать.

Кто-то очень умный придумал способ, как переадресовать один псевдоним к другому, который по существу является переадресацией к самому себе. Способ этот называется Редирект и существует несколько вариантов его реализации на разных серверах. Я приведу здесь самый простой, на мой взгляд, способ с использование файла .htaccess.

301-ый редирект с WWW на без него и наоборот

Файл .htaccess нужно создать в корневом каталоге или открыть на редактирование, если он уже там имеется. Этот файл является скрытым и поэтому, чтобы его увидеть, нужно зайти в корневую папку на сервере хостинга, например, с помощью программы FileZilla (тут по работе с ней мануальчик имеется) и в верхнем меню данной программы ФТП менеджера выбрать пункт «Сервер» — «Принудительно отображать скрытые файлы».

Итак, открываем этот файл обычным текстовым редактором, можно, к примеру, в бесплатном и функциональном Notepad plus plus (тут вы найдете его обзор), и дописываем следующие строки для варианта редиректа с www на без него:

Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.vash_sait\.ru$ [NC]
RewriteRule ^(.*)$ http://vash_sait.ru/$1 [R=301,L]

Редирект с варианта без приставки на вариант доменного имени с WWW:

Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^vash_sait\.ru$ [NC]
RewriteRule ^(.*)$ http://www.vash_sait.ru/$1 [R=301,L]

Не забывайте про обратную наклонную черту перед точкой (.) в строке RewriteCond — она обязательна. При 301 редиректе Google должен объединять PR данных ресурсов. Теперь, кстати, ваш интернет проект будет доступен и по доменному имени с www, так и без него, но в адресной строке вас будет перебрасывать на то имя, на которое вы настроили редирект.

Этот способ называется «перенаправление с шаблоном». В результате получается следующее: если набрать в адресной строке, например, https://www.ktonanovenkogo.ru/, то пользователь будет автоматически перемещен на ту же страницу, только без префикса – https://ktonanovenkogo.ru/.

Директива Host — задаем главное зеркало для Яндекса

Для Яндекса дополнительно надо определить, какое зеркало (псевдоним) является главным, с помощью директивы 'Host' в файле Robots.txt. Он также, как и файл .htaccess, находится в корневом каталоге (если его там не окажется, то вам нужно будет его создать у себя на компьютере в любом текстовом редакторе, а затем закинуть в корень хоста по FTP).

Код, добавляемый в Robots.txt, должен выглядеть следующим образом:

User-agent: Yandex
Disallow:
Host: ktonanovenkogo.ru

Лучше будет вынести директиву 'Host' в отдельную секцию, предназначенную только для робота Яндекса (User-agent: Yandex), т.к. возможно, что другие поисковики (Google, например) могут некорректно отработать непонятную им директиву.

Так же по стандартам файла robots.txt в каждой секции 'User-agent' должна присутствовать хотя бы одна директива 'Disallow', поэтому мы и поставили в коде пустую, ничего не запрещающую директиву Disallow:.

Мой файл Robots.txt, после добавления приведенного выше кода, стал выглядеть так:

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: ktonanovenkogo.ru
Sitemap: https://ktonanovenkogo.ru/sitemap.xml.gz
Sitemap: https://ktonanovenkogo.ru/sitemap.xml

Более подробно о создании файла robots.txt вы можете прочитать в приведенной статье про улучшение индексации сайта поисковыми системами Яндекс и Google.

301 редирект с одного доменного имени на другое

У меня, кстати, возникла еще одна необходимость воспользоваться 301 редиректом. Дело в том, что некоторые мои проекты базируются на free хостинге , который при регистрации предоставляет бесплатное доменное имя третьего уровня.

Но я практически сразу покупал для своих проектов доменные имена второго уровня, которые затем успешно прикручивал. Проблема была в том, что такие ресурсы оставались доступны и по старым бесплатным доменам третьего уровня (например, tyujh.oxnull.net). Вот для разрешения такой ситуации я так же прописал в файле .htaccess следующий код:

RewriteEngine On
RewriteCond %{HTTP_HOST} tyujh.oxnull.net
RewriteRule (.*) http://dgdh.ru/$1 [R=301,L]

Теперь, если в браузере набрать http://tyujh.oxnull.net, то произойдет автоматический переброс на сайт http://dgdh.ru.