Ускоряем индексацию сайта поисковиками — создание правильного файла robots.txt для Joomla, SMF, WordPress, добавляем в robots.txt директиву Host для Яндекса
Это вторая статья из серии, посвященной созданию и оптимизации файла robots.txt (с содержанием первой статьи вы можете ознакомиться здесь: Улучшаем индексацию сайта поисковиками — Robots.txt для Joomla, SMF, WordPress — Часть 1) . Файл robots.txt в купе с мета-тегом Robots позволяют указать поисковым системам какие страницы сайта индексировать, а какие нет.
К тому же, у [...]
Улучшаем индексацию сайта поисковиками – Robots.txt для Joomla, SMF, WordPress – Часть 1 – Назначение и синтаксис файла robots.txt и мета-тега Robots
Для продвижение вашего сайта важно не только его уникальное наполнение, но и то, как индексируется ваш сайт. Надо очень четко понимать, что не все содержимое сайта (файлы и директории), созданного на каком-либо движке (Joomla, SMF или WordPress), должно быть доступно для индексирования. Если не прописать определенные правила поведения для ботов поисковых систем, то в индекс [...]
English