Как проверить сайт на битые ссылки — Xenu Link Sleuth, плагин Broken Link Checker, а так же возможности Яндекса и Google

3 февраля, 2011Рубрика: Плагины для WordPress,Полезные программы

Здравствуйте, уважаемые читатели блога KtoNaNovenkogo.ru. Битые ссылки — это не самая животрепещущая тема для вебмастера, ибо всегда найдется что-то более важное и значимое, чем вам будет предпочтительней заняться. Да и утомительно это — искать программу, расширение или онлайн сервис, где осуществляется проверка, а затем долго и муторно осуществлять правку найденных нерабочих гиперссылок на своем ресурсе.

В принципе, гораздо проще забить на эту проблему, ибо маловероятно, что они присутствуют на вашем проекте в огромных количествах и их влияние вряд ли как-то скажется на отношение посетителей и поисковых систем. Или же все-таки скажется?

Проверка битых ссылок в Яндекс и Гугл Вебмастерах


Вопрос довольно интересный, ибо однозначной информации по этому поводу нет. Но если судить по тому, что в панелях для вебмастеров Яндекса и Google имеется раздел, где будут приведены все найденные нерабочие ссылки на вашем сайте, то это уже можно считать первым признаком того, что поисковикам они вовсе не по барабану.

Думаю, что при большом их количестве поисковые системы могут посчитать этот ресурс заброшенным и понизить его в выдаче. Так ли это на самом деле я не знаю, но даже то, что битые ссылки представляют существенное неудобство для посетителей, может служить достаточно весомым аргументом к тому, чтобы всерьез задуматься об их выявлении и исправлении.

Конечно же, сделать это вручную не представляется возможным даже на очень маленьких проектах, не говоря уже о больших порталах. Проверка — это прерогатива программных средств — ботов поисковых систем, онлайн сервисов или специально для этого написанных программ или расширений для используемого вами движка сайта.

Но все равно, даже после того, как все нерабочие гиперссылки будут найдены, решение об их исправлении или удалении придется принимать именно вам, и по каждой из них в отдельности. Поэтому, если решитесь на данную проверку, на всякий случай запаситесь терпением и некоторым количеством времени.

Если говорить о причине их появления на сайте, то в случае блога KtoNaNovenkogo.ru это в основном мои собственные ошибки при осуществлении ручной внутренней перелинковки, а так же внешние ссылки на ресурсы авторов комментариев, которые успели за это время кануть в лету.

Присутствуют и другие варианты их появления. Вообще, причиной неработающих линков могут быть и изменения Урлов без использования 301 редиректа для склеивания нового адреса со старым, да и много других сугубо индивидуальных проблем.

Как я уже упомянул чуть выше, существует несколько способов, с помощью которых можно проверить свой проект на наличие подобных изъянов. Самым очевидным мне кажется воспользоваться тем списком нерабочих ссылок, который собрали боты поисковых систем.

В панелях вебмастеров Яндекса и Google можно будет узнать, на каких страницах и какие именно нерабочие гиперссылки были найдены, а затем, по возможности, внести необходимые исправления в админке своего проекта.

Про работу с панелями для вебмастеров Яндекса и Google я уже довольно подробно писал, поэтому позволю себе лишь привести линки на эти материалы:

  1. Большущая статья по возможностям Яндекс Вебмастера находится тут
  2. .

  3. Чуть менее подробная по Гугл Вебмастеру — здесь

.

Давайте начнем проверку с инструментов для веб-мастеров от Google. Будем считать, что воспользовавшись приведенными выше материалами, вы уже добавили свой ресурс в панель Гугла, и теперь вам останется лишь пройти из левого меню в «Сканирование» — «Ошибки сканирования»:

На открывшейся странице перейти на вкладку «Не найдено», где и будут сосредоточенны все нерабочие, по мнению Google, ссылки на вашем проекте. Но тут следует понимать, что поисковик рассматривает не только ваши внутренние линки, но и все внешние, что были проставлены с других ресурсов.

Т.о. в списке не найденных документов будут присутствовать Урлы, полученные не только в результате ваших собственных ошибок при внутренней перелинковки, но и результаты ошибок тех пользователей, которые второпях поставили на вас ссылку со своего сайта или чужого форума, но не проверили ее работоспособность.

Напротив каждого не найденного документа вы увидите код ошибки 404 (читайте про то, как удержать посетителя на странице «404 not found», что тоже может являться выходом из сложившегося положения). Посмотреть Урл страницы, которую Гугл не смог найти на вашем ресурсе, можно щелкнув по любой строке.

Там же на вкладке «Ссылающиеся домены» вы можете найти страницы, с которых данная битая ссылка была проставлена.

Если в открывшемся окне вы увидите адреса вебстраниц не вашего сайта, то исправить, скорее всего, ничего не сможете. Но если нерабочие гиперссылки были проставлены со страниц вашего же собственного ресурса, то нужно будет в админке найти требуемую статью и поправить, либо удалить некорректный линк.

Думаю, что разберетесь, но наравне с панелью инструментов Google не примените посмотреть информацию о не найденных документах и в панели для вебмастеров от Яндекса, ибо их данные могут отличаться.

В Яндекс Вебмастере вам нужно будет перейти в левом меню на «Индексирование сайта» — «Исключенные страницы», а в открывшемся окне выбрать вариант «HTTP-статус: Ресурс не найден (404)»:

Вы увидите список всех найденных страниц с ошибкой 404, но нас интересуют только те варианты, где Яндекс нам готов указать на источники, с которых эта самая неработающая ссылка была проставлена (там будет стоять значок, показанный на скриншоте ниже).

Щелкните по нему и вы сможете увидеть откуда ноги растут. Т.к. нет смысла пытаться поправить битые ссылки на сторонних ресурсах, то вам нужно выбрать вверху вариант «Внутренние»:

Далее идете в админку своего ресурса, отыскиваете нерабочую гиперссылку и либо исправляете ее, либо удаляете, чтобы не вносила сумбур в работу отлаженного механизма.

Проверка битых ссылок в программе Xenu Link Sleuth


Я мог бы еще упомянуть в этой статье про ряд сервисов, позволяющих проверить битые линки онлайн, но, к сожалению, я так и не нашел достойного бесплатного решения, а пробовать платные у меня как-то рука не поднялась. На бесплатных же проверить можно очень ограниченное число страниц, а следовательно, актуальность такого способа весьма сомнительна.

Но можно ведь использовать не только онлайн сервисы, но и программы, которые будут установлены на ваш компьютер. Одной из самых популярны и, что очень важно, бесплатных программ для проверки битых ссылок является Xenu Link Sleuth, о которой я и хочу вам рассказать.

Итак, сначала вам нужно будет скачать Xenu Link Sleuth и установить на свой компьютер.

После ее запуска выберите из меню «File» — «Check URL» и в открывшемся окне введите URL вашего ресурса, поставьте галочку «Check external links» (для проверки на битость не только внутренних линков вашего ресурса, но и ссылок, ведущих с него на другие ресурсы) и нажмите «ОК».

В результате программа Xenu Link Sleuth начнет искать и анализировать все внутренние и внешние (проставленные с вашего ресурса, например, на сайты авторов комментариев) ссылки. Все найденные неработающие гиперссылки в результирующем отчете будут помечены соответствующим образом (не найдено, не удалось связаться и т.д.).

Сам по себе отчет представляет неоценимый интерес не только с точки зрения ошибок 404, но нас в первую очередь интересует именно это. В окне Xenu Link Sleuth имеется возможность отсортировать весь список по ряду табуляторов, которые находятся в самом верху.

Для проверки именно битых ссылок нужно будет воспользоваться табулятором «Status», в результате чего все помеченные красным строки будут собраны в одном месте списка.

Для того, чтобы узнать, а на какой именно странице вашего сайта проставлена неработающая гиперссылка, вам нужно щелкнуть по ней правой кнопкой и выбрать из контекстного меню вариант «URL Properties»:

В самом низу открывшегося окна вы увидите список адресов страниц вашего сайта, на которых была найдена данная битая ссылка. Вам останется только зайти в админку своего ресурса и провести необходимую правку.

Но, как я уже упоминал чуть выше, программа Xenu Link Sleuth, при должном подходе и сообразительности, способна предоставить намного больше информации. Если вы поэкспериментируете с другими табуляторами программы, то сможете получить следующую информацию о вашем сайте из этого отчета:

  1. если вы попробуете отсортировать данные в окне программы по табулятору «Title», то таким способом можете найти страницы своего сайта, имеющие дублированные заголовки Title или не имеющие их вовсе
  2. с помощью табулятора «Size» можно найти слишком тяжелые страницы своего проекта, которые будут долго загружаться
  3. с помощью табулятора «In Links» можно узнать количество входящих ссылок на любой документ своего ресурса, а из контекстного меню (щелчок правой кнопкой и выбор самого нижнего пункта в открывшемся меню) можно будет узнать и адреса страниц, ссылающихся на этот документ
  4. с помощью сортировки табулятором «Out Links» в окне отчета программы Xenu Link Sleuth сможете узнать количество исходящих ссылок с той или иной страницы своего ресурса, а из контекстного меню — посмотреть, на какие именно страницы проставлены ссылки
  5. отсортировав по табулятору «Type», можно найти изображения не имеющие тега Alt
  6. табулятор «Level» позволит просмотреть вложенность тех или иных страниц вашего сайта

В общем, Xenu Link Sleuth имеет просто неоценимую значимость. Кроме этого, для статического сайта она может построить карту, которую потом можно будет подсунуть поисковым системам для ускорения индексации.

Также Xenu Link Sleuth по результатам проверки может сформировать очень удобный отчет в виде Html странички, где можно будет в удобоваримом виде просмотреть все вебстраницы своего проекта, имеющие битые ссылки и увидеть упомянутую выше карту.

Для создания отчета вам нужно выбрать в меню программы пункты «File» — «Report» или просто нажать R на клавиатуре. В верху страницы с отчетом будет расположено меню с разделами:

Поиск ссылок в WordPress с помощью Broken Link Checker


Если у вас блог на движке WordPress, то возможно вам будет удобнее воспользоваться плагином Broken Link Checker для проверки неработающих гиперссылок.

Он может осуществлять повторную проверку через указанный вами промежуток времени, прекращать свою работу в моменты, когда сервер вашего хостинга сильно нагружен, и, что самое важное, позволяет исправлять или удалять битые ссылки прямо из своего окна, не требуя захода в окно редактирования статей.

Итак, скачала вам нужно будет скачать Broken Link Checker и установить этот плагин на WordPress стандартным образом. Если возникнут с этим проблемы, то можете обратиться к этому материалу.

Сразу после установки он начнет работать и сканировать ваш блог на наличие битых ссылок. Зайдя на страницу настройки этого плагина («Параметры» — «Проверка ссылок») в админке Вордпресса, вы сможете увидеть, сколько гиперссылок уже нашел Broken Link Checker на вашем блоге, а также сделать необходимые настройки.

Здесь вы можете задать частоту повторного сканирования, попросить посылать вам сообщение на E-mail при обнаружении недоступной страницы, а также попросить плагин выделять найденные гиперссылки с помощью особого стиля CSS.

Но у Broken Link Checker есть еще несколько вкладок с настройками. На вкладке «Look For Links In» вы можете задать, в каких именно материалах вашего блога он будет осуществлять поиск, а на вкладке «Which Links To Check» указать, ссылки с каких объектов будут проверяться.

На вкладке «Дополнительно» вы можете максимально минимизировать нагрузку этого плагина на сервер хостинга, ограничив время поиска и задав порог загруженности сервера, при превышении которого он прервет свою работу.

По мере проверки будет предоставляться отчет о проделанной работе и найденных битых ссылках, который вы сможете посмотреть, перейдя в меню админки WordPress в «Инструменты» — «Неправильные линки».

Здесь у вас будут богатые возможности по работе с ними, причем все, что вам может потребоваться (отредактировать, удалить ее, перейти к материалу, в котором проставлен данный линк), будет возможно сделать прямо отсюда, никуда не переходя и ничего не ища:

В этом и состоит, на мой взгляд, основное преимущества плагина Broken Link Checker. Думаю, что для Joomla тоже должны существовать аналогичные расширения, но я, к сожалению, с ними пока не знаком. Если у кого то есть наработки в этой области, просьба отписаться в комментариях. Спасибо.

Анализ сайта: Проверка Траста
Не хотите пропустить новую статью? Подпишитесь и Вы всегда будете на острие атаки!
А пока новая статья не вышла ознакомьтесь с предыдущими:
  1. Не отправляется почта из WordPress и не работает визуальный редактор —
  2. Better Feed для WordPress — как не отдавать в RSS полные
  3. Создание списка похожих материалов в WordPress (с миниатюрами) при помощи
  4. Хлебные крошки в WordPress средствами плагина Breadcrumb NavXT (усиливаем
  5. WP-PageNavi — постраничная навигация для блога на WordPress — установка,
  6. Subscribe To Comments для WordPress — рассылка новых сообщений на E-mail,

Комментарии
Артем

Там ошибочка в ссылки для скачивания «скачать программу Xenu Link Sleuth» 1href= 1 лишняя)

stas

Дмитрий, подскажите после ввода режима ЧПУ , гуглом в пункте ошибки сканирования выдало Не найдено ‎(590)‎, что мне с ними делать?

Василий

Установил на блог плагин Broken Link Checker.

После установки плагин находил некоторое колличество неправильных ссылок. Последнее время у меня было удалено много файлов на турбобит, но плагин не указал ссылки на них как битые. Может быть что-то с настройками не правильно?

Василий

Установил на сайт плагин Broken Link Checker.

После установки плагин находил некоторое колличество неправильных ссылок. Последнее время у меня было удалено много файлов на турбобит, но плагин не указал ссылки на них как битые. Может быть что-то с настройками не правильно?

Aleks

Дополните пожалуйста материал, а что правильно делать потом с найденными плагином битыми ссылками? Очень полезный для меня материал.Спасибо.

aleksandr

Плагин работает примитивно и не предсказуемо, вроде бы и находит , даже удаляет , но битых ссылок как было так и осталось на сайте

Йохан

Здравсвуйте. Такая проблема. В IE вместо главной страницы выдается 404 ошибка, в других браузерах всё нормально. При отключении в админке SEO — страница отображается, но урлы теряют привлекательность. Может кто-то знает другой выход?

Koshman

Благодарность от всего человечества, спасибо за полезный материал

jj

А как быть если по вебмастеру выдает Не найдено ‎(21 466)‎ ?

Ольга

Спасибо за информацию о таком замечательном плагине. Жаль еще, что он ищет только внутренние ссылки...:) Тогда бы вообще ничего делать не надо было. С программой чуть больше времени уходит.

Юра

Xenu Link Sleuth нашел только 3 битых ссылки, а панель веб мастера гугла нашла 47

Анна

У вас ошибка в предложении:

Напротив каждого не найденного документа вы код ошибки 404 — пропущено слово «увидите»

Дмитрий

Анна: спасибо, поправил.

Написать

(обязательно)

(обязательно)

При вставке любого кода, пишите его между [php] и [/php]

Это не спам (обязательно)

Подписаться без комментирования