Как проверить сайт на битые ссылки — Xenu Link Sleuth, плагин и онлайн-сервис Broken Link Checker, а так же поисковые системы

26 Ноябрь, 2016

Здравствуйте, уважаемые читатели блога KtoNaNovenkogo.ru. Многие думают, что битые ссылки — это не самая животрепещущая тема для вебмастера, ибо всегда найдется что-то более важное и значимое, чем вам будет предпочтительней заняться.

Да и утомительно это — искать программу, расширение или онлайн-сервис, где осуществляется проверка, а затем долго и муторно отыскивать доступ и проводить правку найденных нерабочих гиперссылок на своем ресурсе.

Битые ссылки

В принципе, гораздо проще забить на эту проблему, ибо маловероятно, что они присутствуют на вашем проекте в огромных количествах и их влияние вряд ли как-то скажется на отношение посетителей и поисковых систем. Или же все-таки скажется? Быть или не быть битым ссылка на вашем сайте?

Я считаю, что это есть зло, от которого нужно периодически избавляться (очищаться). Но по-любому вам решать, я лишь опишу те методы, которые использовал и использую для упрощения сего процесса.

Проблема битых ссылок и причина их появления


Вообще вопрос об отношении к битым ссылкам довольно интересный, ибо однозначной информации по этому поводу нет. Но если судить по тому, что в панелях для вебмастеров Яндекса и Google имеется раздел, где будут приведены все найденные нерабочие ссылки на вашем сайте, то это уже можно считать первым признаком того, что поисковикам они вовсе не по барабану.

Думаю, что при большом их количестве поисковые системы могут посчитать ваш сайт заброшенным и понизить его в выдаче. Так ли это на самом деле я не знаю, но даже то, что битые ссылки представляют существенное неудобство для посетителей (тем самым ухудшая ПФ), может служить достаточно весомым аргументом к тому, чтобы всерьез задуматься об их выявлении и исправлении.

Пример битой ссылки

Конечно же, сделать это вручную (пройтись по всем внутренним и внешним ссылкам, ведущим со станиц вашего сайта) не представляется возможным даже на очень маленьких проектах, не говоря уже о больших порталах. Проверка — это прерогатива программных средств — ботов поисковых систем, онлайн сервисов или специально для этого написанных программ, скриптов или расширений (плагинов) для используемого вами движка сайта.

Но все равно, даже после того, как все нерабочие гиперссылки будут найдены, решение об их исправлении или удалении придется принимать именно вам, и по каждой из них в отдельности. Поэтому, если решитесь на данную проверку, на всякий случай запаситесь терпением и некоторым количеством времени.

Если говорить о причине появления битых ссылок на сайте, то в случае блога KtoNaNovenkogo.ru это в основном мои собственные ошибки при осуществлении ручной внутренней перелинковки, а также внешние ссылки на ресурсы авторов комментариев и упоминаемые в статьях онлайн-сервисы, которые успели за это время кануть в лету (ребят, знали бы вы, сколько сайтов сгинуло за те семь лет, что существует мой блог — реально становится грустно!).

Встречаются и другие варианты их появления. Вообще, причиной неработающих линков могут быть и изменения Урлов на сторонних ресурсах без использования 301 редиректа для склеивания нового адреса со старым (при изменении структуры сайта, переноса статей между разделами и т.п.), да и много других сугубо индивидуальных проблем.

Как я уже упомянул чуть выше, существует несколько способов, с помощью которых можно проверить свой проект на наличие подобных изъянов. Самым очевидным мне кажется воспользоваться тем списком нерабочих ссылок, который собрали боты поисковых систем.

Ищем битые ссылки в Яндекс Вебмастере и Search Console Гугла

В панелях вебмастеров Яндекса и Google можно будет узнать, на каких страницах и какие именно нерабочие гиперссылки были найдены, а затем, по возможности, внести необходимые исправления в админке своего проекта.

Про работу с панелями для вебмастеров Яндекса и Google я уже довольно подробно писал, поэтому позволю себе лишь привести линки на эти материалы:

  1. Большущая статья по возможностям Яндекс Вебмастера(в ближайшее время ее придется обновлять, ибо Яндекс наконец-то допилил новую версию)
  2. Чуть менее подробная по Гугл Вебмастеру (Search Console)

Давайте начнем проверку с инструментов для веб-мастеров от Google. Будем считать, что воспользовавшись приведенными выше материалами, вы уже добавили свой ресурс в панель Гугла, и теперь вам останется лишь пройти из левого меню в «Сканирование» — «Ошибки сканирования»:

Поиск битых ссылок в Гугл вебмастере

На открывшейся странице перейти на вкладку «Не найдено», где и будут сосредоточенны все нерабочие, по мнению Google, ссылки на вашем проекте. Но тут следует понимать, что поисковик рассматривает не только линки ведущие с вашего сайта, но и все те, что были проставлены с других ресурсов (так называемые обратные ссылки, которые желанны при SEO продвижении).

Т.о. в списке не найденных документов будут присутствовать Урлы, полученные не только в результате ваших собственных ошибок при внутренней перелинковке, но и результаты ошибок тех пользователей, которые второпях поставили на вас ссылку со своего сайта или чужого форума, но не проверили ее работоспособность.

Напротив каждого не найденного документа вы увидите код ошибки 404 (читайте про то, как удержать посетителя на странице «404 not found», что тоже может являться выходом из сложившегося положения). Посмотреть Урл страницы, которую Гугл не смог найти на вашем ресурсе, можно щелкнув по любой строке.

Там же на вкладке «Ссылающиеся домены» вы можете найти страницы, с которых данная битая ссылка была проставлена.

Поиск источников размещения битых ссылок

Если в открывшемся окне вы увидите адреса вебстраниц не вашего сайта, то исправить, скорее всего, ничего не сможете (хотя, можно попробовать, например, в .htaccess настроить для таких битых ссылок 301 редирект на правильный Урл). Но если нерабочие гиперссылки были проставлены со страниц вашего же собственного ресурса, то нужно будет в админке найти требуемую статью (или комментарий к ней) и поправить, либо удалить некорректный линк.

Думаю, что разберетесь, но наравне с панелью инструментов Google не примените посмотреть информацию о не найденных документах и в панели для вебмастеров от Яндекса, ибо их данные могут отличаться.

В Яндекс Вебмастере вам нужно будет перейти в левом меню на «Индексирование» — «Внутренние ссылки», а в открывшемся окне из выпадающего списка можно будет выбрать фильтр по типу ошибок (ошибки сервера, либо отсутствие страницы или запрет на ее индексацию):

Битые ссылки в Яндексе

Вы увидите список всех найденных страниц в том числе и с ошибкой 404. Далее идете в админку своего ресурса, отыскиваете нерабочую гиперссылку и либо исправляете ее, либо удаляете, чтобы не вносила сумбур в работу отлаженного механизма.

Проверка битых ссылок в программе Xenu Link Sleuth


Я мог бы еще упомянуть в этой статье про ряд сервисов, позволяющих проверить битые линки онлайн, но, к сожалению, я так и не нашел достойного бесплатного решения (хотя все же один вариант рассмотрю чуть ниже, ибо он позволяет быстро пробежаться по наиболее «выпирающим» битым ссылкам), а пробовать платные у меня как-то рука не поднялась. На бесплатных же проверить можно очень ограниченное число страниц, а следовательно, актуальность такого способа весьма сомнительна.

Но можно ведь использовать не только онлайн-сервисы, но и программы, которые будут установлены на ваш компьютер. Одной из самых популярных и, что очень важно, бесплатных программ для проверки битых ссылок является Xenu Link Sleuth, о которой я и хочу вам рассказать.

Итак, сначала вам нужно будет скачать Xenu Link Sleuth и установить на свой компьютер.

После ее запуска выберите из меню «File» — «Check URL» и в открывшемся окне введите URL вашего ресурса, поставьте галочку «Check external links» (для проверки на битость не только внутренних линков вашего ресурса, но и ссылок, ведущих с него на другие ресурсы) и нажмите «ОК».

Поиск битых ссылок через Xenu Link Sleuth

В результате программа Xenu Link Sleuth начнет искать и анализировать все внутренние и внешние (проставленные с вашего ресурса, например, на сайты авторов комментариев) ссылки. Все найденные неработающие гиперссылки в результирующем отчете будут помечены соответствующим образом (не найдено, не удалось связаться и т.д.).

Сам по себе отчет представляет неоценимый интерес не только с точки зрения ошибок 404, но нас в первую очередь интересует именно это. В окне Xenu Link Sleuth имеется возможность отсортировать весь список по ряду табуляторов, которые находятся в самом верху.

Для проверки именно битых ссылок нужно будет воспользоваться табулятором «Status», в результате чего все помеченные красным строки будут собраны в одном месте списка.

Битые ссылки в окне программы

Для того, чтобы узнать, а на какой именно странице вашего сайта проставлена неработающая гиперссылка, вам нужно щелкнуть по ней правой кнопкой и выбрать из контекстного меню вариант «URL Properties»:

Поиск страниц сайта с битыми ссылками

В самом низу открывшегося окна вы увидите список адресов страниц вашего сайта, на которых была найдена данная битая ссылка. Вам останется только зайти в админку своего ресурса и провести необходимую правку. Да, муторно. Да, неудобно, ибо приходится копипастить ссылки и искать в админке нужные страницы. Но потратив время и силы вы на 100% избавите свой сайт от битых ссылок (во всяком случае, имеющих место быть на данный момент).

Но, как я уже упоминал чуть выше, программа Xenu Link Sleuth, при должном подходе и сообразительности, способна предоставить намного больше информации. Если вы поэкспериментируете с другими табуляторами программы, то сможете получить следующую информацию о вашем сайте из этого отчета:

  1. если вы попробуете отсортировать данные в окне программы по табулятору «Title», то таким способом можете найти страницы своего сайта, имеющие дублированные заголовки Title или не имеющие их вовсе
  2. с помощью табулятора «Size» можно найти слишком тяжелые страницы своего проекта, которые будут долго загружаться
  3. с помощью табулятора «In Links» можно узнать количество входящих ссылок на любой документ своего ресурса, а из контекстного меню (щелчок правой кнопкой и выбор самого нижнего пункта в открывшемся меню) можно будет узнать и адреса страниц, ссылающихся на этот документ
  4. с помощью сортировки табулятором «Out Links» в окне отчета программы Xenu Link Sleuth сможете узнать количество исходящих ссылок с той или иной страницы своего ресурса, а из контекстного меню — посмотреть, на какие именно страницы проставлены ссылки
  5. отсортировав по табулятору «Type», можно найти изображения не имеющие тега Alt
  6. табулятор «Level» позволит просмотреть вложенность тех или иных страниц вашего сайта

В общем, Xenu Link Sleuth имеет просто неоценимую значимость. Кроме этого, для статического сайта эта программа может построить карту сайта, которую потом можно будет подсунуть поисковым системам для ускорения индексации.

Также Xenu Link Sleuth по результатам проверки может сформировать очень удобный отчет в виде Html странички, где можно будет в удобоваримом виде просмотреть все веб-страницы своего проекта, имеющие битые ссылки и увидеть упомянутую выше карту.

Отчет по найденным битым ссылкам

Для создания отчета вам нужно выбрать в меню программы пункты «File» — «Report» или просто нажать R на клавиатуре. В верху страницы с отчетом будет расположено меню с разделами.

Поиск ссылок в WordPress с помощью Broken Link Checker


Если у вас блог на движке WordPress, то возможно вам будет удобнее воспользоваться плагином Broken Link Checker для проверки неработающих гиперссылок. Он может осуществлять повторную проверку через указанный вами промежуток времени, прекращать свою работу в моменты, когда сервер вашего хостинга сильно нагружен, и, что самое важное, позволяет исправлять или удалять битые ссылки прямо из своего окна, не требуя захода в окно редактирования статей.

Итак, сначала вам нужно будет скачать Broken Link Checker и установить этот плагин на WordPress стандартным образом. Если возникнут с этим проблемы, то можете обратиться к приведенному по ссылке материалу.

Сразу после установки он начнет работать и сканировать ваш блог на наличие битых ссылок. Зайдя на страницу настройки этого плагина («Настройки» — «Проверка ссылок») в админке Вордпресса, вы сможете увидеть, сколько гиперссылок уже нашел Broken Link Checker на вашем блоге, а также сделать необходимые настройки.

Проверка сайта на битые ссылки в Broken Link Checker

Здесь вы можете задать частоту повторного сканирования, попросить посылать вам сообщение на E-mail при обнаружении недоступной страницы, а также попросить плагин выделять найденные гиперссылки с помощью особого стиля CSS.

Но у Broken Link Checker есть еще несколько вкладок с настройками. На вкладке «Look For Links In» вы можете задать, в каких именно материалах вашего блога он будет осуществлять поиск, а на вкладке «Which Links To Check» указать, ссылки с каких объектов будут проверяться. На вкладке «Дополнительно» вы можете максимально минимизировать нагрузку этого плагина на сервер хостинга, ограничив время поиска и задав порог загруженности сервера, при превышении которого он прервет свою работу.

По мере проверки будет предоставляться отчет о проделанной работе и найденных битых ссылках, который вы сможете посмотреть, перейдя в меню админки WordPress в «Инструменты» — «Неправильные ссылки»:

Исправление найденных плагином битых ссылок

Здесь у вас будут богатые возможности по работе с ними, причем все, что вам может потребоваться (отредактировать, удалить ее, перейти к материалу, в котором проставлена данная битая ссылка), будет возможно сделать прямо отсюда, никуда не переходя и ничего не ища. В этом и состоит, на мой взгляд, основное преимущество плагина Broken Link Checker. К тому же, по окончании проверки его со спокойной душой можно снести до следующей проверки, чтобы глаза не мозолил. Думаю, что для Joomla тоже должны существовать аналогичные расширения, но я, к сожалению, с ними пока не знаком.

Онлайн-сервис Broken Link Checker


Ну, и напоследок, как и обещал, опишу один из множества онлайн-сервисов предназначенных для поиска битых ссылок на любом сайте. Не сказать, чтобы сервис этот чем-то особым выделялся или как-то по особому хорошо работал. Нет. Но зато поиск битых линков в нем довольно прост и находит он их, как правило, не много, чтобы, наверное, нас не слишком расстраивать. Я обычно использую сначала его (проверяю несколько раз подряд), а уже потом использую плагин и программу (для лакировки, так сказать).

Итак, заходите на Broken Link Checker, вводите Урл вашего сайта в форму расположенную в правом верхнем углу открывшейся страницы и жмете на кнопку «Find broken links». Откроется страничка, где нужно будет разгадать капчу и выбрать один из двух способов проверки (детальное отличие не понятно, но имеет смысл по очереди оба варианта прочекать). Еще раз жмете на заветную кнопочку и наблюдаете за результатом проверки, либо идете по своим делам не закрывая эту вкладку в браузере.

Начало поиска битых ссылок в онлайн сервисе Broken Link Checker

Сервис Broken Link Checker будет вам сообщать о количестве проверенных страниц и потихоньку начнет выводить список найденных битых ссылок. Править их можно начинать прямо сейчас не дожидаясь окончания процесса проверки. Для этого достаточно будет кликнуть по кнопке «src» в нужной строке списка:

Найденные битые ссылки

В результате вы увидите исходный код страницы (на нее саму можно попасть кликнув по соседней кнопке «url»), где найдена битая ссылка. Причем место размещения в коде будет подсвечено:

Подсветка битой ссылки в исходном коде страницы

Все. Останется только найти в тексте статьи или в теле комментария проблемную ссылку, еще раз проверить ее неработоспособность и пофиксить Broken Link как будто бы его и не было. Усё.

Удачи вам! До скорых встреч на страницах блога KtoNaNovenkogo.ru

Еще:

Рубрики :Плагины для WordPress ¦ Полезные программы

Комментарии и отзывы

stas

Дмитрий, подскажите после ввода режима ЧПУ , гуглом в пункте ошибки сканирования выдало Не найдено ‎(590)‎, что мне с ними делать?

Василий

Установил на блог плагин Broken Link Checker.

После установки плагин находил некоторое колличество неправильных ссылок. Последнее время у меня было удалено много файлов на турбобит, но плагин не указал ссылки на них как битые. Может быть что-то с настройками не правильно?

Aleks

Дополните пожалуйста материал, а что правильно делать потом с найденными плагином битыми ссылками? Очень полезный для меня материал.Спасибо.

aleksandr

Плагин работает примитивно и не предсказуемо, вроде бы и находит , даже удаляет , но битых ссылок как было так и осталось на сайте

Йохан

Здравсвуйте. Такая проблема. В IE вместо главной страницы выдается 404 ошибка, в других браузерах всё нормально. При отключении в админке SEO — страница отображается, но урлы теряют привлекательность. Может кто-то знает другой выход?

Koshman

Благодарность от всего человечества, спасибо за полезный материал

jj

А как быть если по вебмастеру выдает Не найдено ‎(21 466)‎ ?

Ольга

Спасибо за информацию о таком замечательном плагине. Жаль еще, что он ищет только внутренние ссылки...:) Тогда бы вообще ничего делать не надо было. С программой чуть больше времени уходит.

Юра

Xenu Link Sleuth нашел только 3 битых ссылки, а панель веб мастера гугла нашла 47

Богдан

Кто знает, как определить все ВХОДЯЩИЕ битые ссылки? Имею ввиду внешние ссылки что ведут на мой сайт.

Владимир

Всем привет, я нашел битые ссылки через панели веб мастеров и программку. Что дальше то делать, как из них сделать полноценные ссылки. Дайте ссылки на сайты где про это прочитать можно.

Дмитрий

Владимир: если битыми являются ссылки с вашего собственного сайта, то просто их исправьте.

Если это внешние бэклинки, то можно попробовать через .htaccess (живет в корне вашего сайта) сделать 301 редирект, например, так (на сайте доноре в конце забыли дописать L к «.html», что и было мною исправлено этой строкой в .htaccess):

Redirect 301 /vokrug-da-okolo/programs/kak-zaregistrirovatsya-sozdat-apple-id-polzovatsya-itunes.htm /vokrug-da-okolo/programs/kak-zaregistrirovatsya-sozdat-apple-id-polzovatsya-itunes.html

Алексей Раскин

Очень подробно Спасибо! Недавно как раз задумался о таких ошибках и хотя у меня проект пока меленький, но думаю периодически проверять сайт на битые ссылки, чтобы потом не завалило ими))

Подписаться не комментируя