Проверить урл на ошибки

Мне необходимо было проверить битые ссылки и отсутствующие картинки на своем блоге, поэтому я изучил все существующие онлайн-сервисы, программы и плагины WordPress и сделал их краткий обзор. В конце статьи поделюсь, что я буду использовать для проверки битых ссылок. Надеюсь, что вам пригодится эта информация.

Online Broken Link Checker

Веб-сайт: www.brokenlinkcheck.com.

Проверяет бесплатно 3000 страниц. Количество проверяемых ссылок на страницах неограниченно! Но не будет проверять ссылки на картинки и документы. Отличный сервис, но мне не подошел, так как не показывает отсутствующие картинки или документы в блоге.

Dr Link Check

Веб-сайт: www.drlinkcheck.com.

Хороший сервис, но проверяет бесплатно всего 2500 ссылок на одном сайте (максимум до 7500 на трех сайтах). Мало! Проверка 20 000 ссылок стоит $13 в месяц.

Site 24×7 Link Checker

Веб-сайт: www.site24x7.com/link-checker.html

Этот бесплатный сервис проверяет все ссылки на одной странице. Не то!

W3C Link Checker

Веб-сайт: validator.w3.org/checklink

Бесплатный онлайн-сервис проверки битых ссылок от международной организации W3C. Чтобы он проверил все страницы сайта, надо поставить галочку “Check linked documents recursively, recursion depth“. Если не поставить эту галочку, то он проверит всего одну страницу. А если поставить ее, то он проверяет очень долго – я так и не дождался результата. Потом я поставил ограничение на глубину проверки – 2, сервис работал около часа и выдал, как я понял, не все битые ссылки. Возможно, я что-то не так понял. Но больше времени на то, чтобы разобраться с ним, решил не тратить. Если вы знаете, как его использовать, чтобы проверить все ссылки на всех страницах сайта, то поделитесь в комментариях, буду признателен.

Dead Link Checker

Веб-сайт: www.deadlinkchecker.com

Только 2000 ссылок на сайте можно проверить бесплатно. 50 000 ссылок стоит $9.95 в месяц, 500 000 ссылок стоит $39.95. В целом хороший, но мне не понравился – платный и некрасивый интерфейс.

Broken Link Checker WordPress Plugin

Веб-сайт: wordpress.org/plugins/broken-link-checker/

Это самый популярный бесплатный плагин Вордпресс для проверки битых ссылок. И у меня он просто не сработал с первой попытки. Нашел всего 2 битые ссылки, хотя их на моем сайте очень много.

Плагин не обновляли два года, когда я тестировал его первый раз, но обновили в процессе написания мной этой статьи. Я решил попробовать еще раз. Со второго раза все вроде бы сработало.

Пользоваться этим плагином не очень удобно и сразу так и не разберешься, что к чему. Напишу про основные моменты.

Настраивать плагин нужно в админке разделе “Настройки” > “Проверка ссылок”, а смотреть результаты в разделе “Инструменты” > “Неправильные ссылки”.

Проверка битых ссылок начинается автоматически сразу же после установки плагина.  Статус процесса проверки битых ссылок можно посмотреть в разделе “Настройки” > “Проверка ссылок” во вкладке “Общие”:

Очень важный момент! Если у вас, как у меня, не сработает проверка ссылок после установки плагина, то вы можете запустить проверку битых ссылок на всем сайте еще раз. Для этого в настройках на самой последней вкладке “Дополнительно” нажмите кнопку “Перепроверить все страницы” (принудительная повторная проверка):

В целом плагин хороший, я буду использовать его. Надеюсь, что больше не будет глючить.

Link Checker WordPress Plugin

Веб-сайт: wordpress.org/plugins/link-checker/

Этот плагин работает хорошо, но проверяет бесплатно только 500 ссылок, если надо проверить 25 000 ссылок, то надо платить 45 Евро, за 50 000 ссылок – 95 Евро и т.д. То есть, прежде чем пользоваться, вы должны сосчитать все ссылки на своем сайте и понять, сколько будет стоить проверка. Неудобно, да и дороговато как-то.

Программы для проверки битых ссылок

Есть и бесплатные программы, которые надо устанавливать на свой компьютер. Вот, что мне удалось найти:

• Xenu’s Link Sleuth (эту бесплатную программу надо устанавливать на компьютер и она работает только на Windows);
• Screaming Frog SEO Spider (эта программа для Windows, Mac и Ubuntu стоит 149 Евро в год, бесплатная версия позволит проверить только 500 ссылок);
• Netpeak Spider – платная программа только для Windows, которая стоит $112 в год;
• LinkChecker – бесплатная программа, которую можно использовать с Linux, Windows и MacOS X. Хороший вариант – работает! Руководство, как пользоваться этой программой из командной строки в Ubuntu;
• KLinkStatus – бесплатная программа проверки битых ссылок, которую я обнаружил у себя на операционной системе Ubuntu. Прямо в “Ubuntu Software Center”. Это программное обеспечение KDE, поэтому, возможно, эта программа будет работать и на Windows, и Mac OS X.

Проверка битых ссылок в панелях вебмастера Гугл или Яндекс

Все в Интернете пишут, что вы также можете проверить битые ссылки при помощи Инструментов для вебмастеров в Гугле и Яндексе. А я считаю, что проверять битые ссылки при помощи этих инструментов не стоит. И вот почему.

Проверка битых ссылок в панели вебмастера Яндекса

Битые ссылки можно найти в панели вебмастера в Яндексе в разделе “Ссылки” > “Внутренние ссылки”:

Но это совершенно бесполезный для работы отчет. Так как там выводится по 20 строчек на странице, выгрузить в Эксель отчет нельзя, сортировать и фильтровать тоже нельзя.

Его можно использовать справочно, если вы хотите узнать, сколько битых внутренних ссылок у вас на сайте нашел Яндекс.

Проверка битых ссылок в панели вебмастера Гугл

В новом интерфейсе панели Гугл для вебмастеров теперь есть отчет “Покрытие”, который показывает все проиндексированные страницы и проблемы с ними:

В интерфейсе этот отчет называется “Покрытие”, а в справке “Отчет об индексировании“. Браво, Гугл)!

В этом отчете можно увидеть все 404 ошибки, найденные на сайте. По мне, так этот отчет непригоден для поиска битых ссылок так же, как и отчет Яндекса. По тем же самым причинам. Так что лучше пользоваться одним из приведенных выше инструментов.

Будем надеяться, что в будущем ситуация изменится, и битые ссылки на сайте будет удобно проверять бесплатно и в Гугле, и в Яндексе.

Выводы. Какой сервис для проверки битых ссылок лучше выбрать?

Если у вас сайт на WordPress, то попробуйте использовать плагин Broken Link Checker. Если у вас сайт не на WordPress, то рассмотрите следующие варианты.

Онлайн-сервисы

Лучшие бесплатные онлайн-сервисы – это: www.brokenlinkcheck.com (проверяет бесплатно 3000 страниц сайта и неограниченное количество ссылок!) и www.validator.w3.org/checklink (я не разобрался до конца, как пользоваться этим сервисом).

Все остальные онлайн-сервисы бесполезны, так как их бесплатный функционал сильно урезан, а зачем платить за полную версию, если то же самое доступно бесплатно?

Программы для установки на ПК

Если вы пользуетесь Windows, то я рекомендую разобраться, как использовать бесплатную программу Xenu. К сожалению, она работает только с Windows.

LinkChecker – бесплатная программа проверки битых ссылок, которая работает во всех операционных системах: Linux, Windows и MacOS X. Но придется разобраться, как ее установить и как она работает.

Если у вас операционная система Убунту, то вам очень понравится программа KLinkStatus, которую можно установить прямо из центра установки приложений нажатием одной кнопки.

Покупать платные программы для проверки битых ссылок я не вижу смысла, потому что есть эти замечательные бесплатные решения.

Других бесплатных вариантов на сегодняшний день нет – я проверил все! Если вы вдруг найдете что-то еще поделитесь, пожалуйста.

Битая ссылка — неработающая, ведет на несуществующую страницу на сайте. При переходе по такой посетитель увидит сообщение об ошибке. (Говоря техническим языком, сервер отправит код ответа 404 «Not found».)

Битые ссылки могут появиться из-за банальной ошибки при написании, а также страниц, которые раньше существовали, а потом были удалены или перенесены.

Вот что Click.ru сообщает при попытке перехода на несуществующую страницу

А вот что отвечает Amazon

Бывает и такой креативный подход (Convert Monster)

Главная проблема в том, что битые ссылки ухудшают поведенческие факторы сайта, влияющие на успех SEO-продвижения. Потому что не все посетители настойчивые и терпеливые: многие могут просто уйти, если возникают сложности с навигацией. К тому же избыток broken links — риск попасть под один из фильтров Google.

Рассказываем о 11 способах найти нерабочие ссылки на сайтах. Дальше дело будет за малым: останется вручную поправить их через панель управления или настроить 301 редирект.

Вебмастеры Яндекса и Google

В отчетах обоих этих официальных инструментов можно увидеть, сколько на сайте сломанных ссылок и где они находятся.

В Google Search Console: «Индекс» → «Покрытие» → «Ошибка 404». В Яндекс.Вебмастере: «Индексирование» → «Статистика обхода», а также «Ссылки» → «Внутренние ссылки».

Пример отчета Яндекс.Вебмастера по удаленным ссылкам

Естественно, этот способ проверки работает, только если есть права доступа к сайту. Чужой ресурс не получится проанализировать таким образом.

Читайте также: 26 полезных функций «Яндекс.Вебмастера»

Системы веб-аналитики

Самые популярные счетчики веб-аналитики тоже могут помочь обнаружить проблемы с работоспособностью ссылок.

Само по себе количество ошибочных переходов (на страницу 404) можно увидеть в отчетах:

• Яндекс.Метрики: «Содержание» → «Заголовки страниц».
• Google Analytics: «Поведение» → «Контент сайта» → «Все страницы» (выбрать параметр «Название страницы»).

Важно: при условии, что 404-страница имеет отличный от других title. Еще она, скорее, будет выделяться и в отчетах «Страницы выхода». Там как раз можно увидеть, насколько битые ссылки ухудшают юзабилити сайта.

В конструкторе Nethouse, например, заголовок 404 страницы по умолчанию выглядит так. По нему можно увидеть нерабочие URL

Кстати, с помощью Click.ru вы можете спарсить метатеги и заголовки с любого сайта. Первые 500 запросов — бесплатно. Дальше от 0,04 р. за запрос.

Отследить, где именно находится битая ссылка, немного сложнее. В Яндекс.Метрике для этого нужно:

1. Создать цель JavaScript-событие с идентификатором типа «error404», название сделать таким же.

2. Добавить в код страницы (XXXXXX — номер счетчика):

<script>
window.onload = function (){
ym(XXXXXX, 'reachGoal', 'error404');
}
</script>

3. Отслеживать в отчетах достижения этой цели по параметру «Страница входа».

Можно будет выбрать группировку по «Страница входа» и добавить метрику — «Целевые визиты» по указанному ID. Отчет покажет страницы, на которых срабатывала ошибка 404.

В Google Analytics можно сделать похожим образом, с помощью событий, или настроить специальный отчет (для этого проще взять шаблон Якова Осипенкова).

Пример отчета по битым внутренним ссылкам. «Страница» как раз показывает URL, который вызвал ошибку. (Для проверки внешних ссылок есть другой шаблон).

Эти фильтры Google Analytics тоже работают только в том случае, если 404-страница имеет уникальный заголовок (title).

Читайте также: 20+ ресурсов для обучения веб-аналитике: блоги, курсы, каналы, сообщества, рассылки

Сервисы комплексного SEO-анализа

Другой способ проверить сайт на битые ссылки — воспользоваться одним из сервисов для SEO-аудита.

Netpeak Spider предлагает найти не только broken links, но и дубли метатегов; проверить код сервера сервера, структуру сайта, редиректы, индексацию и др. Мощная фича: встроенный парсер для извлечения данных с различных ресурсов. Подписка стоит от 15 $ в месяц, есть бесплатный тариф.

Пример аудита от Netpeak Spider

Serpstat анализирует и битые ссылки, и битые картинки. И много чего еще делает: мониторит ссылочную массу, показывает ошибки в заголовках и метатегах, показывает позиции сайта в поисковиках и т. д. Подписка стоит от 55 $ в месяц, есть демо-доступ.

Так выглядит отчет Serpstat по URL с ошибками 404

Screaming Frog SEO Spider сканирует сайт и находит нерабочие ссылки, дубли, ошибки в метаданных, показывает структуру, анализирует редиректы, директивы и др. Лицензия на программу стоит 149 евро в год, однако поиск битых ссылок есть и в бесплатной версии.

Обзор 10 версии Screaming Frog

SEO Analysis & Website Review by WooRank отображает тайтл, дескрипшн и сниппет в Google, проверяет валидность Sitemap, мобильность, юзабилити, структурированные данные — и, конечно, битые ссылки тоже. Это расширение для Chrome, и оно бесплатное. (Правда, в отличие от других, подойдет только для небольших сайтов, так как надо анализировать постранично, вручную).

Оценка ссылок на странице от SEO Analysis & Website Review

Кстати, анализ битых ссылок может входить в функционал сервисов автоматизации рекламы и сквозной аналитики. Например, такая возможность есть у Alytics, Marilyn.

Специализированные инструменты

Вебмастерские, системы веб-аналитики, сервисы комплексного SEO-аудита не подходят — есть более узкие инструменты, заточенные чисто под поиск битых ссылок.

Xenu’s Link Sleuth — старая-добрая программа, проверяет сайты на наличие «сломанных» ссылок. Впрочем проверяет не только ссылки, но и изображения, фреймы, плагины, скрипты. Инструмент полностью бесплатный.

Так выглядит отчет Xenu’s Link Sleuth

Badlinks — онлайн-сервис, который предлагает как разовую, так и регулярную проверку «плохих» ссылок на сайте. Разовая стоит от 50 рублей, регулярная — от 250 рублей в год. Стоимость сильно варьируется, так как зависит от частоты анализа и размера сайта. Бесплатный поиск ограничен 10 страницами.

Так выглядит бесплатный отчет от badlinks.ru (хорошо видно, как всеми силами уговаривают пройти полную платную проверку)

Check My Links — расширение Chrome для поиска нерабочих ссылок на странице. Есть возможность скопировать весь список в буфер обмена, не учитывать ссылки на определенные домены, включить отслеживание nofollow. Инструмент абсолютно бесплатный.

Так выглядят результаты поиска в Check My Links (кстати, еще плагин подсвечивает их на самой странице)

Если работаете с Google Ads, обратите внимание на скрипт, который сканирует все посадочные страницы и сообщает о битых ссылках на почту. О других скриптах и том, как с ними работать, — в блоге Click.ru.

Читайте также: 35+ ресурсов для обучения SEO и развития в профессии

Поиск битых ссылок на сайте

Для чего предназначен сервис проверки «битых» ссылок?

Битые (неработающие) ссылки – это гиперссылки, которые ведут к несуществующим файлам или страницам сайта. Битые ссылки могут негативно влиять на юзабилити и ранжирование вашего сайта. Инструмент проверки битых URL позволяет искать все «мертвые» ссылки (отдающие ответ сервера «404 error not found») на вашем веб-сайте.

Как найти неработающие ссылки

Регулярная проверка качества битых ссылок необходима для эффективного продвижения сайта. С помощью нашего онлайн-инструмента вы можете бесплатно проверить до 500 страниц сайта и получить подробный отчет о наличии неработающих ссылок.

Неработающие (битые) ссылки – это URL-адреса, которые ведут пользователя на заблокированные или неактивные страницы. При нажатии на такую ссылку отображается сообщение об ошибке 404. В большинстве случаев, обнаружив большое количество неработающих ссылок на сайте, пользователь перестает заходить на этот ресурс, и поисковая система может понизить позицию такого сайта в результатах поиска. Поэтому анализ сайта на наличие битых ссылок является крайне важной процедурой, позволяющей вовремя исправить ошибки и предотвратить снижение позиций сайта.

Основные причины неработающих URL-адресов:

• неправильный адрес;
• изменилась структура сайта или был настроен ЧПУ;
• указанный файл был удален или перемещен;
• срок хранения файла, на который была установлена ссылка, истек;
• адреса связанных страниц были изменены;
• ресурс заблокирован.

Почему битые ссылки это плохо?

Три основных фактора:

• из-за большого числа неработающих ссылок посетители покидают сайт;
• поисковые роботы снижают в выдаче сайты с большим количеством битых ссылок;
• неработающая ссылка может существовать на сайте месяцами и годами, и тем самым снижать конверсию сайта.

Как проверить сайт на наличие неработающих ссылок

С помощью инструмента проверки битых ссылок можно проверить наличие «мертвых» ссылок на любом сайте. Этот способ проверки намного быстрее и эффективнее, чем поиск подобных URL-адресов самостоятельно. Как пользоваться сервисом:

• введите URL-адрес в адресной строке;
• запустите сканирование вашего сайта;
• ждете результата.

Всесторонние возможности отчета и анализа

Благодаря подробному анализу вы получите удобный отчет со списком неработающих ссылок. Этот отчет можно скачать в формате CSV для дальнейшей обработки в Microsoft Excel.

Результаты анализа кодов ответов сервера будут представлены вам в виде ссылок на страницы с донорами и анкорами таких ссылок. Проверяя неработающие ссылки, вы получите подробную информацию о ссылках, соответствующих коду ошибки 404, и рекомендации по их исправлению. Эти ссылки, в зависимости от причины их появления, могут быть удалены или исправлены на рабочие (с кодом ответа 200).

Ограничения сервиса

Сканирование и анализ страниц выполняется максимально быстро, поэтому вы можете выполнить большой объем работы и проверить до 500 страниц, сэкономив свое время.

Чтобы проверить веб-сайты с количеством страниц от 500 и более, используйте наш бесплатный инструмент – программу SiteAnalyzer >>

Проверка битых ссылок

Введите URL-адрес

Кликнув на ссылку с количеством страниц вы откроете отчет с ссылками которые ведут на несуществующие страницы.

Как найти битые ссылки

Битые ссылки представляют собой URL, которые ведут пользователя на недоступные страницы. При переходе по такой ссылке отображается ошибка. В большинстве случаев, обнаружив битую ссылку на сайте, пользователь прекращает заходить на данный ресурс. Поэтому анализ сайта на наличие битых ссылок — чрезвычайно важная процедура, позволяющая вовремя исправить ошибки и не допустить снижения рейтинга страницы.

Основные причины появления неработающих URL:

• неправильно указан URL страницы;
• структура сайта была изменена;
• файл, на который ведет ссылка, был удален или перемещен;
• срок хранения файла, на который ведет ссылка, истек;
• адреса страниц, на которые ведет ссылка, были изменены;
• ресурс был заблокирован.

Как проверить сайт на наличие битых ссылок

Отчет позволит вам определить страницу донор, откуда проставлена ссылка, и анкор по которому она ссылается. Полученная информация упростит вам исправление или удаление битых ссылок.

С помощью сервиса Saitreport вы можете проверить на битые ссылки любой сайт. Такой способ проверки гораздо быстрее и эффективнее, чем самостоятельный поиск неработающих URL. Воспользоваться сервисом абсолютно просто:

• введите URL в строку анализа;
• запустите проверку;
• дождитесь результата.

Благодаря тщательному анализу, включающему в себя более двухсот параметров ресурса, вы получите удобный отчет со списком битых ссылок. Данный отчет можно выгрузить в формат .csv.

Результаты анализа кодов ответа будут представлены вам в виде ссылающихся страниц с указанием доноров и анкоров таких ссылок. Благодаря проверке битых ссылок на сайте Saitreport вы получите подробную информацию о ссылках, соответствующих коду ошибки 404, и рекомендации по их исправлению. Данные ссылки, в зависимости от причины их появления, можно удалить или исправить.

Заказ поиска битых ссылок на сайте Saitreport позволяет воспользоваться удобным онлайн-сервисом и получить подробные данные о состоянии сайта и угрозе снижения лояльности пользователей. Анализ страниц производится максимально быстро, поэтому вы можете выполнить большой объем работ и проверить до пятидесяти страниц, сэкономив свое время.