Проверить страницы на 404 ошибку

If your running php5 you can use:

$url = 'http://www.example.com';
print_r(get_headers($url, 1));

Alternatively with php4 a user has contributed the following:

/**
This is a modified version of code from "stuart at sixletterwords dot com", at 14-Sep-2005 04:52. This version tries to emulate get_headers() function at PHP4. I think it works fairly well, and is simple. It is not the best emulation available, but it works.

Features:
- supports (and requires) full URLs.
- supports changing of default port in URL.
- stops downloading from socket as soon as end-of-headers is detected.

Limitations:
- only gets the root URL (see line with "GET / HTTP/1.1").
- don't support HTTPS (nor the default HTTPS port).
*/

if(!function_exists('get_headers'))
{
    function get_headers($url,$format=0)
    {
        $url=parse_url($url);
        $end = "rnrn";
        $fp = fsockopen($url['host'], (empty($url['port'])?80:$url['port']), $errno, $errstr, 30);
        if ($fp)
        {
            $out  = "GET / HTTP/1.1rn";
            $out .= "Host: ".$url['host']."rn";
            $out .= "Connection: Closernrn";
            $var  = '';
            fwrite($fp, $out);
            while (!feof($fp))
            {
                $var.=fgets($fp, 1280);
                if(strpos($var,$end))
                    break;
            }
            fclose($fp);

            $var=preg_replace("/rnrn.*$/",'',$var);
            $var=explode("rn",$var);
            if($format)
            {
                foreach($var as $i)
                {
                    if(preg_match('/^([a-zA-Z -]+): +(.*)$/',$i,$parts))
                        $v[$parts[1]]=$parts[2];
                }
                return $v;
            }
            else
                return $var;
        }
    }
}

Both would have a result similar to:

Array
(
    [0] => HTTP/1.1 200 OK
    [Date] => Sat, 29 May 2004 12:28:14 GMT
    [Server] => Apache/1.3.27 (Unix)  (Red-Hat/Linux)
    [Last-Modified] => Wed, 08 Jan 2003 23:11:55 GMT
    [ETag] => "3f80f-1b6-3e1cb03b"
    [Accept-Ranges] => bytes
    [Content-Length] => 438
    [Connection] => close
    [Content-Type] => text/html
)

Therefore you could just check to see that the header response was OK eg:

$headers = get_headers($url, 1);
if ($headers[0] == 'HTTP/1.1 200 OK') {
//valid 
}

if ($headers[0] == 'HTTP/1.1 301 Moved Permanently') {
//moved or redirect page
}

W3C Codes and Definitions

У вас может быть очень крутой сайт. Качественный, с интересным контентом, с полезными товарами. Дизайном шикарным и удобным меню. Но если на нем есть битые ссылки (особенно если их много), это автоматически делает его подозрительным в глазах поисковых роботов и создает дурное впечатление о ресурсе со стороны посетителей. Такого допускать нельзя. Ваш прекрасный сайт должен быть прекрасным во всем. И мы этого добьемся.

Что такое битая ссылка?

Битая ссылка — это страница на сайте, которую нельзя открыть. Ее не существует. Когда потенциальный посетитель пытается на нее попасть, то получает в ответ ошибку. Это может быть ошибка 404 Not Found или 400 Bad Request. Или без кода вовсе: Timeout, Empty, Reset. Зависит от настроек конкретного ресурса. Оболочка разная, а смысл один и тот же. Сервер говорит, что искомой страницы здесь нет.

Такие ссылки еще изредка называют «мертвыми». Они возникают по нескольким распространенным причинам:

1. В адресе страницы допущена ошибка. Неправильно написано слово или не хватает какого-то символа. Или не настроены алиасы.
2. Структуру сайта недавно кардинально поменяли, не настроив при этом перенаправление со старых ссылок.
3. Ссылки на сторонний контент на странице удалили или каким-либо образом «сломали».
4. В коде сайта затесались ошибки. В HTML или в JavaScript. Может быть, это сбой в CMS.

Чем опасны битые ссылки?

Есть две неподтвержденные теории и один солидный факт, подтверждающие серьезную угрозу со стороны битых ссылок.

Первая теория такая. Считается, что поисковые роботы Google и Яндекс не любят битые ссылки. Заприметив оные, поисковики решат, что сайт уже давно бросили или сделали так криво, что и стыдно его людям показывать. В связи с этим, позиции ресурса в Google и Яндекс заметно «просядут». Но никто еще не доказал, что это так.

Вторая теория. Якобы битые ссылки расходуют краулинговый бюджет — объем страниц, который поисковики сканируют за определенный период времени. Здесь вмешался представитель Google и сказал, что появление 404 ошибки никак не повлияет на краулинговый бюджет.

А вот что реально важно, так это отношение посетителей к сайту с битыми ссылками. На таких долго не задерживаются. Обычно 404 Not Found говорит о том, что надо бы перейти на главную страницу и воспользоваться поиском. Но всем плевать. Человек просто вернется в Google и будет искать ресурс с рабочими ссылками. Все. Вы потеряли своего посетителя.

Из-за этого вырастет доля отказов. А это не только упущенная аудитория, но и проблемы с ранжированием. Поисковик простит вам битую ссылку, но не простит визитер, который провел на сайте всего секунду и неожиданно убежал.

Как разыскать все битые ссылки на сайте?

Никто не будет сидеть и тыкать во все ссылки на сайте, чтобы найти битые. Тем более, если такие есть на чужих ресурсах. Поиском мертвых страниц занимаются специальные веб-сервисы и приложения. Кому что удобнее.

Я бы советовал не останавливать выбор на чем-то одном. Бывает так, что один сервис отображает неполную информацию. Это как с антивирусами. В тандеме находят больше угроз, чем по одиночке.

Google Search Console

Официальная панель управления Google отлично справляется с поиском битых ссылок. Так что можно отлавливать 404-е с помощью нее. Надо только подтвердить свои права на домен, а потом открыть пункт меню «Покрытие».

Яндекс.Вебмастер

Аналогичная функция есть в Яндексе. В их Вебмастере есть раздел «Ссылки», где можно взглянуть на все поломанные. Только вот здесь есть сложности с экспортом отчета. Раньше не было удобного способа вытащить все данные об ошибках, чтобы потом их устранить. Сейчас можно скачать TSV-файл с 10 000 битых ссылок. Кому-то даже этого будет мало.

Xenu

Это старая программа, но отчеты из нее многие до сих пор считают эталонными. Xenu предоставляет информацию бесплатно, поэтому можно попробовать самостоятельно и без финансовых потерь.

• Поддерживает страницы с шифрованием.
• Работает быстрее большинства аналогов.
• Может обнаружить перенаправления.
• Позволяет делать повторные проверки.

Broken Link Checker

Это даже не отдельная программа, а плагин для WordPress. Дико популярный и полезный. Из плюсов можно выделить то, что он бесплатный и встраивается в WordPress. А из минусов — то, что он не всегда работает корректно и сложно настраивается. Часто приходится запускать модуль по несколько раз, чтобы был какой-то прок. Но другие дополнения к WordPress подобного рода оказываются еще хуже.

Netpeak Spider

Это дорогой и сложный инструмент для скрупулезного SEO-аудита. Он справляется с поиском сломанных страниц, но создавался для решения более широкого круга задач. Скорее всего, его покупка себя полностью не оправдает. Но функциональность хвалят, да.

Dead Link Checker

Платный онлайн-сервис для поиска ошибок 404 на ресурсе. Работает по подписке. То есть платите 10$ в месяц и получаете возможность отсканировать до 50 000 ссылок. Когда есть бесплатные альтернативы, кажется, что это не самый лучший выбор. Но я его не тестировал. Возможно, он творит какие-то чудеса и находит то, что не способны найти конкуренты.

Есть еще с десяток подобных приложений и сайтов, но они так себе. Либо работают чересчур медленно, либо стоят неадекватно дорого.

Нашел все битые ссылки, что дальше?

То, что нашли, уже хорошо. Только теперь надо их исправить. Будем действовать по следующей схеме действий:

• Разберем все ссылки.
• Категоризируем их.
• И исправим все ошибки.

Анализируем ссылки

Сначала надо организовать данные, полученные из сервисов по поиску битых ссылок. Надо понять, почему те или иные ссылки поломаны. Например, если дело в опечатке, то проще всего исправить эту самую опечатку в коде сайта. Если страницы больше не существует, то надо удалить ссылку и добавить заглушку с соответствующим сообщением. Мол, «410 Gone, ребята, странички не будет». А если вы недавно переехали на другой домен, то самым адекватным решением будет — настроить массовый редирект.

Поэтому для начала можно создать такую простенькую табличку:

На ней сразу будет видно ссылки, которым нужен редирект, ссылки, для которых стоит заморочиться с исправлением опечаток, и те, о которых можно забыть.

Но это, конечно, исключительно пример. Вы можете организовать полученную информацию, как вздумается.

Исправляем опечатки

Опечатки бывают двух типов. Те, что допустили вы как владелец сайта. И те, что допускают посетители, надумавшие зайти к вам вручную, указав адрес страницы (страшные люди). Какие опечатки стоит исправлять и так понятно. Те, что допустили сами.

Но есть еще один момент. Если по ссылке с опечаткой пытаются пройти регулярно, то имеет смысл настроить перенаправление на правильную страницу. Или сделать вариант с опечаткой рабочей альтернативой для самых настойчивых.

Настраиваем редирект

Теперь займемся ссылками, которые по-вашему мнению нуждаются в перенаправлении.

Тут и пригодится таблица, которую я описал выше. Наглядно показано, что и куда должно переехать.

Расскажу, как можно сделать 301 редирект в CMS WordPress и с помощью файла .htaccess

WordPress

• Открываем вкладку «Инструменты»

• Переходим в подпункт «Плагины».
• Кликаем по поисковому полю.
• Ищем плагин Redirection и устанавливаем его.

В поисковике будут и другие плагины, с помощью которых можно настроить редирект. Можете попробовать их. Это уже дело вкуса.

• Потом снова открываем вкладку «Инструменты».
• Переходим к настройкам плагина «Перенаправления».
• Нажимаем на Add new redirection.

• Указываем Source URL (ссылку, с которой надо перенаправить).
• А потом Target URL (куда надо перенаправить).
• И сохраняем заданные параметры.

Ну и так придется повторять до тех пор, пока все ссылки, нуждающиеся в перенаправлении, не получат его. Эти задачи нередко достаются верстальщикам на аутсорсе или «разнорабочим» с UpWork и других бирж.

Как сделать массовый редирект

При переезде на новый домен вручную делать редирект всех битых ссылок — это нерациональный адский труд. Поэтому проще воспользоваться массовым редиректом. Делаем следующее:

• Открываем сайт для генерации файла .htaccess с настроенным перенаправлением.
• Ставим галочки напротив пунктов Mass Redirect to another Domain и 301 Redirect URLs.

• Напротив первого вписываем название сайта.
• Напротив второго домен, с которого нужно перенаправить пользователей, и домен, на которой надо перенаправить.
• Нажимаем на кнопку Generate .htaccess в нижней части страницы.

• Потом копируем сгенерированный код и вставляем его в файл .htaccess на сервере.

Впрочем, так можно сгенерировать код для любого типа перенаправлений.

Что делать с битыми ссылками на чужих сайтах?

Теперь вы знаете, что делать со страницами, которые убили сами и к которым у нас есть доступ. Проблематичнее дела обстоят с чужими сайтами, где есть ссылки на ваш ресурс. Они тоже подвержены опечаткам и переезду. Тоже будeт ошибка. Но дело поправимое.

Попросим владельца сайта поменять ссылку

Это, наверное, до боли очевидное решение. Просто постучите владельцам сайта, на котором лежит битая ссылка на ваш ресурс. Попросите их исправить опечатку или указать в материале обновленный адрес. Если удастся с ними связаться, то больше ничего делать и не придется. Все поправят за вас. Но шансы, что вас проигнорируют ощутимо выше.

Настроим редирект с битой ссылки на рабочую

Работает так же, как и в случае со своими ссылками. Просто настройте редирект, чтобы пользователь оказался в нужном месте. Для этого не надо ни с кем связываться и ждать ответа. Настраиваем перенаправление удобным способом и радуемся.

Заново создаем пропавшую страницу

Если уже успели удалить страницу, на которую ведет битая ссылка, то можно создать ее заново. Добавьте туда аналогичный контент. Или тот же, что был раньше. Это может пригодиться, если с чужой страницы приходит большое число посетителей.

Настроим редирект на похожую страницу

Может, контент на уже несуществующей странице устарел? Подумайте, возможно, у вас есть страничка с похожей информацией. Будет хорошей идеей настроить редирект на нее. Тогда и вы ничего не теряете, и посетитель получит то, чего ждет.

И бонусом делаем кастомную страничку 404

Тоже хороший вариант. Сделайте страницу с ошибкой 404 более привлекательной. Оригинальной, что ли. Добавьте картинку, анимацию. Не плоскую шутку. А самое главное, ссылку на главную страницу или на встроенный поисковик. Так вы в десятки раз повысите вероятность, что пользователь останется на вашем сайте, а не ретируется, заметив страшные черные буквы — Not Found.

Можно испробовать все описанные способы в том же порядке. Не ответил владелец чужого сайта? Пилите редирект. Не подходит вариант с редиректом? Так хотя бы сделайте нормальную страничку с ошибкой. Это уже что-то.

Выводы

Итак, еще раз:

• Битые ссылки — поломанные страницы, отзывающиеся ошибками 400 и 404.
• Они портят жизнь посетителям вашего сайта. Так что придется принимать какие-то меры.
• Их несложно найти с помощью бесконечного количества сайтов и программ, заточенных под эту задачу.
• И есть ворох путей исправления ситуации, независимо от того, почему появились проклятые битые ссылки.

Думаю, на этом и закончим. Спасибо.

Ошибка 404 — это стандартный код ответа HTTP, который говорит о том, что страница не может быть найдена. Ошибка 404 означает, что, хотя сам сервер ответил на запрос, конкретная страница, показывающая ошибку, оказалась недоступна.

Обычно такую ошибку пользователи видят, когда переходят по ссылке, ведущей на несуществующую страницу.

Причины возникновения ошибок 404

Как правило, появление такой ошибки вызывают:

• перемещение страницы сайта без перенаправления старого URL-адреса на новый;
• ссылка на страницу, которая уже удалена;
• неправильное написание URL в адресной строке или ссылке;
• появление большого количества ошибок 404 может быть вызвано вирусной атакой (например, размещением на сайте дорвеев).

Как ошибки 404 влияют на ранжирование сайта?

Хотя ошибки 404 сами по себе не являются фактором ранжирования, они могут отрицательно повлиять на SEO-продвижение.

Даже единичные битые ссылки снижают поведенческие характеристики сайта, вызывая уход посетителей и рост показателя отказов. Это является негативным сигналом для поисковых систем. Официальные источники Яндекса и Google рекомендуют избегать неработающих ссылок на сайте. Большое количество таких ошибок негативно влияет на его ранжирование. Чем больше неработающих ссылок на вашем сайте, тем сложнее будет Google и другим поисковым системам сканировать сайт. Поисковые системы считают, что за состоянием такого веб-ресурса никто не следит, и понижают его позиции в результатах поиска. Страницы, отдающие ответ с ошибкой 404, исключаются из индекса (базы данных поисковой системы).

Полностью избежать возникновения ошибки 404 невозможно, она может возникнуть на любом сайте — где-то поменяли адрес, удалили какой-то раздел или страницу, а ссылки на них осталась. Например, это может произойти при удалении карточек товаров в интернет-магазинах.

Чтобы наличие на сайте таких страниц не привело к ухудшению ранжирования ресурса, они должны быть правильно настроены — давать код ответа 404 (Not Found). Именно такой ответ сообщает поисковому роботу, что данной страницы не существует, и предотвращает ее индексирование.

Страница может выглядеть нормальной, но при этом давать ответ 404 или наоборот — уже несуществующая страница возвращает ответ 200 (страница доступна). Это вводит в заблуждение поисковые системы.

Если вместо кода 404 будет даваться ответ 200, в индекс попадет множество бесполезных страниц, которые будут сканироваться поисковым роботом вместо страниц с качественным контентом.

Лучший способ сделать так, чтобы посетители не попадали на страницу 404 — регулярно проверять наличие на сайте так называемых «битых» ссылок, которые ведут на несуществующие страницы. Это касается как внутренней перелинковки, так и внешних ссылок на другие ресурсы.

Как обнаружить ошибки 404 с помощью сервиса Labrika

Отчет «Ошибки 4хх» вы сможете найти в левом боковом меню в разделе «Технический аудит».

Отчет содержит:

• URL-адрес страницы, которая отдала код ошибки 4xx.
• Информацию о коде ответа страницы.
• Кнопку для проверки HTTP-статуса — при нажатии на неё откроется сервис проверки HTTP-заголовков страниц.

• Список страниц, с которых ведут ссылки на данную страницу с ошибкой 404 — открывается при нажатии на кнопку «Показать».

Как исправить ошибки 404?

Необходимо удалить ссылки на несуществующие страницы или восстановить работоспособность этих страниц. В первую очередь исправляйте важные страницы с ошибками 404 — карточки товаров, страницы услуг и контактов и т. д.

• Самый простой способ исправить ошибки 404 – перенаправление. Если контент переместился, настройте перенаправление на новый адрес. В случае удаления содержимого перенаправьте пользователей на другую релевантную страницу на вашем сайте. По возможности делайте перенаправление на что-то актуальное и полезное, а не просто отправляйте обратно на свою домашнюю страницу.
• Восстановление страницы. Если удаленная страница продолжает пользоваться высоким спросом, и нет другого подходящего контента для переадресации пользователей, рассмотрите возможность восстановления исходной страницы.
• Исправление ссылок. При наличии на вашем сайте неработающих ссылок отредактируйте их так, чтобы ссылки указывали на правильный URL-адрес.
• Если вы безвозвратно удалили содержимое страницы и не планируете заменять его другим связанным контентом, позвольте старому URL-адресу возвращать код ответа 404.
• Создайте информативную страницу ошибки 404. Она должна сообщить пользователю, что документ по этому адресу отсутствует, и предоставить возможность перейти на другие разделы сайта. Иначе посетители могут уйти с веб-ресурса, что приведет к потере трафика и ухудшению поведенческих факторов.

Более подробно об оформлении страницы 404-й ошибки вы можете прочитать в отдельной статье нашего сайта.

Проверка битых ссылок

Введите URL-адрес

Кликнув на ссылку с количеством страниц вы откроете отчет с ссылками которые ведут на несуществующие страницы.

Как найти битые ссылки

Битые ссылки представляют собой URL, которые ведут пользователя на недоступные страницы. При переходе по такой ссылке отображается ошибка. В большинстве случаев, обнаружив битую ссылку на сайте, пользователь прекращает заходить на данный ресурс. Поэтому анализ сайта на наличие битых ссылок — чрезвычайно важная процедура, позволяющая вовремя исправить ошибки и не допустить снижения рейтинга страницы.

Основные причины появления неработающих URL:

• неправильно указан URL страницы;
• структура сайта была изменена;
• файл, на который ведет ссылка, был удален или перемещен;
• срок хранения файла, на который ведет ссылка, истек;
• адреса страниц, на которые ведет ссылка, были изменены;
• ресурс был заблокирован.

Как проверить сайт на наличие битых ссылок

Отчет позволит вам определить страницу донор, откуда проставлена ссылка, и анкор по которому она ссылается. Полученная информация упростит вам исправление или удаление битых ссылок.

С помощью сервиса Saitreport вы можете проверить на битые ссылки любой сайт. Такой способ проверки гораздо быстрее и эффективнее, чем самостоятельный поиск неработающих URL. Воспользоваться сервисом абсолютно просто:

• введите URL в строку анализа;
• запустите проверку;
• дождитесь результата.

Благодаря тщательному анализу, включающему в себя более двухсот параметров ресурса, вы получите удобный отчет со списком битых ссылок. Данный отчет можно выгрузить в формат .csv.

Результаты анализа кодов ответа будут представлены вам в виде ссылающихся страниц с указанием доноров и анкоров таких ссылок. Благодаря проверке битых ссылок на сайте Saitreport вы получите подробную информацию о ссылках, соответствующих коду ошибки 404, и рекомендации по их исправлению. Данные ссылки, в зависимости от причины их появления, можно удалить или исправить.

Заказ поиска битых ссылок на сайте Saitreport позволяет воспользоваться удобным онлайн-сервисом и получить подробные данные о состоянии сайта и угрозе снижения лояльности пользователей. Анализ страниц производится максимально быстро, поэтому вы можете выполнить большой объем работ и проверить до пятидесяти страниц, сэкономив свое время.

Довольно широко распространена ситуация, когда мы, пользователи, натыкаемся на несуществующие страницы с кодом ответа 404 Not Found. Такие страницы есть на любом сайте, достаточно лишь вбить в адресную строку URL с ошибкой. Но вот проблема — наличие внутренних ссылок на них обязательно к исправлению, и вот почему.

Какие причины приводят к 404

Вызывать эту ошибку могут следующие причины:

Помочь найти страницы с 404 ошибкой помогут панели для вебмастеров.

Что делать

Сами по себе 404 ошибки являются нормальной практикой, но те ссылки, которые на них ведут — довольно неприятное явление. Постарайтесь как можно быстрее от них избавиться, изменив на корректные либо вовсе удалив. Так вы значительно меньше будете растрачивать краулинговый бюджет поисковых роботов, а чтобы сократить вероятность ухода с сайта живых людей, при попадании на такую страницу, правильно оформляйте страницу 404. Это тема нашей следующей статьи.

Как узнать сколько пользователей зашли на 404 страницу

Наиболее эффективный способ — создать цель в Яндекс.Метрике и отслеживать её.

После создания цели в Метрике установите на 404 страницу следующий код:

XXXXXXX — номер вашего счетчика.

После этого вы сможете отслеживать трафик на 404 странице. Подобным образом можно сделать и в Google Analytics.

Битая ссылка — неработающая, ведет на несуществующую страницу на сайте. При переходе по такой посетитель увидит сообщение об ошибке. (Говоря техническим языком, сервер отправит код ответа 404 «Not found».)

Битые ссылки могут появиться из-за банальной ошибки при написании, а также страниц, которые раньше существовали, а потом были удалены или перенесены.

Вот что Click.ru сообщает при попытке перехода на несуществующую страницу

А вот что отвечает Amazon

Бывает и такой креативный подход (Convert Monster)

Главная проблема в том, что битые ссылки ухудшают поведенческие факторы сайта, влияющие на успех SEO-продвижения. Потому что не все посетители настойчивые и терпеливые: многие могут просто уйти, если возникают сложности с навигацией. К тому же избыток broken links — риск попасть под один из фильтров Google.

Рассказываем о 11 способах найти нерабочие ссылки на сайтах. Дальше дело будет за малым: останется вручную поправить их через панель управления или настроить 301 редирект.

Вебмастеры Яндекса и Google

В отчетах обоих этих официальных инструментов можно увидеть, сколько на сайте сломанных ссылок и где они находятся.

В Google Search Console: «Индекс» → «Покрытие» → «Ошибка 404». В Яндекс.Вебмастере: «Индексирование» → «Статистика обхода», а также «Ссылки» → «Внутренние ссылки».

Пример отчета Яндекс.Вебмастера по удаленным ссылкам

Естественно, этот способ проверки работает, только если есть права доступа к сайту. Чужой ресурс не получится проанализировать таким образом.

Читайте также: 26 полезных функций «Яндекс.Вебмастера»

Системы веб-аналитики

Самые популярные счетчики веб-аналитики тоже могут помочь обнаружить проблемы с работоспособностью ссылок.

Само по себе количество ошибочных переходов (на страницу 404) можно увидеть в отчетах:

• Яндекс.Метрики: «Содержание» → «Заголовки страниц».
• Google Analytics: «Поведение» → «Контент сайта» → «Все страницы» (выбрать параметр «Название страницы»).

Важно: при условии, что 404-страница имеет отличный от других title. Еще она, скорее, будет выделяться и в отчетах «Страницы выхода». Там как раз можно увидеть, насколько битые ссылки ухудшают юзабилити сайта.

В конструкторе Nethouse, например, заголовок 404 страницы по умолчанию выглядит так. По нему можно увидеть нерабочие URL

Кстати, с помощью Click.ru вы можете спарсить метатеги и заголовки с любого сайта. Первые 500 запросов — бесплатно. Дальше от 0,04 р. за запрос.

Отследить, где именно находится битая ссылка, немного сложнее. В Яндекс.Метрике для этого нужно:

1. Создать цель JavaScript-событие с идентификатором типа «error404», название сделать таким же.

2. Добавить в код страницы (XXXXXX — номер счетчика):

<script>
window.onload = function (){
ym(XXXXXX, 'reachGoal', 'error404');
}
</script>

3. Отслеживать в отчетах достижения этой цели по параметру «Страница входа».

Можно будет выбрать группировку по «Страница входа» и добавить метрику — «Целевые визиты» по указанному ID. Отчет покажет страницы, на которых срабатывала ошибка 404.

В Google Analytics можно сделать похожим образом, с помощью событий, или настроить специальный отчет (для этого проще взять шаблон Якова Осипенкова).

Пример отчета по битым внутренним ссылкам. «Страница» как раз показывает URL, который вызвал ошибку. (Для проверки внешних ссылок есть другой шаблон).

Эти фильтры Google Analytics тоже работают только в том случае, если 404-страница имеет уникальный заголовок (title).

Читайте также: 20+ ресурсов для обучения веб-аналитике: блоги, курсы, каналы, сообщества, рассылки

Сервисы комплексного SEO-анализа

Другой способ проверить сайт на битые ссылки — воспользоваться одним из сервисов для SEO-аудита.

Netpeak Spider предлагает найти не только broken links, но и дубли метатегов; проверить код сервера сервера, структуру сайта, редиректы, индексацию и др. Мощная фича: встроенный парсер для извлечения данных с различных ресурсов. Подписка стоит от 15 $ в месяц, есть бесплатный тариф.

Пример аудита от Netpeak Spider

Serpstat анализирует и битые ссылки, и битые картинки. И много чего еще делает: мониторит ссылочную массу, показывает ошибки в заголовках и метатегах, показывает позиции сайта в поисковиках и т. д. Подписка стоит от 55 $ в месяц, есть демо-доступ.

Так выглядит отчет Serpstat по URL с ошибками 404

Screaming Frog SEO Spider сканирует сайт и находит нерабочие ссылки, дубли, ошибки в метаданных, показывает структуру, анализирует редиректы, директивы и др. Лицензия на программу стоит 149 евро в год, однако поиск битых ссылок есть и в бесплатной версии.

Обзор 10 версии Screaming Frog

SEO Analysis & Website Review by WooRank отображает тайтл, дескрипшн и сниппет в Google, проверяет валидность Sitemap, мобильность, юзабилити, структурированные данные — и, конечно, битые ссылки тоже. Это расширение для Chrome, и оно бесплатное. (Правда, в отличие от других, подойдет только для небольших сайтов, так как надо анализировать постранично, вручную).

Оценка ссылок на странице от SEO Analysis & Website Review

Кстати, анализ битых ссылок может входить в функционал сервисов автоматизации рекламы и сквозной аналитики. Например, такая возможность есть у Alytics, Marilyn.

Специализированные инструменты

Вебмастерские, системы веб-аналитики, сервисы комплексного SEO-аудита не подходят — есть более узкие инструменты, заточенные чисто под поиск битых ссылок.

Xenu’s Link Sleuth — старая-добрая программа, проверяет сайты на наличие «сломанных» ссылок. Впрочем проверяет не только ссылки, но и изображения, фреймы, плагины, скрипты. Инструмент полностью бесплатный.

Так выглядит отчет Xenu’s Link Sleuth

Badlinks — онлайн-сервис, который предлагает как разовую, так и регулярную проверку «плохих» ссылок на сайте. Разовая стоит от 50 рублей, регулярная — от 250 рублей в год. Стоимость сильно варьируется, так как зависит от частоты анализа и размера сайта. Бесплатный поиск ограничен 10 страницами.

Так выглядит бесплатный отчет от badlinks.ru (хорошо видно, как всеми силами уговаривают пройти полную платную проверку)

Check My Links — расширение Chrome для поиска нерабочих ссылок на странице. Есть возможность скопировать весь список в буфер обмена, не учитывать ссылки на определенные домены, включить отслеживание nofollow. Инструмент абсолютно бесплатный.

Так выглядят результаты поиска в Check My Links (кстати, еще плагин подсвечивает их на самой странице)

Если работаете с Google Ads, обратите внимание на скрипт, который сканирует все посадочные страницы и сообщает о битых ссылках на почту. О других скриптах и том, как с ними работать, — в блоге Click.ru.

Читайте также: 35+ ресурсов для обучения SEO и развития в профессии

Мертвые или неработающие ссылки могут ухудшить рейтинг вашего сайта и его поисковую способность. Это связано с тем, что внутренние и внешние ссылки, которые приводят к ошибкам 404, влияют на статистику индексируемости вашего сайта.

Для небольших веб-сайтов менее 20 страниц устранение неработающих ссылок возможно, хотя и утомительно. Для больших сайтов выявление и исправление неработающих ссылок становится невозможным, особенно потому, что может быть сложно отслеживать состояния ссылок, когда веб-документы Chrome могут ссылаться на страницы с нескольких других сайтов.

Средство проверки неработающих ссылок – это специализированный инструмент, помогающий выявлять такие неработающие ссылки. Вы проверяете URL-адреса, чтобы получить отчет, в котором указаны все мертвые ссылки. Это позволяет вам решать и исправлять их.

Чем крупнее и развитее веб-сайт, тем сложнее становится обслуживание гиперссылок. Поскольку лишь немногие владельцы веб-сайтов могут позволить себе нанять людей для обслуживания, наш бесплатный онлайн-инструмент для проверки мертвых ссылок поможет вам:

• Проверка веб-сайта или блога на наличие неработающих гиперссылок. Вы можете бесплатно проверить до 150 ссылок; вы можете проверить неограниченное количество ссылок с любым из наших платных планов.
• Выявление ошибок и внесение предложений по оптимизации вашего веб-сайта.
• Сообщение о кодах ошибок для любых неработающих URL, включая ошибки 404 и 502 и переадресацию 301.
• Устранение проблем с удобством использования для конечных пользователей для устранения проблемных переадресаций.
• Предоставление ценных ссылок на ваш веб-сайт с помощью функций работы с неработающими ссылками.
• Предлагает полную функциональность без создания учетной записи или загрузки какого-либо программного обеспечения.
• Сканирование как внутренних, так и внешних гиперссылок.

Как использовать средство проверки неработающих ссылок

Использование нашего сканера неработающих ссылок для проверки работоспособности и SEO вашего веб-сайта так же просто, как копирование и вставка URL-адреса вашего веб-сайта. Вы можете просмотреть отчет нашего инструмента, выполнив 2 простых шага. Посетите нашу страницу определения URL для подробного объяснения этого основополагающего элемента вашего сайта.

Шаг 1. Вставьте URL-адрес

Отсканируйте URL-адрес главной страницы вашего веб-сайта, чтобы за считанные секунды проверить сайт на наличие неработающих входящих и исходящих ссылок. Если у вас есть высокорейтинговый контент блога, вы захотите проверить его следующим. Затем убедитесь, что все внутренние ссылки на другой контент работают должным образом. Затем запустите URL-адреса любых страниц, которые ссылаются на внешний контент, с помощью инструмента.

Обязательно скопируйте и сохраните результат каждой проверки для удобства использования. Вы можете запустить более одной проверки неработающих ссылок, прежде чем перейти к следующему шагу.

Наконец, проверьте любые другие URL-адреса, которые, по вашему мнению, важны для вашего сайта.

Часто сканируйте свой сайт. Частые проверки уменьшают мертвые ссылки, как внутренние, так и внешние. Почаще проверяйте, нет ли новых неработающих ссылок. Решите их, прежде чем они негативно повлияют на ваше SEO.

Шаг 2. Анализ результатов проверки неработающих ссылок

Вот фрагмент анализа результатов внешних ссылок из популярного блога WordPress с сотнями страниц:

Это только фрагмент. Массовый анализ результатов проверяет еще 13 внешних ссылок, 11 поддоменов и более 150 внутренних ссылок.

Чтобы понять анализ результатов, вы хотите видеть для каждой ссылки «200 OK». Перенаправление 302 допустимо, если после него следует «200 OK». Ищите любые ссылки, которые показывают ошибки «404» или «502».

Коды ошибок HTTP 404 Not Found означают, что веб-серверу не удалось найти запрошенный ресурс. Этим ресурсом может быть файл, изображение или другая веб-страница. Коды ошибок HTTP 502 Bad Gateway означают, что веб-сервер получил ошибочный или недопустимый ответ. Веб-сервер работает как прокси, когда получает недопустимый ответ от вышестоящих серверов.

Провести полный аудит для глубокого анализа

При анализе вашего URL-адреса вы также можете увидеть результаты, помеченные как коды состояния «4xx» или «3xx» или аналогичные. Сообщение с кодом состояния 4xx указывает на ошибки клиента. Они представляют собой группу кодов состояния HTTP для неправильного синтаксиса в запросе клиента на ресурсы. Причиной отказа в подаче запроса предположительно является ошибка клиента при отправке запроса.

Код состояния 3xx обозначает перенаправления, означающие, что клиент должен выполнить дальнейшие шаги, чтобы выполнить операцию запроса. Этот набор кодов состояния указывает, что пользовательский агент должен предпринять дальнейшие действия для завершения запроса.

Даже большие сайты получают эти ошибки. Вот как выглядит полный аудит для Facebook.

[URL-адрес изображения = “https://sitechecker.pro/wp-content/uploads/2022/04/broken_links_3.png” alt=”Полный аудит Facebook с многочисленными ошибками”]

Что такое неработающая ссылка (ошибка 404)?

Неработающая ссылка — это URL-адрес, который возвращает ответ, в котором говорится: «Страница не существует или не может быть найдена». Это означает, что любая страница, документ или изображение, запрашиваемая ссылкой, может не существовать. Таким образом, ссылка «мертвая». Это может быть как просто поврежденное изображение, которое больше не размещается на таких сайтах, как Filehippo, так и что-то более серьезное, например, домен с истекшим сроком действия.

Мертвые ссылки трудно исправить, потому что они невидимы для веб-администраторов, если они не проверяются. На большинстве бизнес-сайтов отсутствуют специалисты по веб-аналитике и программное обеспечение для отслеживания мертвых ссылок. Со временем, по мере того как веб-сайты и онлайн-топография меняются и развиваются, ссылки, которые, возможно, когда-то работали, незаметно перестают работать.

Пользователям будет все равно, работала ли ссылка раньше, только то, что она больше не работает. Поскольку у многих веб-администраторов есть другие обязанности, обслуживанием веб-сайта часто пренебрегают. Это приводит к неработающим ссылкам и грязной архитектуре веб-сайта.

Почему битые ссылки вредны для SEO?

Неработающие ссылки создают негативное впечатление у пользователей и означают, что веб-сайт не является надежным источником информации. Для пользователей обнаружение битых ссылок на сайте негативно влияет на их восприятие его качества и репутации.

Сканеры веб-поисковых систем и поисковые роботы проверяют и индексируют страницы. Затем они делают их доступными для пользователей. Зная это, легко понять, почему исправление мертвых и неработающих ссылок так важно для размещения на первых нескольких страницах любой поисковой системы.

Задача веб-мастеров и владельцев сайтов — убедиться, что никакие ссылки не ведут на несуществующие страницы и файлы по всему сайту. Пользователи ожидают, что любые внешние или внутренние ссылки, по которым они переходят, приведут их на соответствующую страницу.

Еще одна причина для устранения неработающих ссылок — оптимизация индексации поисковыми системами. Поисковая система использует для обновления и индексации веб-контента. Когда сканер веб-сайта поисковой системы (также называемый пауком) сканирует ваш сайт и находит слишком много неработающих и мертвых ссылок, это влияет на рейтинг вашего сайта.

Что вызывает неработающие ссылки?

Каждый день количество новых страниц, проиндексированных поисковыми системами, растет на тысячи, если не на десятки тысяч. Количество удаленных страниц и измененных URL-адресов одинаково, поскольку действующие веб-сайты меняют ЧПУ и контент, добавляют новые страницы и файлы и удаляют старые.

Ниже приведен список распространенных сценариев, которые могут привести к мертвым и неработающим ссылкам:

• Удаление старых страниц, файлов HTML, листов и документов, которые стали ненужными или лишними. Вы можете пренебречь обновлением ссылок на эти страницы во время разработки веб-сайта.
• Ссылка на внешнюю страницу с другого сайтас измененным URL-адресом если не выполняется перенаправление to прежний URL-адрес. Это может быть смена доменного имени, изменение структуры сайта или даже полное удаление страницы. Сайты могут перемещаться на доменные имена с «www» без настройки переадресации 301. Это прерывает любые ссылки на прежний URL-адрес на любом другом сайте в Интернете.
• Автоматическое обновление контента во внешних источниках может привести к ошибкам гиперссылок и неработающим ссылкам. Например, интернет-магазины и службы доставки, которые регулярно обновляют свои каталоги, могут привести к неработающим ссылкам. Проверьте свои страницы, если вы ссылались на продукты, которые с тех пор перешли на новые URL.
• Технический и структурный перевод веб-сайта может привести к неработающим ссылкам. Контент иногда реорганизуется в соответствии с новым стилем без учета существующих гиперссылок. Это особенно распространенная проблема для внешних ссылок. Реструктуризация может включать большое количество данных. И технические алгоритмы могут не учитывать все нюансы движущегося содержимого страницы. Это может повлиять на ваши внутренние обратные ссылки, если вы не будете осторожны при реструктуризации версии своего сайта.

Есть много других причин, по которым ссылки могут не работать, но мы определили наиболее распространенные причины выше.

Мы описали различные причины неработающих ссылок. Битые ссылки — естественный и неизбежный процесс создания веб-сайтов. Вы можете позаботиться о том, чтобы внутренние ссылки вашего сайта всегда работали. Но у вас нет возможности контролировать, что происходит с обратными ссылками на других страницах и веб-сайтах, на которые вы ссылаетесь извне.

Чем больше ваш веб-сайт, тем чаще вы ссылаетесь на другие внутренние и внешние источники. Внешние страницы, изображения, файлы, видео повышают вероятность того, что некоторые из ваших ссылок не работают. Лучшее, что вы можете сделать, это практиковать надлежащее обслуживание ссылочного.

Поисковые системы рассматривают ссылки, ведущие в никуда, как плохой знак. Это показывает, что ваш сайт плохо поддерживается и устарел. Они считают веб-сайты с большим объемом действующих ссылок актуальными и актуальными. Таким образом, надлежащая проверка и исправление ссылок необходимы для достижения и поддержания высокого рейтинга в поисковых системах.

Как исправить?

Наш инструмент проверки неработающих ссылок поможет вам определить, какие ссылки нуждаются в ремонте и обслуживании. Но вам нужно будет восстановить все неработающие ссылки, обнаруженные вручную. Например, вам может понадобиться связать устаревшую или консолидированную страницу Википедии с другим URL-адресом. Вам нужно будет вручную изменить URL-адрес неработающей ссылки, чтобы он указывал на новую страницу.

В этом видео вы узнаете, как начать работу:

Вам нужно будет восстановить или перенаправить неработающие ссылки на соответствующие замены. Вы можете улучшить навигацию и индексируемость, удалив мертвые ссылки. Это поможет вам восстановить «ссылочный капитал» и, возможно, повысить рейтинг.

Если одна из ваших ссылок не работает из-за несуществующего веб-сайта, у вас есть два варианта. Проверьте, существует ли веб-сайт, на который вы ссылаетесь. Если это так, попробуйте найти, куда внешняя страница могла переместить контент, на который вы ссылались ранее. Если нет, вы можете либо добавить ссылку на копию той же страницы, хранящуюся в веб-архиве, либо найти адекватную замену.

Если внешний сайт, на который вы ссылались, стал недоступен, проблема может быть временной. Веб-сайты часто отключаются из-за технического обслуживания, проблем с хостингом и даже случайных DDoS-атак. Особенно это касается сайтов крупных компаний и финансовых учреждений. Проверьте, был ли сайт недоступен в течение длительного периода времени. Проверьте прогноз, когда услуга вернется. Если его нет, подумайте о том, чтобы найти альтернативный веб-сайт для ссылки. Какой выбор вы сделаете, должен учитывать причину, по которой ваша ссылка не работает.

Веб-сайты, такие как блоги, могут начинаться с прямых путей к разным статьям из домена. По мере роста количества статей веб-администраторы сайта могут решить сгруппировать похожие статьи в категории. Это может изменить URL-адрес их статей. Вам нужно будет обновить пути для ваших ссылок, чтобы они приводили ваших пользователей на нужные страницы.

Если страница исчезла и вы не можете найти ей замену — вы мало что можете сделать; вам придется удалить неработающую ссылку. Чтобы избежать проблем с индексацией сайта из-за неработающих ссылок, обязательно закройте все неработающие ссылки в файле robots.txt вашего сайта.

Ищите потенциально перенаправленные домены, ссылки на которые вы не помните. Удалите или замените неработающие перенаправления, чтобы улучшить взаимодействие с пользователем. Это предотвратит плохие ссылки на вредоносные сайты, которые могут повредить вашему SEO. Другие веб-сайты, на которые вы ссылаетесь, могут не уведомлять вас о каких-либо изменениях на своих сайтах.

Вам нужно будет исправить настройки неработающей ссылки вручную. Но возможность с первого взгляда понять, с чего нужно начать, значительно экономит время. После исправления вы сможете предоставить посетителям вашего сайта гораздо более приятный и богатый контентом опыт — независимо от того, как они попали на ваш сайт. Кроме того, исправление неработающих ссылок повысит ваш рейтинг в поисковых системах. Это повышает вероятность того, что новые пользователи найдут ваш сайт. Больше посетителей увеличит ваш веб-трафик, продажи и доход. Возможно, вам придется подождать день или два после внесения исправлений, чтобы отразить новые результаты.

У нас есть более подробные статьи, за которыми вы можете следить. Они выявляют и устраняют проблемы с более сложными неработающими ссылками, связанными с неработающими файлами CSS или даже неработающим файлом JavaScript. Доступен полный набор инструментов поддержки SEO-анализа и автоматической оптимизации. Кроме того, существует множество руководств по каждому аспекту обслуживания веб-сайта.

Что это такое

Если говорить в общем, то битыми называются любые url, при открытии которых пользователи видят 404 ошибку. В свою очередь, broken links делятся на внешние – ведущие на сторонний ресурс, и внутренние – направляющие посетителя на другие страницы вашего сайта.

Чем опасны

Опасность таких урлов заключается в том, что при попадании на них посетитель с большой вероятностью закроет ресурс, что в свою очередь негативно скажется на статистике и поведенческих факторах. 

Вспомните себя, как часто вы остаетесь, когда видите надпись «Страница не найдена»? Также и другие посетители. Неработающие адреса вызывают у них раздражение, тем самым увеличивается число отказов и уменьшается время, проведенное на сайте. 

Еще одна из опасностей 404 url — это потеря трафика. Ссылочный вес просто не передается с неработающих ссылок. 

Откуда берутся

Поиск broken links

Найти битые ссылки на своём сайте можно как с помощью программ, так и с помощью онлайн-сервисов. Далее разберем несколько примеров.

Google Search Console

GSC – это сервис от Гугл, позволяющий отслеживать изменения на ресурсе. Одним из инструментов там является анализ состояния страниц. 

Для того, чтобы проверить наличие 404 url с помощью GSC, необходимо сделать следующее: 

• заходим в аккаунт ресурса в сервисе и выбираем пункт «Покрытие» -> «Полный отчет»;

• здесь нажимаем «Исключено»;

• и видим страницы, которые отдают 404 ответ;

• а также примеры;

Минусом проверки здесь можно считать то, что сервис не показывает местонахождение неработающего урл, если он, например, внешний. Увидеть можно только внутренние страницы. 

Яндекс.Вебмастер

Российский аналог GSC, с похожим функционалом, в том числе и инструментом для поиска битых ссылок. 

Чтобы найти 404 через Y.Webmaster, необходимо:

• заходим в карточку сайта и выбираем раздел «Индексирование», а там «Страницы в поиске»; 

• в открывшейся вкладке выбираем «Исключенные» и ищем пункт «Ошибки HTTP».

• чтобы увидеть сами 404 url, нажимаем “Исключенные страницы” на панели ниже и сортируем по статусу.

Аналогично с Google Search Console Вебмастер не покажет, если ссылка внешняя и где ее искать. Через него можно посмотреть только внутренние нерабочие адреса.

Xenu

Является программой, что, в свою очередь, делает его более удобным для проверки сайта на наличие битых ссылок и поиска их на страницах. 

Для проведения проверки необходимо сделать следующее:

• Запускаем Xenu, добавляем сайт и запускаем проверку.

• Далее необходимо отсортировать url по статусу в столбце “Status”, чтобы 404 были наверху.

• Также можно посмотреть, на каких именно страницах расположена нерабочая ссылка. Для этого кликаем на нее правой кнопкой мыши и выбираем “URL properties”. В самом нижнем поле будет расположен нужный адрес.

Broken Link Checker

Расширение для браузера, позволяющее сканировать как весь сайт, так и отдельные веб-документы на наличие нерабочих url-адресов. 

Как работает BLC:

• Находим и устанавливаем;

• После чего заходим на проверяемый ресурс, открываем плагин и проверка страницы запускается автоматически.

• Также есть возможность полного сканирования. Для этого кликаем “Check All Pages On This Site” и переходим в отдельное окно. Там после проверки будет отображаться результат.

Screaming Frog

Программа с обширным функционалом для технического аудита, в который также входит поиск битых ссылок. Главным преимуществом среди других способов проверки можно назвать общую выгрузку адресов 404 и страниц, на которых они расположены в удобном формате файла. 

Минусом можно считать то, что лимит проверки на бесплатном тарифе составляет всего 500 url, поэтому без приобретения платного пакета подойдет только для маленьких сайтов. 

Как найти ошибки 404 через SF:

• Открываем программу, вставляем адрес и запускаем аудит.

• После выполнения проверки сортируем страницы в столбце “Status Code”, чтобы 404 ошибки сгруппировались вместе.

• Далее выделяем все нужные адреса, на нижней панели нажимаем “Inlinks” и видим наши url и их источники. Там же их можно выгрузить в формате файла.

Здесь можно увидеть как внешние, так и внутренние ссылки с ответом 404, что является максимально удобным способом их обнаружения и устранения.

Dead Link Checker

Онлайн-сервис по поиску “мертвых” страниц. Проверить можно как конкретный адрес, так и весь домен целиком. 

Этапы проверки:

• Заходим на сайт и в поле ввода url добавляем свой. Кликаем “Проверить”. Также будет необходимо ввести капчу.

• После окончания сканирования будет доступен список урл, которые отдают 404 ответ.

Как и у многих таких сервисов, минусом является то, что невозможно посмотреть источник найденных ссылок. 

Как исправить Broken Link?

Обязательно нужно проверить битые ссылки перед стартом SEO продвижения. Без анализа сайта вы рискуете потерять в позициях и трафике. И теперь, когда мы выяснили, как найти нерабочие адреса, стоит поговорить о том, как исключить их со своего домена. 

Заменить неработающий урл

Суть проста – меняем неактуальный адрес на новый, если есть такая возможность. Для этого находим интересующий нас url и его активную версию, если она существует, и меняем одно на другое. Сделать это можно в административной панели. 

Перенаправить с проблемной страницы

Этот способ подойдет только для внутренних ссылок. В этом вам поможет 301 редирект. Он выполнит переадресацию с неработающего урл на действующий. 

Обратите внимание на то, что злоупотреблять перенаправлениями не стоит, так как это может негативно сказаться на позициях и привести к удалению страниц из индекса. 

Если вы все же решили воспользоваться этим способом, в зависимости от CMS можно применить плагин или внести изменения через .htaccess.

Удалить битую ссылку

Самый простой вариант решения проблемы с 404 ответами сервера. Сделать это можно в административной панели. Прибегать к такому способу стоит тогда, когда два других варианта не актуальны в рамках вашего сайта.

Восстановить удаленные страницы

Такой способ подойдет для интернет-магазинов, которые удаляют отсутствующие товары с сайта. Если они снова появились в наличии – просто восстановите документ.

Заключение

Неработающие URL – это отрицательная черта для любого сайта. Они нелюбимы как поисковиками, так и пользователями. Старайтесь следить за этим и вы никогда не потеряете покупателей и позиции.