Меню

Sitemap ошибка на стартовой странице не обнаружено ни одной доступной ссылки

иван я

17 / 17 / 16

Регистрация: 15.12.2012

Сообщений: 536

1

Создать карту сайта

27.12.2016, 16:11. Показов 2370. Ответов 2

Метки нет (Все метки)

Использую онлайн сервис для создания карты сайта, сервис мне выдает вот такую ошибку: на стартовой странице не обнаружено ни одной доступной ссылки. Почему? вот код стартовой страницы index.html

HTML5 
1
2
3
4
5
6
7

<HTML>
  <HEAD>
    <META HTTP-EQUIV="REFRESH" CONTENT="0; URL=http://avtorazogrev38.ru/bootstrap/demo/test.html">
  </HEAD>
  <BODY>
  </BODY>
</HTML>

c картой сайта столкнулся первый раз так что не судите строго.

__________________
Помощь в написании контрольных, курсовых и дипломных работ, диссертаций здесь



0

abrdabr

Заблокирован

27.12.2016, 16:13

2

иван я, сервис рассматривает хтмл код страницы со стороны пользователя те вот это
<BODY>
</BODY>
и здесь у тебя нет ссылок
отправляй сервису http://avtorazogrev38.ru/bootstrap/demo/test.html

но такая настройка сайта бэд для гугляндекса подправь хатеск



0

17 / 17 / 16

Регистрация: 15.12.2012

Сообщений: 536

30.12.2016, 14:57

 [ТС]

3

abrdabr, что такое хатекс? и как его подправить?



0

IT_Exp

Эксперт

87844 / 49110 / 22898

Регистрация: 17.06.2006

Сообщений: 92,604

 30.12.2016, 14:57

3

Источник

blog-icon

Sitemap.xml — это карта сайта для поисковых роботов, которая находится в корне сайта и содержит рекомендации того, какие страницы необходимо обходить в первую очередь и с какой частотой. Это ускоряет и упрощает процесс индексации. Создание карты сайта sitemap.xml не является обязательным правилом. Такая карта должна быть на сайтах, которые имеют большое количество страниц, и в тех случаях, когда контент на страницах часто обновляется. В некоторых CMS есть возможность карту сайта создать автоматически, сделать это можно с помощью специального плагина. Однако это не исключает появление ошибок. 

Ошибки в sitemap.xml существенно снижают скорость попадания сайта в индекс и затрудняют работу поисковых роботов Яндекс и Google. Поэтому их необходимо вовремя находить и устранять. Однако, если на вашем сайте большое количество страниц, найти неисправности в sitemap вручную будет непросто из-за большого объема данных. На помощь приходит сервис Labrika, в котором есть полезный инструмент для работы с sitemap.xml. Он поможет вам своевременно проверить ошибки и исправить их автоматически, в один клик.

Находится этот инструмент в разделе «Технический аудит» левого бокового меню:

Технический аудит

Рассмотрим подробнее, как пользоваться этим подразделом и какие данные можно в нем увидеть:

Технический аудит

  1. Здесь представлены данные о страницах, которые есть в sitemap.xml, но которых нет на сайте. Эти страницы перечислены ниже, в виде списка. Возможно, они были удалены с сайта и отдают ошибку 404, но в sitemap информацию о них не убрали.
  2. Далее мы можем видеть страницы, которые доступны для индексации поисковых роботов, но отсутствуют в sitemap. Чтобы роботы своевременно посещали эти страницы, их необходимо добавить в sitemap.xml.
  3. И наконец, страницы, которые есть в sitemap, но при этом закрыты от индексации. Вероятно, такие страницы были добавлены в карту сайта, но потом их закрыли от индексации в файле robots.txt.

    Продемонстрируем данные, которые выводятся во вкладках, описанных во втором и третьем пунктах, на следующих скриншотах:

    Технический аудит

    Технический аудит

  4. При нажатии на клавишу «Перепроверить sitemap.xml» Лабрика проанализирует карту сайта и выдаст информацию об ошибках, описанных в первых трех пунктах.
  5. После нажатия кнопки «Скачать исправленный sitemap.xml» Лабрика самостоятельно исправит все обнаруженные ошибки и сохранит правильную обновленную версию sitemap.xml на ваш компьютер. Вам останется только выгрузить ее на сайт взамен старого файла.
  6. Не забудьте подгрузить новый xml файл sitemap без ошибок в Яндекс Вебмастер и Google Search Console. 

Online SEO-инструменты для продвижения сайтов

Проверьте свой сайт и сайты конкурентов на 205 факторов поисковых систем.

Источник

  1. chikchirik

    chikchirik
    New Member
    Пользователи

    Регистрация:
    23 авг 2017
    Сообщения:
    6

    Поиск ошибки не дал результатов.
    При парсинге сайта во вкладке Ссылки, первая страница парсится удачно, а последующие парсер видит как предыдущую и выдаёт сообщения «Не найдено ни одной новой ссылки». Стоит галочка DOM ссылки
    пример ссылки для парсинга Ссылки недоступны для гостей


  2. chikchirik

    chikchirik
    New Member
    Пользователи

    Регистрация:
    23 авг 2017
    Сообщения:
    6

    Увеличил таймаут проверки загрузки, заработало, послежу ещё


  3. Root

    Root
    Администратор
    Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.761
    Город:
    Барнаул

    Здравствуйте.

    Ссылки недоступны для гостей


  4. chikchirik

    chikchirik
    New Member
    Пользователи

    Регистрация:
    23 авг 2017
    Сообщения:
    6

    Здравствуйте,
    Спасибо, карта сайта если что пригодится, но она у них давно не обновлялась и новых товаров там нет
    Таймаут проверки в итоге работает через раз


  5. Root

    Root
    Администратор
    Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.761
    Город:
    Барнаул

    Ссылки недоступны для гостей первое видео


  6. Deonis062

    Deonis062
    New Member
    Пользователи

    Регистрация:
    29 мар 2020
    Сообщения:
    8
    Город:
    Барнаул

    Добрый день! Антологичная проблема — интернет магазин минилаб раздел металоискатели, сгенерированы ссылки по пагинации, выставленна глубина ссылок 5-5, при парсинге собираются ссылки с первой страницы на других соответственно ошибка: Не найдено ни одной новой ссылки

    **Скрытое содержимое: доступно при наличии 1 постов.**

    В настройках фильтра указаны только глубина ссылок (на товар).
    Лог: Ссылки недоступны для гостей


  7. Root

    Root
    Администратор
    Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.761
    Город:
    Барнаул

    Ну так то верно, зачем разбираться в URL. Зачем понимать, что для обычного запроса все, что после символа решетки — безразлично.

    **Скрытое содержимое: доступно при наличии 1 постов.**


  8. Deonis062

    Deonis062
    New Member
    Пользователи

    Регистрация:
    29 мар 2020
    Сообщения:
    8
    Город:
    Барнаул

    1. Откуда взялась данная ссылка?
    2.При переходе какая то кракозябра
    3. По шрифту я вижу что для вас это какой то тупой вопрос как для разработчика но во всех инструкциях о данной проблеме не слова я за последнию неделю около сотни видео просмотрел но тщетно, аналогичная проблема была и с сайтом ДНСом, если затрудняетесь объяснить дайте ссылку на паблик где можно разобраться с данной проблемой


  9. Root

    Root
    Администратор
    Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.761
    Город:
    Барнаул

    1) Ссылка берется из монитора сети Firefox Ссылки недоступны для гостей
    2) Это не «кракозябра», а JSON ответ с нужными данными
    3) Закономерное явление, столько отвечать на форуме на одни и те же вопросы без какой-то дополнительной оплаты. Странно, что еще отвечаю. Это не призыв платить, за ответы на форуме, просто поясняю ситуацию. Такая деформация поведения является закономерной в таких вот условиях.


  10. Deonis062

    Deonis062
    New Member
    Пользователи

    Регистрация:
    29 мар 2020
    Сообщения:
    8
    Город:
    Барнаул

    Хорошо вопрос такой сколько будет стоить видео запись от А до Я по полному парсингу подобных сайтов? нужно разбираться а то год когда она просто мертвым грузом весит как то не ахти
    Ну и с вас я думаю это большинство вопросов снимет можете отправлять по ссылке

    Последнее редактирование: 8 апр 2020


  11. Root

    Root
    Администратор
    Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.761
    Город:
    Барнаул

    Видео с подобными темами полно, в системе помощи материалы есть по данным вопросам. Но вот досада, они не помогают большинству людей.


  12. Deonis062

    Deonis062
    New Member
    Пользователи

    Регистрация:
    29 мар 2020
    Сообщения:
    8
    Город:
    Барнаул

    Я встречал вычесление отдельных элементов (как например в вашем видео Связной где вы показываете как правильно делать ожидание загрузки сайта и с кнопкой корзина), а так же видео когда при переходе не менялась ссылка, но вот оч много сайтов это как раз как пример с минилабом dns, м-видео и еще куча, когда вроде и ссылка меняется и вроде все ок и html теги вроде есть но ни чего хорошего не происходит, видео полезно по крайней мере научился парсить некоторые сайты (то что после посещения этих сайтов почему то хочется помыть руки я промолчу) это не бесполезный труд. Но большинству необходим пример, привычка учится усваивать по видео 10 раз сделал по видео далее сам. Прога действительно хорошая и аналогов не видел но звезда какая сложная)


  13. AlexandrSorokin

    AlexandrSorokin
    Active Member
    Пользователи

    Регистрация:
    27 ноя 2018
    Сообщения:
    71
    Город:
    Пермь

    Конкретно по сборку ссылок в категории.
    Можно сделать парсинг ссылок, не используя сканер.

    Генерируете список
    num — от 1 до 15
    key — #/page-

    Ссылки недоступны для гостей

    Далее выбираете границу парсинга — ссылка на товар и запускаете в 1 поток с интервалом 1 секунда, потому что сайт будет банить за частые запросы.
    В идеале парсить со ссылки, которая будет показывать все товары, благо есть такая кнопка на странице.
    Конкретно у металлоискателей такая Ссылки недоступны для гостей

    Во вложении настройка и пример парсинга. Все ссылки собраны

    Вложения:

    Последнее редактирование: 9 апр 2020


  14. Kreol

    Kreol
    Модератор
    Команда форума
    Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.645

    Можно, если пользоватся Generate и несколькими последовательными шабьлонами, при этом начальные ссылки собрать руками

Поделиться этой страницей


Форум по парсингу сайтов и интернет магазинов

Источник

Выполните пошагово все следующие инструкции.

  1. САМАЯ ЧАСТАЯ ПРИЧИНА ERROR-ов — ссылки находятся между тегами NOINDEX или теги NOINDEX расставлены некорректно (например, два раза открываются, а закрываются только один раз). Откройте исходный код вашей страницы в браузере и посчитайте количество открытых NOINDEX (<noindex>) и закрытых (</noindex>). Количество должно совпадать. Если количество совпадает, то проверьте, не находятся ли ссылки внутри noindex, чтобы не было такой конструкции: <noindex>ССЫЛКИ</noindex>.
  2. Проверьте, находятся ли ссылки в индексируемой зоне доступного для индексации поисковыми системами документа. Если ссылки закрыты от индексации одним из следующих способов, они не будут найдены роботом нашей системы.  
    • Ссылки закрыты от индексации с помощью тегов <noindex>,  <!--noindex-->, <script>, <frames>, <applet>, <embed>, <object>,  тегов форм  или комментариев.
    • Страница, на которой размещаются ссылки, закрыта от индексации в файле robots.txt или в метатегах.
    • К коду ссылки дописывается атрибут nofollow.
    • При проверке наличия ссылок на страницах, робот получает отличный от 200 код ответа в HTTP заголовках Вашего сервера.
    • Ссылки не размещены внутри тега бегущей строки <marguee>.
    • Ссылки размещены за пределами тегов <html> и <body>. Для корректной проверки ссылок теги <html> и <body> должны встречаться в коде страницы один раз и ссылки должны быть размещены между этими тегами. Если это не так, вам нужно исправить ситуацию: поместить ссылки внутрь тегов. Если у вас отсутсутствуют эти теги, добавьте их. Т.е. правильное размещение ссылок должно быть такое: 
      <html>
    <body> 
    <!-- ссылки -->
    </body>
</html>
  3. Возможно движек вашего сайта (или какой-то установленный модуль) автоматически закрывает внешние ссылки в теги noindex или дописывает атрибут nofollow к ссылке. Часто ссылки таким образом закрываются только от роботов (и в том числе от нашего робота). В этом случае вам следует отключить применение подобных модулей для наших ссылок.
  4. Проверьте, соответствует ли кодировка, указанная в метатегах страницы, кодировке windows-1251. Если кодировка отличается, проследите, чтобы она же была указана в коде вызова ссылок, который вы вставляете на страницы. В случае, если, например, Ваш сайт использует кодировку UTF-8, необходимо в исходном коде вывода ссылок строку 
    <?php
    $sape = new SAPE_client();
?>

    изменить на:

    <?php
    $o = array();

    $o['charset'] = 'UTF-8';
    $sape = new SAPE_client($o);
    unset($o);
?>

    Для любой другой кодировки действия аналогичны. Так же проверьте, что кодировка указана в мета-тегах страницы.

    В некоторых броузерах стоит автоопределение кодировки, поэтому, чтобы убедиться, что с кодировкой все в порядке, укажите кодировку в браузере принудительно (обычно она задается Вид->Кодировка-> Указываете нужную кодировку).

    Некоторые кодировки, не поддерживают кириллические символы — и в error уходят только ссылки, содержащие русские буквы. Например, не поддерживает кириллицу кодировка ISO-8859-1 или windows-1252.

  5. Проверьте, чтобы исходный код ссылки в точности соответствовал тому, который в файл links.db загружает система. Зачастую, некоторые CMS подставляют свои стили в ссылки, или, например удаляют двойные пробелы и т.п. Наш робот ищет точное соответствие, т.е. если в ссылке изменился хотя бы один символ, она не будет найдена.
  6. Возможно, Ваш сервер не верно или в нестандартном формате возвращает переменную окружения HTTP_HOST (такая проблема часто возникает, если сайт имеет алиасы, зеркала или «висит» на нестандартном порту). Для того, чтобы в явном виде передать правильное значение в сервисный скрипт, необходимо в коде вызова ссылок (который Вы вставляете на страницы сайта) строку 
    <?php
     $sape = new SAPE_client();
?>

    изменить на: 

    <?php
    $o = array();

    $o['host'] = 'имя_вашего_домена_без_http://';
    $sape = new SAPE_client($o);
    unset($o);
?>
  7. Возможно, проблема в том, что в тексте страницы есть неизвестные спецсимволы (обычно они отображаются «вопросами»), которые при разборе страницы роботом вызывают ошибку (http://ru.php.net/manual/ru/function.iconv.php) — то есть роботу видна часть страницы до спецсимвола. Единственный способ решения проблемы — очистить страницы от этих символов.

После выполнения всех вышеперечисленных проверок и рекомендаций при следующей проверке наличия ссылок нашим роботом, скорее всего, они будут найдены. В противном случае Вы  можете обратиться за помощью в форму обратной связи, мы постараемся Вам помочь. Перепроверки Error ссылок происходят автоматически, несколько раз в течение суток.

При обращении, пожалуйста, укажите следующее:

  1. cайт, на котором возникла проблема;
  2. находятся ли ссылки внутри тегов <html> и <body>;
  3. кодировку сайта (совпадает ли она с кодом вызова ссылок);
  4. содержатся ли ссылки в файле links.db;
  5. стоят ли на папку права 777;
  6. выводятся или нет ссылки на сайт;
  7. прописан хост или нет (о том как прописать хост смотрите выше, пункт № 6)
  8. какая ошибка указывается при нажатии на статус ERROR.

Например:

site.ru
ссылки находятся внутри html и body
UTF-8, в коде внесены изменения
В links.db ссылки содержатся
Права 777 стоят
Ссылки на сайте выводятся
Хост прописан
При нажатии на статус ERROR выводится сообщение «Ссылки не найдены на странице»

Источник

Заголовок публикации отображает ответ системы в панели управления нового вебмастера Гугл.

Если ваш взгляд «спотыкался» на этом месте, то, скорее всего, вы начинали проверять свои:

  • плагин Google XML Sitemaps;
  • саму карту sitemap.xml по адресу сайта

После всех проверок получалось, что все вроде бы работает, а вебмастер, после добавления
новых страниц, упорно пишет:

stranitca-proindeksirovana-no-ee-net-v-faile-sitemap

У меня так и было.

Впервые обратил внимание на это предупреждение при отправке в индекс новых публикаций сайта на Битрикс.

Там плагина нет, но в модулях проверил, перепроверил, запустил создание нового файла карты, подождал некоторое время – в Google вебмастере по-прежнему: «…но ее нет в файле Sitemap».
Еще думал – возможно, только Битрикс не «отсвечивает» свои страницы в Sitemap, но оказалось и карты сайтов на WordPress не видит вебмастер.

Решил, что это сбой у Гугла (и там сбои бывают), не буду обращать внимания. Тем более что в поиске Google все эти страницы присутствуют.

Решил – забыл. Но ненадолго…

Практически каждый день приходится что-то добавлять в вебмастера, и это предупреждение постоянно смущает!
Нужно поинтересоваться у всезнающего Интернета – зашел, спросил.
А там уже давно это обсуждают и очень многие не могут понять «…а в чем же дело?». Все так же перепроверяют, поломок не находят, спрашивают на форумах, строят догадки.

Среди всего попался мне и ответ – смотрите ниже, в конце публикации: «Специалисты Google объяснили, почему…»

Из ответа следует, что все страницы в Sitemap на самом деле есть.

Но Гугл и Яндекс, не гарантируют индексацию их всех (страниц) именно с карты xml сайта.

То есть – страница и без карты проиндексируется и попадет (если она качественная) в поиск, а вот индексировать ее в файле Sitemap совсем и не обязательно. В первую очередь это касается страниц с малозначительным контентом. Я так понимаю – это не плохие страницы, а просто не несущие новой полезной информации.

Например, карточки товаров в интернет-магазине – в одном разделе может быть с десяток совершенно одинаковых вещей с разницей в 1 пункте характеристик.
На информационном сайте или блоге – короткие новости, уже размещенные в Интернете, копированные или неуникальные обзоры.

И так – я не могу утверждать, что представленный ответ является 100% ответом специалистов Google – информация взята с просторов Интернета. Но я успокоился и больше не «спотыкаюсь» на этом сообщении системы «Страница проиндексирована, но ее нет в файле Sitemap».

У вас есть свое мнение, информация? – пишите в комментариях

А вы вообще пользуетесь вебмастером Google и новой версией Яндекс вебмастера?

Знаю, что некоторые владельцы сайтов только слышали о них…

Кстати, давно обещал, пора бы уж и написать:
о новой версии Search Console (панель управления Google Webmaster Tools), а то старую скоро совсем отключат.

Так что не пропускайте, подписывайтесь и до встречи!

 
spetcialisty-google-obiasnili-pochemu-ne-vse-url-iz-sitemap-indeksiruiutsia

Если статья была интересна для вас — ей можно поделиться

Количество просмотров: 3 394

Источник

0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest

0 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии

А вот еще интересные материалы:

  • Яшка сломя голову остановился исправьте ошибки
  • Ясность цели позволяет целеустремленно добиваться намеченного исправьте ошибки
  • Ясность цели позволяет целеустремленно добиваться намеченного где ошибка
  • Skse64 loader ошибка you are using
  • Skse ошибка при запуске приложения

    • ➤