Индексирование отправленных URL

Как исправить ошибку «Индексирование отправленных URL»

Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (3 оценок, среднее: 5,00 из 5)
Загрузка...

В консоли вебмастера Google Search Console появилось сообщение: Индексирование отправленных URL. Разбираемся в причинах и решаем проблему.

Как правило, для ускорения индексации новых материалов на сайте мы запрашиваем переобход роботами Яндекс и Google. Да, теперь не нужно ждать несколько недель следующего визита поисковых роботов. Мы писали об этом здесь.

После индексации наших статей мы получили вот такое сообщение в консоли для вебмастера Google:

Проверка - индексирование отправленных URL

При переходе по ссылке мы видим не ошибки, но предупреждения по индексации:

Предупреждения индексации

А также статус проблемы, с явно растущей тенденцией:

Статус индексирования

Список страниц, которые конфликтуют между отправкой на индексацию и их запретом в файле robots.txt:

Как видите, это дубли страниц предназначенные для RSS клиентов. Но мы не запрашивали их переобход, что это за страницы и как они попали в индекс. Давайте разбираться.

Суть проблемы

Наш сайт разработан на WordPress и предоставляет RSS-ленту. При просмотре исходного кода в <head> блоке мы видим мета-теги alternate:

В самом же robots.txt была прописана директива «Disallow: */feed*», чтобы убрать возможные дубли из выдачи. Как выяснилось, поисковые роботы воспринимают RSS контент отдельно от обычных страниц и запрещать что-либо нет необходимости.

Решение

В нашем случае помогло простое удаление директивы «Disallow: */feed*» из robots.txt и отправка запроса на повторную проверку:

Проиндексировано несмотря на запрет robots.txt

После чего пришло новое сообщение о том, что мы устранили ошибки и после проверки будет выслано письмо на электронную почту с результатами.

Индексирование отправленных URL

Остается немного подождать и эта ошибка исчезнет.

Хорошим тоном будет добавление canonical метатегов во всех alternate материалах. Что позволит явно указать поисковым системам на оригинал, который мы хотим видеть в выдаче.

Выводы

С файлом robots.txt всегда нужно быть внимательным. Можно одной строкой полностью убрать сайт из выдачи, или напротив — сократить количество дублей и поднять его релевантность.

Теги alternate указывают роботу на альтернативную подачу материала страниц и это нужно учитывать. Но не стоит относиться к ним, как к дублям контента.

Лабетик Сергей

Автор статьи:

Профессионально занимаюсь SEO и бизнес-консультированием с 2012 года. Основатель компании Labetik.media.

Кол-во написанных статей: 28.

Один комментарий

  1. «Как выяснилось, поисковые роботы воспринимают RSS контент отдельно от обычных страниц и запрещать что-либо нет необходимости»
    Откуда вы это взяли, извините? Почему во всех рекомендациях его закрывают, по вашему?

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *