Как исправить ошибку «Индексация отправленных URL» в Search Console

    Как исправить ошибку «Индексация отправленных URL» в Search Console

    Рейтинг:  0 / 5

    Звезда не активнаЗвезда не активнаЗвезда не активнаЗвезда не активнаЗвезда не активна
     

    В консоли вебмастера Google Search Console появилось сообщение: Индексирование отправленных URL. Разбираемся в причинах и решаем проблему.

    Как правило, для ускорения индексации новых материалов на сайте мы запрашиваем переобход роботами Яндекс и Google. Да, теперь не нужно ждать несколько недель следующего визита поисковых роботов. Мы писали об этом здесь.

    После индексации наших статей мы получили вот такое сообщение в консоли для вебмастера Google:

    Проверка - индексирование отправленных URL

    При переходе по ссылке мы видим не ошибки, но предупреждения по индексации:

    Предупреждения индексации

    А также статус проблемы, с явно растущей тенденцией:

    Статус индексирования

    Список страниц, которые конфликтуют между отправкой на индексацию и их запретом в файле robots.txt:

    Как видите, это дубли страниц предназначенные для RSS клиентов. Но мы не запрашивали их переобход, что это за страницы и как они попали в индекс. Давайте разбираться.

    Суть проблемы

    Наш сайт разработан на WordPress и предоставляет RSS-ленту. При просмотре исходного кода в <head> блоке мы видим мета-теги alternate:

    В самом же robots.txt была прописана директива «Disallow: */feed*», чтобы убрать возможные дубли из выдачи. Как выяснилось, поисковые роботы воспринимают RSS контент отдельно от обычных страниц и запрещать что-либо нет необходимости.

    Решение

    В нашем случае помогло простое удаление директивы «Disallow: */feed*» из robots.txt и отправка запроса на повторную проверку:

    Проиндексировано несмотря на запрет robots.txt

    После чего пришло новое сообщение о том, что мы устранили ошибки и после проверки будет выслано письмо на электронную почту с результатами.

    Индексирование отправленных URL

    Остается немного подождать и эта ошибка исчезнет.

    Хорошим тоном будет добавление canonical метатегов во всех alternate материалах. Что позволит явно указать поисковым системам на оригинал, который мы хотим видеть в выдаче.

    Выводы

    С файлом robots.txt всегда нужно быть внимательным. Можно одной строкой полностью убрать сайт из выдачи, или напротив — сократить количество дублей и поднять его релевантность.

    Теги alternate указывают роботу на альтернативную подачу материала страниц и это нужно учитывать. Но не стоит относиться к ним, как к дублям контента.

    2000 Осталось символов


    ©2019 - brain-on.ru

    Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

    Please publish modules in offcanvas position.