Сайт закрыт к индексации в файле robots.txt

«Сайт закрыт от индексации в файле robots.txt». Появилась данная ошибка? Это означает, что поисковому роботу запрещён доступ к web-ресурсу. И, возможно, сайт будет исключён из индексирования, если, конечно, своевременно не устранить проблему.

Однако всё не так страшно, и, выполнив несколько несложных действий, вы, вполне возможно, решите задачу без помощи специалиста.

Причины появления ошибки

Вы просрочили оплату домена. В этом случае достаточно оплатить домен, и ошибка пропадёт буквально через пару дней.

Вы неправильно использовали директиву disallow. Есть такие служебные страницы, которые не нужно показывать в поиске, вебмастер закрывает их от поисковика с помощью внесения в robots.txt (текстовый документ) специальных записей. Он же управляет видимостью контента. Для этого требуется данная директива, и именно из-за неё обычно возникают проблемы.

Как проверить содержание директивы disallow в файле robots.txt?

Проверка производится с помощью внутреннего следующего инструмента, находящегося на панели web-мастера. Нужно сделать следующие простые шаги:

  • Перейти по ссылке.
  • Затем указать в поле URL-адрес вашего сайта.
  • И, наконец, найти в документе страницы, имеющие вид, как в таблице:
 Строчка  Значение

User-agent: Googlebot

Disallow: /

 Доступ закрыт для Google

User-agent: Yandex

Disallow: /

 Доступ закрыт для Яндекс

User-agent: *

Disallow: /

 Доступ закрыт для любых поисковых систем

 

Вы обнаружили какую-либо из этих записей? Удалите её.

Также можно:

  • Убрать информацию о закрытии проекта к индексу из файла robots.txt.
  • Найти в корневой директории robots.txt и удалить из него все имеющиеся запрещающие директивы. Это действие разрешит поисковым системам полный доступ к ресурсу при последующем обращении.

Как наложить запрет на индексацию разделов или страниц?

Используйте запись «Disallow: /URL страницы/». Например, если это будет «Disallow: /admin/», то значит ссылки из панели администратора запрещены.

Как закрыть раздел?

Используйте запись «Disallow: /Раздел/*».

Где можно получить помощь, если ваш web-ресурс закрыт для индексации в robots.txt?

Вам не помогли наши советы? Специалисты компании MSK-SEO настроят корректные параметры индексирования. И приятный бонус – полная диагностика сайта на возможное появление угроз безопасности и наличие других нарушений.