Файл robots.txt управляет тем, какие страницы роботы могут сканировать, и одна ошибка в нём закрывает сайт от индексации. Проверять его нужно регулярно, особенно после изменений на сайте. По теме видно,какие запреты опасны и как их правильно настроить.
Как проверить robots.txt на ошибки
Откройте файл по адресу сайта и убедитесь, что он существует; если его нет, роботы считают всё разрешённым. Инструмент покажет, разрешён ли доступ к важным страницам. Если роботы не могут попасть на них, вероятно, файл содержит ошибку.
Увидеть, что файл мешает индексации
Если страницы исчезли из поиска без смены контента, проверьте файл на строки Disallow: / или Disallow: *, которые блокируют весь сайт. Также смотрите на неожиданные запреты, например на каталог или поиск, если эти разделы приносят трафик.
Правильно настроить robots.txt
Не запрещайте главные страницы и контент, который хотите видеть в поиске. Разрешайте доступ к CSS и JS, чтобы страницы корректно отображались. Избегайте опечаток вида Disalllow и проверяйте регистр путей, ведь /Products/ и /products/ — это разные пути.
| Что смотреть | Где это видно |
|---|---|
| Запреты на весь сайт | Строки Disallow: / или Disallow: * |
| Неожиданные запреты разделов | Disallow на каталог или поиск, дающие трафик |
| Опечатки и регистр правил | Disalllow вместо Disallow и разные пути по регистру |
По этой теме откройте проверку robots.txt. Дальше по смыслу: как настроить robots.txt, индексация страниц и карта сайта.
Вопросы
Как проверить robots.txt для SEO?
Откройте файл на сайте и через инструмент проверьте, какие страницы роботы не могут сканировать и нет ли запрета на весь сайт.
Что значит Disallow: /?
Такое правило блокирует весь сайт для роботов, поэтому после него страницы перестают индексироваться; использовать его нужно крайне редко.
Можно ли удалять страницы через robots.txt?
Нет, robots.txt только блокирует сканирование; чтобы убрать страницу из индекса, используется мета-тег noindex на самой странице.
Почему сайт не индексируется при пустом robots.txt?
Пустой файл не ошибка — он означает, что всё разрешено; проблема обычно в метатегах noindex или серверных ошибках.
Проверьте адрес на бесплатной проверке: гость смотрит до 50 страниц, одна проверка в день. Создать кабинет бесплатно даёт до 500 страниц, 3 проверки в месяц и историю оценки за 7 дней. Сайт в кабинет добавляют отдельно. Полный разбор страниц, до 1 500 страниц и история за 90 дней — на тарифе Solo, 1 490 ₽ в месяц.