Вы написали полезную статью, поставили ключевые слова в title и description, а в поиске её нет. Знакомая ситуация: страница «висит» в пустоте, потому что поисковый робот её просто не проиндексировал. Индексирование — первый и обязательный этап SEO: пока URL нет в индексе Яндекса или Google, он не может ранжироваться и приносить трафик, сколько бы вы ни вкладывали в контент. Разберём, почему так происходит, как самостоятельно проверить индексацию и что сделать, чтобы страница попала в поиск.
Что такое indexability и почему это важно
Indexability (индексность) — это способность страницы попадать в базу поисковой системы. Не путайте с ранжированием: сначала робот должен найти и проиндексировать URL, и только потом решает, на какой позиции её показывать. Индексирование — фундамент: нет записи в индексе — нет кликов, заявок и продаж с поиска.
На практике indexability — это не один параметр, а набор технических сигналов, которые бот считывает при обходе страницы. В своей практике я вижу чаще всего одно: страница не попадает в поиск не из-за слабого контента, а из-за технического запрета, который легко пропустить. Достаточно одного noindex в <head> или одной строки Disallow в robots.txt — и неделя работы «уходит» из выдачи.
Почему это важно:
- Индексирование предшествует ранжированию. Страница не может быть высокой в поиске, если её там физически нет.
- Ошибка съедает трафик молча. Вы видите низкие позиции или их отсутствие, а причина — в том, что страницы «нет».
- Проблема масштабируется. Один и тот же тег
noindexили правило robots.txt закрывает сразу сотни страниц одновременно.
Про то, как индексирование видит сам робот — с учётом robots.txt, noindex, canonical и JavaScript, — подробно написано в статье как проверить сайт глазами робота.
Почему страница не индексируется: 6 основных причин
Причин несколько, и почти все они технические. Перечислю те, что встречаю чаще всего, — с примерами из практики.
1. noindex — запрет на индексирование в meta robots
Самая частая причина. В <head> страницы лежит тег:
<meta name="robots" content="noindex" />
Он прямо всем поисковикам: «страницу можно открывать, но в индекс не брать». Часто noindex остаётся после тестов, включается плагинами «для черновиков» или ставится на коммерческие страницы по ошибке. Редко кто-то делает это сознательно на важных разделах.
Решение: убрать noindex со всех страниц, которые должны быть в поиске. Проверить можно через вид робота — тег показывается прямо в исходном коде страницы.
2. robots.txt — Disallow закрывает страницу от обхода
Директива Disallow просит робота не посещать URL:
User-agent: *
Disallow: /private/
Но тут есть нюанс, который путают даже опытные специалисты. Disallow ≠ noindex. При Disallow робот вообще не заходит на страницу и не видит тег noindex, поэтому URL может «повиснуть» в индексе без сниппета, если о нём уже знали из внешних ссылок.
Как выбрать между ними:
| Задача | Что использовать |
|---|---|
| Закрыть служебные разделы (/admin/, /tmp/, /cgi-bin/) | Disallow в robots.txt |
| Исключить страницу из поиска | noindex (тег или заголовок X-Robots-Tag) |
Подробнее, как читать и правильно настраивать файл, — в статье robots.txt: как настроить и читать.
3. canonical на другую страницу
Тег rel="canonical" подсказывает поисковику, какая версия страницы основная. Если он указывает не на саму себя (self-referencing), а на другой URL, робот считает вашу страницу дублем и индексирует только канонический URL:
<link rel="canonical" href="https://example.ru/other-page/" />
Это нормально, если /about/ и /about-us/ — реальные дубы одного контента. Но если уникальная страница имеет canonical на главную — это ошибка, и страница не попадёт в индекс. Как правильно ставить канонический URL и зачем он нужен, разобрано в статье rel=canonical: зачем и как.
4. Дубли страниц
Если один и тот же контент доступен по нескольким URL (с параметрами, на http и https, с trailing slash и без), поисковик индексирует одну «каноническую» версию, а остальные отбраковывает. Решение — свести дубы к одному URL через canonical и настроить 301-редиректы. Отдельно стоит проверить, не открывается ли один и тот же материал по адресам с слешем и без него.
5. Техническая ошибка: 4xx, 5xx, редирект
Страница с кодом ответа 404 (не найдена), 500 (ошибка сервера) или 301/302 (редирект на другую) не индексируется как самостоятельная:
- 404 — страница удалена; если она была полезна, её нужно восстанавливать.
- 5xx — сервер ошибается при отдаче; робот уходит без индексации.
- 301/302 — страница перемещена, вес и индекс переходят на новый URL.
Проверьте код ответа страницы через curl -sI или посмотрите в робот-взгляде.
6. Страница слишком новая или не посещена роботом
Новая страница может долго «лежать»: роботу нужно время, чтобы найти её по ссылкам. А если на страницу нет внутренних ссылок и её нет в карте сайта (sitemap), бот вообще может о ней не узнать. Решение — поставить внутренние ссылки из навигации и контента, добавить URL в sitemap и отправить на переобход. Обычно это занимает от нескольких часов до двух дней в зависимости от авторитетности домена.
Как проверить индексирование страницы
Четыре рабочих способа — от простого к профессиональному.
1. Поиск через site:
Введите в Google или Яндекс:
site:example.ru/page/
Если страница в результатах — она проиндексирована. Если нет — идём проверять причины выше. Этот же приём показывает, сколько всего страниц сайта уже в индексе, и помогает найти дубы.
2. Google Search Console — проверка URL
Откройте раздел URL Inspection (Проверка URL), введите адрес и посмотрите статус индексации: «Страница в индексе» или «Страница не в индексе» с причиной (например, «обнаружена, но не проиндексирована»). Там же можно нажать Отправить в индекс (Request indexing) — это ускорит обход.
3. Яндекс.Вебмастер — «Переобход страниц»
В личном кабинете Яндекса есть раздел для проверки статуса и принудительного переобхода URL. Прямой аналог Google Search Console для российской выдачи.
4. Robot View — «сайт глазами робота»
Инструмент показывает страницу именно теми глазами, которыми её видит бот: с учётом robots.txt, noindex, canonical и обработки JS. Это лучший способ понять, почему страница не индексируется, если в Search Console статус размытый. Подробнее — в статье как проверить сайт глазами робота.
Дополнительно можно проверить всё самостоятельно через командную строку:
# meta robots
curl -sL 'https://example.ru/page/' | grep -oP 'name="robots"\s+content="\K[^"]+'
# HTTP-заголовок X-Robots-Tag
curl -sI 'https://example.ru/page/' | grep -i 'x-robots-tag'
# canonical
curl -sL 'https://example.ru/page/' | grep -oP 'rel="canonical"[^>]+href="\K[^"]+'
# код ответа сервера
curl -sI 'https://example.ru/page/' | head -1
Как заставить страницу проиндексироваться
Конкретные действия — от самых частых к дополнительным.
1. Отправить URL на переобход
Самый быстрый способ «разбудить» робота. В Google Search Console (Проверка URL → Отправить в индекс) и Яндекс.Вебмастере («Переобход страниц»). На авторитетных сайтах после этого страница появляется в индексе за часы, на новых доменах — за несколько дней.
2. Исправить запреты
Если страница должна быть в поиске, убедитесь, что:
- нет
noindex(иX-Robots-Tag: noindex); - URL не закрыт в robots.txt (
Disallow); - canonical ведёт на саму себя;
- код ответа 200, а не 4xx/5xx/301.
Алгоритм простой: убираете запрет — отправляете URL на переобход — ждёте обхода и проверяете через site:.
3. Дать странице ссылки и попасть в sitemap
Робот должен найти URL. Поставьте внутренние ссылки со страниц, которые уже проиндексированы: ссылка передаёт вес и помогает боту дойти до нового материала. Добавьте адрес в sitemap.xml — это особенно важно для новых и «глубоких» разделов, до которых бот не всегда добирается сам.
Проверить индексирование в seoquest.ru (/check/free)
В бесплатной проверке сайта /check/free индексация — один из ключевых параметров Health Score:
- robots, noindex, canonical — проверка закрытия от индексации на всех страницах;
- Страницы в индексе — сравнение фактического количества с ожидаемым;
- Индексация важных страниц — контроль, что коммерческие и ключевые разделы проиндексированы.
Запуск проверки показывает все технические запреты списком, чтобы вы не искали их вручную через curl и Search Console по одной странице.
Чек-лист: страница в индексе или нет
- [ ] Страница не закрыта в robots.txt (Disallow)
- [ ] Нет meta robots noindex и X-Robots-Tag noindex
- [ ] Canonical указывает на self-referencing URL
- [ ] Страница отдаёт HTTP 200, без 301/404/5xx
- [ ] Страница есть в sitemap.xml
- [ ] На страница есть внутренние ссылки
- [ ] Страница находится в индексе (проверка через site:)
Часто задаваемые вопросы
Почему страница проиндексирована, но нет в поиске?
Возможно, она в индексе, но не ранжируется по вашему запросу — это уже вопрос релевантности и конкуренции. Если её совсем нет по site:, значит, индексации всё-таки нет и нужно проверять noindex, robots.txt и canonical.
В чём разница между noindex и Disallow?
Noindex говорит роботу не брать страницу в индекс, но разрешает посещение. Disallow запрещает посещение вообще — при этом URL иногда «висит» в индексе без сниппета. Для исключения из поиска используйте noindex, для служебных разделов — Disallow.
Как быстро страница попадёт в индекс?
На авторитетных сайтах — от нескольких часов до суток после отправки на переобход. На новых доменах — от нескольких дней до двух недель. Ускорить можно через Search Console и Яндекс.Вебмастер.
Can закрыть страницу от индексации?
Косвенно — да: если canonical ведёт на другой URL, поисковик считает страницу дублем и индексирует только каноническую. Но робот при этом страницу посещает.
Итог
Индексирование — это фундамент SEO. Если страница не проиндексирована, она не может ранжироваться и приносить трафик, каким бы хорошим ни был контент. Проверьте robots.txt, meta robots (noindex), X-Robots-Tag и canonical на каждой важной странице, дайте ей внутренние ссылки и sitemap, а затем отправьте на переобход. Быстрее всего собрать все технические проблемы за раз — в бесплатной проверке сайта.