[{"data":1,"prerenderedAt":30},["ShallowReactive",2],{"$fKh_805MnbNR4R6x42oVWe0csY45N7jmx9pWPpwS2z6c":3},{"slug":4,"title":5,"description":6,"date":7,"created_at":8,"updated_at":8,"h1":5,"content":9,"views":10,"next_articles":11},"indexability-stranicy","Индексность страницы: robots, noindex, canonical","Вы создали полезную статью, оптимизировали title и description, но страница не появляется в результатах поиска Яндекса или Google. Почему?","2026-08-09","2026-09-07","\u003Ch2>Почему страница не попадает в поиск\u003C\u002Fh2>\n\u003Cp>Вы создали полезную статью, оптимизировали title и description, но страница не появляется в результатах поиска Яндекса или Google. Почему?\u003C\u002Fp>\n\u003Cp>Страница может быть \u003Cstrong>закрыта от индексации\u003C\u002Fstrong> одним из нескольких способов:\u003Cbr>\n1. \u003Cstrong>robots.txt\u003C\u002Fstrong> — директива Disallow\u003Cbr>\n2. \u003Cstrong>Meta robots\u003C\u002Fstrong> — тег \u003Ccode><meta name=\"robots\" content=\"noindex\">\u003C\u002Fcode>\u003Cbr>\n3. \u003Cstrong>X-Robots-Tag\u003C\u002Fstrong> — HTTP-заголовок \u003Ccode>X-Robots-Tag: noindex\u003C\u002Fcode>\u003Cbr>\n4. \u003Cstrong>Canonical\u003C\u002Fstrong> — canonical указывает на другую страницу\u003Cbr>\n5. \u003Cstrong>301 редирект\u003C\u002Fstrong> — страница перенаправляется на другую\u003C\u002Fp>\n\u003Cp>Если хотя бы один из этих факторов присутствует — страница не будет индексироваться (или будет индексироваться не как самостоятельная).\u003C\u002Fp>\n\u003Ctable>\u003Cthead>\u003Ctr>\u003Cth>Механизм\u003C\u002Fth>\u003Cth>Что делает\u003C\u002Fth>\u003Cth>Когда применять\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Ctd>\u003Ccode>robots.txt Disallow\u003C\u002Fcode>\u003C\u002Ftd>\u003Ctd>Просит робота не обходить URL; сам по себе не гарантирует исключение из индекса\u003C\u002Ftd>\u003Ctd>Служебные разделы и снижение лишнего обхода\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>\u003Ccode>noindex\u003C\u002Fcode>\u003C\u002Ftd>\u003Ctd>Исключает доступную страницу из поиска после её обхода\u003C\u002Ftd>\u003Ctd>Фильтры, внутренние результаты поиска, дубли\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>\u003Ccode>canonical\u003C\u002Fcode>\u003C\u002Ftd>\u003Ctd>Подсказывает предпочитаемую версию похожих страниц\u003C\u002Ftd>\u003Ctd>Параметры, вариации и дубли контента\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\n\u003Ch2>Robots.txt — первый барьер\u003C\u002Fh2>\n\u003Ch3>Как robots.txt блокирует индексацию\u003C\u002Fh3>\n\u003Cp>Директива \u003Ccode>Disallow\u003C\u002Fcode> в robots.txt говорит роботу не посещать страницу. Если робот не посещает страницу, он не может её проиндексировать.\u003C\u002Fp>\n\u003Cpre>\u003Ccode>User-agent: *\nDisallow: \u002Fprivate\u002F\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Страница \u003Ccode>\u002Fprivate\u002Fsecret\u002F\u003C\u002Fcode> будет закрыта от всех поисковиков.\u003C\u002Fp>\n\u003Ch3>Нюанс: Disallow ≠ noindex\u003C\u002Fh3>\n\u003Cul>\n\u003Cli>\u003Cstrong>Disallow\u003C\u002Fstrong> — робот не посещает страницу, но URL может быть проиндексирован, если о нём узнали из других источников\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Noindex\u003C\u002Fstrong> — робот посещает страницу, но не индексирует её\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cstrong>Рекомендация:\u003C\u002Fstrong> для закрытия страниц от индексации используйте noindex, не Disallow. Disallow используйте только для служебных директорий (\u002Fadmin\u002F, \u002Ftmp\u002F).\u003C\u002Fp>\n\u003Ch2>Meta robots — тег в HTML\u003C\u002Fh2>\n\u003Ch3>Базовый noindex\u003C\u002Fh3>\n\u003Cpre>\u003Ccode class=\"language-html\"><meta name="robots" content="noindex" \u002F>\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Этот тег говорит всем поисковикам не индексировать страницу.\u003C\u002Fp>\n\u003Ch3>noindex, follow\u003C\u002Fh3>\n\u003Cpre>\u003Ccode class=\"language-html\"><meta name="robots" content="noindex, follow" \u002F>\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Страница не индексируется, но ссылки на ней передают вес. Это полезно для страниц пагинации, которые нужно проиндексировать, но не показывать в выдаче.\u003C\u002Fp>\n\u003Ch3>noindex, nofollow\u003C\u002Fh3>\n\u003Cpre>\u003Ccode class=\"language-html\"><meta name="robots" content="noindex, nofollow" \u002F>\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Страница не индексируется, и ссылки на ней не передают вес. Используйте для страниц, которые не должны передавать ссылочный вес (например, страницы с пользовательским контентом).\u003C\u002Fp>\n\u003Ch3>Index, follow — явное разрешение\u003C\u002Fh3>\n\u003Cpre>\u003Ccode class=\"language-html\"><meta name="robots" content="index, follow" \u002F>\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Обычно не нужен — это поведение по умолчанию. Но может быть полезен, если предыдущая страница имеет noindex, а текущая должна быть проиндексирована.\u003C\u002Fp>\n\u003Ch2>X-Robots-Tag — HTTP-заголовок\u003C\u002Fh2>\n\u003Ch3>Когда использовать\u003C\u002Fh3>\n\u003Cp>X-Robots-Tag — это HTTP-заголовок, который работает так же, как meta robots, но на уровне сервера. Полезен для:\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>PDF и других файлов\u003C\u002Fstrong> — meta robots в HTML не работает для PDF\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Всех страниц\u003C\u002Fstrong> — если вы не используете CMS для управления meta robots\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Глобальных правил\u003C\u002Fstrong> — например, закрыть все PDF от индексации\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3>Пример\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>X-Robots-Tag: noindex\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Или для конкретных типов файлов:\u003C\u002Fp>\n\u003Cpre>\u003Ccode># nginx\nlocation ~* \\.(pdf|doc|docx)$ {\n    add_header X-Robots-Tag "noindex, nofollow";\n}\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch2>Canonical — косвенная блокировка индексации\u003C\u002Fh2>\n\u003Ch3>Как canonical влияет на индексацию\u003C\u002Fh3>\n\u003Cp>Если canonical страницы указывает на другой URL — поисковик считает эту страницу дублем и индексирует только канонический URL.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Пример:\u003C\u002Fstrong>\u003C\u002Fp>\u003Cul>\u003Cli>Страница \u003Ccode>\u002Fabout\u002F\u003C\u002Fcode> имеет canonical на \u003Ccode>\u002Fabout-us\u002F\u003C\u002Fcode>\u003C\u002Fli>\u003Cli>Поисковик индексирует \u003Ccode>\u002Fabout-us\u002F\u003C\u002Fcode>, а \u003Ccode>\u002Fabout\u002F\u003C\u002Fcode> — нет\u003C\u002Fli>\u003C\u002Ful>\n\u003Cp>\u003Cstrong>Это нормально\u003C\u002Fstrong>, если \u003Ccode>\u002Fabout\u002F\u003C\u002Fcode> и \u003Ccode>\u002Fabout-us\u002F\u003C\u002Fcode> — дубли. Но если \u003Ccode>\u002Fabout\u002F\u003C\u002Fcode> — уникальная страница с canonical на \u003Ccode>\u002F\u003C\u002Fcode> — это ошибка.\u003C\u002Fp>\n\u003Ch2>301 редирект — страница перемещена\u003C\u002Fh2>\n\u003Ch3>Как 301 влияет на индексацию\u003C\u002Fh3>\n\u003Cp>Если страница отдаёт 301 редирект на другой URL — поисковик понимает, что страница перемещена, и передаёт ссылочный вес на новый URL. Старый URL исключается из индекса.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Пример:\u003C\u002Fstrong>\u003C\u002Fp>\u003Cul>\u003Cli>\u003Ccode>\u002Fold-page\u002F\u003C\u002Fcode> → 301 → \u003Ccode>\u002Fnew-page\u002F\u003C\u002Fcode>\u003C\u002Fli>\u003Cli>\u003Ccode>\u002Fold-page\u002F\u003C\u002Fcode> исключается из индекса\u003C\u002Fli>\u003Cli>\u003Ccode>\u002Fnew-page\u002F\u003C\u002Fcode> получает весь ссылочный вес\u003C\u002Fli>\u003C\u002Ful>\n\u003Ch2>Как проверить индексацию страницы\u003C\u002Fh2>\n\u003Ch3>1. Через поисковик\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>site:example.ru\u002Fpage\u002F\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Если страница в результатах — она проиндексирована. Если нет — проверьте ниже.\u003C\u002Fp>\n\u003Ch3>2. Через Яндекс.Вебмастер\u003C\u002Fh3>\n\u003Cp>Раздел «Переобход страниц» → введите URL → проверьте статус.\u003C\u002Fp>\n\u003Ch3>3. Через Google Search Console\u003C\u002Fh3>\n\u003Cp>Раздел «Проверка URL» → введите URL → посмотрите статус индексации.\u003C\u002Fp>\n\u003Ch3>4. Через curl\u003C\u002Fh3>\n\u003Cpre>\u003Ccode class=\"language-bash\"># Проверить meta robots\ncurl -sL 'https:\u002F\u002Fexample.ru\u002Fpage\u002F' | grep -oP 'name="robots"\\s+content="\\K[^"]+'\n\n# Проверить X-Robots-Tag\ncurl -sI 'https:\u002F\u002Fexample.ru\u002Fpage\u002F' | grep -i 'x-robots-tag'\n\n# Проверить canonical\ncurl -sL 'https:\u002F\u002Fexample.ru\u002Fpage\u002F' | grep -oP 'rel="canonical"[^>]+href="\\K[^"]+'\n\n# Проверить HTTP-код\ncurl -sI 'https:\u002F\u002Fexample.ru\u002Fpage\u002F' | head -1\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch2>Частые причины отсутствия страницы в индексе\u003C\u002Fh2>\n\u003Ch3>1. Noindex\u003C\u002Fh3>\n\u003Cp>Страница имеет \u003Ccode><meta name=\"robots\" content=\"noindex\">\u003C\u002Fcode>. Это может быть намеренно (страницы пагинации) или ошибочно (важные страницы закрыты).\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Решение:\u003C\u002Fstrong> уберите noindex с важных страниц.\u003C\u002Fp>\n\u003Ch3>2. Disallow в robots.txt\u003C\u002Fh3>\n\u003Cp>Страница закрыта в robots.txt. Робот не посещает страницу и не может её проиндексировать.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Решение:\u003C\u002Fstrong> уберите страницу из Disallow, если она важна.\u003C\u002Fp>\n\u003Ch3>3. Canonical на другую страницу\u003C\u002Fh3>\n\u003Cp>Страница имеет canonical, указывающий на другой URL. Поисковик считает её дублем.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Решение:\u003C\u002Fstrong> проверьте, что canonical указывает на self-referencing URL.\u003C\u002Fp>\n\u003Ch3>4. Страница не посещена роботом\u003C\u002Fh3>\n\u003Cp>Если на страницу нет внутренних ссылок, робот может её не найти.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Решение:\u003C\u002Fstrong> добавьте ссылки из навигации или контента. Или укажите в sitemap.\u003C\u002Fp>\n\u003Ch3>5. Страница слишком новая\u003C\u002Fh3>\n\u003Cp>Поисковику нужно время, чтобы найти и проиндексировать новую страницу. Обычно это занимает от нескольких часов до нескольких дней.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Решение:\u003C\u002Fstrong> отправьте URL на переобход через Вебмастер\u002FSearch Console.\u003C\u002Fp>\n\u003Ch3>6. Страница с тонким контентом\u003C\u002Fh3>\n\u003Cp>Поисковики могут не индексировать страницы с очень коротким или дублирующимся контентом.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Решение:\u003C\u002Fstrong> дополните контент или объедините с другой страницей.\u003C\u002Fp>\n\u003Ch2>Индексация и Health Score\u003C\u002Fh2>\n\u003Cp>В Health Score seoquest.ru индексация — один из ключевых параметров:\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>robots, noindex, canonical\u003C\u002Fstrong> — проверка закрытия от индексации\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Страницы в индексе\u003C\u002Fstrong> — сравнение количества проиндексированных страниц с ожидаемым\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Индексация важных страниц\u003C\u002Fstrong> — проверка, что коммерческие страницы проиндексированы\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2>Чеклист индексации\u003C\u002Fh2>\n\u003Cul>\n\u003Cli>[ ] Страница не закрыта в robots.txt (Disallow)\u003C\u002Fli>\n\u003Cli>[ ] Нет meta robots noindex\u003C\u002Fli>\n\u003Cli>[ ] Нет X-Robots-Tag noindex\u003C\u002Fli>\n\u003Cli>[ ] Canonical указывает на self-referencing URL\u003C\u002Fli>\n\u003Cli>[ ] Страница отдаёт HTTP 200\u003C\u002Fli>\n\u003Cli>[ ] Страница есть в sitemap\u003C\u002Fli>\n\u003Cli>[ ] На страницу есть внутренние ссылки\u003C\u002Fli>\n\u003Cli>[ ] Страница проиндексирована (проверка через site:)\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2>Итог\u003C\u002Fh2>\n\u003Cp>Индексация — фундамент SEO. Если страница не проиндексирована, она не может ранжироваться. Проверяйте robots.txt, meta robots, X-Robots-Tag и canonical на каждой важной странице. Используйте инструменты Яндекс.Вебмастера и Google Search Console для контроля индексации.\u003C\u002Fp>\n\u003Cp>Проверить сайт по техническим и контентным пунктам можно в \u003Ca href=\"\u002Fcheck\u002Ffree\">бесплатной проверке\u003C\u002Fa>.\u003C\u002Fp>\n\u003Ch2>Когда уместен noindex\u003C\u002Fh2>\n\u003Cp>Мета \u003Ccode>noindex\u003C\u002Fcode> (или \u003Ccode>X-Robots-Tag\u003C\u002Fcode>) — страница может открываться людям, но не должна быть в поиске: служебный поиск, тонкая пагинация, личные кабинеты, черновики. Это не замена \u003Ccode>Disallow\u003C\u002Fcode> в robots.txt: при noindex робот обычно всё же загружает URL, при Disallow — может не ходить, но URL иногда «висит» в выдаче без сниппета.\u003C\u002Fp>\n\u003Cp>Перенос страницы = чаще \u003Cstrong>301\u003C\u002Fstrong>, а не noindex «на всякий случай».\u003C\u002Fp>\n\u003Ch2>Hreflang (если сайт мультиязычный)\u003C\u002Fh2>\n\u003Ch2>Hreflang — как сказать поисковику, какой язык у страницы\u003C\u002Fh2>\n\u003Cp>Hreflang — это тег, который говорит поисковику: «Эта страница на русском, а эта — на английском».\u003C\u002Fp>\n\u003Ch2>Как работает\u003C\u002Fh2>\n\u003Cpre>\u003Ccode class=\"language-html\"><link rel="alternate" hreflang="ru" href="https:\u002F\u002Fexample.ru\u002F" \u002F>\n<link rel="alternate" hreflang="en" href="https:\u002F\u002Fexample.com\u002F" \u002F>\n<link rel="alternate" hreflang="x-default" href="https:\u002F\u002Fexample.com\u002F" \u002F>\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch2>Правила hreflang\u003C\u002Fh2>\n\u003Col>\n\u003Cli>Каждая страница должна ссылаться на все языковые версии\u003C\u002Fli>\n\u003Cli>Каждая версия должна ссылаться на все остальные\u003C\u002Fli>\n\u003Cli>x-default — версия по умолчанию для пользователей без выбора языка\u003C\u002Fli>\n\u003Cli>Коды языков: ISO 639-1 (ru, en, de)\u003C\u002Fli>\n\u003C\u002Fol>\n\u003Ch2>Частые ошибки\u003C\u002Fh2>\n\u003Col>\n\u003Cli>Пропущенная обратная ссылка\u003C\u002Fli>\n\u003Cli>Hreflang на 404-странице\u003C\u002Fli>\n\u003Cli>Неправильные коды языков\u003C\u002Fli>\n\u003C\u002Fol>\n\u003Ch2>Итог\u003C\u002Fh2>\n\u003Cp>Если у вас мультиязычный сайт — настройте hreflang. Если нет — эта статья не для вас.\u003C\u002Fp>\n\u003Csection class=\"blog-faq\">\n\u003Ch2>Вопросы и ответы\u003C\u002Fh2>\n\u003Cdetails>\u003Csummary>Noindex и Disallow — в чём разница?\u003C\u002Fsummary>\u003Cp>Noindex говорит роботу не индексировать страницу, но разрешает посещение. Disallow запрещает посещение. Для закрытия страниц от индексации используйте noindex, не Disallow.\u003C\u002Fp>\u003C\u002Fdetails>\n\u003Cdetails>\u003Csummary>Can canonical закрыть страницу от индексации?\u003C\u002Fsummary>\u003Cp>Косвенно — да. Если canonical указывает на другую страницу, поисковик считает страницу дублем и индексирует только канонический URL. Но страница всё равно будет посещена роботом.\u003C\u002Fp>\u003C\u002Fdetails>\n\u003Cdetails>\u003Csummary>Как быстро страница попадёт в индекс?\u003C\u002Fsummary>\u003Cp>Зависит от авторитетности сайта и частоты обхода. На авторитетных сайтах — от нескольких часов до дня. На новых — от нескольких дней до двух недель. Ускорить можно через Вебмастер\u002FSearch Console.\u003C\u002Fp>\u003C\u002Fdetails>\n\u003Cdetails>\u003Csummary>X-Robots-Tag работает для HTML-страниц?\u003C\u002Fsummary>\u003Cp>Да, X-Robots-Tag работает для всех типов файлов, включая HTML. Но для HTML-страниц проще использовать meta robots в <head>.\u003C\u002Fp>\u003C\u002Fdetails>\n\u003Cdetails>\u003Csummary>Можно ли удалить страницу из индекса?\u003C\u002Fsummary>\u003Cp>Да, добавьте noindex и отправьте URL на переобход. Поисковик удалит страницу из индекса в течение нескольких дней. Или настройте 301 редирект на другую страницу.\u003C\u002Fp>\u003C\u002Fdetails>\n\u003C\u002Fsection>",0,[12,16,19,23,27],{"slug":13,"title":14,"date":15,"views":10},"meta-description-optimizaciya","Meta description: как писать","2026-07-01",{"slug":17,"title":18,"date":7,"views":10},"robot-view-glazami-robota","Сайт глазами робота",{"slug":20,"title":21,"date":22,"views":10},"soglasovannost-title-h1-description","Согласованность title, H1 и description","2026-08-08",{"slug":24,"title":25,"date":26,"views":10},"robots-txt-kak-nastroit","Robots.txt: как настроить и проверить для SEO","2026-07-06",{"slug":28,"title":29,"date":15,"views":10},"meta-tegi-title-description","Мета-теги title, description, Open Graph",1789381424974]