[{"data":1,"prerenderedAt":30},["ShallowReactive",2],{"$fo_gS7QdF6KWkkdOYE4rEhArutJBJdgxDjr6f3uvDWe8":3},{"slug":4,"title":5,"description":6,"date":7,"created_at":8,"updated_at":8,"h1":5,"content":9,"views":10,"next_articles":11},"robots-txt-kak-nastroit","Robots.txt: как настроить и проверить для SEO","Файл robots.txt находится в корне сайта (example.ru\u002Frobots.txt) и содержит инструкции для поисковых роботов (краулеров) Яндекса, Google и других поисковых…","2026-07-06","2026-09-07","\u003Ch2>Robots.txt — инструкция для поисковых роботов\u003C\u002Fh2>\n\u003Cp>Файл \u003Ccode>robots.txt\u003C\u002Fcode> находится в корне сайта (\u003Ccode>example.ru\u002Frobots.txt\u003C\u002Fcode>) и содержит инструкции для поисковых роботов (краулеров) Яндекса, Google и других поисковых систем. Он говорит роботам, какие страницы можно индексировать, а какие — нет.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Важно:\u003C\u002Fstrong> robots.txt — это рекомендация, а не команда. Почти все крупные поисковики соблюдают robots.txt, но боты спамеров и скрейперы — нет.\u003C\u002Fp>\n\u003Ctable>\u003Cthead>\u003Ctr>\u003Cth>Директива\u003C\u002Fth>\u003Cth>Назначение\u003C\u002Fth>\u003Cth>Пример\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Ctd>\u003Ccode>Allow\u003C\u002Fcode>\u003C\u002Ftd>\u003Ctd>Разрешает обход пути внутри закрытой директории\u003C\u002Ftd>\u003Ctd>\u003Ccode>Allow: \u002Fprivate\u002Fpublic\u002F\u003C\u002Fcode>\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>\u003Ccode>Disallow\u003C\u002Fcode>\u003C\u002Ftd>\u003Ctd>Просит робота не обходить путь\u003C\u002Ftd>\u003Ctd>\u003Ccode>Disallow: \u002Fadmin\u002F\u003C\u002Fcode>\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>\u003Ccode>Clean-param\u003C\u002Fcode>\u003C\u002Ftd>\u003Ctd>Сообщает Яндексу об игнорируемых параметрах\u003C\u002Ftd>\u003Ctd>\u003Ccode>Clean-param: sort filter \u002F\u003C\u002Fcode>\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>\u003Ccode>Host\u003C\u002Fcode>\u003C\u002Ftd>\u003Ctd>Историческая директива Яндекса; для зеркал используйте 301 и canonical\u003C\u002Ftd>\u003Ctd>\u003Ccode>Host: example.ru\u003C\u002Fcode>\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>\u003Ccode>Sitemap\u003C\u002Fcode>\u003C\u002Ftd>\u003Ctd>Указывает URL карты сайта\u003C\u002Ftd>\u003Ctd>\u003Ccode>Sitemap: https:\u002F\u002Fexample.ru\u002Fsitemap.xml\u003C\u002Fcode>\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\n\u003Ch2>Структура robots.txt\u003C\u002Fh2>\n\u003Ch3>Базовый формат\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>User-Agent: *\nDisallow: \u002Fadmin\u002F\nDisallow: \u002Ftmp\u002F\nDisallow: \u002Fprivate\u002F\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cul>\n\u003Cli>\u003Cstrong>User-Agent\u003C\u002Fstrong> — имя робота. \u003Ccode>*\u003C\u002Fcode> означает «все роботы».\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Disallow\u003C\u002Fstrong> — путь, который закрыт от индексации.\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Allow\u003C\u002Fstrong> — путь, который разрешён даже внутри закрытой директории.\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3>User-Agent для разных поисковиков\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>User-Agent: Googlebot\nDisallow: \u002Fadmin\u002F\n\nUser-Agent: YandexBot\nDisallow: \u002Fadmin\u002F\nDisallow: \u002Fprivate\u002F\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Яндекс и Google могут иметь разные правила. Если вы хотите одинаковые правила для всех — используйте \u003Ccode>User-Agent: *\u003C\u002Fcode>.\u003C\u002Fp>\n\u003Ch2>Что закрывать в robots.txt\u003C\u002Fh2>\n\u003Ch3>Служебные директории\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>Disallow: \u002Fadmin\u002F\nDisallow: \u002Fwp-admin\u002F\nDisallow: \u002Fcgi-bin\u002F\nDisallow: \u002Ftmp\u002F\nDisallow: \u002Fcache\u002F\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch3>Страницы с фильтрами и сортировкой\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>Disallow: \u002F*?sort=\nDisallow: \u002F*?filter=\nDisallow: \u002F*&page=\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch3>Страницы поиска на сайте\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>Disallow: \u002Fsearch\u002F\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch3>Личные кабинеты\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>Disallow: \u002Faccount\u002F\nDisallow: \u002Fprofile\u002F\nDisallow: \u002Fcart\u002F\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch3>Что НЕ закрывать\u003C\u002Fh3>\n\u003Cul>\n\u003Cli>\u003Cstrong>Главную страницу\u003C\u002Fstrong> — \u003Ccode>\u002F\u003C\u002Fcode>\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Каталог и товары\u003C\u002Fstrong> — \u003Ccode>\u002Fcatalog\u002F\u003C\u002Fcode>, \u003Ccode>\u002Fproduct\u002F\u003C\u002Fcode>\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Блог\u003C\u002Fstrong> — \u003Ccode>\u002Fblog\u002F\u003C\u002Fcode>\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Контакты\u003C\u002Fstrong> — \u003Ccode>\u002Fcontacts\u002F\u003C\u002Fcode>\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Sitemap\u003C\u002Fstrong> — \u003Ccode>\u002Fsitemap.xml\u003C\u002Fcode> (robots.txt должен ссылаться на sitemap)\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Страницы с контентом\u003C\u002Fstrong> — \u003Ccode>\u002Fabout\u002F\u003C\u002Fcode>, \u003Ccode>\u002Fservices\u002F\u003C\u002Fcode>\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2>Clean-param — очистка параметров URL\u003C\u002Fh2>\n\u003Cp>\u003Cstrong>Clean-param\u003C\u002Fstrong> — это специальная директива Яндекса, которая говорит роботу игнорировать параметры в URL и считать страницы с разными параметрами одной.\u003C\u002Fp>\n\u003Ch3>Синтаксис\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>Clean-param: parameter1 parameter2 \u002Fpath\u002F\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>\u003Cstrong>Важно:\u003C\u002Fstrong> параметры разделяются \u003Cstrong>пробелами\u003C\u002Fstrong>, не амперсандами!\u003C\u002Fp>\n\u003Ch3>Примеры\u003C\u002Fh3>\n\u003Cpre>\u003Ccode># Очистить параметры sort и filter на всех страницах\nClean-param: sort filter \u002F\n\n# Очистить параметры s и page только на страницах поиска\nClean-param: s page \u002Fsearch\u002F\n\n# Очистить параметры session и csrf на всех страницах\nClean-param: session csrf \u002F\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch3>Частая ошибка\u003C\u002Fh3>\n\u003Cpre>\u003Ccode># Неправильно — амперсанды\nClean-param: searchid&web&search_btn&text \u002Fsearch\u002F\n\n# Правильно — пробелы\nClean-param: searchid web search_btn text \u002Fsearch\u002F\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Если использовать амперсанды, Яндекс проигнорирует правило, и каждый вариант параметров будет считаться отдельной страницей — дубли контента.\u003C\u002Fp>\n\u003Cp>Подробнее о том, когда Clean-param помогает, а когда создаёт риски: \u003Ca href=\"\u002Fblog\u002Fclean-param-v-robots-txt-kogda-nuzhno-kogda-vredit\">Clean-param в robots.txt — когда нужно, когда вредит\u003C\u002Fa>.\u003C\u002Fp>\n\u003Ch2>Host — указание канонического домена\u003C\u002Fh2>\n\u003Cp>Директива \u003Ccode>Host\u003C\u002Fcode> указывает Яндекс, какой домен является каноническим:\u003C\u002Fp>\n\u003Cpre>\u003Ccode>Host: example.ru\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>\u003Cstrong>Важно:\u003C\u002Fstrong> без \u003Ccode>https:\u002F\u002F\u003C\u002Fcode>! Только домен:\u003C\u002Fp>\n\u003Cpre>\u003Ccode># Правильно\nHost: example.ru\n\n# Неправильно — Google проигнорирует\nHost: https:\u002F\u002Fexample.ru\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Директива \u003Ccode>Host\u003C\u002Fcode> используется только Яндексом. Google игнорирует её и определяет канонический домен по canonical тегам.\u003C\u002Fp>\n\u003Ch2>Sitemap — ссылка на карту сайта\u003C\u002Fh2>\n\u003Cp>В robots.txt можно указать ссылку на sitemap.xml:\u003C\u002Fp>\n\u003Cpre>\u003Ccode>Sitemap: https:\u002F\u002Fexample.ru\u002Fsitemap.xml\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Это помогает поисковикам быстрее найти все страницы сайта. Можно указать несколько sitemap:\u003C\u002Fp>\n\u003Cpre>\u003Ccode>Sitemap: https:\u002F\u002Fexample.ru\u002Fsitemap.xml\nSitemap: https:\u002F\u002Fexample.ru\u002Fsitemap_images.xml\nSitemap: https:\u002F\u002Fexample.ru\u002Fsitemap_news.xml\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch2>Robots.txt для разных CMS\u003C\u002Fh2>\n\u003Ch3>WordPress\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>User-agent: *\nDisallow: \u002Fwp-admin\u002F\nDisallow: \u002Fwp-includes\u002F\nDisallow: \u002Fcategory\u002F\nDisallow: \u002F*?s=\nDisallow: \u002F*?feed=\nDisallow: \u002F*\u002Ffeed\u002Frss\nDisallow: \u002F*\u002Ffeed\u002Frss2\nDisallow: \u002F*\u002Ffeed\u002Frss2\u002F\nDisallow: \u002F*\u002Ffeed\u002Frdf\nDisallow: \u002F*\u002Ffeed\u002Fatom\nDisallow: \u002F*\u002F?feed=\nDisallow: \u002F*\u002F?feed=rss2\nDisallow: \u002F*\u002F?feed=rss\nDisallow: \u002F*\u002F?feed=atom\nDisallow: \u002F*\u002F?static=1\nDisallow: \u002F*\u002F?attachment_id=\nDisallow: \u002F*?s=\nDisallow: \u002F*?attachment_id=\nDisallow: \u002F*\u002Fwp-json\u002F\nDisallow: \u002F*\u002Frest\u002F\nSitemap: https:\u002F\u002Fexample.ru\u002Fsitemap.xml\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch3>1С-Битрикс\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>User-agent: *\nDisallow: \u002Flocal\u002F\nDisallow: \u002Ftmp\u002F\nDisallow: \u002Fupload\u002F\nDisallow: \u002Fbitrix\u002F\nDisallow: \u002Fauth\u002F\nDisallow: \u002Fpersonal\u002F\nDisallow: \u002Fsearch\u002F\nDisallow: \u002F*?register=\nDisallow: \u002F*?login=\nDisallow: \u002F*?logout=\nDisallow: \u002F*?actions=\nSitemap: https:\u002F\u002Fexample.ru\u002Fsitemap.xml\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch3>Самописный сайт\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>User-agent: *\nDisallow: \u002Fadmin\u002F\nDisallow: \u002Fapi\u002F\nDisallow: \u002Fprivate\u002F\nDisallow: \u002Ftmp\u002F\nDisallow: \u002Fcache\u002F\nDisallow: \u002Fsearch\u002F\nDisallow: \u002F*?sort=\nDisallow: \u002F*?filter=\nDisallow: \u002F*&page=\nSitemap: https:\u002F\u002Fexample.ru\u002Fsitemap.xml\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch2>Как проверить robots.txt\u003C\u002Fh2>\n\u003Ch3>1. Открыть в браузере\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>https:\u002F\u002Fexample.ru\u002Frobots.txt\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch3>2. Через curl\u003C\u002Fh3>\n\u003Cpre>\u003Ccode class=\"language-bash\">curl -sL 'https:\u002F\u002Fexample.ru\u002Frobots.txt'\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch3>3. Через Яндекс.Вебмастер\u003C\u002Fh3>\n\u003Cp>В разделе «Индексирование → Файы robots.txt» Яндекс показывает, какие правила он видит и какие страницы закрыл.\u003C\u002Fp>\n\u003Ch3>4. Через Google Search Console\u003C\u002Fh3>\n\u003Cp>В разделе «Настройки роботов → Просмотреть как Googlebot» можно проверить, какие страницы доступны.\u003C\u002Fp>\n\u003Ch2>Частые ошибки с robots.txt\u003C\u002Fh2>\n\u003Ch3>1. Закрытие важных страниц\u003C\u002Fh3>\n\u003Cp>Если закрыть \u003Ccode>\u002Fcatalog\u002F\u003C\u002Fcode> или \u003Ccode>\u002Fblog\u002F\u003C\u002Fcode> в Disallow — поисковик не проиндексирует эти разделы. Трафик упадёт до нуля.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Проверка:\u003C\u002Fstrong> убедитесь, что все коммерческие и информационные страницы открыты.\u003C\u002Fp>\n\u003Ch3>2. Disallow на sitemap\u003C\u002Fh3>\n\u003Cp>Если закрыть \u003Ccode>\u002Fsitemap.xml\u003C\u002Fcode> в Disallow — поисковик может не найти карту сайта. Sitemap должен быть доступен.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Проверка:\u003C\u002Fstrong> \u003Ccode>curl -sL 'https:\u002F\u002Fexample.ru\u002Fsitemap.xml'\u003C\u002Fcode> должен отдавать 200.\u003C\u002Fp>\n\u003Ch3>3. Ошибка в Clean-param\u003C\u002Fh3>\n\u003Cp>Амперсанды вместо пробелов — Яндекс проигнорирует правило. Дубли параметров будут индексироваться.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Проверка:\u003C\u002Fstrong> \u003Ccode>grep 'Clean-param' robots.txt | grep '&'\u003C\u002Fcode> — если нашлось, исправьте.\u003C\u002Fp>\n\u003Ch3>4. Host с https:\u002F\u002F\u003C\u002Fh3>\n\u003Cp>\u003Ccode>Host: https:\u002F\u002Fexample.ru\u003C\u002Fcode> — Google проигнорирует. Только домен: \u003Ccode>Host: example.ru\u003C\u002Fcode>.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Проверка:\u003C\u002Fstrong> \u003Ccode>grep '^Host:' robots.txt\u003C\u002Fcode> — если есть \u003Ccode>https:\u002F\u002F\u003C\u002Fcode>, уберите.\u003C\u002Fp>\n\u003Ch3>5. robots.txt возвращает 404\u003C\u002Fh3>\n\u003Cp>Если \u003Ccode>example.ru\u002Frobots.txt\u003C\u002Fcode> отдаёт 404 — поисковик считает, что robots.txt отсутствует, и проиндексирует всё, что найдёт.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Проверка:\u003C\u002Fstrong> \u003Ccode>curl -sI 'https:\u002F\u002Fexample.ru\u002Frobots.txt' | head -1\u003C\u002Fcode> — должен быть 200.\u003C\u002Fp>\n\u003Ch2>Robots.txt и Health Score\u003C\u002Fh2>\n\u003Cp>В Health Score seoquest.ru robots.txt — один из ключевых параметров:\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>robots.txt доступен\u003C\u002Fstrong> — обязательно\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Важные страницы не закрыты\u003C\u002Fstrong> — обязательно\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Clean-param настроен правильно\u003C\u002Fstrong> — рекомендуется\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Sitemap указана\u003C\u002Fstrong> — рекомендуется\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2>Чеклист robots.txt\u003C\u002Fh2>\n\u003Cul>\n\u003Cli>[ ] robots.txt доступен (HTTP 200)\u003C\u002Fli>\n\u003Cli>[ ] Служебные директории закрыты (\u002Fadmin\u002F, \u002Ftmp\u002F, \u002Fcache\u002F)\u003C\u002Fli>\n\u003Cli>[ ] Важные страницы открыты (\u002Fcatalog\u002F, \u002Fblog\u002F, \u002Fcontacts\u002F)\u003C\u002Fli>\n\u003Cli>[ ] Sitemap указана\u003C\u002Fli>\n\u003Cli>[ ] Clean-param использует пробелы, не амперсанды\u003C\u002Fli>\n\u003Cli>[ ] Host указан без https:\u002F\u002F\u003C\u002Fli>\n\u003Cli>[ ] robots.txt не закрывает sitemap.xml\u003C\u002Fli>\n\u003Cli>[ ] Нет ошибок синтаксиса\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2>Итог\u003C\u002Fh2>\n\u003Cp>robots.txt — это базовый элемент технического SEO. Правильно настроенный файл защищает служебные страницы от индексации и помогает поисковикам сосредоточиться на важном контенте. Проверяйте robots.txt хотя бы раз в квартал — и ваш сайт будет индексироваться чисто.\u003C\u002Fp>\n\u003Cp>Проверить сайт по техническим и контентным пунктам можно в \u003Ca href=\"\u002Fcheck\u002Ffree\">бесплатной проверке\u003C\u002Fa>.\u003C\u002Fp>\n\u003Cp>Указатель \u003Ccode>Sitemap:\u003C\u002Fcode> в robots.txt и состав самого XML — отдельная тема: см. гайд \u003Ca href=\"\u002Fblog\u002Fsitemap-xml-proverka-i-nastrojka\">Sitemap.xml: проверка и настройка\u003C\u002Fa> и инструмент \u003Ca href=\"\u002Ftools\u002Fsitemap\">Sitemap и robots.txt\u003C\u002Fa>.\u003C\u002Fp>\n\u003Csection class=\"blog-faq\">\n\u003Ch2>Вопросы и ответы\u003C\u002Fh2>\n\u003Cdetails>\u003Csummary>robots.txt закрывает страницу от индексации?\u003C\u002Fsummary>\u003Cp>Не полностью. robots.txt говорит роботам не посещать страницу, но URL может быть проиндексирован, если о нём узнали из других источников (например, из sitemap или ссылок). Для полной защиты от индексации используйте noindex.\u003C\u002Fp>\u003C\u002Fdetails>\n\u003Cdetails>\u003Csummary>robots.txt влияет на ранжирование?\u003C\u002Fsummary>\u003Cp>Косвенно. robots.txt не является фактором ранжирования, но неправильная настройка может привести к индексации дублей или закрытию важных страниц — и это повлияет на позиции.\u003C\u002Fp>\u003C\u002Fdetails>\n\u003Cdetails>\u003Csummary>Можно ли закрыть всю страницу в Disallow, но оставить часть в Allow?\u003C\u002Fsummary>\u003Cp>Да. Директива Allow переопределяет Disallow для конкретных путей. Например, Disallow: \u002Fprivate\u002F + Allow: \u002Fprivate\u002Fpublic\u002F закроет \u002Fprivate\u002F, но откроет \u002Fprivate\u002Fpublic\u002F.\u003C\u002Fp>\u003C\u002Fdetails>\n\u003Cdetails>\u003Csummary>robots.txt — это публичный файл?\u003C\u002Fsummary>\u003Cp>Да, robots.txt доступен всем. Не закрывайте в нём sensitive данные — боты спамеров и конкуренты увидят структуру вашего сайта.\u003C\u002Fp>\u003C\u002Fdetails>\n\u003Cdetails>\u003Csummary>Clean-param работает для Google?\u003C\u002Fsummary>\u003Cp>Нет, Clean-param — это директива только для Яндекса. Для Google используйте canonical на базовый URL.\u003C\u002Fp>\u003C\u002Fdetails>\n\u003C\u002Fsection>",0,[12,16,20,24,27],{"slug":13,"title":14,"date":15,"views":10},"indexability-stranicy","Индексность страницы: robots, noindex, canonical","2026-08-09",{"slug":17,"title":18,"date":19,"views":10},"sitemap-xml-proverka-i-nastrojka","Sitemap.xml: проверка и настройка","2026-08-16",{"slug":21,"title":22,"date":23,"views":10},"https-ssl-dlya-seo","HTTPS и SSL для SEO и доверия","2026-08-15",{"slug":25,"title":26,"date":15,"views":10},"vebmastery-yandex-google","Вебмастеры Яндекса и Google: настройка",{"slug":28,"title":29,"date":15,"views":10},"mobilnaya-versiya-sajta","Мобильная версия сайта для поиска",1789381425062]