Clean-param в robots.txt как избежать дублей страниц

Директива Clean-param в robots.txt сообщает роботу Яндекса, какие GET-параметры не меняют содержимое страницы. Тогда варианты вроде ?sort=price и ?sort=name могут считаться одним URL, а не отдельными дублями. Google эту директиву не использует — там опирайтесь на canonical и настройки в Search Console.

Clean-param — не универсальное лекарство от всех дублей. Ошибка в синтаксисе или неверный список параметров иногда ухудшает индексацию сильнее, чем исходные дубли.

Синтаксис

# Параметры через пробел, не через &
Clean-param: sort filter utm_source /catalog/

# Несколько параметров на всём сайте
Clean-param: session csrf click_id /

# Только на поиске
Clean-param: q page /search/

Параметры перечисляются пробелами. Строка с амперсандами часто игнорируется — каждый «вариант» URL остаётся отдельной страницей.

Когда Clean-param уместен

Фильтры и сортировка в каталоге, которые не создают уникальный контент.
Трекинговые метки внутренней аналитики на обходимых URL.
Session ID в path, которые дублируют одну и ту же HTML-страницу.

Базовая настройка robots — в гайде Robots.txt: как настроить. Дубли зеркал и параметров без Clean-param — канонизация и дубли. Карта сайта должна содержать канонические URL — sitemap.xml.

Когда лучше не полагаться только на Clean-param

Ситуация	Риск	Альтернатива
Уникальный контент при параметре	Робот склеит разные страницы	Canonical, разные URL в sitemap
Нужен Google	Clean-param не работает	rel=canonical, hreflang
Сложная faceted navigation	Ошибка в списке param	Noindex на фильтрах, правила CMS

После правки robots.txt проверьте файл в браузере и в Яндекс.Вебмастере. Общий технический срез — бесплатная проверка SEO сайта и инструмент Sitemap и robots.txt.

Пошаговое внедрение Clean-param

Сначала соберите топ-20 URL с параметрами из логов и Search Console. Для каждого параметра спросите: меняется ли основной текст страницы. Если нет — кандидат в Clean-param. Если да — canonical или отдельная landing.

Внесите одну строку, подождите 2–3 недели, сравните число «дублей» в Вебмастере. Не добавляйте десять директив в один день: при ошибке сложнее понять, какая строка сломала обход.

Для UTM-меток внутренних кампаний иногда проще нормализовать ссылки в CMS, чем чистить их через robots. Clean-param — для параметров, которые генерирует сам сайт (фильтры, сессии), а не для каждой рекламной метки.

Связка с аналитикой

Маркетологи любят метки в URL. SEO-специалист хочет один канонический адрес. Договоритесь о правилах: внешняя реклама может нести utm, внутренние ссылки — нет; или все utm в одном списке Clean-param на корне. Главное — единый регламент, а не борьба отделов.

Пример для интернет-магазина: фильтр «бренд» создаёт уникальную полезную категорию — Clean-param для brand не нужен. Параметр «сортировка» меняет только порядок карточек — кандидат в Clean-param. Различайте faceted search и мусорные param.

Документируйте список параметров в wiki команды: через год никто не вспомнит, зачем в robots три строки Clean-param, и не удалит их «для чистоты».

Вопросы и ответы

Clean-param работает в Google?

Нет, это директива Яндекса. Для Google используйте canonical и настройки параметров URL.

Можно ли указать параметры через &?

Нет — нужны пробелы. Иначе правило часто не применяется.

Clean-param заменяет canonical?

Нет. На международных и кросс-поисковых проектах canonical остаётся обязательным.

Как проверить, что правило сработало?

Яндекс.Вебмастер, отчёты дублей, сравнение числа URL в крауле до и после через 2–4 недели.