Проверить сайт

Канонизация и дубли страниц: как убрать

Технические дубли — невидимая потеря трафика

Представьте: у вас есть страница example.ru/page/, которая открывается по четырём разным адресам:

  1. http://example.ru/page/
  2. https://example.ru/page/
  3. http://www.example.ru/page/
  4. https://example.ru/page (без слэша)

Для человека — это одна страница. Для поисковика — четыре разные страницы с одинаковым контентом. Результат:

  • Размытый ссылочный вес (бэклинки распределяются между 4 URL)
  • Каннибализация (4 страницы конкурируют за одни запросы)
  • Потеря трафика (поисковик не знает, какой URL показывать)

Технические дубли — это одинаковый контент, доступный по разным URL. Они не связаны с контентом (не две разные статьи про одно и то же), а возникают из-за особенностей настройки сайта.

Основные типы технических дублей

Тип дубляПримерОбычное решение
Зеркало доменаwww и non-wwwВыбрать основной вариант и настроить 301
Протоколhttp и https301 на HTTPS
Формат URLСо слэшем и безЕдиное правило редиректа
Индексный файл/ и /index.html301 на корневой URL
Параметры?sort=pricecanonical, обработка параметров и при необходимости Clean-param

1. www vs non-www

https://www.example.ru/     ← с www
https://example.ru/         ← без www

Оба URL открывают одну и ту же страницу. Поисковик считает это двумя разными сайтами.

Решение: выберите один вариант (www или non-www) и настройте 301 редирект с другого.

2. http vs https

http://example.ru/     ← без SSL
https://example.ru/    ← с SSL

Если сайт поддерживает оба протокола — это дубли. Google отдаёт предпочтение HTTPS.

Решение: 301 редирект с http на https.

3. Trailing slash (слэш в конце)

https://example.ru/page/    ← со слэшем
https://example.ru/page     ← без слэша

Для многих CMS (WordPress, Bitrix) это разные URL. Один может отдавать 200, другой — 301 или 404.

Решение: выберите один вариант и настройте 301 редирект. Для WordPress trailing-slash — стандарт, для самописных CMS — часто используется без слэша.

4. index.php / index.html

https://example.ru/         ← корневой URL
https://example.ru/index.php  ← с индексным файлом
https://example.ru/index.html ← с индексным файлом

Если оба URL доступны — это дубли.

Решение: 301 редирект с /index.php и /index.html на корневой URL.

5. Параметры в URL

https://example.ru/product/           ← базовый URL
https://example.ru/product/?sort=price ← с параметром
https://example.ru/product/?session=abc ← с параметром

Страницы с параметрами часто дублируют базовый URL.

Решение: canonical на базовый URL + Clean-param для Яндекса.

Как решить проблему дублей

Шаг 1: Выберите канонический формат

Определите, какой формат URL будет основным:

  • www или non-www? — non-www популярнее, но www даёт преимущества для поддоменов
  • http или https? — всегда https
  • Со слэшем или без? — со слэшем для директорий, без слэша для файлов

Шаг 2: Настройте 301 редиректы

301 редирект — это постоянный перенос URL. Поисковик понимает, что старый URL больше не существует, и передаёт весь ссылочный вес на новый.

nginx

# www → non-www
server {
    listen 80;
    server_name www.example.ru;
    return 301 $scheme://example.ru$request_uri;
}

# http → https
server {
    listen 80;
    server_name example.ru;
    return 301 https://example.ru$request_uri;
}

Apache (.htaccess)

# www → non-www
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
RewriteRule ^(.*)$ https://%1/$1 [R=301,L]

# http → https
RewriteCond %{HTTPS} off
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

WordPress

В настройках WordPress → General → установите правильный URL (с www или без, с https). WordPress автоматически настроит редиректы.

Шаг 3: Добавьте canonical

Даже после настройки редиректов добавьте self-referencing canonical на каждую страницу:

<link rel="canonical" href="https://example.ru/page/" />

Шаг 4: Проверьте

  • Откройте все варианты URL — все должны редиректить на канонический
  • Проверьте canonical — все должны указывать на self-referencing URL
  • Проверьте индексацию — в поиске должен быть только один URL

Trailing slash — особенности по CMS

WordPress

WordPress по умолчанию использует trailing slash для страниц:

  • /page/ → 200
  • /page → 301 на /page/

Это нормальное поведение, не ошибка. Не нужно ничего исправлять.

1С-Битрикс

Битрикс может использовать trailing slash для некоторых страниц, но не для всех. Это зависит от настроек ЧПУ. Проверьте, что все страницы используют консистентный формат.

Самописные сайты

Часто используются URL без trailing slash. Если на вашем сайте /page и /page/ оба отдают 200 — это дубли. Настройте 301 редирект.

Дубли и Health Score

В Health Score seoquest.ru технические дубли — один из ключевых параметров:

  • www/non-www — проверка, что используется один вариант
  • http/https — проверка, что http редиректит на https
  • Trailing slash — проверка консистентности
  • index.php/index.html — проверка, что индексные файлы не доступны

Частые ошибки

1. 301 редирект настроен, но canonical отсутствует

Пользователь перенаправляется на правильный URL, но поисковик не знает, что это канонический адрес.

Решение: добавьте canonical на каждой странице.

2. Canonical настроен, но 301 не настроен

Canonical — рекомендация для поисковика, а не инструкция для браузера. Если canonical указывает на другой URL, но пользователь видит старый URL — это плохой UX.

Решение: настройте 301 редирект + canonical.

3. Цикл редиректов

/page → 301 → /page/ → 301 → /page — бесконечный цикл.

Решение: проверьте, что редирект ведёт на конечный URL с HTTP 200.

Как проверить технические дубли

1. Через curl

# Проверить www
curl -sI 'https://www.example.ru/' | head -1

# Проверить http
curl -sI 'http://example.ru/' | head -1

# Проверить trailing slash
curl -sI 'https://example.ru/page' | head -1
curl -sI 'https://example.ru/page/' | head -1

2. Через инструменты

  • seoquest.ru — бесплатный аудит покажет технические дубли
  • Google Search Console — раздел «Изменения адреса» покажет, какой URL выбран как канонический

Чеклист канонизации

  • [ ] Выбран один формат www/non-www
  • [ ] http → https редирект настроен
  • [ ] Trailing slash консистентен
  • [ ] index.php/index.html не доступны
  • [ ] Параметры в URL обрабатываются
  • [ ] Self-referencing canonical на каждой странице
  • [ ] Нет циклов редиректов
  • [ ] Все варианты URL редиректят на канонический

Итог

Технические дубли — это простая проблема с серьёзными последствиями. Размытый ссылочный вес, каннибализация, потеря трафика — всё это результат того, что поисковик видит несколько URL с одинаковым контентом. Выберите один формат, настройте 301 редиректы и canonical — и ваш сайт будет индексироваться чисто.

Проверить сайт по техническим и контентным пунктам можно в бесплатной проверке.

301 редирект при переносе URL

301 — постоянный перенос: и браузер, и Яндекс/Google должны перейти на новый адрес. Для временных акций — 302, но для смены ЧПУ и склейки дублей почти всегда 301.

return 301 https://example.ru/new-url/;
  • Не оставляйте цепочки A→B→C — ведите сразу на финал.
  • Обновите внутренние ссылки, а не надейтесь только на редирект.
  • После переезда переобходите важные URL в Яндекс.Вебмастере.

Пагинация и дубли

Pagination — разбивка каталога или блога на страницы

Пагинация — это разбивка контента на страницы: /page/2, /page/3 и т.д.

Как настроить

Canonical

Каждая страница пагинации должна иметь self-referencing canonical:

<!-- На /page/2 -->
<link rel="canonical" href="https://example.ru/page/2/" />

rel=next и rel=prev (устарело, но полезно)

<!-- На /page/1 -->
<link rel="next" href="https://example.ru/page/2/" />

<!-- На /page/2 -->
<link rel="prev" href="https://example.ru/page/1/" />
<link rel="next" href="https://example.ru/page/3/" />

Noindex на page/2+

Если контент на page/2+ дублирует page/1 — noindex на page/2+.

Частые ошибки

  1. Canonical page/2+ на page/1 — page/2+ не индексируется
  2. Отсутствие canonical — дубли

Итог

Пагинация — это не ошибка, это инструмент. Настройте canonical правильно.

Вопросы и ответы

Какой формат выбрать — www или non-www?

Non-www популярнее и короче. Но если вы используете поддомены (blog.example.ru, shop.example.ru), www даёт преимущество — cookie не передаются на поддомены. Выбор за вами, главное — консистентность.

Trailing slash 301 — это ошибка?

Нет, это нормально. Если /page 301 редиректит на /page/ (или наоборот) — это решение проблемы дублей. Главное, чтобы конечный URL отдавал 200.

Canonical решит проблему дублей без 301?

Canonical — это рекомендация для поисковика. 301 — это инструкция для браузера. Для лучшего UX используйте оба: 301 редирект + canonical.

Что будет, если не настроить 301?

Поисковик проиндексирует все варианты как разные страницы. Ссылочный вес размоется, позиции упадут, трафик потеряется.

Можно ли использовать canonical для www/non-www?

Технически — да, но 301 редирект лучше. Canonical — это fallback, если 301 по какой-то причине не настроен.