Дубли страниц: как распознать и устранить

Дубли страниц – одна из распространенных проблем веб-ресурсов, которая может серьезно навредить продвижению сайта в поисковых системах. Под дублями понимаются страницы с идентичным или практически одинаковым содержимым, доступные по разным URL-адресам. Такие дубли нередко появляются из-за проблем в работе CMS, ошибок в директивах robots.txt или настройках редиректов.

Типы дублей страниц

Явные дубли (страница доступна по нескольким URL)

1. URL со слешем в конце и без него

• https://example.com/catalog/
• https://example.com/catalog

С точки зрения сервера и браузеров – это разные URL, хотя выглядят почти одинаково. Для поисковиков тоже окажутся разными страницами, если не предпринять никаких действий.

2. URL с WWW и без WWW

• https://www.example.com
• https://example.com

Исторически домены с WWW и без него считались разными, поэтому такая ситуация тоже приводит к дублированию содержимого сайта в индексе поисковых систем.

3. Адреса с HTTP и HTTPS

• https://example.com
• http://example.com

4. Адреса с GET-параметрами

• https://example.com/product?id=123 (дубль https://example.com/product)
  
• https://example.com/news?utm_source=facebook (дубль https://example.com/news)

5. Один и тот же товар, доступный по разным адресам

• https://store.com/catalog/smartphones/iphone-14
• https://store.com/iphone-14

6. Версии для печати

• https://blog.com/how-to-start-a-business (оригинальная страница)
• https://blog.com/how-to-start-a-business?print=1 (версия для печати)

Неявные дубли (контент на разных страницах различается незначительно)

1. Дубли древовидных комментариев (replytocom)

2. Страницы товаров со схожими описаниями

3. Страницы пагинации

Проблемы, вызванные дублями страниц

Неправильная индексация релевантного контента

Увеличение времени переобхода сайта роботами

Риск наложения санкций поисковыми системами

Трудности для вебмастера при устранении дублей

Как выявить дубли страниц

Ручной способ с использованием операторов в поиске

Инструменты Яндекс.Вебмастер и Google Search Console

Если обнаружатся дубли, сервис выдаст рекомендации по их устранению и покажет конкретные примеры проблемных URLs.
Кроме того, в разделе "Индексирование" -> "Страницы в поиске" можно выгрузить список всех проиндексированных страниц. Анализируя полученный файл, вы сможете вручную выявить "подозрительные" URL, указывающие на возможное дублирование.

Парсинг проиндексированных страниц с помощью сторонних сервисов

• Выгрузите список всех проиндексированных URL из Яндекс.Вебмастера.
• Загрузите этот список в сервис PromoPult.
• Запустите парсинг и анализ.
• Скачайте результаты в удобном формате.

Способы устранения явных дублей

Настройка 301 редиректов

• URL со слешем и без слеша в конце
• Домены с WWW и без WWW
• Адреса HTTP и HTTPS

• Найти в корневой папке файл .htaccess и открыть его.
• Добавить команды для редиректа, например:

Использование канонических URL (rel="canonical")

• Адреса с GET-параметрами
• Пути к одной и той же странице, различающиеся по структуре URL
• Страницы одного продукта, дублированные по разным адресам

Директивы robots.txt

• Disallow - запрет индексации указанных URL или групп URL по заданным маске.
• Allow - разрешение индексации указанных URL (противоположна Disallow).
• Sitemap - указание пути к файлу Sitemap для индексирования.
• Host - указание хоста для склейки зеркал (актуально только для Яндекса).
• Clean-param - игнорирование URL с указанными параметрами (Яндекс).

Рекомендации поисковых систем

Рекомендации Google:

• Использовать 301 редиректы для перенаправления дублей на каноническую версию страницы.
• Применять rel="canonical" для указания основной версии страницы.
• Избегать закрытия дублей от индексации через robots.txt или метатеги. Google расценивает это как сокрытие контента.

Рекомендации Яндекса:

• Использовать директиву Clean-param в robots.txt для игнорирования URL с указанными GET-параметрами.
• Применять тег rel="canonical" для страниц с незначительно различающимся контентом (неявные дубли).
• Склеивать зеркала сайта через Яндекс.Вебмастер с использованием директивы Host robots.txt.

Способы устранения неявных дублей

Отключение древовидных комментариев или использование сторонних систем

Для решения этой проблемы можно:

• Полностью отключить древовидные комментарии в настройках CMS. Но это ухудшает юзабилити для пользователей.
• Отключить штатную систему комментариев и использовать сторонние сервисы вроде Disqus, Cackle и т.п. Они не генерируют отдельных URL для ответов.
• Оставить древовидные комментарии, но отредактировать код CMS, чтобы URL не генерировались для ответов. Также можно закрыть такие URL от индексации с помощью метатегов.

Объединение однотипных товаров, уникализация описаний

Чтобы этого избежать:

• Объедините максимально похожие товары в одну карточку и добавьте селектор для выбора отличающихся параметров.
• Если объединить товары невозможно, уникализируйте их описания и другие тексты как можно сильнее.

Настройка rel="canonical" и уникальных метаданных для пагинации

Чтобы этого избежать:

Учет особенностей CMS и платформ при работе с дублями

• WordPress нередко генерирует дубли страниц с версиями для печати, дубли древовидных комментариев и пагинации. Для предотвращения этого в CMS есть специальные плагины.
• Скрипты для интернет-магазинов вроде OpenCart, Magento часто выдают один и тот же товар под разными URL. Решение - правильные настройки ядра и .htaccess.
• Форумы, блоги на различных движках могут продублировать контент по адресам с GET-параметрами. Обычно проблема решается в robots.txt.

Профилактика появления дублей

• Проводить тщательный SEO-аудит на этапе разработки, выявляющий потенциальные источники дублей.
• При выборе CMS, фреймворка или скрипта интернет-магазина обязательно изучать инструкции по предотвращению дублирования контента и следовать им.
• Заложить необходимые правила в технические требования и контролировать их выполнение разработчиками на всех этапах.
• Закрепить в коде сайта использование канонических URL везде, где есть риск продублировать основной контент.
• Настроить корректную обработку URL с GET-параметрами через директивы robots.txt и/или серверные настройки.
• Обеспечить склейку зеркал с WWW/без WWW, а также редиректы со старых некановических адресов в панелях поисковых систем.
• После запуска сайта регулярно мониторить его на наличие потенциально продублированного контента и оперативно устранять.

Заключение

Чтобы этого не произошло, следует вовремя выявлять наличие дублей и оперативно их устранять. Для этого используются ручные методы анализа индексации, сервисы вебмастеров Яндекса и Google, а также сторонние парсеры проиндексированных страниц.

• Настройку 301 редиректов и канонических URL.
• Оптимизацию директив robots.txt и метаданных страниц.
• Обработку специфических типов дублей - версий для печати, страниц пагинации, древовидных комментариев и т.п.