Дубли страниц: 
как распознать и устранить

Приветствую, друзья!

Дубли страниц – одна из распространенных проблем веб-ресурсов, которая может серьезно навредить продвижению сайта в поисковых системах. Под дублями понимаются страницы с идентичным или практически одинаковым содержимым, доступные по разным URL-адресам. Такие дубли нередко появляются из-за проблем в работе CMS, ошибок в директивах robots.txt или настройках редиректов.

Поисковые системы стараются избегать индексацию дублированного контента, чтобы не засорять выдачу. Поэтому наличие дублей на сайте может привести к тому, что важная информация не попадет в поисковый индекс, траст и позиции сайта снизятся, а значит, существенно упадет трафик из поисковиков.

Цель этой статьи – помочь вебмастерам и SEO-специалистам понять, что такое дубли страниц, какие типы дублей бывают, как их выявлять и устранять, а также предотвращать их появление. Разберемся со всеми нюансами, чтобы обезопасить сайт от негативного влияния этой распространенной проблемы.

Типы дублей страниц

Дубли страниц принято делить на две большие группы: явные и неявные. Рассмотрим их более подробно.

Явные дубли (страница доступна по нескольким URL)

Явные дубли возникают, когда одна и та же страница доступна по разным URL-адресам. Причины их появления могут быть самыми разными, но результат один – поисковики видят контент, продублированный по нескольким адресам, и не знают, какой из них считать основным.

К наиболее распространенным типам явных дублей относятся:

1. URL со слешем в конце и без него

Пример:

С точки зрения сервера и браузеров – это разные URL, хотя выглядят почти одинаково. Для поисковиков тоже окажутся разными страницами, если не предпринять никаких действий.

2. URL с WWW и без WWW

Пример:

Исторически домены с WWW и без него считались разными, поэтому такая ситуация тоже приводит к дублированию содержимого сайта в индексе поисковых систем.

3. Адреса с HTTP и HTTPS

С ростом популярности HTTPS для шифрования трафика многие сайты стали транслироваться как по защищенному протоколу https://, так и по обычному http://. В результате контент продублировался в обеих версиях.

Пример:

4. Адреса с GET-параметрами

GET-параметры часто используются для передачи данных серверу. Каждый новый URL с GET-параметрами образует технический дубль исходной страницы.

Примеры:

5. Один и тот же товар, доступный по разным адресам

В интернет-магазинах нередко можно найти один и тот же товар, продублированный по разным урлам:

Примеры:

6. Версии для печати

Многие CMS автоматически генерируют версию страницы, оптимизированную для печати. Но поскольку контент почти полностью дублируется, поисковики воспринимают такие страницы как дубли.

Пример:

Две версии страницы: обычная и для печати

Это основные случаи явных дублей, хотя в реальности вариантов может быть намного больше. Теперь рассмотрим неявные дубли.

Неявные дубли (контент на разных страницах различается незначительно)

Неявные дубли – это ситуации, когда контент на разных URL фактически один и тот же, за небольшими различиями. Поисковые системы тоже могут посчитать такие страницы дублями. К распространенным примерам неявных дублей относятся:

1. Дубли древовидных комментариев (replytocom)

Эта проблема актуальна для сайтов на WordPress и других CMS, которые генерируют отдельный URL для каждого ответа на комментарий к записи. В результате один и тот же контент оказывается продублирован по множеству адресов.

Ветка древовидных комментариев

2. Страницы товаров со схожими описаниями

В интернет-магазинах часто встречаются группы товаров, практически идентичных по описанию и отличающихся лишь несколькими параметрами (цвет, размер, материал). Для поисковиков их карточки могут выглядеть как неявные дубли.

Пример идентичных товаров в каталоге, отличающихся только по цвету

3. Страницы пагинации

Когда большой список контента (каталог товаров, новостная лента и т.д.) разбивается на страницы, появляется риск, что поисковики сочтут некоторые из них дублями друг друга. Особенно если они содержат очень похожие метаданные.

Неявные дубли не так очевидны, как явные, но от этого не менее опасны для SEO. Рассмотрев основные типы, обсудим, какие проблемы могут вызвать дубли страниц.

Проблемы, вызванные дублями страниц

Дублирование контента чревато серьезными негативными последствиями для сайта. В числе главных проблем:

Неправильная индексация релевантного контента

Допустим, у вас одна и та же страница доступна по двум URL. Вы вкладывались в продвижение одного из этих адресов, он занимал высокие позиции и привлекал трафик. Но в какой-то момент поисковый робот исключил эту версию из индекса и вместо нее проиндексировал ее дубль. Естественно, дублирующая страница будет ранжироваться хуже и привлекать меньше целевого трафика.

Такую ситуацию сложно предугадать, но она крайне нежелательна, ведь усилия и инвестиции в продвижение могут быть перечеркнуты одним махом. Чтобы этого не произошло, важно контролировать наличие дублей и своевременно их устранять.

Увеличение времени переобхода сайта роботами

На сканирование каждого ресурса поисковым роботам отводится ограниченный краулинговый бюджет – максимальное число страниц, которые робот может обойти за определенный период. Если на сайте много дублей, робот будет тратить бюджет на их сканирование вместо просмотра основного контента. В результате переобход сайта затянется, а полная индексация важного контента не состоится.

Риск наложения санкций поисковыми системами

Сами по себе дубли не являются поводом для пессимизации позиций сайта поисковыми системами. Однако если алгоритмы посчитают, что дубли создаются намеренно с целью манипуляции выдачей или обмана пользователей, могут последовать серьезные санкции, вплоть до вывода сайта из индекса.

Трудности для вебмастера при устранении дублей

Чем дольше вы игнорируете проблему дублей, тем больше их накапливается на сайте. В какой-то момент обработать отчеты, систематизировать причины дублирования и внести корректировки станет физически сложно из-за огромного объема работы. При этом высок риск ошибок, способных только ухудшить ситуацию.

Как видите, дубли страниц могут привести к целому ряду проблем – от падения трафика и позиций до существенных репутационных рисков для сайта. Поэтому так важно уметь выявлять и устранять их своевременно с помощью надежных инструментов и техник.

Как выявить дубли страниц

Обнаружить дубли на сайте можно разными способами – как вручную, так и с помощью специальных веб-сервисов и инструментов поисковых систем. Рассмотрим популярные методы.

Ручной способ с использованием операторов в поиске

Если знать слабые места своей CMS и характерные паттерны образования дублей, можно найти их вручную, используя соответствующие поисковые запросы.

Например, вы знаете, что страницы пагинации на вашем сайте формируются с помощью GET-параметра ?page=. Тогда в поисковой строке Google достаточно выполнить запрос:

Поисковик выдаст все страницы с этим параметром в URL, и вы сможете оценить масштаб проблемы.

Пример проверки страниц пагинации сайта Печман.рф

Аналогичный запрос можно выполнить в Яндекс:

Такой ручной способ хорошо подходит для экспресс-анализа наличия дублей определенного типа. Для комплексной проверки всего сайта лучше использовать другие инструменты.

Инструменты Яндекс.Вебмастер и Google Search Console

Сервисы для вебмастеров от Яндекса и Google позволяют проверить сайт на наличие дублей и получить важную статистику.

 Рассмотрим оба инструмента подробнее.

В Яндекс.Вебмастере для этого есть целый раздел "Диагностика". Здесь поисковик сообщает о выявленных типах дублей – страницах с одинаковыми title/description, адресами с незначащими GET-параметрами и других проблемах.

Раздел "Диагностика" в Яндекс.Вебмастере со списком выявленных дублей

Если обнаружатся дубли, сервис выдаст рекомендации по их устранению и покажет конкретные примеры проблемных URLs.
Кроме того, в разделе "Индексирование" -> "Страницы в поиске" можно выгрузить список всех проиндексированных страниц. Анализируя полученный файл, вы сможете вручную выявить "подозрительные" URL, указывающие на возможное дублирование.

В Google Search Console функционал по обнаружению дублей менее развит по сравнению с Яндекс. Тем не менее, в разделе "Вид в поиске -> "Оптимизация HTML" вы увидите предупреждения, если сервис выявит дублирование метаданных страниц или избыточные параметры в URL.

Раздел "Вид в поиске" в Google Search Console

Также в поисковике есть инструмент для анализа индексации "URL Инспекция", где можно проверить индексный статус конкретных страниц и потенциальную проблему их дублирования.

Парсинг проиндексированных страниц с помощью сторонних сервисов

При использовании вышеописанных сервисов поисковиков приходится вручную перепроверять дубли в Google и Яндексе. Избежать этой проблемы позволяет парсинг проиндексированных страниц с помощью сторонних веб-сервисов.

Один из таких сервисов – Анализ индексации страниц от PromoPult. Вот основной алгоритм его использования:

В выгруженном отчете вы увидите все дублирующиеся адреса на вашем сайте, а также информацию о том, продублированы ли эти страницы в Яндексе и Google.

Благодаря парсингу проиндексированных страниц вы сможете всесторонне оценить масштаб проблемы дублей и точно понять, какие именно дубли требуют вашего вмешательства в каждой из поисковых систем. Это позволит подобрать оптимальные методы их устранения.

Выявив дубли разными способами, нужно приступить к их устранению. Рассмотрим эффективные методы для разных типов дублей страниц.

Способы устранения явных дублей

Для борьбы с явными дублями, то есть ситуациями, когда одна и та же страница доступна по нескольким URL, существует несколько надежных техник, включая настройку 301 редиректов, использование канонических URL и директив robots.txt. Разберем их подробнее.

Настройка 301 редиректов

Ситуации, когда нужно настраивать 301 редирект:

301 редирект означает постоянное перенаправление с одного URL на другой. Например, при наличии дублей со слешем и без слеша вы можете сделать так, чтобы URL без слеша всегда перенаправлял на версию со слешем (или наоборот - зависит от того, какой вариант преобладает в индексе).

Как настроить 301 редирект для Apache (для .htaccess):

Этот код делает 301 перенаправление со страниц без слеша на аналогичные со слешем.

3. Для обратного редиректа (со слеша на URL без слеша) используется похожий код:

Для nginx и других веб-серверов настройка 301 редиректов осуществляется по-другому, в соответствии с инструкциями к их конфигурационным файлам.

При правильной настройке поисковики постепенно самостоятельно удалят продублированные URL из индекса.

Использование канонических URL (rel="canonical")

Если 301 перенаправление неприменимо, воспользуйтесь атрибутом rel="canonical" для указания поисковикам основной, каноической версии страницы. Этот HTML-тег сообщает роботам, какой URL считать исходным, а какие - его дублями.

Пример использования для указания https://example.com/product в качестве канонической версии:

Этот код следует добавить на все зеркала каноничной страницы. В идеале канонические теги должны прописываться на уровне HTML-шаблонов всего сайта автоматически - об этом должны позаботиться разработчики.

Применяется канонизация в таких случаях дублирования:

Стоит понимать, что rel="canonical" носит рекомендательный характер для поисковиков. Робот принимает указание на каноническую версию, но может и проигнорировать его. Важно верно задавать канонические адреса и гарантировать, что они действительно содержат основную версию контента.

Директивы robots.txt

Файл robots.txt позволяет управлять индексацией содержимого. При работе с дублями здесь пригодятся директивы:

Рассмотрим примеры применения директив robots.txt для борьбы с дублями.

Закрытие дублей с версиями для печати и с GET-параметрами:

Здесь все роботы получают запрет на индексацию страниц по указанным маскам.

Склейка зеркал (домена с WWW и без WWW) для Яндекса:

После склейки робот Яндекса будет индексировать только одно зеркало, которое указано как основной домен в вебмастере.

Игнорирование дублей с GET-параметрами для Яндекса:

Эта директива говорит роботу Яндекса, что страницы с указанными параметрами (utm_source, utm_medium и т.д.) являются дублями их вариантов без этих параметров. Робот будет индексировать только последние.

Пример файла robots.txt

Директивы robots.txt очень удобны для массовой обработки групп дублей. Но стоит учитывать разницу в их поддержке у Google и Яндекса. В идеале, для обеих систем следует использовать разные комбинации команд.

Рекомендации поисковых систем

У Google и Яндекса есть свои предпочтения в способах борьбы с дублями. Их рекомендации полезно учитывать, особенно если вы ориентируетесь в основном на трафик из одного из этих поисковиков.

Рекомендации Google:

Поисковик настоятельно рекомендует переадресовывать и канонизировать вместо запрета индексации дублей.

Рекомендации Яндекса:

Яндекс лояльнее относится к закрытию дублей от индексации, в том числе с помощью robots.txt.

При борьбе с дублями важно выбрать подходящую стратегию с учетом ваших приоритетных источников трафика - будь то Google, Яндекс или оба сразу. Следуя рекомендациям поисковиков, вы предотвратите возможные санкции.

Способы устранения неявных дублей

Помимо явных дублей, то есть идентичных страниц, доступных по разным URL, есть проблема неявного дублирования. Когда контент на разных страницах различается незначительно, поисковики тоже могут посчитать их дублями. Рассмотрим основные случаи и способы борьбы с ними.

Отключение древовидных комментариев или использование сторонних систем

В WordPress и других CMS отдельный URL генерируется для каждого ответа на комментарий к записи. Это приводит к дублированию практически одинакового контента по множеству адресов - проблеме, которую называют "дублями древовидных комментариев".

Для решения этой проблемы можно:

Оптимальным решением в большинстве случаев будет переход на сторонние системы комментирования.

Объединение однотипных товаров, уникализация описаний

В интернет-магазинах нередко продаются группы похожих товаров с минимальными отличиями по описанию. Если уникального контента слишком мало, поисковик начинает воспринимать такие страницы как дубли друг друга.

Чтобы этого избежать:

Второй вариант более трудоемкий. Начинать уникализацию лучше с наиболее важных товарных групп, генерирующих основную прибыль.

3. Если есть часть описания, которая полностью повторяется для группы товаров (например, базовые параметры), ее можно скрыть от индексации тегом:

Это временное решение, более предпочтительные - объединение и уникализация контента.

Настройка rel="canonical" и уникальных метаданных для пагинации

Когда длинный список товаров или записей в блоге разбивается на страницы с помощью пагинации, поисковики могут счесть некоторые из них слишком похожими и проиндексировать как дубли. Особенно если у страниц пагинации будут идентичные метаданные.

Чтобы этого избежать:

1. Используйте rel="canonical" для указания основной страницы списка как канонической. На все страницы пагинации добавьте:

2. Сгенерируйте уникальные title, description и заголовки H1 для страниц пагинации по шаблону:

Такие метаданные помогут поисковикам отличать страницы пагинации друг от друга.

3. Не дублируйте основной контент сайта, вроде SEO-текстов, на страницах пагинации. Он должен отображаться только на первой странице списка.

Соблюдая эти правила, вы избавите пагинацию от проблем дублирования и обеспечите правильную индексацию всех ее страниц.

Учет особенностей CMS и платформ при работе с дублями

Многие случаи дублирования контента связаны с особенностями работы используемых CMS, платформ и скриптов. Поэтому выявляя и устраняя дубли, всегда учитывайте специфику вашей системы управления сайтом или платформы электронной коммерции. По возможности пользуйтесь встроенными инструментами и рекомендациями разработчиков, учитывающими особенности их продукта.

Например:

Если работаете над устранением дублей на собственном движке, заручитесь поддержкой разработчиков. Они подскажут, как лучше реализовать необходимый функционал с учетом архитектуры системы.

Кроме того, при переезде на новую платформу или масштабной реконструкции сайта полезно заранее ознакомиться с рекомендациями и лучшими практиками по предотвращению дублирования для избранного решения. Это поможет исключить возникновение дублей на корню.

Профилактика появления дублей

Лучший способ бороться с дублями - не допустить их появления изначально. При запуске нового проекта или реконструкции существующего сайта следует сразу применять все необходимые меры профилактики:

Соблюдение лучших практик SEO разработки на этапе создания проекта - залог отсутствия дублей в будущем. Даже если они все же появляются, их масштаб не будет критичным и угрозы поисковой выдаче не возникнет.

Заключение

Проблема дублей страниц - одна из распространенных для разного рода веб-ресурсов. Ее игнорирование чревато падением индексации, трафика и ранжирования в поисковых системах. В худшем случае дубли могут стать поводом для серьезных санкций к сайту.

Чтобы этого не произошло, следует вовремя выявлять наличие дублей и оперативно их устранять. Для этого используются ручные методы анализа индексации, сервисы вебмастеров Яндекса и Google, а также сторонние парсеры проиндексированных страниц.

После обнаружения дублей необходимо применять подходящие способы их устранения:

При выборе техник следует ориентироваться на рекомендации приоритетных для вас поисковых систем - Google или Яндекса.

Если знаний или времени на самостоятельное устранение дублей не хватает, безопаснее обратиться к профессионалам - заказать технический SEO-аудит или оптимизацию сайта. Это поможет оперативно выявить и исправить проблемы, не рискуя потерять трафик и позиции.

Наконец, самым эффективным подходом остается профилактика дублей при разработке новых сайтов или реконструкции старых. Закладывая правила и алгоритмы их предотвращения изначально, вы сэкономите массу усилий по ручному устранению.

Своевременно выявляя и устраняя дубли страниц, вы защитите свои веб-ресурсы от негативного влияния этой распространенной проблемы на продвижение в поиске. А значит, они смогут стабильно развиваться, привлекая целевой трафик и новых клиентов.