Многие владельцы сайтов задают вопросы, связанные с наказанием поисковыми системами сайтов за использование дублированного контента.

Наказаний за дублированный контент не существует. По крайней мере, не в том виде, в котором это воспринимают многие веб-мастера. Есть некоторые санкции, связанные с использованием на сайте того же содержания, что уже публиковалось ранее на других ресурсах без внесения в него изменений, которые могли бы повысить ценность контента, публикуемого повторно, но не более.

Стоит сказать, что большинство владельцев сайтов беспокоятся более не о санкциях за дублированный контент, скопированный с других сайтов, а за появление различных URL-адресов на своем сайте, ведущих на один и тот же документ. Имеются ввиду URL-адреса вида «www.example.com/articleID=2354?bgcolor=grey» и «www.example.com/articleID=2354?bgcolor=white». Наличие такого рода дублированного контента на сайте потенциально может снизить трафик посетителей с поисковых систем, но это не причина для наказания.

Данный вид дублированного контента не является злонамеренным, особенно с учетом того, что многие CMS генерируют по несколько адресов на один и тот же документ при настройках по-умолчанию. Поэтому, когда кто-то говорит, что наличие такого дублированного контента может повлиять на позиции вашего сайта в поисковой выдаче, то это не потому, что сайт будет наказан, а просто из-за особенностей работы поисковых систем.

Большинство поисковых систем добиваются качества поиска, пытаясь показывать своим пользователям десять различных результатов на странице результатов поиска, а не десять различных URL, ведущих на один и тот же документ. С этой целью Google пытается отфильтровывать дубликаты документов, с тем, чтобы пользователи быстрее и проще находили искомое.

Вы можете принять некоторые меры для снижения влияния таких негативных факторов. Один из самых эффективных методов – создать карту сайта, чтобы показать поисковой системе, какой из URL-адресов на сайте вы считаете более важным, а какой – менее.

Обратите внимание, что если поисковик не в состоянии выявить, какой из дубликатов страниц на сайте является наиболее важным, он не сможет и консолидировать свойства всех дубликатов (таких, как PageRank), чтобы затем присвоить их основному документу. Это может сказаться на позициях сайта в поисковой выдаче.

В большинстве случаев Google хорошо определяет, какой из документов на сайте важнее. Однако если вы собираетесь создавать сайт, содержание которого будет в основном неуникальным, а основным источником трафика посетителей будут поисковые системы, подумайте трижды, стоит ли начинать.

Если вы планируете открыть филиал какой-либо партнерской программы, то почему Google должен посчитать его достойным первых позиций в выдаче? Google считает таковыми сайты, содержащие уникальный контент, который может быть интересен людям. Ваш филиал партнерки, скорее всего, будет иметь то же самое содержание, что и главный сайт партнерской программы, а цены у вас будут выше. Так зачем Google поднимать ваш сайт в поиске выше, чем сайт основного магазина партнерки?

И наконец, следует понимать, что дублирование информации может иметь последствия для скорости индексирования страниц сайта роботами. Дублированный контент может привести к неэффективному сканированию: робот Google будет открывать десятки URL-адресов на вашем сайте, он вынужден будет сканировать каждую копию, прежде чем догадается, что это дубликат. Чем больше времени и ресурсов потратит поисковая машина на индексирование ваших дубликатов, тем меньше времени и ресурсов у нее останется на то, чтобы добраться до сути.

Вывод: дублированный контент может повлиять на ваш сайт по-разному, однако, если вы не будете намеренно дублировать содержание, очень маловероятно, что сайт будет наказан.