Прежде чем начинать продвижение сайта, надо сначала определить какой домен будет основным. Иначе в индексах поисковых систем может оказаться оба сайта (с префиксом www и без него) с одинаковым содержимым.

Сайт доступен для индексации как с www, так и без www. Вам необходимо выбрать основное зеркало.

Выбор основного зеркала

Зеркалами считаются сайты, являющиеся полными или частичными копиями. Копии определяются по совпадению контента на страницах с одинаковыми адресами (site1.ru/page.html и site2.ru/page.html). Например, в большинстве случаев хосты site.ru и www.site.ru являются зеркалами, так как контент страниц, доступных по одинаковым адресам, не отличается.

Также сайты считаются зеркалами, если со страниц одного сайта настроен серверный редирект на соответствующие им страницы другого сайта (site1.ru перенаправляет на site2.ru, site1.ru/page.html перенаправляет на site2.ru/page.html и т.д.).

Так как роботы поисковых систем склеивают зеркала и индексируют только одно из них (основное), то иногда требуется вручную указать для роботов, какое именно из зеркал должно являться основным.

Способы смены основного зеркала

Существует несколько методов для смены основного зеркала:

1. Изменить основное зеркало в панели вебмастера поисковой системы (инструкции для Яндекса и Google)
2. С помощью директивы Host в файле robots.txt (только для Яндекса)

#Если www.glavnoye-zerkalo.ru главное зеркало сайта, то #robots.txt для всех сайтов из группы зеркал выглядит так User-Agent: * Disallow: /forum Disallow: /cgi-bin Host: www.glavnoye-zerkalo.ru

1. С помощью серверного 301 редиректа со страниц старого домена на соответствующие им страницы нового.

Это приводит к тому, что показатели сайта , PR и ссылочное ранжирование распыляются на оба сайта. И хуже всего, то, что за дублированный контент, страницы сайта могут вообще выпасть из индекса.

Статья по теме: Как экономить на покупке Айфона

Проблема в том, что поисковые машины не всегда правильно определяют главное зеркало сайта, пользуясь своими алгоритмами определения и склейки зеркал. И главным зеркалом может быть выбран совсем не тот сайт.

Поэтому лучше не надеяться на авось, а самому явным образом указать основной домен. Существует несколько способов сказать роботам поисковых систем на то, какое зеркало нужно считать основным.

Основной домен для Google

Чтобы указать для Гугла основной домен, выполните следующие действия.

1. 1. На главной странице Инструментов для веб-мастеров (www.google.com/webmasters/tools/) выберите сайт, для которого нужно указать основной домен.
   2. В разделе Конфигурация сайта перейдите в Настройки.

Кроме того, для Гугла можно прописать инструкцию в файле.htaccess

Redirect 301 / https://сайт/

Основное зеркало для Яндекса

Для Яндекса основной домен или как называет Яндекс основное зеркало указывается в файле

Когда только начинаешь заниматься сайтами, то не задумываешься, что, например, www..ru — разные адреса. Эти доменные имена являются зеркалами. На каждом из них могут отображаться разные сайты.

Какие сайты Яндекс считает зеркалами?

Яндекс считает зеркалами сайты, которые содержат одинаковый контент на страницах, находящихся на одинаковых адресах. Например, www..ru/yandex-webmaster/. У меня стоят , поэтому все зеркала ведут на один адрес.

Какие адреса могут являться зеркалами:

• с префиксом www и без него - www.primer.ru и primer.com;
• по протоколам HTTP и HTTPS - http://primer.com и https://primer.com;
• находится в разных доменных зонах - primer.com и primer.ru;
• настроен серверный 301 редирект с одного адреса на другой - primer.com перенаправляет на primer.ru.

Что такое главное зеркало?

Главное зеркало - это доменное имя сайта, по которому он индексируется в поисковике и показывается в результатах поиска, если доступен по нескольким доменам. Можно настроить в сервисе Яндекс Вебмастера.

Как указать главное зеркало в Яндекс Вебмастер?

Если изначально не было выбрано главное зеркало сайта, то робот выберет его самостоятельно в соответствии со своим алгоритмом.

Чтобы указать главное зеркало поисковику необходимо настроить переезд в Яндекс Вебмастере .

Зайдите в раздел «Индексирование» в пункт «Переезд сайта». Выберите новый домен, который будет главным зеркалом. Если в списке нет нужного адреса, то следует .

Если не планируете менять домен, а просто хотите сменить протокол или префикс, то для этого есть два пункта:

• добавить https;
• добавить www.

Чтобы выбрать главное зеркало нужно пройти несколько этапов:

1. Добавить сайт в Яндекс Вебмастер;
2. Отметить галочкой нужный пункт;
3. Сделать 301-редирект со старого домена на соответствующие страницы нового.

Раньше это делалось довольно сложно и долго. На данный момент все проходит очень быстро и, обычно, без проблем.

И да, советую переходить на HTTPS , т.к. Google дает таким адресам чуть больше преимуществ за повышенную безопасность передачи данных по этому протоколу.

Если вы планируете сделать главным адрес с протоколом HTTPS (или с префиксом www), то добавляйте адрес именно с этим протоколом (префиксом), например, https://сайт.

Есть другой вариант перехода на главное зеркало — просто сделать 301-редирект. Но если сначала сделать настройки в Яндекс Вебмастере, то переезд пройдет быстрее. Яндекс пишет, что смена занимает от одной до трех недель. После этого сайт начинает участвовать в поиске под именем нового главного зеркала.

Индексируются ли зеркала?

Яндекс склеивает все домены и показывает в поиске только главное зеркало. Страницы неглавного зеркала будут в поиске до тех пора, пока страницы главного зеркала их не вытеснят. Вытесненные страницы будут исключены из поиска, но могут храниться в базе Яндекса.

Как проверить, является ли сайт чьим-нибудь зеркалом?

Проверить является ли сайт зеркалом, можно добавив его в Яндекс.Вебмастер.

1. Если сайт признан неглавным зеркалом, он будет автоматически добавлен вместе со своим главным зеркалом.
2. Если сайты не являются зеркалами, они будут отображаться в сервисе независимо друг от друга.

При необходимости зеркало может быть отклеено.

Учитываются ли характеристики неглавных зеркал на главном?

Да, учитываются. Например, это полезно, если интернет-ресурс переезжает на новый домен. Если старый домен станет неглавным зеркалом нового, это поможет сайту сохранить позиции в поиске.

Склеятся ли адреса, если настроить перенаправление со всех страниц одного сайта на главную страницу другого?

Да, робот склеит такие сайты, но использовать этот способ не рекомендуется. Вместо него лучше настроить перенаправление на соответствующие друг другу страницы.

Как расклеиваются зеркала?

Если сайты перестают являться зеркалами друг друга и отдают разное содержимое, в течение нескольких недель они расклеиваются роботом.

Вы можете сообщить роботу о необходимости расклейки сайтов с помощью специального инструмента в сервисе Яндекс.Вебмастер.

После того, как адреса расклеятся, они будут отображаться как отдельные, не связанные между собой ресурсы.

Дмитрий Дементий

Представьте, что настраиваете редирект с URL друпал-гуру.рф на www.drupal-guru.ru. В файл.htaccess необходимо добавить такой код:

RewriteEngine On

RewriteCond %{HTTP_HOST} ^xn----7sbkb0bwgfvfb.xn--p1ai

RewriteRule (.*) http://www.drupal-guru.ru/$1

Чтобы настроить редирект с www.drupal-guru.ru на друпал-гуру.рф, укажите в.htaccess такой код:

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.drupal-guru.ru

RewriteRule (.*) http:// xn----7sbkb0bwgfvfb.xn--p1ai/$1

Обратите внимание, xn----7sbkb0bwgfvfb.xn--p1ai - это URL друпал-гуру.рф в кодировке punycode.

Как настроить редирект при переезде на новый домен

Как настроить редирект на сервере Nginx

Если ваш хостинг-провайдер использует сервер Nginx, для настройки редиректов необходимо внести изменения в конфигурационный файл. Это аналог файла.htaccess сервера Apache.

Чтобы настроить редирект с домена без префикса www на домен с префиксом, укажите следующий код:

server_name drupal-guru.ru;

rewrite ^/(.*)$ http://www.drupal-guru.ru/$1 permanent;

Перенаправление с URL с префиксом www на URL без префикса можно настроить с помощью такого кода:

server_name www.drupal-guru.ru;

rewrite ^/(.*)$ http://drupal-guru.ru/$1 permanent;

Вы можете получить код для конфигурационного файла Nginx с помощью htaccess-конвертеров, например, этого или этого . Действуйте так:

• Создайте код для файла.htaccess сервера Apache с помощью одного из предложенных выше генераторов.
• Конвертируйте код для файла.htaccess в код для конфигурационного файла Nginx.

Выбрать домен легко, сложнее реализовать выбор

Чтобы выбрать основной домен и сообщить об этом поисковым системам, необходимо настроить серверные редиректы. Также необходимо изменить настройки в кабинетах для вебмастеров «Яндекс» и Google. С этими задачами может справиться любой специалист без технической подготовки. Вам понадобится доступ к FTP или панели управления сайтом, умение пользоваться генераторами редиректов и немного времени. Кстати, перед редактированием файла.htaccess создайте резервную копию. Она может понадобится, если вы внесете в файл некорректные изменения.

kak-nastroit-zerkalo-sayta

Главное зеркало сайта – практически 100% версия ресурса, расположена по иному адресу. Контент на ней может повторяться на 80% и более.

Поисковые системы имеют свои алгоритмы индексации. Адрес сайта с приставкой www и без неё может восприниматься, как индивидуальные ресурсы. Главное зеркало сайта, что это такое? Это тот же сайт, но по другому адресу.

Иногда ресурсы переезжают на другой домен, оставляют весь контент без изменений, но владелец забывает о редиректе. Если не подойти к делу рационально, то ТИЦ и PR слетят для каждой версии или разделятся.

Так происходит из-за того, что поисковики не понимают, где главная версия, а где копия сайта. Важно объяснить системам, что такое главное зеркало сайта. Посмотрим, как сделать работу правильно и быстро.

Как определить главное зеркало сайта без ошибок?

Введите в адресную строку браузера адрес сайта с префиксом www. Не исчезли символы и вы не попали на тот же сайт по адресу сайт.ру?

Проверяем адрес сайт.ру тем же методом. После перехода адрес сайта не изменился, не добавились символы www? Значит зеркало не настроено совсем.

Это плохо, потому как поисковики расценивают ресурс, как автономные ресурсы и все параметры разделяются между ними. Как настроить главное зеркало сайта, рассмотрим далее.

Настройка главного зеркала сайта

Как приоритетную версию ресурса выбирайте сайт без дополнения www. Как только интернет начал развиваться такие адреса считались популярными, сейчас всё идёт к упрощению.

Настраиваем зеркало в Google Search Console и Яндекс.Вебмастер

В корневой директории сайта главная и второстепенная версии прописываются файлами. Htaccess – приоритетный файл, вся информация, которая здесь значится, воспринимается, как главная. Чтобы вы не написали в robots.txt, он останется второстепенным.

В файле htaccess прописываете условие, что при попадании на адрес www, пользователь незаметно переходит на сайт без приставки в адресе. Как это смотрится в коде, смотрите в сети, это зависит от типа CMS, с которой работаете.

Но, есть один нюанс: htaccess не даёт гарантии, что сайт и зеркало будут восприниматься поисковыми системами одинаково. Дополнительно проделываете следующие мероприятия:

1. В панели вебмастера Яндекс находите опцию «Настройка индексации», выбираете «Главное зеркало».
2. Указываете один из вариантов:

• Сайт с приставкой www;
• Веб-сайт без приставки www в адресе;
• На усмотрение поисковых систем.

Определение главного зеркала сайта должно указывать на адрес ресурса без приставки www, как уже сказано выше. Главное зеркало сайта в новом вебмастере указывается точно так же, как и в стандартной версии. Разница между ними только в дизайне и количестве функций.

С Гуглом всё проще:

1. Нужно зайти в Google Search Console, выбрать «Сообщения».
2. Находите раздел «Выберете приоритетную версию» — указывайте нужный тип зеркала, который будет главным.

Директива для Яндекса

Яндекс – специфический поисковик. Ему мало указания в htaccess, панели вебмастера для 100% результата. Дополнительно зайдите в robots.txt, и в корне директории с ресурсом, пропишите директиву, которая будет отправлять Яндекс на главную версию веб-сайта (Host).

Прописывается следующее:

• Юзер адепт (User-agent), указываете Яндекс;
• Дисселов (Disallow), прописываете /wp-admin;
• Хост (Host) адрес своего сайта без приставки www.

Обратите внимание, что в Disallow, указываются все разделы, куда роботы от поисковой системы не должны заходить админка, cgi-bin и другие элементы, которые считаете нужным.

Выше приведён пример, где не индексируется панель администратора вордпресс. После проделанной работы поисковик правильно понимает, где главное зеркало сайта.

Создаем зеркало сайта с HTTPS, SLL

С появлением HTTPS Гугл повышает в позициях сайты, имеющие этот протокол. Считается, что подобные ресурсы безопасны. Идеально если протокол создаётся сразу при разработке сайта.

Если нет, то после перехода на безопасный протокол необходимо поставить редирект с нынешнего зеркала на основное с приставкой HTTPS. Как узнать главное зеркало сайта онлайн уже рассматривалось выше.

Когда изначально сайт с http:, но без приставки www был основной версией, а такой же сайт с приставкой – дополнительной версией, то после изменений версия https: станет основным вариантом, а перечисленные пойдут, как дополнительные зеркала.

Причина перехода сайта на новый домен с приставкой в адресе s – повышенный уровень безопасности данных после получения сертификата SSL. Информация при попадании на сайт будет шифроваться, что снижает риск её попадания в третьи руки.

Проверить главное зеркало сайта стоит с сертификатом или без него можно способами, перечисленными выше.

Мониторим страницы, попавшие в индекс

Финальная проверка проделанной работы – мониторинг проиндексированных страниц. Проверяются показатели посещаемости и количество страниц в поисковиках не раньше, чем через 14 дней.

Адекватный результат увидите через месяц. Проделанная работа привела к ожидаемому результату? Если нет, то ищите ошибку. Код должен быть идеальным, лишняя точка может сделать файлы.htaccess и роботс бесполезными.

Здравствуйте, уважаемые читатели моего блога! В этой статье я расскажу о файлах.htaccess и robots.txt — как их грамотно настроить. Это крайне важные файлы, которые позволяют задать главное зеркало сайта (склеить домены с www и без), настроить индексацию страниц, создать редирект 301. Дополнительно рассмотрим порядок действий при переезде со старого домена на новый.

Файл.htaccess и главное зеркало сайта

Каждый интернет ресурс имеет два зеркала — с приставкой www и без нее. Чтобы поисковики не воспринимали эти зеркала как два разных сайта с одинаковым контентом, необходимо выбрать из них главное и настроить редирект 301 на него, со второго зеркала. Тогда оба зеркала поисковиками будут восприниматься как единое целое и не будет играть роли, на какое из них ссылаются сторонние сайты — редирект позволит автоматически перекидывать пользователя на нужный адрес. Для этого необходимо создать и настроить файл.htaccess. Дополнительно можно указать основное зеркало в Яндекс Вебмастер и Google — инструменты для веб-мастеров. Для поисковиков все равно, какое зеркало вы выберете основным, поэтому исходите из своих личных предпочтений.

Зайдите на ftp в корневую папку и проверьте наличие файла.htaccess. Файл является скрытым, поэтому ftp клиенты могут его и не отображать. В ftp клиенте следует включит функцию «Принудительно отображать скрытые файлы» в разделе «Сервер».

Для редактирования или создания файла.htaccess можно воспользоваться любым текстовым редактором. Только при создании укажите имя.htaccess, не забыв про точку в начала. Пропишите в нем следующие строчки (или добавьте их к уже имеющимся):

Редирект 301 с зеркала www на без www:

Только не забудьте вписать свой URL адрес. После этого еще необходимо прописать директиву Host в фале robots.txt, о чем читайте в следующем пункте.

Robots.txt — настройка индексации страниц сайта

Файл robots.txt указывает поисковикам, какие страницы сайта им можно индексировать, а какие нельзя. Для его создания можно воспользоваться любым текстовым редактором, даже блокнотом. Так же как файл.htaccess, robots.txt следует загрузить на ftp в корневую папку. Теперь рассмотрим основные директивы, которые следует прописывать в robots.txt.

User-agent — в этой директиве прописываются поисковые боты, для которых действуют указанные ниже настройки. Если указать символ *, то настройки будут относится ко всем поисковикам:

После User-agent обязательно должна следовать директива Disallow или Allow .

Директива Disallow используется для запрета индексации всего сайта целиком или каких-то его страниц. Allow наоборот разрешает индексацию, в ней можно задавать исключения из правил, указанных в директиве Disallow.

Следует соблюдать следующие правила:

• Недопустимо наличие пустых строк между директивами "User-agent" и "Disallow" ("Allow"), а также между самими директивами "Disallow" и "Allow".
• Перед каждой новой директивой "User-agent" обязательно оставляйте пустую строку.
• После названия директивы ставьте.
• Allow и Disallow из соответствующего блока User-agent сортируются по длине URL (от меньшего к большему) и применяются последовательно. Если для данной страницы подходит несколько директив, то выбирается последняя в порядке появления в сортированном списке. Этот пункт будет более понятен после рассмотрения примеров, приведенных ниже.
• при отсутствии параметров в директивах Allow и Disallow, индексация соответственно запрещается или разрешается для всех страниц сайта.

Теперь рассмотрим примеры, чтобы все стало более понятно.

User- agent: * Disallow:

Звездочка в директиве User-agent указывает на то, что приведенные ниже настройки относятся ко всем поисковикам. Отсутствие параметров в Disallow соответствует разрешению индексации всего сайта.

Это означает запрет индексации всех страниц, которые начинаются с «/indeksaciya», то есть /indeksaciya, /indeksaciya.html и другие. Символ $ позволяет отметить действие * , тем самым конкретизировать правило:

Для зеркала без www:

User- agent: Yandex Disallow: Host: vash_site. ru Sitemap: http: //vash_site.ru/sitemap.xml.gz Sitemap: http: //vash_site.ru/sitemap.xml

Порядок переезда со старого домена на новый

Переезд со старого домена на новый является частным случаем склейки зеркал сайта. Яндекс рекомендует два пути решения данной проблемы: через директиву Host в файле robots.txt или через настройку редиректа 301 со старого адреса на новый в.htaccess. Так как директиву Host понимает только Яндекс, то лучше подстраховаться и выполнить оба этих варианта.

1. Купите новый домен и хостинг.

2. Перенесите на новый сервер все содержимое своего интернет ресурса.

3. На старом сайте в файле robots.txt в директиве Host укажите новый URL адрес.

4. В файле.htaccess настройте редирект 301:

Options + FollowSymLinks RewriteEngine On RewriteCond % { HTTP_HOST} ^staryj_adres. ru$ RewriteRule (.* ) http: //novyj_adres.ru/$1

Не забывайте указывать именно главные зеркала — с приставкой www или без нее.

5. Склейка займет определенное время, на протяжении которого оба интернет портала должны быть доступны.