как правильно настроить сайт для индексации
Что сделать, чтобы мой сайт видели поисковые системы
В этой статье мы расскажем, как добавить сайт в поисковые системы: как проиндексировать сайт в Яндексе и добавить сайт в поиск Google.
После публикации сайта позаботьтесь о том, чтобы пользователи могли найти его в Интернете. Если пользователь знает URL-адрес сайта, сделать это легко. Сложнее сделать так, чтобы сайт быстро находился через поисковые системы.
Возникает закономерный вопрос: «Я уже создал сайт, как его разместить в Интернете?». Это связано с индексацией сайта. Прежде чем понять, как добавить свой сайт в поисковики Яндекс и Google, разберемся, что такое индексация.
Бесплатный SSL-сертификат
Поисковые системы больше доверяют сайтам с SSL. Получите в подарок SSL-сертификат начального уровня на 1 год и хостинг на 2 месяца бесплатно при регистрации любого нового домена на сайте REG.RU.
Что такое индексация
Индексация сайта — это добавление его страниц в базу поисковых систем (поиск в Яндекс, Google, Рамблер, Yahoo, Mail, Bing и т.д.). Чтобы проиндексировать веб-страницы, поисковики отправляют на обход специальных роботов. Они анализируют HTML-код сайтов, учитывая:
В результате проверки роботы индексируют сайт, и он начинает отображаться в поисковой выдаче. Как добавить сайт на индексацию в поисковики, читайте ниже.
Почему сайта нет в Yandex и Google
Процесс индексации может занимать несколько недель. Представьте, какое количество новых сайтов нужно обойти роботам. Кроме того, не все страницы одного сайта индексируются одновременно. А если в коде есть то, что не удовлетворяет требованиям поисковых систем, индексация затянется.
Если вы только что разместили сайт в Интернете, он не будет сразу же отображаться в Яндекс и Google. Если вам нужно, чтобы сайт как можно быстрее отображался в поисковой выдаче, ускорьте индексацию вручную.
Ниже рассмотрим, как бесплатно добавить сайт на индексацию в поисковики.
Как ускорить процесс индексации сайта
Как сделать так, чтобы сайт стал быстрее видимым для поисковых систем? Нужно самому указать на свой сайт Яндекс и Google. Это делается через специальные панели, предназначенные для разработчиков сайтов: Яндекс.Вебмастер и Google Search Console. Прежде чем следовать инструкции о том, как разместить сайт в Гугл и в Яндекс, авторизуйтесь в нужной системе.
Как добавить сайт в Яндекс.Вебмастер
Чтобы добавить сайт в поисковую систему Яндекс, следуйте инструкции ниже:
Введите адрес сайта (доменное имя) и нажмите Добавить:
Размещение сайта в Яндекс.Webmaster
Подтвердите права на сайт. Сделать это можно через:
Мы рекомендуем добавить DNS-запись, так как это наиболее простой способ.
Кликните по вкладке «DNS-запись» и скопируйте значение TXT, которое нужно добавить:
Яндекс.Вебмастер: подтверждение прав на сайт
Определите, какие DNS-серверы прописаны для домена, по инструкции. От этого будет зависеть, где добавить TXT-запись:
если для домена указаны ns1.reg.ru и ns2.reg.ru, воспользуйтесь пошаговой инструкцией раздела «Помощь»;
если для домена указаны ns1.hosting.reg.ru и ns2.hosting.reg.ru, воспользуйтесь статьей.
Дождитесь обновления зоны домена.
Готово, вы добавили TXT-запись для подтверждения права на домен.
После подтверждения прав нажмите Проверить. Если права подтверждены корректно, вы увидите следующее:
как добавить сайт в поиск яндекса
После мы рекомендуем воспользоваться инструментом Переобход страниц. Через него можно задать, какие страницы сайта стоит проиндексировать в первую очередь.
Готово, вы ускорили индексацию сайта. Теперь вы знаете, как добавить сайт в Вебмастер.
Как добавить сайт в поиск Google
Как разместить сайт в Гугле, вы узнаете по инструкции:
Введите адрес сайта в первом блоке и нажмите Продолжить:
Как добавить url в поисковые системы
Скопируйте значение TXT-записи.
Определите, какие DNS-серверы прописаны для домена, по инструкции. От этого будет зависеть, где добавить TXT-запись:
если для домена указаны ns1.reg.ru и ns2.reg.ru, воспользуйтесь пошаговой инструкцией раздела «Помощь»;
если для домена указаны ns1.hosting.reg.ru и ns2.hosting.reg.ru, воспользуйтесь статьей.
Дождитесь обновления зоны домена.
Готово, вы добавили TXT-запись для подтверждения права на домен.
Если права подтверждены корректно, вы увидите уведомление. Нажмите Готово:
Готово, вы ускорили индексацию сайта. Теперь вы знаете, как добавить сайт в поисковики.
Как проиндексировать сайт в Яндексе, Google и других поисковиках
Индексирование сайта — что это и для чего необходимо?
Индексация сайта в поисковых системах — необходимое условие его видимости при поиске в интернете. Если просто создать сайт и не заботиться о его индексации, скорее всего, на него смогут попасть только те, кто знает непосредственный адрес домена.
Индексирование — это процесс считывания страниц сайта роботом той или иной поисковой системы с последующим добавлением данных страниц в базу поисковой системы
Краулеры с некоторой периодичностью обходят страницы сайта, считывая
И множество других данных.
Благодаря тому, что поисковая система узнаёт о сайте, она способна предлагать и продвигать его в результатах поиска. На основе контента, ссылок и ряда факторов определяется тематическая категория сайта, ключевые фразы, по которым он наиболее релевантен поисковым запросам.
Таким образом, поисковая система предлагает пользователям страницы вашего сайта, максимально соответствующие их запросам.
Индексация всего лишь способствует актуализации материалов сайта. Благодаря этому страницы и их содержимое, во-первых, попадают в поисковую выдачу с наименьшей задержкой. А, во-вторых, постоянно обновляются.
Как эффективно проиндексировать сайт
Чтобы сайт как можно быстрее начали индексировать поисковые системы, его надо добавить в базу поисковиков через инструменты для вебмастеров.
Добавьте сайт в Яндекс.Вебмастер
Простой ответ на вопрос «Как проиндексировать сайт в Яндексе?» — добавить его в Вебмастер.
В том же меню есть информация о том, когда и с каким результатом робот обходил страницы, какие из них есть в поиске, а также функция добавления Sitemap, запуска переобхода и настройки скорости обхода.
Добавьте сайт в Google Search Console
Перейдите на https://search.google.com/search-console/welcome и войдите в учётную запись. Добавьте сайт в систему.
Как и в Яндекс.Вебмастере, инструмент предлагает множество отчётов о состоянии индексации сайта. Вы может увидеть, какие страницы проиндексированы и добавлены в поиск, внутренние и внешние ссылки и многое другое.
Добавление сайта в прочие поисковые системы
В российском сегменте интернета доля поисковых систем помимо Яндекса и Google стремится к нулю. Тем не менее, не следует ими пренебрегать, если сайт является важным имиджевым элементом крупного проекта или организации.
Рамблер основан на тех же данных индексации, которые собирает Яндекс — в этом случае нет необходимости в дополнительных настройках.
Как ускорить индексацию сайта в поисковиках
Создайте файл robots.txt
Файл robots.txt даёт поисковым роботам указание — какие страницы и разделы сайта следует читать, а какие — нет.
На сайте всегда присутствуют технические страницы — в частности, результаты поиска, этапы регистрации, системные файлы, теги и подобное. Также со временем может скопиться некоторый объём неактуальных страниц — контент на них может быть устаревшим или наоборот, он ждёт публикации не ранее назначенной даты.
Как правильно настроить индексирование сайта в поисковых системах
С первого взгляда, может показаться, что в этом нет ничего сложного. Настроили robots.txt, разместили sitemap и ждем обновления базы данных поисковой системы. А что делать, если у Вас появились дубли страниц или некоторые страницы веб-ресурса каким-то чудесным образом не проиндексировались роботом-поисковиком? Как можно несколько сайтов объединить в один без потери трафика? Почему могут возникнуть сложности с перенаправлением и для реализации какого вида целей, какие редиректы подходят? Почему на сайт заходит часто робот-поисковик, а при отображении страницы выдается 404-ая или 503-я ошибка?
Все это и многое другое Вы узнаете из этой статьи.
Как происходит процесс индексирования?
Давайте вспомним для начала определение. Индексирование – это процесс получения информации о страницах сайта/разделах/категориях и других составляющих с последующим добавлением данных в базу данных поисковой системы.
Чтобы правильно настроить индексирование сайта, следует пройти по каждому этапу данного процесса, так как, зная каждый из них и на основе возникшей проблемы, можно будет понять, каким образом решить проблему (иными словами, это принцип причинно-следственной связи).
Индексация состоит из нескольких последовательных действий:
1. Робот-поисковик узнает о новой странице или сайте. Это может происходить различными способами, но основные из них два:
внешние ссылки на других сторонних источниках (например, добавили сайт и данные о вашей организации в «2GIS», «Яндекс. Справочник» и т. д.);
алгоритм поиска нашел и проанализировал файл sitemap.
2. Затем роботом планируется обход страницы.
3. На третьем шаге происходит анализ новой страницы. Каким образом? Этот процесс следует рассмотреть детальнее:
сначала бот-поисковик запрашивает данные новой страницы со стороны сервера. Уже тут могут возникнуть сложности, связанные, например, с малой мощностью серверного оборудования хостинг-провайдера. Если это так, то система сервера просто не даст пройти роботу далее и на этом индексирование закончится, информация в базу данных поисковой системы не поступит.
Чтобы просмотреть, все ли в порядке на этом этапе, достаточно воспользоваться сервисом «Яндекс. Вебмастер». Для этого, авторизовываемся, попадаем на главную панель, ищем вкладку «инструменты», в которой есть подпункт «Проверка ответа от сервера».
Прописываем интересующий нас URL, выбираем необходимую разновидность поискового индексирующего робота, при необходимости указываем дату в поле «If-Modified-Since» (нажав справку, можете ознакомиться с тем, зачем нужен данный пункт). Далее «Проверить».
Видим следующий результат:
Рассмотрим наиболее популярные статусы страниц:
В нашем случае, код «200» означает, что страница доступна и ее необходимо проиндексировать, потом внести в базу данных поисковой системы;
«404» дает понять, как роботу, так и серверу, что страница удалена и анализировать нечего;
«301» или наиболее часто встречающееся определение «301-ый редирект». Говорит роботу-анализатору о том, что страница и ее содержимое перенесены и находятся на другой страницы;
Код «304» означает, что страница не менялась с момента последнего обращения, индексировать ее нет необходимости;
После того, как алгоритм, анализирующий сайт узнал о статусе страницы, он решает, что с ней делать дальше. Если у него есть возможность произвести его индексирование именно сейчас, он к этому приступает. На данном этапе происходит занесение данных в свою память о содержимом страницы (мета-теги, описание, тайтл, контент, картинки и другие элементы);
Затем информация передается в БД поисковой системы, которая через некоторое время обновляется и выдает, определенную на основе многих параметров, позицию странице.
Какие могут быть проблемы с ответом сервера
Разобравшись с тем, как происходит индексирование сайта, мы коснулись редиректов и статусов индексирования. Продолжим эту тему развивать и рассмотрим, как серверная сторона может влиять на поискового робота.
Система сервера, на котором расположен ваш веб-ресурс, может, в некоторых случаях, не дать пройти поисковому роботу на страницу. Какие могут быть на это причины?
Непосредственная блокировка робота-индексатора может быть связана в связи с:
возросшей нагрузкой на сервер от частого обращения поисковика. Решение об этом принимает система мониторинга состояния серверного оборудования. Например, на хостинге компании «TimeWeb», информацию о состоянии можно увидеть в главной панели личного кабинета, перейдя во вкладку «Нагрузка».
различным контентом. Многие до сих пор пытаются поступить следующим образом: для поискового робота прописывают параметры (мета-теги, ключи, описание и т. д.) той тематики, которую необходимо продвинуть, а контент для посетителей совершенно этому не соответствует. Следовательно, бот не принимает такую страницу, потому что такой метод продвижения давным-давно «не прокатывает»;
временной недоступностью сайта. К примеру, Вы забыли оплатить домен. Логично предположить, что если в это время будет происходить индексирование, то может ничего не произойти при анализе роботом веб-источника. Если это продлилось 2-3 дня, то ничего страшного. 503-ий редирект сообщает о том, что вернуться боту к индексации можно позже. Но, при более долгом периоде, страница может перестать «опознаваться», так как у нее нет даже «прописки» (домена);
некорректной настройкой CMS сайта. Связано в подавляющем большинстве случаев с появлением новой версии и ее последующим обновлением и/или неправильным оформлением атрибутов.
Настоятельно рекомендуем проверять настройки после каждого момента обновления на соответствия тем параметрам, которые Вам необходимы!
Проблемы, не зависящие от сервера. Причины, варианты решений.
После того, как мы разобрались с возможными решениями, которые помогут правильно проиндексировать сайт со стороны сервера, приступим к рассмотрению тех параметров, которые больше зависят непосредственно от нас, то есть со стороны самого веб-ресурса.
Robots.txt
Это файл, который можно отредактировать в любом текстовом редакторе. Преимущество и одновременно необходимость состоим в том, что он прописывает строгие инструкции для роботов поиска различных поисковых систем. Располагают роботс.тхт в корневой папке сайта.
Наиболее популярные ошибки, возникающие при работе с данным файлом:
закрытие действительно нужных страниц сайта. Чаще всего эта ошибка связана с незнанием всех аспектов и нюансов правильного заполнения;
использование кириллических символов в файле не допускается;
одни и те же правила для разных роботов. Нюанс, о котором часто забывают. Согласитесь, что даже на вид «Яндекс» и «Google» сильно отличаются друг от друга. Что тогда говорить о внутренних алгоритмах ранжирования и поисковых роботах?! Соответственно, и правила надо прописывать разные, так как один бот их примет, а другой даже не обратит внимания, а может и сразу уйдет, не завершив процесс индексирования.
использование директивы «crawl-delay» (определяет частоту запросов поискового бота и часто используется в тех случаях, когда сервер подвержен сильной нагрузке) без необходимости. Реальный пример: был сайт-визитка на самом дешевом хостинге. В него добавили каталог, содержащий около 10 000 товаров. Робот-поисковик начал скачивать и анализировать информацию и из-за ее объема стал не успевать ее обрабатывать. Многие страницы стали недоступны, выдавая 404-ую ошибку. Логичное решение – выставить директиву «crawl-delay». Поставили, все начало работать. Затем, в связи с разрастанием сайта, было решено перенести веб-ресурс на другой хостинг-провайдер, учтя при этом заранее параметры нагрузки сервера. Вроде все замечательно, а директиву «кроул» убрать забыли. В результате нагрузка на сервер минимальная, робот «не спешит» все обрабатывать и на выходе – очень долгое время индексации сайта.
Проверить файл с инструкциями для роботов можно, используя сервисы вебмастера от «Яндекс» или «Гугл». В «Yandex.Webmaster» достаточно зайти в раздел «Инструменты», затем в «анализ robots.txt». Загрузить файл и его вставить непосредственно в поле, посмотреть рекомендации или ошибки, которые необходимо будет исправить.
Дублирование
Подразумевает наличие нескольких идентичных страниц одного сайта, в которых содержится одинаковый контент.
страницы, адрес которых различается знаком «/». Например, «www.primer_saita.ru/Tovar/cart/GM928» и абсолютно аналогичный «…/GM928/». Часто встречается такая ситуация с карточкой одного и того же товара, которая относится к разным категориям (коньки, подходящие, как для девочек, так и для мальчиков);
дубли-страницы с незначащими параметрами, которые не воспринимает робот-поисковик. Примеры некоторых незначащих элементов для робота-поисковика, можно увидеть ниже:
Неприятности, которые могут возникнуть из-за дублей:
бот поисковой системы, вместо индексации необходимого и корректного адреса может посещать и анализировать множество ненужных страниц;
в базу данных поиска робот-анализатор может включить только одну страницу из всех возможных дублей, опираясь на свое усмотрение.
Как бороться с дублированными страницами:
Допустим, что предпочитаемый адрес, который нам нужен – это вторая ссылка. Тогда, в первой странице необходимо прописать в ее html-коде следующую строчку:
Важно! Алгоритм анализа поисковым роботом устроен таким образом, что не считает данную директиву строгой, поэтому бот рассматривает ее, как предполагаемый вариант, который может быть проигнорирован!
«редирект 301», о котором мы уже говорили ранее. Особенно актуален в случаях дублей страниц с «/» и без него;
В файле robots.txt прописать параметры «disallow» (запрет доступа) и «clean-param» (учитывание динамических параметров (id сессий и др.), не влияющие на содержимое страницы). Пример таких дублей мы рассмотрели чуть ранее.
Где можно выявить дубли? Все в том же Вебмастере. В сервисе от «Яндекса» заходим в раздел «Индексирование», затем «Проверить статус URL», вводим ссылку, анализируем результат.
Зеркала
Это абсолютно идентичные копии друг друга. Самый яркий пример – главная страница сайта отображается, как по адресу «www.какой-то_сайт.рф», так и под доменным адресом с совпадающим именем без «www».
Наиболее распространенные ошибки, связанные с неправильной настройкой зеркал:
отсутствие указаний и директивы host в robots.txt или противоречащие друг другу указания;
перенаправление при переезде в уже имеющейся группе зеркал;
недоступность одного из зеркал, которая может возникнуть по различным причинам;
различающийся между собой контент на зеркальных страницах.
Как правильно сделать настройку зеркал при осуществлении переезда сайта на новое доменное имя:
1. следует сделать сайты с полными зеркалами, не забыв при этом прописать директиву host в файле роботс.тхт;
2. не забываем про вебмастер. Если рассматривать продукт от «Яндекса», то заходим все в тот же раздел «Индексирование», затем в «Переезд сайта», оповещая заранее поисковую систему о предстоящей процедуре;
3. Устанавливаем редирект на главное зеркало.
Для тех, кому интересно узнать, каким образом можно осуществить переезд/перезапуск сайта без потери поисковых позиций, рекомендуем прочитать соответствующую статью в нашем блоге, где более подробно расписаны все нюансы, этапы работ и возможные результаты. Ссылка на материал.
По поводу Вебмастера
Как Вы успели заметить, в некоторых примерах, мы обращались к сервису, где можно пронаблюдать за различными моментами, касающимися динамики индексирования сайта в поиске. Так как мы делали обзор каждого из них в других статьях нашего блога, то не будем повторяться, а просто укажем источники для ознакомления:
краткий обзор возможностей «Google. Webmaster» рассмотрен в статье «Как перезапустить сайт и не потерять результаты в поиске»;
Уверены, что там Вы найдете и много других полезных и интересных «фишек» и фактов.
Лайфхаки или реальные примеры
Так сказать, от теории перейдем плавно к практике. Для наибольшей наглядности, чтобы понять, каким образом правильно настроить индексирование сайта в поисковых системах, мы оформили маленькую табличку, которую Вы видите ниже. В ней описаны различные реальные проблемы, с которой сталкивался в свое время тот или иной владелец сайта и правильные пути решения.
Возможные пути решения:
«Изначально было несколько сайтов разных издательств. По мере развития, было принято решение создать один единый сайт, в котором каждому отдельному издательству будет выделена отдельная «подкатегория». Контент каждого издательского дома на новом сайте будет немного отличаться от старого. Каким образом правильно осуществить «склейку» нескольких сайтов в один?
первое, на что стоит обратить внимание – при процедуре «склеивания» будет необходимо, чтобы контент на старых сайтах и на новом веб-ресурсе был абсолютно идентичен друг другу.
После того, как мы в этом убедились, прописываем директиву host и ждем, когда робот поисковой системы осуществит «склеивание». Следим за результатами через вебмастер.
выполнить перенаправление со всех старых сайтов на главную страницу нового веб-ресурса.
* не забываем про вкладку в Вебмастере «Переезд сайта» и в первом, и во втором случаях!
Произошло по какой-то неизвестной причине падение страниц в индексации. Где можно ее выявить, а затем исправить?
Инструмента или сервиса, позволяющего выявить конкретную причину на данный момент, к сожалению, нет.
Но проверить отдельные моменты, связанные с индексацией, можно также в панели Вебмастера.
В первую очередь, следует зайти во вкладку «Исключенные страницы» и производить оттуда начало проверки.
Следует ли закрывать от индексации файлы css-стилей и javascript?
Нет, на данный момент не рекомендуется, потому что новые современные алгоритмы поисковых систем при ранжировании скоро начнут учитывать не только поведенческие показатели со стороны посетителя сайта, но и «переносить» их действия именно в тот код, который есть на сайте. Например, многим пользователям нравится форма обратной связи, через которую они пользуются. Робот поисковой системы в скором времени «научится» учитывать и этот фактор при индексации страницы
Есть порядка 10 различных страниц с одним и тем же описанием в карточке товара. Следует ли закрывать текст от индексации во избежание падения индексации?
Во избежание дублей, присвоить им разные имена через «/». Например, «товар/1…товар/10».
Использовать директиву «canonical» с других «дублей» на основную страницу пагинации, которая будет индексироваться.
* в обоих случаях текст можно не закрывать от робота.
III вариант: написать на каждый товар (если целесообразно) уникальные и качественные SEO- или LSI-текста.
На что 304-е перенаправление обращает внимание в первую очередь?
«304» редирект означает, что страница не менялась с момента последнего обращения и индексировать ее роботу нет необходимости.
В данном случае, бот поиска будет сначала ориентироваться на ответ сервера, а только затем связываться и сверяться с файлом sitemap.
Весь трафик идет не на главную страницу сайта, а на каталог, который есть поддомене. Подключен он был гораздо позднее основного сайта, однако обладает хорошими поисковыми позициями. Можно ли осуществить правильное перенаправление на главную страницу с минимальными потерями трафика и позиций в естественной выдаче?
Посмотреть с помощью сервисов аналитики («Яндекс.Метрика», «Google Analytics» и др.) вводит ли это их в заблуждение, теряются ли они на сайте? Если нет, то зачем проделывать лишнюю работу?
Если все-таки необходимо выполнить данную процедуру, то следует поправить файл sitemap и использовать команды перенаправления.
Появилось зеркало сайта с секретным протоколом https, которое «крадет» трафик. При чем он появился непонятно откуда. Как можно решить подобную проблему?
Появилась ссылка на сайт с секретным протоколом, скорее всего, из-за ошибки, которую могли допустить при наполнении/заполнении сайта какого-нибудь рубрикатора, справочника. Возможен также и «глюк» со стороны сервера. Робот поисковой системы его увидел и начал индексировать.
Если Вы нашли, например, человека, который его зарегистрировал или узнали, что он ваш, то достаточно прописать редирект страницы с секретным протоколом на основной домен.
Если ничего не нашли, то можно воспользоваться Вебмастером, а именно разделом «удалить URL». И ввести домен с секретным протоколом.
* все равно стоит постараться узнать, откуда он появился
Заключение
Как видите, правильно настроить индексирование сайта в поисковых системах не так уж и просто. Постоянно могут возникнуть проблемы, связанные, как с человеческим фактором, так и техническим. Также следует учесть и время, необходимое для индексации, которое может длиться от 2 недель до трех месяцев, в зависимости от сложности ситуации.
Во избежание неправильной настройки индексирования (особенно, если Вы мало разбираетесь в технических аспектах и нюансах), рекомендуем обратиться напрямую к специалистам в данной области или в специализированное веб-агентство, в штате которого такие профессионалы присутствуют.