Проверка индексации сайта. Ошибка, которую упускают многие.

Наверняка Вам уже известно, что при внутренней оптимизации сайта стоит уделить особое внимание индексации сайта, а именно факторам, которые влияют на правильность индексации, ведь если Ваш сайт будет некорректно индексироваться, то и на хорошее ранжирование сайта можете не надеяться.

Иногда, вроде все сделано и внутренняя оптимизация, и построена грамотная стратегия продвижения, а сайт либо не поднимается в поиске, либо выше 20-30 позиции не поднимается. Проблема может быть именно в корректности индексации сайта.

Как нам уже известно, для правильности индексации необходимо:

  • правильно задать robots.txt;
  • избегать дублей страниц на сайте;
  • не закрывать контент от индексации;
  • правильно употреблять тег rel canonical;
  • построить правильную пагинацию на сайте;
  • избегать внутреннего переспама;
  • не допускать внутреннего дубляжа как контента, так и мета-данных;
  • правильно распределять ссылочный вес.

Бывает, вроде все пункты выполнены, но часто в одном из этих пунктов, допускается ошибка, а именно в файле robots.txt.

На нашей практике встречалось множество проектов, которые приходили к нам от других специалистов. В результате оказалось, что мало кто умеет правильно пользоваться (это не камень в чужой огород, но такое случается зачастую механически) правилами в robots.txt, хотя на первый взгляд правила прописаны правильно: закрыты служебные разделы, результаты поиска по сайту, страницы с параметрами и т.д..

Но речь идет о том, как поисковый робот видит Ваш сайт, а именно, видит ли он его также, как и пользователь. Страница может индексироваться, а контент внутри нее может быть не виден роботу. От сюда делается логический вывод, что робот не будет понимать, как и по какому контенту ему ранжировать сайт, если часть контента не видна.
Чтобы удостовериться в том, правильно ли робот видит Ваш сайт, можно воспользоваться инструментами Google: Mobile-friendly и Google webmaster.

Проверка с помощью Mobile-friendly

С помощью данного инструмента проверка подходит больше для мобильной версии сайта, но и для десктопной ее можно использовать. Заходим в данный инструмент, вводим адрес анализируемого домена и смотрим результат. У вас должно отобразить что-то вроде этого

webmasters_tools_mobile-friendly

на экране смартфона Вы увидите изображение именно в том виде, в котором его видит поисковый робот. Далее обращаем внимание сюда

mobile-friendly-pokazat

Видим, что некоторые ресурсы страницы заблокированы. Для того, чтобы посмотреть, какие именно, нажимаем на “Показать ресурсы” и мы увидим список ресурсов, которые закрыты в файле robots.txt и которым необходимо открыть доступ для поискового робота.

Но это еще не все. Под картинкой смартфона также имеется кнопка

mobile-friendly-oshibki

Здесь Вы увидите список ресурсов, которые не удалось загрузить. То есть, существуют проблемы именно с их загрузкой. Эту проблему также желательно устранить, поскольку указанные ресурсы могу то загружаться, то нет, что также будет плохо сказываться на ранжировании сайта. Если же там находится контент, который не искажает суть самой страницы, то такие ресурсы можно не трогать. Зачастую, это внешние ресурсы, на скорость загрузки которых Вы, к сожалению, никак не сможете повлиять.

Проверка с помощью Search Console

С помощью данного инструмента можно проверять как и мобильную, так и десктопную версии.
Итак, заходим в Google webmaster и переходим в раздел “Сканирование” - “Посмотреть как Googlebot”. Появится следующее окно

webmaster-tools-indeksatsiya

где вводим адрес сайта, выбираем тип устройства и нажимаем кнопку “Получить и отобразить”. Ждем пока система обработает запрос и получим следующее

webmaster-tools-otobrazit

После чего нажимаем кнопку “>>”что бы посмотреть, как робот видит сайт по сравнению с пользователем. После нажатия увидим такое окно:
webmaster-tools-zablokirovano

На левом экране - как видит сайт робот, на правом - как видит сайт пользователь. Можно с помощью прокрутки просмотреть всю страницу, потому как важно, чтобы корректно отображалась вся страница, а не ее часть. Если же какие-то ошибки будут присутствовать, то их список будет находится сразу под экранами. Здесь будет указана ссылка на ресурс, тип ресурса, причина и ресурс блокировки.
Для мобильной версии сайта делается аналогично, только выбираем соответствующий тип устройства.

Делам выводы

Итак, мы попытались Вам объяснить и советуем всегда обращать внимание на такие моменты, потому как они очень важны.

Такие проверки необходимо выполнять хотя бы раз в 2 месяца, потому что в любой момент может возникнуть проблема в доступности сайта и от этого никто не застрахован.

Спасибо, что уделили нам внимание. Ждем Ваши комментарии.

Комментарии закрыты.