Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.
Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.
Рассмотрим каждый вариант подробнее.
Оглавление:
-
Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console
-
Проверка количества проиндексированных страниц в ПС при помощи операторов
-
Отслеживание проиндексированных страниц с помощью online сервисов
1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console
Бесплатный и достоверный способ с использованием сервисов для вебмастеров.
Яндекс.Вебмастер
В первую очередь выполняем авторизацию в аккаунте Яндекса и входим в сервис Вебмастер. Далее вводим url ресурса и нажимаем кнопку «Добавить».
Добавление сайта в вебмастер Яндекса
После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.
Просмотр страниц в поиске Яндекса через панель для вебмастеров
Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».
Просмотр количества страниц в поиске на вкладке «Мои сайты»
Для анализа список страниц можно скачать из сервиса файлом в форматах .xls и .csv.
Google Search Console
Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис search.google, вводим url сайта и нажимаем кнопку «Добавить ресурс».
Пример верификации в панели вебмастеров в Гугл
После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».
Просмотр страниц в ПС Гугл через панель для вебмастеров
Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.
Примеры проверки индексации сайта
На скриншоте – сайт, у которого нет проблем с индексацией в Яндексе
На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Яндекса
На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Гугл
2. Проверка количества проиндексированных страниц в ПС при помощи операторов
1. Оператор «site»
Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru».
Пример использования оператора «site» в Яндексе
Пример использования команды «site» в Гугле
Но в использовании этого оператора есть особенность. Если на сайте более 2 тысяч страниц, то Яндекс часто показывает их некорректное количество. Поэтому сам Яндекс рекомендует уточнять информацию по количеству страниц в индексе через панель вебмастеров, о которой говорили выше.
С помощью оператора мы видим количество страниц – 2 тысячи, если смотреть через панель вебмастера, то число будет совсем другим – 7 808:
Оператор «host»
Оператор «host:» работает по принципу оператора «site», только он позволяет сузить область поиска до конкретного домена. Поддомены не учитываются и не выводятся в результатах поиска. Чтобы использовать оператор, введите в строке поиска «host:адрес_интересующего_сайта».
Если бы мы использовали оператор «site», в выдачу попали бы страницы с поддоменами других городов.
3. Анализ индексации сайта при помощи плагинов и расширений
Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.
Пример использования плагина SEO-tools
Установить расширение вы можете по ссылке
Пример использования расширения RDS bar
Установить расширение вы можете по ссылке
4. Отслеживание проиндексированных страниц с помощью online сервисов
Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru вводим url и нажимаем «Анализировать».
Скриншот проверки индексации сайта в a.pr-cy.ru
Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.
5. Программы для контроля индексации сайта
Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.
Скриншот фрагмента анализа сайта в программе Site-Auditor
Больше полезных материалов о digital читайте в телеграм-канале «В центре маркетинга»
Проверка индексации страницы
Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:
1. В панели для вебмастеров:
-
Яндекс – следовать по пути «Индексирование» – «Проверить статус URL». В поле для ввода данных ввести либо полный урл интересующей страницы, либо путь от корня сайта начинающийся с «/». Далее нажать кнопку «Проверить».
Проверяемая страница в поиске Яндекса
-
Google – перейти во вкладку «Проверка URL» и ввести урл интересующей страницы.
Проверяемая страница проиндексирована в Google
2. Оператор «url»
В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».
Пример использования оператора «url» в ПС Яндекс
Ранее, по типу оператора «url» в Яндекс, в поисковой системе Google был оператор «info». В 2019 году Google отключил данный поисковый оператор. Причиной этого решения стал тот факт, что эта команда мало используется, а получить эти данные можно с помощью инструмента проверки URL в Search Console.
Используя оператор info, можно было просмотреть канонический URL для конкретной страницы. Однако, поскольку эти данные доступны в инструменте проверки URL, то отдельный поисковый оператор, по мнению Google, больше не нужен.
3. Оператор «info»
В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»
Пример использования оператора «info» в ПС Гугл
Почему сайт может не индексироваться
В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.
Ошибки в файле robots.txt
Файл robots.txt – это текстовый документ в формате .txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.
Отсутствие файла sitemap.xml
Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.
Новый сайт
Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.
Приватные настройки
В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.
Тег «noindex»
Страницы могут быть закрыты от индекса в коде с помощью мета тега name="robots" content="noindex, nofollow" />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».
Мусорные страницы
Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.
Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле .htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.
Если вы не смогли решить проблему с индексацией отдельных страниц, или хотите поручить поисковую оптимизацию сайта профессионалам, расскажите нам о вашем проекте. Команда Веб-Центра выводит в топ сайты любой тематики.
Выводы SEO-специалиста Веб-Центра
Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.
Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.
Подробно эту тему мы разобрали в видео на нашем
-
А если у вас возникли трудности или вы не хотите тратить время, то можете заказать бесплатную SEO-консультацию у наших специалистов.
