Как проверить, сколько страниц в индексе поисковых систем. Сколько страниц на сайте проверить


Проверить индексацию страницы в Яндексе или Google

Если вы занимаетесь продвижением сайта, то очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).

  • Во первых, если страницы нет в индексе, значит люди не смогут ее найти и вы зря потратили время (и возможно деньги) на ее создание, наполнение и оформление. Каждая страница в индексе — это источник посетителей.
  • Во вторых, если страницы нет в индексе, это может свидетельствовать о технических проблемах на сайте, например дублирование контента, глюки сайта или хостинга.
  • В третьих, эта страница может играть техническую роль, например, участвовать в схеме перелинковки (или содержать платные ссылки, за которые вы не получите деньги, если страницы нет в индексе).

Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.

Содержание:

  1. Узнаем количество фактических страниц
  2. Проверяем индексацию в целом
  3. Проверяем индексацию конкретной страницы
  4. Проверяем индексацию каждой страницы списком

Как узнать количество страниц на сайте

Это можно сделать несколькими путями:

  1. Если вы используете современную систему управления сайтом, то в административной части наверняка можно посмотреть количество страниц. Например, у меня это выглядит так: количество страниц на сайте
  2. Следующий способ подойдет практически всем (при условии что у вас до 500 страниц на сайте, иначе за деньги). Есть отличный сервис http://www.xml-sitemaps.com/, который строит xml-карты сайта. В процессе работы он посчитает и количество страниц вашего сайта. Опять же, пример для моего сайта (совпадает с прошлым способом: 146 страниц, это 113 записей и 33 страницы): количество страниц в карте сайта
  3. Третий способ — это использование программы Xenu (легко ищется в Яндексе). Это программа полностью сканирует ваш сайт, составляет список страниц, список битых ссылок и еще много полезной информации. Потом просто нужно посчитать количество страниц на сайте. Но подойдет не всем, т.к. в ней нужно будет разобраться.

Теперь, когда мы знаем фактическое количество страниц, надо проверить сколько из них проиндексированы в Яндексе и Google

Смотрим индексацию сайта в целом

В данном случае мы узнаем сколько всего страниц сайта проиндексировано в поисковой системе. Что нам это дает? Зная фактическое количество страниц на сайте, мы можем сравнить соответствует ли оно количеству проиндексированных страниц. И если соответствует, значит всё в порядке, а если нет, то нужно разобраться с проблемой и выяснить каких именно страниц не хватает (или какие страницы имеют дубли).

Индексация сайта в Яндексе

Несколько способов.

  • Смотрим приблизительно индексацию страниц в Яндексе вручную. Для этого нужно в поисковой строке ввести конструкцию вида:url:адрес-вашего-сайта*. Обратите внимание, в конце стоит звездочка. Например, в моем случае: url:ilyapronin.ru*.индексация в яндексе
  • Следующий способ — это использование Яндекс.Вебмастера http://webmaster.yandex.ru/. Возможно понадобится подключить ваш сайт к этому сервису, если вы еще этого не сделали. После подключения сайта к Яндекс.Вебмастеру мы можем узнать много полезной информации о сайте и кроме всего прочего — количество проиндексированных страниц:информация в вебмастере

Как видите данные немного отличаются. Это из-за того, что конструкция url:ваш-сайт показывает не только страницы, но другие типы файлов (doc, xls, jpg и т.п.). Вебмастер же показывает именно количество страниц.

Индексация сайта в Google

Здесь аналогично с Яндексом есть 2 способа:

  • Вручную с помощью конструкции site:ваш сайт. Эффект будет примерно такой же, как с Яндексом.
  • Используя инструменты Google для Вебмастеров https://www.google.com/webmasters/ (аналог Яндекс.Вебмастер)

автоматические способы

  • Мне очень нравится бесплатная программа Site Auditor, скачать ее можно здесь: http://www.site-auditor.ru/. Она проверяет индексацию сайта сразу в Яндекс и Google, а так же и другие полезные параметры:программа сайт аудитор
  • Плагин для браузеров — RDS Bar. Его можно добавить в все популярные бразеры (Chrome, Firefox, Opera). После этого у вас появится информационная панель, показывающая информацию о сайте, на котором вы находитесь, в том числе и индексацию страниц:плагин rds-bar

Что дальше

Теперь когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:

  1. Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке.
  2. Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
  3. Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.

Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.

Как проверить индексацию одной страницы

Это нам может понадобится, когда мы хотим проверить конкретную страницу на своем сайте (например, недавно опубликованную) или страницу на чужом сайте (например, где мы купили ссылку и ждем, когда она проиндексируется)

  • Ручной способ. Тут всё очень просто. Копируем адрес страницы с сайта и вставляем в поисковую строку Яндекс или Google. Если она проиндексирована, то она окажется на первом месте результатов поиска.индексация конкретной станицы
  • Используя упомянутый уже плагин RDS бар. Он показывает проиндексирована ли страница, на которой вы сейчас находитесь.

Как проверить индексацию всех страниц по отдельности

В данном случае мы будем проверять на проиндексированность сразу все страницы сайта и в результате узнаем какие конкретно страницы не проиндексированы в поисковике.

Здесь нам понадобится не просто знать количество фактических страниц на сайте, но и список адресов этих страниц (их url). Это наверно самое сложное в этой статье. Список страниц мы вроде бы получили, когда генерировали карту сайта, но там адреса содержатся не в чистом виде и нужно уметь работать с какой-нибудь программой по обработке данных, чтобы извлечь их. Поэтому будем использовать еще одну программу.

Как получить список всех страниц сайта

Чтобы получить список всех страниц сайта, будем использовать программу для Windows, которая генерирует карту сайта — Sitemap Generator, взять можно здесь http://www.wonderwebware.com/sitemap-generator/

Перед сбором ссылок нужно настроить параметр Exclude Patterns. Это делается, чтобы исключить при сборе ненужные ссылки, например, в моем случае при сборе собирается очень много адресов вида: http://ilyapronin.ru/prodvizhenie/kak-prodvigayut-sajjty.html?replytocom=324#respond, которые указывают на комментарий на странице. А мне нужен только адрес страницы. Поэтому, я настроил исключение адресов по маске *replytocom*:

sitemap-gen2

Дальше, запускаем сбор url и когда программа закончит их собирать, переходим на вкладку Yahoo Map / Text и копируем адреса оттуда (Кнопка сохранить не работает, т.к. мы используем бесплатную версию программы)

список всех страниц на сайте

Теперь у нас есть адреса всех страниц.

Как проверить индексацию страниц автоматически

Дальше нам понадобится программа YCCY, которую можно скачать здесь: http://www.yccy.ru/soft/yccy

Здесь всё просто. После запуска программы добавляем собранный на прошлом шаге список url вашего сайта и добавляем в список исходных url. Программа позволяет проверять индексацию в Яндекс, Гугл и Rambler, выбираем нужную нам поисковую систему и запускаем проверку:

программа для проверки индексации страниц

После того, как получили список страниц, которые не попали в индекс, нужно понять почему это произошло. Если со страницей всё впорядке, то чтобы она зашла в индекс, можно закупить на нее ссылок или несколько ретвитов с прокаченных аккаунтов.

Заключение

Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.

ilyapronin.ru

Как узнать, сколько страниц в индексе Яндекса или Google?

как узнать сколько страниц в индексе поисковых систем

Чтобы продвигаемые страницы могли выводиться в поиске, они должны находиться в индексе поисковых систем. Давайте разберемся, как проверить, какие страницы сайта находятся в индексе Яндекса или Google, узнать количество документов в базе поисковой системы. Какие инструменты существуют для отслеживания индексации страниц. Но вначале немного ликбеза.

Что такое индекс поисковой системы?

Индекс поисковой системы – это база данных, в которой находится информация обо всех документах (страницах с сайтов, файлов), которые могут участвовать в поиске.

Не все страницы включаются в индекс. Например, если страница вашего сайта признается роботом поисковой системы как низкокачественная, она может не включаться в индекс и не принимать участие в поиске. Аналогичная судьба часто ожидает страницы-дубли или документы, содержащие скопированные с других сайтов тексты.

В Google имеется основной индекс и дополнительный (supplemental index).

В дополнительный индекс попадают документы, которые имеют более низкое качество, чем документы из основного индекса. Они не участвуют в основном поиске, их редко посещает робот Google, они практически не приносят трафик на сайт.

В дополнительный индекс Google обычно попадают:

  • страницы с неуникальным контентом,
  • страницы, на которых практически отсутствует контент и страницы с текстом менее 500 символов,
  • дубли,
  • иногда в дополнительный индекс могут попадать страницы с низким весом.

Почему важно проверять количество страниц в индексе?

Очень важно отслеживать индексацию страниц, потому что от этого зависит трафик из поисковых систем. Если страница не проиндексирована, она не сможет появиться в выдаче по какому-либо запросу.

Также важна скорость индексации сайта. Если она низкая, в индексе будут устаревшие версии страниц, а новые документы будут попадать в поиск с большой задержкой. Чтобы решить эту проблему, посмотрите статью, как ускорить индексацию сайта.

Как узнать, сколько страниц в индексе Яндекса или Google?

Есть несколько способов проверить количество страниц в индексе поисковых систем:

1. Введите в поисковую строку запрос: site:site.com (где site.com – это URL или адрес главной страницы сайта), как на скриншоте ниже:

количество страниц в индексе Google

Под строкой поиска вы увидите примерное количество страниц в индексе поисковой системы. В примере выше указано число страниц в индексе Google. Этот способ позволяет узнать число страниц в базе поисковой системы у любого сайта, в том числе конкурента.

2. Проверить количество страниц в индексе Google, можно в сервисе Google для вебмастеров. Аналогичный сервис в Яндексе – это Яндекс.Вебмастер. В нем можно посмотреть число страниц в индексе данной поисковой системы. Для просмотра данных потребуется подтвердить права на сайт в сервисах. Поэтому данный способ не подходит для анализа сайтов конкурентов.

Сервис

Раздел, в котором находится информация о числе проиндексированных страниц

Google для вебмастеров

Индекс Google -> Статус индексирования

Яндекс.Вебмастер

Индексирование -> Структура сайта

Если у вас есть доступ в Яндекс.Вебмастер, зайдите на вкладку «Индексирование» -> «Страницы в поиске» и над графиком выберите отображение «История». Здесь вы сможете посмотреть не только число страниц в индексе, но и историю индексирования сайта.

3. При помощи онлайн-сервисов, например, многие бесплатные сервисы для проведения аудитов сайтов выводят информацию о количестве страниц в индексе.

Как проверить страницу в индексе Яндекса или Google?

Часто вебмастеру требуется узнать, находится в индексе конкретная страница сайта или нет. Самый простой способ узнать это – ввести поисковый запрос, состоящий из адреса страницы. Если в результатах поиска вы увидите искомую страницу, значит, она находится в индексе:

проверка наличия страницы в индексе Google

В Яндекс.Вебмастер есть функция, которая позволяет не только проверять, в индексе страница или нет, но и следить, чтобы важные страницы не выпадали из поиска. Чтобы добавить страницу в список отслеживаемых, зайдите в раздел «Индексирование» -> «Важные страниц» и в открывшейся форме добавьте нужные страницы:

отслеживание изменений на важных страницах в Яндексе

Можно настроить отслеживание до 100 страниц, что достаточно для многих проектов. Если вам нужно отслеживать больше документов на сайте, то можно воспользоваться сервисом Топвизор. Он позволяет проверять, в индексе страницы сайта или нет, без ограничения по числу документов. Помимо проверки индексации сайта, сервис позволяет снимать позиции по запросам, группировать запросы и многое другое.

Как вернуть или добавить страницу в индекс?

В панелях для вебмастеров имеются специальные сервисы, позволяющие отправить страницу на переиндексацию или добавить новую страницу с сайта в поисковую систему:

Второй способ отправить страницу на переиндексацию – это добавить ссылки на страницу в социальные сети, новостные ресурсы и другие интернет-ресурсы, которые часто посещают роботы поисковых систем.

Если вы отправили страницу на индексацию, но она не появилась в поиске, скорее всего, робот посчитал документ малополезным. Нужно доработать страницу, чтобы она попала в индекс.

Как ускорить индексацию сайта?

Индексацию сайта можно ускорить на разных этапах продвижения сайта:

  1. Добавьте сайт в панели для вебмастеров. Это позволит ускорить попадание нового сайта в индекс.
  2. Чаще обновляйте контент. Тогда поисковые роботы будут чаще заходить на сайт и новые страницы будут быстрее добавляться в индекс.
  3. Следите за качеством контента. На сайты с низким качеством контента роботы могут заходить реже или совсем перестать индексировать такие проекты.
  4. Периодически проводите технический аудит сайта, чтобы исключать технические причины выпадения страниц из индекса. Например, иногда при редактировании файла robots.txt вебмастера по ошибке закрывают некоторые документы от индексации.
  5. Если вы подавали заявку на удаление страницы из индекса через панели для вебмастеров, но затем передумали и решили снова включить страницу в поиск, то с ее индексацией могут возникнуть проблемы. Она не будет добавляться в индекс, несмотря на все ваши действия. Иногда решить проблему помогает только обращение в службу поддержки поисковой системы.
  6. Если страницы стали вылетать из индекса, проверьте сайт на наличие фильтров, уникальность текстов и техническую сторону работы сайта.
  7. Если сайт слишком большой, вы можете достигнуть лимита по числу документов в индексе поисковой системы (такой лимит есть для каждого сайта). В этом случае можно закрыть от индексации второстепенные страницы, чтобы основные присутствовали в поиске.

В этой статье мы рассмотрели, как проверить индекс сайта в Яндексе или Google, узнать количество страниц в базе поисковой системы, настроить автоматическое отслеживание индексации проекта. Если у вас остались вопросы, добавьте их в комментариях под статьей.

adblogger.ru

как узнать, сколько страниц попало в поиск

Чтобы узнать, сколько страниц попало в поиск Яндекса, необходимо зайти в Вебмастер и выбрать в интерфейсе вкладку «Индексирование». Пользователь узнает, сколько всего загружено страниц, сколько из них находятся в поиске, сколько из поиска исключено.

Помимо этой информации можно узнать и тематический индекс цитирования сайта (ТИЦ, авторитетность ресурса).

Источник: Яндекс

Загруженные страницы. Показывает, сколько страниц посетил робот Яндекса. Как правило, количество загруженных страниц больше тех, которые попали в поиск. Робот закрывает им доступ по разным причинам: страница признана дубликатом, недостаточное качество.

Исключенные страницы. Здесь находятся страницы, которые исключены из поиска Яндекса по причине несоответствия требованиям и те, что запрещены для индексации в файле robots.txt.

Команда Яндекса предупреждает, что статистика по индексации постоянно меняется. Вебмастеру следует регулярно следить за изменениями, чтобы вовремя увидеть тенденции и грамотно на них отреагировать.

В аналогичном сервисе Google Search Console тоже можно узнать, сколько страниц находятся в поиске Гугла. Во вкладке «Статус индексирования» вебмастер узнает количество URL страниц, которые проиндексировал робот. Еще пользователю предоставят информацию о страницах, которые:

  • Закрыты от индексации

  • Удалены из поиска Гугла

  • Просканированы роботом

Источник: Яндекс

ru.content.guru

Количество страниц в индексе. Самый быстрый способ

Проверка индексации сайта в Яндекс и Google

Успешное продвижение сайта возможно лишь тогда, когда выполняется одно важное условие – поисковики должны проиндексировать все его странички, которые оптимизированы под нужные поисковые запросы.

Как убедиться, что это условие выполнено?

Нужно узнать какие страницы в индексе, а какие поисковые роботы обходят стороной.

Самая простая проверка индексации сайта в Яндекс и Google

  1. Чтобы проверить количество страниц в индексе Google используется команда «site:» для строки поиска.

     

  2. Проверить количество страниц в индексе Яндекс можно с помощью оператора «host:», введя эту команду в его поисковую строку в комбинации с адресом веб-ресурса, данные по которому необходимо определить.   

 

В итоге проверка индексации сайта в Яндекс и Google должна выдавать примерно одинаковые результаты с разницей не более чем в 10%. 

Если различие более существенное, значит у одного из поисковиков проблемы с индексацией определенного количества страничек Вашего веб-ресурса. Нужно найти и устранить причины этих проблем. Возможно, требуется правильно настроить robots.txt. В этом файле могут присутствовать запреты на индексацию страничек ботами одного из поисковиков.

Альтернативные способы

  1. Также возможно проверить количество страниц в индексе Google, используя профессиональные инструменты, находящиеся в Search Console. Просмотрев соответствующий раздел Вы сможете узнать сколько страничек всего учтены поисковым ботом и сколько заблокированы в robots.txt. 

     

  2. Похожий сервис (Яндекс.Вебмастер) дает возможность проверить количество страниц в индексе Яндекс. 

    Кроме количества есть возможность увидеть, какие страницы в индексе поисковика, а какие нет. Это может значительно упростить работу по исправлению ошибок, препятствующих правильной индексации веб-ресурса.  

  3. Также выполнение подобной проверки возможно с помощью сторонних сервисов, которых в интернете огромное количество. 

  Хотя зачем что-то выдумывать? Кто сможет показать, какие страницы в индексе, лучше самих поисковиков и профессиональных инструментов, предоставленных ими же?

Итог очевиден

Если нужно определить, как много и какие страницы в индексе, есть достаточно способов, из которых каждый выбирает на свой вкус. Кому-то нравится минимализм и простота (оператор «site:»). А кто-то может любить, чтобы все было посложнее и посерьезнее.

Но независимо от выбранного способа, результат должен быть достигнут один – определить существующие проблемы с индексацией страничек веб-ресурса и по максимуму их устранить. Ведь индексация – самый важный момент в продвижении. Если она не работает или дает сбои, Вы просто тратите время и деньги впустую.

А Вам какой способ подходит? Или может Вы знаете и другие? Пишите об этом в комментариях! 

 

seo-akademiya.com

Как проверить, сколько страниц в индексе поисковых систем | ТВОЙ ПОМОЩНИК

Написал Елена Молгачева в 11 ноября 2014, 00:13 Отредактировано: 13 марта 2016, 09:53

сколько-страниц-в-индексеЛогические рассуждения на тему: «Как проверить, сколько страниц в индексе поисковых систем».

И числовые расчеты, которые показывают, как я сводила баланс, изучая, что проиндексировано, а что нет и почему.

Я решила разобраться с этим более пристально и разложить все по полочкам.

Рассмотрим на примере Яндекса и Google.

Проблема индексирования, или что такое индексы.

Проблема индексирования постоянно волнует владельца любого сайта. Когда страницы сайта попадают в индексы поисковых систем, это обеспечивает стабильный и, что самое главное, бесплатный трафик. Страницы участвуют в поисковой выдаче, а посетители сами ищут информацию и попадают на Ваш сайт. Это же здорово!

Что из себя представляет процесс индексирования сайта или индексация (как мы привыкли говорить в обиходе) я уже рассказывала. Если кто еще не знает в чем суть, стоит перейти по предложенной ссылке и обязательно ознакомиться. Для самообразования узнать это будет очень даже полезно.

На начальном этапе каждый вебмастер переживает о том, чтобы поисковые системы скорее заметили и начали индексировать вновь созданный сайт.

Для этого ссылку на сайт (Url сайта) добавляют в специально предназначенные для этого аддурилки – информируют поисковые системы о своем новоиспеченном творении.

Но, если с Google обычно проблем не возникает, то с Яндексом они иногда случаются. И многие пытаются разобраться, почему Яндекс не индексирует сайт?

Ну, вот, наконец, сайт начинает стабильно индексироваться.

Теперь владельцев волнует уже то, чтобы каждая новая статья попадала в поиск как можно быстрее, и они мечтают, чтобы сайт посещал, так называемый «быстроробот».

Для этого советуют добавлять информацию на свой сайт регулярно и размещать ссылки на новые статьи в социальных сетях, особенно в Твиттере и Google+.

Это можно легко сделать, использую кнопки социальных сетей для сайта.

Но жизнь идет, алгоритмы меняются. Если сайт раньше посещал быстроробот, и статья попадала в поиск Яндекса в течение нескольких часов, то последнее время (ноябрь 2014) многие вебмастера жалуются, что на это уходит несколько дней.

Я тоже заметила, что после того, как я стала добавлять информацию на страницу оригинальные тексты в сервисе вебмастеров Яндекса перед публикацией (что мне настоятельно посоветовали делать специалисты этого поисковика), новая статья попадает в поиск только при очередной поисковой выдаче Яндекса. Как раз несколько дней и проходит.

Получается что-то типа того: ваш текст уже у нас в кармане, вы и так от нас никуда не денетесь, и спешить нам не обязательно.

А как же можно в таком случае определить, что статья уже проиндексирована?

Я делаю это с помощью расширения браузера Google Chrome RDS bar.

Такое же расширение установлено у меня и на браузере Opera. Оно позволяет для любой открытой страницы определить, проиндексирована она или нет.

Как самостоятельно добавить страницу в индекс Google.

Google в этом вопросе более оперативен. Он позволяет каждому принудительно добавлять новую страницу в индекс. Это можно сделать в сервисе для вебмастеров Google. Там нужно сначала выбрать вкладку «Посмотреть, как Googlebot», где затем появляется возможность самостоятельно добавить страницу в индекс, если указать ее Url.

посмотреть-как-Googlebot

Как говорится: и вам хорошо, и нам не плохо.

Таким способом можно добавлять до 500 страниц в месяц.

А как обстоят дела с количественными показателями индексации для сайта?

Сколько страниц в индексе поисковых систем?

Это проще всего посмотреть в сервисах для вебмастеров поисковых систем.

Допустим, у меня на сайте 106 статей и 10 страниц (это видно в административной панели сайта) плюс Главная страница, или лента новостей. Дальше легко подсчитать (106+10+1=117). Значит, всего будет 117 Url на sitemap.

Вспоминаем, что карту сайта для поисковых систем (sitemap) для WordPress мы строили с помощью специального плагина, а отобразить ее можно по ссылке, если к Url сайта после косой добавить sitemap.xml. Можете попробовать посмотреть таким образом свою карту сайта для роботов.

Сколько страниц в индексе Яндекса?

Итак, есть 117 Url готовых для индексации, а в сервисе вебмастеров Яндекса у меня почему-то числится, что в индексе находятся 141 страница. Откуда же берутся остальные?

сколько-страниц в индексе поисковы систем

На расшифровке показано, что еще учтено.

сколько-страниц-в-индексе-Яндекса

Получается, что добавляются еще 13 из 28 страниц категорий.

На сайте можно открыть каждую рубрику (категорию) и просмотреть, сколько в ней числится страниц на данный момент, а потом все эти страницы просуммировать. Так можно подсчитать, сколько всего у вас страниц категорий.

Дальше идут 9 из 21 страниц, которые находятся в ленте новостей непосредственно за Главной страницей.И еще 1 тег как-то сюда затесался.

Каким образом были выхвачены именно эти 13 страниц категорий и 1 тег в придачу, я для себя внятно объяснить не смогла.

А вот откуда взялись конкретно эти 9 из 21-й страницы ленты новостей, так это как раз прояснилось.

Если открыть главную страницу моего сайта по ссылке http://tvoy-internet.ru, то внизу видна строка постраничной навигации, организованная у меня с помощью специального плагина.

9-стрвниц-за-главной

Если внимательно посмотреть на эту строку, то становится понятным, что она, кроме ссылки на первую страницу Главной с расположенными на ней пятью статьями (что задается при настройке WordPress) имеет ссылки еще на 9 страниц.

Их можно перечислить: 2, 3, 4, 5, 6, 7, 8, 20 и последняя (в данный момент это у меня страница 22).

Получается, что на сайте есть Главная и еще 21 страница ленты новстей за ней – всего 22.

Мы видим, что явно указаны ссылки на 9 страниц из 21-й в ленте. Наверное, поэтому они и попали в индекс.

Но для нас, прежде всего, важно, чтобы в поиске находились те самые 117 страниц с полезной информацией, которые мы продвигаем (они зафиксированы в sitemap).

Здесь хочу напомнить, что все эти страницы должны иметь правильный заголовок h2, который обеспечивает повышение процента релевантности страницы, т.е. ее соответствия поисковому запросу. Поэтому, если кто-то еще не побеспокоился об организации правильных заголовков ранга h2 для страниц своего сайта на Вордпресс, то я советую сделать это незамедлительно.

Итак, суммируем 117+13+9+1=140. Н,у а если добавить сюда еще и саму sitemap, то и получится 141 страница в индексе.

Но тут сразу возникает следующий вопрос: «А почему робот загрузил 436, а проиндексировано только 141?»

Ответ следующий. Робот находит все имеющиеся ссылки на страницы на Вашем сайте. Но часть таких ссылок блокируется в файле Robots.txt, чтобы информация не дублировалась.

Рекомендую посмотреть список страниц исключенных роботом, чтобы убедиться, что туда не попали страницы с кодом 404 – не найдено.

перечень-страниц-исключенных роботомТаких страниц на сайте быть не должно. Их нужно проверять и исправлять.

У меня установлен плагин, который постоянно проверяет все ссылки на сайте и сразу же находит битые ссылки (в том числе и с кодом 404). Советую установить такой плагин WordPress, чтобы отслеживать несуществующие ссылки в автоматическом режиме.

Можно для интереса посмотреть и другие страницы, исключенные роботом.Там видно, что исключены короткие ссылки на страницы сайта (в них содержится вопросительный знак).Такие ссылки на статьи организует сам WordPress.

Но потом мы устанавливаем специальный плагин, чтобы у нас показывались ЧПУ ссылки – «человеко-понятные урлы» в виде названия статьи латинскими буквами. Это важно сделать, так как наличие ключевой фразы в Url способствует SEO-продвижению страницы.

В результате получается два набора разных ссылок на одни и те же страницы.

Так вот для того, чтобы информация не дублировалась, короткие ссылки в Robots.txt запрещены к индексации.

У меня также запрещены к индексации tags – страницы, которые можно открыть, используя метки. Они попадают в раздел страниц, исключенных роботом с пометкой «содержит метатег noindex».

Давайте снова вернемся к нашей арифметике. Робот загрузил 436 страниц, исключил 270.

436-270=166.

А проиндексировано 141. Где остальные?

Возвращаемся опять к указанной выше расшифровке. Там видно, что на сайте было найдено дополнительно 28 страниц категорий и 21 страница, расположенная за Главной. А индексация tags (41-й страницы меток) у меня запрещена.

28+21=49.

Итак, имеем 117 страниц, которые зафиксированы в sitemap, плюс еще 49 найденных дополнительно, как раз и будет 166 (117+49=166).

Получается, что на сайте имеется 166 разрешенных к индексированию страниц, но некоторые страницы категорий и страницы, лежащие за Главной в индекс не попали.

Ну, что ж, будем радоваться тому, что туда хотя бы попали страницы с нашей основной полезной информацией. Вряд ли кто-то будет искать какую-то категорию. Хотя иногда это может оказаться весьма кстати.

Если у Вас на сайте есть виджет с архивами, то страницы архивов тоже попадают в индекс.

Я у себя такой виджет убрала. Хотя стоит подумать, насколько он важен для сайта.

Убрала–то я его, чтобы уменьшить количество внутренних ссылок с главной страницы сайта. А какую он еще несет смысловую нагрузку, кроме истории сайта, и насколько архивы важны и нужны, надо еще подумать.

Итак, мы свели баланс в бухгалтерии проиндексированных страниц нашего сайта в сервисе для вебмастеров Яндекса. И все вроде сошлось (166+270=436).

Сколько страниц в индексе Google?

Аналогичную картину можно увидеть и в сервисе для вебмастеров Гугл.

сколько-страниц-в-индексе-Google

Там показано, что робот загрузил 358, а исключил 147.

Каждая поисковая система использует свою методику подсчета, поэтому данные несколько отличаются. Но можно заметить, что метатег noindex здесь не учитывается.

Поэтому 358-147=211.

Значит, вспоминаем про 166 страниц, которые разрешены к индексированию в Яндексе, да добавляем еще 41 страницу меток (тегов), которые Яндекс не учитывает, и получаем такое: 166+41=207.

211 и 207 — числа близкие.

Нужно принимать во внимание расхождения в датах. Ведь разные поисковые системы проводят индексацию в разное время. А в промежутке между датами информация на сайте могла измениться.

Как проверить количество страниц в индексе?

Чтобы это быстро узнать я использую расширения браузера Google Chrome Yandex CY (TIC) & PR Viewer

определить-сколько-страниц-проиндексировано

и уже упоминавшийся выше RDS bar.

Можно посмотреть и в сервисах для анализа сайта, например,  в www.cy-pr.com.

Существуют и другие ресурсы, которые такую информацию предоставляют.

Дополнительный и основной индекс Google.

Считается, что Google имеет два индекса: дополнительный и основной.

Если в поисковой строке Google набрать вручную команду site:tvoy-internet.ru, то определяется дополнительный индекс. Туда попадает все.

У меня получилось, что в дополнительном индексе Google 403 страницы.

А по команде site:tvoy-internet.ru/& определяется основной индекс.

В основном индексе Google у меня оказалось всего 186 страниц (числа разняться от случая к случаю).

186/403*100=46% страниц не под фильтрами.

Это и показано в анализаторе www.cy-pr.com.

дополнительный и основной индекс

Вот, оказывается, откуда эти проценты берутся!

Выходит, что дублированный контент на сайте в основной индекс не попадает.Ну, что же, такова участь готового бесплатного шаблона Вордпресс.

Более грамотно организованные сайты имеют более близкие числа в таких ответах.

А разницу между ними называют — «сопли».

Более подробно на эту тему у профессионального оптимизатора.

Анализ страниц в дополнительном индексе Google.

Кстати там же можно посмотреть показатели дополнительного и основного индекса Google для его сайта. У него они оказались значительно ближе друг к другу.

Увы, на моем Вордпресс блоге соплей предостаточно.

Эх, надо учиться создавать сайты на более профессиональном уровне. А не использовать готовые шаблоны…

Шутка, содержащая долю истины. Есть к чему стремиться.

Получается, что сайты нужно строить так, чтобы дублированного контента на них не было и все имеющиеся там ссылки на страницы сразу шли в дело, т.е. в основной индекс.

Вот так.

Может, и WordPress когда-нибудь до такого дорастет.

А пока получается, что, если использовать короткие ссылки на страницы, то это не способствует SEO (оптимизации). А если применять ЧПУ ссылки, то получается дублированный контент.

С нетерпением жду ваших комментариев.

Какие мысли по этому поводу Вас посетили?

Елена и tvoy-internet.ru

tvoy-internet.ru

Как быстро проверить индексацию сайта в Google и Яндекс — Netpeak Blog

Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.

При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.

Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.

1. Проверьте индексацию в панели вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google. Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».

Yandex. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. Проблемы с индексацией выглядят так:

На скриншоте — сайт, закрытый от индексации в файле robots.txt

Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:

Наши подписчики всегда получают больше.

2. Используйте операторы в поисковых запросах

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.

Например, сайт cubing.com.ua находится под фильтром АГС.

Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать :)

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

4. Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Почему не индексируется сайт?

1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.

3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

5. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:

User-agent: * Disallow: /

Что еще может стать поводом для проблем с индексацией сайта?

Выводы

Цель владельца сайта — все страницы, открытые для индексации, в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

  1. В панелях вебмастеров Google и Яндекс.
  2. С помощью поискового оператора «site:».
  3. С помощью плагинов, вроде RDS bar, и буркмарклетов.
  4. В специальных сервисах, например, Netpeak Spider.

Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.

P.S. Бонус для тех, кто дочитал :)

Держите таблицу, с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?

  1. Сделать копию.
  2. Выбрать доменную зону.
  3. Загрузить в столбец А список URL-адресов.
  4. Подождать результатов (чем больше адресов, тем дольше надо ждать).

В итоге получаем приблизительно такую картину:

Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:

  1. Выбрать доменную зону.
  2. Выбрать регион.
  3. Ввести запрос (адрес сайта).
  4. Поставить «1», если хотите получить адрес и заголовок.
  5. Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).

С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.

netpeak.net

Как проверить количество страниц в индексе

А зачем собственно может понадобиться проверить количество страниц в индексе?

  • На своем сайте важно следить чтобы все опубликованные страницы со временем вошли в индекс. Иначе у вас проблемы.
  • Для чужого сайта (например при покупке сайта) важно чтобы число страниц в индексе Яндекса и Гугла примерно совпадало. Иначе сайт под санкциями (или неявной пессимизацией) и его приобретать не стоит.

Количество страниц в индексе Яндекса

1 Если вы хотите узнать количество страниц вошедших в индекс Яндекса для любого сайта (не важно вашего или чужого) — в поисковую строку поиска вбейте следующий запрос site:xxx.ru (где xxx.ru — имя сайта):

Проверить количество страниц в индексе

Страницы при выводе ранжируются по популярности. Таким образом можно узнать самые популярные страницы своих конкурентов.

2 Если вы можете подтвердить права на сайт — обязательно заведите себе аккаунт на Яндекс вебмастер: webmaster.yandex.ru и там вы вполне официально от самого Яндекса увидите:
  • Количество страниц в индексе:
Яндекс вебмастер общая информация
  • Динамику индексирования (история хранится за последние 3 месяца):
Яндекс вебмастер страницы в поиске история
  • Какие именно страницы в индексе:
Яндекс вебмастер страницы в поиске3 В новом Яндекс вебмастер: beta.webmaster.yandex.ru параметры индексирования вынесены на главную страницу:

Новый Яндекс вебмастер индексирование

По прежнему можно отдельно посмотреть динамику индексирования, сколько страниц в индексе и какие именно страницы в индексе.

Количество страниц в индексе Google

1 Для того чтобы проверить количество страниц в индексе Гугл в поисковую строку поиска вбиваем запрос site:xxx.ru (где xxx.ru — имя сайта):

Страницы в поиске Google

2 Google в своем вебмастере www.google.com/webmasters аналогично Яндексу показывает количество страниц в индексе и динамику индексирования (но данные показаны за более длительный период — год):

Google вебмастер статус индексирования

Как проверить индексацию страницы в Яндексе

Если мы хотим проверить конкретную страницу, тут всё очень просто. Копируем адрес страницы и вставляем в поисковую строку Google или Яндекс в виде конструкции site:адрес страницы. Если страница проиндексирована, то она будет в результатах поиска Яндекса: «Нашёлся 1 результат» или Гугл: «Результатов: 1».

Понравился мне тут один лот на бирже сайтов telderi.ru. Но при тщательной проверке выяснилось, что продаваемый сайт не имеет индексированных страниц в поисковой системе Google. Скорее всего имеется бан, фильтр или пессимизация сайта в данной поисковой системе. Естественно от покупки пришлось отказаться.

Надеюсь, что у вас, как и у меня, число опубликованных записей совпадает с числом проиндексированных страниц в Яндекс и Google.

siteask.ru