Причины плохой индексации сайта

С проблемой плохой индексации сайта знаком каждый вебмастер. Почему отдельные страницы сайта или весь сайт не индексируются? Основными причинами, из-за которых сайт может не входить в индекс, являются следующие:

  • роботу неизвестно о документе или сайте;
  • сайт или его отдельные элементы не доступны роботу;
  • сайт внесен в черный список;
  • наличие технической ошибки;
  • плохое качество отдельных страниц или разделов.

Рассмотрим более подробно каждый пункт:

Причины плохой индексации сайта, индексация сайта

Роботу неизвестно о документе или сайте.

Роботу может быть ничего неизвестно о сайте по двум причинам. Первая – прошло слишком мало времени, вторая – нет ссылок на сайт или документ. В первом случае нужно подождать, когда робот найдет ссылку. Апдейт происходит в Яндексе около двух раз в неделю. Страницы попадают в индекс Google через несколько часов, а в Яндекс за пару недель. Во втором случае нужно проверить стоят ли ссылки на документ с главной страницы. Можно сделать ссылки с других ресурсов.

Сайт или его отдельные элементы не доступны роботу

Если поисковику известно о сайте, мы можем закрыть доступ к отдельным страницам или разделам. Это происходит специально или нет. Причины следующие:

  • Домен не делегирован.

Необходимо проверить делегирован ли домен и доступен ли он пользователям. Можно попросить зайти на сайт знакомых из других городов и посмотреть – открывается ли сайт. Также ресурс может быть снят с делегирования. Это связано с недавно принятым законом о пиратстве. Если на ресурсе размещен контент пиратского характера, то может быть на сайт была подана жалоба.

  • Сайт закрыт посредством robots.txt

Необходимо открыть в корневой папке файл robots.txt и проверить, что в нем нужные разделы не закрыты.

  • Документ закрыт через meta-robots

Тег meta-robots – это второй способ запрета индексирования документа. Бывает, что редактор забывает о нем после запуска сайта и наполнения его первоначальным контентом.

  • Закрыт через IP или User-Agent

Данная проблема решается с хостером. Бывает, что ip-адрес случайно вносится в черный список. Это проверяется путем анализа логов сервера.

  • Закрыт через http-заголовки X-ROBOTS-TAG

Иногда http-заголовки могут быть причиной запрета индексации страниц или отдельных документов. Можно проверить есть ли в заголовках вашего сайта x-robots-tag.

  • Применение flash или ajax-навигацию

Flash и ajax-элементы плохо индексируются поисковыми роботами. Для того чтобы посмотреть на сайт как робот, можно применить панель Google, предназначенную для вебмастеров.

  • Закрыты важные элементы на сайте в noindex

Рекомендуется не применять noindex, так как он может навредить при неграмотном использовании. Робот может не видеть уникальный контент в результате излишних тегов noindex.

Сайт внесен в черный список

Сайт может попадать в черный список поисковой системы, что приводит к отсутствию индексации. Причинами наложения санкций на сайт могут быть такие особенности работы сайта, как:

  • сайт создан только для систем поиска и не представляет собой никакой ценности для пользователя;
  • применяет агрессивные методы оптимизации;
  • является аналогом сайта, который уже есть на другом домене;
  • обладает не очень хорошей историей домена;
  • сайт распространяет вирусы.

Наличие технической ошибки

Зачастую на плохую индексацию ресурса влияет техническая ошибка. Если ее исправить, то проблема будет устранена. К техническим ошибкам относятся:

  • Некорректное написание http-заголовка

Страницы, попадающие в индекс, имеют код ответа сервера «200». Проверяется это с помощью различных инструментов. Можно воспользоваться специальным разделом для индексации в панели вебмастера.

  • Некорректный DOCTYPE

Необходимо проверить соответствие кода html-стандартам.

  • Некорректные редиректы

Некорректный редирект заключается в применении 302-го вместо 301-го. В этом случае старые страницы ресурса в индексе не будут заменяться новыми. Также плохая индексация из-за редиректов может произойти при использовании тега rel=“canonical” с прописанием для всех документов одной канонической страницы.

  • Ошибки с кодировкой

Чаще всего определение кодировки не является сложным для поисковиков, но бывают случаи, когда http-заголовки, мета-теги и контент написаны в разных кодировках. В результате – плохое качество контента.

Возникают и другие технические проблемы, влияющие на плохую индексацию. Но они встречаются редко и для их исправления необходима помощь специалиста.

Плохое качество отдельных страниц или разделов

Если сайт не имеет технических проблем, то он будет индексирован поисковиком. Сначала дается небольшая квота на количество проиндексированных страниц. Если ресурс имеет хорошее качество, то квота увеличивается, в индекс попадает больше страниц. Но когда можно говорить о плохом качестве документов?

  • Неуникальность контента

Если контент сайта повторяется с каким-либо другим, то поисковик не добавляет его в индекс, так как уже знает эту информацию.

  • Контент повторяется в разных разделах сайта

Это внутренние дубли контента, которые будут отнесены к дополнительному индексу. Для пользователей должна иметь ценность каждая страница ресурса.

  • Уникальный текст имеет объем менее 500 символов

Небольшой объем неуникального текста не дает возможность определить поисковику ценность контента. Поэтому страницы, имеющие объем менее 100 слов, редко индексируются.

  • Большое количество страниц

Страница в этом случае будет выдавать ошибку 404.

  • Невысокая скорость отдачи документов

Данный параметр не даст возможности роботу быстро индексировать ресурс. Здесь необходима оптимизация скорости загрузки страниц.

  • Страницы имеют уровень вложенности более 4-го.

От уровня вложенности страницы зависят ее вес и значимость для поиска.

Причины плохой индексации сайта могут быть и другими. Если вышеуказанные признаки не подходят вам, то рекомендуется обратиться в службу поддержки поисковика или обратиться к специалисту.

Похожие материалы:
  1. 15 советов по ускорению индексации сайта
  2. Как ускорить индексацию сайта
  3. Фильтры поисковой системы Google и их назначение
  4. Фильтры Яндекса и Google
  5. Ссылки, которые не любит Google
Email маркетинг
Заказать продающий Landing Page
Подпишитесь на еженедельную рассылку от SEOPlant
+38 (097) 812-05-14
+38 (063) 240-16-03
или
SEO раскрутка сайтов
+38 (097) 812-05-14
+38 (063) 240-16-03
Мы ВКонтакте
Мы в Twitter
Мы на Youtube
© Все права защищены
Мы в Facebook
SEO продвижение сайтов