индексацияСреди западных SEO-специалистов развернулась бурная дискуссия по поводу того, может ли быть индексирован URL, когда страница закрыта файлом robots.txt либо noindex. Барр Шварц, редактор Search Engine Roundtable, говорит, что у множества SEO-специалистов могут быть самые разные точки зрения на этот счет. Причиной этому стало частое появление в выдаче Google ссылок на ресурсы, доступ к которым для поисковых роботов ограничен. Можно ли в таком случае считать URL проиндексированным?

Мнения западных специалистов на этот счет разделились:

•    Andy Beard: подобная Google-терминология означает всего обращение к странице.
•    Ann Smarty: индексация страницы может быть осуществлена без посещения ее роботом.
•    Andy Beard: страница должна быть посещена роботом перед индексацией. Индексация и есть переходом по ссылке.
•    Ann Smarty: индексация обозначает появление в выдаче. Посещение роботом равнозначно прохождению через определенную страницу.
•    Rishi Lakhani: «обнаружение» способно ограничивать возможности для показа URL. Посещение роботом несколько отличается от индексации.

Мэтт Каттс еще в 2009 году отмечал, что Google не стремится обойти закрытую страницу в том случае, когда информация о ней есть в каталогах либо на нее ссылаются иные ресурсы. В таких случаях поисковиком берется ссылка, но индексация самой страницы не происходит, хоть и не исключено ее попадание в выдачу. Для того, чтобы страницы не отображались в SERP, следует применять noindex, рассказывает Мэтт.

Похожие записи:

  1. Цена SEO-специалистов
  2. Что лучше использовать в Url сайтах: тире или же подчеркивание?
  3. Доверие для Google – что это? Мэтт Каттс дает ответ
  4. Аренда seo-специалистов в Великобритании
  5. Сайт под санкцией Google – что делать?
  6. К услугам сео-специалистов представлен сервис AllPositions
  7. Рейтинг западных поисковых систем
  8. Google: улучшение поиска или пропуск ГС?
  9. О влиянии HTTPS на позиции ресурса рассказывает Мэтт Каттс
  10. Мэтт Каттс о «Безопасном поиске»