ЯндексЯндекс внедряет новые правила обработки файла robots.txt поисковым роботом директивы allow. Директивами будет выполняться сортировка по длине префикса URL (от минимального к максимальному) и последовательное применение.

Конкретная обработка в настоящий момент происходит с использованием этой директивы с учетом порядка: при подходящих для страницы сайта нескольких директивах, выбор останавливается на первой в очереди появления в избранном User-agent блоке.

Обновленные правила обработки директив от Яндекс соответствуют общепризнанным международным принципам.  Российские и зарубежные бебмастера будут избавлены от трудностей в процессе составления файла robots.txt для различных поисковых систем.

Подобные изменения, очевидно, происходят в связи с выходом «Яндекс» на иностранные поисковые рынки. Запуск портала в Турции, по мнению многочисленных экспертов, стал только началом.

Похожие записи:

  1. Robot.txt не стал помехой для Google +1
  2. Новые правила приема заявок в AdSense
  3. «Яндекс» намерен распознавать личные данные
  4. Яндексом брошен вызов
  5. Накрутка поведенческих факторов приравнена «Яндексом» к поисковому спаму
  6. CMS, которая создана для SEO
  7. Яндексом названы самые уязвимые CMS
  8. Поисковая платформа «Рейкьявик» запущена Яндексом
  9. Как правильно оптимизировать изображения для поисковиков
  10. Правила эффективного баннера