Новая SEO-директива robots.txt от Яндекса

Яндекс как всегда продолжает радовать оптимизаторов и продвиженцев, в очередной раз доказывая нам, что он открыт к сотрудничеству с оптимизаторами. На этот раз, введя SEO-директиву 'Clean-param' в robots.txt.
Директива служит для управления работой поисковика и указывает роботу, какие страницы с динамическими параметрами не следует индексировать.
Бот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию с сайта, что увеличит эффективность обхода сайта роботом, а также значительно снизится нагрузка на сервер.
Например, на вашем динамическом сайте есть страницы такого вида:

  • www.site.ru/some_directory/get_page.pl?ref=site_1&page_id=123
  • www.site.ru/some_directory/get_page.pl?ref=site_2&page_id=123
  • www.site.ru/some_directory/get_page.pl?ref=site_3&page_id=123

где параметр 'ref=' используется только для отслеживая источника перехода и не меняет содержимое страницы, по всем трем адресам отобразится одна и та же страница. Тогда, в robots.txt следует указать следующую строку:

  • Clean-param: ref /some_directory/get_page.pl

вот так:

User-agent: Yandex
Disallow:
Clean-param: ref /some_directory/get_page.pl

Тогда робот Яндекса сведет все адреса страницы к одному адресу:

  • www.site.ru/some_directory/get_page.pl?ref=site_1&page_id=123,

и будет чаще обходить другие страницы вашего сайта, так как нет необходимости обновлять дублирующиеся страницы.

Синтаксис использования директивы:

  • Clean-param: p0[&p1&p2&..&pn] [path]

В первом поле через '&' перечисляются параметры, которые нужно не учитывать. Во втором поле указывается префикс пути страниц, для которых нужно применить правило.

Уже был даже проведен опрос нескольких ведущих SEO-специалистов по поводу пользы новой директивы robots.txt для Яндекса, и все они в конечном счете единодушно сошлись во мнении, что польза новой SEO-директивы не вызывает сомнений для очень многих динамических сайтов, ведь теперь вебмастера смогут почистить форумы от ненужных страниц в индексе и сократить число проиндексированных дублированных страниц, оставляя только самые релевантные и важные, что ускоряет не только работу самого поискового робота но и улучшает индексацию остальных страниц сайта.


© 2008-2018 ОптимизацияВебСайтов.ру


Любое использование текстового и графического контента сайта без активной ссылки на источник не доскается.