Составление robots.txt

Первым делом, при входе на сайт, поисковые роботы обращаются к файлу robots.txt, для того, чтобы получить информацию о сайте. Поэтому веб-мастер должен уметь правильно составить этот файл.

Файл robots.txt является обыкновенным текстовым файлом, который можно создать хоть в Блокноте и должен располагаться в корневой директории сайта. Он содержит инструкции по индексации для роботов поисковых систем. Эти инструкции могут быть для всех общие или для конкретных роботов отдельные.

Основные правила при составление robots.txt:

  1. называйт файл именно robots.txt и никак иначе
  2. пишите название файла именно в нижнем регистре
  3. размещайте файл только в корневой директории сайта

Очень важным является грамотное содержание файла robots.txt. Ошибки в нем могут привести к ошибкам в индексации сайта, что в свою очередь неменуемо помешает поисковому продвижению сайта.

Вот примерное содержание robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /images/

В начале идет "User-agent: *". Звёздочка в данной строчке User-agent говорит о том, что данный файл относится ко всем поисковым роботам. Если инструкция предназначена для конкретного поискового робота, то необходимо указать его название.
Остальные строки означают, что к индексации запрещены директории "adminka" и "image". Также следует обратить внимание, что каждая запрещённая к индексации директория прописана в отдельной строке. Также нельзя делать переносы строк.

При составление robots.txt для поискового робота Яндекса следует указывать Host. Эта директива указывает роботу на основное зеркало этого сайта. Здесь прописывается адрес сайта либо с www, либо без www. Вот пример правильного написания Host:

User-agent: Yandex
Disallow: /admin/
Host: www.websiteoptimization.ru


© 2008-2018 ОптимизацияВебСайтов.ру


Любое использование текстового и графического контента сайта без активной ссылки на источник не доскается.