правильный robots.txt для сайта


файл robots.txt


Наличие на сайте правильно составленного robots.txt служит гарантией правильной индексации сайта поисковыми системами

Управлять индексацией сайта можно с помощью двух основных инструментов: это файл robots.txt, который поможет Вам запретить индексировать то, что не содержит основного контента (файлы движка и дубли контента) и файл карты сайта sitemap.

У проектов, созданных на основе какого-либо движка (Joomla, WordPress, SMF и др.), имеется множество вспомогательных объектов, не несущих никакой информативной нагрузки. Если не запретить индексацию всего этого мусора, то время, отведенное поисковиками на индексацию Вашего сайта, будет тратиться на перебор файлов движка (на предмет поиска в них информационной составляющей, т.е. контента). В большинстве CMS контент хранится не в файлах, а в базе данных, к которой поисковым ботам никак не добраться. Полазив по мусорным объектам движка, бот может исчерпать отпущенное ему время и уйти.

Используя доступные в robots директивы (указания для поисковых роботов) Вы можете разрешать и запрещать к индексированию любые страницы, разделы и даже весь сайт. Основными директивами файла robots.txt являются:

  • имя робота которому дается указание: User-agent
  • запрещающая индексирование директива: Disallow
  • указание расположения карты сайта: sitemap
  • для робота Yandex есть специальная директива указывающая основное зеркало сайта: Host

Запрет на индексацию определенных страниц сайта можно устанавливать как для всех роботов сразу, так и для каждого в отдельности или выборочно.

Если у Вас нет файла robots.txt, мы поможем Вам создать этот файл.


заказать файл robots.txt


Реклама на сайте