Изменение содержимого файла robots.txt

2.2.5  Изменение содержимого файла robots.txt
 

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле Вы можете указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Описание инструкций файла robots.txt для популярных поисковых систем находится по следующим интернет-адресам:

• Яндекс http://help.yandex.ru/webmaster/?id=996567
• Google http://www.google.com/support/webmasters/bin/answer.py? hl=ru&answer=156449

Для установки содержимого файла robots.txt откройте диалог настроек сайта и перейдите на вкладку «Доп. настройки» (рисунок 2.8). Введите содержимое файла в поле robots.txt.