Система или пользователь, запрашивающая страницы вашего сайта, отправляет своё название. Название передается в поле HTTP протокола USER-AGENT.

Пример поля USER-AGENT:

Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.1; .NET CLR 3.0.04506.30)

Если вам пришело указание от ЦМУ ССОП, смотрите готовые списки ботов тут - Category:ЦМУ ССОП. Для целей исполнения этих указаний лучше конфигурировать с помощью файлов, ссылки в статье со списком ботов.

[править] На веб-сервере Apache

В случае, если вы хотите запретить определенным категориям пользователей или служб доступ к сайту, вы можете написать здесь части строк, которые, в случае совпадения с полями USER-AGENT, будут отклоняться сервером. Это имеет смысл для запрета доступа к сайту поисковым роботам, так как они могут создавать нежелательную высокую нагрузку на сервер.

Пример полей USER-AGENT для популярных поисковых машин можно найти в этой статье:

• Блокировка поисковых роботов скриптом

Пример для запрета доступа поисковым машинам Yandex и Mail.ru:

yandex
mail.ru

[править] На веб-сервере IIS / .NET

Средствами кабинета способов блокировать нет. Посмотрите статью "Блокировка по заголовку User-Agent через конфиг внутри сайта".

[править] Смотрите также

• Блокировка по заголовку User-Agent через конфиг внутри сайта
• Перегрузка поисковыми машинами
• Category:ЦМУ ССОП

Мы всегда готовы ответить на ваши вопросы!   Любые вопросы и поддержка - support@1gb.ru все способы связи и решения проблем