Применяемые ограничения для ботов
С целью снижения нагрузки на сервера шаред-хостинга, на них применяются ряд ограничений, ко всем тарифным планам (включая Free и Free+).
Данные ограничения не касаются услуг VDS и выделенных серверов.
Боты Яндекс, Mail.RU, Yahoo, GoogleBot, BingBot : скорость запросов не более 2 запросов в секунду
Список замедляемых ботов (не более 1 запроса в секунду): mj12bot, ahrefs, SemrushBot, AdsBot, LinkpadBot, facebookexternalhit, Miralinks, meta-externalagent
Список заблокированных ботов (но не ограничивающийся этим списком): openai, gptbot, megaindex, keys-so-bot и многие другие.
Блокируемые сети: AMAZON-AES, AMAZON-02, Biterika, а также сети популярных хостинг-провайдеров и сети, откуда исходит большое число паразитного трафика
При необходимости, в индивидуальном порядке, имеется возможность разблокировки бота для конкретного сайта или услуги, а также ускорение ботов яндекса, при условии, что данные манипуляции не приведут к повышенной нагрузке на аккаунт.