Ботов в сети стало больше, чем людей

Москва, 21.01.2014
Согласно исследованию, мировой интернет трафик более чем наполовину обеспечивается роботами. Продолжение галопирующего роста бот-активности может вскоре привести к дезориентации пользователей интернета

supportdirect.ca

Очередные исследования компании Incapsula показали, что количество трафика, генерируемого интернет-роботами (ботами), по сравнению с прошлым годом выросло до 61,5% с 49% годом ранее. Это означает, что все больше контента с сети создается не людьми, а веб-автоматами. Специалисты считают, что пока большого вреда от этого нет, но темпы роста уже заставляют задуматься о возможных последствиях. К инфраструктурным издержкам провайдеров это не приведет, поскольку «мертвые» сайты удаляются серверов, а за действующие, так же как и трафик ботов, платят те, кто их генерируют. Другое дело, что боты все чаще становятся инструментом для причинения вреда сайтам конкурентов, что возможно потребует и дополнительного законодательного регулирования. Кроме того, дальнейшее размножение и увеличение активности ботов может превратить интернет в эрзац-сеть, захламленную клонированным не обновляемым контентом, дезориентирующим пользователя.

О пользе…

За год активность интернет ботов выросла с 20% до 31%. Главным образом это связано с совершенствованием и углублением поисковых программ и развитием технологий SEO-оптимизации, которыми пользуются все больше владельцев сайтов.

«Мы часто фиксируем активизацию новых SEO-сервисов, которые индексируют сайты с активностью 30-50 посещений в день», - говорится в отчете компании Incapsula.

«Основная доля роста связана с увеличением трафика поисковых систем, индексирующих другие сайты. Поисковые системы не вредят пользователям, а рост этого трафика компенсируется постоянными инвестициями поисковых компаний в развитие собственной сетевой инфраструктуры и их связности с провайдерами», - пояснил «Эксперт Online» Владимир Иванов, заместитель руководителя департамента эксплуатации компании «Яндекс».
 
Исследование длилось 90 дней, в течение которых компания зафиксировала 1,45 млрд посещений ботов на более чем 20 тысячах сайтов. В итоге по сравнению с прошлогодним исследованием была установлена возросшая роль именно безобидных ботов, которые стали на 55% более активны. В основном это программы, которые индексируют контент для его автоматического воспроизводства, но чаще – для последующего анализа специалистами или архивации.  

«Рост числа ботов связан с несколькими причинами. Во-первых, выросло число сайтов, нацеленных на анализ контента или его копирайт, в том числе анализ поведения и предпочтения пользователей, - сообщил «Эксперт Online» Сергей Голованов, ведущий антивирусный эксперт «Лаборатории Касперского».  - Во-вторых, это связано с совершенствованием ботов от поисковиков, которые глубже анализируют контент. И это положительная тенденция, поскольку  позволяет пользователю быстрее находить нужный ему и актуальный контент. Некоторые сайты могут аккумулировать у себя множество собранной информации, структурировать ее, экономя время пользователей».

Как поясняют в пресс-службе «Яндекса, визит поисковых роботов дает меньшую нагрузку на сайт, чем обычное посещение пользователя (прямое открытие страницы в браузере требует загрузки с сервера CSS, JavaScript и всех картинок). Кроме того, «Яндекс» поддерживает директиву crawl delay в robots.txt, с помощью которой вебмастер может задать приемлемое количество запросов к серверу в секунду со стороны поискового робота.
Сергей Комаров, руководитель отдела антивирусных разработок и исследований «Доктор Веб» считает, что увеличение бот-трафика связано большей частью с развитием в сети сферы услуг.

«Увеличение числа и трафика не вредоносных ботов говорит о том, что в интернет, как и в реальной жизни, в странах, культивирующих общество потребления, на первый план выходит сфера обслуживания, деятельность, приносящая доход без производства. То есть, это совершенно естественные тенденции. И ужасаться не следует, если вы не философ или социолог», - считает эксперт.  

 

…И вреде

 

Согласно исследованию, активность вредоносных ботов сократилась. Программы, распространяющие спам за год стали менее активны на 75%. Но не факт, что это полностью положительная тенденция:
«Уменьшение спама связано с тем, что многие его генераторы попросту осваивают новые, более цивилизованные способы продвижения рекламы, большей частью – мигрируют в социальные сети, - говорит Сергей Голованов. - И это вызывает у нас серьезную озабоченность: социальные сети как стена: нам не видно, что за ней происходит, то есть какой зараженный контент пользователи друг другу передают. Соответственно, трудно проанализировать,  насколько далеко все это может зайти и к каким последствиям приведет».     

В среднем же активность «вредоносных» ботов выросла на 8%. Их доля в общем объеме трафика составляет 30%. В основном это те же спам-боты, хакерские программы, сканеры портов, ворующие информацию и персональные данные пользователей. При этом в  Incapsula отмечают, что криминальные и просто нелегальные боты стали более сегментированы: одни воруют информацию, другие распространяют вирусы и так далее.

«Мы видим два основных негативных влияния нелегальных ботов - это создание повышенной нагрузки на веб-сайт, - поделился с «Эксперт Online» Александр Рожнов, директор по интернет-бизнесу компании «Белый Ветер». - Вторая немаловажная проблема - это воровство контента с сайта. Например, такие боты могут достаточно быстро создавать клоны вашего сайта. Это приводит к тому, что поисковая система может понизить ваш сайт в органической выдаче, за счет чего уменьшается количество переходов с поисковых систем».

Вредоносные программы продолжают оставаться проблемой для многих пользователей, особенно для владельцев сайтов, построенных на готовых движках. Таковые более уязвимы, поэтому хакеры продолжают с помощью вредоносных программ устраивать через них DDos-атаки, что усложняет работу и владельцам сайтов, и провайдерам, у которых забиваются каналы связи.

«Такие атаки  с помощью вредоносных ботов затрудняют доступ к другим сайтам, так или иначе связанным с атакуемым. Поэтому провайдеры, не имеющие мощных  фильтров, нередко теряют клиентов, - говорит Сергей Голованов. - Вредоносные боты «цепляют» и на баннерную сеть, используемую и крупными информационными порталами. Это чаще всего делают хакеры для поиска компьютеров,  через которые происходят контакты с банками – для последующего их взлома. Поэтому многие компании стараются отслеживать зараженные баннерные сети и блокируют их, что опять же создает проблемы владельцам сайтов и их пользователям. Не думаю, что эта тенденция снизится».  

Руководитель пресс-службы группы компаний «Связной» Мария Заикина уверена, что не только криминальные программы, но и просто нелегальные боты будут и впредь представлять опасность, особенно для интернет-бизнеса:
«Если же говорить о нелегальных ботах, собирающих информацию или создающих неблагоприятные условия для работы сайта, то рост трафика от них может привести к негативным последствиям для любого онлайн-ресурса, в том числе и для интернет-магазинов. Сайт станет медленнее работать (что отразится на итоговой посещаемости), владельцы ресурса будут получать некорректную статистику, на основании которой строятся продвижение и дальнейшая стратегия развития сайта. Следовательно, будут искажаться выводы об активности пользователей. Рост количества нелегальных ботов может также привести к накрутке статистики различных ресурсов с выводом их на более высокие строчки поисковиков. Результатом действий нелегальных ботов может стать неработающий сайт со всеми вытекающими для бизнеса последствиями», - прогнозирует Мария Заикина.

По ее мнению, такая тенденция может потребовать уточнений или изменений в действующих законах, относящихся к веб-пространству.

Но есть и иное мнение:
«Я не считаю, что ситуация со зловредными бот-сетями сейчас критическая, - говорит Владимир Иванов. - Безусловно, таких сетей немало, и некоторые из них очень велики и могут насчитывать сотни тысяч или миллионы зараженных компьютеров. Но в этом нет ничего нового: такие сети существуют уже несколько лет, и то же исследование показывает, что в последнее время заметна тенденция снижения некоторых видов зловредного трафика. Скорее всего, с переходом пользователей на более защищенные платформы, чем ранние версии Windows (для которых в связи с прекращением срока поддержки перестали выходить исправления ошибок безопасности), эта тенденция к снижению части зловредного трафика будет продолжаться». 

Будущее за клонами?

 

Пока что большинство экспертов видят все предпосылки к тому, что доля «неживого» трафика будет расти с каждым годом:
«С развитием "интернета вещей" логично ожидать продолжения роста доли трафика, создаваемого не людьми, а автоматизированными системами. Это естественный и закономерный процесс», - говорит Владимир Иванов. 

С этим трендом некоторые связывают и усиление уже существующих угроз. Например, генерация заказов  в интернет-магазинах может стать орудием в руках конкурентов для того, чтобы «завалить сайт».

«Мы прогнозируем, что доля трафика, который производят боты, будет увеличиваться в дальнейшем, - говорит Мария Заикина. - Причем имеется в виду как трафик, генерируемый поисковиками, так и не совсем легальный. Для разработчиков поисковых систем существует необходимость увеличивать частоту обновления информации, поэтому они будут наращивать долю трафика со своей стороны.  Но найдутся и те, кто будет генерировать нелегальный интернет-трафик, причем здесь могут появляться  все более «умные» боты, которые будут выполнять не только ряд простейших действий с сайтом (зайти-считать-передать информацию с сайта), но и выбирать товар по определенным критериям и делать заказы».

К менее очевидным, но не менее неприятным последствиям может привести и рост  доли безобидного трафика:
«Если число не вредоносных ботов будет увеличиваться в дальнейшем, значит, будет больше «бездумных» копий контента в интернете, - считает Сергей Голованов. - В итоге интернет будет захламлен клонами контента, что, конечно же, пользователям только навредит: в сети будет много не обновляемой или искаженной информации.  Увеличение бот-активности в дальнейшем будет создавать неудобства только пользователям и владельцам сайтов, поскольку придется все больше уделять внимания системам защиты. Провайдеры от увеличения трафика в сети только выиграют, поскольку он оплачивается самим генераторами ботов. Брошенные сайты снимаются с хостинга, поэтому основное неудобство будет только от поддерживаемого владельцами «клонируемого» контента, актуальность которого трудно проверить или найти первоисточник. Так что к инфраструктурным рискам засилье ботов не приведет, только к пользовательским».
 
Справка:
 
Как боты и люди «поделили» между собой трафик веб-сайтов (согласно отчету Incapsula от 2013 года):
- 4,5% - хакерские утилиты поп поиску уязвимостей;
- 5% - программы-скраперы (сбор различной информации с веб-сайта);
- 0,5% - автоматизированные сообщения, содержащие спам;
- 20,5 – прочие подражатели (копирование контента, шпионские программы конкурентов)
- 31% - безобидный трафик, генерируемый поисковыми системами и SEO-оптимизаторами;
- 38,5% - трафик, который генерируется пользователями.

Новости партнеров




Масло выведут «под арбитраж»

Пока власти определяются со сроками введения нового норматива для растительных масел, крупные масложировые холдинги в срочном порядке изыскивают средства на модернизацию. Путь, который ЕС проходил в течении 14 лет, российский бизнес должен пройти максимум за пять лет

«Эксперт Северо-Запад» начал прием заявок на премию «Эксперт года-2020» 18+

Станьте экспертом года в одной из 20 отраслевых номинаций. Подайте заявку на бизнес-проект, общественную или культурную инициативу — и получите признание делового сообщества. Совет премии по доброй традиции возглавил Михаил Пиотровский

РСХБ удвоил поддержку птицеводов-экспортеров

В прошлом году Россельхозбанк выдал экспортерам мяса птицы около 56 млрд рублей, это более чем вдвое превышает показатели 2018 года

«В гонке онлайн-банков мы догнали лидеров»

Председатель совета директоров СКБ-банка Александр Пумпянский — об оптимальной доле онлайн-операций, затратах на онлайн-банкинг и будущем цифрового банкинга
Новости партнеров

Tоп

  1. Вирус бедности: что предстоит лечить правительству
    Нынешний кризис от предыдущих отличается тем, что источники шоков — не экономические. Ключевую роль в нынешней ситуации, в отличие от того, что происходило в 2008 или 2014 году, играет социальная составляющая
  2. У меня уже был коронавирус? Как узнать и что делать?
    Симптомы Covid-19 разнообразны, и медленный подсчет зараженных во многих странах невольно наталкивает на мысль, что многие, возможно, уже переболели коронавирусом, даже не зная об этом
  3. Чудеса устойчивости
    Ситуация на финансовых рынках мира постепенно стабилизировалась. Мировые индексы оттолкнулись от дна и начали восстанавливаться, хотя волатильность остается высокой, и рост сменяется падением. Тем не менее, никаких признаков паники уже нет, и особенно на этом фоне относительной стабильностью выделяется российский рынок
Реклама