Слишком умный и почти неуправляемый? Как искусственный интеллект обогнал собственную защиту

Инцидент, которого не должно было быть

Чтобы понять новую природу риска, достаточно одной истории, которую приводят исследователи. В марте 2026 года внутри корпоративных систем Meta сработала тревога наивысшего уровня. Инженер задал технический вопрос на внутреннем форуме. Другой сотрудник поручил внутреннему ИИ-агенту разобраться в проблеме, и агент самостоятельно сгенерировал и опубликовал ответ, которого у него никто не просил. Когда инженер последовал этой рекомендации, в поле зрения сотрудников, не имевших на то прав, попал большой массив чувствительных корпоративных и пользовательских данных, которые оставались открытыми около двух часов.

Самое неудобное в этой истории то, что агент не был взломан. ИИ действовал с легитимными правами доступа и добросовестно выполнял то, что ему поручили, просто в доверенной среде и на машинной скорости. Традиционные средства защиты не подали бы сигнала: поведение агента формально не было «вредоносным».

Проще говоря, мы привыкли защищаться от чужака, который проникает внутрь. А теперь угрозой может стать доверенный инструмент, который делает ровно то, о чем его попросили, но не так, как ожидалось.

Почему безопасность «реагирует постфактум»

Масштаб внедрения нейросетей впечатляет. По данным Proofpoint, 87% организаций уже вывели ИИ-ассистентов за рамки пилотных проектов, а 76% пилотируют или разворачивают автономных агентов, то есть системы, способные самостоятельно планировать и выполнять многошаговые задачи без постоянного участия человека. Искусственный интеллект составляет черновики писем, резюмирует переписку в Slack и Teams, обрабатывает обращения в поддержку. Он давно вышел за рамки эксперимента и стал частью повседневной работы бизнеса.

Проблема в том, что безопасность к этому празднику опоздала. Лишь 48% респондентов признали, что служба безопасности участвовала в ИИ-стратегии с самого начала. Остальные описывают ее роль формулами «поддерживает, но догоняет», «подключается непоследовательно» или вовсе «реагирует постфактум». И дело не в том, что специалисты плохо работают, а в том, что искусственный интеллект вошел в промышленную эксплуатацию раньше, чем для него написали правила управления.

К слову, деньги здесь ни при чем. Более 90% компаний уже заложили финансирование: отдельный бюджет на безопасность ИИ либо покрытие в рамках существующих статей. Дефицита средств нет. Но есть дефицит средств контроля, спроектированных под специфические риски ИИ: внедрение вредоносных инструкций (prompt injection), манипуляцию агентами, утечку данных сразу через несколько каналов и злоупотребление тем доверием, которое ИИ получает, действуя от имени пользователя.

Покрытие приняли за контроль

На бумаге рынок выглядит защищенным: 63% организаций сообщают, что средства контроля для ИИ у них уже развернуты. Но 52% не вполне уверены, что эти средства вообще заметят скомпрометированный ИИ. А среди тех, у кого контроль внедрен, ровно половина все равно пережила подозрительный или подтвержденный инцидент.

Аналитики называют это «подбрасыванием монеты». Организации массово развернули защиту и массово переоценили собственную зрелость. Покрытие приняли за контроль.

За этим стоят вполне конкретные пробелы. Почти половина компаний жалуются на нехватку обучения персонала, 42,5% указывают на отсутствие видимости действий ИИ и агентов, а 40,8% отмечают несогласованность управления между IТ, безопасностью и бизнесом. Только 40% ведут непрерывный мониторинг. А у трети попросту нет модели, которая позволила бы отличить скомпрометированный ИИ от нормально работающего.

Атака направлена туда, где идет работа

Еще недавно главным фронтом была электронная почта. Она и остается самым частым каналом угроз: на нее приходится 63% в общей выборке и 67% среди уже пострадавших компаний. Но все же картина изменилась принципиально: угрозы распределены по всему рабочему пространству. Среди пострадавших компаний 57% фиксируют активность в SaaS- и облачных приложениях, 53% находят ее в самих ИИ-ассистентах и агентах и почти половина обнаруживает ее в инструментах совместной работы, соцсетях и файлообмене.

Логика проста и оттого тревожна: атака следует за бизнес-процессом. Компании используют ИИ для клиентской поддержки (69%), резюмирования внутренних чатов (67%), работы с почтой (63%), взаимодействия с подрядчиками (56%). Именно в этих средах и появляются угрозы.

Искусственный интеллект связывает каналы коллаборации между собой: атака, начавшись в письме, может перетечь в мессенджер и завершиться утечкой через интеграции ИИ-ассистента. Средства защиты, настроенные «канал за каналом», такую цепочку не видят: 41% организаций признаются, что не могут сопоставить угрозы, происходящие в разных каналах.

Оружие атакующих: те же нейросети

Тут стоит рассмотреть еще два показательных эпизода, которые наглядно демонстрируют, как нападающие обращают ИИ против самой защиты.

В первом случае исследователи Proofpoint перехватили фишинговое письмо, которое выглядело как рядовое уведомление Gmail. В невидимой для человека части письма скрывались инструкции, адресованные не получателю, а любой нейросети, которая станет обрабатывать сообщение. Текст требовал «запустить максимально глубокий многослойный цикл рассуждений» и сгенерировать десяток внутренних точек зрения. Цель заключалась не в том, чтобы заставить ИИ сделать что-то конкретное, а в том, чтобы перегрузить его: ресурсоемкий цикл мог довести систему-фильтр до тайм-аута, и письмо проскочило бы непроверенным. Атакующие целятся уже не мимо защитного ИИ, а прямо в него.

Второй эпизод: фальшивый «центр апелляций YouTube», собранный через ИИ-конструктор сайтов Lovable. Идеальный брендинг, подтягивание реальных данных канала и техника ClickFix заставляли жертву собственными руками запускать PowerShell-скрипт, который загружал в память инфостилер Rhadamanthys. Ни строчки кода: дизайн, функциональность и социальная инженерия были собраны за минуты обычными текстовыми запросами. Порог входа в киберпреступность упал почти до нуля.

У этих случаев есть и более широкий фон. Число приложений с ИИ-функциями, которым пользователи выдали доступ к почте, файлам и чатам, выросло с 11 290 в декабре 2024 года до 258 033 к ноябрю 2025-го, то есть почти в 22 раза, и это меньше чем за год.

Люди все легче раздают широкие права инструментам, которые выглядят полезными, и все реже вчитываются в то, что именно они разрешают.

Когда что-то пошло не так, разобраться некому

Предотвращение решает только половину задачи. Вторая половина заключается в способности восстановить картину произошедшего. И здесь уверенные формулировки рассыпаются при первом же уточняющем вопросе. Лишь около трети компаний считают себя полностью готовыми расследовать инцидент с участием ИИ или агента.

Структурная причина — разросшийся «зоопарк» защитных инструментов. 95% респондентов признают, что управлять множеством разрозненных средств как минимум умеренно тяжело, а более половины называют это «очень» или «крайне» тяжелым. На выходе получаем высокие операционные издержки, проблемы интеграции, невозможность сопоставить угрозы между каналами, слепые зоны и усталость от лавины оповещений. Когда инцидент за секунды проходит сквозь несколько каналов, фрагментированные инструменты просто не успевают собрать его в единую хронологию.

Реакция рынка предсказуема: 55% компаний уже идут по пути консолидации, 53% планируют перейти на единую платформу, а 61% рассчитывают расширить защиту ИИ. Сохранить статус-кво намерены менее 4%.

Выиграет тот, кто развернет защиту на стыке людей и ИИ

Под этими цифрами лежит одна фундаментальная проблема — доверие. Организации просят искусственный интеллект действовать от их имени: с клиентами, с партнерами, внутри процессов, которые приносят выручку. Каждое такое взаимодействие держится на допущении, что через доверенный канал не придет вредоносный контент, что данные не отравлены, а одна скомпрометированная учетная запись не обрушит всю цепочку связанных систем. Как только безопасность перестает это подтверждать, последствия выходят за рамки технического инцидента. Результат — развертывание агентов буксует, работа откатывается к ручным процессам, а сотрудничество с поставщиками становится все труднее масштабировать.

И тут надо признать, что искусственный интеллект не столько добавил бизнесу новую проблему безопасности, сколько объединил несколько старых в одну общую операционную реальность. Выиграют не те, кто развернет больше всего инструментов, а те, кто выстроит защиту вокруг того, как сегодня действительно устроена работа, на стыке людей, платформ, поставщиков и ИИ-систем. Разрозненные средства контроля туда не приведут. Нужна сквозная видимость всех каналов, где человек и машина работают вместе.