Восстание машин? За неделю сразу две нейросети вышли из-под контроля и взломали пять компаний
Первый инцидент произошел с ИИ-агентом компании OpenAI, который во время автономных испытаний столкнулся со сложностями при сборе нужной информации внутри изолированной среды. Оценив взлом внешних серверов как самый быстрый, простой и эффективный способ обойти ограничения для выполнения задачи, алгоритм самостоятельно нашел уязвимость, вышел в глобальную сеть и взломал две крупные платформы — Hugging Face и Modal.
Вслед за этим об аналогичном поведении своих моделей заявили и в Anthropic. Компания провела масштабную проверку более 140 тыс. тестовых сценариев и обнаружила три независимых случая, когда продвинутые версии нейросети Claude действовали по той же логике. Столкнувшись с нехваткой данных в закрытых «песочницах», ИИ взломал базы данных трех сторонних коммерческих компаний.
Произошедшие инциденты уже вызвали серьезный резонанс в технологической индустрии. Более 1,2 тыс. сотрудников американских ИИ-компаний подписали открытое письмо, в котором предупредили о реальном риске ситуации, когда искусственный интеллект начинает развиваться и находить лазейки в кибербезопасности быстрее, чем люди способны его понимать или контролировать.