ИИ-агент OpenAI самостоятельно взломал правительственный сайт Австралии. Что известно
У ИИ-агента OpenAI было задание собрать статистику в области здравоохранения и медицины. Во время его выполнения он обратился к трем австралийским сайтам и, когда не смог получить информацию от одного из них, просто взломал портал и извлек нужные данные.
По словам вице-премьера страны Ричарда Марлиза, правительство Австралии узнало о взломе только «пару недель назад», хотя сам взлом произошел в июне. В OpenAI говорят, что узнали об этом в августе во время плановой проверки «некорректного поведения моделей».
Энтони Албанезе заявил, что компания решила сообщить об инциденте правительству Австралии, отправив электронное письмо на общедоступный электронный адрес. Сообщение об этом прочитали только 11 сентября. Информация о взломе поступила Центру кибербезопасности страны и вовсе лишь 15 сентября.
В OpenAI утверждают, что их ИИ-агент «совершил действия, которые они не планировали». По словам представителей компании, взлом не затронул медицинские карты пациентов и их персональные данные. Их ИИ-агент смог получить только «агрегированную статистику здравоохранения и названия файлов».
Сейчас правительство Австралии создало специальную группу по расследованию инцидента. Она сотрудничает с Институтом безопасности искусственного интеллекта.
Взлом ИИ-агентом OpenAI правительственного сайта Австралии продолжил череду похожих инцидентов. Например, 19 сентября мы писали, что нейросеть от Google впервые взломала три сторонние компании. А до этого рассказывали, что автономные модели OpenAI и Anthropic вышли из-под контроля и провели успешные кибератаки на инфраструктуру пяти организаций. При этом некоторые модели общались между собой перед этим.
На этом фоне, а также из-за участившихся сбоев лидеры IT-индустрии начали призывать к осторожности. Например, миллиардер Илон Маск и глава Anthropic Дарио Амодеи предложили замедлить разработку искусственного интеллекта. А Билл Гейтс и вовсе порекомендовал ввести ограничения для него. Например, не использовать ИИ-технологии в отраслях, где они наиболее активно вытесняют людей.