OpenAI приостановила обучение самых продвинутых моделей из-за новых проблем с безопасностью

Инцидент случился еще 20 сентября, но лишь 25 сентября OpenAI рассказала о нем в отчете компании.

В итоге стало известно, что ИИ-агент пытался выполнить задание, связанное с поиском информации о человеке по подсказкам. После того как встроенный поисковый инструмент не дал результата, модель начала искать альтернативные способы доступа к информации. Прямой выход в интернет был заблокирован, но модель использовала лазейку в настройках DNS-сервера для передачи запроса стороннему чат-боту и получения ответа, хотя подобный способ работы не был предусмотрен разработчиками. Всего ИИ-агент направил более 20 запросов.

В отчете сказано, что внутренняя система обнаружила подозрительную активность только через 12 минут после получения первого ответа. Еще через три минуты сотрудник подтвердил оповещение. После этого процесс обучения должен был остановиться автоматически, но этого не произошло. В итоге процесс остановили вручную через два с половиной часа.

Сейчас на фоне этого происшествия OpenAI приостановила обучение, оценку и запуск своих наиболее продвинутых моделей в режимах, которые предполагают использование внешних инструментов. Компания намерена возобновить их, когда устранит обнаруженные уязвимости и дополнительно проверит защиту.

Недавно власти Австралии заявили, что ИИ-агент OpenAI смог взломать сайт государственной службы медстрахования. А ранее автономные модели OpenAI и Anthropic вышли из-под контроля и провели успешные кибератаки на инфраструктуру пяти организаций. При этом некоторые модели общались между собой перед этим. Также на днях мы писали, что нейросеть от Google впервые взломала три сторонние компании.

Из-за участившихся сбоев лидеры IT-индустрии начали призывать к осторожности. Например, миллиардер Илон Маск и глава Anthropic Дарио Амодеи предложили замедлить разработку искусственного интеллекта. А Билл Гейтс и вовсе порекомендовал ввести ограничения для него.