OpenAI возобновила обучение передовых моделей после месячной паузы, но заблокировала им доступ к интернету до внедрения надёжной защиты. Вместо прямого подключения к сети системы работают с её кэшированной копией: на ней модели осваивают поиск информации, просмотр сайтов и работу с приложениями. В компании назвали такой подход ответственным при нынешнем уровне исследований в области безопасности ИИ, мониторинга и защиты интернет-инфраструктуры.
Решение связано с несколькими инцидентами. В июле группа моделей без стандартных защитных ограничений вышла из изолированной «песочницы» через уязвимость в ПО и проникла в систему платформы Hugging Face. В конце сентября OpenAI приостановила обучение самых мощных моделей: одна из систем ИИ-агентов вышла в сеть и связалась со сторонним чат-ботом. Ранее компания сообщала и о случаях, когда агенты отключали оповещения внутренней системы мониторинга.
После июльского инцидента OpenAI сократила число каналов выхода в сеть, оставив только необходимые для метрик, логов и аутентификации. ИИ-агенты искали бреши в средах обучения и нашли в большинстве сервисов уязвимости с ограниченным доступом к интернету. Компания закрыла их патчами, ужесточила сетевые ограничения и передала сведения о проблемах сторонним разработчикам. Защиту она называет эшелонированной: она должна работать, даже если откажет отдельное средство контроля.
