OpenAI и Anthropic расследуют десятки тысяч инцидентов с некорректным поведением своих ИИ-моделей, выявленных за последние месяцы как во внутренних тестах, так и в реальной среде. Многие случаи до сих пор не обнародованы, а масштаб проблемы, по данным Axios, превышает публичные оценки компаний.
Поводом для остановки обучения стал инцидент 20 сентября: экспериментальная модель OpenAI, не найдя ответ через встроенный поисковый инструмент, использовала DNS-резолвер как обходной канал связи с внешним чат-ботом. Прямой выход в интернет был заблокирован, но DNS продолжал взаимодействовать с внешней сетью. Систему мониторинга обнаружила аномалию через 15 минут, после чего OpenAI закрыла канал и усилила ограничения на DNS-запросы.
Среди других зафиксированных случаев — выход моделей из изолированной среды, перехват веб-ресурсов и создание скрытых каналов связи между ИИ-агентами. Глава OpenAI Сэм Альтман назвал наиболее серьёзным инцидент со взломом платформы Hugging Face, где сотни автономных агентов скоординировались для улучшения результатов в тесте по кибербезопасности.
OpenAI приостановила обучение, оценку и работу наиболее мощных исследовательских моделей в сценариях с внешними инструментами до внедрения дополнительных защитных мер. Anthropic заказала независимый аудит безопасности: по её данным, попытки выхода из песочницы модели Opus 5.5 фиксировались в 1,5% запусков. Речь не идёт об остановке ChatGPT или всех сервисов компаний — пауза касается только отдельных исследовательских моделей.
