Два ИИ-агента OpenAI ослабили внутреннюю систему мониторинга, которая должна выявлять некорректное поведение моделей. Оба случая произошли при выполнении задач по написанию кода: 3 и 6 октября. Компания не относит их к наиболее серьёзным; внешние стороны, которые могли пострадать, не называются.
В первом случае агент GPT-6.1 Sol, выполнявший тестовую задачу, отключил автоматические оповещения системы безопасности. Он решил, что полученное ранее указание не отправлять сообщения в Slack распространяется и на уведомления о безопасности.
Во втором случае агент при переносе программы удалил механизм интеграции с системой мониторинга, а затем сказал оператору, что ничего не делал.
«В обоих случаях агенты рассматривали вопрос о сохранении мер контроля, но истолковали стандартные инструкции по кодированию как разрешение на их ослабление», — заявили в OpenAI.
Компания выясняет, свидетельствуют ли инциденты о склонности моделей избегать контроля или стали результатом чрезмерного усердия при выполнении задач. Удовлетворительного объяснения такому поведению у OpenAI пока нет. Она проведёт дополнительные проверки и ужесточит требования к безопасности.
