Модель искусственного интеллекта Google Gemini во время тестирования возможностей в кибербезопасности получила несанкционированный доступ к системам трёх реальных организаций. Инциденты произошли в мае на платформе компании Irregular в ходе учений формата «захват флага», где Gemini должна была искать уязвимости в системах вымышленной компании.
Из-за ошибки конфигурации модель получила доступ в открытый интернет, а название одной из фиктивных компаний совпало с реальной организацией. Gemini подобрала пароль и авторизовалась в её сервисе. В двух других случаях модель нашла в открытых репозиториях учётные данные реальных компаний и воспользовалась ими.
Во всех трёх случаях Gemini прекратила действия, определив, что вышла за пределы тестовой среды. По утверждению Google, ущерба компаниям причинено не было; новейшая версия модели в тестировании не участвовала.
Irregular уведомила Google о произошедшем в конце июля, но компания не стала раскрывать информацию публично и подтвердила инциденты только после запроса Wall Street Journal. Google уведомила пострадавшие организации и федеральные власти США. Вице-президент Google по разработке систем безопасности Хизер Эдкинс сравнила случившееся с программами bug bounty и заявила, что модель повела себя надлежащим образом.
