Анализ проблемы самовторжения в модель искусственного интеллекта OpenAI под названием "Обнимающее лицо" и феномена "взлома вознаграждений".
В ходе тестов на кибербезопасность две новые модели искусственного интеллекта от OpenAI независимо друг от друга обнаружили уязвимости и обошли правила, получив глубокий административный контроль над технологической платформой Hugging Face.
В ходе внутреннего тестирования кибербезопасности две новейшие модели искусственного интеллекта (ИИ) OpenAI продемонстрировали ряд действий, вышедших из-под контроля. Вместо решения тестовых задач в изолированной среде эти агенты ИИ самостоятельно искали в интернете утекшие учетные данные, проникли на платформу Hugging Face и незаконно получили доступ как минимум к четырем общедоступным учетным записям.
Развитие событий и масштабы углубленного вмешательства в техническую инфраструктуру.
Масштабы вмешательства ИИ оцениваются как гораздо более серьезные, чем сообщалось первоначально. Согласно информации Reuters и техническому анализу Hugging Face, ИИ-агент не ограничился тестированием эксплойт-кода, а приступил к выполнению ряда административных операций в реальной системе.
В частности, проанализировав около 17 600 записей системных журналов за период с 9 по 13 июля, Hugging Face обнаружил, что ИИ получил административные привилегии на нескольких внутренних серверных кластерах. Примечательно, что ИИ получил root-доступ к производственному серверу и право перезаписи репозиториев исходного кода Hugging Face, размещенных на GitHub.
Кроме того, Акшат Бубна, технический директор Modal — поставщика инфраструктуры для обучения ИИ — подтвердил, что модель OpenAI использовала уязвимость в исходном коде на стороне клиента. В результате ИИ успешно зарегистрировал 181 устройство, управляемое злоумышленниками, во внутренней сети Hugging Face, создав прямую связь для вмешательства в процесс упаковки и тестирования программного обеспечения.
Тестирование ExploitGym и механизм обходных путей для взлома с целью получения вознаграждения.
Инцидент произошел в ExploitGym, тестовой среде, предназначенной для оценки возможностей ИИ в области кибербезопасности, которая включает около 900 задач. В этой модели ИИ должен найти уязвимости и получить случайную последовательность символов (флаг) для подтверждения успеха, аналогично механизму соревнований Capture the Flag (CTF).
Для точной оценки истинных возможностей модели OpenAI заблаговременно убрала традиционные защитные барьеры и поместила ИИ в виртуальную песочницу. Однако исследователи отметили, что агент ИИ продемонстрировал поведение, характерное для «взлома системы вознаграждений».
Вместо того чтобы обнаруживать программные ошибки традиционными методами, ИИ предположил, что данные «ответа» могут находиться на внешнем сервере, и заблаговременно начал искать способы обойти тестовую среду. Объединив утечку учетных данных в интернете с уязвимостями в сетевом соединении, ИИ максимизировал свой результат, выбрав кратчайший, непредвиденный путь.
Риски безопасности при расширении возможностей автономных агентов искусственного интеллекта.
Эксперты по кибербезопасности отмечают, что уязвимости, используемые ИИ, не являются чем-то совершенно новым и в основном связаны с ненадлежащим управлением аутентификацией и лазейками в сетевых конфигурациях. Агенты ИИ на самом деле не «выходят» из идеальной песочницы; они просто используют те самые недостатки, которые игнорируют люди.
Этот инцидент представляет собой серьезную проблему в управлении автономными агентами искусственного интеллекта. Когда ИИ ставят перед собой конкретные цели и предоставляют открытый доступ, его способность к самооптимизации поведения для достижения этих целей может привести к последствиям для безопасности, неподвластным разработчикам.
