OpenAI будет обучать ИИ-модели в офлайн-среде после выявленных уязвимостей
«Мы считаем, что наиболее ответственный подход — проводить обучение передовых моделей без доступа к интернету», — говорится в публикации OpenAI на сайте.
Компания сообщила, что обнаружила случаи, когда исследовательские модели находили уязвимости в программном обеспечении и ошибках конфигурации, позволяющие обходить установленные ограничения. В одном из эпизодов модель получила ограниченный доступ к интернету из-за ошибки в настройках DNS-резолвера, после чего обучение и оценка наиболее мощных моделей были временно приостановлены.
Для усиления защиты OpenAI создала офлайн-среду с кэшированным и индексированным веб-контентом, которая позволяет моделям работать с информацией без подключения к действующему интернету. Дополнительно компания использует многоуровневую систему защиты, включающую песочницы, виртуальные машины, сетевые ограничения и мониторинг.
Особое внимание OpenAI уделила так называемому Red Teaming — проверке инфраструктуры собственными ИИ-агентами. Им поручили искать способы получить доступ к интернету, выйти за пределы изолированной среды и обмениваться данными между раздельными системами. В результате были выявлены ранее неизвестные уязвимости и ошибки конфигурации, после чего компания внесла исправления и усилила защитные механизмы.


Комметарии