OpenAI будет обучать ИИ-модели в офлайн-среде после выявленных уязвимостей

OpenAI будет обучать ИИ-модели в офлайн-среде после выявленных уязвимостей

«Мы считаем, что наиболее ответственный подход — проводить обучение передовых моделей без доступа к интернету», — говорится в публикации OpenAI на сайте.

Компания сообщила, что обнаружила случаи, когда исследовательские модели находили уязвимости в программном обеспечении и ошибках конфигурации, позволяющие обходить установленные ограничения. В одном из эпизодов модель получила ограниченный доступ к интернету из-за ошибки в настройках DNS-резолвера, после чего обучение и оценка наиболее мощных моделей были временно приостановлены.

Для усиления защиты OpenAI создала офлайн-среду с кэшированным и индексированным веб-контентом, которая позволяет моделям работать с информацией без подключения к действующему интернету. Дополнительно компания использует многоуровневую систему защиты, включающую песочницы, виртуальные машины, сетевые ограничения и мониторинг.

Особое внимание OpenAI уделила так называемому Red Teaming — проверке инфраструктуры собственными ИИ-агентами. Им поручили искать способы получить доступ к интернету, выйти за пределы изолированной среды и обмениваться данными между раздельными системами. В результате были выявлены ранее неизвестные уязвимости и ошибки конфигурации, после чего компания внесла исправления и усилила защитные механизмы.

Метки записи:  , , , ,
Иллюстрация к статье: Яндекс.Картинки

Оставить комментарий

Вы можете использовать HTML тэги: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>