Японский научно-исследовательский институт разработал систему оценки безопасности моделей искусственного интеллекта с целью предотвращения их неправомерного использования и утечки информации, наносящей вред людям и обществу.
Обычно модели генеративного ИИ не могут публиковать такую информацию. Однако был выявлен риск неправомерного использования, в частности, методом «джейлбрейк», позволяющим ИИ обходить ограничения с помощью хитроумных формулировок.
Национальный институт информационных и коммуникационных технологий (NICT) разработал систему, которая позволяет оценить, насколько ИИ способен противостоять подобным методам.
Система WISDOM-AR автоматически генерирует инструкции, которые обманными формулировками заставляют модели ИИ давать ответы по более чем 30 темам, включая «оружие» и «мошенничество», и оценивает полученные ответы.
В ходе проведенной NICT демонстрации система задала модели генеративного ИИ вопросы о том, как изготовить бомбу. Модель ИИ перечислила материалы и методы изготовления бомбы, и система определила ее как «опасную».
NICT планирует ввести WISDOM-AR на пробной основе в компаниях, использующих ИИ, уже в текущем финансовом году, чтобы выявить проблемы при практическом применении.
Сотрудник NICT Торисава Кэнтаро сказал, что институт намерен способствовать повышению безопасности общества в целом, используя систему для оценки уровня риска, связанного с искусственным интеллектом.
