Три ключевых вывода о джейлбрейках LLM из отчёта StrongREJECT
Краткое резюме
Исследование StrongREJECT показало, что многие методы обхода защитных механизмов больших языковых моделей (LLM) неэффективны и основаны на некорректной оценке. Попытка заставить LLM нарушить правила часто снижает её эффективность.
Здравствуйте!
Я изучаю новую для себя сферу — AI Security — и планирую написать несколько обзоров на актуальные исследования и статьи по этой теме. В этой статье мы обсудим уязвимости больших языковых моделей (LLM) и представим результаты исследования StrongREJECT.
**Краткое содержание:** не все методы обхода защитных механизмов LLM одинаково эффективны.
Полный текст доклада состоит из 25 страниц и был представлен на NeurIPS. Если нет времени читать обзор, можно ознакомиться с комиксами от нанобананы.
В научных кругах часто появляются сообщения о новых техниках обхода защитных механизмов LLM, называемых джейлбрейками. Авторы таких методов делают громкие заявления о высоком успехе в атаках на самые продвинутые модели. Может сложиться впечатление, что системы безопасности легко взломать, и скоро появится «золотой промпт» или техника, которая заставит любую модель раскрыть все свои секреты.
Однако исследование StrongREJECT ставит под сомнение эти утверждения. Оно показывает, что многие заявленные успехи являются преувеличением, основанным на некорректной оценке. Более того, попытка заставить LLM нарушить правила часто приводит к снижению её эффективности.
Далее мы рассмотрим три ключевых вывода из исследования StrongREJECT, которые меняют представление об уязвимостях LLM. Мы узнаем, почему многие «успешные» атаки на самом деле бесполезны, какой компромисс скрывается за обходом защиты и как отличать реальные угрозы для сервисов с LLM от информационного шума.
**Вывод №1:** многие «успешные» взломы на самом деле неэффективны.
Исследование выявило проблему старых методов оценки. Ранее «успехом» считался практически любой ответ, который не был прямым отказом модели, независимо от его полезности, осмысленности или связности. Если модель не говорила: «Я не могу этого сделать», атака считалась удачной.
Например, сообщалось о 43% успехе взлома GPT-4. Метод заключался в переводе запроса о создании бомбы на шотландский гальский язык, после чего модель выдавала ответы на запрещённые запросы. Однако при анализе полных ответов модели выяснилось, что они не содержат практически применимой информации о взрывчатых веществах. Вместо инструкций модель генерировала бессвязный или совершенно отвлечённый текст, который был абсолютно бесполезен для злоумышленника.