Использование корпоративных данных для обучения ML- и LLM-моделей создает риск их последующего извлечения. При переобучении или наличии уникальных записей модель может запомнить отдельные фрагменты и воспроизвести их по специально сформированному запросу.
Эксперты Swordfish Security Анна Данилова и Денис Данилов отмечают, что потенциально раскрыты могут оказаться персональные данные, внутренние документы, программный код и переписка. При этом для атаки зачастую не требуется доступ к инфраструктуре или весам модели — достаточно возможности обращаться к ее API или чат-интерфейсу.
Для снижения рисков специалисты рекомендуют минимизировать и обезличивать данные перед обучением, контролировать переобучение, ограничивать доступ к модели, устанавливать лимиты запросов и отслеживать аномальную активность. Дополнительной мерой защиты может стать регулярное Red Team-тестирование.
«Обученная модель — не "черный ящик" в смысле безопасности, а еще один носитель информации, который нуждается в оценке рисков, контроле доступа и мониторинге», — отмечают эксперты Swordfish Security.
Компаниям, использующим ИИ, стоит заранее включать риск извлечения обучающих данных в модель угроз.
Подробнее на сайте
Эксперты Swordfish Security Анна Данилова и Денис Данилов отмечают, что потенциально раскрыты могут оказаться персональные данные, внутренние документы, программный код и переписка. При этом для атаки зачастую не требуется доступ к инфраструктуре или весам модели — достаточно возможности обращаться к ее API или чат-интерфейсу.
Для снижения рисков специалисты рекомендуют минимизировать и обезличивать данные перед обучением, контролировать переобучение, ограничивать доступ к модели, устанавливать лимиты запросов и отслеживать аномальную активность. Дополнительной мерой защиты может стать регулярное Red Team-тестирование.
«Обученная модель — не "черный ящик" в смысле безопасности, а еще один носитель информации, который нуждается в оценке рисков, контроле доступа и мониторинге», — отмечают эксперты Swordfish Security.
Компаниям, использующим ИИ, стоит заранее включать риск извлечения обучающих данных в модель угроз.
Подробнее на сайте