ИИ без защиты: языковые модели угрожают безопасности компаний

Специалисты Swordfish Security зафиксировали рост угроз, связанных с использованием больших языковых моделей (LLM) и генеративного ИИ (GenAI) в бизнес-процессах. Расширение функциональности и автономности таких систем приводит к появлению новых уязвимостей, которые традиционные средства киберзащиты не покрывают.
По оценке экспертов компании, основная угроза — неконтролируемый доступ к конфиденциальной информации. Если ИИ-инструменты неправильно настроены, злоумышленник может получить доступ к клиентским данным, внутренним бизнес-процессам и даже корпоративной почте. Особенно критична ситуация с агентными приложениями, которые интегрируются с внешними сервисами и обладают правами на выполнение задач от имени пользователя.
Риски выходят за рамки обычных уязвимостей. LLM может быть использована для обхода политик безопасности, обучения на чувствительных данных или генерации непредсказуемых — в том числе юридически опасных — ответов.
В компании подчёркивают, что классические подходы к ИБ — такие как статический анализ кода или периметральная защита — неэффективны против специфических угроз, связанных с промпт-инъекциями, некорректной фильтрацией входных данных и несанкционированной выдачей информации.
Для защиты моделей нового поколения Swordfish рекомендует использовать LLM-фаерволы, способные отслеживать и блокировать вредоносные взаимодействия, и системы AI-SPM (AI Security Posture Management), обеспечивающие полный контроль за жизненным циклом ИИ-приложений.
Компания также предлагает применять чек-листы для оценки рисков и регулярно пересматривать политику безопасности с учётом специфики ИИ-среды.
Подробнее на сайте
-
- 10 июля
ИИ без защиты: языковые модели угрожают безопасности компаний
-
- 20 мая
5 тревожных фактов о безопасности GenAI
-
- 15 мая
Как защитить секреты в исходном коде: советы от DevSecOps-инженера
-
- 14 апреля
Новые уязвимости в Ingress-nginx для Kubernetes позволяют хакерам удаленно выполнять произ...
-
- 07 апреля
Искусственный интеллект под реальной угрозой: почему специалисты по безопасности ИИ станов...
-
- 18 марта
DevSecOps в «облаках»: эксперт Swordfish Security выступил на митапе RCCPA и Nubes