Специалисты Swordfish Security зафиксировали рост угроз, связанных с использованием больших языковых моделей (LLM) и генеративного ИИ (GenAI) в бизнес-процессах. Расширение функциональности и автономности таких систем приводит к появлению новых уязвимостей, которые традиционные средства киберзащиты не покрывают.

По оценке экспертов компании, основная угроза — неконтролируемый доступ к конфиденциальной информации. Если ИИ-инструменты неправильно настроены, злоумышленник может получить доступ к клиентским данным, внутренним бизнес-процессам и даже корпоративной почте. Особенно критична ситуация с агентными приложениями, которые интегрируются с внешними сервисами и обладают правами на выполнение задач от имени пользователя.

Риски выходят за рамки обычных уязвимостей. LLM может быть использована для обхода политик безопасности, обучения на чувствительных данных или генерации непредсказуемых — в том числе юридически опасных — ответов.

В компании подчёркивают, что классические подходы к ИБ — такие как статический анализ кода или периметральная защита — неэффективны против специфических угроз, связанных с промпт-инъекциями, некорректной фильтрацией входных данных и несанкционированной выдачей информации.

Для защиты моделей нового поколения Swordfish рекомендует использовать LLM-фаерволы, способные отслеживать и блокировать вредоносные взаимодействия, и системы AI-SPM (AI Security Posture Management), обеспечивающие полный контроль за жизненным циклом ИИ-приложений.

Компания также предлагает применять чек-листы для оценки рисков и регулярно пересматривать политику безопасности с учётом специфики ИИ-среды.

Подробнее на сайте