Swordfish Security заявила о росте числа атак на корпоративные ИИ-системы через джейлбрейк LLM-моделей. По словам экспертов компании, злоумышленники могут обходить ограничения нейросетей с помощью обычных текстовых запросов и получать доступ к конфиденциальной информации.
«Освоить джейлбрейк может даже школьник с двойкой по математике, не написавший в жизни ни строчки кода», — отметил ведущий инженер по безопасности ИИ Swordfish Security Михаил Черешнев.
В компании поясняют, что джейлбрейк позволяет злоумышленникам с помощью серии запросов обходить встроенные ограничения модели, извлекать внутренние инструкции системы и получать доступ к данным компании. Среди возможных последствий — утечки финансовой информации, нарушение бизнес-процессов и репутационные риски.
По оценкам Swordfish Security, проблема усугубляется быстрым внедрением генеративного ИИ в российском бизнесе. Эксперты отмечают, что скорость внедрения технологий сегодня часто превышает скорость выстраивания механизмов защиты.
«ИИ-модель становится полноценной точкой входа для корпоративного шпионажа. При этом такие атаки практически не отслеживаются традиционными средствами защиты», — подчеркнул Михаил Черешнев.
В Swordfish Security считают, что компаниям необходимо заранее внедрять инструменты контроля запросов, фильтрации данных и мониторинга взаимодействия с ИИ-системами.
Подробнее на сайте
«Освоить джейлбрейк может даже школьник с двойкой по математике, не написавший в жизни ни строчки кода», — отметил ведущий инженер по безопасности ИИ Swordfish Security Михаил Черешнев.
В компании поясняют, что джейлбрейк позволяет злоумышленникам с помощью серии запросов обходить встроенные ограничения модели, извлекать внутренние инструкции системы и получать доступ к данным компании. Среди возможных последствий — утечки финансовой информации, нарушение бизнес-процессов и репутационные риски.
По оценкам Swordfish Security, проблема усугубляется быстрым внедрением генеративного ИИ в российском бизнесе. Эксперты отмечают, что скорость внедрения технологий сегодня часто превышает скорость выстраивания механизмов защиты.
«ИИ-модель становится полноценной точкой входа для корпоративного шпионажа. При этом такие атаки практически не отслеживаются традиционными средствами защиты», — подчеркнул Михаил Черешнев.
В Swordfish Security считают, что компаниям необходимо заранее внедрять инструменты контроля запросов, фильтрации данных и мониторинга взаимодействия с ИИ-системами.
Подробнее на сайте