AI Security

Безопасность искусственного интеллекта

Поможем защитить AI: будьте уверены в безопасности инновационных решений
ИИ-модели всё активнее внедряются в бизнес-процессы, но вместе с этим увеличиваются риски безопасности
Мы помогаем компаниям выстроить комплексный подход к безопасности ИИ с учетом актуальных угроз, требований регуляторов и специфики архитектуры.
43%
российских компаний используют искусственный интеллект в своей работе
Индекс готовности к внедрению ИИ, 2024, НЦРИИ при Правительстве РФ
25%
оганизаций в финтехе несколько раз испытали на себе атаки на ИИ
Исследование АФТ и Swordfish Security, 2025 г.
36%
организаций утвердили политику обеспечения информационной безопасности в области ИИ
Индекс готовности к внедрению ИИ, 2024, НЦРИИ при Правительстве РФ

Какие ИИ-риски мы помогаем контролировать

Допустимость
Отказоустойчивость
и надежность
Прозрачность
Объяснимость
Комплаенс

AI Security: комплексная защита вашего искусственного интеллекта

Управление и риск-менеджмент
AI Governance
Исследование защищенности AI-систем - где и как функционирует ИИ в организации, прозрачность для принятия решений
Защита данных в ИИ и конфиденциальность
AI Data and Privacy Security
Аудит данных ИИ-систем, оценка выхода/выхода данных ИИ
Безопасность модели
Model Security
Выполняет ли модель именно то, для чего она была разработана, как часто модель дает правильные результаты?
Безопасность агентных систем
Agents Security
Контроль агентных систем и мониторинг
Комплаенс
Compliance
Соответствуют ли ваши решения регуляторным требованиям в РФ
Чек-лист для оценки безопасности навыков AI-агентов

Чек-лист для оценки безопасности навыков AI-агентов в соответствии с OWASP Agentic Skills Top 10.

Для каждого проверяемого навыка пройдитесь по соответствующим разделам ниже. Ответ «Нет» указывает на пробел, который необходимо устранить перед внедрением. Пункты с пометкой степени критичности отражают уровень риска соответствующей категории AST.
AST01
Вредоносные навыки
Критический уровень
Получен ли навык из проверенного и надежного источника?
Идентичность издателя подтверждена; отсутствует имитация (typosquatting) известного названия навыка
Прошел ли навык поведенческий анализ безопасности (не только сигнатурный)?
Отчет сканирования от инструмента, оценивающего намерения, а не только сигнатуры кода
Выполнена ли проверка криптографической подписи?
Действительная подпись ed25519; content_hash совпадает с опубликованным манифестом
Проверены ли все скрипты навыка и инструкции на естественном языке на наличие вредоносных паттернов?
Нет закодированных полезных нагрузок (payloads), нет обращений curl к неизвестным конечным точкам (endpoints), нет доступа к учетным данным, выходящего за рамки заявленной функции в коде или инструкций на естественном языке.
Протестирован ли навык в изолированной canary-среде перед продакшеном?
Динамический отчет показывает соответствие фактического поведения заявленному
Предотвращает ли данный навык запись в файлы идентификации агентов (SOUL.md, MEMORY.md, AGENTS.md)?
Запрещен доступ на запись в файлы с идентификационными данными, если это явно не обосновано и не одобрено (см. также 3.6 — аспект привилегий)
AST02
Компрометация цепочки поставок
Критический уровень
Подтверждена ли личность издателя навыка через ключ кодовой подписи?
Связана с проверенной идентичностью (например, did:web:, верифицированная GitHub-организация)
Привязан ли навык к конкретному неизменяемому хэшу содержимого (sha256:)?
Нет диапазонов версий; хэш совпадает с записью в реестре
Закреплены ли все вложенные зависимости по неизменяемым хэшам?
Зависимости в requirements.txt и package.json заблокированы — без диапазонов версий ^ или ~
Сформирован ли Software Bill of Materials (SBOM) для навыка и его зависимостей?
SBOM доступен в стандартном формате (CycloneDX, SPDX)
Рассматриваются ли конфигурационные файлы репозитория (хуки, .claude/settings.json, переменные окружения) как исполняемый код с механизмами доверия?
Конфигурационные файлы проверяются и одобряются; не выполняются автоматически при клоне или открытии
Выполнено ли сканирование рекурсивного дерева зависимостей (не только верхнеуровневых файлов навыка)?
Предоставлен отчет глубокого анализа, включая транзитивные зависимости
AST03
Избыточные привилегии
Высокий уровень
Есть ли у навыка манифест разрешений с явно указанными, ограниченными по области действия разрешениями?
Документация присутствует; разрешения перечислены (не являются бессрочными)
Ограничены ли права доступа в соответствии с заявленной функциональностью навыка?
Запрещен доступ за пределы возможностей, необходимых для выполнения описанной функции
Избегает ли этот навык неограниченного доступа к оболочке (shell: true)?
shell: false или доступ к оболочке ограничен конкретными командами
Ограничены ли разрешения на файлы конкретными путями (без wildcard **/*)
Указаны явные пути к файлам; отсутствуют широкие шаблоны (globs)
Использует ли навык отдельные учетные данные (scoped credentials) для каждого навыка (а не общие API-ключи уровня агента)?
Учетные данные изолированы в рамках данного навыка; регулярно ротируются
Помечен ли доступ на запись к файлам идентичности агента (SOUL.md, MEMORY.md) как требующий повышенной проверки?
Доступ на запись к файлам идентичности требует обоснования и одобрения (см. также 1.6 — аспект персистентности)
Заданы ли сетевые разрешения в виде allowlist доменов (а не бинарного network: true/false)
Указаны конкретные домены; по умолчанию запрещен весь прочий исходящий трафик
Избегает ли навык доступа к хранилищам учетных данных, файлам .env, кошелькам или SSH-ключам вне заявленной функции?
Нет чтения из ~/.ssh/, ~/.aws/, .env, **/credentials*, *.wallet или директорий данных браузера, если это явно не требуется и не обосновано
Эксплуатация и сопровождение
Укажите наличие процедур эксплуатации и сопровождения программного обеспечения.
Проводится анализ влияния на безопасность ПО неустраненнных ошибок
Реализован процесс обеспечения целостности ПО, передаваемого пользователям, обеспечена возможность контроля целостности ПО пользователями
Реализован процесс безопасной поставки ПО пользователям (фиксация версии поставляемого ПО, резервирование версии поставляемого ПО)
Осуществляется техническая поддержка выпущенного в релиз ПО
Внедрен порядок реагирования на обнаруженные в ПО уязвимостях при эксплуатации ПО (Реагирование на инциденты)
Внедрен процесс поиска уязвимостей в ПО при эксплуатации ПО
Внедрен процесс вывода версии ПО из эксплуатации
0
Ваши процессы РБПО на высоком уровне
Основной набор процедур и требований к безопасной разработке уже внедрен. Хотите узнать как еще повысить безопасность вашего ПО? Узнайте у наших экспертов с чего начать-получите детальный чек-лист для аудита.
Есть над чем работать
Базовые процессы РБПО присутствуют, но требуют доработки. Хотите усилить слабые места для повышения зрелости? Узнайте у наших экспертов с чего начать-получите детальный чек-лист для аудита.
Процессы РБПО только формируются
Начните с ключевых практик для минимизации рисков в разработке ПО. Узнайте у наших экспертов с чего начать-получите детальный чек-лист для аудита.
Получить консультацию

Комплексные услуги

Аудит, оценка, GAP-анализ и стратегия
  • Анализ пробелов в ИБ
  • Оценка текущий процессов в области AI Security
  • Анализ ландшафта ИИ-угроз и подробные рекомендации по улучшению защиты
  • Моделирование угроз 
  • Стратегия, развитие процессов и анализ рисков AI Security
Безопасность ИИ в проде
  • Анализ состава решений на базе ИИ
  • Анализ состава цепочки разработки безопасного ИИ (AI-BOM)
  • Оценка устойчивости ИИ-моделей к атакам
  • Мониторинг и операционная безопасность
Обучение и онбординг команд по безопасной разработке и использованию моделей ИИ
  • Самостоятельное обучение на платформы
  • Обучение с наставников
  • Практически соревнвания, CTF
Руководство по обеспечению безопасности приложений Gen AI
Заполните заявку и получите OWASP Top 10 for LLM and Generative AI на русском

Выгоды внедрения

Защита от новых видов кибератак на ИИ
Предотвращение вредоносных воздействий на модели, включая изменения входных данных и отравление обучающих выборок
Снижение риска утечки конфиденциальной информации
Защита моделей от атак, направленных на получение личных и корпоративных данных
Повышение устойчивости и надежности AI-систем
Исправление ошибок конфигурации и обеспечение безопасной интеграции ИИ в инфраструктуру
Комплексный подход к безопасности
Разработка стратегий и процессов с учетом специфики бизнеса и актуальных угроз

Вы сможете

Обеспечить надежную защиту AI-моделей от современных киберугроз
Снизить риски утечки и компрометации конфиденциальных данных
Увеличить устойчивость и безопасность инфраструктуры с ИИ
Повысить квалификацию команды для безопасной разработки и эксплуатации ИИ-систем

Почему Swordfish Security

Более 10 лет успешно внедряем решения DevSecOps
для компаний любого размера и отрасли
Член Консорциума исследований безопасности технологий искусственного интеллекта
Способствуем созданию и развитию защищённых технологий для работы с различными типами данных с использованием технологий машинного обучения и методов ИИ, возглавляем РГ-2 "Тестирование технологий ИИ" Консорциума ИИ
Индивидуальный подход
Разрабатываем индивидуальные решения для защиты ИИ

Хотите снизить риски и обеспечить устойчивость AI-решений?

Свяжитесь с нами, чтобы получить персональную консультацию
FAQ
Основные угрозы включают вредоносные входные данные (Adversarial Attacks), которые вводят модель в заблуждение, отравление обучающих данных (Data Poisoning), атаки на конфиденциальность через извлечение информации, ошибки конфигурации и интеграции, а также атаки на цепочку поставок, которые могут нарушить работу и безопасность всей системы.
Смотрите также