Разработчики компании Anthropic предупреждают о рисках стремительного развития искусственного интеллекта. По мнению создателей нейросети Claude, современные ИИ-модели приближаются к этапу, когда смогут выполнять все больше задач без непосредственного участия человека, что требует более серьезного подхода к вопросам контроля и безопасности.
По словам представителей компании, уже сегодня до 80% программного кода для собственных моделей создается с помощью ИИ-инструментов. В перспективе ближайших одного-двух лет этот показатель может приблизиться к 100%, а сами системы смогут участвовать в собственном совершенствовании и обучении.
Такие прогнозы усиливают дискуссию о необходимости регулирования отрасли и внедрения дополнительных механизмов контроля за развитием технологий искусственного интеллекта.
«Реакция требуется уже сейчас. Та же модель, которая пишет код, должна искать в нем уязвимости. Относиться к таким системам стоит как к объектам критической инфраструктуры. Необходимы обязательный независимый аудит безопасности, регулярные стресс-тесты и, возможно, международные механизмы контроля с проверкой исполнения договоренностей», — отметил ведущий инженер по безопасности ИИ ГК Swordfish Security Михаил Черешнев в эфире Коммерсантъ FM.
Глобальная конкуренция в сфере искусственного интеллекта все больше напоминает технологическую гонку вооружений. Однако осознание масштабов рисков зачастую приходит только после крупных инцидентов или кризисов.
При этом пользователям и компаниям уже сегодня стоит придерживаться принципов «нейросетевой гигиены»: проверять результаты работы ИИ, не передавать системам чувствительные данные без необходимости и учитывать ограничения технологий.
По словам представителей компании, уже сегодня до 80% программного кода для собственных моделей создается с помощью ИИ-инструментов. В перспективе ближайших одного-двух лет этот показатель может приблизиться к 100%, а сами системы смогут участвовать в собственном совершенствовании и обучении.
Такие прогнозы усиливают дискуссию о необходимости регулирования отрасли и внедрения дополнительных механизмов контроля за развитием технологий искусственного интеллекта.
«Реакция требуется уже сейчас. Та же модель, которая пишет код, должна искать в нем уязвимости. Относиться к таким системам стоит как к объектам критической инфраструктуры. Необходимы обязательный независимый аудит безопасности, регулярные стресс-тесты и, возможно, международные механизмы контроля с проверкой исполнения договоренностей», — отметил ведущий инженер по безопасности ИИ ГК Swordfish Security Михаил Черешнев в эфире Коммерсантъ FM.
Глобальная конкуренция в сфере искусственного интеллекта все больше напоминает технологическую гонку вооружений. Однако осознание масштабов рисков зачастую приходит только после крупных инцидентов или кризисов.
При этом пользователям и компаниям уже сегодня стоит придерживаться принципов «нейросетевой гигиены»: проверять результаты работы ИИ, не передавать системам чувствительные данные без необходимости и учитывать ограничения технологий.