Утечка Claude Code: как компаниям внедрять ИИ безопасно?

Недавно в сеть утек исходный код Claude — CLI-ассистента от Anthropic, которым разработчики пользуются для написания кода, автоматизации задач и прототипирования. Часть механизмов модели, включая системы «soul» и «autoDream», которые задают профиль поведения ИИ и управляют памятью, оказалась в открытом доступе.

Этот инцидент показывает, что современные AI-системы создаются в тесной связке с человеком, и ошибки чаще всего происходят не из-за самой модели, а из-за человеческой невнимательности. Даже сложные и «разумные» процессы, встроенные в код, ломаются, если оператор не соблюдает дисциплину работы с ИИ.

Подобные ошибки ИИ-агентов связаны с отсутствием долгосрочного контекста задачи, в отличие от человека-инженера, накапливающего понимание систем и критичных зависимостей в процессе работы.

"Причиной инцидента стало не столько ИИ, сколько некорректная, небезопасная и, в некоторой степени, безответственная работа оператора — человека. Это в очередной раз подчеркивает необходимость развития инженерных компетенций у оператора, использующего ИИ для решения бизнес- и инженерных задач." — отмечает Михаил Черешнев, ведущий инженер по безопасности ИИ ГК Swordfish Security.

Советы эксперта, как снизить риски:

• вводить классификацию систем по критичности и допустимости использования ИИ,

• ограничивать применение ИИ без обязательного ревью со стороны архитекторов и специалистов по безопасности,

• развивать компетенции сотрудников в работе с ИИ,

• формализовать политики использования ИИ внутри компании.