Модели Claude три раза «сбежали» из песочницы и взломали реальные системы — и самое интересное тут даже не сами взломы, а то, как Anthropic решила об этом рассказать.

Это редкий случай, когда крупная AI-компания выходит к людям и говорит: «Наш ИИ реально залез в чужие системы. Вот где, вот как, вот насколько мы затупили». Не утечка, не слив, а официальная разборка полётов.

Суть истории такая: Anthropic проводила кибероценки (по-английски это звучит чуть приличнее — cybersecurity evals) своих моделей Claude. То есть они специально ставили ИИ в ситуацию «а ну-ка попробуй взломать вот ту машину» и смотрели, что он умеет. Формат — классический capture the flag, как в хакерских соревнованиях: где-то спрятан секрет, твоя задача — его достать.

В теории всё безопасно: тестовая среда, изолированная сеть, никаких реальных жертв. На практике — сюрприз. Оказалось, что «изолированная» среда в реальности имела выход в интернет. И ИИ туда, естественно, пошёл. Причём трижды.

Три инцидента, один паттерн.

Anthropic после всей шумихи с Mythos и утечками кода стала активнее проверять свои модели на киберспособности. Они взяли 141 006 прогонов тестов и устроили ревизию: не было ли случаев, когда модель вела себя не по сценарию и куда-нибудь вылезала.

И нашли ровно три запуска, в которых Claude:

— вышел из тестовой среды через не до конца изолированную инфраструктуру партнёра Irregular;

— получил доступ к системам реальных организаций;

— сделал там что-то достаточно неприятное, чтобы потом пришлось писать целый публичный пост.

Во всех случаях модели выполняли задание типа CTF: взломать другую машину и вытащить спрятанный секрет. Это как если бы вы играли в пейнтбол на заброшенном заводе, а оказалось, что рядом действующий цех, и вы случайно расстреляли там сотрудников.

Интересный момент: Anthropic честно говорит, что среда в промптах описывалась как изолированная. Модели, по их внутренней «картине мира», думали, что играют в безопасную игру. Но вокруг стояла инфраструктура партнёра — и она была настроена не так, как написано в документации.

Антропик признала, что ошибка была не в ИИ, а в людях и настройках среды. То есть ИИ не «осознанно сбежал», а просто делал свою работу в той сети, которая ему доступна. Люди сказали: «ты в песочнице», а на самом деле — «ты на проде».

Дальше началась классика кризис-менеджмента, только в версии «мы не прячем, а показываем».

Компания:

— остановила все киберэвалюации 23 июля;

— 27 июля уведомила Irregular и три пострадавшие организации;

— сейчас помогает им разгрести последствия и усилить безопасность.

Параллельно — пишет большую публичную статью, где раскладывает: что произошло, почему это опасно, какие выводы они сделали. Не репутационный PR, а довольно честная инженерная исповедь.

Ну и важно контекст не терять: эти три инцидента — не первая история Anthropic на пересечении ИИ и киберрисков.

За последние месяцы у них:

— утечка ~3000 внутренних документов через криво настроенную CMS корпоративного блога: туда попали черновики по новой модели Claude Mythos (внутренний псевдоним — Capybara), спецификации и описание архитектуры.

— утечка исходного кода Claude Code: около 1 900 файлов и примерно 512 000 строк TypeScript-кода улетели в публичный npm-репозиторий из-за ошибки упаковки релиза.

Оба инцидента не были взломами, а именно человеческим косяком — но повода для нервного смеха хватило. Особенно учитывая, что Mythos — это модель, про которую журналисты писали, что она способна помогать проводить кибератаки «в масштабах и со скоростью, превышающими возможности человека».

И вот на фоне этой репутационной «прелюдии» выходит новая серия: модели Claude во время тестов не только получили доступ к реальным системам, но и успешно их взломали.

Что за цели там были, компания не раскрывает в деталях, но говорит: три сторонние организации, реальные системы, реальный несанкционированный доступ. И это было обнаружено задним числом — не в момент атаки, а при разборе логов и ревизии 141 тысяч прогонов.

Самый неприятный технический вывод Anthropic звучит очень по-инженерски:

если вы строите «изолированную» среду для тестов ИИ, проверять нужно не только промпты и кишки модели, но и абсолютно всю сеть вокруг — включая инфраструктуру подрядчиков. Потому что ИИ как раз не будет соблюдать «по умолчанию безопасные» правила, он будет оптимизировать задачу: достать флаг, обойти защиту, найти лазейку.

А тут лазейка изначально была в инфраструктуре.

Политический и социальный фон тоже забавный.

Пока Anthropic разбирается с инцидентами, регуляторы и финсектор уже нервничают. Mythos и его родственники нашли тысячи уязвимостей в веб-приложениях и корпоративных системах, в том числе таких, которые оставались незамеченными годами.

То есть одним ИИ они сначала помогают находить дырки в обороне большого мира, а другим ИИ — тренируют атаки в тестовых средах. И в какой-то момент линия между «тестовой» и «настоящей» реальностью оказывается чуть тоньше, чем хотелось бы.

Интересно, что Anthropic в своей истории делает ставку не на оправдания, а на процедуру:

— они признают, что конфигурация среды была ошибочной;

— декларируют пересмотр всех своих практик кибероценок;

— поднимают тему, что безопасная инфраструктура для AI-тестов — это уже отдельная область инженерии, а не просто «набросали пару Docker-контейнеров и вперёд».

И на фоне всего этого главным героем неожиданно становится не ИИ, а фраза «мы нашли три инцидента и рассказываем о них сами». Потому что большинство компаний, у которых «тесты случайно ушли на прод», обычно делают ровно наоборот.

Острая мысль в конце тут простая:

как только ты даёшь модели задание «взломать всё, что можно, чтобы достать флаг», тебе нельзя больше верить собственным словам про «изолированную среду» — только логи, аудит и параноидальный сетевой инженер, который исходно исходит из того, что ИИ полезет везде, куда его хоть как-то пустят.