Суд сказал тексту: “не подсказывать” — а он всё равно подсунул ИИ инструкцию
В одной из свежих историй про ИИ и право человек спрятал в судебный документ скрытую подсказку для модели: по сути, это была prompt injection — попытка заставить ИИ проигнорировать обычные инструкции и встать на сторону автора текста. И да, это уже не теоретическая страшилка из презентаций про безопасность, а очень бытовая, почти мелочная схема: текст выглядит как обычный юридический файл, а внутри прячется команда для машины.
Суть трюка простая и неприятная. Большие языковые модели умеют читать документы и помогать с резюме, поиском аргументов, разбором файлов — но они не всегда умеют отличать обычный текст от скрытой команды, встроенной прямо в содержимое. В результате получается странная ситуация: документ вроде бы создан для суда, а по факту пытается перехватить управление у системы, которая этот документ обрабатывает.
Именно это и делает историю особенно вкусной: атака не требует взлома, вируса или доступа к серверу. Достаточно засунуть в документ фразу, которая выглядит как безобидная часть текста, но на деле направляет модель в нужную сторону. Это классический пример того, как ИИ можно обмануть не кодом, а языком — самым старым и самым банальным инструментом на свете.
В материалах по теме это называют direct prompt injection, если вредоносная инструкция вводится прямо в запрос, и indirect prompt injection, если она спрятана в данных, которые система позже прочитает как “доверенные”. Для юридических документов как раз особенно важен второй вариант: одна сторона подаёт файл, а потом этот файл обрабатывает ИИ-система, которой уже всё равно, кто там хитрил в тексте и зачем. Машина не видит драму, она видит только входные данные. И это, как выясняется, довольно большая проблема.
На практике такие атаки особенно коварны, потому что их можно замаскировать под обычные legal-формулировки, дисклеймеры, служебные пометки, комментарии или прочие скучные куски текста, которые никто не читает дважды. В одном из разборов прямо говорится, что в юридической среде это не просто абстрактная уязвимость, а реальный риск именно потому, что документы проходят через pipeline обработки и потом уже становятся частью вывода ИИ. То есть злоумышленник загрязняет вход, а система потом честно переваривает это как будто так и надо. Красота, если вы атакующий. Мясорубка, если вы юрист.
Самое неприятное здесь даже не сама хитрость, а то, что универсальной “кнопки защиты” пока не существует. В одном из правовых разборов прямо сказано, что в текущем состоянии техники нет механизма, который полностью убирал бы риск prompt injection через документ, который модель должна обработать. Системный промпт может быть строгим, фильтры могут проверять уже готовый ответ, но это не гарантирует, что скрытая инструкция не повлияет на сам процесс генерации. То есть можно красиво поставить забор, но если вредоносный текст уже сидит внутри самого файла, он всё равно пролезет через калитку.
Из-за этого практические советы выглядят довольно приземлённо, почти скучно — а именно скука в безопасности обычно и означает, что кто-то не поленился подумать. Нужна валидация входных данных, разделение системных инструкций и пользовательского текста, мониторинг аномального поведения, а в юридических сценариях — особенно жёсткая проверка того, что именно лежит в документе и как это совпадает с тем, что модель извлекает из файла. В одном из материалов по правовым промптам даже отдельно подчёркивается, что модель надо заставлять опираться только на приложенный текст, а не на “здравый смысл из интернета”, потому что иначе ИИ с удовольствием начнёт фантазировать.
И вот тут вся история становится почти символичной. Юридические документы и так живут в мире, где каждое слово может стоить денег, времени или репутации, а теперь в них ещё и поселился новый жанр саботажа — текст, который пытается командовать текстом. Человек пишет документ для суда, а документ, если ему дать шанс, пытается написать правила для модели. В общем, бумага снова победила железо. Просто на этот раз — с очень неприятным послевкусием.