В июле 2026 года в США впервые дошло до введения санкций за использование участником судебного процесса промпт-инъекции (prompt injection) при написании состязательных документов, подаваемых в суд. Промпт-инъекция (Prompt Injection) — это атака на системы искусственного интеллекта, при которой злоумышленник внедряет в запрос скрытые команды, заставляющие большие языковые модели (LLM) игнорировать правила разработчика и выполнять нежелательные действия.
Что произошло
Мэттью Эллиотт, житель Милфорда, штат Коннектикут, которому было 24 года, судился без адвоката, что называется pro se, т.е.«за себя» в гражданском споре с медицинской компанией New York Bariatric Group (дело AAN-CV-25-6066141-S).
В октябре 2025 г. Эллиотт подал иск против медицинской компании, в котором обвинял компанию в нарушении приватности и дискриминации. Началось всё с конфликта вокруг его лечения, отказа осуществить лечение по страховке. После того, как он был вынужден покинуть больницу, не получив необходимого лечения, он попытался получить свои медицинские карты и записи телефонных звонков, но клиника, по его мнению, неправомерно отказала ему в этом. После чего, он на протяжении нескольких месяцев обращался в суд, снова и снова оспаривая решения, которые, как ему казалось, не учитывали его аргументы. По мнению Эллиотта, суд должен был вынести «решение по умолчанию», т.к. считал, что ответчик по его иску пропустил срок на ответ, и, следовательно, автоматически проиграл дело. Суд не принял позицию Эллиотта, и поэтому он пытался с помощью скрытой инструкции для ИИ повлиять на решение суда. В конце июля 2026 года он подал ходатайство. В текст документа он встроил фрагмент, набранный белым шрифтом размером 3 пункта на белом фоне. Человеку при чтении (на экране или на бумаге) этот текст практически не виден – глаз видит просто пустое белое место. Но любая программа, которая извлекает текст из файла (OCR, инструменты для анализа PDF, языковые модели), воспринимает такой текст без проблем.
Что об этой ситуации сказал судья
В своем решении судья Спейдер написал, что, как и многие другие в наши дни, кто судится без юриста, Эллиотт прибег к помощи ИИ, и скорее навредил себе, чем помог. Как и многие в его случае, он «построил аргументацию задом наперёд», т.е. начал не с вопроса «прав ли я?», а с готового утверждения «Я прав!». Хотя идеально было бы вообще начать с вопроса, в чем заключается правда в данном вопросе. В итоге, все оказалось поставленным с ног на голову: не «факты приводят к выводу», а «есть вывод, и надо под него подобрать факты и объяснения». Получается перед ИИ ставят задачу: «отстоять выбранную позицию», но никогда не просят проверить её безошибочность или привести контраргументы. В этом случае ИИ включает своего рода лесть (в оригинале судья употребил слово sycophancy — так называют свойство языковых моделей подстраиваться под ожидания пользователя). Поскольку ИИ попросили именно поддержать позицию (т.е. согласиться во всем, а не трезво посмотреть на вещи), то он это и делает, стараясь изо всех сил: подробно и в убедительных формулировках. Человек, в свою очередь, в стремлении во чтобы бы то ни было доказать свою правоту, попадает в свою же ловушку, воспринимает ответ ИИ как бесспорное подтверждение: «раз ИИ согласен со мной, значит, я прав!».
В итоге, человек оказывается в заранее проигрышной позиции. Получая отказ суда принять его доводы, он трактует его не как сигнал «Наверное, я ошибаюсь», а как препятствие, которое нужно обойти. Вот тут и появляется промпт-инъекция: раз «сведущие в данных вопросах» люди не принимают его точку зрения, он пытается заставить согласиться с ней ИИ.
Две главные мысли, высказанные судьей в его решении
Первый ключевой вывод судьи, который он выделил как урок «выходящий далеко за рамки этого дела»:
«Аргумент, который изначально запрограммирован только на то, чтобы соглашаться со своим автором, в конечном счёте бесчестен даже по отношению к самому автору. Те, кто пользуется этими инструментами, должны просить проверить свою позицию настолько же охотно, насколько просят поддержать её».
Вторая мысль про то, что аргументация «задом наперёд» опасна, и судьи видят её всё чаще.
Почему судья счел, что данный случай выходит «далеко за рамки дела»
Во-первых, потому что ситуация массовая. Люди, кто по той или иной причине не прибегает к помощи юристов, теперь готовят документы с помощью чат-ботов, и судьи стали сталкиваться с этим постоянно. Такие как Эллиотт – не аномалия, а типовой случай, дошедший до крайней стадии: когда со всем соглашающийся ИИ и проигрыши в суде перестали вызвали диссонанс, и как результат, Эллиотт попытался «дожать» реальность скрытой командой для ИИ.
Во-вторых, из-за свойства самих ИИ. Судья назвал это «genuine hazard of the technology» – реальным риском технологии: склонность к заискиванию (sycophancy) – это особенность работы языковых моделей, и случается это легко и непреднамеренно из обычных формулировок запроса пользователя, который сам этого не замечает.
В-третьих, аналогичные ситуации теперь нередко происходят и за пределами суда. Та же ловушка работает в резюме (человек «подгоняет» опыт под вакансию с помощью бота, пока не потеряет связь с реальностью), в бизнес-планах, в научных статьях, в личных решениях – везде, где бот используется как зеркало, которое рисует только то, что пользователь хочешь видеть.
Также судья Спейдер отметил, что существует другая, узкая грань «выхода за рамки» — правовая: инструменты ИИ расползаются по судам, канцеляриям и юридическим фирмам, а существующие правила и ограничения пока контролируют только результат, полученный с помощью ИИ (фейковые цитаты, вымышленные люди и события). И что следующие жертвы – сами юристы: их клиенты могут вшивать невидимые команды в документы без их ведома.
Комментарий к решению судьи Спейдера
Судья не осудил технологию – он осудил способ её использования. ИИ, который согласен со всем, – это не союзник и не оракул, а очень убедительное эхо. Польза от него появляется только тогда, когда ты просишь его спорить с тобой, а не поддакивать.
За судебной защитой и юридической поддержкой обращайтесь к нашим юристам. Мы Вам обязательно поможем!
Юрист, специалист по судебной защите
группы Объединенные Юристы