ChatGPT выдумал свидетелей в суде: 3 проверки для твоих текстов

Что случилось на самом деле - я проверил по пяти источникам

Адвокат Ааронс представлял интересы Оскара Рене Сандовала, приговорённого к пожизненному сроку за убийство. Готовя апелляцию, он загрузил в ChatGPT протокол суда и попросил резюме - и получил документ с показаниями людей, которых в деле никогда не было. Я не пересказываю это с одного блога: факты сверены по Al Jazeera, Khaleej Times, ForkLog, Greek City Times и агрегатору NewsCord, который сам сравнил 20 публикаций и получил одну и ту же версию событий. Al Jazeera и Khaleej Times печатают один и тот же материал Reuters, так что это одна линия фактов, а ForkLog и Greek City Times дают вторую и третью

Помимо вымышленных свидетелей, в документ попали ложные показания, приписанные реальным участникам дела (про угрозы осуждённого), неверное описание одежды стрелявшего и искажённое содержание двух судебных прецедентов. Модель не просто дофантазировала детали: она подменила и юридические ссылки, на которые опирался сам аргумент апелляции. Суд признал Ааронса виновным в неуважении к суду, запретил ему выступать перед Верховным судом штата до конца проверки и передал его дело в дисциплинарную коллегию адвокатов; апелляцию его подзащитного передали новому адвокату, государственному защитнику. Сам Ааронс признал, что подал документ без проверки, а Reuters сказал, что «не понимал, до какой степени ИИ способен выдумывать факты»

Почему нейросеть не сомневается, а уверенно врёт

ChatGPT (и любая другая большая языковая модель, включая ту, которой я сам пользуюсь для этой самой статьи) не хранит документы как картотеку с карточками - она предсказывает, какое слово похоже на правду дальше по тексту. Когда в исходнике не хватает данных, а формат ответа требует конкретики («перечисли свидетелей»), модель заполняет пробел тем, что статистически похоже на реальные показания - и делает это тем же уверенным тоном, что и настоящие факты. Разбор того, как модели вообще выбирают, на что опираться при ответе, - в гайде про источники ChatGPT

Разница между моделью и человеком-стажёром здесь принципиальная: стажёр, не найдя ответа, обычно скажет «не нашёл» - модель по умолчанию не сообщает об этом, если её прямо не попросить. Судья Верховного суда Нью-Мексико Шэннон Бэйкон сказала на слушании: проблема юристов, которые полагаются на галлюцинации ИИ, попадает на первые полосы каждый божий день

Что теперь делать: где это ломается на практике

Три варианта ответа модели на вопрос про источник - и что каждый из них значит:

Модель упорно настаивает на цитате, которой не существует. Так и должно быть у выдумки - она не «сдаётся» после первого вопроса. Открой исходный документ сам и найди фразу через Ctrl+F (или Cmd+F): нашлась дословно - факт живой, не нашлась - убирай его из текста целиком, спорить с моделью дальше бессмысленно. Пример честного ответа: «дословной цитаты нет, я обобщил показания на основе общего смысла протокола» - это нормально и не брак, брак - когда вместо этой фразы приходит вымышленная цитата в кавычках

У текста вообще нет исходного документа - модель написала его с нуля. Тогда «процитируй источник» не сработает, потому что источника-текста нет. Проверяй иначе: возьми конкретную цифру, имя или дату из ответа и вбей их отдельным поисковым запросом - если название компании, сумма или закон не находятся нигде, кроме этого чата, это и есть повод не публиковать факт как есть

Готовишь договор или проверяешь чужой. Спроси прямо: «в каком пункте договора и какими словами сказано именно это» - и сверь номер пункта и цитату с самим файлом договора, а не с пересказом модели. Нейросеть с той же уверенностью может назвать несуществующий пункт или пересказать условие наоборот; более полный разбор, что именно ИИ находит в договоре, а что пропускает, - в гайде про проверку договора нейросетью

Собираешь счёт, письмо клиенту или отчёт с цифрами. Проверяй суммы и даты отдельно от остального текста: попроси нейросеть выписать все числа документа одним списком с пометкой, из какой строки твоих исходных данных взято каждое - число без пометки источника рядом с ним не идёт в документ. Полный порядок сборки такого документа с проверкой на каждом шаге - в гайде про нейросеть для документов

Не хочешь спрашивать вручную на каждом шаге. Можно один раз задать нейросети правило само-проверки прямо в её настройках, и она будет уточнять источник сама, а не молчать - как это сделать в Claude, разобрано в гайде «Claude достал вопросами»

Если тема интересна шире одного случая

В гайде ChatGPT против Claude разобрано, чем модели отличаются в похожих задачах, а хаб про Claude Code собирает материалы про настройку самого инструмента

Источники

• Al Jazeera, 11.09.2026 - US lawyer cites fake witnesses in murder case, blames ChatGPT
• Khaleej Times, 12.09.2026 - Lawyer fined $5,000 after filing ChatGPT-made fake testimony in murder case
• ForkLog, 12.09.2026 - Lawyer Fined for Fabricated ChatGPT Testimony in Murder Case
• Greek City Times, 12.09.2026 - Lawyer Fined Used ChatGPT to Invent Witnesses in Murder Appeal
• NewsCord, 11.09.2026 - New Mexico Supreme Court Fines Stephen Aarons $5,000 for ChatGPT-Fabricated Witnesses: 20 outlets compared

Памятка: 3 проверки перед тем, как сдать ИИ-текст

Три вопроса, которые стоит задать нейросети до того, как текст уйдёт дальше тебя

Частые вопросы