Как проверить ответ нейросети: почему она ошибается и что делать

Нейросеть ошибается, потому что не ищет правду, а продолжает текст наиболее правдоподобно — и потому её ответ проверяют так же, как работу нового сотрудника: числа пересчитывают, факты сверяют с источником, а выводы — с исходными данными. Особенно внимательно — названия, даты, цифры, цитаты и ссылки: их модель может выдумать уверенным тоном. Такие выдумки называют галлюцинациями.

Почему нейросеть уверенно ошибается

Языковая модель предсказывает следующее слово по огромному количеству прочитанных текстов. Если в её «опыте» мало данных о теме, она всё равно пишет гладкий ответ — правдоподобный, но не обязательно верный. Она не знает, чего не знает, и не говорит «не уверена», если её об этом не попросить. Ещё одна причина — длинный разговор: начало переписки выпадает из её «окна», и она забывает условия задачи.

Как проверять

Числа — пересчитать самому или в таблице: модель часто ошибается в арифметике с большими числами. Факты — попросить источник и открыть его: ссылка может не существовать или говорить другое. Выжимку из документа — сверить пару утверждений с текстом: нет ли там того, чего в документе не было. Код — запустить на примерах, включая неудобные. Полезный приём — контрольный вопрос: спросить о том же другими словами и сравнить ответы.

Как снизить ошибки заранее

Давать материал, а не надеяться на память модели: «ответь по этому документу». Просить отмечать, чего нет в тексте: «если в документе этого нет — так и скажи». Разбивать большую задачу на шаги и проверять каждый. Задавать формат ответа — таблицу с колонкой «источник», чтобы проверка шла быстрее.

Где нейросети можно доверять больше

Черновики писем, переформулировка, структура текста, идеи, перевод общего смысла, объяснение понятной темы — там ошибка заметна и дешева. Меньше доверия — юридическим и медицинским вопросам, свежим новостям, точным цифрам и решениям, за которые отвечаете вы.

Частые вопросы

Почему нейросеть выдумывает факты?

Языковая модель не ищет информацию в базе фактов, а составляет наиболее правдоподобный текст. Когда данных мало, она заполняет пробелы похожими на правду, но выдуманными деталями.

Как понять, что нейросеть ошиблась?

Сверить ключевые утверждения с источником, пересчитать числа, открыть приведённые ссылки и задать тот же вопрос другими словами. Расхождения в ответах — повод проверить внимательнее.

Можно ли попросить нейросеть не выдумывать?

Можно снизить риск: дать документ и попросить отвечать только по нему, а если ответа в документе нет — так и написать. Полностью исключить ошибки нельзя, поэтому важные ответы всё равно проверяют.

Где потренироваться

Как устроена языковая модель, объясняет урок «Что такое языковая модель», а почему она забывает начало разговора — урок «Контекст и память» курса «ИИ на практике». Задачи без регистрации — в тренажёре по нейросетям. Какие задачи нейросети решают хорошо — в статье «Какие задачи можно решать с нейросетью».