Вы спрашиваете нейросеть про книгу, статью или закон, получаете красивый, уверенный ответ с названием, датой и цитатой. Потом проверяете, а такой книги нет. Хочется написать то, что вынесено в заголовок: «Ты втираешь мне какую-то дичь».
Это явление называют галлюцинацией. В обиходе его принимают за ложь, но между ними есть разница, и она важна для того, как с этим работать. Нейросеть не хочет вас обмануть: она делает то, чему её научили, а именно выдаёт наиболее правдоподобное продолжение текста. А иногда она действительно соглашается с вами, хотя «знает», что вы неправы.
Ниже разберём, откуда берутся выдумки, где они случаются чаще всего и какие приёмы помогают получить проверяемый ответ.
Причины выдумок и что с ними делать
Нейросеть не отличает факт от правдоподобного текста
Языковая модель учится предсказывать следующее слово на огромном количестве текстов. В этих текстах нет пометок «верно» и «неверно». Закономерности вроде правописания или расстановки скобок модель усваивает хорошо, а произвольные редкие факты, такие как дата рождения малоизвестного человека или название статьи, выучить по закономерностям нельзя. Поэтому она гадает. Так объясняют проблему исследователи OpenAI: галлюцинации они определяют как правдоподобные, но ложные утверждения. Чем реже факт встречается в обучающих текстах, тем выше риск ошибки.
Тесты поощряют угадывание
Вторая причина в том, как модели оценивают. Большинство тестов считает только долю правильных ответов. Пропуск вопроса даёт ноль, а угадывание хотя бы иногда даёт балл, поэтому моделям выгодно отвечать, даже когда они не уверены. Авторы работы сравнивают это с экзаменом с выбором ответа: пустой бланк гарантирует ноль, наугад можно получить балл. На тесте SimpleQA одна модель отказывалась отвечать в 52% случаев и ошибалась в 26%, а другая отказывалась в 1% случаев и ошибалась в 75%. Точность у них почти одинаковая (22% и 24%), но вторая гораздо чаще выдавала неверные ответы. Авторы предлагают штрафовать уверенные ошибки сильнее, чем признание неуверенности, и отмечают, что полной точности не будет никогда: часть вопросов не имеет ответа из-за нехватки данных или неоднозначности.
Иногда модель соглашается с вами, хотя «знает» ошибку
Отдельное явление это угодничество, или сикофантия: нейросеть соглашается с неверным утверждением пользователя. Если вы пишете «разве столица Австралии не Сидней?», модель может ответить «да, вы правы». У открытых моделей внутри есть сигнал «это утверждение неверно», но модель всё равно может согласиться. Существует небольшой набор элементов сети, которые участвуют и в угодничестве, и в выдаче заведомо ложных утверждений. Формулируйте вопросы нейтрально и не подсказывайте ответ.
Где модель ошибается чаще всего
Чаще всего выдумки появляются на редких фактах: даты, имена, названия работ, номера документов, точные цитаты и ссылки. Модель может назвать статью с правдоподобным заголовком и авторами, которой не существует, или привести цитату, которой нет в источнике. Ещё одно слабое место это события после даты, на которую заканчивается обучение модели: без поиска в интернете она отвечает по памяти. Чем выше цена ошибки (медицина, право, финансы), тем строже нужна проверка. Любой ответ с цифрой, датой или ссылкой считайте черновиком, пока не сверили с источником.
Уверенный тон нейросети ничего не говорит о том, насколько она права.
Редакция SpeShu.AI
Как проверить ответ, который выглядит слишком гладко
- Найдите названную работу, закон или документ в официальной базе, а не по пересказу нейросети
- Сверьте цитату с оригиналом: слово в слово
- Спросите о том же другими словами и сравните ответы
- Попросите модель назвать, что в ответе она знает точно, а что предполагает
- Проверьте дату и имена по независимому источнику
- Для цифр сверьте единицы измерения и год
- Если ссылка не открылась или заголовок не находится, считайте, что такого источника нет
Пять приёмов, которые снижают число выдумок
Все приёмы, кроме последнего, взяты из руководства Anthropic по снижению галлюцинаций. Там же прямо сказано: приёмы значительно снижают число выдумок, но не устраняют их полностью.
Разрешите говорить «не знаю»
Если не сказать этого явно, модель стремится дать ответ. В руководстве Anthropic рекомендуют прямо разрешать неуверенность и подсказывать формулировку отказа.
If you are not sure about any part of the answer, or the information is missing, say “I don’t have enough information to answer confidently” instead of guessing. Do not invent names, dates, numbers, links or quotes.
Просите цитаты, прежде чем отвечать
Для длинных документов лучше сначала вытащить дословные цитаты, а потом выполнять задачу. Если цитат не нашлось, модель должна честно об этом сообщить.
Below is a document in <document> tags. First extract the exact quotes that are most relevant to my question, word for word. If you cannot find relevant quotes, write “No relevant quotes found.” Then answer using only those quotes. My question: [QUESTION]
Требуйте подтверждение для каждого утверждения
Это ещё строже: для каждого утверждения нужна цитата, а если её нет, утверждение удаляется.
For each claim in your answer, find a direct quote from the document above that supports it. If you cannot find a supporting quote, remove the claim and mark the place with empty [] brackets.
Ограничьте источник вашим текстом
Use only the information in the provided document. Do not use your general knowledge. If the answer is not in the document, say so.
Это защищает от смешения фактов из документа с тем, что модель «помнит».
Запустите дважды и сравните
Этот приём тоже есть в руководстве Anthropic: повторите один запрос несколько раз и сравните результаты, расхождения подсказывают, что где-то выдумка. Он не дорогой и подходит для проверки дат, имён и цифр.
Что не поможет
Фраза «не выдумывай» сама по себе работает слабо. Модель не видит собственных ошибок, поэтому лучше давать ей условия проверки (цитата или «не найдено»), а не просто просьбу быть честной. Вопрос «ты уверен?» тоже ненадёжен: в ответ на сомнение модель часто меняет правильный ответ на неправильный из-за угодничества.
Как формулировать вопросы, чтобы не провоцировать согласие
Задавайте нейтрально: вместо «правда ли, что X?» пишите «что известно о X, и какие есть данные против?». Не пишите заранее ответ, который вы ожидаете. Если нужна критика вашей идеи, попросите прямо: «найди слабые места».
В SpeShu.AI можно задать один и тот же вопрос разным моделям и сравнить ответы: расхождение сразу показывает, что стоит проверить. Для типовых задач есть пресеты, а с вопросами про свежие события поможет поиск в интернете, если он доступен в выбранной модели. Подробнее, как формулировать запросы, мы разбирали в статье с примерами хороших промптов, а про инструменты поиска и загрузки страниц читайте в обзоре web search и web fetch.
Частые вопросы
Нейросеть правда врёт?
Обычно нет: она не хочет обмануть, а выдаёт правдоподобный текст и иногда ошибается. Но модель может согласиться с вашей ошибкой, хотя внутренне «видит» неверное утверждение: это называют угодничеством.
Почему нейросеть так уверенно выдумывает?
Уверенный стиль часть языка, который она выучила. Тон ответа не связан с тем, насколько модель знает факт.
Исчезнут ли галлюцинации в будущих моделях?
Они становятся реже, но, по словам авторов исследования OpenAI, точность никогда не достигнет 100%: часть вопросов не имеет ответа.
Как понять, что нейросеть выдумала?
Проверьте по первоисточнику, запустите запрос ещё раз и сравните ответы. Особенно подозрительны точные даты, номера, цитаты и ссылки.
Помогает ли поиск в интернете?
Да, он даёт модели свежие и проверяемые источники со ссылками, но и им нужно доверять осторожно: проверяйте, что страница действительно говорит то, что приписала ей нейросеть.
Можно ли доверять нейросети в медицине и праве?
Только как помощнику. Решения принимайте после проверки у специалиста и по первоисточникам.
Подарок читателям
Забирайте бесплатный гайд по текстовым задачам: в нём разобрано, как строить запросы, которые дают точный результат. Больше 100 готовых промптов и гайдов для новичков и профи лежат в нашем телеграм-канале, а обсудить задачи можно в комьюнити, где уже почти 20 000 участников.
Проверьте приём на своём вопросе
Задайте нейросети вопрос про малоизвестный факт, ответ на который вы можете проверить: например, про год выхода книги, которую вы читали. Спросите дважды, а потом добавьте разрешение сказать «не знаю». Сравните три ответа и увидите, как меняется поведение. SpeShu.AI собирает разные модели в одном окне, поэтому сравнивать их ответы на один и тот же вопрос можно без переключения между сервисами. Для новых пользователей действует скидка 50% на подписку, а с промокодом BLOG15 первый месяц выйдет ещё выгоднее.
