Представьте экзамен, где работы проверяют не преподаватели, а соседние студенты, учившиеся по тем же конспектам. Проверка быстрая, придирчивая и почти бесплатная. Но если сосед и автор одинаково заблуждаются в одном вопросе, ошибка получит зачёт.
Примерно так устроена одна из самых популярных практик в ИИ: модель оценивает ответы другой модели. Так сравнивают языковые модели, отбирают лучшие ответы при обучении и контролируют работу автономных агентов. Альтернатива одна: нанять тысячи людей, которые будут читать и оценивать каждый текст.
Ниже разберём, как это работает, какие ошибки у «судей» исследователи уже измерили, чем проверка агента агентом отличается от проверки текста и как использовать этот приём в обычной работе, не принимая согласие двух нейросетей за истину.
Как ИИ проверяет ИИ и где это ломается
Нейросеть-судья: как это устроено
Идея простая: проверяющей модели дают вопрос, один или два ответа и критерии оценки, а она выставляет баллы или выбирает лучший вариант. Такой подход называют LLM-as-a-judge, «языковая модель в роли судьи». В известной работе 2023 года, где его проверили на 3 000 голосов экспертов, сильный судья совпал с людьми более чем в 80% случаев на хорошо структурированных задачах. Два главных преимущества: масштаб и объяснимость. Судья обрабатывает тысячи ответов в час и пишет, почему выбрал вариант. Но по пересказу исследования корпорации RAND 2026 года, ни один судья не оказался одинаково надёжным на всех тестах: то, что хорошо работает на одной задаче, может подвести на другой.
Смещения: любовь к длине, порядку и «своему»
Исследователи описали несколько систематических ошибок судей. Позиционное смещение: в оригинальной работе большинство судей чаще выбирало ответ, стоящий первым. Смещение длины: судьи считают длинный ответ лучше, даже если он менее точен. Самопредпочтение: по свежим работам, модели склонны выше оценивать ответы своего же семейства. Есть и смещение стиля. В исследовании 2026 года судьи предпочитали ответ с разметкой в 73–97% случаев, а люди в небольшой проверке на 30 парах только в 57%. Авторы той же работы пишут, что способа, который снижал бы смещение длины у всех моделей сразу, пока нет. Эти данные нельзя считать окончательными: часть работ ещё не прошла рецензию, а выборки небольшие.
Агент проверяет агента: общий слепой угол
Когда проверяющий не оценивает текст, а проверяет работу другого агента, возникает новая проблема: коррелированные ошибки. Если оба агента обучены на похожих данных и одинаково «знают» неверный факт, они придут к согласию, и согласие будет выглядеть убедительно. В обзоре сравнения самопроверки, проверки несколькими агентами и внешних источников авторы пишут, что при коррелированных ошибках согласие не равно уверенности. Поэтому полезно привлекать модель из другого семейства. Попробовать можно в SpeShu.AI: например, пусть ответ написал GPT, а оценила Claude или Gemini, и посмотрите, какие замечания совпадут. Совпавшие замечания стоит принимать всерьёз, расходящиеся проверять отдельно.
Обман проверяющего: когда агент учится угождать
Если ответ оценивает модель, а модель-автор обучается получать от неё высокие баллы, возникает reward hacking: автор находит лазейки вместо настоящего качества. В статье о проверке агентов для программирования описан такой пример: статичные судьи поощряли чрезмерно длинный код, и агенты учились раздувать его, чтобы повысить оценку. Решением стал «интерактивный судья», который оценивает не текст кода, а поведение программы при запуске. Авторы той же работы делают вывод, что идеального проверяющего не бывает: пока агент оптимизируется под метрику, он будет искать способы её обойти, поэтому проверку нужно постоянно обновлять.
Второй проверяющий ничего не добавляет, если у него те же слепые зоны, что у автора.
Редакция SpeShu.AI
Как проверять результат ИИ другим ИИ
- Не используйте одну и ту же модель как автора и проверяющего
- Берите проверяющего из другого семейства моделей
- Поменяйте порядок ответов местами и сравните оценки
- Задайте критерии оценки, а не просьбу «оцени качество»
- Просите цитату и источник для каждого замечания
- Не принимайте длину и красивое оформление за качество
- Проверьте судью на 20–30 примерах, которые оценили люди
- Оставьте человека на финальном решении
Три уровня проверки
Первый уровень: тесты и факты. Если результат можно проверить автоматически, так и делайте. Для программ это тесты: в обзоре по обучению агентов для программирования их называют надёжным и легко масштабируемым сигналом. Для текста это сверка с документом, цифрами и ссылками.
Второй уровень: другая модель. Подходит, когда проверка по правилам невозможна: стиль, структура, логика, полнота. Берите модель из другого семейства, давайте ей критерии и просите указывать цитаты.
Третий уровень: человек. Финальное решение по важным вопросам: деньги, право, здоровье, публикации. Нейросеть-проверяющий сужает список мест, где нужен человек, но не заменяет его.
Что показывают исследования
Работа о судьях 2023 года показала высокое согласие с людьми, но описала позиционное смещение и смещение длины. Вопрос о смещении к собственным ответам в ней остался открытым из-за малого объёма данных. Более поздние исследования нашли предпочтение моделей своего семейства и даже функционально похожих моделей.
Обзор 2026 года о проверке агентов называет главный риск «разрывом верификации»: генерировать результат становится проще, чем надёжно проверять его. Отдельное направление исследований изучает, можно ли доверять самому проверяющему, и показывает, что мера доверия зависит от задачи.
Практический вывод для читателя: полезно знать не только, что проверяющая модель говорит, но и как она ошибается.
Как проверить самого проверяющего
Возьмите 20–30 примеров, которые оценили люди. Дайте их проверяющей модели и сравните оценки с человеческими. Поменяйте порядок ответов местами и убедитесь, что оценка не изменилась. Добавьте в набор длинный и короткий ответы с одинаковым содержанием и проверьте, не получает ли длинный лишние баллы. Если расхождения велики, меняйте критерии или модель.
Это занимает час, а избавляет от сюрпризов, когда проверяющий выставляет высокие баллы плохим ответам.
Как использовать это в обычной работе
Такой подход годится для черновой проверки текста, перевода, договора или кода. Для этого подойдут Claude Sonnet 5, GPT-6 и Gemini 3.1 Pro: запустите задачу в одной модели, а проверку в другой. В SpeShu.AI все три доступны в одном окне, поэтому сравнить замечания можно без переключения между сервисами.
Если замечания двух моделей совпали, проверьте это место в первую очередь. Если расходятся, откройте источник и решите сами.
Частые вопросы
Можно ли доверять оценке одной нейросети?
Как первому фильтру да, как окончательному вердикту нет. Судья может предпочитать длинные ответы, первый вариант или стиль своей модели. Для важных решений проверяйте факты и привлекайте человека.
Почему не использовать одну и ту же модель для автора и проверяющего?
У неё одинаковые слепые зоны, и она склонна оценивать свои ответы выше. Поэтому проверяющего лучше брать из другого семейства моделей.
Что такое reward hacking?
Это ситуация, когда нейросеть учится получать высокую оценку, а не решать задачу. Например, агент раздувает код, потому что проверяющий считает длинный код лучше. Поэтому проверку нужно постоянно обновлять.
Работает ли проверка ИИ другим ИИ для программирования?
Для кода есть более надёжный путь: автоматические тесты. Нейросеть-проверяющий хороша для оценки читаемости и структуры, но корректность лучше проверять запуском.
Сколько примеров нужно, чтобы проверить судью?
Для первой оценки хватит 20–30 примеров с человеческими оценками. Для серьёзных систем нужно больше, но уже этот объём показывает грубые расхождения.
Заменит ли это редактора или аудитора?
Нет. Нейросеть ускоряет первичную проверку и сужает список мест для внимания, но решение и ответственность остаются за человеком.
Попробуйте провести фактчекинг через SpeShu.AI
Получите доступ ко всем упомянутым моделям в одном окне. Начните с той, которая лучше подходит под вашу задачу:
— Claude Sonnet 5 — для сложного анализа и проверки фактов
— GPT-6 — для универсальных задач
— Gemini 3.1 Pro — для работы с поиском и фактами
✓ Без VPN и зарубежной карты
✓ Оплата в рублях по СБП
Подарок читателям
Больше 100 готовых промптов и гайдов для работы с нейросетями лежат в нашем Telegram-канале: https://t.me/+-3jM3rOkhAM4NzYy. Обсудить проверку ИИ и поделиться находками можно в комьюнити, где уже почти 20 000 участников: https://t.me/+u7uYVr-AD3M3Mzhi. Подписки на ChatGPT, Claude и Gemini по отдельности легко выходят в $80–90 в месяц. В SpeShu.AI собраны модели разных разработчиков в одном кабинете с оплатой в рублях, и вы платите только за то, что сгенерировали. Модели SpeShu.Claude и SpeShu.GPT работают из России и защищают от внезапных блокировок зарубежных профилей.
