← Назад к блогу

LLM для аналитика · 5 минут

Как проверить ответ LLM по исходным документам: матрица утверждений вместо общего впечатления

Чтобы проверить ответ LLM по документам, разбейте его на отдельные утверждения и для каждого найдите точное основание.

Чтобы проверить ответ LLM по документам, разбейте его на отдельные утверждения и для каждого найдите точное основание. Ссылка на документ целиком не доказывает конкретный вывод. Различайте подтверждение, противоречие, отсутствие сведений и предложение, которое ещё не стало правилом.

В учебном ответе про экспорт только один вывод из четырёх подтверждён документами. Ответ составлен автором, чтобы показать три разных ошибки: непринятое предложение, придуманную реакцию на лимит и необоснованное расширение доступа.

Два источника и ответ с внедрёнными ошибками

D01, согласованная спецификация экспорта, версия 1:

  • D01.1: «Отчёт доступен роли analyst».
  • D01.2: «Максимум 500 строк за один запрос».
  • D01.3: «Экспорт запускается вручную».

D02, черновик предложения команды:

  • D02.1: «Предлагаем добавить еженедельную отправку отчёта по email. Решение владельца пока не получено».

Учебный ответ: «Аналитик может выгрузить до 500 строк. Отчёт автоматически отправляется по email каждую неделю. При превышении лимита данные обрезаются до 500 строк. Руководитель также имеет доступ к экспорту».

В этом абзаце четыре утверждения. Они выглядят одинаково уверенно, но имеют разный доказательный статус.

Матрица проверки

IDУтверждениеОснованиеСтатус
C01Analyst может выгрузить до 500 строкD01.1, D01.2Подтверждено в границах роли и лимита
C02Автоматическая еженедельная email-отправка уже действуетD02.1Предложение выдано за принятое правило; текущая спецификация описывает ручной запуск
C03При превышении данные обрезаютсяНетНе подтверждено: реакция на превышение не определена
C04Руководитель тоже имеет доступНетНе подтверждено: такая роль не названа

Для C04 нельзя заменить статус на «руководителю запрещён доступ». Исходник не объясняет наследование ролей и не даёт полного описания модели авторизации. Корректный вывод: имеющихся сведений недостаточно, нужно уточнение.

С C03 та же логика: лимит не задаёт способ его применения. Система может отказать, предложить фильтр или пагинацию. Выбор конкретного поведения требует дополнительного решения.

Исправленный ответ

«Согласованная версия 1 описывает ручной экспорт для роли analyst с лимитом 500 строк на запрос. Еженедельная email-рассылка предложена в D02, но ещё не принята. Поведение при превышении лимита и права руководителя в переданном пакете не определены. Эти два вопроса нужно адресовать владельцам API и доступа».

В этой редакции каждое утверждение имеет статус: принятое правило, предложение или вопрос владельцу.

Как организовать проверку большого ответа

Сначала заморозьте набор источников: ID, версия, дата, статус и раздел. Попросите LLM вернуть короткие атомарные утверждения с цитатами. Сверьте цитаты с документом и проверьте, следует ли из них вывод.

Затем ищите скрытые добавления: «всегда», «автоматически», числовой порог, новый участник, код ошибки или срок. Такие слова часто превращают общее описание в обязательство. Модель может верно процитировать фразу и всё равно добавить к ней неподтверждённую причинную связь.

Неизвестное не равно ошибке системы. Оно означает, что пакет источников не позволяет принять решение. Если два принятых документа противоречат друг другу, не выбирайте более удобный: оформите конфликт и владельца его разрешения.

Сколько утверждений выдержали сверку с D01 и D02

Из четырёх утверждений одно подтверждено, одно выдаёт предложение за правило, два не имеют основания. Такой подсчёт описывает конкретный ответ. Для оценки модели понадобится набор задач и повторов.

Сохраните D01, D02, исходный и исправленный ответы рядом с матрицей C01–C04. Для большого проекта их можно включить в System Context Pack — пакет контекста проекта. Неразрешённые противоречия вынесите в Review Findings — список замечаний с основаниями и следующим действием.

Вопросы по разбору

Достаточно ли ссылки на документ для проверки вывода?

Нет. Нужны точный фрагмент и проверка того, что он поддерживает утверждение. D02.1 подтверждает предложение рассылки, но не его принятие.

Неупомянутая роль автоматически лишена доступа?

В этом пакете нельзя сделать такой вывод. C04 не подтверждено, но полная модель авторизации в источниках не описана.

Лимит 500 строк означает обрезку результата?

Нет. D01 задаёт предел, но не реакцию на превышение. Обрезка, отказ и пагинация остаются вариантами для согласования.

Как поступить с двумя противоречащими документами?

Сохраните оба основания и статусы документов, оформите конфликт и назначьте владельца решения. Не выбирайте удобный ответ молча.

Что показал разбор C01–C04?

Подтверждено одно утверждение. Ещё одно подменяет предложение правилом, два не имеют основания. Это результат учебного ответа, не оценка частоты ошибок моделей.

Автор: Иннокентий Бодров, автор Аналитической мастерской.