← Назад к блогу

Практика системного анализа · 5 минут

LLM проверяет требования: отдельно посчитайте пропуски и ложные тревоги

Оцените LLM-проверяющего по размеченным текстам: отдельно пропуски дефектов и ложные тревоги, знаменатели, спорные эталоны и доказательство замечания.

Аналитическая мастерскаяRead this article in English

Проверяющий агент отклонил три текста из восьми. По этому числу нельзя понять, хорошо ли он находит дефекты. Возможно, он обнаружил три ошибки. Возможно, помешал принять три корректных текста. Аналитику нужна разметка исходных примеров, с которой можно сопоставить каждый вердикт.

Ниже вымышленные учебные данные. Ответы проверяющего заданы для расчёта, реальный запуск модели не проводился. Вопрос сформулирован редакцией, не получен от читателя. Человек заранее пометил D1–D4 как тексты с одним дефектом каждый, а C1–C4 как корректные. Один вердикт относится к одному тексту; классификация бинарная: принять или отклонить.

Сопоставить вердикт с известным дефектом

В заданном результате агент отклонил D1, D3 и C2. Остальные пять текстов он принял. Для корректного текста отклонение считается ложной тревогой; принятие дефектного текста считается пропуском.

Исходная группаАгент отклонилАгент принял
С дефектомD1, D3: два обнаруженияD2, D4: два пропуска
Без дефектаC2: одна ложная тревогаC1, C3, C4: три верных принятия

Всего верных решений пять из восьми. Эта общая доля скрывает важное для приёмки: агент пропустил половину заранее размеченных дефектных текстов. Он также отправил на доработку один корректный. Обе ошибки нужно учитывать отдельно, даже если итоговая оценка выглядит приемлемой.

Если считать долю найденных дефектных текстов, получится 2/4. Если считать, сколько отклонений были обоснованы, получится 2/3. Знаменатели различаются. Эти отношения описывают только наш маленький заданный набор; переносить их на рабочий поток или на другую модель нельзя.

Что должен содержать сам отказ

Попросите LLM-проверяющего для каждого отклонения назвать точный фрагмент, нарушенный критерий, доказательство и повторную проверку. Фраза «требование недостаточно точное» не позволяет отличить найденный дефект от общей придирки. Для C2 человек должен увидеть, почему агент счёл корректный текст неправильным.

При ручной сверке сохраняйте как ложные тревоги, так и пропуски. Не вычёркивайте C2 из набора только потому, что модель убедительно обосновала отказ. Если эталонная разметка действительно спорная, вынесите запись в отдельную группу нерешённых случаев до пересмотра результата. Не подменяйте известный ответ вердиктом проверяемого агента.

Единица учёта здесь важна. В тексте может быть несколько независимых дефектов, а агент может заметить только один. Тогда бинарный вердикт «отклонить» уже не измеряет полноту найденных дефектов. Для такого набора понадобятся отдельные ID дефектов и сопоставление находок с ними. Наш расчёт этого не проверяет.

В карточке оценки укажите версию критериев, входы, эталон, ответы и решение человека по каждому расхождению. Контрольный набор можно развивать по проверке регрессии промпта. А требование к доказательству вердикта связано с проверкой ответа по источникам.

Вопросы об ошибках проверяющего

Сколько дефектных текстов агент пропустил?

Два: D2 и D4 из четырёх заранее размеченных дефектных текстов.

Сколько было ложных тревог?

Одна: отклонение корректного текста C2.

Почему 2/4 и 2/3 означают разное?

Первое отношение использует все дефектные тексты, второе все отклонения агента.

Это измерение реальной LLM?

Нет. Вердикты заданы как учебный вход для проверки расчёта.

Можно ли так считать отдельные дефекты внутри текста?

Нет. Для нескольких дефектов нужны их идентификаторы и сопоставление каждой находки.

Автор: Иннокентий Бодров, автор Аналитической мастерской.