← Назад к блогу

Практика системного анализа · 5 минут

Два правила подходят одной заявке: как проверить таблицу решений LLM

Проверьте таблицу решений LLM по входам: отличите полное покрытие от единственного маршрута, найдите потерянное условие и не выдумайте приоритет правил.

Аналитическая мастерскаяRead this article in English

Модель превратила текст регламента в аккуратную таблицу маршрутов. Осталось проверить, может ли одна заявка попасть сразу в две очереди. Названия строк и отсутствие пустых ячеек этого не доказывают. Нужны входы, на которых условия пересекаются.

Пример учебный, данные вымышлены; вопрос сформулирован для разбора, не взят из сообщения читателя. Владелец процесса согласовал три правила: заявка с high_risk=true требует ручной проверки; заявка с high_risk=false и суммой не выше 100 идёт в стандартную очередь; при high_risk=false и сумме выше 100 нужна расширенная проверка. Сумма задана целым неотрицательным числом в условных единицах.

Отделить покрытие от единственности

LLM предложила упрощённые условия: «высокий риск», «сумма до 100 включительно», «сумма выше 100». У двух последних строк пропало ограничение high_risk=false. В результате рискованная заявка на 100 подходит двум правилам.

high_riskСуммаСовпадений в ошибочной таблицеОжидаемый маршрут
false991Стандартная очередь
false1001Стандартная очередь
false1011Расширенная проверка
true1002Ручная проверка
true1012Ручная проверка

Таблица покрывает все эти входы, но не даёт единственного результата для двух строк. Нельзя исправить её произвольным порядком исполнения. Правило «срабатывает первая подходящая строка» изменило бы контракт; его должен отдельно подтвердить владелец процесса.

В согласованной версии условия взаимоисключающие. Для high_risk=true сумма не влияет на маршрут. Для false проверяется граница 100. Пропущенный high_risk и явный null отклоняются отдельно до маршрутизации; модель не вправе превращать их в false. Отрицательная сумма тоже не входит в допустимый входной набор.

Поручение модели и независимый расчёт

Попросите LLM сохранить источник каждого условия, вернуть число подходящих строк для каждого тестового входа и отдельно перечислить нулевые и множественные совпадения. Затем попросите показать минимальное изменение, из-за которого возник дефект: удаление high_risk=false из двух строк.

Рецензент пересчитывает условия по исходному правилу, не использует вердикт модели как ожидаемый результат. Полезно добавить high_risk=true и сумму 0: ручной маршрут должен сохраниться. Пропущенный ключ и null проверяются как два разных тела запроса с отказом до выбора очереди.

Замечание к ответу LLM можно записать так: «В строках стандартной и расширенной очереди утрачен критерий отсутствия высокого риска. Контрпример: true и 100 дают два совпадения. Вернуть условие и повторно проверить пять строк таблицы и недопустимые входы». Здесь есть фрагмент, критерий, доказательство и способ повторной проверки.

Граница этой приёмки: мы проверили выбор маршрута. Доставка задачи в очередь и её дальнейшее исполнение сюда не входят. Как отделить такие обещания от статуса, показано в проверке фоновой обработки; недостающий ключ и null раздельно рассматриваются при проверке обязательного поля.

Вопросы о таблице решений

Что не так со строкой true и 100?

В ошибочной таблице ей подходят правила высокого риска и стандартной суммы одновременно.

Достаточно ли проверить отсутствие непокрытых входов?

Нет. Отдельно требуется проверить единственность маршрута для допустимого входа.

Можно ли добавить приоритет первой строки?

Только после согласования такого правила; в исходном контракте его нет.

Равен ли null значению false?

Нет. В этом примере null и отсутствующий ключ отклоняются до маршрутизации.

Что осталось за пределами примера?

Фактическая доставка, обработка в очереди и результаты ручной проверки.

Автор: Иннокентий Бодров, автор Аналитической мастерской.