Практика системного анализа · 5 минут
Два правила подходят одной заявке: как проверить таблицу решений LLM
Проверьте таблицу решений LLM по входам: отличите полное покрытие от единственного маршрута, найдите потерянное условие и не выдумайте приоритет правил.
Read this article in EnglishМодель превратила текст регламента в аккуратную таблицу маршрутов. Осталось проверить, может ли одна заявка попасть сразу в две очереди. Названия строк и отсутствие пустых ячеек этого не доказывают. Нужны входы, на которых условия пересекаются.
Пример учебный, данные вымышлены; вопрос сформулирован для разбора, не взят из сообщения читателя. Владелец процесса согласовал три правила: заявка с high_risk=true требует ручной проверки; заявка с high_risk=false и суммой не выше 100 идёт в стандартную очередь; при high_risk=false и сумме выше 100 нужна расширенная проверка. Сумма задана целым неотрицательным числом в условных единицах.
Отделить покрытие от единственности
LLM предложила упрощённые условия: «высокий риск», «сумма до 100 включительно», «сумма выше 100». У двух последних строк пропало ограничение high_risk=false. В результате рискованная заявка на 100 подходит двум правилам.
| high_risk | Сумма | Совпадений в ошибочной таблице | Ожидаемый маршрут |
|---|---|---|---|
| false | 99 | 1 | Стандартная очередь |
| false | 100 | 1 | Стандартная очередь |
| false | 101 | 1 | Расширенная проверка |
| true | 100 | 2 | Ручная проверка |
| true | 101 | 2 | Ручная проверка |
Таблица покрывает все эти входы, но не даёт единственного результата для двух строк. Нельзя исправить её произвольным порядком исполнения. Правило «срабатывает первая подходящая строка» изменило бы контракт; его должен отдельно подтвердить владелец процесса.
В согласованной версии условия взаимоисключающие. Для high_risk=true сумма не влияет на маршрут. Для false проверяется граница 100. Пропущенный high_risk и явный null отклоняются отдельно до маршрутизации; модель не вправе превращать их в false. Отрицательная сумма тоже не входит в допустимый входной набор.
Поручение модели и независимый расчёт
Попросите LLM сохранить источник каждого условия, вернуть число подходящих строк для каждого тестового входа и отдельно перечислить нулевые и множественные совпадения. Затем попросите показать минимальное изменение, из-за которого возник дефект: удаление high_risk=false из двух строк.
Рецензент пересчитывает условия по исходному правилу, не использует вердикт модели как ожидаемый результат. Полезно добавить high_risk=true и сумму 0: ручной маршрут должен сохраниться. Пропущенный ключ и null проверяются как два разных тела запроса с отказом до выбора очереди.
Замечание к ответу LLM можно записать так: «В строках стандартной и расширенной очереди утрачен критерий отсутствия высокого риска. Контрпример: true и 100 дают два совпадения. Вернуть условие и повторно проверить пять строк таблицы и недопустимые входы». Здесь есть фрагмент, критерий, доказательство и способ повторной проверки.
Граница этой приёмки: мы проверили выбор маршрута. Доставка задачи в очередь и её дальнейшее исполнение сюда не входят. Как отделить такие обещания от статуса, показано в проверке фоновой обработки; недостающий ключ и null раздельно рассматриваются при проверке обязательного поля.
Вопросы о таблице решений
Что не так со строкой true и 100?
В ошибочной таблице ей подходят правила высокого риска и стандартной суммы одновременно.
Достаточно ли проверить отсутствие непокрытых входов?
Нет. Отдельно требуется проверить единственность маршрута для допустимого входа.
Можно ли добавить приоритет первой строки?
Только после согласования такого правила; в исходном контракте его нет.
Равен ли null значению false?
Нет. В этом примере null и отсутствующий ключ отклоняются до маршрутизации.
Что осталось за пределами примера?
Фактическая доставка, обработка в очереди и результаты ручной проверки.
Автор: Иннокентий Бодров, автор Аналитической мастерской.