← Назад к блогу

LLM для аналитика · 5 минут

Выдуманные бизнес-правила в ответе LLM: как заметить правдоподобную подмену

Выдуманное бизнес-правило часто выглядит как полезная конкретизация: модель добавляет сумму возврата, срок проверки или исключение для VIP-клиентов.

Выдуманное бизнес-правило часто выглядит как полезная конкретизация: модель добавляет сумму возврата, срок проверки или исключение для VIP-клиентов. Обнаружить подмену можно, если для каждого такого условия требовать источник и отдельно хранить предложения аналитика. Правдоподобие не заменяет решение владельца процесса.

В учебной инструкции о возвратах нет сумм, сроков и VIP-исключений. Добавим их в ошибочный ответ и проверим, как четыре правдоподобных условия меняют процесс. Инструкция и ответ составлены автором.

Что дано в источнике

Принятая инструкция R01 содержит три правила:

  • R01.1: «Оператор регистрирует заявку на возврат».
  • R01.2: «Финансовый специалист проверяет основания».
  • R01.3: «После решения клиент получает уведомление».

В пакете нет денежных порогов, сроков проверки, способа отправки уведомления и отдельной категории VIP. Отсутствие этих сведений важно сохранить при подготовке требований.

Учебный ошибочный результат: «Возвраты до 3000 рублей выполняются автоматически. VIP-клиенту возврат одобряется без проверки. Финансовый специалист отвечает за остальные заявки в течение 24 часов. Клиент получает SMS».

Разбор внедрённых правил

ДобавлениеЧто есть в R01Что делать
Автоматическое выполнение до 3000 рублейТолько регистрация и финансовая проверкаУдалить из принятого потока; оформить отдельное предложение
VIP без проверкиРоль VIP не описанаЗапросить основание исключения
Срок 24 часаСрока нетОставить открытый вопрос об ожидании клиента и SLA
Канал SMSУказано уведомление без каналаУточнить канал и условия его использования

Здесь четыре неподтверждённых добавления. Первые два также меняют контроль процесса: они позволяют обойти проверку оснований для части заявок. Поэтому нельзя принять их как «безобидную детализацию» даже при удобном интерфейсе.

Поток возврата без четырёх добавленных условий

«Оператор регистрирует заявку. Финансовый специалист проверяет основания. После решения клиент получает уведомление. В имеющейся инструкции не определены сроки проверки, канал уведомления и исключения из проверки. До их согласования автоматическое выполнение возвратов и отдельный VIP-маршрут не входят в требования».

Такая редакция не обещает, что проверка обязательна навсегда или что исключения недопустимы. Она фиксирует текущие основания и границу доступных сведений. Владелец может добавить автоматизацию позднее, но это будет новое решение с собственными условиями и проверками.

Три вопроса, которые полезнее общего запроса «проверь галлюцинации»

Какая точная фраза источника поддерживает этот порог? Кто утвердил исключение? Что будет в системе, если предположение неверно? Ответ «обычно так делают» не подходит ни к одному вопросу.

Для денежного порога дополнительно проверьте валюту, единицы, включённость границы и порядок пересчёта. Для срока — начало отсчёта, рабочее или календарное время и зависимость от внешнего решения. Для исключения — критерий отнесения, полномочия и аудит.

В R01 нет ответов на эти вопросы. Передайте владельцу четыре замечания вместе с трёхшаговым потоком: регистрация, проверка оснований, уведомление.

Как снизить вероятность подмены

Перед генерацией разделите выход на «правила из источника», «предложения» и «неизвестное». Запретите переносить предложение в основной поток без ссылки на решение. Для каждой цифры и исключения потребуйте ID источника.

После генерации проверьте не только названные источники, но и полноту сохранения исходных шагов. Иногда модель добавляет срок и одновременно убирает регистрацию заявки: отдельная проверка новых правил этого не заметит. В R01 все три исходных шага должны оставаться прослеживаемыми.

Проверяющему нужны R01 и спорный ответ, а не объяснение того, почему автор ответа считает его правильным. Проверьте каждое условие по матрице утверждений и источников. Если владелец утвердит порог или исключение, запишите это в журнал решений.

Вопросы по разбору

Как заметить выдуманный денежный порог?

Найдите источник суммы, валюты и знака сравнения. В R01 нет порога 3000 рублей, поэтому автоматический возврат не входит в принятый поток.

Почему VIP-исключение требует отдельного решения?

Оно позволяет обходить финансовую проверку, а инструкция не описывает VIP-статус и соответствующие полномочия.

Можно ли принять срок 24 часа как разумный?

Разумность не делает его обязательством. Владелец должен согласовать срок, начало отсчёта и календарь, прежде чем он попадёт в требования.

Как исправить ответ без нового регламента?

Верните три шага R01: оператор регистрирует заявку, финансовый специалист проверяет основания, клиент получает уведомление. Неизвестные условия вынесите в вопросы.

Как проверить, что модель не потеряла исходные шаги?

Свяжите каждый шаг исправленного потока с R01.1–R01.3. Отдельно проверьте новые условия: сохранение старых шагов не исключает появления выдуманных.

Автор: Иннокентий Бодров, автор Аналитической мастерской.