ИИ пишет «уверен на 95%». Этому числу можно доверять?

В поддержку приходит сообщение: «После продления подписки не могу войти в аккаунт».

ИИ должен определить, кому передать обращение: специалистам по оплате или технической поддержке. Он отвечает:

Техническая поддержка. Уверенность — 95%.

Выглядит удобно. Можно установить правило: если уверенность выше 90%, обращение отправляется автоматически. Остальное проверяет сотрудник.

Но прежде чем вводить такое правило, стоит выяснить, откуда взялись эти 95%.

Если мы просто попросили языковую модель выбрать отдел и написать свою уверенность, число появилось как часть ответа. Модель сформировала его так же, как слова «техническая поддержка». Это ещё не результат проверки, показывающей, что в похожих случаях она права в 95 случаях из ста.

В конкретном продукте процент может быть рассчитан иначе: например, отдельным механизмом, который проверяли на прошлых обращениях. По внешнему виду ответа этого не узнать. Поэтому первый вопрос к такой функции: как получено число и на каких данных проверено его значение?

Вернёмся к сообщению клиента. В нём есть две зацепки. «Не могу войти» похоже на техническую проблему. «После продления подписки» может указывать на оплату или активацию доступа. ИИ выбрал одну версию, но красивое число рядом не добавило недостающих сведений.

При этом самооценку модели не стоит сразу считать бесполезной. Исследователи находили условия, в которых высказанная моделью уверенность помогала оценивать правильность ответов. В других экспериментах модели проявляли излишнюю уверенность, а результаты зависели от задания и способа запроса. Переносить такую оценку в свой продукт без проверки нельзя. Об этом — работы Just Ask for Calibration и Can LLMs Express Their Uncertainty?.

Как провести проверку на нашей поддержке?

Возьмём архив обращений, для которых сотрудники уже установили правильный отдел. Среди них должны быть и простые случаи, и такие неоднозначные сообщения, как наше. Дадим ИИ прочитать исходные обращения, не показывая правильные ответы, и попросим выбрать отдел и указать уверенность.

Затем отдельно посмотрим на обращения с оценкой около 95%. Если в достаточно большой группе доля правильных решений близка к 95%, самооценка соответствует результатам. Если правильных решений только 70%, модель переоценивает себя.

Такое соответствие называют калибровкой. Она показывает, насколько заявленной уверенности можно доверять на множестве похожих случаев. Для одного конкретного обращения даже хорошо проверенные 95% не являются гарантией. Определение и методы проверки калибровки рассматриваются в работе On Calibration of Modern Neural Networks.

Есть ещё одна тонкость. Допустим, ИИ пишет «95%» почти на каждом обращении и действительно правильно распределяет примерно 95% из них. Число выглядит правдоподобно, но не помогает находить ошибки: почти все обращения получают одну и ту же оценку.

Для автоматической маршрутизации нам нужно проверить ещё и другое: ошибается ли система реже в тех случаях, которые сама считает более надёжными? Если нет, правило «всё выше 90% отправлять автоматически» мало что даёт.

Поэтому я бы сначала проверил такое правило на истории обращений. Сколько сообщений оно отправило бы без человека? Сколько из них попало бы не в тот отдел? Насколько сократило бы ручную работу? Выбрав правило на одной части архива, проверил бы его на другой, которую не использовал при выборе.

И отдельно посмотрел бы на цену ошибки. Отправить обращение соседнему отделу — обычно исправимая неприятность. Автоматически отказать клиенту в помощи — уже другое решение. Один и тот же процент не делает оба действия одинаково приемлемыми.

Для нашего сообщения можно предусмотреть более полезный следующий шаг: проверить, активен ли доступ после продления. Если система не имеет права или возможности это сделать, передать обращение сотруднику, обозначив обе возможные причины. Неопределённость иногда лучше уменьшать дополнительной проверкой, чем пытаться выразить её более точным числом.

После запуска проверку придётся повторять. Новые тарифы, изменения продукта и другие формулировки жалоб могут изменить результаты. Особенно важно перепроверять систему после замены модели или инструкции, по которой она работает.

Увидев «уверен на 95%», я бы хотел знать: «Когда эта система так говорит на наших обращениях, как часто она действительно права?» Пока ответа нет, процент остаётся неподтверждённой оценкой. Когда проверка есть, он может стать полезным основанием для распределения работы между ИИ и человеком.

Источники проверены 25 октября 2026 года. Числовой пример служит объяснением и не описывает результаты реального сервиса.