← Назад к блогу

LLM для аналитика · 5 минут

Как сравнить две LLM на одной задаче аналитика: рубрика, ошибки и стоимость принятого результата

Сравнивать две LLM нужно на одинаковом пакете источников и по заранее определённой рубрике.

Сравнивать две LLM нужно на одинаковом пакете источников и по заранее определённой рубрике. Красивый ответ, скорость генерации и количество токенов не показывают, можно ли принять результат. Отдельно проверяйте завершённость, существенные ошибки и время человека на исправление.

Для разбора рубрики возьмём два авторских ответа A и B на одну задачу. Это учебные образцы, не прогоны моделей. У них нет измеренных задержек и стоимости; сравнивать по ним продукты нельзя.

Одна задача и фиксированный вход

Источник S01: «Оператор создаёт заявку. Руководитель подтверждает заявку. При отказе руководитель указывает причину». Источник S02: «Срок подтверждения пока не согласован».

Задача: «Составь поток обработки заявки. Для каждого шага укажи источник. Отдельно перечисли неизвестные условия. Не добавляй сроки, автоматические решения и роли, которых нет в пакете».

Учебный ответ A: «Оператор создаёт заявку; руководитель подтверждает либо отклоняет с причиной, S01. Если руководитель не ответил за 24 часа, заявка подтверждается автоматически».

Учебный ответ B: «Оператор создаёт заявку, S01. Руководитель подтверждает заявку либо отклоняет её с указанием причины, S01. Срок решения не согласован, S02. Условия повторного рассмотрения в источниках отсутствуют».

Рубрика до просмотра ответов

КритерийБаллыПравило
Полнота0–2По одному баллу за создание заявки и решение руководителя с причиной отказа
Трассируемость0–2Один балл за источники шагов, один за источник известного пробела по сроку
Сохранение неизвестного0–2Два за явно несогласованный срок без подмены; один за отсутствие выдуманного срока без явной фиксации пробела; ноль за подмену
Отсутствие выдуманного поведения0–2Два, если нет новых обязательных шагов; ноль при наличии такого шага

Максимум — восемь. Дополнительный стоп-критерий: неподтверждённое автоматическое согласование делает ответ неприемлемым независимо от суммы. Он нужен потому, что потеря контроля не компенсируется хорошим оформлением.

Оценка учебных ответов

A получает 2 за полноту, 1 за трассируемость, 0 за неизвестное и 0 за отсутствие выдуманного поведения: 3 из 8. Введены 24 часа и автоматическое подтверждение. Срабатывает стоп-критерий, принимать ответ нельзя.

B получает 2 + 2 + 2 + 2: 8 из 8. Он сохранил все шаги и указал пробел по сроку. Права доступа, изменение заявки и уведомления требуют отдельной проработки перед реализацией.

Для общего вывода о качестве модели повторите сравнение на нескольких задачах. Этот пример показывает, как применять баллы и стоп-критерий к одному ответу.

Как превратить упражнение в реальное сравнение

Сохраните точные идентификаторы моделей и версий, дату, входы, инструкцию, настройки генерации, доступные инструменты, ограничения и сырые ответы. Если один сервис использует поиск, а второй нет, это уже сравнение разных рабочих конфигураций, а не только моделей. Укажите это явно.

Заранее определите несколько задач и число повторов, одинаковое для кандидатов. Скрывайте названия моделей от оценивающего, если это возможно. Сначала проверяйте наличие завершённого результата и отсутствие технического обрыва, затем применяйте рубрику. Для спорного балла сохраняйте комментарий и основание.

Стоимость принятого результата

Считайте отдельно расходы API, время ожидания и минуты человека на проверку и исправление. Метрика для партии: все учтённые расходы партии, делённые на число принятых результатов. При нуле принятых результатов значение не определяется; не заменяйте его нулём.

Если переводите время человека в деньги, заранее укажите ставку и единицы. В текущем учебном разборе время и расходы UNKNOWN, поэтому числового сравнения экономики нет.

Сохраните оба ответа до выставления баллов. При разборе начинайте со стоп-критерия: автоматическое подтверждение из A нельзя принять за полезную инициативу. Затем пройдите проверку завершённости ответа и сверку утверждений с источниками.

Вопросы по разбору

Как обеспечить одинаковые условия для двух моделей?

Зафиксируйте источники, инструкцию, настройки, инструменты и ограничения. Разный доступ к поиску означает сравнение разных рабочих конфигураций.

Почему A получает 3 из 8, но всё равно неприемлем?

В нём есть неподтверждённое автоматическое согласование через 24 часа. Этот стоп-критерий важнее суммы баллов за полноту и ссылки.

Оценка B 8 из 8 доказывает готовность разработки?

Нет. Она относится к узкой рубрике обработки исходников. Требования к доступу, изменению заявки и уведомлениям ещё не описаны.

Как считать стоимость принятого результата?

Разделите расходы всей партии на число принятых результатов. Включайте время проверки и исправлений по заранее выбранной ставке; при нуле принятых результатов метрика не определена.

Можно ли выбрать модель по ответам A и B из статьи?

Нет. Это авторские учебные образцы. Для выбора нужны реальные сохранённые прогоны кандидатов на нескольких задачах с версиями моделей и затратами.

Автор: Иннокентий Бодров, автор Аналитической мастерской.