LLM для аналитика · 5 минут
Как сравнить две LLM на одной задаче аналитика: рубрика, ошибки и стоимость принятого результата
Сравнивать две LLM нужно на одинаковом пакете источников и по заранее определённой рубрике.
Сравнивать две LLM нужно на одинаковом пакете источников и по заранее определённой рубрике. Красивый ответ, скорость генерации и количество токенов не показывают, можно ли принять результат. Отдельно проверяйте завершённость, существенные ошибки и время человека на исправление.
Для разбора рубрики возьмём два авторских ответа A и B на одну задачу. Это учебные образцы, не прогоны моделей. У них нет измеренных задержек и стоимости; сравнивать по ним продукты нельзя.
Одна задача и фиксированный вход
Источник S01: «Оператор создаёт заявку. Руководитель подтверждает заявку. При отказе руководитель указывает причину». Источник S02: «Срок подтверждения пока не согласован».
Задача: «Составь поток обработки заявки. Для каждого шага укажи источник. Отдельно перечисли неизвестные условия. Не добавляй сроки, автоматические решения и роли, которых нет в пакете».
Учебный ответ A: «Оператор создаёт заявку; руководитель подтверждает либо отклоняет с причиной, S01. Если руководитель не ответил за 24 часа, заявка подтверждается автоматически».
Учебный ответ B: «Оператор создаёт заявку, S01. Руководитель подтверждает заявку либо отклоняет её с указанием причины, S01. Срок решения не согласован, S02. Условия повторного рассмотрения в источниках отсутствуют».
Рубрика до просмотра ответов
| Критерий | Баллы | Правило |
|---|---|---|
| Полнота | 0–2 | По одному баллу за создание заявки и решение руководителя с причиной отказа |
| Трассируемость | 0–2 | Один балл за источники шагов, один за источник известного пробела по сроку |
| Сохранение неизвестного | 0–2 | Два за явно несогласованный срок без подмены; один за отсутствие выдуманного срока без явной фиксации пробела; ноль за подмену |
| Отсутствие выдуманного поведения | 0–2 | Два, если нет новых обязательных шагов; ноль при наличии такого шага |
Максимум — восемь. Дополнительный стоп-критерий: неподтверждённое автоматическое согласование делает ответ неприемлемым независимо от суммы. Он нужен потому, что потеря контроля не компенсируется хорошим оформлением.
Оценка учебных ответов
A получает 2 за полноту, 1 за трассируемость, 0 за неизвестное и 0 за отсутствие выдуманного поведения: 3 из 8. Введены 24 часа и автоматическое подтверждение. Срабатывает стоп-критерий, принимать ответ нельзя.
B получает 2 + 2 + 2 + 2: 8 из 8. Он сохранил все шаги и указал пробел по сроку. Права доступа, изменение заявки и уведомления требуют отдельной проработки перед реализацией.
Для общего вывода о качестве модели повторите сравнение на нескольких задачах. Этот пример показывает, как применять баллы и стоп-критерий к одному ответу.
Как превратить упражнение в реальное сравнение
Сохраните точные идентификаторы моделей и версий, дату, входы, инструкцию, настройки генерации, доступные инструменты, ограничения и сырые ответы. Если один сервис использует поиск, а второй нет, это уже сравнение разных рабочих конфигураций, а не только моделей. Укажите это явно.
Заранее определите несколько задач и число повторов, одинаковое для кандидатов. Скрывайте названия моделей от оценивающего, если это возможно. Сначала проверяйте наличие завершённого результата и отсутствие технического обрыва, затем применяйте рубрику. Для спорного балла сохраняйте комментарий и основание.
Стоимость принятого результата
Считайте отдельно расходы API, время ожидания и минуты человека на проверку и исправление. Метрика для партии: все учтённые расходы партии, делённые на число принятых результатов. При нуле принятых результатов значение не определяется; не заменяйте его нулём.
Если переводите время человека в деньги, заранее укажите ставку и единицы. В текущем учебном разборе время и расходы UNKNOWN, поэтому числового сравнения экономики нет.
Сохраните оба ответа до выставления баллов. При разборе начинайте со стоп-критерия: автоматическое подтверждение из A нельзя принять за полезную инициативу. Затем пройдите проверку завершённости ответа и сверку утверждений с источниками.
Вопросы по разбору
Как обеспечить одинаковые условия для двух моделей?
Зафиксируйте источники, инструкцию, настройки, инструменты и ограничения. Разный доступ к поиску означает сравнение разных рабочих конфигураций.
Почему A получает 3 из 8, но всё равно неприемлем?
В нём есть неподтверждённое автоматическое согласование через 24 часа. Этот стоп-критерий важнее суммы баллов за полноту и ссылки.
Оценка B 8 из 8 доказывает готовность разработки?
Нет. Она относится к узкой рубрике обработки исходников. Требования к доступу, изменению заявки и уведомлениям ещё не описаны.
Как считать стоимость принятого результата?
Разделите расходы всей партии на число принятых результатов. Включайте время проверки и исправлений по заранее выбранной ставке; при нуле принятых результатов метрика не определена.
Можно ли выбрать модель по ответам A и B из статьи?
Нет. Это авторские учебные образцы. Для выбора нужны реальные сохранённые прогоны кандидатов на нескольких задачах с версиями моделей и затратами.
Автор: Иннокентий Бодров, автор Аналитической мастерской.