← Назад к блогу

Практика системного анализа · 4 минуты

Одна метрика, два знаменателя: как проверить состав показателя

Как согласовать определение доли: сравнить два знаменателя на шести заявках, зафиксировать момент среза и различить ноль и отсутствие данных в отчёте.

Доля без описанного знаменателя неоднозначна. Фраза «75% заявок одобрены» может относиться ко всем созданным заявкам или только к тем, по которым принято решение. Выбор меняет смысл отчёта даже при одинаковом числителе.

Шесть учебных заявок

Команда измеряет исход рассмотрения. Набор полностью синтетический; цифры не описывают реальную аналитику продукта. В одном интервале созданы шесть заявок: три одобрены, одна отклонена, одна ожидает решения и одна отменена.

Вопрос к отчётуЧислительЗнаменательЗначение
Какая доля всех созданных заявок одобрена к срезу?3650%
Какая доля среди решений положительная?3475%

В учебном D1 решение — одобрение или отказ. Отмена и ожидание не входят во второй знаменатель. Владелец выбирает второй показатель и называет его «Доля одобрений среди рассмотренных». Первую строку можно оставить отдельной метрикой с другим названием.

Событие отбора и момент среза

В D2 набор формируют по времени создания заявки, а исход берут на момент среза. Если вместо этого взять решения, принятые за тот же период, в отчёт попадут заявки, созданные раньше. Оба подхода имеют смысл, но отвечают на разные вопросы.

В постановке запишите нижнюю включённую и верхнюю исключённую границу периода, часовой пояс и момент среза. У учебного отчёта период с 1 по 7 число включительно, верхняя граница — начало 8 числа в согласованной зоне. Данные должны позволять восстановить статус на момент среза. Текущий статус сам по себе не воспроизводит старый отчёт после позднего решения.

Ноль и отсутствие знаменателя

Если рассмотрена одна заявка и она отклонена, доля одобрений равна 0%. Если нет ни одного решения, делить не на что. В учебном D3 интерфейс показывает «Нет рассмотренных заявок», а поле доли не содержит численного значения. Ноль в первом случае и отсутствие значения во втором должны оставаться различимыми также в выгрузке.

Другая проверка касается объединения групп. Если в первой группе одобрено 3 из 4, а во второй 0 из 1, общий результат — 3 из 5, то есть 60%. Среднее от 75% и 0% равно 37,5% и отвечает уже на вопрос о средней доле по двум группам с одинаковым весом.

Карточка для приёмки

Зафиксируйте название, единицу наблюдения, включённые статусы, период, момент среза, числитель, знаменатель и представление пустого случая. Добавьте шесть идентификаторов учебных заявок и ожидаемую принадлежность к каждому множеству. Так проверяющий увидит не только процент, но и его происхождение.

LLM может найти в описаниях конкурирующие определения и предложить входы для проверки. Выбирать знаменатель по наиболее красивой цифре нельзя. Если владельцы используют одно имя для разных вопросов, верните им обе строки таблицы.

Временные границы разобраны в статье о дате действия правила. Основание выбора удобно сохранить в журнале решений.

Вопросы по метрике

Почему один числитель даёт два процента?

Потому что знаменатели отвечают на разные вопросы: все созданные либо только рассмотренные.

Ноль решений означает 0%?

Нет. В примере доля не определена, пока нет ни одного решения.

Можно ли усреднить доли групп?

Можно для специально определённой средней доли. Общий результат по заявкам требует суммы числителей и знаменателей.

Как проверить исторический срез?

Сохранить момент среза и иметь данные для восстановления состояния на этот момент.

Это реальные показатели продукта?

Нет. Значения получены на вымышленном наборе для проверки определения метрики.

Автор: Иннокентий Бодров, автор Аналитической мастерской.