Практика системного анализа · 4 минуты
Одна метрика, два знаменателя: как проверить состав показателя
Как согласовать определение доли: сравнить два знаменателя на шести заявках, зафиксировать момент среза и различить ноль и отсутствие данных в отчёте.
Доля без описанного знаменателя неоднозначна. Фраза «75% заявок одобрены» может относиться ко всем созданным заявкам или только к тем, по которым принято решение. Выбор меняет смысл отчёта даже при одинаковом числителе.
Шесть учебных заявок
Команда измеряет исход рассмотрения. Набор полностью синтетический; цифры не описывают реальную аналитику продукта. В одном интервале созданы шесть заявок: три одобрены, одна отклонена, одна ожидает решения и одна отменена.
| Вопрос к отчёту | Числитель | Знаменатель | Значение |
|---|---|---|---|
| Какая доля всех созданных заявок одобрена к срезу? | 3 | 6 | 50% |
| Какая доля среди решений положительная? | 3 | 4 | 75% |
В учебном D1 решение — одобрение или отказ. Отмена и ожидание не входят во второй знаменатель. Владелец выбирает второй показатель и называет его «Доля одобрений среди рассмотренных». Первую строку можно оставить отдельной метрикой с другим названием.
Событие отбора и момент среза
В D2 набор формируют по времени создания заявки, а исход берут на момент среза. Если вместо этого взять решения, принятые за тот же период, в отчёт попадут заявки, созданные раньше. Оба подхода имеют смысл, но отвечают на разные вопросы.
В постановке запишите нижнюю включённую и верхнюю исключённую границу периода, часовой пояс и момент среза. У учебного отчёта период с 1 по 7 число включительно, верхняя граница — начало 8 числа в согласованной зоне. Данные должны позволять восстановить статус на момент среза. Текущий статус сам по себе не воспроизводит старый отчёт после позднего решения.
Ноль и отсутствие знаменателя
Если рассмотрена одна заявка и она отклонена, доля одобрений равна 0%. Если нет ни одного решения, делить не на что. В учебном D3 интерфейс показывает «Нет рассмотренных заявок», а поле доли не содержит численного значения. Ноль в первом случае и отсутствие значения во втором должны оставаться различимыми также в выгрузке.
Другая проверка касается объединения групп. Если в первой группе одобрено 3 из 4, а во второй 0 из 1, общий результат — 3 из 5, то есть 60%. Среднее от 75% и 0% равно 37,5% и отвечает уже на вопрос о средней доле по двум группам с одинаковым весом.
Карточка для приёмки
Зафиксируйте название, единицу наблюдения, включённые статусы, период, момент среза, числитель, знаменатель и представление пустого случая. Добавьте шесть идентификаторов учебных заявок и ожидаемую принадлежность к каждому множеству. Так проверяющий увидит не только процент, но и его происхождение.
LLM может найти в описаниях конкурирующие определения и предложить входы для проверки. Выбирать знаменатель по наиболее красивой цифре нельзя. Если владельцы используют одно имя для разных вопросов, верните им обе строки таблицы.
Временные границы разобраны в статье о дате действия правила. Основание выбора удобно сохранить в журнале решений.
Вопросы по метрике
Почему один числитель даёт два процента?
Потому что знаменатели отвечают на разные вопросы: все созданные либо только рассмотренные.
Ноль решений означает 0%?
Нет. В примере доля не определена, пока нет ни одного решения.
Можно ли усреднить доли групп?
Можно для специально определённой средней доли. Общий результат по заявкам требует суммы числителей и знаменателей.
Как проверить исторический срез?
Сохранить момент среза и иметь данные для восстановления состояния на этот момент.
Это реальные показатели продукта?
Нет. Значения получены на вымышленном наборе для проверки определения метрики.
Автор: Иннокентий Бодров, автор Аналитической мастерской.