Практика системного анализа · 4 минуты
Сто процентов обработки: почему это ещё не означает успех
Как проверить прогресс обработки десяти документов: отличить завершённые элементы от успешных, сверить проценты и показать частичный результат по ID.
Read this article in EnglishПроцент обработки показывает долю элементов, по которым принято конечное решение. Если часть элементов завершилась ошибкой, стопроцентный прогресс может соседствовать с неполным результатом. Название счётчика должно объяснять, что попало в числитель.
Учебный сервис создаёт превью для десяти документов. Для каждого документа сохраняет один конечный исход: «Готово» или «Ошибка». Общий прогресс считает завершённые элементы, а успех считает только созданные превью. Промежуточный повтор внутри обработки не добавляет документ второй раз.
| Состояние | Обработано | Успешно | Что показывает экран |
|---|---|---|---|
| 6 готовы, 1 ошибка, 3 ещё идут | 7 из 10, 70% | 6 | Выполняется |
| 8 готовы, 2 ошибки | 10 из 10, 100% | 8 | Завершено с ошибками, 2 требуют внимания |
| Все 10 готовы | 10 из 10, 100% | 10 | Успешно завершено |
| Отдельный снимок: все 10 ещё идут | 0 из 10, 0% | 0 | Выполняется |
Первая и вторая строки могут быть последовательными состояниями одного прогона. Третья и четвёртая — независимые снимки. Вторая строка не должна показывать «Создано 10 превью». Сохраните ID восьми успешных документов и двух ошибочных, чтобы проверить итог по записям.
При повторе двух ошибочных документов нужны отдельные правила агрегирования. Не увеличивайте знаменатель до 12 только потому, что запущены две новые попытки. В этой модели объект учёта — документ, а не попытка. Когда повтор завершился, снимок прогресса должен использовать текущий конечный исход документа.
Попросите LLM разложить текст «выполнено» на обработано, успешно и требует внимания. Аналитик сверяет эти определения с журналом состояний. Приёмка проверяет и арифметику, и подписи на экране: правильный процент с неверной подписью всё ещё вводит пользователя в заблуждение.
Частые вопросы
Что означает 100%?
Все десять документов имеют конечный исход.
Означает ли это десять превью?
Нет, часть документов могла завершиться ошибкой.
Каков прогресс при 6 готовых и 1 ошибке?
70%: конечный исход есть у семи из десяти.
Что считается: документы или попытки?
Документы.
Что показать для 8 готовых и 2 ошибок?
Завершено с ошибками, два документа требуют внимания.
По теме
Автор: Иннокентий Бодров, автор Аналитической мастерской.