Практика системного анализа · 4 минуты
Пакетный импорт: как сверить принятые, отклонённые и повторные строки
Как проверить пакетный импорт на шести учебных строках: различить принятие, отказ и повтор, сверить итоговые счётчики и ключи сохранённых записей.
Успешный ответ загрузчика подтверждает приём файла, но не объясняет судьбу каждой строки. В постановке импорта нужен баланс: число входных строк равно сумме непересекающихся исходов. Так оператор может понять, что исправить, а аналитик — обнаружить потерю данных между этапами.
Файл на шесть строк
Учебный пример: команда загружает справочник складских зон. Каждая строка имеет номер в файле и ключ зоны. Владелец процесса выбирает частичный импорт: загрузчик сохраняет корректные строки и возвращает ошибки в отчёте. Вход полностью вымышлен; работающий загрузчик не запускался.
| Строка | Ключ | Исход | Почему |
|---|---|---|---|
| 1 | Z01 | Принята | Новая зона |
| 2 | Z02 | Отклонена | Нет обязательного названия |
| 3 | Z01 | Повтор | Совпадает с принятой строкой 1 |
| 4 | Z03 | Принята | Новая зона |
| 5 | Z04 | Отклонена | Неизвестный склад |
| 6 | Z05 | Принята | Новая зона |
Итог: 6 = 3 + 2 + 1. Строка 3 не должна попасть сразу в две категории. Если бизнес хочет считать повторы отказами, меняется представление отчёта: повторы становятся подкатегорией отказов, а не дополнительным слагаемым.
Что считать повтором
В примере строка 3 содержит те же данные, что и строка 1. Если ключ совпадает, а название отличается, это конфликт данных. Нельзя молча трактовать конфликт как обновление: такое решение перепишет уже принятую запись. Для этого файла действует правило «первая корректная строка с ключом побеждает», а конфликт попадает в отчёт отказов.
Номер строки нужен для связи с исходником. Ключ зоны сам по себе не поможет оператору найти одну из двух строк Z01. Отдельно зафиксируйте, считается ли заголовок первой строкой файла. Иначе ссылки на ошибки будут систематически указывать на соседние записи.
Артефакт приёмки
Сохраните исходный файл, ожидаемый поштучный отчёт и список ключей после завершения. Для примера новые ключи — Z01, Z03 и Z05. Проверьте и равенство счётчиков, и совпадение этих ключей: правильный баланс не заметит замену Z03 на Z04. Если обработчик оборвался до итога, частичную запись нужно отразить как незавершённый запуск. Нельзя достраивать отчёт из предположения, что все строки прошли обработку.
LLM может составить таблицу из спецификации и отметить незаданные развилки. Ей нужно явно дать выбранное правило повтора и режим частичного приёма. Для исправленного файла отдельно решают, загружать ли только ошибки или повторно сверять все строки.
Сверку состава результата дополняет проверка пагинации, а разбор зелёного теста помогает отличить статус от наблюдаемого результата.
Вопросы по импорту
Достаточно итогового счётчика?
Нет. Он не показывает ошибочно принятую строку или потерянный ключ.
Заголовок входит в баланс?
В этом примере нет. Правило нумерации и состав входных данных нужно записать явно.
Что делать при одинаковом ключе и разных данных?
Выделить конфликт и применить согласованное правило. Здесь загрузчик отклоняет конфликтную строку.
Можно ли считать повтор отказом?
Можно, если это одна иерархия исходов и отчёт считает повтор только один раз.
Что сохранять для исправления файла?
Номер строки, её ключ, устойчивый код причины и точную ссылку на запуск.
Автор: Иннокентий Бодров, автор Аналитической мастерской.