LLM для аналитика · 5 минут
Критерии приёмки неоднозначного требования: что уточнить до генерации тестов
Чтобы написать критерии приёмки неоднозначного требования, сначала перечислите неизвестные решения.
Чтобы написать критерии приёмки неоднозначного требования, сначала перечислите неизвестные решения. LLM может предложить хорошие вопросы и форму сценариев, но не должна выбирать за заказчика значение слов «быстро», «крупный» или «удобно». Иначе тесты зафиксируют выдуманный договор.
«Крупный заказ должен быстро уходить на согласование». Какой заказ крупный и сколько времени есть у системы? В учебном примере ниже владелец отвечает на оба вопроса. Пороги вымышлены; выбирать их для своего проекта нужно отдельно.
Почему исходную фразу нельзя сразу тестировать
В ней скрыты как минимум четыре вопроса. Что считается крупным: сумма, количество позиций или категория клиента? Когда начинается отсчёт времени? Кому передают согласование? Что пользователь видит при недоступности сервиса?
Попросите модель составить список интерпретаций, но запретите выбирать одну без основания. Например, «крупный — больше 100 000» и «крупный — от 100 000 включительно» дадут разные результаты на границе. Набор тестов со случайно выбранным знаком сравнения может выглядеть строгим и всё равно быть неверным.
Учебные ответы владельца
Владелец процесса уточнил правило. Сохраним учебные ответы в документе D01, отдельно от исходного требования.
| Решение | Принятое правило |
|---|---|
| D01.1 | Крупным считается заказ в RUB с итогом от 100 000 рублей включительно. |
| D01.2 | В API итог хранится целым числом копеек. Граница равна 10 000 000. |
| D01.3 | После успешного нажатия «Отправить» заказ должен получить статус pending_approval не позже чем через 5 секунд в оговорённом тестовом окружении. |
| D01.4 | Согласование выполняет руководитель отдела. Повторное нажатие не создаёт вторую заявку. |
| D01.5 | При недоступности сервиса пользователь получает сообщение об ошибке; заказ не помечается согласованным. |
Пять секунд относятся к наблюдаемому изменению статуса в этом сценарии. Это не автоматически SLA за месяц и не гарантия для любой нагрузки. Для нагрузочного требования понадобятся профиль нагрузки, процентиль, окно измерения и условия отказов.
Критерии с проверяемыми границами
AC01. При сумме 9 999 999 копеек система не направляет заказ по правилу крупного заказа. Ссылка: D01.1–D01.2.
AC02. При сумме 10 000 000 копеек после отправки заказ получает pending_approval в пределах 5 секунд. В журнале присутствует одна заявка руководителю. Ссылка: D01.1–D01.4.
AC03. При сумме 10 000 001 копейка система запускает тот же маршрут. Ссылка: D01.1–D01.4.
AC04. Повторное нажатие для того же заказа не создаёт вторую заявку. Проверка учитывает идентичность заказа, а не только количество строк на экране. Ссылка: D01.4.
AC05. При заранее смоделированной недоступности сервиса интерфейс показывает ошибку; статус approved не появляется. Как именно отражать промежуточное состояние отправки, нужно уточнить отдельно. Ссылка: D01.5.
Как проверить качество сгенерированных критериев
Для каждого AC задайте три вопроса: какое решение его поддерживает, какое наблюдение различает успех и ошибку, что остаётся вне проверки? В нашем наборе знаки сравнения и перевод рублей в копейки согласованы. AC01–AC03 покрывают обе стороны границы. AC05 не придумывает автоматический повтор отправки.
Открыты правила для других валют, изменения суммы после отправки и удаления заказа в ходе согласования. Их нельзя незаметно закрыть общими словами «система корректно обрабатывает ошибки». Передайте вопросы владельцу и отдельно определите, блокируют ли они эту поставку.
Что полезно поручить LLM
Дайте исходную фразу, D01 и формат AC. Попросите предложить контрпримеры и пометить каждый добавленный порог. Затем вручную проверьте единственный источник решения для каждой цифры. Критерий без основания верните в вопросы.
На согласование остались три вопроса: другие валюты, изменение суммы после отправки и удаление заказа во время проверки. Зафиксируйте ответы в Decision Log — журнале решений, затем свяжите их с AC01–AC05 в трассировке требований.
Вопросы по разбору
Почему нельзя тестировать слово «быстро»?
У него нет согласованного измеримого значения. В D01 владелец задал наблюдаемый статус, начало отсчёта, предел в пять секунд и тестовое окружение.
Почему граница равна 10 000 000?
Сумма заказа хранится в копейках. Порог 100 000 рублей включительно соответствует 10 000 000 копеек.
Какие значения проверять рядом с порогом?
В этом примере — 9 999 999, 10 000 000 и 10 000 001 копейку. Они проверяют обе стороны границы и включённость самого порога.
Пять секунд в критерии означают SLA сервиса?
Нет. Здесь это предел одного сценария в заданном окружении. Для SLA нужны отдельные условия нагрузки, доступности и окно наблюдения.
Можно ли добавить повтор отправки при ошибке?
D01 не задаёт такую политику. Сначала согласуйте повтор и способ предотвращения второй заявки; AC04 уже требует не создавать дубликат при повторном нажатии.
Автор: Иннокентий Бодров, автор Аналитической мастерской.