← Назад к блогу

Практика системного анализа · 6 минут

Нефункциональное требование к скорости: нагрузка, процентиль и окно измерения

Как превратить пожелание о скорости в измеримый контракт: задать поток запросов, данные, окно, p95, долю ошибок и проверить арифметику граничных условий.

Измеримое требование к скорости задаёт операцию, нагрузку, точку измерения, статистику и условия приёмки. Фраза «поиск отвечает до секунды» оставляет неопределённым почти весь эксперимент. Один быстрый ответ на пустой базе не показывает, как поиск работает под нагрузкой.

Что скрывает «до секунды»

Допустим, владелец кабинета хочет быстро находить заявки. Учебное пожелание S1 звучит так: «Результаты поиска должны появляться до секунды». Цифры ниже — выбранные условия синтетического примера, а не результаты измерений или отраслевой норматив.

Сначала нужно определить границу: серверный ответ API или появление списка в браузере. Между ними лежат сеть, выполнение интерфейса и отрисовка. Если аналитик измеряет сервер, а заказчик ждёт готовый экран, стороны могут принять разные результаты одного теста.

Для разбора владелец выбирает API. Команда отдельно оставляет вопрос о времени появления списка на экране. Такое ограничение нужно записать рядом с требованием, чтобы серверный порог не стал обещанием для интерфейса.

Карточка NFR-P1

NFR — нефункциональное требование; здесь оно описывает время ответа в заданных условиях.

ПолеУчебное решение
ОперацияGET /requests/search с заданным фильтром и размером страницы 20
Данные100 000 синтетических заявок; фиксированный набор фильтров
Поток20 новых запросов в секунду по равномерному расписанию
Подготовка2 минуты прогрева, затем 10 минут измерения
Граница времениОт начала отправки запроса тестовым клиентом до получения полного ответа
Порог задержкиp95 не больше 800 мс в измеряемом окне
ОшибкиНе более 0,5% попыток, включая клиентские таймауты
Таймаут попытки3 секунды; таймаут считают ошибкой, а не исключают из отчёта
Полнота нагрузкиВсе 12 000 запланированных попыток должны стартовать в измеряемом окне
ОкружениеВыделенный стенд; версия приложения и конфигурация записаны в отчёте

Нагрузка здесь описана как частота поступления запросов. Это не обещание фиксированного числа одновременно работающих пользователей. При росте задержки число активных запросов может увеличиться. Если генератор не способен поддержать расписание, тест не подтверждает требование даже при хороших задержках оставшихся запросов.

Необходимо также сохранить схему данных, распределение размеров ответа и состояние кеша. Повтор одного прогретого фильтра и поиск по редким сочетаниям могут дать разные результаты при одинаковом количестве строк.

Как прочитать p95

p95 — 95-й процентиль распределения задержек. Для учебной арифметики используем метод ближайшего ранга: сортируем N наблюдений и берём элемент с номером ceil(0.95 × N), считая с единицы. Реальный инструмент может использовать другой алгоритм оценки; его нужно указать в протоколе.

На 100 искусственных наблюдениях 95 значений по 700 мс и 5 по 1500 мс дают p95 = 700 мс. Если быстрых значений 94, p95 = 1500 мс. Это вычисление по сконструированным данным, не нагрузочный прогон.

Процентиль не ограничивает каждую попытку. Поэтому карточка отдельно содержит таймаут и долю ошибок. Система, которая быстро возвращает ошибку половине пользователей, не должна проходить приёмку по одной задержке.

В документации k6 пороги служат условиями успешности теста и могут учитывать задержки и долю ошибок. Численные пороги карточки NFR-P1 принадлежат нашему примеру; документация инструмента их не обосновывает.

Протокол результата без подмены измерения

Будущий отчёт должен содержать версию сборки, идентификатор данных, фактические старты, завершения, таймауты, ошибки, распределение задержек и пропущенные старты. Для этой статьи статус такого отчёта — «нагрузочный тест не выполнялся».

До исполнения можно проверить согласованность: 20 запросов в секунду × 600 секунд = 12 000 попыток. При 60 ошибках доля составляет 0,5% и проходит условие «не более»; 61 ошибка его нарушает. Эти границы полезно передать тестировщику вместе с карточкой.

LLM можно поручить поиск незаполненных полей и противоречий. Она не должна выбирать 800 мс или объём базы вместо владельца и команды. Если основание порога отсутствует, результатом анализа станет вопрос, а не правдоподобная цифра.

Формулировку NFR стоит включить в трассировку требований. Отличие порога от полной приёмки разобрано в статье о зелёном тесте.

Вопросы по измерению

Почему «до секунды» недостаточно?

Неизвестны точка измерения, нагрузка, данные и допустимые исключения. Команда может выполнить разные тесты и получить несопоставимые ответы.

p95 означает, что любой запрос быстрее порога?

Нет. Это характеристика распределения. Медленные попытки выше процентиля остаются возможны; для них нужны отдельные ограничения и анализ.

Можно ли исключать ошибки из статистики?

Нельзя скрывать их из результата. Если задержку считают только по успешным ответам, это правило нужно объявить и дополнить отдельным порогом ошибок.

Заменяет ли API-тест проверку интерфейса?

Нет. Серверный контракт охватывает выбранную границу API. Появление результата в браузере требует отдельного сценария и точки окончания измерения.

Что доказывает расчёт на искусственных задержках?

Он проверяет арифметику порога и понимание процентиля. Производительность приложения и способность генератора выдержать поток он не измеряет.

Автор: Иннокентий Бодров, автор Аналитической мастерской.