Практика системного анализа · 5 минут
В JSON два одинаковых ключа: что проверить до приёмки ответа LLM
Ответ LLM разобрался, но мог потерять повтор ключа. Проверьте исходный JSON, декодирование имён, вложенность и строгий контракт до бизнес-действия.
Read this article in EnglishМодель вернула структурированный ответ, и парсер не сообщил об ошибке. В исходной строке при этом два поля status с разными значениями. Если проверять только уже разобранный объект, одно из значений может исчезнуть до того, как аналитик увидит противоречие.
Пример учебный: тело ответа и ожидаемое поведение приёмщика вымышлены. Вопрос сформулирован для проверки LLM-интеграции, не процитирован из обращения пользователя. Приёмщик в этом примере обязан отклонять повтор имени внутри одного JSON-объекта, даже когда значения одинаковы.
Сохранить исходный текст до разбора
Проблемный вход: {"status":"draft","status":"approved"}. В RFC 8259, раздел 4 рекомендованы уникальные имена членов объекта; поведение при повторах отличается между реализациями. Поэтому нельзя объявлять любой принявший такой текст парсер нарушителем синтаксиса JSON. Строгий отказ здесь задаёт наш контракт приёмки.
| Вход | Ожидаемый результат учебного приёмщика |
|---|---|
| Один status=draft | Принять, если прочие правила выполнены |
| Два status с draft и approved | Отклонить: повтор имени |
| Два status с одинаковым draft | Отклонить: повтор имени |
| status в двух разных объектах массива | Не считать повтором внутри объекта |
| Ключ status и ключ sta\u0074us в одном объекте | Отклонить: после декодирования имена равны |
Последняя строка нужна, чтобы не ограничиться поиском повторяющихся подстрок в сыром тексте. Сначала нужно распознать имена с учётом экранирования, сохранив пары, и проверить их уникальность в пределах объекта. Простое приведение текста к словарю может оказаться слишком поздним шагом.
Одинаковое имя у родительского и вложенного объекта тоже допустимо по нашему правилу: области проверки разные. Но если повтор находится внутри вложенного объекта, он должен быть обнаружен там. В приёмке полезно сохранить путь к объекту, имя ключа и сам исходный ответ, не копируя чувствительные значения в журнал.
Что можно поручить LLM
Модель может составить набор входов и объяснить последствия потери пары. Попросите её различать нарушение выбранного контракта и синтаксическую ошибку. Отдельно запретите решение «оставить последнее значение»: оно устраняет видимый конфликт за счёт произвольного выбора.
Проверяющий запускает реальные входы через выбранный приёмщик. Для противоречивого status никакой бизнес-переход не должен выполняться. Повторная генерация ответа модели возможна только как отдельная попытка с собственным результатом проверки; она не превращает первый ответ в принятый.
Результат «дубликатов нет» ещё не доказывает, что status допустим, источник верен или действие разрешено. Проверка имён предшествует валидации схемы и предметных правил. Максимальный размер, глубина вложенности и обработка обрезанного ответа тоже требуют отдельных ограничений: в этом примере они не проверены.
Сохраните версию приёмщика, исходные байты учебных входов и ожидаемые причины отказа. Смысл значений далее проверяется по контракту и примерам API, а доверие к инструкциям внутри источника отдельно ограничивается по разбору недоверенного документа.
Вопросы о повторяющихся ключах
Любой JSON-парсер обязан отклонять повтор?
Нет. Строгий отказ является правилом нашего учебного приёмщика; поведение реализаций различается.
Можно ли принять два одинаковых значения status?
Нет по этому контракту: запрещён повтор имени, а не только противоречие значений.
Считаются ли status и sta\u0074us разными именами?
Нет. После декодирования экранирования это одно имя.
Повтор status в двух объектах массива тоже запрещён?
Нет. Уникальность проверяется отдельно внутри каждого объекта.
Доказывает ли отсутствие повторов корректность действия?
Нет. Схема, допустимость значения и полномочия проверяются отдельными шагами.
Автор: Иннокентий Бодров, автор Аналитической мастерской.