JSON Toolkit

같은 JSON, 두 도구의 반대 결론: 파서 차이와 검증의 신뢰 경계

핵심 요약: 검증 도구는 JSON에 문제가 없다고 했는데 다운스트림에서 터졌다면, 누가 틀린 게 아니라 두 파서가 같은 텍스트에 대해 다른 결론을 냈을 가능성이 큽니다. 이 글은 중복 키, NUL 바이트, 잘못된 UTF-8, NaN, 선행 0 같은 경계를 실제로 측정하고, CVE-2026-33948이 파서 차이를 공격 표면으로 만드는 과정과 각 경계에 유일한 재정자를 지정하는 방법을 설명합니다.

중급약 6분 소요2026-11-11 발행2026-11-11 업데이트
같은 JSON 파일에 대해 두 도구가 상반된 판정을 내리는 표지 이미지

검증 통과가 증명하는 것은 딱 한 가지입니다. 그 텍스트가 "그 파서, 그 정책" 아래에서 수용됐다는 것뿐입니다. 파서를 바꾸면 결론은 언제든 뒤집힙니다.

증상: 같은 데이터에서 A 도구는 통과, B 도구는 오류

누구나 한 번은 겪는 장면입니다. API 응답을 온라인 포매터에 붙여 넣으면 초록 체크가 뜨는데, 같은 페이로드가 다운스트림 서비스에 도착하면 예외가 터집니다. 두 파서를 나란히 놓고 한 글자씩 비교해 보면, 보통은 누가 "틀린" 게 아니라 데이터가 두 구현의 불일치 지점에 정확히 떨어진 것입니다.

이런 지점은 많지 않지만 하나하나가 흔합니다. 아래 표는 고빈도 입력이 주요 도구에서 실제로 어떻게 처리되는지에 대한 실측입니다(Node 22 JSON.parse, Python 3.11 표준 라이브러리 json, jq 1.8, 주요 온라인 검증기에서 확인):

입력 Node JSON.parse Python json.loads jq 비고
{"a":1,"a":2} 중복 키 수용, 마지막 값 유지 수용, 마지막 값 유지 수용, 마지막 값 유지 RFC 8259는 SHOULD만 명시. 넷 모두 통과
{"n":NaN} 오류 수용 오류 Python 표준 라이브러리의 기본 허용은 가장 큰 조용한 함정
{"n":01} 선행 0 오류 오류 오류 일관되게 거부하지만 오류 위치는 구현마다 다름
"한글"을 GBK 바이트로 저장 오류 또는 깨짐 인코딩 선언에 좌우 오류 RFC는 UTF-8을 요구. 읽기 시 인코딩은 IO 계층의 몫
{"a":1} 앞에 BOM 오류 수용 (utf-8-sig) 오류 BOM을 제거하는 쪽이 결정
주석, 작은따옴표, 후행 쉼표 오류 오류 오류 JSON5/JSONC 파서만 수용. /json5 참고

두 번째 행을 보십시오. json.loads('{"cpu":NaN}')은 Python에서 합법입니다. 표준 라이브러리는 과거 출력과의 호환을 위해 NaN/Infinity를 기본으로 숫자로 통과시키고, 많은 파이프라인이 이 쓰레기 줄들을 정상 레코드로 통계에 넣은 채 오염을 알아차리지 못합니다. 막으려면 parse_constant을 명시적으로 넘겨야 합니다. 코드는 뒤에 나옵니다.

차이의 출처: 사양의 공백과 구현의 재량

RFC 8259은 모호한 것이 아니라 "구현에 맡긴다"는 세 영역을 의도적으로 남겼고, 각 구현이 다르게 채웠습니다.

첫째, 객체 이름의 유일성입니다. 4절은 이름이 SHOULD be unique, 즉 권고이지 필수가 아니라고 씁니다. 따라서 중복 키는 문법 오류가 아니며, 모든 언어 파서는 "나중 값이 이깁니다"를 선택합니다. 검증기가 보는 것은 덮어쓰기 이후의 값이고, 발신자가 먼저 쓴 값은 오류도 로그도 없이 사라집니다.

둘째, 숫자입니다. 문법은 int frac exp 형태만 고정하고 크기는 구현에 맡깁니다. JavaScript는 모든 수를 IEEE 754 배정도로 처리하므로 9007199254740993은 ...992가 됩니다. jq는 1.8부터 리터럴을 십진으로 보존하지만 산술을 하면 다시 배정도로 돌아갑니다. 같은 문서가 비교·저장·전송 단계마다 다른 값을 가질 수 있습니다.

셋째, UTF-8과 보이지 않는 문자입니다. 사양은 교환되는 JSON이 UTF-8이어야 한다고 요구하지만, 파일을 어떻게 열고 BOM을 제거할지, 잘못된 바이트를 어떻게 다룰지는 IO 계층의 결정입니다. 같은 바이트 스트림도 Python이 utf-8로 열든 utf-8-sig로 열든 결론이 달라집니다.

넷째 공급원은 관대한 방언입니다. JSON5는 주석, 작은따옴표, 후행 쉼표를 허용하고, JSONC는 VS Code 생태계에서 같은 완화를 합니다. 설정 파일에는 관대한 파서, API에는 엄격한 파서를 쓰는 조합이 한 팀 안에서 가장 흔한 분열입니다.

CVE-2026-33948: 고치지 않으면 공격 표면이 됩니다

파서 차이는 평소에는 경험 문제입니다. 그러나 "검증"과 "파싱"이 서로 다른 구현을 쓰는 순간 공격 표면이 됩니다. 2026년에 공개된 CVE-2026-33948은 교과서적 사례입니다. 1.8.2 이전 jq는 파일에서 JSON을 읽을 때 입력에 NUL 바이트(\0)를 끼워 넣는 것을 허용했고, 같은 입력이 두 단계에서 다른 결론을 받았습니다. 검증 단계는 "여기서 끝"이라 여기고 실제 처리 단계는 그 뒤를 계속 읽습니다. 우회가 완성됩니다. GitHub 공식 보안 권고가 확인한 수정 방법은 1.8.2로 업그레이드하는 것입니다.

일반화하면 이렇습니다. "먼저 검증, 나중에 파싱" 체인에서 두 단계의 구현이나 설정이 일치하지 않으면, 공격자는 "검증기는 무효라 하고 파서는 유효라 하는" 입력을 만들어 악성 페이로드를 검사를 피해 통과시킬 수 있습니다. 같은 구조가 게이트웨이 계층에서도 성립합니다. API7이 엄격한 파싱을 API 계약에 써야 한다고 주장하는 이유는 파싱 의미론이 계약의 일부이지 구현의 사적 행동이 아니기 때문입니다.

자기 점검은 명령 하나면 됩니다. 모든 단계의 jq 버전이 같고 이 수정을 포함하는지 확인하십시오.

jq --version
# jq-1.7.1  ← 취약, 업그레이드 필요
# jq-1.8.2  ← 수정됨

중복 키: 조용히 삼켜진 마지막 값

중복 키를 따로 다룰 가치가 있습니다. 모든 주요 파서가 수용하는데 거의 모든 개발자는 오류가 날 것으로 믿는 유일한 경계이기 때문입니다.

import json

text = '{"role": "guest", "role": "admin"}'
data = json.loads(text)
print(data)          # {'role': 'admin'}
print("guest" in data.values())  # False: 첫 번째 값은 이미 없음

이 텍스트가 서명 검증이나 권한 판단에 쓰인다면, 공격자는 같은 이름의 필드를 하나 더 붙여 권한을 덮어쓸 수 있고 검증 코드는 최종 값만 봅니다. Node의 JSON.parse도 동일합니다. 조용히 덮어쓰는 대신 탐지하려면 Python에서 object_pairs_hook을 씁니다.

from collections import Counter

def reject_dup(pairs):
    counts = Counter(k for k, _ in pairs)
    dup = [k for k, c in counts.items() if c > 1]
    if dup:
        raise ValueError(f"duplicate keys: {dup}")
    return dict(pairs)

data = json.loads('{"a":1,"a":2}', object_pairs_hook=reject_dup)
# ValueError: duplicate keys: ['a']

RFC 8259 4절은 상호 운용성을 위해 이름은 유일해야 한다고 분명히 씁니다. 그 SHOULD를 검증 규칙으로 승격시키는 비용은 한 번의 순회입니다. 보상은 "두 도구, 두 결론"의 가장 흔한 원인 하나를 없애는 것입니다.

수정: 모든 경계에 유일한 재정자 지정

해결은 "더 엄격한 파서로 바꾸자"가 아니라, 모든 경계점에 명시적이고 문서화된 정책을 주고 검증과 실행이 같은 것을 쓰도록 보장하는 일입니다. 아래 표는 리뷰 체크리스트로 바로 쓸 수 있습니다.

경계 관대한 기본 동작 권장 재정 대표 설정
중복 키 나중 값으로 덮음 거부 Python object_pairs_hook, Go json/v2 기본 거부
NaN / Infinity Python 허용 거부 Python parse_constant 예외
알 수 없는 필드 조용히 무시 계약별 결정 Go json/v2 RejectUnknownMembers(true)
잘못된 UTF-8 구현마다 다름 거부 디코딩 계층에서 바이트 스트림 명시 검증
BOM 제거하는 쪽이 결정 입구에서 한 번만 제거 고정 utf-8-sig 또는 사전 제거
검증과 실행 분리 각자 다른 구현 같은 구현, 같은 설정 검증 함수가 운영 파서를 재사용

Python 쪽에서 가장 위험한 두 기본값을 끄는 것은 한 번의 호출로 충분합니다.

import json

def _reject(value):
    raise ValueError(f"non-standard constant: {value}")

data = json.loads(
    raw,
    parse_constant=_reject,          # NaN / Infinity 차단
    object_pairs_hook=reject_dup,    # 중복 키 차단
)

Go의 encoding/json/v2(jsonv2 별칭)는 이 정책 전체를 명시 옵션으로 만듭니다. RejectUnknownMembers(true)는 알 수 없는 필드를 거부하고, 중복 이름과 잘못된 UTF-8은 기본 거부입니다. GopherForge 실습 페이지는 순서를 분명히 합니다. 입력 바이트를 한정하고, 명시적 정책으로 디코딩하고, 도메인 검증과 인가를 하고, 그다음에 부작용을 허용한다. 그리고 모든 실패 경로는 fixture로 실제 확인합니다. 오류 메시지가 바뀌었다는 이유만으로 판단하면 안 됩니다.

파싱 정책을 계약과 말뭉치에 넣기

정책을 정했다면 표류를 막아야 합니다. 두 가지 동작이면 충분합니다.

첫째, "무엇을 받고 무엇을 거부하는지"를 인터페이스 문서의 필드 정의 옆에 씁니다. API7은 클라이언트가 영구적인 계약 오류와 일시적인 인프라 장애를 구분할 수 있도록 안정적인 오류 코드를 권합니다. 거부된 중복 키가 게이트웨이 타임아웃처럼 보이면 무의미한 재시도 폭풍을 부릅니다. 로그에 전체 요청 본문을 다시 출력하지 마십시오. 원본 페이로드에는 자격 증명이 있을 수 있고 일부 잘못된 바이트열은 그대로 출력하는 것도 위험합니다.

둘째, 모호성 말뭉치(fixture corpus)를 만듭니다. 위 표의 각 행을 테스트 케이스로 만드세요. 중복 키, 대소문자가 다른 키, 알 수 없는 필드, 잘못된 UTF-8, BOM, 끝의 여분 값, 빈 입력. CI에서는 두 조의 단언을 돌립니다. 잘못된 입력은 실패하고 쓸 수 있는 부분 값을 만들지 않을 것. 올바른 입력은 encode/decode 왕복에서 값이 변하지 않을 것. 파서를 업그레이드할 때는 운영 형태 샘플을 보호된 환경에서 신구 비교(comparison mode)로 돌리고, 수용 집합의 변화를 진짜 계약 변경으로 심사합니다. 오래된 fixture가 여전히 모든 것을 덮는다고 가정하지 마십시오.

이 활동들은 CI에 넣는 JSON 검증: jsonlint, ajv, jq 파이프라인과 보완 관계입니다. 그 글은 문법 검증과 스키마 검증의 파이프라인 편성을 다루고, 이 글은 첫 노드 이전인 파서 자체를 다룹니다. 프로토타입 오염과 XSS 같은 주입 위험은 JSON 처리 보안 위험 목록에 정리되어 있고, 중복 키와 NUL 같은 파서 계층의 신뢰 사슬 문제는 바로 그 목록의 0번째 계층입니다. 문법 오류 위치 찾기는 RFC 8259로 읽는 JSON 문법 경계를 참고하십시오.

회피: 출시 전 5항목 체크리스트

  1. 체인 전체의 파서 버전 정렬: jq, 언어 런타임, 게이트웨이, 오프라인 검증기를 하나씩 --version으로 확인. CVE-2026-33948류 수정은 전 구간에 적용.
  2. 중복 키와 NaN 명시 거부: object_pairs_hook과 parse_constant을 공용 래퍼에 넣고, 업무 코드의 맨 json.loads 호출 금지.
  3. 알 수 없는 필드는 경로별 결정: 하위 호환 소비자는 무시를 허용, 명령형 엔드포인트는 RejectUnknownMembers 필수.
  4. 모호성 말뭉치 CI 등록: 최소 8개 fixture, 파서 업그레이드 전 신구 비교 실행.
  5. 오류 분류 가능: 계약 오류와 인프라 오류에 다른 코드, 재시도는 후자만.

첫 문장으로 돌아갑니다. 검증 통과는 "어떤 파서의 어떤 정책 아래 수용됨"이라는 뜻입니다. 그 정책을 암묵에서 명시로 바꾸고, 계약에 쓰고, 말뭉치로 검증하고, 버전으로 고정할 때 "두 도구, 두 결론"은 비로소 사라집니다.

자주 묻는 질문

중복 키는 JSON 사양에서 정말 오류가 아닙니까?

문법 오류가 아닙니다. RFC 8259 4절은 SHOULD be unique라는 권고 표현을 쓰므로 필수가 아니고, 주요 파서는 중복을 수용하며 기본으로 나중 값이 이깁니다. 상호 운용성을 위해 유일성을 권고합니다. 검증 오류로 승격할지는 계약의 결정이며 탐지 비용은 한 번의 순회입니다.

Python json 라이브러리는 NaN을 받아들이는데 JavaScript는 왜 오류입니까?

Python 표준 라이브러리는 과거 손실 출력을 되읽기 위해 NaN과 Infinity를 의도적으로 통과시킵니다. ECMAScript의 JSON.parse는 문법을 엄격히 구현해 NaN을 만나면 SyntaxError를 던집니다. Python에서 parse_constant를 넘기면 거부할 수 있고, 한 줄 설정으로 두 런타임의 동작을 맞출 수 있습니다.

CVE-2026-33948은 어떤 버전에 영향을 주고 어떻게 고칩니까?

1.8.2 이전 jq는 파일에서 JSON을 읽을 때 끼워 넣은 NUL 바이트로 검증 단계와 실제 파서가 같은 입력에 대해 다른 결론을 내게 되어 검증 우회가 성립합니다. GitHub 권고의 수정은 1.8.2 또는 커밋 6374ae0 이후를 포함한 빌드로 업그레이드하는 것입니다. 스크립트와 CI에서는 버전을 고정하고 업그레이드 전 모호성 말뭉치를 실행하십시오.

입구에서 한 번만 검증하고 결과를 재사용하는데도 위험합니까?

위험하지만 위험이 입구 한 점으로 모입니다. 입구 파서·설정·버전이 고정되고 모호성 말뭉치가 중복 키, NUL, UTF-8을 다루면 내부에 두 번째 재정자는 없습니다. 진짜 위험한 위상은 "게이트웨이와 서비스가 서로 다른 구현", "검증과 실행이 다른 파서"입니다. 그것은 재정권을 불일치 자체에 넘기는 것입니다.

참고 자료

관련 도구

관련 문서

CI의 JSON 검증: jsonlint, ajv, jq 파이프라인

문법 검증은 파일이 파싱됨을 증명하고, 스키마 검증은 필드가 계약을 따름을 증명합니다. CI에서 중요한 것은 명확한 종료 코드, 오류 위치, 복구 경로입니다.

중급약 10분 소요2026-10-31 업데이트

JSON 처리 보안 위험 체크리스트

JSON.parse 자체는 안전합니다. 위험은 그 이후에 일어나는 일입니다. 딥 머지, 경로 할당, HTML 인라인, 무제한 깊이와 크기.

중급약 12분 소요2026-10-30 업데이트

RFC 8259로 읽는 JSON 문법의 경계

RFC 8259의 문법 규칙을 평이한 언어로 옮깁니다. 어떤 문자를 직접 쓸 수 있고, 무엇을 이스케이프해야 하며, 명세가 의도적으로 여지를 남긴 곳은 어디인지 정리합니다.

초급약 11분 소요2026-10-30 업데이트