JSON 工具箱

同一份 JSON,两个工具两种结论:解析器差异与校验的信任边界

结论:校验工具说 JSON 没问题,下游却炸了,多半不是谁写错了,而是两个解析器对同一份文本给出了不同结论。这篇把重复键、NUL 字节、无效 UTF-8、NaN、前导零这些边界逐个实测,讲清 CVE-2026-33948 怎么把解析器差异变成攻击面,以及怎么给每个边界指定唯一裁决者。

实战约 6 分钟发布于 2026-11-11更新于 2026-11-11
两台设备对同一份 JSON 文件给出通过与报错两种结论的封面

通过校验只证明一件事:这份文本在「那个解析器、那套策略」下被接受了。换一个解析器,结论随时可能反过来。

现象:同一份数据,A 工具通过、B 工具报错

先看一个最常见的现场。线上接口返回了一份数据,用在线格式化工具粘进去,绿色对勾;交给下游服务,抛异常。把两边解析器摆到一起逐字符比对,通常不是谁「写错了」,而是这份数据恰好踩在两个实现的分歧点上。

这类分歧点不多,但每一个都很常见。下面这张表是几类高频输入在主流工具里的实际行为(实测环境:Node 22 的 JSON.parse、Python 3.11 标准库 json、jq 1.8、主流在线校验器):

输入 Node JSON.parse Python json.loads jq 说明
{"a":1,"a":2} 重复键 接受,保留后者 接受,保留后者 接受,保留后者 RFC 8259 只写 SHOULD,四个都放行
{"n":NaN} 报错 接受 报错 Python 标准库默认放行,是最大的静默坑
{"n":01} 前导零 报错 报错 报错 一致拒绝,但报错位置各不相同
"中文" 存为 GBK 字节 报错或乱码 取决于编码声明 报错 RFC 要求 UTF-8,但读文件时的编码归 IO 层管
{"a":1} 后跟 BOM 报错 接受(utf-8-sig) 报错 谁剥 BOM 谁说了算
注释、单引号、尾逗号 报错 报错 报错 JSON5/JSONC 解析器才接受,见 /json5

注意第二行:json.loads('{"cpu":NaN}') 在 Python 里是合法的。标准库为了兼容历史输出,默认把 NaN/Infinity 当数字放行,很多流水线把这几行垃圾数据当成正常记录算进了统计结果,数据被污染了都察觉不到。要拦住它,必须显式传 parse_constant,后面给代码。

差异从哪来:规范留白与实现自作主张

RFC 8259 其实并不含糊,它只是刻意留了三块「交给实现决定」的余地,而每个实现填法不同。

第一块是对象名的唯一性。第 4 节原文说对象「SHOULD be unique」——应当唯一,但不是必须。也就是说重复键不算语法错误,各语言解析器普遍选择「后者覆盖前者」;而业务校验器看到的是覆盖之后的值,发送方写进去的前一个值从此消失,没有报错、没有日志。

第二块是数字。语法层只规定形如 int frac exp 的写法,数值范围交给实现:JavaScript 一律按 IEEE 754 双精度处理,9007199254740993 会变成 ...992;jq 1.8 起字面量按十进制保留,但一做算术还是回到双精度。同一份数据在比较、存储、传输三个环节可能呈现三个不同的值。

第三块是 UTF-8 与不可见字符。规范要求 exchanged JSON 必须是 UTF-8,但「文件怎么读、BOM 剥不剥、非法字节怎么处理」都属于 IO 层决策。同一份字节流,Python 用 utf-8 还是 utf-8-sig 打开,结论就不同。

还有第四种来源:宽松方言。JSON5 允许注释、单引号、尾逗号;JSONC 在 VS Code 生态里同样放宽。配置文件用宽松解析器、接口用严格解析器,是同一家团队里最常见的分歧配置。

CVE-2026-33948:差异不修,就会变成攻击面

解析器差异平时只是体验问题,一旦「解析」和「校验」用了两个不同实现,它就成了攻击面。2026 年披露的 CVE-2026-33948 是一个标准样本:jq 在 1.8.2 之前的版本从文件读取 JSON 时,允许在输入里嵌入 NUL 字节(\0),导致同一段输入被两个环节给出不同结论——校验环节把它当作「到此结束」,实际处理环节却把后面的内容继续读了进去,校验绕过就此成立。GitHub 官方安全通告确认,修复方式是升级到 1.8.2。

把这条漏洞抽象一下:任何「先校验、后解析」的链路,只要两步的实现或配置不一致,攻击者构造一个「校验器认为无效、解析器认为有效」的输入,就能让恶意载荷绕过检查。同类问题在网关层同样成立——网关按一套规则拒绝请求,后端服务用另一个解析器却接受了同一份请求体,API7 把这称为 strict parsing 必须写入 API 契约的原因:解析语义是契约的一部分,而不是实现的私有行为。

自查只需要一条命令——先确认所有环节的 jq 版本一致,并且都包含这个修复:

jq --version
# jq-1.7.1  ← 有漏洞,升级
# jq-1.8.2  ← 已修复

重复键:被静默吞掉的最后一个值

值得单独把重复键拎出来讲,因为它是唯一一个「所有主流解析器都放行、但几乎所有人都以为会报错」的边界。

import json

text = '{"role": "guest", "role": "admin"}'
data = json.loads(text)
print(data)          # {'role': 'admin'}
print("guest" in data.values())  # False:第一个值已经没了

用 json.loads 做签名校验或权限判断时,这段代码意味着:攻击者可以多塞一个同名字段把权限顶掉,而你的校验代码看到的只是最终值。Node 的 JSON.parse 行为相同。要检测而不是静默覆盖,Python 可以挂 object_pairs_hook:

from collections import Counter

def reject_dup(pairs):
    counts = Counter(k for k, _ in pairs)
    dup = [k for k, c in counts.items() if c > 1]
    if dup:
        raise ValueError(f"duplicate keys: {dup}")
    return dict(pairs)

data = json.loads('{"a":1,"a":2}', object_pairs_hook=reject_dup)
# ValueError: duplicate keys: ['a']

RFC 8259 第 4 节对互操作性写得很直接:为了可预测,对象名应当唯一。把它从 SHOULD 升级成校验规则,成本只有一次遍历,收益是让「两个工具两种结论」少一个最常见的来源。

怎么改:给每个边界指定唯一裁决者

修这类问题不是「换一个更严的解析器」就完事,而是让每个边界点都有明确的、写下来的裁决策略,并保证校验与执行用的是同一套。下表可以直接当评审清单用:

边界 宽松默认行为 建议裁决 代表性配置
重复键 后值覆盖 拒绝 Python object_pairs_hook、Go json/v2 默认拒绝
NaN / Infinity Python 放行 拒绝 Python parse_constant 抛异常
未知字段 静默忽略 按契约决定 Go json/v2 RejectUnknownMembers(true)
无效 UTF-8 各家不同 拒绝 解码层显式校验字节流
BOM 谁剥谁说了算 统一在入口剥一次 读文件固定 utf-8-sig 或先剥 BOM
解析与校验分离 各用各的 同一实现同一配置 校验函数复用业务解析器

Python 一侧把两个最危险的默认关掉,只需要一行构造参数:

import json

def _reject(value):
    raise ValueError(f"non-standard constant: {value}")

data = json.loads(
    raw,
    parse_constant=_reject,          # 拦下 NaN / Infinity
    object_pairs_hook=reject_dup,    # 拦下重复键
)

Go 1.25 之后的 encoding/json/v2(以 jsonv2 别名使用)把这套策略做成了显式选项:RejectUnknownMembers(true) 拒绝未知字段,重复名与无效 UTF-8 默认拒绝。GopherForge 的实践页把顺序讲得很清楚:先限定输入字节数、再按显式策略解码、然后做业务校验与授权、最后才允许副作用——并且每一步的失败路径都要用 fixture 实测过,而不是只看错误信息变了没有。

把解析策略写进契约与语料

策略定下来了,还要防漂移。两个动作就够了。

第一,把「接受什么、拒绝什么」写进接口文档,和字段定义放在一起。API7 的建议是给错误一个稳定码,让客户端能区分「永久性契约错误」和「临时性基础设施故障」——重复键被拒不应该长得像网关超时,否则会触发无意义的重试风暴。日志里不要回显完整请求体,原始报文可能带凭据,某些非法字节序列直接打印还有风险。

第二,建一套歧义语料(fixture corpus),把上面表格里的每一行做成一个测试用例:重复键、大小写不同的键、未知字段、无效 UTF-8、BOM、结尾多一个值、空字符串。CI 里跑两组断言:非法输入必须失败且不产出可用的部分值;合法输入通过后做一次 encode/decode 往返,确认值没有变化。升级解析器版本时,用生产形态的样本在受保护环境里做一次新旧对比(comparison mode),把「接受集合的变化」当成一次真实的契约变更来评审,而不是假设旧用例还能覆盖一切。

这些动作和 JSON 校验进 CI:jsonlint、ajv 与 jq 的流水线 是互补关系:那篇讲语法校验与 Schema 校验怎么排进流水线,这篇讲流水线第一个节点之前——解析器本身——要锁死哪些语义。漏洞与注入类风险(原型污染、__proto__ 键、XSS)在 JSON 处理中的安全风险清单 里有完整覆盖;重复键与 NUL 这类「解析层」的信任链问题,正是那份清单的第零层。语法层报错的定位方法则见 从 RFC 8259 读懂 JSON 语法边界。

怎么避:上线前五条清单

  1. 全链路解析器版本对齐:jq、语言运行时、网关、离线校验工具逐个 --version,CVE-2026-33948 类修复必须全网到位;
  2. 重复键与 NaN 显式拒绝:object_pairs_hook 与 parse_constant 写进公共封装,不允许业务代码直接裸调 json.loads;
  3. 未知字段按路由决定:向前兼容的消费方允许忽略,命令类端点必须 RejectUnknownMembers;
  4. 歧义语料进 CI:至少 8 个 fixture,升级解析器时先跑新旧对比再合入;
  5. 错误可分类:契约错误与基础设施错误用不同错误码,客户端只对后者重试。

最后回到开头那句:校验通过是「在某个解析器的某套策略下被接受」。把这个「某套策略」从隐式变成显式,写进契约、测进语料、锁进版本,「两个工具两种结论」才会真正消失。

常见问题

重复键在 JSON 规范里到底算不算错误?

不算语法错误。RFC 8259 第 4 节用「SHOULD be unique」表述,属于建议而非强制,所以所有主流解析器都接受重复键,默认行为是后值覆盖前值。规范同时建议为了互操作性保持唯一。要不要把它升级成校验错误,由你的契约决定,检测成本是一次遍历。

为什么 Python 的 json 库会接受 NaN,JavaScript 却报错?

Python 标准库为了能读回自己历史上有损输出的数据,默认放行 NaN、Infinity,这是刻意的兼容行为;ECMAScript 的 JSON.parse 严格按语法实现,遇到 NaN 直接抛 SyntaxError。在 Python 里传 parse_constant 参数即可拒绝,一行配置就能对齐两个运行时的行为。

CVE-2026-33948 影响哪些版本,怎么修?

jq 1.8.2 之前的版本从文件读取 JSON 时,输入中嵌入的 NUL 字节会导致校验与实际解析对同一段输入给出不同结论,形成校验绕过。GitHub 官方通告的修复方式是升级到 1.8.2 或包含提交 6374ae0 之后的构建。脚本与 CI 里应固定版本并在升级前跑一遍歧义语料。

我只在入口校验一次,后面都用同一份解析结果,还有风险吗?

有,但风险转移到了「入口」这一个点。只要入口的解析器、配置、版本被锁定,并且歧义语料覆盖了重复键、NUL、UTF-8 这些边界,内部就不再有第二个裁决者,链路是一致的。真正危险的是「网关一套实现、服务另一套实现」或者「校验用 A、执行用 B」的拓扑,那等于把裁决权交给了分歧本身。

参考资料

同系列工具

相关文章

JSON 校验进 CI:jsonlint、ajv 与 jq 的流水线

语法校验只能保证文件「能解析」,Schema 校验才能保证字段「符合约定」。把两者放进 CI,关键不是选哪个工具,而是让退出码、报错定位和修复路径都清楚。

进阶约 10 分钟更新于 2026-10-31

JSON 处理中的安全风险清单

JSON.parse 本身很安全,危险的是它之后发生的事:深合并、按路径赋值、内联到 HTML、无限制的深度与体积。

进阶约 12 分钟更新于 2026-10-30

从 RFC 8259 读懂 JSON 语法边界

把 RFC 8259 的语法产生式翻译成人话:哪些字符能直接出现、哪些必须转义、规范在哪些地方刻意留白。

入门约 11 分钟更新于 2026-10-30