同一份 JSON,两个工具两种结论:解析器差异与校验的信任边界
结论:校验工具说 JSON 没问题,下游却炸了,多半不是谁写错了,而是两个解析器对同一份文本给出了不同结论。这篇把重复键、NUL 字节、无效 UTF-8、NaN、前导零这些边界逐个实测,讲清 CVE-2026-33948 怎么把解析器差异变成攻击面,以及怎么给每个边界指定唯一裁决者。

通过校验只证明一件事:这份文本在「那个解析器、那套策略」下被接受了。换一个解析器,结论随时可能反过来。
现象:同一份数据,A 工具通过、B 工具报错
先看一个最常见的现场。线上接口返回了一份数据,用在线格式化工具粘进去,绿色对勾;交给下游服务,抛异常。把两边解析器摆到一起逐字符比对,通常不是谁「写错了」,而是这份数据恰好踩在两个实现的分歧点上。
这类分歧点不多,但每一个都很常见。下面这张表是几类高频输入在主流工具里的实际行为(实测环境:Node 22 的 JSON.parse、Python 3.11 标准库 json、jq 1.8、主流在线校验器):
| 输入 | Node JSON.parse | Python json.loads | jq | 说明 |
|---|---|---|---|---|
{"a":1,"a":2} 重复键 |
接受,保留后者 | 接受,保留后者 | 接受,保留后者 | RFC 8259 只写 SHOULD,四个都放行 |
{"n":NaN} |
报错 | 接受 | 报错 | Python 标准库默认放行,是最大的静默坑 |
{"n":01} 前导零 |
报错 | 报错 | 报错 | 一致拒绝,但报错位置各不相同 |
"中文" 存为 GBK 字节 |
报错或乱码 | 取决于编码声明 | 报错 | RFC 要求 UTF-8,但读文件时的编码归 IO 层管 |
{"a":1} 后跟 BOM |
报错 | 接受(utf-8-sig) | 报错 | 谁剥 BOM 谁说了算 |
| 注释、单引号、尾逗号 | 报错 | 报错 | 报错 | JSON5/JSONC 解析器才接受,见 /json5 |
注意第二行:json.loads('{"cpu":NaN}') 在 Python 里是合法的。标准库为了兼容历史输出,默认把 NaN/Infinity 当数字放行,很多流水线把这几行垃圾数据当成正常记录算进了统计结果,数据被污染了都察觉不到。要拦住它,必须显式传 parse_constant,后面给代码。
差异从哪来:规范留白与实现自作主张
RFC 8259 其实并不含糊,它只是刻意留了三块「交给实现决定」的余地,而每个实现填法不同。
第一块是对象名的唯一性。第 4 节原文说对象「SHOULD be unique」——应当唯一,但不是必须。也就是说重复键不算语法错误,各语言解析器普遍选择「后者覆盖前者」;而业务校验器看到的是覆盖之后的值,发送方写进去的前一个值从此消失,没有报错、没有日志。
第二块是数字。语法层只规定形如 int frac exp 的写法,数值范围交给实现:JavaScript 一律按 IEEE 754 双精度处理,9007199254740993 会变成 ...992;jq 1.8 起字面量按十进制保留,但一做算术还是回到双精度。同一份数据在比较、存储、传输三个环节可能呈现三个不同的值。
第三块是 UTF-8 与不可见字符。规范要求 exchanged JSON 必须是 UTF-8,但「文件怎么读、BOM 剥不剥、非法字节怎么处理」都属于 IO 层决策。同一份字节流,Python 用 utf-8 还是 utf-8-sig 打开,结论就不同。
还有第四种来源:宽松方言。JSON5 允许注释、单引号、尾逗号;JSONC 在 VS Code 生态里同样放宽。配置文件用宽松解析器、接口用严格解析器,是同一家团队里最常见的分歧配置。
CVE-2026-33948:差异不修,就会变成攻击面
解析器差异平时只是体验问题,一旦「解析」和「校验」用了两个不同实现,它就成了攻击面。2026 年披露的 CVE-2026-33948 是一个标准样本:jq 在 1.8.2 之前的版本从文件读取 JSON 时,允许在输入里嵌入 NUL 字节(\0),导致同一段输入被两个环节给出不同结论——校验环节把它当作「到此结束」,实际处理环节却把后面的内容继续读了进去,校验绕过就此成立。GitHub 官方安全通告确认,修复方式是升级到 1.8.2。
把这条漏洞抽象一下:任何「先校验、后解析」的链路,只要两步的实现或配置不一致,攻击者构造一个「校验器认为无效、解析器认为有效」的输入,就能让恶意载荷绕过检查。同类问题在网关层同样成立——网关按一套规则拒绝请求,后端服务用另一个解析器却接受了同一份请求体,API7 把这称为 strict parsing 必须写入 API 契约的原因:解析语义是契约的一部分,而不是实现的私有行为。
自查只需要一条命令——先确认所有环节的 jq 版本一致,并且都包含这个修复:
jq --version
# jq-1.7.1 ← 有漏洞,升级
# jq-1.8.2 ← 已修复
重复键:被静默吞掉的最后一个值
值得单独把重复键拎出来讲,因为它是唯一一个「所有主流解析器都放行、但几乎所有人都以为会报错」的边界。
import json
text = '{"role": "guest", "role": "admin"}'
data = json.loads(text)
print(data) # {'role': 'admin'}
print("guest" in data.values()) # False:第一个值已经没了
用 json.loads 做签名校验或权限判断时,这段代码意味着:攻击者可以多塞一个同名字段把权限顶掉,而你的校验代码看到的只是最终值。Node 的 JSON.parse 行为相同。要检测而不是静默覆盖,Python 可以挂 object_pairs_hook:
from collections import Counter
def reject_dup(pairs):
counts = Counter(k for k, _ in pairs)
dup = [k for k, c in counts.items() if c > 1]
if dup:
raise ValueError(f"duplicate keys: {dup}")
return dict(pairs)
data = json.loads('{"a":1,"a":2}', object_pairs_hook=reject_dup)
# ValueError: duplicate keys: ['a']
RFC 8259 第 4 节对互操作性写得很直接:为了可预测,对象名应当唯一。把它从 SHOULD 升级成校验规则,成本只有一次遍历,收益是让「两个工具两种结论」少一个最常见的来源。
怎么改:给每个边界指定唯一裁决者
修这类问题不是「换一个更严的解析器」就完事,而是让每个边界点都有明确的、写下来的裁决策略,并保证校验与执行用的是同一套。下表可以直接当评审清单用:
| 边界 | 宽松默认行为 | 建议裁决 | 代表性配置 |
|---|---|---|---|
| 重复键 | 后值覆盖 | 拒绝 | Python object_pairs_hook、Go json/v2 默认拒绝 |
| NaN / Infinity | Python 放行 | 拒绝 | Python parse_constant 抛异常 |
| 未知字段 | 静默忽略 | 按契约决定 | Go json/v2 RejectUnknownMembers(true) |
| 无效 UTF-8 | 各家不同 | 拒绝 | 解码层显式校验字节流 |
| BOM | 谁剥谁说了算 | 统一在入口剥一次 | 读文件固定 utf-8-sig 或先剥 BOM |
| 解析与校验分离 | 各用各的 | 同一实现同一配置 | 校验函数复用业务解析器 |
Python 一侧把两个最危险的默认关掉,只需要一行构造参数:
import json
def _reject(value):
raise ValueError(f"non-standard constant: {value}")
data = json.loads(
raw,
parse_constant=_reject, # 拦下 NaN / Infinity
object_pairs_hook=reject_dup, # 拦下重复键
)
Go 1.25 之后的 encoding/json/v2(以 jsonv2 别名使用)把这套策略做成了显式选项:RejectUnknownMembers(true) 拒绝未知字段,重复名与无效 UTF-8 默认拒绝。GopherForge 的实践页把顺序讲得很清楚:先限定输入字节数、再按显式策略解码、然后做业务校验与授权、最后才允许副作用——并且每一步的失败路径都要用 fixture 实测过,而不是只看错误信息变了没有。
把解析策略写进契约与语料
策略定下来了,还要防漂移。两个动作就够了。
第一,把「接受什么、拒绝什么」写进接口文档,和字段定义放在一起。API7 的建议是给错误一个稳定码,让客户端能区分「永久性契约错误」和「临时性基础设施故障」——重复键被拒不应该长得像网关超时,否则会触发无意义的重试风暴。日志里不要回显完整请求体,原始报文可能带凭据,某些非法字节序列直接打印还有风险。
第二,建一套歧义语料(fixture corpus),把上面表格里的每一行做成一个测试用例:重复键、大小写不同的键、未知字段、无效 UTF-8、BOM、结尾多一个值、空字符串。CI 里跑两组断言:非法输入必须失败且不产出可用的部分值;合法输入通过后做一次 encode/decode 往返,确认值没有变化。升级解析器版本时,用生产形态的样本在受保护环境里做一次新旧对比(comparison mode),把「接受集合的变化」当成一次真实的契约变更来评审,而不是假设旧用例还能覆盖一切。
这些动作和 JSON 校验进 CI:jsonlint、ajv 与 jq 的流水线 是互补关系:那篇讲语法校验与 Schema 校验怎么排进流水线,这篇讲流水线第一个节点之前——解析器本身——要锁死哪些语义。漏洞与注入类风险(原型污染、__proto__ 键、XSS)在 JSON 处理中的安全风险清单 里有完整覆盖;重复键与 NUL 这类「解析层」的信任链问题,正是那份清单的第零层。语法层报错的定位方法则见 从 RFC 8259 读懂 JSON 语法边界。
怎么避:上线前五条清单
- 全链路解析器版本对齐:jq、语言运行时、网关、离线校验工具逐个
--version,CVE-2026-33948 类修复必须全网到位; - 重复键与 NaN 显式拒绝:
object_pairs_hook与parse_constant写进公共封装,不允许业务代码直接裸调json.loads; - 未知字段按路由决定:向前兼容的消费方允许忽略,命令类端点必须
RejectUnknownMembers; - 歧义语料进 CI:至少 8 个 fixture,升级解析器时先跑新旧对比再合入;
- 错误可分类:契约错误与基础设施错误用不同错误码,客户端只对后者重试。
最后回到开头那句:校验通过是「在某个解析器的某套策略下被接受」。把这个「某套策略」从隐式变成显式,写进契约、测进语料、锁进版本,「两个工具两种结论」才会真正消失。
常见问题
重复键在 JSON 规范里到底算不算错误?
不算语法错误。RFC 8259 第 4 节用「SHOULD be unique」表述,属于建议而非强制,所以所有主流解析器都接受重复键,默认行为是后值覆盖前值。规范同时建议为了互操作性保持唯一。要不要把它升级成校验错误,由你的契约决定,检测成本是一次遍历。
为什么 Python 的 json 库会接受 NaN,JavaScript 却报错?
Python 标准库为了能读回自己历史上有损输出的数据,默认放行 NaN、Infinity,这是刻意的兼容行为;ECMAScript 的 JSON.parse 严格按语法实现,遇到 NaN 直接抛 SyntaxError。在 Python 里传 parse_constant 参数即可拒绝,一行配置就能对齐两个运行时的行为。
CVE-2026-33948 影响哪些版本,怎么修?
jq 1.8.2 之前的版本从文件读取 JSON 时,输入中嵌入的 NUL 字节会导致校验与实际解析对同一段输入给出不同结论,形成校验绕过。GitHub 官方通告的修复方式是升级到 1.8.2 或包含提交 6374ae0 之后的构建。脚本与 CI 里应固定版本并在升级前跑一遍歧义语料。
我只在入口校验一次,后面都用同一份解析结果,还有风险吗?
有,但风险转移到了「入口」这一个点。只要入口的解析器、配置、版本被锁定,并且歧义语料覆盖了重复键、NUL、UTF-8 这些边界,内部就不再有第二个裁决者,链路是一致的。真正危险的是「网关一套实现、服务另一套实现」或者「校验用 A、执行用 B」的拓扑,那等于把裁决权交给了分歧本身。