Node.js 读大 JSON:stream-json 流式解析与背压实战
186MB 的 JSON 数组用 readFileSync 加 JSON.parse 读,峰值内存 612MB;换成 stream-json 的 streamArray 逐条消费,内存恒定在 104MB。本文给出四种读法的实测对照,讲清 for await 为什么天然背压、data 事件怎么把背压弄丢、写入侧该怎么配 highWaterMark 与 drain。
把 JSON 从语法、格式、查询、校验到工程落地串成一条学习路径,每篇文章都配可操作的在线工具。

从 RFC 8259 与 ECMA-404 出发,把 JSON 的语法、类型、编码与解析边界讲清楚,是所有 JSON 工作的地基。
6 篇文章
JSON5、JSONC、JSON Lines、NDJSON 这些方言解决了注释、尾逗号与流式读写的现实需求,也带来了兼容性与选型问题。
10 篇文章
从 JSON 里取一个值、改一个字段,看起来简单,标准化之后是 JSONPath、JSON Pointer、JSON Patch 与 Merge Patch 四套规范。
5 篇文章
用 JSON Schema 描述数据形状,把「口头约定」变成可执行校验,并进一步驱动 TypeScript 类型与表单生成。
8 篇文章
JSON 与 YAML、XML、CSV、TypeScript、Java、Go、SQL 之间的互转都做不到无损,关键是把有损的地方说清楚。
8 篇文章
几十 MB 的 JSON 会卡死主线程,精心构造的 JSON 能打穿服务;这一分类处理吞吐与防线两件事。
9 篇文章
解析库、命令行工具、编辑器插件构成了 JSON 的日常工具链,选型的关键是看错误定位能力与生态维护状态。
6 篇文章
把 JSON 放进真实系统:接口契约怎么定、配置与夹具怎么管、版本兼容怎么做、测试数据怎么维护。
6 篇文章
把站内工具与 JSON 规范里被问得最多的问题按场景归拢,每个问题给出能直接照做的答案,而不是泛泛而谈的结论。
25 篇文章186MB 的 JSON 数组用 readFileSync 加 JSON.parse 读,峰值内存 612MB;换成 stream-json 的 streamArray 逐条消费,内存恒定在 104MB。本文给出四种读法的实测对照,讲清 for await 为什么天然背压、data 事件怎么把背压弄丢、写入侧该怎么配 highWaterMark 与 drain。
大模型逐 token 吐 JSON、接口按块返回大响应,JSON.parse 却要等全文到齐才肯动手。本文按逐前缀解析的完整性语义讲清三类实现(全量修复、真增量、部分解析)的分工,给出 Allow 掩码控制预览稳定性、流式管线替代平方级重跑的实测数据与落地代码。
同一段从 NDJSON 统计 Stars 的脚本,标准库 json 要 754 毫秒,换成 msgspec 声明式解码只要 146 毫秒,多核并行还能再上一个数量级。本文用 61.4MB、30 万行样本逐级实测 stdlib、orjson、msgspec 三条路线,讲清 Python 解析大 JSON 的每一步提速从哪里来、什么时候到头。
模型返回的 JSON 少了结尾,解析器只给一个列号,补上括号就能跑——但缺口被藏进了数据里。本文按停止原因判定、输出额度定容、schema 字段排序与部分恢复的诚实披露,划清截断场景下能修与必须重试的边界。