Python 讀大 JSON 提速實測:標準庫、orjson 與 msgspec
結論:同一段從 NDJSON 統計 Stars 的腳本,標準庫 json 要 754 毫秒,換成 msgspec 宣告式解碼只要 146 毫秒,多核並行還能再上一個數量級。本文用 61.4MB、30 萬行樣本逐級實測 stdlib、orjson、msgspec 三條路線,講清 Python 解析大 JSON 的每一步提速從哪裡來、什麼時候到頭。

讓 Python 解析變慢的從來不是 JSON 文本本身,而是把每個欄位都變成 Python 物件的成本:換掉預設解析器、少建物件、用滿多個核,同一個統計任務的吞吐能從 0.08 GB/s 提到幾十 GB/s。
一、現象:同一份統計程式碼,速度差出一個數量級
任務很常見:一份 GitHub Events 風格的 NDJSON 日誌,統計 type 為 WatchEvent 的記錄裡哪些倉庫被 Star 最多。我在本機(Ubuntu 22.04、Python 3.12、orjson 3.13、msgspec 0.22)生成了 300,000 行、61.4MB 的樣本檔案,四組實作各跑三次取最優,結果如下:
| 實作 | 最優耗時 | 等比吞吐 | 相對倍數 |
|---|---|---|---|
json.loads 逐行 |
754 ms | 0.08 GB/s | 1×(基準) |
orjson.loads 逐行 |
248 ms | 0.24 GB/s | 3.0× |
msgspec 解碼為 dict |
201 ms | 0.30 GB/s | 3.8× |
msgspec 宣告式 Struct |
146 ms | 0.41 GB/s | 5.2× |
四組輸出的 Star 計數完全一致(60,108 條),說明差異全部來自解析本身。第三方數據同樣支持這個量級:World Programming 在 2026-11-14 發布的實測裡,用 7.6GB、220 萬條 GitHub Archive 事件做同一個統計,標準庫寫法 0.28 GB/s(約 27 秒),換 msgspec 快約 8 倍,而基於 SIMD 的 fastsimdjson 在 192 執行緒下 55 毫秒跑完全部數據(138 GB/s),單一檔案上最高到 277 GB/s。注意其環境是 AWS c8a.metal-48xl(192 核),數字不能直接搬到普通機器,但階梯關係是一樣的。
二、標準庫慢在哪
json.loads 逐行讀的寫法每一步都在做「完整翻譯」:解析器掃過 {"id": 1, "type": "WatchEvent", ...},為這行記錄新建一個 dict、7 個以上的 str 物件、若干 int,然後把這些物件的引用交給你的程式碼。300,000 行就是幾百萬個小物件分配,其中絕大部分你根本不會用到——統計任務只碰了 type 和 repo.name 兩個欄位。
第二個限制是 GIL。CPython 裡同一時刻只有一個執行緒在執行 Python 位元組碼,就算解析 C 程式碼部分可以釋放 GIL,你寫在迴圈裡的過濾和累加邏輯仍然串行。所以「開 8 個執行緒」在預設直譯器上不解決任何問題,必須換思路。
三、第一級提速:換解析器
這是性價比最高的一步,改動只有 import:
import json
import orjson
import msgspec
dec = msgspec.json.Decoder()
# 三個解析器介面幾乎一致,dumps 除外:
# orjson.dumps(...) 返回 bytes,不是 str
for name, load in [("stdlib", json.loads), ("orjson", orjson.loads), ("msgspec", dec.decode)]:
stars = {}
with open("events.ndjson", "rb") as f:
for line in f:
e = load(line)
if e["type"] == "WatchEvent":
stars[e["repo"]["name"]] = stars.get(e["repo"]["name"], 0) + 1
orjson 用 Rust 實作,解析直接產出 UTF-8 位元組並大量使用 SIMD 指令,本機實測快 3 倍。它還有一個容易踩的 API 差異:orjson.dumps() 返回 bytes 而不是 str,寫回檔案或拼接時要記得處理。
msgspec 的預設解碼和 orjson 量級接近(3.8×),但它的真正武器是宣告式解碼——只把宣告的欄位建成 Python 物件:
import msgspec
class Event(msgspec.Struct):
type: str
repo: msgspec.Raw # 暫不解碼,保留原始位元組
dec = msgspec.json.Decoder(Event)
stars = {}
with open("events.ndjson", "rb") as f:
for line in f:
e = dec.decode(line)
if e.type == "WatchEvent":
name = msgspec.json.decode(e.repo)["name"]
stars[name] = stars.get(name, 0) + 1
repo 宣告為 msgspec.Raw 後,非 WatchEvent 的 240,000 行完全跳過 repo 的物件構建,只做 token 掃描——這就是從 3.8× 到 5.2× 的差額來源。欄位越多、丟棄比例越高,這一步的收益越大。
四、第二級提速:多進程切分,但收益遞減
單核跑滿之後,經典答案是進程池:把檔案按位元組範圍切成 N 片(對齊到行邊界),每片交給一個進程統計,最後合併 Counter。每個進程只返回一個小結果表,通訊量很小,這是 map-reduce 的理想形態。
World Programming 的實測給出了這條路的形態:msgspec 進程池在 96 個進程時達到 116 GB/s,再往加進程反而變慢——調度和合併的開銷吃掉了收益。還有兩個現實約束:切片要對齊換行符,否則最後一行會解析失敗;統計型任務(返回小結果)是進程池的最好情況,如果你要把每條記錄都取出來用,進程間傳輸本身就會成為新瓶頸。
五、第三級提速:SIMD 與自由執行緒 Python
fastsimdjson 走的是另一條路:單核 8 GB/s(約為 msgspec 的 3.5 倍),因為它基於 simdjson 的結構化索引——預掃描標點確定每個 token 的位置,不建全量物件樹;配合 fields=["/type", "/repo/name"] 只讀取宣告的 JSON Pointer 路徑,回呼函式拿到的只有這兩個值。
它還是多執行緒的:配合 Python 3.14 的自由執行緒構建(python3.14t,PEP 703 去掉 GIL 的官方嘗試),192 執行緒跑 7.6GB 只要 55 毫秒。在六份約 1GB 的公開基準檔案上,四份超過 100 GB/s,最快的 twitter 資料集達到 277 GB/s。要注意這些是廠商口徑之外的獨立複測,樣本是「每條記錄取一兩個欄位」的最優場景;深巢狀(deeply nested)文件沒有這麼高,其中一份只維持在 20 GB/s 附近。
六、選型速查與落地順序
| 路線 | 機制 | 本機/參考吞吐 | 適合 |
|---|---|---|---|
json(標準庫) |
全量建物件,單核 | 0.08 GB/s | 小檔案、無依賴 |
| orjson | Rust + SIMD,全量建物件 | 0.24 GB/s | 通用替代,幾行改動 |
| msgspec dict | Rust,全量建物件 | 0.30 GB/s | 與 orjson 二選一 |
| msgspec Struct | 只解碼宣告欄位 | 0.41 GB/s | 大陣列、欄位丟棄率高 |
| msgspec 多進程 | 切片並行 | 參考值 116 GB/s | 統計聚合、結果集小 |
| fastsimdjson | 結構索引 + 多執行緒 | 參考值 138-277 GB/s | NDJSON 取欄位、3.14t 環境 |
落地順序建議按這個來:先換 msgspec 或 orjson(幾分鐘的改動,白拿 3-5 倍);還不夠再把熱路徑欄位 Struct 化;統計型任務再上進程池;只有在 NDJSON 逐行取欄位的場景且執行環境允許時才考慮 fastsimdjson。如果瓶頸是記憶體而不是速度——檔案大到不能整讀——方向就變了:換 ijson 流式、或者命令列側的 jq --stream,參見用 jq 流式處理大檔案 JSON與大 JSON 的解析、渲染與流式處理;NDJSON 本身的逐行讀寫規則見JSONL 檔案實操。
七、實測口徑與三個陷阱
第一,計時口徑要固定:本文每個實作各跑 3 次取最優(排除調度抖動),檔案在計時開始前已生成完畢;引用第三方數字時註明了機器規格,別拿 192 核的 138 GB/s 對比自己筆記型電腦的單核數字。
第二,正確性要交叉驗證:四組實作的 Star 計數都是 60,108,任何一種「提速」如果讓計數變了,那是解析語義變了(重複鍵取值、大整數精度),不是快了。複現實驗時先對齊結果再對齊速度。
第三,三個常見坑:orjson.dumps() 返回 bytes,混用 str 會靜默產生 b'...' 前綴的髒數據;進程池切片必須對齊行邊界,f.seek(offset) 後先丟棄半行;大整數(超過 2^53)在任何 Python 解析器裡都安全,但如果結果要交給 JavaScript 側,精度問題在另一頭等你。
常見問題
orjson 和 msgspec 該選哪個?
只想加速 loads,兩者都是 3 倍以上,選維護活躍度和團隊熟悉度即可。需要「只解碼部分欄位」(msgspec.Struct + Raw)、類型校驗或 TypedDict/dataclass 輸出時選 msgspec,它的宣告式解碼在大陣列上還有一層獨立收益。
多進程一定比單核快嗎?
不一定。切分、啟動進程、合併都有固定開銷,檔案只有幾十 MB 時往往得不償失;返回結果大的任務(要取每條記錄)傳輸開銷會吃掉收益。經驗上先單核換庫,量級不夠(GB 級、純統計)再並行。
為什麼我實測 orjson 沒有快 3 倍?
常見原因有三個:樣本太小(解析時間被讀檔案和迴圈開銷淹沒);瓶頸其實在網路或磁碟而不是解析;數據全是長字串,物件構建佔比低。換更大的樣本、用 time.perf_counter 單獨包住解析迴圈再下結論。
ijson 和這些庫是什麼關係?
ijson 是流式迭代器,犧牲吞吐換常數記憶體,適合檔案遠超記憶體的場景;orjson/msgspec 追求吞吐但會把整條記錄建成物件。兩者不衝突:GB 級 NDJSON 可以逐行讀 + msgspec 快速解碼,單條超大 JSON 才需要 ijson 或 jq --stream。