Python で大きな JSON を高速に読む実測:標準ライブラリ、orjson、msgspec
要点:NDJSON から Stars を集計する同じスクリプトが、標準ライブラリの json では 754 ミリ秒、msgspec の宣言的デコードでは 146 ミリ秒。マルチコア並列化ならさらに一桁伸びます。本稿は 61.4MB・30 万行のサンプルで stdlib・orjson・msgspec の三つのルートを段階的に実測し、Python の JSON パースがどの段階で・なぜ速くなり、どこで頭打ちになるのかを解説します。

Python のパースを遅くしているのは JSON テキストそのものではなく、すべてのフィールドを Python オブジェクトに変換するコストです。デフォルトのパーサーを替え、オブジェクトの生成を減らし、複数コアを使い切れば、同じ集計タスクのスループットは 0.08 GB/s から数十 GB/s まで伸びます。
一、現象:同じ集計コードで速度が一桁違う
よくあるタスクです。GitHub Events 風の NDJSON ログから、type が WatchEvent のレコードについて、どのリポジトリが最も Star されているかを数えます。手元の環境(Ubuntu 22.04、Python 3.12、orjson 3.13、msgspec 0.22)で 30 万行・61.4MB のサンプルファイルを生成し、4 実装それぞれ 3 回実行して最速値を取りました。
| 実装 | 最速タイム | 換算スループット | 相対倍率 |
|---|---|---|---|
json.loads を逐行 |
754 ms | 0.08 GB/s | 1×(基準) |
orjson.loads を逐行 |
248 ms | 0.24 GB/s | 3.0× |
msgspec dict にデコード |
201 ms | 0.30 GB/s | 3.8× |
msgspec 宣言的 Struct |
146 ms | 0.41 GB/s | 5.2× |
4 実装とも Star のカウントは完全に一致(60,108 件)したため、差分はすべてパース処理そのものに由来します。第三者データも同じ桁を裏付けます。World Programming が 2026-11-14 に公開した実測では、7.6GB・220 万件の GitHub Archive イベントで同じ集計を行い、標準ライブラリの書き方は 0.28 GB/s(約 27 秒)、msgspec に替えると約 8 倍、SIMD ベースの fastsimdjson は 192 スレッドで 55 ミリ秒で全データを処理(138 GB/s)し、単一ファイルでは最高 277 GB/s に達しました。ただし環境は 192 コアの AWS c8a.metal-48xl であり、数値をそのまま普通のマシンに当てはめることはできません。それでも階段状の関係は同じです。
二、標準ライブラリが遅い理由
json.loads で逐行読む書き方は、毎ステップ「完全翻訳」を行っています。パーサーは {"id": 1, "type": "WatchEvent", ...} を走査し、この 1 レコードのために新しい dict、7 個以上の str、いくつかの int を生成し、その参照をコードに渡します。30 万行なら数百万個の小さなオブジェクト割り当てとなり、その大部分は一度も使いません。集計タスクが触るのは type と repo.name の 2 フィールドだけだからです。
もう一つの制約が GIL です。CPython では同一時刻に Python バイトコードを実行できるスレッドは 1 つだけです。パースの C コード部分が GIL を解放しても、ループ内に書いたフィルタや加算のロジックは直列のまま。「8 スレッド立てる」ではデフォルトのインタプリタ上で何も解決せず、発想の転換が必要です。
三、第一段階:パーサーを替える
費用対効果が最も高いステップで、変更は import だけです。
import json
import orjson
import msgspec
dec = msgspec.json.Decoder()
# 3 パーサーは dumps を除きほぼ同じインターフェース:
# orjson.dumps(...) は str ではなく bytes を返す
for name, load in [("stdlib", json.loads), ("orjson", orjson.loads), ("msgspec", dec.decode)]:
stars = {}
with open("events.ndjson", "rb") as f:
for line in f:
e = load(line)
if e["type"] == "WatchEvent":
stars[e["repo"]["name"]] = stars.get(e["repo"]["name"], 0) + 1
orjson は Rust 実装で、パース時に直接 UTF-8 バイト列を生成し、SIMD 命令を多用します。実測では 3 倍速くなりました。見落としやすい API 差異もあります。orjson.dumps() は str ではなく bytes を返すため、ファイル書き出しや文字列連結の際には処理が必要です。
msgspec のデフォルトデコードは orjson と同程度(3.8×)ですが、本領は宣言的デコードにあります。宣言したフィールドだけを Python オブジェクトにします。
import msgspec
class Event(msgspec.Struct):
type: str
repo: msgspec.Raw # まだデコードしない、生バイトを保持
dec = msgspec.json.Decoder(Event)
stars = {}
with open("events.ndjson", "rb") as f:
for line in f:
e = dec.decode(line)
if e.type == "WatchEvent":
name = msgspec.json.decode(e.repo)["name"]
stars[name] = stars.get(name, 0) + 1
repo を msgspec.Raw と宣言すれば、WatchEvent 以外の 24 万行は repo のオブジェクト構築を完全にスキップし、トークン走査だけを行います。3.8× から 5.2× への差分はまさにここから来ています。フィールドが多く、捨てる割合が高いほど、この一手の利得は大きくなります。
四、第二段階:マルチプロセス分割、ただし収穫逓減
シングルコアを使い切ったら、定番はプロセスプールです。ファイルをバイト範囲で N 分割し(行境界に整合)、各スライスをワーカープロセスに渡して集計し、最後に Counter をマージします。各プロセスは小さな結果表だけを返すため通信量が非常に小さく、map-reduce の理想形です。
World Programming の実測はこの道の姿も示しています。msgspec のプロセスプールは 96 プロセスで 116 GB/s に達し、それ以上増やすと逆に遅くなりました。スケジューリングとマージのオーバーヘッドが利得を食うのです。現実的な制約も 2 つあります。スライスは改行文字に整合させる必要があり、ずれると最終行のパースが失敗すること。そして集計型タスク(小さな結果を返す)はプロセスプールの最良ケースであり、すべてのレコードを取り出して使いたい場合は、プロセス間転送自体が新しいボトルネックになります。
五、第三段階:SIMD とフリースレッド Python
fastsimdjson は別の道を行きます。シングルコアで 8 GB/s(msgspec の約 3.5 倍)です。 simdjson の構造化インデックスに基づき、句読点を事前走査して各トークンの位置を確定し、完全なオブジェクトツリーを構築しません。fields=["/type", "/repo/name"] と組み合わせれば、宣言された JSON Pointer パスだけを読み、コールバックが受け取るのはその 2 値だけです。
さらにマルチスレッドにも対応します。Python 3.14 のフリースレッドビルド(python3.14t、GIL を除去する PEP 703 の公式試み)と組み合わせると、192 スレッドで 7.6GB を 55 ミリ秒で処理しました。約 1GB の公開ベンチファイル 6 種のうち 4 種が 100 GB/s を超え、最速の twitter データセットは 277 GB/s に達しています。これらはベンダー発表を超える独立再測であり、サンプルは「レコードごとに 1〜2 フィールドを取る」という最良シナリオである点に注意してください。深くネストしたドキュメントはここまで高くなく、そのうちの一つは 20 GB/s 前後にとどまりました。
六、選定早見表と導入順序
| ルート | 仕組み | 実測/参考スループット | 向いている場面 |
|---|---|---|---|
json(標準ライブラリ) |
全オブジェクト構築、シングルコア | 0.08 GB/s | 小さいファイル、依存なし |
| orjson | Rust + SIMD、全オブジェクト構築 | 0.24 GB/s | 数行の変更で置き換え |
| msgspec dict | Rust、全オブジェクト構築 | 0.30 GB/s | orjson とどちらか |
| msgspec Struct | 宣言フィールドのみデコード | 0.41 GB/s | 大きな配列、廃棄率が高い |
| msgspec マルチプロセス | スライス並列 | 参考 116 GB/s | 集計処理、小さい結果セット |
| fastsimdjson | 構造インデックス + マルチスレッド | 参考 138-277 GB/s | NDJSON のフィールド抽出、3.14t |
導入はこの順が勧めです。まず msgspec か orjson に替える(数分の変更で 3〜5 倍がただ手に入る)。足りなければホットパスのフィールドを Struct 化する。集計型タスクならプロセスプールを追加する。fastsimdjson は NDJSON から逐行フィールドを取る场景で、実行環境が許すときだけ検討します。ボトルネックが速度ではなくメモリであれば、つまりファイルが大きすぎて一括読みできないなら、方向が変わります。ijson のストリーミング、あるいはコマンドライン側の jq --stream に替えてください。jq で大きな JSON をストリーム処理すると大きな JSON のパース・レンダリング・ストリーミングを参照してください。NDJSON 自体の逐行読み書きの規則は JSONL ファイル実践にあります。
七、実測の条件と三つの罠
第一に、計測条件を固定すること。本稿では各実装 3 回実行して最速値を採用し(スケジューリング揺らぎの除去)、ファイルは計測開始前に生成済みです。第三者数値を引用するときはマシン仕様を明記し、192 コアの 138 GB/s を自分のノート PC のシングルコアと比較してはいけません。
第二に、正しさのクロス検証。4 実装の Star カウントはすべて 60,108 でした。「高速化」によってカウントが変わったなら、それは速くなったのではなくパースの意味論が変わった(重複キーの扱い、大きな整数の精度)ことを意味します。再現実験では速度より先に結果を揃えてください。
第三に、よくある 3 つの罠。orjson.dumps() は bytes を返し、str と混ぜると b'...' 接頭辞付きの汚れたデータが静かに生まれること。プロセスプールのスライスは行境界に整合させ、f.seek(offset) の後はまず半端な行を捨てること。2^53 を超える大きな整数はどの Python パーサーでも安全ですが、結果を JavaScript 側に渡すなら、精度問題はそこで待っています。
よくある質問
orjson と msgspec、どちらを選ぶべき?
loads の高速化だけなら両方とも 3 倍以上なので、メンテナンスの活発さとチームの慣れで選んで構いません。部分デコード(msgspec.Struct + Raw)、型検証、TypedDict/dataclass 出力が必要なら msgspec を選んでください。宣言的デコードは大きな配列で独立した利得をさらに積み上げます。
マルチプロセスは必ずシングルコアより速い?
いいえ。分割・プロセス起動・マージには固定コストがあり、数十 MB 程度のファイルでは損することが多いです。結果が大きいタスク(全レコードを取り出す)は転送コストが利得を食います。経験則として、まずシングルコアでライブラリを替え、GB 級の純集計で足りないときに並列化します。
orjson が実測で 3 倍速くならないのはなぜ?
理由は主に 3 つ。サンプルが小さすぎる(パース時間がファイル読み込みとループのオーバーヘッドに埋もれる)。本当のボトルネックはネットワークやディスクでパースではない。データが長い文字列ばかりでオブジェクト構築の占める割合が低い。より大きなサンプルに替え、パースループだけを time.perf_counter で包んでから結論を出してください。
ijson とこれらのライブラリの関係は?
ijson はストリーミングイテレータで、スループットを犠牲にして定数メモリを実現し、RAM を大きく超えるファイルに向きます。orjson/msgspec はスループット重視ですが、レコード全体をオブジェクトにします。両者は矛盾しません。GB 級の NDJSON は逐行読み + msgspec の高速デコードでよく、単体で巨大な 1 つの JSON ドキュメントにのみ ijson や jq --stream が必要です。