JSON Toolkit

Python で大きな JSON を高速に読む実測:標準ライブラリ、orjson、msgspec

要点:NDJSON から Stars を集計する同じスクリプトが、標準ライブラリの json では 754 ミリ秒、msgspec の宣言的デコードでは 146 ミリ秒。マルチコア並列化ならさらに一桁伸びます。本稿は 61.4MB・30 万行のサンプルで stdlib・orjson・msgspec の三つのルートを段階的に実測し、Python の JSON パースがどの段階で・なぜ速くなり、どこで頭打ちになるのかを解説します。

実践約 6 分で読めます2026-11-15 公開2026-11-15 更新
Python の大型 JSON パース高速化ルート比較:標準ライブラリ・orjson・msgspec・マルチコア並列

Python のパースを遅くしているのは JSON テキストそのものではなく、すべてのフィールドを Python オブジェクトに変換するコストです。デフォルトのパーサーを替え、オブジェクトの生成を減らし、複数コアを使い切れば、同じ集計タスクのスループットは 0.08 GB/s から数十 GB/s まで伸びます。

一、現象:同じ集計コードで速度が一桁違う

よくあるタスクです。GitHub Events 風の NDJSON ログから、type が WatchEvent のレコードについて、どのリポジトリが最も Star されているかを数えます。手元の環境(Ubuntu 22.04、Python 3.12、orjson 3.13、msgspec 0.22)で 30 万行・61.4MB のサンプルファイルを生成し、4 実装それぞれ 3 回実行して最速値を取りました。

実装 最速タイム 換算スループット 相対倍率
json.loads を逐行 754 ms 0.08 GB/s 1×(基準)
orjson.loads を逐行 248 ms 0.24 GB/s 3.0×
msgspec dict にデコード 201 ms 0.30 GB/s 3.8×
msgspec 宣言的 Struct 146 ms 0.41 GB/s 5.2×

4 実装とも Star のカウントは完全に一致(60,108 件)したため、差分はすべてパース処理そのものに由来します。第三者データも同じ桁を裏付けます。World Programming が 2026-11-14 に公開した実測では、7.6GB・220 万件の GitHub Archive イベントで同じ集計を行い、標準ライブラリの書き方は 0.28 GB/s(約 27 秒)、msgspec に替えると約 8 倍、SIMD ベースの fastsimdjson は 192 スレッドで 55 ミリ秒で全データを処理(138 GB/s)し、単一ファイルでは最高 277 GB/s に達しました。ただし環境は 192 コアの AWS c8a.metal-48xl であり、数値をそのまま普通のマシンに当てはめることはできません。それでも階段状の関係は同じです。

二、標準ライブラリが遅い理由

json.loads で逐行読む書き方は、毎ステップ「完全翻訳」を行っています。パーサーは {"id": 1, "type": "WatchEvent", ...} を走査し、この 1 レコードのために新しい dict、7 個以上の str、いくつかの int を生成し、その参照をコードに渡します。30 万行なら数百万個の小さなオブジェクト割り当てとなり、その大部分は一度も使いません。集計タスクが触るのは type と repo.name の 2 フィールドだけだからです。

もう一つの制約が GIL です。CPython では同一時刻に Python バイトコードを実行できるスレッドは 1 つだけです。パースの C コード部分が GIL を解放しても、ループ内に書いたフィルタや加算のロジックは直列のまま。「8 スレッド立てる」ではデフォルトのインタプリタ上で何も解決せず、発想の転換が必要です。

三、第一段階:パーサーを替える

費用対効果が最も高いステップで、変更は import だけです。

import json
import orjson
import msgspec

dec = msgspec.json.Decoder()

# 3 パーサーは dumps を除きほぼ同じインターフェース:
# orjson.dumps(...) は str ではなく bytes を返す
for name, load in [("stdlib", json.loads), ("orjson", orjson.loads), ("msgspec", dec.decode)]:
    stars = {}
    with open("events.ndjson", "rb") as f:
        for line in f:
            e = load(line)
            if e["type"] == "WatchEvent":
                stars[e["repo"]["name"]] = stars.get(e["repo"]["name"], 0) + 1

orjson は Rust 実装で、パース時に直接 UTF-8 バイト列を生成し、SIMD 命令を多用します。実測では 3 倍速くなりました。見落としやすい API 差異もあります。orjson.dumps() は str ではなく bytes を返すため、ファイル書き出しや文字列連結の際には処理が必要です。

msgspec のデフォルトデコードは orjson と同程度(3.8×)ですが、本領は宣言的デコードにあります。宣言したフィールドだけを Python オブジェクトにします。

import msgspec

class Event(msgspec.Struct):
    type: str
    repo: msgspec.Raw          # まだデコードしない、生バイトを保持

dec = msgspec.json.Decoder(Event)
stars = {}
with open("events.ndjson", "rb") as f:
    for line in f:
        e = dec.decode(line)
        if e.type == "WatchEvent":
            name = msgspec.json.decode(e.repo)["name"]
            stars[name] = stars.get(name, 0) + 1

repo を msgspec.Raw と宣言すれば、WatchEvent 以外の 24 万行は repo のオブジェクト構築を完全にスキップし、トークン走査だけを行います。3.8× から 5.2× への差分はまさにここから来ています。フィールドが多く、捨てる割合が高いほど、この一手の利得は大きくなります。

四、第二段階:マルチプロセス分割、ただし収穫逓減

シングルコアを使い切ったら、定番はプロセスプールです。ファイルをバイト範囲で N 分割し(行境界に整合)、各スライスをワーカープロセスに渡して集計し、最後に Counter をマージします。各プロセスは小さな結果表だけを返すため通信量が非常に小さく、map-reduce の理想形です。

World Programming の実測はこの道の姿も示しています。msgspec のプロセスプールは 96 プロセスで 116 GB/s に達し、それ以上増やすと逆に遅くなりました。スケジューリングとマージのオーバーヘッドが利得を食うのです。現実的な制約も 2 つあります。スライスは改行文字に整合させる必要があり、ずれると最終行のパースが失敗すること。そして集計型タスク(小さな結果を返す)はプロセスプールの最良ケースであり、すべてのレコードを取り出して使いたい場合は、プロセス間転送自体が新しいボトルネックになります。

五、第三段階:SIMD とフリースレッド Python

fastsimdjson は別の道を行きます。シングルコアで 8 GB/s(msgspec の約 3.5 倍)です。 simdjson の構造化インデックスに基づき、句読点を事前走査して各トークンの位置を確定し、完全なオブジェクトツリーを構築しません。fields=["/type", "/repo/name"] と組み合わせれば、宣言された JSON Pointer パスだけを読み、コールバックが受け取るのはその 2 値だけです。

さらにマルチスレッドにも対応します。Python 3.14 のフリースレッドビルド(python3.14t、GIL を除去する PEP 703 の公式試み)と組み合わせると、192 スレッドで 7.6GB を 55 ミリ秒で処理しました。約 1GB の公開ベンチファイル 6 種のうち 4 種が 100 GB/s を超え、最速の twitter データセットは 277 GB/s に達しています。これらはベンダー発表を超える独立再測であり、サンプルは「レコードごとに 1〜2 フィールドを取る」という最良シナリオである点に注意してください。深くネストしたドキュメントはここまで高くなく、そのうちの一つは 20 GB/s 前後にとどまりました。

六、選定早見表と導入順序

ルート 仕組み 実測/参考スループット 向いている場面
json(標準ライブラリ) 全オブジェクト構築、シングルコア 0.08 GB/s 小さいファイル、依存なし
orjson Rust + SIMD、全オブジェクト構築 0.24 GB/s 数行の変更で置き換え
msgspec dict Rust、全オブジェクト構築 0.30 GB/s orjson とどちらか
msgspec Struct 宣言フィールドのみデコード 0.41 GB/s 大きな配列、廃棄率が高い
msgspec マルチプロセス スライス並列 参考 116 GB/s 集計処理、小さい結果セット
fastsimdjson 構造インデックス + マルチスレッド 参考 138-277 GB/s NDJSON のフィールド抽出、3.14t

導入はこの順が勧めです。まず msgspec か orjson に替える(数分の変更で 3〜5 倍がただ手に入る)。足りなければホットパスのフィールドを Struct 化する。集計型タスクならプロセスプールを追加する。fastsimdjson は NDJSON から逐行フィールドを取る场景で、実行環境が許すときだけ検討します。ボトルネックが速度ではなくメモリであれば、つまりファイルが大きすぎて一括読みできないなら、方向が変わります。ijson のストリーミング、あるいはコマンドライン側の jq --stream に替えてください。jq で大きな JSON をストリーム処理すると大きな JSON のパース・レンダリング・ストリーミングを参照してください。NDJSON 自体の逐行読み書きの規則は JSONL ファイル実践にあります。

七、実測の条件と三つの罠

第一に、計測条件を固定すること。本稿では各実装 3 回実行して最速値を採用し(スケジューリング揺らぎの除去)、ファイルは計測開始前に生成済みです。第三者数値を引用するときはマシン仕様を明記し、192 コアの 138 GB/s を自分のノート PC のシングルコアと比較してはいけません。

第二に、正しさのクロス検証。4 実装の Star カウントはすべて 60,108 でした。「高速化」によってカウントが変わったなら、それは速くなったのではなくパースの意味論が変わった(重複キーの扱い、大きな整数の精度)ことを意味します。再現実験では速度より先に結果を揃えてください。

第三に、よくある 3 つの罠。orjson.dumps() は bytes を返し、str と混ぜると b'...' 接頭辞付きの汚れたデータが静かに生まれること。プロセスプールのスライスは行境界に整合させ、f.seek(offset) の後はまず半端な行を捨てること。2^53 を超える大きな整数はどの Python パーサーでも安全ですが、結果を JavaScript 側に渡すなら、精度問題はそこで待っています。

よくある質問

orjson と msgspec、どちらを選ぶべき?

loads の高速化だけなら両方とも 3 倍以上なので、メンテナンスの活発さとチームの慣れで選んで構いません。部分デコード(msgspec.Struct + Raw)、型検証、TypedDict/dataclass 出力が必要なら msgspec を選んでください。宣言的デコードは大きな配列で独立した利得をさらに積み上げます。

マルチプロセスは必ずシングルコアより速い?

いいえ。分割・プロセス起動・マージには固定コストがあり、数十 MB 程度のファイルでは損することが多いです。結果が大きいタスク(全レコードを取り出す)は転送コストが利得を食います。経験則として、まずシングルコアでライブラリを替え、GB 級の純集計で足りないときに並列化します。

orjson が実測で 3 倍速くならないのはなぜ?

理由は主に 3 つ。サンプルが小さすぎる(パース時間がファイル読み込みとループのオーバーヘッドに埋もれる)。本当のボトルネックはネットワークやディスクでパースではない。データが長い文字列ばかりでオブジェクト構築の占める割合が低い。より大きなサンプルに替え、パースループだけを time.perf_counter で包んでから結論を出してください。

ijson とこれらのライブラリの関係は?

ijson はストリーミングイテレータで、スループットを犠牲にして定数メモリを実現し、RAM を大きく超えるファイルに向きます。orjson/msgspec はスループット重視ですが、レコード全体をオブジェクトにします。両者は矛盾しません。GB 級の NDJSON は逐行読み + msgspec の高速デコードでよく、単体で巨大な 1 つの JSON ドキュメントにのみ ijson や jq --stream が必要です。