Đọc JSON lớn nhanh trong Python: đo thử stdlib, orjson và msgspec
Kết luận: Cùng một script đếm Stars từ NDJSON mất 754 ms với thư viện json chuẩn nhưng chỉ 146 ms với giải mã khai báo của msgspec — và song song đa nhân còn thêm một bậc nữa. Bài viết thử nghiệm stdlib, orjson và msgspec từng bước trên mẫu 61,4 MB và 300.000 dòng, giải thích mỗi lần tăng tốc đến từ đâu và khi nào chạm trần.

Làm chậm việc phân tích trong Python chưa bao giờ là chính bản thân văn bản JSON, mà là chi phí biến mỗi trường thành đối tượng Python. Thay parser mặc định, dựng ít đối tượng hơn, dùng hết các nhân — và cùng một công việc đếm nhảy từ 0,08 GB/s lên hàng chục GB/s.
Một quan sát: cùng một mã, chênh nhau một bậc
Công việc kinh điển: trong log NDJSON kiểu GitHub Events, đếm repository nào nhận nhiều sao nhất trong các bản ghi có type bằng WatchEvent. Trên máy của tôi (Ubuntu 22.04, Python 3.12, orjson 3.13, msgspec 0.22), tôi sinh tệp mẫu 61,4 MB với 300.000 dòng, chạy bốn bản cài đặt mỗi bản ba lần và giữ kết quả tốt nhất:
| Bản cài đặt | Thời gian tốt nhất | Thông lượng quy đổi | Tương đối |
|---|---|---|---|
json.loads từng dòng |
754 ms | 0,08 GB/s | 1× (gốc) |
orjson.loads từng dòng |
248 ms | 0,24 GB/s | 3,0× |
msgspec giải mã thành dict |
201 ms | 0,30 GB/s | 3,8× |
msgspec Struct khai báo |
146 ms | 0,41 GB/s | 5,2× |
Cả bốn bản cài đặt cho đúng một số lượng sao (60.108 bản ghi), nên toàn bộ chênh lệch đến từ chính việc phân tích. Dữ liệu bên thứ ba xác nhận cùng bậc: trong benchmark World Programming công bố ngày 2026-11-14, cùng phép thống kê trên 7,6 GB và 2,2 triệu sự kiện GitHub Archive chạy 0,28 GB/s với thư viện chuẩn (khoảng 27 giây), nhanh hơn khoảng 8 lần với msgspec, còn fastsimdjson dựa trên SIMD xử lý xong toàn bộ tập dữ liệu trong 55 ms trên 192 luồng (138 GB/s), đỉnh 277 GB/s trên một tệp. Lưu ý: máy của họ là AWS c8a.metal-48xl 192 nhân, nên con số không chuyển thẳng sang laptop — nhưng hình thang bậc thang thì như nhau.
Thư viện chuẩn mất thời gian ở đâu
Cách json.loads từng dòng thực hiện một bản "dịch trọn vẹn" ở mỗi bước: parser quét {"id": 1, "type": "WatchEvent", ...}, tạo cho bản ghi đó một dict mới, ít nhất bảy đối tượng str và vài int, rồi trao tham chiếu cho mã của bạn. Ba trăm nghìn dòng nghĩa là hàng triệu lần cấp phát đối tượng nhỏ, mà phần lớn bạn chẳng bao giờ chạm tới — công việc đếm chỉ đọc hai trường, type và repo.name.
Giới hạn thứ hai là GIL. Trong CPython, mỗi thời điểm chỉ một luồng thực thi bytecode Python, và dù mã C của parser nhả GIL, logic lọc và cộng dồn của bạn trong vòng lặp vẫn tuần tự. Mở tám luồng trên trình thông dịch mặc định không giải quyết gì; cần chiến lược khác.
Bậc tăng tốc thứ nhất: thay parser
Đây là bước có tỷ lệ lợi/khó tốt nhất — thay đổi duy nhất là import:
import json
import orjson
import msgspec
dec = msgspec.json.Decoder()
# Ba parser gần như chung một giao diện, trừ dumps:
# orjson.dumps(...) trả về bytes, không phải str
for name, load in [("stdlib", json.loads), ("orjson", orjson.loads), ("msgspec", dec.decode)]:
stars = {}
with open("events.ndjson", "rb") as f:
for line in f:
e = load(line)
if e["type"] == "WatchEvent":
stars[e["repo"]["name"]] = stars.get(e["repo"]["name"], 0) + 1
orjson viết bằng Rust, trong lúc phân tích tạo thẳng byte UTF-8 và dùng nhiều lệnh SIMD; trên máy tôi nó nhanh hơn ba lần. Một bẫy API đáng nhớ: orjson.dumps() trả về bytes chứ không phải str — hãy xử lý khi ghi tệp hay nối chuỗi.
Giải mã mặc định của msgspec cùng hạng với orjson (3,8×), nhưng vũ khí thật là giải mã khai báo — chỉ dựng đối tượng Python cho các trường đã khai báo:
import msgspec
class Event(msgspec.Struct):
type: str
repo: msgspec.Raw # chưa giải mã, giữ byte thô
dec = msgspec.json.Decoder(Event)
stars = {}
with open("events.ndjson", "rb") as f:
for line in f:
e = dec.decode(line)
if e.type == "WatchEvent":
name = msgspec.json.decode(e.repo)["name"]
stars[name] = stars.get(name, 0) + 1
Khi repo được khai báo là msgspec.Raw, 240.000 dòng không phải WatchEvent bỏ hẳn việc dựng đối tượng repo và chỉ quét token — nhảy từ 3,8× lên 5,2× đúng là từ đây. Bản ghi càng nhiều trường và tỉ lệ bỏ đi càng cao, bậc này càng có lãi.
Bậc thứ hai: chia cho nhiều tiến trình, lợi nhuận giảm dần
Khi một nhân đã bão hòa, câu trả lời kinh điển là pool tiến trình: chia tệp thành N vùng byte (căn theo ranh giới dòng), giao mỗi mảnh cho một tiến trình worker, cuối cùng gộp Counters. Mỗi tiến trình chỉ trả về một bảng kết quả nhỏ nên chi phí giao tiếp tối thiểu — dạng lý tưởng của map-reduce.
Benchmark của World Programming cho thấy dáng vẻ của con đường này: pool tiến trình msgspec đạt đỉnh 116 GB/s với 96 tiến trình, và thêm tiến trình nữa lại chậm đi — chi phí lập lịch và trộn ăn mất lãi. Hai ràng buộc thực tế: các mảnh phải căn theo ký tự xuống dòng, nếu không dòng cuối mỗi mảnh phân tích thất bại; và công việc đếm (trả kết quả nhỏ) là trường hợp tốt nhất cho pool tiến trình. Nếu bạn phải rút và dùng từng bản ghi, chính việc truyền giữa các tiến trình thành nút thắt mới.
Bậc thứ ba: SIMD và Python không GIL
fastsimdjson đi đường khác: 8 GB/s trên một nhân (khoảng 3,5 lần msgspec), vì nó dựa trên đánh chỉ mục có cấu trúc của simdjson — quét trước dấu câu để định vị từng token mà không dựng cây đối tượng đầy đủ; kết hợp với fields=["/type", "/repo/name"] nó chỉ đọc các đường JSON Pointer đã khai báo, và callback chỉ nhận đúng hai giá trị đó.
Nó còn đa luồng: ghép với bản free-threaded của Python 3.14 (python3.14t, nỗ lực chính thức của PEP 703 bỏ GIL), 192 luồng xử lý 7,6 GB trong 55 ms. Trên sáu tệp benchmark công khai cỡ 1 GB, bốn vượt 100 GB/s và nhanh nhất, tập twitter, đạt 277 GB/s. Nhớ rằng đây là những lần đo lại độc lập ngoài tuyên bố của nhà cung cấp, và mẫu là kịch bản thuận lợi nhất — "đọc một hai trường mỗi bản ghi". Văn bản lồng sâu không chạm tới các con số ấy; một trong số đó chỉ quanh 20 GB/s.
Bảng chọn nhanh và thứ tự triển khai
| Hướng | Cơ chế | Thông lượng (cục bộ/tham khảo) | Phù hợp với |
|---|---|---|---|
json (stdlib) |
dựng đối tượng đầy đủ, một nhân | 0,08 GB/s | tệp nhỏ, không phụ thuộc |
| orjson | Rust + SIMD, dựng đầy đủ | 0,24 GB/s | thay thế vài dòng |
| msgspec dict | Rust, dựng đầy đủ | 0,30 GB/s | chọn một trong hai với orjson |
| msgspec Struct | chỉ giải mã trường khai báo | 0,41 GB/s | mảng lớn, tỉ lệ bỏ cao |
| msgspec đa tiến trình | song song theo mảnh | tham khảo 116 GB/s | tổng hợp, tập kết quả nhỏ |
| fastsimdjson | chỉ mục cấu trúc + luồng | tham khảo 138-277 GB/s | rút trường từ NDJSON, 3.14t |
Thứ tự triển khai hợp lý: trước hết chuyển sang msgspec hoặc orjson (vài phút công cho 3-5× miễn phí); chưa đủ thì chuyển trường nóng thành Struct; công việc đếm thì thêm pool tiến trình; fastsimdjson chỉ cân nhắc khi bạn rút trường từng dòng từ NDJSON và môi trường cho phép. Nếu nút thắt là bộ nhớ chứ không phải tốc độ — tệp quá lớn để đọc trọn — hướng đi đổi: chuyển sang streaming với ijson, hay jq --stream trên dòng lệnh; xem Xử lý JSON lớn dạng stream với jq và Phân tích, hiển thị và streaming JSON lớn. Quy tắc dòng của NDJSON xem trong Sổ tay thực dụng tệp JSONL.
Kỷ luật đo lường và ba cái bẫy
Một, chốt phương pháp bấm giờ: trong bài này mỗi bản cài đặt chạy ba lần và lấy kết quả tốt nhất (lọc rung của bộ lập lịch), tệp được sinh xong trước khi đo. Khi trích số của người khác, nêu cấu hình máy — đừng bao giờ so 138 GB/s trên 192 nhân với một nhân của laptop mình.
Hai, kiểm chứng đúng đắn chéo: cả bốn bản cài đều đếm 60.108 sao. Mọi "tăng tốc" làm đổi con số là đổi ngữ nghĩa phân tích (xử lý khóa trùng, độ chính xác số nguyên lớn), không phải nhanh hơn. Căn kết quả trước, căn tốc độ sau.
Ba, ba bẫy thường gặp: orjson.dumps() trả về bytes, trộn với str sinh âm thầm dữ liệu bẩn với tiền tố b'...'; các mảnh pool tiến trình phải căn theo ranh giới dòng — sau f.seek(offset), bỏ trước phần dòng lởm; số nguyên lớn hơn 2^53 an toàn trong mọi parser Python, nhưng nếu kết quả sang phía JavaScript thì vấn đề độ chính xác đang đợi bên đó.
Câu hỏi thường gặp
Chọn orjson hay msgspec?
Nếu chỉ cần loads nhanh hơn, cả hai đều 3× trở lên — chọn theo hoạt động bảo trì và sự quen thuộc của nhóm. Chọn msgspec khi cần giải mã một phần (msgspec.Struct + Raw), kiểm tra kiểu, hay xuất TypedDict/dataclass; giải mã khai báo của nó thêm một lớp lãi độc lập trên mảng lớn.
Đa tiến trình có luôn nhanh hơn một nhân không?
Không. Chia, khởi động tiến trình và gộp đều có chi phí cố định, và với tệp vài chục MB thường lỗ. Công việc trả kết quả lớn (cần từng bản ghi) mất lãi vào truyền tải. Theo kinh nghiệm: đổi thư viện trên một nhân trước, và chỉ song song ở cỡ GB với việc đếm thuần túy.
Vì sao benchmark orjson của tôi không đạt 3×?
Ba lý do quen: mẫu quá nhỏ (thời gian phân tích chìm vào đọc tệp và chi phí vòng lặp); nút thắt thật là mạng hay đĩa, không phải phân tích; hoặc dữ liệu gần như toàn chuỗi dài nên dựng đối tượng chiếm ít. Lấy mẫu lớn hơn, bọc riêng vòng phân tích trong time.perf_counter rồi hẵng kết luận.
ijson liên quan gì đến các thư viện này?
ijson là iterator dạng stream: đổi thông lượng lấy bộ nhớ hằng và hợp với tệp lớn hơn nhiều RAM; orjson/msgspec chạy theo thông lượng nhưng biến từng bản ghi thành đối tượng. Hai bên không mâu thuẫn: NDJSON cỡ GB giải được bằng đọc từng dòng và giải mã nhanh với msgspec; ijson hay jq --stream chỉ cần cho một tài liệu JSON đơn lẻ khổng lồ.