Python으로 큰 JSON 읽기 속도 실측: 표준 라이브러리, orjson, msgspec
핵심 요약: NDJSON에서 Stars를 집계하는 같은 스크립트가 표준 json 라이브러리로는 754밀리초, msgspec 선언형 디코딩으로는 146밀리초가 걸립니다. 멀티코어 병렬화를 더하면 또 한 자릿수 늘어납니다. 이 글은 61.4MB·30만 행 샘플로 stdlib·orjson·msgspec 세 경로를 단계별로 실측하며, Python의 JSON 파싱 속도가 어디서 와서 어디서 한계에 닿는지 설명합니다.

Python 파싱을 느리게 하는 것은 JSON 텍스트 자체가 아니라 모든 필드를 Python 객체로 바꾸는 비용입니다. 기본 파서를 갈아끼우고, 객체 생성을 줄이고, 여러 코어를 다 쓰면 같은 집계 작업의 처리량이 0.08 GB/s에서 수십 GB/s까지 올라갑니다.
하나, 현상: 같은 집계 코드인데 속도가 한 자릿수 차이
흔한 작업입니다. GitHub Events 스타일 NDJSON 로그에서 type이 WatchEvent인 레코드만 골라 어떤 저장소가 Star를 가장 많이 받았는지 세어 봅니다. 제 환경(Ubuntu 22.04, Python 3.12, orjson 3.13, msgspec 0.22)에서 30만 행·61.4MB 샘플 파일을 만들고 네 가지 구현을 각각 세 번 실행해 최빠른 값을 뽑았습니다.
| 구현 | 최적 시간 | 환산 처리량 | 상대 배수 |
|---|---|---|---|
json.loads 한 줄씩 |
754 ms | 0.08 GB/s | 1×(기준) |
orjson.loads 한 줄씩 |
248 ms | 0.24 GB/s | 3.0× |
msgspec dict로 디코딩 |
201 ms | 0.30 GB/s | 3.8× |
msgspec 선언형 Struct |
146 ms | 0.41 GB/s | 5.2× |
네 구현 모두 Star 개수가 정확히 같았고(60,108건), 차이는 전부 파싱 자체에서 왔습니다. 제3자 데이터도 같은 규모를 뒷받침합니다. World Programming이 2026-11-14에 공개한 실측에서는 7.6GB·220만 건의 GitHub Archive 이벤트로 같은 집계를 돌렸을 때 표준 라이브러리 코드가 0.28 GB/s(약 27초), msgspec으로 바꾸면 약 8배 빨랐고, SIMD 기반 fastsimdjson은 192스레드에서 55밀리초 만에 전체 데이터를 처리(138 GB/s)했으며 단일 파일에서는 최고 277 GB/s에 닿았습니다. 다만 환경이 192코어 AWS c8a.metal-48xl이므로 숫자를 일반 머신에 그대로 옮길 수는 없지만, 계단 관계는 같습니다.
둘, 표준 라이브러리가 느린 이유
json.loads로 한 줄씩 읽는 코드는 매 단계 '완전 번역'을 합니다. 파서가 {"id": 1, "type": "WatchEvent", ...}를 훑으며 그 레코드를 위한 새 dict, str 객체 7개 이상, int 몇 개를 새로 만들고 그 참조를 코드에 넘깁니다. 30만 행이면 수백만 개의 작은 객체 할당이고, 대부분은 한 번도 쓰이지 않습니다. 집계 작업이 만지는 필드는 type과 repo.name 두 개뿐이기 때문입니다.
두 번째 제약은 GIL입니다. CPython에서는 같은 순간에 파이썬 바이트코드를 실행하는 스레드가 하나뿐입니다. 파싱의 C 코드 부분이 GIL을 놓아주어도 루프 안에 쓴 필터와 누적 로직은 여전히 직렬입니다. 기본 인터프리터에서 '스레드 8개 열기'로는 아무것도 해결되지 않으며 발상의 전환이 필요합니다.
셋, 1단계: 파서를 바꾼다
비용 대비 효과가 가장 큰 단계이고, 변경은 import뿐입니다.
import json
import orjson
import msgspec
dec = msgspec.json.Decoder()
# 세 파서는 dumps를 빼면 인터페이스가 거의 같음:
# orjson.dumps(...)는 str이 아니라 bytes를 반환
for name, load in [("stdlib", json.loads), ("orjson", orjson.loads), ("msgspec", dec.decode)]:
stars = {}
with open("events.ndjson", "rb") as f:
for line in f:
e = load(line)
if e["type"] == "WatchEvent":
stars[e["repo"]["name"]] = stars.get(e["repo"]["name"], 0) + 1
orjson은 Rust로 구현되어 파싱 중에 곧바로 UTF-8 바이트를 만들고 SIMD 명령을 널리 사용합니다. 실측에서 3배 빨랐습니다. 놓치기 쉬운 API 차이도 있습니다. orjson.dumps()는 str이 아니라 bytes를 반환하므로 파일에 쓰거나 문자열을 이어 붙일 때 처리가 필요합니다.
msgspec의 기본 디코딩은 orjson과 비슷한 수준(3.8×)이지만, 진짜 무기는 선언형 디코딩입니다. 선언한 필드만 Python 객체로 만듭니다.
import msgspec
class Event(msgspec.Struct):
type: str
repo: msgspec.Raw # 아직 디코딩하지 않고 원본 바이트 유지
dec = msgspec.json.Decoder(Event)
stars = {}
with open("events.ndjson", "rb") as f:
for line in f:
e = dec.decode(line)
if e.type == "WatchEvent":
name = msgspec.json.decode(e.repo)["name"]
stars[name] = stars.get(name, 0) + 1
repo를 msgspec.Raw로 선언하면 WatchEvent가 아닌 24만 행은 repo 객체 생성을 완전히 건너뛰고 토큰 훑기만 합니다. 3.8×에서 5.2×로의 차이가 정확히 여기서 나옵니다. 필드가 많고 버리는 비율이 높을수록 이 한 수의 이득이 커집니다.
넷, 2단계: 멀티프로세스 분할, 그러나 수확 체감
싱글 코어를 다 쓰면 정석 답은 프로세스 풀입니다. 파일을 바이트 범위로 N등분(행 경계에 맞춤)하고 각 조각을 워커 프로세스에 맡겨 집계한 뒤 마지막에 Counter를 합칩니다. 각 프로세스는 작은 결과 표만 돌려주므로 통신량이 매우 작아 map-reduce의 이상형입니다.
World Programming 실측은 이 길의 모습도 보여줍니다. msgspec 프로세스 풀은 96프로세스에서 116 GB/s에 달했고 그 이상 늘리면 오히려 느려졌습니다. 스케줄링과 병합 오버헤드가 이득을 잠식한 것입니다. 현실적 제약도 두 가지입니다. 조각은 줄바꿈 문자에 맞춰야 하며 그렇지 않으면 마지막 행 파싱이 실패합니다. 그리고 집계형 작업(작은 결과 반환)이 프로세스 풀의 최선의 경우이고, 모든 레코드를 꺼내 써야 한다면 프로세스 간 전송 자체가 새 병목이 됩니다.
다섯, 3단계: SIMD와 자유 스레드 Python
fastsimdjson은 다른 길을 갑니다. 싱글 코어 8 GB/s(msgspec의 약 3.5배)인데, simdjson의 구조화 인덱스에 기반해 문장부호를 미리 훑어 토큰 위치를 확정하고 전체 객체 트리를 만들지 않기 때문입니다. fields=["/type", "/repo/name"]과 조합하면 선언된 JSON Pointer 경로만 읽고 콜백이 받는 값은 그 두 개뿐입니다.
멀티스레드도 지원합니다. GIL을 제거하려는 공식 시도인 PEP 703이 반영된 Python 3.14 자유 스레드 빌드(python3.14t)와 결합하면 192스레드로 7.6GB를 55밀리초에 처리했습니다. 약 1GB짜리 공개 벤치마크 파일 여섯 가지 중 넷이 100 GB/s를 넘었고 가장 빠른 twitter 데이터셋은 277 GB/s에 닿았습니다. 이 수치들은 벤더 발표를 넘어선 독립 재측정이며 샘플이 '레코드마다 필드 한두 개를 뽑는' 최선 시나리오라는 점에 유의하세요. 깊게 중첩된 문서는 여기까지 높지 않아 그중 하나는 20 GB/s 근처에 머물렀습니다.
여섯, 선택 요약표와 도입 순서
| 경로 | 메커니즘 | 실측/참고 처리량 | 알맞은 경우 |
|---|---|---|---|
json(표준 라이브러리) |
전체 객체 생성, 싱글 코어 | 0.08 GB/s | 작은 파일, 의존성 없음 |
| orjson | Rust + SIMD, 전체 객체 생성 | 0.24 GB/s | 몇 줄 수정으로 교체 |
| msgspec dict | Rust, 전체 객체 생성 | 0.30 GB/s | orjson 중 택일 |
| msgspec Struct | 선언 필드만 디코딩 | 0.41 GB/s | 큰 배열, 폐기율 높음 |
| msgspec 멀티프로세스 | 조각 병렬 | 참고 116 GB/s | 집계, 작은 결과 집합 |
| fastsimdjson | 구조 인덱스 + 멀티스레드 | 참고 138-277 GB/s | NDJSON 필드 추출, 3.14t |
도입은 이 순서를 권합니다. 먼저 msgspec이나 orjson으로 바꾸고(몇 분 수정으로 3~5배를 공짜로 얻습니다) 부족하면 핫패스 필드를 Struct화하고, 집계형 작업이면 프로세스 풀을 얹고, fastsimdjson은 NDJSON에서 한 줄씩 필드를 뽑는 상황이며 실행 환경이 허용할 때만 검토합니다. 병목이 속도가 아니라 메모리, 즉 파일이 너무 커서 통째로 읽을 수 없다면 방향이 바뀝니다. ijson 스트리밍이나 명령줄 쪽의 jq --stream으로 옮기세요. jq로 큰 JSON 스트리밍 처리하기와 큰 JSON의 파싱·렌더링·스트리밍을 참고하고, NDJSON 자체의 한 줄씩 읽고 쓰는 규칙은 JSONL 파일 실무에 있습니다.
일곱, 실측 조건과 세 가지 함정
첫째, 측정 조건을 고정하세요. 이 글에서는 각 구현을 세 번 돌려 최빠른 값을 채택했고(스케줄링 흔들림 제거) 파일은 측정 시작 전에 다 만들어 두었습니다. 제3자 수치를 인용할 때는 기계 사양을 밝히고, 192코어의 138 GB/s를 자기 노트북의 싱글 코어와 비교해서는 안 됩니다.
둘째, 정확성 교차 검증입니다. 네 구현의 Star 개수는 모두 60,108이었습니다. '속도 개선'이 개수를 바꾸었다면 빨라진 게 아니라 파싱 의미가 바뀐 것(중복 키 처리, 큰 정수 정밀도)입니다. 재현 실험에서는 속도보다 결과를 먼저 맞추세요.
셋째, 흔한 세 가지 함정. orjson.dumps()는 bytes를 반환하므로 str과 섞으면 b'...' 접두어가 붙은 더러운 데이터가 조용히 생깁니다. 프로세스 풀 조각은 행 경계에 맞추고 f.seek(offset) 후에는 잘린 행을 먼저 버립니다. 2^53을 넘는 큰 정수는 어떤 Python 파서에서도 안전하지만 결과를 JavaScript 쪽으로 넘긴다면 정밀도 문제가 그쪽에서 기다리고 있습니다.
자주 묻는 질문
orjson과 msgspec 중 무엇을 골라야 하나요?
loads 가속만 필요하면 둘 다 3배 이상이므로 유지보수 활동과 팀 숙련도로 고르면 됩니다. 부분 디코딩(msgspec.Struct + Raw), 타입 검증, TypedDict/dataclass 출력이 필요하면 msgspec을 고르세요. 선언형 디코딩은 큰 배열에서 독립적인 이득을 한 층 더 쌓습니다.
멀티프로세스가 반드시 싱글 코어보다 빠른가요?
아니요. 분할·프로세스 기동·병합에는 고정 비용이 있고 수십 MB 파일에서는 손해 보는 경우가 많습니다. 결과가 큰 작업(모든 레코드를 꺼내 쓰기)은 전송 비용이 이득을 잠식합니다. 경험칙으로는 먼저 싱글 코어에서 라이브러리를 바꾸고, GB급 순수 집계에서 부족할 때 병렬화합니다.
orjson이 실측에서 3배 빨라지지 않는 이유는?
이유는 주로 세 가지입니다. 샘플이 너무 작아 파싱 시간이 파일 읽기와 루프 오버헤드에 묻힌다. 진짜 병목은 네트워크나 디스크이고 파싱이 아니다. 데이터가 긴 문자열뿐이라 객체 생성 비중이 낮다. 더 큰 샘플로 바꾸고 파싱 루프만 time.perf_counter로 감싼 뒤 결론을 내리세요.
ijson과 이 라이브러리들의 관계는?
ijson은 스트리밍 이터레이터로 처리량을 희생해 일정한 메모리를 얻으며 RAM을 크게 넘는 파일에 맞습니다. orjson/msgspec은 처리량을 추구하지만 레코드 전체를 객체로 만듭니다. 둘은 충돌하지 않습니다. GB급 NDJSON은 한 줄씩 읽기 + msgspec 빠른 디코딩으로 충분하고, 단독으로 거대한 JSON 문서에만 ijson이나 jq --stream이 필요합니다.