JSON Toolkit

Python으로 큰 JSON 읽기 속도 실측: 표준 라이브러리, orjson, msgspec

핵심 요약: NDJSON에서 Stars를 집계하는 같은 스크립트가 표준 json 라이브러리로는 754밀리초, msgspec 선언형 디코딩으로는 146밀리초가 걸립니다. 멀티코어 병렬화를 더하면 또 한 자릿수 늘어납니다. 이 글은 61.4MB·30만 행 샘플로 stdlib·orjson·msgspec 세 경로를 단계별로 실측하며, Python의 JSON 파싱 속도가 어디서 와서 어디서 한계에 닿는지 설명합니다.

심화약 6분 소요2026-11-15 발행2026-11-15 업데이트
Python 대형 JSON 파싱 속도 개선 경로 비교: 표준 라이브러리, orjson, msgspec, 멀티코어 병렬화

Python 파싱을 느리게 하는 것은 JSON 텍스트 자체가 아니라 모든 필드를 Python 객체로 바꾸는 비용입니다. 기본 파서를 갈아끼우고, 객체 생성을 줄이고, 여러 코어를 다 쓰면 같은 집계 작업의 처리량이 0.08 GB/s에서 수십 GB/s까지 올라갑니다.

하나, 현상: 같은 집계 코드인데 속도가 한 자릿수 차이

흔한 작업입니다. GitHub Events 스타일 NDJSON 로그에서 type이 WatchEvent인 레코드만 골라 어떤 저장소가 Star를 가장 많이 받았는지 세어 봅니다. 제 환경(Ubuntu 22.04, Python 3.12, orjson 3.13, msgspec 0.22)에서 30만 행·61.4MB 샘플 파일을 만들고 네 가지 구현을 각각 세 번 실행해 최빠른 값을 뽑았습니다.

구현 최적 시간 환산 처리량 상대 배수
json.loads 한 줄씩 754 ms 0.08 GB/s 1×(기준)
orjson.loads 한 줄씩 248 ms 0.24 GB/s 3.0×
msgspec dict로 디코딩 201 ms 0.30 GB/s 3.8×
msgspec 선언형 Struct 146 ms 0.41 GB/s 5.2×

네 구현 모두 Star 개수가 정확히 같았고(60,108건), 차이는 전부 파싱 자체에서 왔습니다. 제3자 데이터도 같은 규모를 뒷받침합니다. World Programming이 2026-11-14에 공개한 실측에서는 7.6GB·220만 건의 GitHub Archive 이벤트로 같은 집계를 돌렸을 때 표준 라이브러리 코드가 0.28 GB/s(약 27초), msgspec으로 바꾸면 약 8배 빨랐고, SIMD 기반 fastsimdjson은 192스레드에서 55밀리초 만에 전체 데이터를 처리(138 GB/s)했으며 단일 파일에서는 최고 277 GB/s에 닿았습니다. 다만 환경이 192코어 AWS c8a.metal-48xl이므로 숫자를 일반 머신에 그대로 옮길 수는 없지만, 계단 관계는 같습니다.

둘, 표준 라이브러리가 느린 이유

json.loads로 한 줄씩 읽는 코드는 매 단계 '완전 번역'을 합니다. 파서가 {"id": 1, "type": "WatchEvent", ...}를 훑으며 그 레코드를 위한 새 dict, str 객체 7개 이상, int 몇 개를 새로 만들고 그 참조를 코드에 넘깁니다. 30만 행이면 수백만 개의 작은 객체 할당이고, 대부분은 한 번도 쓰이지 않습니다. 집계 작업이 만지는 필드는 type과 repo.name 두 개뿐이기 때문입니다.

두 번째 제약은 GIL입니다. CPython에서는 같은 순간에 파이썬 바이트코드를 실행하는 스레드가 하나뿐입니다. 파싱의 C 코드 부분이 GIL을 놓아주어도 루프 안에 쓴 필터와 누적 로직은 여전히 직렬입니다. 기본 인터프리터에서 '스레드 8개 열기'로는 아무것도 해결되지 않으며 발상의 전환이 필요합니다.

셋, 1단계: 파서를 바꾼다

비용 대비 효과가 가장 큰 단계이고, 변경은 import뿐입니다.

import json
import orjson
import msgspec

dec = msgspec.json.Decoder()

# 세 파서는 dumps를 빼면 인터페이스가 거의 같음:
# orjson.dumps(...)는 str이 아니라 bytes를 반환
for name, load in [("stdlib", json.loads), ("orjson", orjson.loads), ("msgspec", dec.decode)]:
    stars = {}
    with open("events.ndjson", "rb") as f:
        for line in f:
            e = load(line)
            if e["type"] == "WatchEvent":
                stars[e["repo"]["name"]] = stars.get(e["repo"]["name"], 0) + 1

orjson은 Rust로 구현되어 파싱 중에 곧바로 UTF-8 바이트를 만들고 SIMD 명령을 널리 사용합니다. 실측에서 3배 빨랐습니다. 놓치기 쉬운 API 차이도 있습니다. orjson.dumps()는 str이 아니라 bytes를 반환하므로 파일에 쓰거나 문자열을 이어 붙일 때 처리가 필요합니다.

msgspec의 기본 디코딩은 orjson과 비슷한 수준(3.8×)이지만, 진짜 무기는 선언형 디코딩입니다. 선언한 필드만 Python 객체로 만듭니다.

import msgspec

class Event(msgspec.Struct):
    type: str
    repo: msgspec.Raw          # 아직 디코딩하지 않고 원본 바이트 유지

dec = msgspec.json.Decoder(Event)
stars = {}
with open("events.ndjson", "rb") as f:
    for line in f:
        e = dec.decode(line)
        if e.type == "WatchEvent":
            name = msgspec.json.decode(e.repo)["name"]
            stars[name] = stars.get(name, 0) + 1

repo를 msgspec.Raw로 선언하면 WatchEvent가 아닌 24만 행은 repo 객체 생성을 완전히 건너뛰고 토큰 훑기만 합니다. 3.8×에서 5.2×로의 차이가 정확히 여기서 나옵니다. 필드가 많고 버리는 비율이 높을수록 이 한 수의 이득이 커집니다.

넷, 2단계: 멀티프로세스 분할, 그러나 수확 체감

싱글 코어를 다 쓰면 정석 답은 프로세스 풀입니다. 파일을 바이트 범위로 N등분(행 경계에 맞춤)하고 각 조각을 워커 프로세스에 맡겨 집계한 뒤 마지막에 Counter를 합칩니다. 각 프로세스는 작은 결과 표만 돌려주므로 통신량이 매우 작아 map-reduce의 이상형입니다.

World Programming 실측은 이 길의 모습도 보여줍니다. msgspec 프로세스 풀은 96프로세스에서 116 GB/s에 달했고 그 이상 늘리면 오히려 느려졌습니다. 스케줄링과 병합 오버헤드가 이득을 잠식한 것입니다. 현실적 제약도 두 가지입니다. 조각은 줄바꿈 문자에 맞춰야 하며 그렇지 않으면 마지막 행 파싱이 실패합니다. 그리고 집계형 작업(작은 결과 반환)이 프로세스 풀의 최선의 경우이고, 모든 레코드를 꺼내 써야 한다면 프로세스 간 전송 자체가 새 병목이 됩니다.

다섯, 3단계: SIMD와 자유 스레드 Python

fastsimdjson은 다른 길을 갑니다. 싱글 코어 8 GB/s(msgspec의 약 3.5배)인데, simdjson의 구조화 인덱스에 기반해 문장부호를 미리 훑어 토큰 위치를 확정하고 전체 객체 트리를 만들지 않기 때문입니다. fields=["/type", "/repo/name"]과 조합하면 선언된 JSON Pointer 경로만 읽고 콜백이 받는 값은 그 두 개뿐입니다.

멀티스레드도 지원합니다. GIL을 제거하려는 공식 시도인 PEP 703이 반영된 Python 3.14 자유 스레드 빌드(python3.14t)와 결합하면 192스레드로 7.6GB를 55밀리초에 처리했습니다. 약 1GB짜리 공개 벤치마크 파일 여섯 가지 중 넷이 100 GB/s를 넘었고 가장 빠른 twitter 데이터셋은 277 GB/s에 닿았습니다. 이 수치들은 벤더 발표를 넘어선 독립 재측정이며 샘플이 '레코드마다 필드 한두 개를 뽑는' 최선 시나리오라는 점에 유의하세요. 깊게 중첩된 문서는 여기까지 높지 않아 그중 하나는 20 GB/s 근처에 머물렀습니다.

여섯, 선택 요약표와 도입 순서

경로 메커니즘 실측/참고 처리량 알맞은 경우
json(표준 라이브러리) 전체 객체 생성, 싱글 코어 0.08 GB/s 작은 파일, 의존성 없음
orjson Rust + SIMD, 전체 객체 생성 0.24 GB/s 몇 줄 수정으로 교체
msgspec dict Rust, 전체 객체 생성 0.30 GB/s orjson 중 택일
msgspec Struct 선언 필드만 디코딩 0.41 GB/s 큰 배열, 폐기율 높음
msgspec 멀티프로세스 조각 병렬 참고 116 GB/s 집계, 작은 결과 집합
fastsimdjson 구조 인덱스 + 멀티스레드 참고 138-277 GB/s NDJSON 필드 추출, 3.14t

도입은 이 순서를 권합니다. 먼저 msgspec이나 orjson으로 바꾸고(몇 분 수정으로 3~5배를 공짜로 얻습니다) 부족하면 핫패스 필드를 Struct화하고, 집계형 작업이면 프로세스 풀을 얹고, fastsimdjson은 NDJSON에서 한 줄씩 필드를 뽑는 상황이며 실행 환경이 허용할 때만 검토합니다. 병목이 속도가 아니라 메모리, 즉 파일이 너무 커서 통째로 읽을 수 없다면 방향이 바뀝니다. ijson 스트리밍이나 명령줄 쪽의 jq --stream으로 옮기세요. jq로 큰 JSON 스트리밍 처리하기와 큰 JSON의 파싱·렌더링·스트리밍을 참고하고, NDJSON 자체의 한 줄씩 읽고 쓰는 규칙은 JSONL 파일 실무에 있습니다.

일곱, 실측 조건과 세 가지 함정

첫째, 측정 조건을 고정하세요. 이 글에서는 각 구현을 세 번 돌려 최빠른 값을 채택했고(스케줄링 흔들림 제거) 파일은 측정 시작 전에 다 만들어 두었습니다. 제3자 수치를 인용할 때는 기계 사양을 밝히고, 192코어의 138 GB/s를 자기 노트북의 싱글 코어와 비교해서는 안 됩니다.

둘째, 정확성 교차 검증입니다. 네 구현의 Star 개수는 모두 60,108이었습니다. '속도 개선'이 개수를 바꾸었다면 빨라진 게 아니라 파싱 의미가 바뀐 것(중복 키 처리, 큰 정수 정밀도)입니다. 재현 실험에서는 속도보다 결과를 먼저 맞추세요.

셋째, 흔한 세 가지 함정. orjson.dumps()는 bytes를 반환하므로 str과 섞으면 b'...' 접두어가 붙은 더러운 데이터가 조용히 생깁니다. 프로세스 풀 조각은 행 경계에 맞추고 f.seek(offset) 후에는 잘린 행을 먼저 버립니다. 2^53을 넘는 큰 정수는 어떤 Python 파서에서도 안전하지만 결과를 JavaScript 쪽으로 넘긴다면 정밀도 문제가 그쪽에서 기다리고 있습니다.

자주 묻는 질문

orjson과 msgspec 중 무엇을 골라야 하나요?

loads 가속만 필요하면 둘 다 3배 이상이므로 유지보수 활동과 팀 숙련도로 고르면 됩니다. 부분 디코딩(msgspec.Struct + Raw), 타입 검증, TypedDict/dataclass 출력이 필요하면 msgspec을 고르세요. 선언형 디코딩은 큰 배열에서 독립적인 이득을 한 층 더 쌓습니다.

멀티프로세스가 반드시 싱글 코어보다 빠른가요?

아니요. 분할·프로세스 기동·병합에는 고정 비용이 있고 수십 MB 파일에서는 손해 보는 경우가 많습니다. 결과가 큰 작업(모든 레코드를 꺼내 쓰기)은 전송 비용이 이득을 잠식합니다. 경험칙으로는 먼저 싱글 코어에서 라이브러리를 바꾸고, GB급 순수 집계에서 부족할 때 병렬화합니다.

orjson이 실측에서 3배 빨라지지 않는 이유는?

이유는 주로 세 가지입니다. 샘플이 너무 작아 파싱 시간이 파일 읽기와 루프 오버헤드에 묻힌다. 진짜 병목은 네트워크나 디스크이고 파싱이 아니다. 데이터가 긴 문자열뿐이라 객체 생성 비중이 낮다. 더 큰 샘플로 바꾸고 파싱 루프만 time.perf_counter로 감싼 뒤 결론을 내리세요.

ijson과 이 라이브러리들의 관계는?

ijson은 스트리밍 이터레이터로 처리량을 희생해 일정한 메모리를 얻으며 RAM을 크게 넘는 파일에 맞습니다. orjson/msgspec은 처리량을 추구하지만 레코드 전체를 객체로 만듭니다. 둘은 충돌하지 않습니다. GB급 NDJSON은 한 줄씩 읽기 + msgspec 빠른 디코딩으로 충분하고, 단독으로 거대한 JSON 문서에만 ijson이나 jq --stream이 필요합니다.