LLM이 뱉은 JSON이 중간에 잘렸을 때: 먼저 중지 이유를 보고, 그다음 복구를 이야기하자
핵심 요약: 모델이 돌려준 JSON이 중간에 끝나고 파서는 열 번호 하나만 알려 준다. 괄호를 닫으면 다시 파싱은 되지만 빠진 필드는 데이터 안에 숨어 버린다. 이 글은 stop_reason 판정, 출력 토큰 상한 산정, 스키마 필드 순서, 부분 복구의 정직한 공개까지 정리해 잘림 상황에서 고쳐도 되는 범위와 반드시 재시도해야 하는 범위를 나눈다.

잘림은 문법 오류가 아니라 데이터 결손이다. 문법은 고칠 수 있지만 잘린 문서는 일부만 되살릴 수 있다. 복구 도구가 빈틈을 닫는 순간, 남은 빈틈은 "파싱 오류"에서 "아무도 모르는 것"으로 바뀐다.
잘린 JSON은 어떻게 생겼나: 열 번호 하나로는 부족하다
모델이 스키마에 맞춰 JSON을 쓰다가 출력 상한에 부딪히면 텍스트가 뚝 끊긴다. Python 3.11의 json 모듈에 다음 입력을 넣어 보자.
{"scores": {"clarity": 8, "depth": 7}, "items": [{"name": "a", "qty": 2}, {"name": "b", "qty"
json.loads가 내는 오류는 Expecting ':' delimiter, col 94다. 열 번호는 값이 없는 "qty" 바로 뒤를 가리키지만, 진짜 원인은 문서에 끝이 없다는 것이다. 같은 입력에 탐욕적 정규식으로 "}를 붙여 닫으면 파싱은 실패한다. 문자열을 인식하는 스택 방식(6장)을 쓰면 파싱은 되지만 items는 2건만 남고 세 번째 불완전 레코드는 버려진다. 열 번호는 "어디서 끊겼는지"를 알려 주지만 "얼마나 잃었는지"는 알려 주지 않는다.
이것이 잘림과 보통의 JSON 오류 사이의 첫 번째 차이다. 끝 쉼표는 지우면 문서가 완전해진다. 잘림은 고쳐도 여전히 파편이다.
잘림은 문법 손상이 아니다: 복구 도구의 사각지대
jsonrepair 같은 복구 도구는 문법이 깨진 JSON을 합법 JSON으로 바꾸기 위해 존재한다. 마크다운 펜스를 벗기고, 끝 쉼표를 없애고, 단일 인용부호를 이중 인용부호로 바꾼다. 이런 경우 의도는 온전하고 복구는 오염 제거에 불과하다. 잘린 입력도 같은 도구에게는 "깨진 JSON"으로 보이므로 열린 문자열과 배열, 객체를 닫아 파싱되는 결과를 돌려준다. 잘린 Claude 리포트 83건 가운데 도구는 79건을 "고쳤고", 완전 실패는 4건뿐이었다. 오류 모니터가 본 실패율은 실제의 20분의 1이었다.
복구된 출력은 어땠나. 6번 질문의 피드백은 문장 중간에서 끊겼고, 7번에서 9번 질문은 사라졌고, next_steps 배열은 없었다. 그래도 Pydantic 검증은 통과했다. next_steps에 [] 기본값이 있었고 피드백 목록에는 길이 제약이 없었기 때문이다. 모든 계층이 제 역할을 했고, 제품은 자신 있게 틀린 리포트를 내놓았다.
문법 복구를 잘림 경로에 넣으면 오염 제거가 조용히 조작으로 변한다. 그래서 경계를 먼저 정한다. 복구 도구는 완전한 응답의 형식 오염만 다루고, 잘린 응답은 절대 그쪽으로 보내지 않는다. 형식 오염 쪽은 《JSON 복구 가이드》에 맡긴다.
첫 단계는 언제나 중지 이유 확인
주요 API는 모두 응답 메타데이터에 "왜 멈췄는지"를 무료로 담아 준다. 그런데 LLM 연동에서 가장 많이 무시되는 한 줄이다. Anthropic은 stop_reason, OpenAI 채팅 API는 finish_reason이며, max_tokens면 잘림, end_turn이나 stop이면 모델이 스스로 마친 것이다.
resp = client.messages.create(model=MODEL, max_tokens=4096, ...)
if resp.stop_reason != "end_turn":
raise TruncatedOutput(
f"stop_reason={resp.stop_reason}, "
f"output_tokens={resp.usage.output_tokens}"
)
data = json.loads(resp.content[0].text)
잘림을 명시적 예외로 만들면 재시도 경로에 발동 조건이 생기고 모니터링에 경보원이 생긴다. 앞의 83건도 계속 저장만 하고 아무도 읽지 않던 로그의 stop_reason을 한 번 집계해 찾아냈다. Gemini는 length나 incomplete로 같은 뜻을 전한다. 새 벤더를 붙일 때는 추측하지 말고 대응표를 확인한다.
max_tokens는 예산이 아니라 안전 울타리
직접 원인은 대개 초기 제품에 맞춰 정한 출력 상한이다. 1500 토큰 상한은 긴 세션이 들어오는 순간 긴 리포트의 39%를 잘라 낸다. 상한을 올리는 것은 무료다. 과금은 실제 생성된 토큰으로 정해지므로, 실제 1100 토큰짜리 리포트에 4096 상한을 두어도 1500 상한과 청구액이 같다. 상한은 폭주 출력을 막는 장치이지 비용 밸브가 아니다.
정하는 방법은 데이터에서 출발한다. 일주일간 실제 출력 분포를 보고 p99를 잡은 뒤 여유를 둔다. 앞선 사례는 수정 후 p99가 2350이어서 4096을 골랐다. 다른 방향은 출력 자체를 줄이는 것이다. 동형 배열에서 키 이름이 반복되는 부분이 토큰 대부분을 차지하므로, 호출 전에 표 형식 인코딩으로 바꾸면(《TOON 형식 가이드》) 상한 안에 담아야 할 양 자체가 줄어든다.
스키마 필드 순서가 잘림 순서를 정한다
모델은 JSON을 위에서 아래로 쓴다. 출력 예산이 바닥나면 속성 목록 끝에 있는 것부터 사라진다. summary, per_question_feedback, scores, next_steps 순서로 정의한 리포트 스키마는 scores를 가장 먼저 잃는다. 그런데 점수는 사용자가 캡처해 주마다 비교하는 부분이다. 해결은 순서 교체로 충분하다. 짧고 중요한 필드를 앞에, 길고 다시 만들 수 있는 상세를 뒤에, 자유 서술은 맨 끝에 둔다.
같은 잘림이라도 벤더마다 결과가 다르다는 점도 알아 두자.
| 벤더 | 구조화 출력 방식 | 잘렸을 때 |
|---|---|---|
| OpenAI | response_format + strict: true |
샘플링 단계 보장은 있으나 방언이 가장 좁다. 대개 생성을 거부한다 |
| Anthropic | tool use의 input_schema |
디코딩 시점 보장 없음. 닫히지 않은 괄호를 그대로 줄 수 있다 |
| Gemini | responseSchema + JSON MIME |
디코딩에서 강제되는 것은 enum과 타입뿐. 잘림은 여전히 가능하다 |
"구조화 출력을 켰으니 검증은 필요 없다"는 착각이다. 벤더 보장이 느슨할수록 자체 스키마 검증과 재시도 루프가 필요하다. 계약 테스트 만드는 법은 《JSON Schema 계약 테스트》에 정리했다.
정말 부분 복구가 필요할 때: 문자열 인식 스택 닫기
스트리밍 미리보기, 성능 저하 응답, 사람 검토 대기처럼 파편에서라도 뭔가 꺼내야 하는 경우가 있다. 이때 닫기 처리는 복구 사다리의 마지막 단이며 두 조건을 만족해야 한다. 첫째, 괄호 스캔은 문자열을 인식해야 한다. 인용부호와 이스케이프 상태를 한 글자씩 추적하지 않으면 값 안의 {가 스택을 망친다. 둘째, 불완전한 키-값 쌍을 먼저 지워야 한다. 값이 없는 "qty"를 그대로 닫으면 {"qty"}라는 잘못된 형태가 되므로 쌍째 버린다.
def close_truncated(s: str) -> str:
# 1) 문자열 인식 스캔, 문자열 중간에서 끊겼으면 인용부호 보충
out, in_str, esc = [], False, False
for ch in s:
out.append(ch)
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str
text = ''.join(out) + ('"' if in_str else '')
# 2) 불완전한 쌍과 공중에 뜬 콜론·쉼표 제거
text = re.sub(r',\s*"[^"]*"\s*$', '', text)
text = re.sub(r'[{,]\s*"[^"]*"\s*:\s*$', '}', text)
text = re.sub(r':\s*$', '', text)
text = re.sub(r',\s*$', '', text)
# 3) 스택을 다시 스캔해 LIFO로 닫기
stack, in_str, esc = [], False, False
for ch in text:
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str; continue
if not in_str:
if ch in '{[': stack.append(ch)
elif ch in '}]' and stack: stack.pop()
return text + ''.join('}' if c == '{' else ']' for c in reversed(stack))
맨 처음의 입력을 이 코드에 넣으면 Python 3.11 표준 라이브러리만으로 {"scores": {...}, "items": [{"name": "a", "qty": 2}, {"name": "b"}]}가 나온다. 파싱은 되지만 세 번째 레코드는 버려진다. 로컬 모델 쪽에서는 partial-json-parser 같은 전용 라이브러리가 같은 일을 한다. 스택으로 닫고 완전성으로 걸러 낸다.
핵심은 공개다. 닫기 함수는 "어느 단에서 고쳤는지"를 반드시 보고하고, truncation 단의 산출물은 부분 결과로 표시한다. 빠진 범위를 다시 요청하거나, 상한을 올려 재시도하거나, 사용자에게 불완전함을 알린다. 아무 일 없던 척하는 것은 결정적인 코드로 환각을 만드는 것과 같다.
복구냐 재시도냐: 경계 표
| 입력 형태 | 올바른 대응 | 이유 |
|---|---|---|
| 펜스, 끝 쉼표, 단일 인용부호 | 복구 도구 | 의도는 완전하고 문법만 더럽다 |
| 문자열 중간에서 끊김 | 재시도 또는 부분 복구+공개 | 값 자체가 빠졌다 |
| 구조 중간에서 끊김 | 부분 복구+공개 | 완료된 필드는 살릴 수 있으나 불완전 쌍은 버려야 한다 |
| 파싱은 되나 내용이 수상함 | 업무 로직 검증 | 잘림과 별개지만 자주 함께 온다 |
중국어권 재무 시스템 사례는 비용을 숫자로 보여 줬다. 긴 인보이스가 잘렸고 괄호 보충이 합법 JSON을 만들었고, 빠진 total이 기본값 0을 가져갔다. 형식 준수율 98.2%인 시스템이 매달 약 200건의 인보이스 금액을 틀렸다. 잘림을 즉시 저하 처리로 바꾸고 합계=항목 합계 검증을 넣은 뒤 금액 오류율은 0.8%에서 0.02%로 떨어졌고, 형식 준수율은 99.1%로만 올랐다. "형식 준수율"을 석 달간 좇은 최적화는 지표 선택부터 틀렸던 셈이다. 파서를 통과하는 것이 업무를 통과하는 것은 아니다.
실무 체크리스트 네 가지. 파싱 전에 중지 이유를 본다. 상한은 예산이 아니라 p99에서 정한다. 스키마의 핵심 필드를 앞에 둔다. 복구 도구에는 완전한 응답의 형식 오염만 넘긴다. 네 가지를 지키면 잘림은 조용한 데이터 부패에서 큰 소리의 재시도 가능한 실패로 돌아온다.
괄호만 닫으면 그대로 써도 되나
그대로는 안 된다. 닫기는 문법적 합법성만 보장하며 데이터는 파편이다. 문장이 중간에 끝나고 끝 레코드가 사라지며 기본값이 진짜 값을 대신한다. 부분 결과로 표시하고 재시도나 저하 처리를 일으키며 복구율을 기록해야 한다.
잘림인지 오타인지 어떻게 구분하나
응답 메타데이터의 중지 이유를 본다. max_tokens, length, incomplete면 잘림이고, end_turn이나 stop인데 파싱이 깨지면 문법 문제다. 메타데이터가 없으면 끝부분 모양을 본다. 인용부호나 괄호 중간에서 끝나고 최외곽 구조가 닫히지 않았으면 잘림으로 보면 된다.
복구 도구는 왜 잘린 문서를 "고쳐" 버리나
복구 도구의 목적 함수는 "파싱 통과"이고, 닫힌 잘린 문서는 정확히 파싱이 통과한다. 그래서 모니터링은 조용해지고 기본값이 있는 검증도 통과한다. 잘린 83건이 오류 4건으로만 보인 이유다. 의도를 모르는 도구에 맡기지 말고 상류에서 막아야 한다.
max_tokens를 올리면 비용이 늘어나나
아니다. 과금은 실제 생성 토큰으로 정해지고 상한은 안전 울타리일 뿐이다. 실제 1100 토큰 출력에 4096 상한을 두어도 1500 상한과 청구액이 같다. 실제 출력의 p99에 여유를 두어 설정하고, 폭주 출력 억제에 힘을 쓰는 편이 낫다.