JSON Toolkit

LLM の JSON 出力が途中で切れたら:まず停止理由を見て、それから修復を語る

要点:モデルが返す JSON が途中で終わり、パーサーは列番号しか教えてくれない。括弧を閉じれば再びパースは通るが、欠けたフィールドはデータの中に隠れてしまう。本記事は停止理由による判定、出力トークン枠の見積もり、スキーマのフィールド順、部分復元の正直な開示までを整理し、途中切断で修復してよい範囲と再試行すべき範囲を切り分ける。

実践約 5 分で読めます2026-11-14 公開2026-11-14 更新
途中で切れた JSON を文字列を意識した走査とスタックで閉じる処理の図解

途中切断は文法エラーではなく、データの欠落である。文法は直せるが、切断は一部を取り戻すことしかできない。修復ツールが括弧を閉じた瞬間、残った欠落は「パースエラー」から「誰も気づかないもの」に変わる。

途中で切れた JSON はどんな姿か:列番号だけでは足りない

モデルがスキーマに沿って JSON を書いている途中で出力上限に当たり、テキストがぷつりと終わる。Python 3.11 の json モジュールに次の入力を渡してみる。

{"scores": {"clarity": 8, "depth": 7}, "items": [{"name": "a", "qty": 2}, {"name": "b", "qty"

json.loads のエラーは Expecting ':' delimiter, col 94。列番号は値のない "qty" の直後を指すが、本当の原因は文書に終わりがないことだ。同じ入力を貪欲な正規表現で "} 一つ補って閉じるとパースは失敗する。文字列を意識したスタック方式(後述の第 6 節)ならパースは通るが、items は 2 件しか残らず、3 件目の欠けたレコードは捨てられる。列番号は「どこで止まったか」を教えるが、「どれだけ失ったか」は教えない。

これが途中切断と通常の JSON エラーの最初の違いだ。末尾のカンマは取り除けば文書は完全になる。切断は修復しても欠けたままである。

途中切断は文法崩れではない:修復ツールの死角

jsonrepair のような修復ツールは、文法的に壊れた JSON を合法な JSON にするために存在する。マークダウンのフェンスを剥がす、末尾カンマを消す、単引用符を二重引用符に変える。こうした場面では意図は完全で、修復は汚れ落としにすぎない。切断された入力も同じツールには「壊れた JSON」に見えるので、開いた文字列・配列・オブジェクトを閉じ、パースできる結果を返す。83 件の切断された Claude レポートのうち、ツールは 79 件を「修復」し、完全に失敗したのは 4 件だけだった。エラー監視が見ていた失敗率は実際の 20 分の 1 だった。

修復後の出力はどうなっていたか。6 問目のフィードバックは文の途中で終わり、7 問目から 9 問目は存在せず、next_steps 配列は消えていた。それでも Pydantic の検証は通った。next_steps に [] の既定値があり、フィードバックのリストに長さ制約がなかったからだ。どの層も正しく仕事をし、製品は自信満々に間違ったレポートを返した。

文法修復を切断経路に置くと、汚れ落としが静かに捏造へ変わる。だから境界を先に決める。修復ツールは完全な回答の体裁の乱れだけを扱い、切断された応答は決してそこへ流さない。体裁の乱れの修復は『JSON 修復ガイド』に譲る。

最初の一歩は必ず停止理由の確認

主要な API はすべて、応答メタデータの中に「なぜ止まったか」を無料で載せている。それでも LLM 連携で最も無視される一行だ。Anthropic は stop_reason、OpenAI のチャット API は finish_reason で、max_tokens なら切断、end_turn や stop ならモデルが自分で書き終えている。

resp = client.messages.create(model=MODEL, max_tokens=4096, ...)
if resp.stop_reason != "end_turn":
    raise TruncatedOutput(
        f"stop_reason={resp.stop_reason}, "
        f"output_tokens={resp.usage.output_tokens}"
    )
data = json.loads(resp.content[0].text)

切断を明示的な例外にすれば、リトライ経路に発火条件が生まれ、監視にアラート源ができる。先の 83 件も、ずっと保存されていて誰も読んでいなかったログの stop_reason を一度集計するだけで見つかった。Gemini は length や incomplete を同じ趣旨で返す。新しいベンダーを繋ぐときは、推測せずに対応表を確認する。

max_tokens は予算ではなく安全柵

直接の原因はたいてい、初期製品向けに決めた出力上限だ。1500 トークンの上限は、長いセッションを投入した途端に長いレポートの 39% を切り落とす。上限を上げるのは無料である。課金は実際に生成したトークンで決まるので、実測 1100 トークンのレポートに 4096 の上限を置いても、1500 の上限と同じ請求になる。上限は暴走出力を止めるためのもので、節約のバルブではない。

決め方はデータから。一週間の実出力分布を見て p99 を取り、余裕を足す。先の事例では修正後の p99 が 2350 だったので 4096 を選んでいる。もう一つの方向は出力自体を小さくすることだ。同型配列で鍵名が繰り返される部分がトークンの大半を占めるので、呼び出し前に表形式の符号化へ置き換える(『TOON 形式ガイド』)と、上限に収めるべき量そのものが減る。

スキーマのフィールド順が切断順を決める

モデルは JSON を上から下へ書く。出力枠が尽きたとき、プロパティ一覧の末尾にあるものが最初に消える。summary, per_question_feedback, scores, next_steps の順で定義したレポートスキーマは、scores を最初に失う。だがスコアこそ利用者がスクリーンショットして週ごとに比べる部分だ。直し方は順序の入れ替えで足りる。短く重要なフィールドを前に、長く再生成できる明細を後ろに、自由記述は最後に置く。

同じ切断でも、ベンダーによって結果が変わる点も知っておきたい。

ベンダー 構造化出力の方式 切断時の挙動
OpenAI response_format と strict: true サンプリング段階の保証があるが方言は最も狭い。多くは生成自体を拒否する
Anthropic tool use の input_schema デコード時の保証なし。閉じていない括弧をそのまま返すことがある
Gemini responseSchema と JSON MIME デコード時に強制されるのは enum と型のみ。切断は起こりうる

「構造化出力を有効にしたから検証は不要」は錯覚だ。ベンダーの保証が緩いほど、自前のスキーマ検証とリトライの閉ループが必要になる。契約テストの組み方は『JSON Schema 契約テスト』を参照してほしい。

どうしても部分復元するなら:文字列を意識したスタック閉じ

ストリーミング表示、縮退応答、人手による確認待ちなど、欠けた部分からでも何か取り出さねばならない場面はある。そのときの閉じ処理は修復のはしごの最終段であり、二つの条件を満たす必要がある。第一に、括弧の走査は文字列を意識すること。引用符とエスケープの状態を一文字ずつ追わないと、値の中の { がスタックを壊す。第二に、不完全なキーと値の組を先に消すこと。値のない "qty" をそのまま閉じると {"qty"} という不正な形になるので、組ごと捨てる。

def close_truncated(s: str) -> str:
    # 1) 文字列を意識した走査。文字列内で切れていれば引用符を補う
    out, in_str, esc = [], False, False
    for ch in s:
        out.append(ch)
        if esc: esc = False; continue
        if ch == '\\' and in_str: esc = True; continue
        if ch == '"': in_str = not in_str
    text = ''.join(out) + ('"' if in_str else '')
    # 2) 不完全な組と宙に浮いたコロン・カンマを削る
    text = re.sub(r',\s*"[^"]*"\s*$', '', text)
    text = re.sub(r'[{,]\s*"[^"]*"\s*:\s*$', '}', text)
    text = re.sub(r':\s*$', '', text)
    text = re.sub(r',\s*$', '', text)
    # 3) スタックを再走査して LIFO で閉じる
    stack, in_str, esc = [], False, False
    for ch in text:
        if esc: esc = False; continue
        if ch == '\\' and in_str: esc = True; continue
        if ch == '"': in_str = not in_str; continue
        if not in_str:
            if ch in '{[': stack.append(ch)
            elif ch in '}]' and stack: stack.pop()
    return text + ''.join('}' if c == '{' else ']' for c in reversed(stack))

冒頭の入力をこのコードに通すと、Python 3.11 の標準ライブラリだけで {"scores": {...}, "items": [{"name": "a", "qty": 2}, {"name": "b"}]} が返る。パースは通るが、3 件目は捨てられる。ローカルモデル側では partial-json-parser のような専用ライブラリが同じ役割を担う。スタックで閉じ、完全性で刈り込む。

肝心なのは開示だ。閉じ処理の関数は「どの段で直したか」を必ず報告し、truncation 段の産物は部分結果として扱う。欠けた範囲を追問する、上限を上げて再試行する、利用者に不完全だと伝える、のいずれかが必要になる。何もなかったふりをするのは、決定論的なコードで幻覚を作るのと同じである。

修復か再試行か:境界の一覧

入力の形 正しい対応 理由
フェンス、末尾カンマ、単引用符 修復ツールに任せる 意図は完全で、文法だけが汚れている
文字列の途中で切断 再試行、または部分復元+開示 値そのものが欠けている
構造の途中で切断 部分復元+開示 完了済みフィールドは救えるが、欠けた組は削る
パースは通るが内容が怪しい 業務ロジックでの検証 切断とは別問題だが、しばしば同時に起きる

中国語圏の経理システムの事例はコストを数字にした。長い請求書が切断され、括弧を補う処理で合法な JSON になり、欠けた total が既定値 0 を取った。形式適合率 98.2% のシステムが毎月約 200 件の請求書金額を誤っていた。切断を即縮退とし、合計=明細の合計という検証を足した後、金額の誤り率は 0.8% から 0.02% へ下がり、形式適合率は 99.1% にしか動かなかった。「形式適合率」を三か月追い続けた最適化は、最初から指標の選び方が間違っていたのだ。パーサーを通ることは、業務を通ることではない。

実務のチェックリストは四項目。パース前に停止理由を見る。上限は予算ではなく p99 から決める。スキーマの重要フィールドを前に置く。修復ツールには完全な回答の体裁の乱れだけを渡す。四つ揃えば、切断は静かなデータ腐食から、大きな音のする再試行可能な失敗へ戻る。

括弧を閉じればそのまま使えますか

そのままは使えません。閉じるのは文法の合法性だけで、データは欠けたままだ。文が途中で終わり、末尾のレコードが捨てられ、既定値が本物の値の代わりに入る。部分結果として印を付け、再試行か縮退を起こし、復元率を記録するのが正しい扱いだ。

切断か書き間違いかをどう見分けますか

応答メタデータの停止理由を見る。max_tokens、length、incomplete なら切断で、end_turn や stop なのにパースが落ちるなら文法の問題だ。メタデータがない場合は末尾の形で判断する。引用符や括弧の途中で終わり、最外の構造が閉じていなければ切断とみてよい。

修復ツールはなぜ切断を「直せて」しまうのですか

修復ツールの目的関数は「パースを通すこと」であり、閉じた切断文書はまさにパースが通る。だから監視は静まり、既定値のある検証も通る。83 件の切断が 4 件のエラーにしか見えなかったのはこのためだ。意図を知らないツールに任せず、上流で止める。

max_tokens を上げると費用が増えますか

増えない。課金は生成されたトークン数で決まり、上限は安全柵にすぎない。実測 1100 トークンの出力に 4096 の上限を置いても、1500 の上限と同じ請求だ。実出力の p99 に余裕を足して設定し、暴走出力の抑止に力を割くほうがよい。

参考資料

対応ツール

関連記事

JSON修復ガイド:壊れたLLM出力の救出と信頼の境界線

markdownコードフェンスで囲まれ、末尾カンマやPythonリテラルを含むLLM出力は、厳密なパーサーには一切受け付けられません。修復ツールが実際に直せる9種類のエラーと直せない4種類の境界を整理し、状態機械と正規表現という2つの実装方式の違いを解説。jsonrepairとjson-repairの二重スタック接続手順と、修復結果をスキーマ検証で裏付ける方法までを扱います。

中級約 6 分で読めます2026-11-08 更新

TOON フォーマットガイド:LLM に渡す前に JSON を軽くする

同型配列を LLM に JSON で渡すと、繰り返されるキー名と括弧がトークンを消費します。TOON はインデントのオブジェクトと表形式配列で構造を一度だけ宣言し、データを行単位で並べます。公式ベンチマークでは約 40% 少ないトークンでより高い解析精度を達成。構文の読み方、節約が効く条件、変換すべきでないケース、encode と decode の組み込み方を解説します。

中級約 6 分で読めます2026-11-10 更新

JSON Schema 契約テスト:バリデーションルールを CI に組み込む

schema は書いて終わりではなく、そこから壊れ始めます。typo 一つでバリデーションが静かに緩み、リファクタリング一つで fixture が全滅します。本記事では正例・負例・スナップショットの三点セット、schema 自体の lint、コンパイル once の再利用、そして CI に据える四つのゲートという実践的な契約テスト構成を解説します。

中級約 8 分で読めます2026-11-05 更新