JSON dari LLM terpotong: lihat alasan berhentinya dulu, baru bicara perbaikan
Intinya: Model mengembalikan JSON yang putus di tengah nilai dan parser hanya memberi nomor kolom. Menutup kurung membuatnya bisa di-parse lagi, tetapi setiap field yang hilang kini tersembunyi di dalam data. Artikel ini menetapkan batas antara apa yang bisa dipulihkan perbaikan pemotongan secara jujur dan apa yang harus diminta ulang.

Pemotongan bukan kesalahan sintaks, melainkan data yang hilang. Sintaks bisa diperbaiki, pemotongan hanya bisa dipulihkan sebagian. Pada detik alat menutup celah, sisa celah berhenti menjadi kesalahan parsing dan menjadi sesuatu yang tidak diketahui siapa pun.
Bentuk pemotongan: satu nomor kolom tidak cukup
Model menulis JSON mengikuti skema Anda, menyentuh batas keluaran, lalu teks berhenti. Berikan ini ke modul json Python 3.11:
{"scores": {"clarity": 8, "depth": 7}, "items": [{"name": "a", "qty": 2}, {"name": "b", "qty"
json.loads melempar Expecting ':' delimiter, col 94. Kolom menunjuk kunci "qty" tanpa nilai, tetapi penyebab sebenarnya adalah dokumen tidak punya akhir. Regex greedy yang menambahkan "} gagal; penutupan stack sadar-string (bagian enam) berhasil di-parse, tetapi items tinggal dua rekaman dan rekaman ketiga yang separuh hilang. Nomor kolom memberi tahu di mana teks berhenti. Ia tidak pernah memberi tahu berapa banyak yang hilang.
Itulah perbedaan nyata pertama dengan kesalahan JSON biasa. Koma berlebih punya keadaan akhir yang jelas: buang dan dokumen lengkap. Pemotongan tidak punya keadaan itu. Diperbaiki pun masih serpihan.
Pemotongan bukan kerusakan sintaks: titik buta alat perbaikan
Alat seperti jsonrepair mengubah JSON rusak sintaks menjadi JSON sah: buang pagar markdown, koma akhir, ubah kutip tunggal. Di situ niat masih lengkap dan perbaikan hanya pembersihan. Input terpotong terlihat seperti JSON rusak bagi alat yang sama, jadi ia menutup string, array, dan objek terbuka lalu mengembalikan sesuatu yang bisa di-parse. Dari 83 laporan Claude yang terpotong, alat "memperbaiki" 79, hanya 4 gagal keras. Pemantauan kesalahan melihat laju dua puluh kali lebih rendah dari kenyataan.
Bagaimana bentuk keluaran setelah diperbaiki? Umpan balik soal 6 terhenti separuh kalimat, soal 7 sampai 9 tidak ada, array next_steps hilang. Pydantic tetap lolos validasi, karena next_steps punya default [] dan daftar tidak punya batas panjang. Setiap lapisan bekerja benar. Produk mengeluarkan laporan yang yakin tetapi salah.
Letakkan perbaikan sintaks di jalur pemotongan dan ia berubah diam-diam dari pembersihan menjadi rekaan. Jadi batasnya harus dulu: alat perbaikan hanya menangani kotoran format pada jawaban lengkap; jawaban terpotong tidak seharusnya sampai ke sana sama sekali. Untuk kotoran format, lihat panduan perbaikan JSON.
Langkah pertama selalu alasan berhenti
Semua API utama memberi tahu di metadata mengapa generasi berhenti, gratis. Ini juga baris kode paling diabaikan dalam integrasi LLM. Anthropic mengekspos stop_reason, API chat OpenAI mengekspos finish_reason: max_tokens berarti terpotong, end_turn atau stop berarti model selesai sendiri.
resp = client.messages.create(model=MODEL, max_tokens=4096, ...)
if resp.stop_reason != "end_turn":
raise TruncatedOutput(
f"stop_reason={resp.stop_reason}, "
f"output_tokens={resp.usage.output_tokens}"
)
data = json.loads(resp.content[0].text)
Ketika pemotongan menjadi pengecualian eksplisit, jalur coba ulang punya pemicu dan pemantauan punya sumber peringatan. 83 laporan itu ditemukan kemudian dengan satu kueri pada field stop_reason di log yang selalu disimpan tetapi tidak pernah dibaca. Gemini melaporkan length dan incomplete dengan arti sama; saat menambah penyedia baru, periksa tabel pemetaan, jangan menebak.
max_tokens adalah pagar keselamatan, bukan anggaran
Penyebab langsung biasanya batas yang dipasang untuk versi produk lama: 1500 token yang memotong 39% laporan panjang begitu sesi panjang masuk. Menaikkan batas itu gratis. Penagihan mengikuti token yang benar-benar dihasilkan, jadi batas 4096 pada laporan 1100 token berharga sama dengan 1500. Batas berfungsi menghentikan keluaran liar, bukan menghemat uang.
Tetapkan dari data: amati distribusi nyata selama seminggu, ambil p99 dan sisakan ruang. Tim dalam insiden itu memilih 4096 karena p99 setelah perbaikan adalah 2350. Arah lain adalah mengecilkan keluaran itu sendiri. Kunci berulang dalam array homogen memakan sebagian besar token; pengodean tabular sebelum panggilan (lihat panduan format TOON) mengurangi volume yang harus masuk di bawah batas.
Urutan field skema menentukan apa yang terpotong
Model menulis JSON dari atas ke bawah. Saat anggaran habis, anggota terakhir daftar properti hilang lebih dulu. Skema terurut summary, per_question_feedback, scores, next_steps kehilangan scores lebih dulu, tepat bagian yang ditangkap layar pengguna dan dibandingkan tiap minggu. Perbaikannya adalah menyusun ulang: field pendek kritis di depan, detail panjang yang bisa dibuat ulang kemudian, teks bebas paling akhir.
Perilaku penyedia juga mengubah akibat pemotongan yang sama:
| Penyedia | Mekanisme keluaran terstruktur | Perilaku saat terpotong |
|---|---|---|
| OpenAI | response_format dengan strict: true |
Jaminan di tingkat sampling, tetapi dialek paling sempit; sering menolak menghasilkan |
| Anthropic | input_schema dalam tool use |
Tidak ada jaminan saat decoding; bisa mengembalikan kurung tidak tertutup |
| Gemini | responseSchema dengan MIME JSON |
Decoder hanya memaksa enum dan tipe; pemotongan masih mungkin |
"Keluaran terstruktur aktif, validasi tidak perlu" adalah ilusi. Semakin longgar jaminan penyedia, semakin Anda butuh validasi skema sendiri dan loop coba ulang. Cara membangun uji kontrak itu ada di uji kontrak JSON Schema.
Kapan pemulihan sebagian benar-benar perlu: penutupan stack sadar-string
Ada kasus yang memaksa memeras sesuatu dari serpihan: pratinjau streaming, respons terdegradasi, antrean tinjauan manusia. Di situ penutupan adalah anak tangga terakhir tangga perbaikan dan butuh dua syarat. Pertama, pemindaian kurung harus sadar-string: lacak status kutip dan escape karakter demi karakter, jika tidak { di dalam nilai merusak stack. Kedua, buang pasangan kunci-nilai tidak lengkap sebelum menutup. Kunci "qty" tanpa nilai tidak bisa ditutup menjadi {"qty"}; seluruh pasangan harus dibuang.
def close_truncated(s: str) -> str:
# 1) Pemindaian sadar-string; tutup string terbuka lebih dulu
out, in_str, esc = [], False, False
for ch in s:
out.append(ch)
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str
text = ''.join(out) + ('"' if in_str else '')
# 2) Buang pasangan separuh dan titik dua atau koma menggantung
text = re.sub(r',\s*"[^"]*"\s*$', '', text)
text = re.sub(r'[{,]\s*"[^"]*"\s*:\s*$', '}', text)
text = re.sub(r':\s*$', '', text)
text = re.sub(r',\s*$', '', text)
# 3) Pindai ulang stack dan tutup LIFO
stack, in_str, esc = [], False, False
for ch in text:
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str; continue
if not in_str:
if ch in '{[': stack.append(ch)
elif ch in '}]' and stack: stack.pop()
return text + ''.join('}' if c == '{' else ']' for c in reversed(stack))
Pada input di awal artikel, kode ini mengembalikan {"scores": {...}, "items": [{"name": "a", "qty": 2}, {"name": "b"}]} dengan Python 3.11 dan pustaka standar saja. Ia ter-parse, dan rekaman ketiga hilang. Di sisi model lokal, pustaka khusus seperti partial-json-parser melakukan hal sama: tutup dengan stack, potong menurut kelengkapan.
Yang penting adalah pengungkapan. Fungsi penutup harus melaporkan dari anak tangga mana hasil diperoleh; semua yang keluar dari anak tangga truncation adalah hasil sebagian dan harus diberi label: minta ulang bagian yang hilang, coba lagi dengan batas lebih besar, atau beri tahu pengguna data tidak lengkap. Berpura-pura tidak terjadi apa-apa berarti menciptakan halusinasi dengan kode deterministik.
Perbaiki atau coba ulang: tabel batas
| Bentuk input | Tindakan benar | Alasan |
|---|---|---|
| Pagar, koma akhir, kutip tunggal | Alat perbaikan | Niat lengkap, hanya sintaks kotor |
| Putus di tengah string | Coba ulang atau pemulihan sebagian dengan pengungkapan | Nilainya sendiri hilang |
| Putus di tengah struktur | Pemulihan sebagian dengan pengungkapan | Field selesai tetap ada, pasangan separuh harus dibuang |
| Bisa di-parse tetapi terlihat salah | Validasi bisnis | Bukan pemotongan, tetapi sering terjadi bersamaan |
Satu tim keuangan mengukur biayanya. Faktur panjang terpotong, penutupan kurung menghasilkan JSON sah, field total yang hilang mengambil default 0, dan sistem dengan kepatuhan format 98,2% mengeluarkan sekitar 200 faktur salah per bulan. Setelah pemotongan dianggap degradasi keras dan pemeriksaan identitas (total == jumlah baris) ditambahkan, laju kesalahan uang turun dari 0,8% ke 0,02%, sementara kepatuhan format hanya naik ke 99,1%. Tiga bulan mengoptimalkan "kepatuhan format" membidik metrik yang salah. Lolos parser bukan berarti lolos bisnis.
Daftar empat hal: periksa alasan berhenti sebelum parse; tetapkan batas menurut p99 bukan sebagai anggaran; letakkan field kritis skema di depan; beri alat perbaikan hanya kotoran format jawaban lengkap. Dengan keempatnya, pemotongan kembali dari kerusakan data senyap menjadi kegagalan yang nyaring dan bisa dicoba ulang.
Bolehkah saya hanya menutup kurung dan memakai hasilnya
Tidak. Menutup hanya menjamin keabsahan sintaks; data masih serpihan dengan kalimat separuh, rekaman akhir hilang, dan nilai default menggantikan nilai sebenarnya. Tandai sebagai sebagian, picu coba ulang atau degradasi, dan catat laju pemulihan.
Bagaimana membedakan pemotongan dari kerusakan sintaks sebenarnya
Baca alasan berhenti di metadata: max_tokens, length, atau incomplete berarti pemotongan; end_turn atau stop dengan kegagalan parse berarti kerusakan sintaks sebenarnya. Tanpa metadata, lihat ujungnya: berhenti di dalam kutipan atau kurung dengan struktur luar belum tertutup hampir selalu pemotongan.
Mengapa pemotongan yang diperbaiki lebih berbahaya daripada kegagalan yang nyaring
Alat perbaikan mengoptimalkan "bisa di-parse", dan pemotongan yang ditutup memang bisa di-parse, jadi pemantauan senyap dan validasi hilir lolos karena nilai default. Itu sebabnya 83 laporan terpotong hanya menghasilkan 4 kesalahan. Alat tidak punya konsep niat dan tidak tahu apa yang hilang, jadi pemotongan harus dicegat di hulu.
Apakah menaikkan max_tokens menambah biaya
Tidak. Penagihan mengikuti token yang benar-benar dihasilkan; batas hanyalah pagar. 4096 pada 1100 token dihasilkan berharga sama dengan 1500. Tetapkan menurut p99 nyata dengan ruang, dan investasikan usaha pada pencegahan keluaran liar.