JSON daripada LLM terpotong: lihat sebab berhenti dahulu, baru bincang pembaikan
Inti pati: Model memulangkan JSON yang terputus di tengah nilai dan penghurai hanya memberi nombor lajur. Menutup kurungan menjadikannya boleh dihuraikan semula, tetapi setiap medan yang hilang kini tersembunyi dalam data. Artikel ini menetapkan sempadan antara apa yang pembaikan potongan boleh pulihkan secara jujur dan apa yang mesti diminta semula.

Potongan bukan ralat sintaks, tetapi data yang hilang. Sintaks boleh dibaiki, potongan hanya boleh dipulihkan sebahagian. Pada detik alat menutup jurang, baki jurang berhenti menjadi ralat penghuraian dan menjadi sesuatu yang tiada siapa tahu.
Rupa potongan: satu nombor lajur tidak memadai
Model menulis JSON mengikut skema anda, mencecah had output dan teks terhenti. Berikan ini kepada modul json Python 3.11:
{"scores": {"clarity": 8, "depth": 7}, "items": [{"name": "a", "qty": 2}, {"name": "b", "qty"
json.loads membaling Expecting ':' delimiter, col 94. Lajur menunjuk kunci "qty" tanpa nilai, tetapi punca sebenar ialah dokumen tiada pengakhiran. Regex tamak yang menambah "} gagal; penutupan tindanan peka rentetan (bahagian enam) berjaya dihuraikan, tetapi items tinggal 2 rekod dan rekod ketiga yang separa hilang. Nombor lajur memberitahu di mana teks berhenti. Ia tidak pernah memberitahu berapa banyak yang hilang.
Itulah perbezaan sebenar pertama dengan ralat JSON biasa. Koma berlebihan mempunyai keadaan akhir yang jelas: buang dan dokumen lengkap. Potongan tiada keadaan itu. Baiki pun masih serpihan.
Potongan bukan kerosakan sintaks: titik buta alat pembaikan
Alat seperti jsonrepair menukar JSON rosak sintaks kepada JSON sah: buang pagar markdown, koma akhir, tukar petikan tunggal. Di situ niat masih lengkap dan pembaikan hanya pembersihan. Input terpotong kelihatan seperti JSON rosak kepada alat yang sama, jadi ia menutup rentetan, tatasusunan dan objek terbuka lalu memulangkan sesuatu yang boleh dihuraikan. Daripada 83 laporan Claude yang terpotong, alat "membaiki" 79, hanya 4 gagal keras. Pemantauan ralat melihat kadar dua puluh kali lebih rendah daripada realiti.
Bagaimana rupa output selepas dibaiki? Maklum balas soalan 6 terhenti separuh ayat, soalan 7 hingga 9 tidak wujud, tatasusunan next_steps hilang. Pydantic tetap mengesahkan, kerana next_steps mempunyai lalai [] dan senarai tiada had panjang. Setiap lapisan buat kerja masing-masing. Produk mengeluarkan laporan yang yakin tetapi salah.
Letakkan pembaikan sintaks pada laluan potongan dan ia bertukar senyap daripada pembersihan kepada rekaan. Jadi sempadan perlu dahulu: alat pembaikan hanya mengendalikan kotoran format pada jawapan lengkap; jawapan terpotong tidak sepatutnya sampai kepadanya langsung. Untuk kotoran format, lihat panduan pembaikan JSON.
Langkah pertama sentiasa sebab berhenti
Semua API utama memberitahu dalam metadata mengapa penjanaan berhenti, secara percuma. Ia juga baris kod paling diabaikan dalam integrasi LLM. Anthropic mendedahkan stop_reason, API sembang OpenAI mendedahkan finish_reason: max_tokens bermaksud terpotong, end_turn atau stop bermaksud model tamat sendiri.
resp = client.messages.create(model=MODEL, max_tokens=4096, ...)
if resp.stop_reason != "end_turn":
raise TruncatedOutput(
f"stop_reason={resp.stop_reason}, "
f"output_tokens={resp.usage.output_tokens}"
)
data = json.loads(resp.content[0].text)
Bila potongan menjadi pengecualian eksplisit, laluan cubaan semula ada pencetus dan pemantauan ada sumber amaran. 83 laporan itu ditemui kemudian dengan satu pertanyaan pada medan stop_reason dalam log yang sentiasa disimpan tetapi tidak pernah dibaca. Gemini melaporkan length dan incomplete dengan maksud sama; bila menambah pembekal baharu, semak jadual pemetaan jangan meneka.
max_tokens ialah pagar keselamatan, bukan bajet
Punca langsung biasanya had yang ditetapkan untuk versi produk lama: 1500 token yang memotong 39% laporan panjang sebaik sesi panjang masuk. Menaikkan had itu percuma. Pengebilan ikut token yang benar-benar dijana, jadi had 4096 pada laporan 1100 token berharga sama dengan 1500. Had berfungsi menghentikan output liar, bukan menjimatkan wang.
Tetapkan dari data: perhatikan taburan sebenar selama seminggu, ambil p99 dan tinggalkan ruang. Pasukan dalam insiden itu memilih 4096 kerana p99 selepas pembaikan ialah 2350. Arah lain ialah mengecilkan output itu sendiri. Kunci berulang dalam tatasusunan homogen memakan sebahagian besar token; pengekodan jadual sebelum panggilan (lihat panduan format TOON) mengurangkan isipadu yang perlu masuk bawah had.
Susunan medan skema menentukan apa yang dipotong
Model menulis JSON dari atas ke bawah. Apabila bajet habis, yang di hujung senarai sifat hilang dahulu. Skema tersusun summary, per_question_feedback, scores, next_steps kehilangan scores dahulu, tepat bahagian yang pengguna tangkap skrin dan bandingkan setiap minggu. Pembetulannya ialah susun semula: medan pendek kritikal di hadapan, perincian panjang yang boleh dijana semula kemudian, teks bebas paling akhir.
Tingkah laku pembekal juga mengubah akibat potongan yang sama:
| Pembekal | Mekanisme output berstruktur | Tingkah laku apabila terpotong |
|---|---|---|
| OpenAI | response_format dengan strict: true |
Jaminan pada peringkat pensampelan, tetapi dialek paling sempit; selalunya menolak menjana |
| Anthropic | input_schema dalam tool use |
Tiada jaminan semasa penyahkodan; mungkin memulangkan kurungan tidak tertutup |
| Gemini | responseSchema dengan MIME JSON |
Penyahkodan hanya memaksa enum dan jenis; potongan masih mungkin |
"Output berstruktur dihidupkan, pengesahan tidak perlu" ialah ilusi. Semakin longgar jaminan pembekal, semakin anda perlukan pengesahan skema sendiri dan gelung cubaan semula. Cara membina ujian kontrak itu ada di ujian kontrak JSON Schema.
Bila pemulihan separa benar-benar perlu: penutupan tindanan peka rentetan
Ada kes yang memaksa memerah sesuatu daripada serpihan: pratonton penstriman, respons terdegradasi, baris semakan manusia. Di situ penutupan ialah anak tangga terakhir tangga pembaikan dan memerlukan dua syarat. Pertama, imbasan kurungan mesti peka rentetan: jejaki keadaan petikan dan escape aksara demi aksara, jika tidak { dalam nilai merosakkan tindanan. Kedua, buang pasangan kunci-nilai tidak lengkap sebelum menutup. Kunci "qty" tanpa nilai tidak boleh ditutup menjadi {"qty"}; seluruh pasangan mesti dibuang.
def close_truncated(s: str) -> str:
# 1) Imbasan peka rentetan; tutup rentetan terbuka dahulu
out, in_str, esc = [], False, False
for ch in s:
out.append(ch)
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str
text = ''.join(out) + ('"' if in_str else '')
# 2) Buang pasangan separa dan titik bertindih atau koma tergantung
text = re.sub(r',\s*"[^"]*"\s*$', '', text)
text = re.sub(r'[{,]\s*"[^"]*"\s*:\s*$', '}', text)
text = re.sub(r':\s*$', '', text)
text = re.sub(r',\s*$', '', text)
# 3) Imbas semula tindanan dan tutup LIFO
stack, in_str, esc = [], False, False
for ch in text:
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str; continue
if not in_str:
if ch in '{[': stack.append(ch)
elif ch in '}]' and stack: stack.pop()
return text + ''.join('}' if c == '{' else ']' for c in reversed(stack))
Pada input di awal artikel, kod ini memulangkan {"scores": {...}, "items": [{"name": "a", "qty": 2}, {"name": "b"}]} dengan Python 3.11 dan pustaka standard sahaja. Ia dihuraikan, dan rekod ketiga hilang. Di sebelah model tempatan, pustaka khusus seperti partial-json-parser buat kerja sama: tutup dengan tindanan, potong ikut kelengkapan.
Yang penting ialah pendedahan. Fungsi penutupan mesti melaporkan pada anak tangga mana hasil diperoleh; semua yang keluar dari anak tangga truncation ialah hasil separa dan mesti dilabel: minta semula skop yang hilang, cuba lagi dengan had lebih besar, atau beritahu pengguna data tidak lengkap. Berpura-pura tiada apa berlaku bermakna mencipta halusinasi dengan kod deterministik.
Baiki atau cuba semula: jadual sempadan
| Bentuk input | Tindakan betul | Sebab |
|---|---|---|
| Pagar, koma akhir, petikan tunggal | Alat pembaikan | Niat lengkap, hanya sintaks kotor |
| Terputus di tengah rentetan | Cuba semula atau pemulihan separa dengan pendedahan | Nilai itu sendiri hilang |
| Terputus di tengah struktur | Pemulihan separa dengan pendedahan | Medan siap kekal, pasangan separa mesti dibuang |
| Boleh dihuraikan tetapi nampak salah | Pengesahan perniagaan | Bukan potongan, tetapi sering berlaku bersama |
Satu pasukan kewangan mengukur kosnya. Invois panjang terpotong, penutupan kurungan menghasilkan JSON sah, medan total yang hilang mengambil lalai 0, dan sistem dengan 98.2% pematuhan format mengeluarkan kira-kira 200 invois salah sebulan. Selepas potongan dianggap degradasi keras dan semakan identiti (total == jumlah baris) ditambah, kadar ralat wang turun daripada 0.8% kepada 0.02%, manakala pematuhan format hanya naik ke 99.1%. Tiga bulan mengoptimum "pematuhan format" menyasarkan metrik yang salah. Lulus penghurai bukan bermakna lulus perniagaan.
Senarai empat perkara: semak sebab berhenti sebelum menghuraikan; tetapkan had ikut p99 bukan sebagai bajet; letak medan kritikal skema di hadapan; beri alat pembaikan hanya kotoran format jawapan lengkap. Dengan keempat-empatnya, potongan kembali daripada kerosakan data senyap kepada kegagalan yang nyaring dan boleh dicuba semula.
Bolehkah saya hanya tutup kurungan dan guna hasilnya
Tidak. Menutup hanya menjamin kesahihan sintaks, data masih serpihan dengan ayat separuh, rekod akhir hilang, dan nilai lalai menggantikan nilai sebenar. Tandakan sebagai separa, cetuskan cubaan semula atau degradasi, dan log kadar pemulihan.
Bagaimana membezakan potongan daripada ralat sintaks sebenar
Baca sebab berhenti dalam metadata: max_tokens, length atau incomplete ialah potongan; end_turn atau stop dengan kegagalan penghuraian ialah kerosakan sintaks sebenar. Tanpa metadata, lihat hujung: terputus dalam petikan atau kurungan dengan struktur luar belum tertutup hampir selalu potongan.
Mengapa potongan yang dibaiki lebih berbahaya daripada kegagalan nyaring
Alat pembaikan mengoptimum "boleh dihuraikan", dan potongan yang ditutup memang boleh dihuraikan, jadi pemantauan senyap dan pengesahan hiliran lulus kerana nilai lalai. Itulah sebabnya 83 laporan terpotong hanya menghasilkan 4 ralat. Alat tiada konsep niat dan tidak tahu apa yang hilang, jadi potongan mesti dipintas di hulu.
Adakah menaikkan max_tokens menambah kos
Tidak. Pengebilan ikut token yang benar-benar dijana; had hanyalah pagar. 4096 pada 1100 token dijana berharga sama dengan 1500. Tetapkan ikut p99 sebenar dengan ruang, dan laburkan usaha dalam mencegah output liar.