JSON do LLM trả về bị cắt cụt: xem lý do dừng trước, rồi mới bàn đến sửa
Kết luận: Mô hình trả về JSON đứt giữa một giá trị và trình phân tích chỉ báo số cột. Đóng ngoặc lại thì phân tích được, nhưng mọi trường thiếu đều bị giấu vào trong dữ liệu. Bài viết vạch ranh giới giữa thứ mà việc sửa bản cắt cụt có thể phục hồi trung thực và thứ bắt buộc phải gọi lại.

Cắt cụt không phải lỗi cú pháp mà là thiếu dữ liệu. Cú pháp sửa được, bản cắt cụt chỉ phục hồi được một phần. Khoảnh khắc công cụ đóng khoảng trống, phần còn lại của khoảng trống thôi là lỗi phân tích và trở thành thứ không ai biết.
Bản cắt cụt trông thế nào: một số cột là không đủ
Mô hình viết JSON theo lược đồ của bạn, chạm giới hạn đầu ra và văn bản đứt ngang. Đưa đoạn này vào module json của Python 3.11:
{"scores": {"clarity": 8, "depth": 7}, "items": [{"name": "a", "qty": 2}, {"name": "b", "qty"
json.loads báo Expecting ':' delimiter, col 94. Cột chỉ vào khoá "qty" không có giá trị, nhưng nguyên nhân thật là tài liệu không có phần kết. Đóng bằng regex tham lam thêm "} thì phân tích hỏng; đóng bằng ngăn xếp có nhận biết chuỗi (mục sáu) thì phân tích được, nhưng items chỉ còn 2 bản ghi, bản ghi thứ ba dở dang bị bỏ. Số cột cho biết văn bản dừng ở đâu. Nó không bao giờ cho biết bạn mất bao nhiêu.
Đó là khác biệt thật đầu tiên so với một lỗi JSON thường. Dấu phẩy thừa có trạng thái kết thúc rõ ràng: bỏ nó đi là tài liệu trọn vẹn. Bản cắt cụt không có trạng thái đó. Sửa xong vẫn là mảnh vỡ.
Cắt cụt không phải hỏng cú pháp: điểm mù của công cụ sửa
Các công cụ như jsonrepair biến JSON hỏng cú pháp thành JSON hợp lệ: bóc hàng rào markdown, bỏ dấu phẩy cuối, đổi nháy đơn. Ở đó ý định còn nguyên, sửa chỉ là dọn dẹp. Đầu vào bị cắt cụt với cùng công cụ trông như JSON hỏng, nên nó đóng chuỗi, mảng và đối tượng đang mở rồi trả về thứ phân tích được. Trong 83 báo cáo Claude bị cắt, công cụ "sửa" 79, chỉ 4 hỏng hẳn. Giám sát lỗi thấy tỉ lệ thấp hơn thực tế hai mươi lần.
Kết quả sau khi sửa ra sao? Phản hồi câu 6 dừng giữa câu, câu 7 đến 9 không tồn tại, mảng next_steps biến mất. Pydantic vẫn xác thực, vì next_steps có mặc định [] và danh sách không có giới hạn độ dài. Mọi tầng đều làm đúng việc của mình. Sản phẩm giao một báo cáo tự tin và sai.
Đặt việc sửa cú pháp vào đường xử lý cắt cụt, nó lặng lẽ chuyển từ dọn dẹp sang bịa đặt. Vậy ranh giới phải đặt trước: công cụ sửa chỉ xử lý vết bẩn định dạng trên câu trả lời trọn vẹn; câu trả lời bị cắt không bao giờ được đến chỗ nó. Về vết bẩn định dạng, xem hướng dẫn sửa JSON.
Bước đầu tiên luôn là lý do dừng
Mọi API lớn đều cho biết vì sao sinh xong dừng, trong siêu dữ liệu và miễn phí. Đó cũng là dòng mã bị bỏ qua nhiều nhất trong tích hợp LLM. Anthropic có stop_reason, API chat của OpenAI có finish_reason: max_tokens là bị cắt, end_turn hay stop là mô hình tự kết thúc.
resp = client.messages.create(model=MODEL, max_tokens=4096, ...)
if resp.stop_reason != "end_turn":
raise TruncatedOutput(
f"stop_reason={resp.stop_reason}, "
f"output_tokens={resp.usage.output_tokens}"
)
data = json.loads(resp.content[0].text)
Khi cắt cụt thành ngoại lệ tường minh, đường thử lại có điều kiện kích hoạt và giám sát có nguồn cảnh báo. 83 báo cáo kia được tìm thấy sau đó bằng một truy vấn trên trường stop_reason trong log vẫn lưu từ lâu mà không ai đọc. Gemini báo length/incomplete theo cùng nghĩa; khi thêm nhà cung cấp mới, hãy đối chiếu bảng ánh xạ thay vì đoán.
max_tokens là rào an toàn, không phải ngân sách
Nguyên nhân trực tiếp thường là giới hạn đặt cho phiên bản cũ của sản phẩm: 1500 token cắt 39% báo cáo dài ngay khi có phiên dài. Nâng giới hạn là miễn phí. Tính tiền theo token thực sinh, nên 4096 cho báo cáo 1100 token có giá đúng bằng 1500. Giới hạn để chặn đầu ra chạy loạn, không phải để tiết kiệm.
Hãy tính từ dữ liệu: quan sát phân phối thật một tuần, lấy p99 rồi để dư. Nhóm trong sự cố chọn 4096 vì p99 sau khi sửa là 2350. Hướng khác là thu nhỏ chính đầu ra. Khoá lặp trong mảng đồng dạng chiếm phần lớn token; mã hoá dạng bảng trước khi gọi (xem hướng dẫn định dạng TOON) giảm khối lượng phải nằm dưới giới hạn.
Thứ tự trường trong lược đồ quyết định thứ bị cắt
Mô hình viết JSON từ trên xuống. Khi cạn ngân sách, thứ nằm cuối danh sách thuộc tính biến mất trước. Lược đồ xếp summary, per_question_feedback, scores, next_steps mất scores đầu tiên, đúng phần người dùng chụp màn hình để so sánh mỗi tuần. Cách sửa là đổi thứ tự: trường ngắn và quan trọng lên trước, chi tiết dài có thể sinh lại để sau, văn bản tự do xuống cuối.
Hành vi nhà cung cấp cũng đổi hậu quả của cùng một lần cắt:
| Nhà cung cấp | Cơ chế đầu ra có cấu trúc | Hành vi khi bị cắt |
|---|---|---|
| OpenAI | response_format với strict: true |
Bảo đảm ở mức lấy mẫu, nhưng phương ngữ hẹp nhất; thường từ chối sinh |
| Anthropic | input_schema trong tool use |
Không bảo đảm lúc giải mã; có thể trả ngoặc chưa đóng |
| Gemini | responseSchema với MIME JSON |
Lúc giải mã chỉ ép enum và kiểu; vẫn có thể bị cắt |
"Đã bật đầu ra có cấu trúc nên không cần xác thực" là ảo tưởng. Bảo đảm của nhà cung cấp càng lỏng, bạn càng cần tự xác thực lược đồ và có vòng thử lại. Cách dựng kiểm thử hợp đồng đó nằm ở kiểm thử hợp đồng JSON Schema.
Khi thật sự cần phục hồi một phần: đóng bằng ngăn xếp nhận biết chuỗi
Có trường hợp buộc phải vắt được gì đó từ mảnh vỡ: xem trước dạng luồng, phản hồi suy giảm, hàng chờ người duyệt. Khi đó đóng là bậc cuối của thang sửa, và cần hai điều kiện. Một, quét ngoặc phải nhận biết chuỗi: theo dõi trạng thái nháy và thoát từng ký tự, nếu không một { trong giá trị sẽ làm hỏng ngăn xếp. Hai, xoá cặp khoá-giá trị dở trước khi đóng. Khoá "qty" không có giá trị không thể đóng thành {"qty"}; cả cặp phải bỏ.
def close_truncated(s: str) -> str:
# 1) Quét nhận biết chuỗi; đóng chuỗi đang mở trước
out, in_str, esc = [], False, False
for ch in s:
out.append(ch)
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str
text = ''.join(out) + ('"' if in_str else '')
# 2) Bỏ cặp dở cùng dấu hai chấm hoặc phẩy treo
text = re.sub(r',\s*"[^"]*"\s*$', '', text)
text = re.sub(r'[{,]\s*"[^"]*"\s*:\s*$', '}', text)
text = re.sub(r':\s*$', '', text)
text = re.sub(r',\s*$', '', text)
# 3) Quét lại ngăn xếp và đóng theo LIFO
stack, in_str, esc = [], False, False
for ch in text:
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str; continue
if not in_str:
if ch in '{[': stack.append(ch)
elif ch in '}]' and stack: stack.pop()
return text + ''.join('}' if c == '{' else ']' for c in reversed(stack))
Với đầu vào ở đầu bài, đoạn này trả về {"scores": {...}, "items": [{"name": "a", "qty": 2}, {"name": "b"}]} trên Python 3.11 chỉ với thư viện chuẩn. Phân tích được, bản ghi thứ ba mất. Phía mô hình cục bộ, thư viện chuyên dụng như partial-json-parser làm việc tương tự: đóng bằng ngăn xếp, cắt theo độ trọn vẹn.
Điều cốt tử là công bố. Hàm đóng phải báo kết quả đến từ bậc nào; mọi thứ từ bậc truncation là kết quả một phần và phải được đánh dấu: hỏi lại phần thiếu, thử lại với giới hạn lớn hơn, hoặc nói với người dùng dữ liệu chưa đầy đủ. Giả vờ không có gì xảy ra là dùng mã tất định để tạo ảo giác.
Sửa hay thử lại: bảng ranh giới
| Hình dạng đầu vào | Hành động đúng | Vì sao |
|---|---|---|
| Hàng rào, dấu phẩy cuối, nháy đơn | Công cụ sửa | Ý định trọn vẹn, chỉ cú pháp bẩn |
| Đứt giữa chuỗi | Thử lại hoặc phục hồi một phần kèm công bố | Bản thân giá trị thiếu |
| Đứt giữa cấu trúc | Phục hồi một phần kèm công bố | Trường xong còn, cặp dở phải bỏ |
| Phân tích được nhưng thấy sai | Kiểm tra nghiệp vụ | Không phải cắt cụt, nhưng thường đi kèm |
Một nhóm tài chính đã định lượng chi phí. Hoá đơn dài bị cắt, đóng ngoặc cho ra JSON hợp lệ, trường total thiếu nhận mặc định 0, và hệ thống đạt 98,2% tuân thủ định dạng lại phát ra khoảng 200 hoá đơn sai mỗi tháng. Sau khi coi cắt cụt là suy giảm cứng và thêm kiểm tra đồng nhất (total == tổng các dòng), tỉ lệ lỗi tiền giảm từ 0,8% xuống 0,02%, còn tuân thủ định dạng chỉ lên 99,1%. Ba tháng tối ưu "tuân thủ định dạng" đã nhắm sai chỉ số. Qua được trình phân tích không phải là qua được nghiệp vụ.
Danh sách bốn điểm: kiểm tra lý do dừng trước khi phân tích; đặt giới hạn theo p99 chứ không như ngân sách; đưa trường quan trọng của lược đồ lên trước; chỉ cho công cụ sửa thấy vết bẩn định dạng của câu trả lời trọn vẹn. Đủ bốn điều, cắt cụt từ chỗ làm hỏng dữ liệu lặng lẽ trở lại thành lỗi ồn ào và thử lại được.
Cứ đóng ngoặc rồi dùng kết quả được không
Không. Đóng chỉ bảo đảm hợp lệ cú pháp, dữ liệu vẫn là mảnh vỡ với câu cụt, bản ghi cuối mất và giá trị mặc định thay cho giá trị thật. Hãy đánh dấu là kết quả một phần, kích hoạt thử lại hoặc suy giảm, và ghi lại tỉ lệ phục hồi.
Làm sao phân biệt cắt cụt với lỗi cú pháp thật
Đọc lý do dừng trong siêu dữ liệu: max_tokens, length hay incomplete là cắt cụt; end_turn hay stop mà phân tích hỏng là hỏng cú pháp thật. Không có siêu dữ liệu thì nhìn phần cuối: đứt trong nháy hoặc ngoặc với cấu trúc ngoài cùng chưa đóng gần như luôn là cắt cụt.
Vì sao bản cắt cụt đã sửa lại nguy hiểm hơn lỗi ồn ào
Công cụ sửa tối ưu cho "phân tích được", mà bản cắt cụt đã đóng thì phân tích được, nên giám sát im lặng và xác thực hạ nguồn qua nhờ giá trị mặc định. Đó là cách 83 báo cáo chỉ cho 4 lỗi. Công cụ không có khái niệm ý định và không biết thiếu gì, nên cắt cụt phải bị chặn ở thượng nguồn.
Tăng max_tokens có tốn thêm tiền không
Không. Tính tiền theo token thực sinh; giới hạn chỉ là rào. 4096 với 1100 token thực sinh tốn đúng như 1500. Hãy đặt theo p99 thật kèm dư địa và đầu tư vào việc chặn đầu ra chạy loạn.