JSON Toolkit

JSON do LLM trả về bị cắt cụt: xem lý do dừng trước, rồi mới bàn đến sửa

Kết luận: Mô hình trả về JSON đứt giữa một giá trị và trình phân tích chỉ báo số cột. Đóng ngoặc lại thì phân tích được, nhưng mọi trường thiếu đều bị giấu vào trong dữ liệu. Bài viết vạch ranh giới giữa thứ mà việc sửa bản cắt cụt có thể phục hồi trung thực và thứ bắt buộc phải gọi lại.

Thực chiếnĐọc khoảng 5 phútXuất bản 2026-11-14Cập nhật 2026-11-14
Đóng JSON bị cắt cụt bằng ngăn xếp sau khi quét có nhận biết chuỗi

Cắt cụt không phải lỗi cú pháp mà là thiếu dữ liệu. Cú pháp sửa được, bản cắt cụt chỉ phục hồi được một phần. Khoảnh khắc công cụ đóng khoảng trống, phần còn lại của khoảng trống thôi là lỗi phân tích và trở thành thứ không ai biết.

Bản cắt cụt trông thế nào: một số cột là không đủ

Mô hình viết JSON theo lược đồ của bạn, chạm giới hạn đầu ra và văn bản đứt ngang. Đưa đoạn này vào module json của Python 3.11:

{"scores": {"clarity": 8, "depth": 7}, "items": [{"name": "a", "qty": 2}, {"name": "b", "qty"

json.loads báo Expecting ':' delimiter, col 94. Cột chỉ vào khoá "qty" không có giá trị, nhưng nguyên nhân thật là tài liệu không có phần kết. Đóng bằng regex tham lam thêm "} thì phân tích hỏng; đóng bằng ngăn xếp có nhận biết chuỗi (mục sáu) thì phân tích được, nhưng items chỉ còn 2 bản ghi, bản ghi thứ ba dở dang bị bỏ. Số cột cho biết văn bản dừng ở đâu. Nó không bao giờ cho biết bạn mất bao nhiêu.

Đó là khác biệt thật đầu tiên so với một lỗi JSON thường. Dấu phẩy thừa có trạng thái kết thúc rõ ràng: bỏ nó đi là tài liệu trọn vẹn. Bản cắt cụt không có trạng thái đó. Sửa xong vẫn là mảnh vỡ.

Cắt cụt không phải hỏng cú pháp: điểm mù của công cụ sửa

Các công cụ như jsonrepair biến JSON hỏng cú pháp thành JSON hợp lệ: bóc hàng rào markdown, bỏ dấu phẩy cuối, đổi nháy đơn. Ở đó ý định còn nguyên, sửa chỉ là dọn dẹp. Đầu vào bị cắt cụt với cùng công cụ trông như JSON hỏng, nên nó đóng chuỗi, mảng và đối tượng đang mở rồi trả về thứ phân tích được. Trong 83 báo cáo Claude bị cắt, công cụ "sửa" 79, chỉ 4 hỏng hẳn. Giám sát lỗi thấy tỉ lệ thấp hơn thực tế hai mươi lần.

Kết quả sau khi sửa ra sao? Phản hồi câu 6 dừng giữa câu, câu 7 đến 9 không tồn tại, mảng next_steps biến mất. Pydantic vẫn xác thực, vì next_steps có mặc định [] và danh sách không có giới hạn độ dài. Mọi tầng đều làm đúng việc của mình. Sản phẩm giao một báo cáo tự tin và sai.

Đặt việc sửa cú pháp vào đường xử lý cắt cụt, nó lặng lẽ chuyển từ dọn dẹp sang bịa đặt. Vậy ranh giới phải đặt trước: công cụ sửa chỉ xử lý vết bẩn định dạng trên câu trả lời trọn vẹn; câu trả lời bị cắt không bao giờ được đến chỗ nó. Về vết bẩn định dạng, xem hướng dẫn sửa JSON.

Bước đầu tiên luôn là lý do dừng

Mọi API lớn đều cho biết vì sao sinh xong dừng, trong siêu dữ liệu và miễn phí. Đó cũng là dòng mã bị bỏ qua nhiều nhất trong tích hợp LLM. Anthropic có stop_reason, API chat của OpenAI có finish_reason: max_tokens là bị cắt, end_turn hay stop là mô hình tự kết thúc.

resp = client.messages.create(model=MODEL, max_tokens=4096, ...)
if resp.stop_reason != "end_turn":
    raise TruncatedOutput(
        f"stop_reason={resp.stop_reason}, "
        f"output_tokens={resp.usage.output_tokens}"
    )
data = json.loads(resp.content[0].text)

Khi cắt cụt thành ngoại lệ tường minh, đường thử lại có điều kiện kích hoạt và giám sát có nguồn cảnh báo. 83 báo cáo kia được tìm thấy sau đó bằng một truy vấn trên trường stop_reason trong log vẫn lưu từ lâu mà không ai đọc. Gemini báo length/incomplete theo cùng nghĩa; khi thêm nhà cung cấp mới, hãy đối chiếu bảng ánh xạ thay vì đoán.

max_tokens là rào an toàn, không phải ngân sách

Nguyên nhân trực tiếp thường là giới hạn đặt cho phiên bản cũ của sản phẩm: 1500 token cắt 39% báo cáo dài ngay khi có phiên dài. Nâng giới hạn là miễn phí. Tính tiền theo token thực sinh, nên 4096 cho báo cáo 1100 token có giá đúng bằng 1500. Giới hạn để chặn đầu ra chạy loạn, không phải để tiết kiệm.

Hãy tính từ dữ liệu: quan sát phân phối thật một tuần, lấy p99 rồi để dư. Nhóm trong sự cố chọn 4096 vì p99 sau khi sửa là 2350. Hướng khác là thu nhỏ chính đầu ra. Khoá lặp trong mảng đồng dạng chiếm phần lớn token; mã hoá dạng bảng trước khi gọi (xem hướng dẫn định dạng TOON) giảm khối lượng phải nằm dưới giới hạn.

Thứ tự trường trong lược đồ quyết định thứ bị cắt

Mô hình viết JSON từ trên xuống. Khi cạn ngân sách, thứ nằm cuối danh sách thuộc tính biến mất trước. Lược đồ xếp summary, per_question_feedback, scores, next_steps mất scores đầu tiên, đúng phần người dùng chụp màn hình để so sánh mỗi tuần. Cách sửa là đổi thứ tự: trường ngắn và quan trọng lên trước, chi tiết dài có thể sinh lại để sau, văn bản tự do xuống cuối.

Hành vi nhà cung cấp cũng đổi hậu quả của cùng một lần cắt:

Nhà cung cấp Cơ chế đầu ra có cấu trúc Hành vi khi bị cắt
OpenAI response_format với strict: true Bảo đảm ở mức lấy mẫu, nhưng phương ngữ hẹp nhất; thường từ chối sinh
Anthropic input_schema trong tool use Không bảo đảm lúc giải mã; có thể trả ngoặc chưa đóng
Gemini responseSchema với MIME JSON Lúc giải mã chỉ ép enum và kiểu; vẫn có thể bị cắt

"Đã bật đầu ra có cấu trúc nên không cần xác thực" là ảo tưởng. Bảo đảm của nhà cung cấp càng lỏng, bạn càng cần tự xác thực lược đồ và có vòng thử lại. Cách dựng kiểm thử hợp đồng đó nằm ở kiểm thử hợp đồng JSON Schema.

Khi thật sự cần phục hồi một phần: đóng bằng ngăn xếp nhận biết chuỗi

Có trường hợp buộc phải vắt được gì đó từ mảnh vỡ: xem trước dạng luồng, phản hồi suy giảm, hàng chờ người duyệt. Khi đó đóng là bậc cuối của thang sửa, và cần hai điều kiện. Một, quét ngoặc phải nhận biết chuỗi: theo dõi trạng thái nháy và thoát từng ký tự, nếu không một { trong giá trị sẽ làm hỏng ngăn xếp. Hai, xoá cặp khoá-giá trị dở trước khi đóng. Khoá "qty" không có giá trị không thể đóng thành {"qty"}; cả cặp phải bỏ.

def close_truncated(s: str) -> str:
    # 1) Quét nhận biết chuỗi; đóng chuỗi đang mở trước
    out, in_str, esc = [], False, False
    for ch in s:
        out.append(ch)
        if esc: esc = False; continue
        if ch == '\\' and in_str: esc = True; continue
        if ch == '"': in_str = not in_str
    text = ''.join(out) + ('"' if in_str else '')
    # 2) Bỏ cặp dở cùng dấu hai chấm hoặc phẩy treo
    text = re.sub(r',\s*"[^"]*"\s*$', '', text)
    text = re.sub(r'[{,]\s*"[^"]*"\s*:\s*$', '}', text)
    text = re.sub(r':\s*$', '', text)
    text = re.sub(r',\s*$', '', text)
    # 3) Quét lại ngăn xếp và đóng theo LIFO
    stack, in_str, esc = [], False, False
    for ch in text:
        if esc: esc = False; continue
        if ch == '\\' and in_str: esc = True; continue
        if ch == '"': in_str = not in_str; continue
        if not in_str:
            if ch in '{[': stack.append(ch)
            elif ch in '}]' and stack: stack.pop()
    return text + ''.join('}' if c == '{' else ']' for c in reversed(stack))

Với đầu vào ở đầu bài, đoạn này trả về {"scores": {...}, "items": [{"name": "a", "qty": 2}, {"name": "b"}]} trên Python 3.11 chỉ với thư viện chuẩn. Phân tích được, bản ghi thứ ba mất. Phía mô hình cục bộ, thư viện chuyên dụng như partial-json-parser làm việc tương tự: đóng bằng ngăn xếp, cắt theo độ trọn vẹn.

Điều cốt tử là công bố. Hàm đóng phải báo kết quả đến từ bậc nào; mọi thứ từ bậc truncation là kết quả một phần và phải được đánh dấu: hỏi lại phần thiếu, thử lại với giới hạn lớn hơn, hoặc nói với người dùng dữ liệu chưa đầy đủ. Giả vờ không có gì xảy ra là dùng mã tất định để tạo ảo giác.

Sửa hay thử lại: bảng ranh giới

Hình dạng đầu vào Hành động đúng Vì sao
Hàng rào, dấu phẩy cuối, nháy đơn Công cụ sửa Ý định trọn vẹn, chỉ cú pháp bẩn
Đứt giữa chuỗi Thử lại hoặc phục hồi một phần kèm công bố Bản thân giá trị thiếu
Đứt giữa cấu trúc Phục hồi một phần kèm công bố Trường xong còn, cặp dở phải bỏ
Phân tích được nhưng thấy sai Kiểm tra nghiệp vụ Không phải cắt cụt, nhưng thường đi kèm

Một nhóm tài chính đã định lượng chi phí. Hoá đơn dài bị cắt, đóng ngoặc cho ra JSON hợp lệ, trường total thiếu nhận mặc định 0, và hệ thống đạt 98,2% tuân thủ định dạng lại phát ra khoảng 200 hoá đơn sai mỗi tháng. Sau khi coi cắt cụt là suy giảm cứng và thêm kiểm tra đồng nhất (total == tổng các dòng), tỉ lệ lỗi tiền giảm từ 0,8% xuống 0,02%, còn tuân thủ định dạng chỉ lên 99,1%. Ba tháng tối ưu "tuân thủ định dạng" đã nhắm sai chỉ số. Qua được trình phân tích không phải là qua được nghiệp vụ.

Danh sách bốn điểm: kiểm tra lý do dừng trước khi phân tích; đặt giới hạn theo p99 chứ không như ngân sách; đưa trường quan trọng của lược đồ lên trước; chỉ cho công cụ sửa thấy vết bẩn định dạng của câu trả lời trọn vẹn. Đủ bốn điều, cắt cụt từ chỗ làm hỏng dữ liệu lặng lẽ trở lại thành lỗi ồn ào và thử lại được.

Cứ đóng ngoặc rồi dùng kết quả được không

Không. Đóng chỉ bảo đảm hợp lệ cú pháp, dữ liệu vẫn là mảnh vỡ với câu cụt, bản ghi cuối mất và giá trị mặc định thay cho giá trị thật. Hãy đánh dấu là kết quả một phần, kích hoạt thử lại hoặc suy giảm, và ghi lại tỉ lệ phục hồi.

Làm sao phân biệt cắt cụt với lỗi cú pháp thật

Đọc lý do dừng trong siêu dữ liệu: max_tokens, length hay incomplete là cắt cụt; end_turn hay stop mà phân tích hỏng là hỏng cú pháp thật. Không có siêu dữ liệu thì nhìn phần cuối: đứt trong nháy hoặc ngoặc với cấu trúc ngoài cùng chưa đóng gần như luôn là cắt cụt.

Vì sao bản cắt cụt đã sửa lại nguy hiểm hơn lỗi ồn ào

Công cụ sửa tối ưu cho "phân tích được", mà bản cắt cụt đã đóng thì phân tích được, nên giám sát im lặng và xác thực hạ nguồn qua nhờ giá trị mặc định. Đó là cách 83 báo cáo chỉ cho 4 lỗi. Công cụ không có khái niệm ý định và không biết thiếu gì, nên cắt cụt phải bị chặn ở thượng nguồn.

Tăng max_tokens có tốn thêm tiền không

Không. Tính tiền theo token thực sinh; giới hạn chỉ là rào. 4096 với 1100 token thực sinh tốn đúng như 1500. Hãy đặt theo p99 thật kèm dư địa và đầu tư vào việc chặn đầu ra chạy loạn.

Tài liệu tham khảo

Công cụ phù hợp

Bài viết liên quan

Hướng dẫn sửa JSON: cứu đầu ra lỗi của LLM mà không mất niềm tin

Đầu ra LLM bị bọc trong hàng rào markdown, có dấu phẩy cuối và literal của Python, parser nghiêm ngặt sẽ từ chối toàn bộ — file cấu hình chỉnh tay thiếu dấu ngoặc kép cũng vậy. Bài này vẽ ranh giới thật giữa chín lớp lỗi công cụ sửa chữa xử lý được và bốn lớp không bao giờ sửa được, giải thích vì sao máy trạng thái thắng regex, và đưa chuỗi parse sẵn sàng cho production với jsonrepair và json-repair.

Trung cấpĐọc khoảng 6 phútCập nhật 2026-11-08

Hướng dẫn định dạng TOON: làm nhẹ JSON trước khi đưa cho LLM

Khi bạn đưa một mảng đồng nhất cho mô hình ngôn ngữ ở định dạng JSON, tên khoá lặp lại và dấu ngoặc ăn mòn token. TOON khai báo cấu trúc một lần duy nhất bằng đối tượng thụt lề và mảng dạng bảng, rồi đổ dữ liệu từng dòng. Benchmark chính thức cho thấy khoảng 40% token ít hơn với độ chính xác phân tích cao hơn. Hướng dẫn này bao phủ cú pháp, khi nào tiết kiệm có hiệu lực, khi nào không nên chuyển đổi và cách nối encode với decode.

Trung cấpĐọc khoảng 6 phútCập nhật 2026-11-10

Kiểm thử hợp đồng JSON Schema: hàn quy tắc xác thực vào CI

Schema không kết thúc khi viết xong — đó là nơi thoái hóa bắt đầu. Một lỗi chính tả âm thầm nới lỏng xác thực, một lần refactor làm hỏng mọi fixture. Hướng dẫn này trình bày bộ khung kiểm thử hợp đồng khả thi: fixture dương, âm và snapshot, lint chính schema, biên dịch một lần tái sử dụng, và bốn cổng CI biến vỡ hợp đồng thành build đỏ.

Trung cấpĐọc khoảng 8 phútCập nhật 2026-11-05