JSON od LLM został ucięty: najpierw sprawdź powód zatrzymania, potem mów o naprawie
Podsumowanie: Model zwraca JSON urwany w środku wartości, a parser podaje tylko numer kolumny. Domknięcie nawiasów znów pozwala go sparsować, ale każdy brakujący fragment chowa się w danych. Artykuł wyznacza granicę między tym, co naprawa ucięcia może uczciwie odzyskać, a tym, co trzeba zlecić ponownie.

Ucięcie to nie błąd składni, lecz brakujące dane. Składnię da się naprawić, ucięcie można odzyskać tylko częściowo. W chwili, gdy narzędzie domyka lukę, reszta luki przestaje być błędem parsowania i staje się czymś, o czym nikt nie wie.
Jak wygląda ucięcie: numer kolumny nie wystarczy
Model pisze JSON według schematu, dobija do limitu wyjścia i tekst się kończy. Przekaż to do modułu json w Pythonie 3.11:
{"scores": {"clarity": 8, "depth": 7}, "items": [{"name": "a", "qty": 2}, {"name": "b", "qty"
json.loads rzuca Expecting ':' delimiter, col 94. Kolumna wskazuje klucz "qty" bez wartości, ale prawdziwą przyczyną jest brak końca dokumentu. Zachłanny regex dopisujący "} nie pomaga; domknięcie stosem świadomym ciągów (sekcja szósta) parsuje, ale items ma 2 wpisy, a trzeci częściowy rekord znika. Numer kolumny mówi, gdzie tekst się zatrzymał. Nigdy nie mówi, ile zginęło.
To pierwsza realna różnica wobec zwykłego błędu JSON. Zbędny przecinek ma jasny stan końcowy: usuń go i dokument jest cały. Ucięcie takiego stanu nie ma. Napraw je, a to wciąż fragment.
Ucięcie to nie uszkodzenie składni: martwy punkt narzędzi naprawczych
Narzędzia jak jsonrepair zamieniają zepsuty składniowo JSON na legalny: zdejmują ogrodzenia markdown, przecinki końcowe, zamieniają cudzysłowy. Tam intencja jest cała, a naprawa to tylko czyszczenie. Ucięte wejście dla tego samego narzędzia wygląda jak zepsuty JSON, więc zamyka otwarty ciąg, tablicę i obiekt i zwraca coś parsowalnego. Z 83 uciętych raportów Claude narzędzie „naprawiło" 79, twardo zawiodło tylko 4. Monitoring błędów widział częstość dwadzieścia razy niższą od rzeczywistej.
Jak wyglądało wyjście po naprawie? Opinia do pytania 6 kończyła się w połowie zdania, pytania 7–9 nie istniały, tablica next_steps zniknęła. Pydantic walidował mimo to, bo next_steps miało domyślną wartość [], a lista nie miała limitu długości. Każda warstwa robiła swoje. Produkt wydał pewny i błędny raport.
Wstaw naprawę składni na ścieżkę ucięcia, a cicho zmieni się z czyszczenia w wymyślanie. Dlatego najpierw granica: narzędzie naprawcze zajmuje się tylko brudem formatu pełnych odpowiedzi; ucięta odpowiedź nie powinna do niego trafiać nigdy. O brudzie formatu przeczytasz w przewodniku po naprawie JSON.
Pierwszy krok to zawsze powód zatrzymania
Każde duże API podaje w metadanych, dlaczego generowanie się skończyło — bezpłatnie. To także najczęściej ignorowana linia kodu w integracjach z LLM. Anthropic udostępnia stop_reason, chat API OpenAI — finish_reason: max_tokens oznacza ucięcie, end_turn lub stop — że model skończył sam.
resp = client.messages.create(model=MODEL, max_tokens=4096, ...)
if resp.stop_reason != "end_turn":
raise TruncatedOutput(
f"stop_reason={resp.stop_reason}, "
f"output_tokens={resp.usage.output_tokens}"
)
data = json.loads(resp.content[0].text)
Gdy ucięcie staje się jawnym wyjątkiem, ponowienie ma wyzwalacz, a monitoring źródło alertu. Te 83 raporty znalazły się po fakcie jednym zapytaniem o pole stop_reason w logach, które były przechowywane od zawsze i nigdy nieczytane. Gemini sygnalizuje length i incomplete w tym samym sensie; przy nowym dostawcy sprawdź tabelę mapowania zamiast zgadywać.
max_tokens to bariera, nie budżet
Bezpośrednią przyczyną jest zwykle limit dopasowany do wcześniejszej wersji produktu: 1500 tokenów, które po wejściu długich sesji tną 39% długich raportów. Podniesienie limitu jest darmowe. Rozliczenie idzie za faktycznie wygenerowanymi tokenami, więc 4096 przy raporcie na 1100 tokenów kosztuje dokładnie tyle samo co 1500. Limit ma zatrzymać szaloną generację, nie oszczędzać.
Licz z danych: przez tydzień obserwuj rzeczywisty rozkład, weź p99 i zostaw zapas. Zespół z tego incydentu wybrał 4096, bo po poprawce p99 wynosił 2350. Drugi kierunek to zmniejszenie samego wyjścia. Powtarzane klucze w jednorodnych tablicach zjadają większość tokenów; kodowanie tabelaryczne przed wywołaniem (zob. przewodnik po formacie TOON) zmniejsza objętość, która musi zmieścić się w limicie.
Kolejność pól schematu decyduje, co zostanie ucięte
Modele piszą JSON z góry na dół. Gdy budżet się kończy, pierwsze znika to, co stoi na końcu listy właściwości. Schemat w kolejności summary, per_question_feedback, scores, next_steps traci najpierw scores — dokładnie to, co użytkownik zrzuca ze ekranu i porównuje co tydzień. Poprawka to przestawienie: krótkie krytyczne pola na przód, długie i odtwarzalne detale potem, wolny tekst na samym końcu.
Zachowanie dostawców zmienia też skutki tego samego ucięcia:
| Dostawca | Mechanizm wyjścia strukturalnego | Zachowanie przy ucięciu |
|---|---|---|
| OpenAI | response_format z strict: true |
Gwarancja na poziomie próbkowania, ale najwęższy dialekt; zwykle odmawia generowania |
| Anthropic | input_schema w tool use |
Brak gwarancji na etapie dekodowania; może oddać niezamknięte nawiasy |
| Gemini | responseSchema z MIME JSON |
Dekodowanie wymusza tylko enum i typ; ucięcie nadal możliwe |
„Wyjście strukturalne włączone, walidacja zbędna" to złudzenie. Im słabsza gwarancja dostawcy, tym bardziej potrzebna własna walidacja schematu i pętla ponowień. Jak zbudować taki test kontraktu, opisuje test kontraktu JSON Schema.
Gdy naprawdę trzeba częściowego odzysku: domknięcie stosem świadomym ciągów
Niektóre przypadki zmuszają, by wycisnąć coś z fragmentu: podgląd strumieniowy, odpowiedź zdegradowana, kolejka do ręcznej weryfikacji. Wtedy domknięcie jest ostatnim szczeblem drabiny naprawczej i wymaga dwóch warunków. Po pierwsze, skan nawiasów musi być świadomy ciągów: śledź stan cudzysłowów i ucieczek znak po znaku, inaczej { wewnątrz wartości psuje stos. Po drugie, usuń niepełne pary klucz-wartość przed domknięciem. Klucza "qty" bez wartości nie da się domknąć do {"qty"}; cała para musi zniknąć.
def close_truncated(s: str) -> str:
# 1) Skan świadomy ciągów; najpierw domknij otwarty ciąg
out, in_str, esc = [], False, False
for ch in s:
out.append(ch)
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str
text = ''.join(out) + ('"' if in_str else '')
# 2) Usuń niepełne pary oraz wiszący dwukropek lub przecinek
text = re.sub(r',\s*"[^"]*"\s*$', '', text)
text = re.sub(r'[{,]\s*"[^"]*"\s*:\s*$', '}', text)
text = re.sub(r':\s*$', '', text)
text = re.sub(r',\s*$', '', text)
# 3) Przeskanuj stos i domknij w LIFO
stack, in_str, esc = [], False, False
for ch in text:
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str; continue
if not in_str:
if ch in '{[': stack.append(ch)
elif ch in '}]' and stack: stack.pop()
return text + ''.join('}' if c == '{' else ']' for c in reversed(stack))
Na wejściu z początku artykułu zwraca {"scores": {...}, "items": [{"name": "a", "qty": 2}, {"name": "b"}]} w Pythonie 3.11 z samą biblioteką standardową. Parsuje, a trzeci rekord ginie. Po stronie modeli lokalnych to samo robią dedykowane biblioteki jak partial-json-parser: domknij stosem, przytnij po kompletności.
Najważniejsze jest ujawnienie. Funkcja domknięcia musi meldować, na którym szczeblu powstał wynik; wszystko ze szczebla truncation jest wynikiem częściowym i trzeba to oznaczyć: dopytaj o brakujący zakres, powtórz z większym limitem albo powiedz użytkownikowi, że dane są niepełne. Udawanie, że nic się nie stało, to produkowanie halucynacji deterministycznym kodem.
Naprawić czy powtórzyć: tabela granic
| Kształt wejścia | Właściwe działanie | Dlaczego |
|---|---|---|
| Ogrodzenia, przecinki końcowe, pojedyncze cudzysłowy | Narzędzie naprawcze | Intencja cała, brudna tylko składnia |
| Ucięcie w środku ciągu | Ponowienie albo częściowy odzysk z ujawnieniem | Brakuje samej wartości |
| Ucięcie w środku struktury | Częściowy odzysk z ujawnieniem | Ukończone pola przeżywają, niepełne pary znikają |
| Parsuje, ale wygląda źle | Walidacja biznesowa | To nie ucięcie, ale często idzie razem |
Pewien zespół finansowy wycenił koszt. Długie faktury były ucinane, domknięcie nawiasów dawało poprawny JSON, brakujące pole total przyjmowało 0, a system z 98,2% zgodności formatu generował około 200 błędnych faktur miesięcznie. Po potraktowaniu ucięcia jako twardej degradacji i dodaniu sprawdzenia tożsamości (total == suma pozycji) odsetek błędów kwotowych spadł z 0,8% do 0,02%, a zgodność formatu wzrosła ledwie do 99,1%. Trzy miesiące optymalizacji „zgodności formatu" mierzyły niewłaściwy wskaźnik. Przejście parsera to nie to samo co przejście biznesu.
Lista czterech punktów: sprawdź powód zatrzymania przed parsowaniem; ustaw limit z p99, nie jako budżet; krytyczne pola schematu na przód; narzędziu naprawczemu zostaw tylko brud formatu pełnych odpowiedzi. Wszystkie cztery sprawiają, że ucięcie wraca z cichej korupcji danych do głośnej i powtarzalnej awarii.
Czy można po prostu domknąć nawiasy i użyć wyniku
Nie. Domknięcie gwarantuje tylko legalność składni, dane pozostają fragmentem: zdanie urywa się, końcowe rekordy zniknęły, zamiast prawdziwych wartości są domyślne. Oznacz wyjście jako częściowe, uruchom ponowienie lub degradację i zapisz odsetek odzysku.
Jak odróżnić ucięcie od prawdziwego błędu składni
Czytaj powód zatrzymania w metadanych: max_tokens, length lub incomplete to ucięcie; end_turn lub stop przy błędzie parsowania to prawdziwe uszkodzenie składni. Bez metadanych patrz na koniec: urwanie wewnątrz cudzysłowu lub nawiasu z niezamkniętą strukturą zewnętrzną to prawie zawsze ucięcie.
Dlaczego naprawione ucięcie jest groźniejsze niż głośna awaria
Narzędzie optymalizuje „niech się parsuje", a domknięte ucięcie się parsuje, więc monitoring milczy, a dalsza walidacja przechodzi dzięki wartościom domyślnym. Tak 83 ucięte raporty dały tylko 4 błędy. Narzędzie nie zna intencji i nie wie, czego brakuje, więc ucięcie trzeba przechwycić wyżej.
Czy podniesienie max_tokens kosztuje więcej
Nie. Rozliczenie idzie za faktycznie wygenerowanymi tokenami, limit to tylko bariera. 4096 przy 1100 wygenerowanych tokenach kosztuje dokładnie jak 1500. Ustaw według rzeczywistego p99 z zapasem i inwestuj w zapobieganie szalonej generacji.