JSON Toolkit

JSON od LLM został ucięty: najpierw sprawdź powód zatrzymania, potem mów o naprawie

Podsumowanie: Model zwraca JSON urwany w środku wartości, a parser podaje tylko numer kolumny. Domknięcie nawiasów znów pozwala go sparsować, ale każdy brakujący fragment chowa się w danych. Artykuł wyznacza granicę między tym, co naprawa ucięcia może uczciwie odzyskać, a tym, co trzeba zlecić ponownie.

Praktyka~5 min czytaniaOpublikowano 2026-11-14Zaktualizowano 2026-11-14
Domknięcie uciętego JSON stosem po skanowaniu świadomym ciągów znaków

Ucięcie to nie błąd składni, lecz brakujące dane. Składnię da się naprawić, ucięcie można odzyskać tylko częściowo. W chwili, gdy narzędzie domyka lukę, reszta luki przestaje być błędem parsowania i staje się czymś, o czym nikt nie wie.

Jak wygląda ucięcie: numer kolumny nie wystarczy

Model pisze JSON według schematu, dobija do limitu wyjścia i tekst się kończy. Przekaż to do modułu json w Pythonie 3.11:

{"scores": {"clarity": 8, "depth": 7}, "items": [{"name": "a", "qty": 2}, {"name": "b", "qty"

json.loads rzuca Expecting ':' delimiter, col 94. Kolumna wskazuje klucz "qty" bez wartości, ale prawdziwą przyczyną jest brak końca dokumentu. Zachłanny regex dopisujący "} nie pomaga; domknięcie stosem świadomym ciągów (sekcja szósta) parsuje, ale items ma 2 wpisy, a trzeci częściowy rekord znika. Numer kolumny mówi, gdzie tekst się zatrzymał. Nigdy nie mówi, ile zginęło.

To pierwsza realna różnica wobec zwykłego błędu JSON. Zbędny przecinek ma jasny stan końcowy: usuń go i dokument jest cały. Ucięcie takiego stanu nie ma. Napraw je, a to wciąż fragment.

Ucięcie to nie uszkodzenie składni: martwy punkt narzędzi naprawczych

Narzędzia jak jsonrepair zamieniają zepsuty składniowo JSON na legalny: zdejmują ogrodzenia markdown, przecinki końcowe, zamieniają cudzysłowy. Tam intencja jest cała, a naprawa to tylko czyszczenie. Ucięte wejście dla tego samego narzędzia wygląda jak zepsuty JSON, więc zamyka otwarty ciąg, tablicę i obiekt i zwraca coś parsowalnego. Z 83 uciętych raportów Claude narzędzie „naprawiło" 79, twardo zawiodło tylko 4. Monitoring błędów widział częstość dwadzieścia razy niższą od rzeczywistej.

Jak wyglądało wyjście po naprawie? Opinia do pytania 6 kończyła się w połowie zdania, pytania 7–9 nie istniały, tablica next_steps zniknęła. Pydantic walidował mimo to, bo next_steps miało domyślną wartość [], a lista nie miała limitu długości. Każda warstwa robiła swoje. Produkt wydał pewny i błędny raport.

Wstaw naprawę składni na ścieżkę ucięcia, a cicho zmieni się z czyszczenia w wymyślanie. Dlatego najpierw granica: narzędzie naprawcze zajmuje się tylko brudem formatu pełnych odpowiedzi; ucięta odpowiedź nie powinna do niego trafiać nigdy. O brudzie formatu przeczytasz w przewodniku po naprawie JSON.

Pierwszy krok to zawsze powód zatrzymania

Każde duże API podaje w metadanych, dlaczego generowanie się skończyło — bezpłatnie. To także najczęściej ignorowana linia kodu w integracjach z LLM. Anthropic udostępnia stop_reason, chat API OpenAI — finish_reason: max_tokens oznacza ucięcie, end_turn lub stop — że model skończył sam.

resp = client.messages.create(model=MODEL, max_tokens=4096, ...)
if resp.stop_reason != "end_turn":
    raise TruncatedOutput(
        f"stop_reason={resp.stop_reason}, "
        f"output_tokens={resp.usage.output_tokens}"
    )
data = json.loads(resp.content[0].text)

Gdy ucięcie staje się jawnym wyjątkiem, ponowienie ma wyzwalacz, a monitoring źródło alertu. Te 83 raporty znalazły się po fakcie jednym zapytaniem o pole stop_reason w logach, które były przechowywane od zawsze i nigdy nieczytane. Gemini sygnalizuje length i incomplete w tym samym sensie; przy nowym dostawcy sprawdź tabelę mapowania zamiast zgadywać.

max_tokens to bariera, nie budżet

Bezpośrednią przyczyną jest zwykle limit dopasowany do wcześniejszej wersji produktu: 1500 tokenów, które po wejściu długich sesji tną 39% długich raportów. Podniesienie limitu jest darmowe. Rozliczenie idzie za faktycznie wygenerowanymi tokenami, więc 4096 przy raporcie na 1100 tokenów kosztuje dokładnie tyle samo co 1500. Limit ma zatrzymać szaloną generację, nie oszczędzać.

Licz z danych: przez tydzień obserwuj rzeczywisty rozkład, weź p99 i zostaw zapas. Zespół z tego incydentu wybrał 4096, bo po poprawce p99 wynosił 2350. Drugi kierunek to zmniejszenie samego wyjścia. Powtarzane klucze w jednorodnych tablicach zjadają większość tokenów; kodowanie tabelaryczne przed wywołaniem (zob. przewodnik po formacie TOON) zmniejsza objętość, która musi zmieścić się w limicie.

Kolejność pól schematu decyduje, co zostanie ucięte

Modele piszą JSON z góry na dół. Gdy budżet się kończy, pierwsze znika to, co stoi na końcu listy właściwości. Schemat w kolejności summary, per_question_feedback, scores, next_steps traci najpierw scores — dokładnie to, co użytkownik zrzuca ze ekranu i porównuje co tydzień. Poprawka to przestawienie: krótkie krytyczne pola na przód, długie i odtwarzalne detale potem, wolny tekst na samym końcu.

Zachowanie dostawców zmienia też skutki tego samego ucięcia:

Dostawca Mechanizm wyjścia strukturalnego Zachowanie przy ucięciu
OpenAI response_format z strict: true Gwarancja na poziomie próbkowania, ale najwęższy dialekt; zwykle odmawia generowania
Anthropic input_schema w tool use Brak gwarancji na etapie dekodowania; może oddać niezamknięte nawiasy
Gemini responseSchema z MIME JSON Dekodowanie wymusza tylko enum i typ; ucięcie nadal możliwe

„Wyjście strukturalne włączone, walidacja zbędna" to złudzenie. Im słabsza gwarancja dostawcy, tym bardziej potrzebna własna walidacja schematu i pętla ponowień. Jak zbudować taki test kontraktu, opisuje test kontraktu JSON Schema.

Gdy naprawdę trzeba częściowego odzysku: domknięcie stosem świadomym ciągów

Niektóre przypadki zmuszają, by wycisnąć coś z fragmentu: podgląd strumieniowy, odpowiedź zdegradowana, kolejka do ręcznej weryfikacji. Wtedy domknięcie jest ostatnim szczeblem drabiny naprawczej i wymaga dwóch warunków. Po pierwsze, skan nawiasów musi być świadomy ciągów: śledź stan cudzysłowów i ucieczek znak po znaku, inaczej { wewnątrz wartości psuje stos. Po drugie, usuń niepełne pary klucz-wartość przed domknięciem. Klucza "qty" bez wartości nie da się domknąć do {"qty"}; cała para musi zniknąć.

def close_truncated(s: str) -> str:
    # 1) Skan świadomy ciągów; najpierw domknij otwarty ciąg
    out, in_str, esc = [], False, False
    for ch in s:
        out.append(ch)
        if esc: esc = False; continue
        if ch == '\\' and in_str: esc = True; continue
        if ch == '"': in_str = not in_str
    text = ''.join(out) + ('"' if in_str else '')
    # 2) Usuń niepełne pary oraz wiszący dwukropek lub przecinek
    text = re.sub(r',\s*"[^"]*"\s*$', '', text)
    text = re.sub(r'[{,]\s*"[^"]*"\s*:\s*$', '}', text)
    text = re.sub(r':\s*$', '', text)
    text = re.sub(r',\s*$', '', text)
    # 3) Przeskanuj stos i domknij w LIFO
    stack, in_str, esc = [], False, False
    for ch in text:
        if esc: esc = False; continue
        if ch == '\\' and in_str: esc = True; continue
        if ch == '"': in_str = not in_str; continue
        if not in_str:
            if ch in '{[': stack.append(ch)
            elif ch in '}]' and stack: stack.pop()
    return text + ''.join('}' if c == '{' else ']' for c in reversed(stack))

Na wejściu z początku artykułu zwraca {"scores": {...}, "items": [{"name": "a", "qty": 2}, {"name": "b"}]} w Pythonie 3.11 z samą biblioteką standardową. Parsuje, a trzeci rekord ginie. Po stronie modeli lokalnych to samo robią dedykowane biblioteki jak partial-json-parser: domknij stosem, przytnij po kompletności.

Najważniejsze jest ujawnienie. Funkcja domknięcia musi meldować, na którym szczeblu powstał wynik; wszystko ze szczebla truncation jest wynikiem częściowym i trzeba to oznaczyć: dopytaj o brakujący zakres, powtórz z większym limitem albo powiedz użytkownikowi, że dane są niepełne. Udawanie, że nic się nie stało, to produkowanie halucynacji deterministycznym kodem.

Naprawić czy powtórzyć: tabela granic

Kształt wejścia Właściwe działanie Dlaczego
Ogrodzenia, przecinki końcowe, pojedyncze cudzysłowy Narzędzie naprawcze Intencja cała, brudna tylko składnia
Ucięcie w środku ciągu Ponowienie albo częściowy odzysk z ujawnieniem Brakuje samej wartości
Ucięcie w środku struktury Częściowy odzysk z ujawnieniem Ukończone pola przeżywają, niepełne pary znikają
Parsuje, ale wygląda źle Walidacja biznesowa To nie ucięcie, ale często idzie razem

Pewien zespół finansowy wycenił koszt. Długie faktury były ucinane, domknięcie nawiasów dawało poprawny JSON, brakujące pole total przyjmowało 0, a system z 98,2% zgodności formatu generował około 200 błędnych faktur miesięcznie. Po potraktowaniu ucięcia jako twardej degradacji i dodaniu sprawdzenia tożsamości (total == suma pozycji) odsetek błędów kwotowych spadł z 0,8% do 0,02%, a zgodność formatu wzrosła ledwie do 99,1%. Trzy miesiące optymalizacji „zgodności formatu" mierzyły niewłaściwy wskaźnik. Przejście parsera to nie to samo co przejście biznesu.

Lista czterech punktów: sprawdź powód zatrzymania przed parsowaniem; ustaw limit z p99, nie jako budżet; krytyczne pola schematu na przód; narzędziu naprawczemu zostaw tylko brud formatu pełnych odpowiedzi. Wszystkie cztery sprawiają, że ucięcie wraca z cichej korupcji danych do głośnej i powtarzalnej awarii.

Czy można po prostu domknąć nawiasy i użyć wyniku

Nie. Domknięcie gwarantuje tylko legalność składni, dane pozostają fragmentem: zdanie urywa się, końcowe rekordy zniknęły, zamiast prawdziwych wartości są domyślne. Oznacz wyjście jako częściowe, uruchom ponowienie lub degradację i zapisz odsetek odzysku.

Jak odróżnić ucięcie od prawdziwego błędu składni

Czytaj powód zatrzymania w metadanych: max_tokens, length lub incomplete to ucięcie; end_turn lub stop przy błędzie parsowania to prawdziwe uszkodzenie składni. Bez metadanych patrz na koniec: urwanie wewnątrz cudzysłowu lub nawiasu z niezamkniętą strukturą zewnętrzną to prawie zawsze ucięcie.

Dlaczego naprawione ucięcie jest groźniejsze niż głośna awaria

Narzędzie optymalizuje „niech się parsuje", a domknięte ucięcie się parsuje, więc monitoring milczy, a dalsza walidacja przechodzi dzięki wartościom domyślnym. Tak 83 ucięte raporty dały tylko 4 błędy. Narzędzie nie zna intencji i nie wie, czego brakuje, więc ucięcie trzeba przechwycić wyżej.

Czy podniesienie max_tokens kosztuje więcej

Nie. Rozliczenie idzie za faktycznie wygenerowanymi tokenami, limit to tylko bariera. 4096 przy 1100 wygenerowanych tokenach kosztuje dokładnie jak 1500. Ustaw według rzeczywistego p99 z zapasem i inwestuj w zapobieganie szalonej generacji.

Źródła

Pasujące narzędzia

Powiązane artykuły

Przewodnik naprawy JSON: jak uratować uszkodzone wyjście LLM bez utraty zaufania

Wyjście LLM owinięte w ogrodzenie markdown, z przecinkami końcowymi i literałami Python, surowy parser odrzuci w całości — podobnie jak konfiguracje ręcznie edytowane bez cudzysłowów. Ten przewodnik wyznacza realną granicę między dziewięcioma klasami błędów, które naprawiacz faktycznie poprawia, a czterema, których nie poprawi nigdy, wyjaśnia, dlaczego automat stanów bije regex, i dostarcza łańcuch parsowania gotowy na produkcję z jsonrepair i json-repair.

Średniozaawansowany~6 min czytaniaZaktualizowano 2026-11-08

Przewodnik po formacie TOON: odchudź JSON przed podaniem go do LLM

Gdy przekazujesz jednolitą tablicę do modelu językowego w formacie JSON, powtarzające się nazwy kluczy i nawiasy pożerają tokeny. TOON deklaruje strukturę tylko raz dzięki wciętym obiektom i tabelarycznym tablicom, a dane wylewa wiersz po wierszu. Oficjalne benchmarki pokazują około 40% mniej tokenów przy wyższej dokładności parsowania. Ten przewodnik obejmuje składnię, kiedy oszczędność działa, kiedy konwersja się nie opłaca i jak połączyć encode z decode.

Średniozaawansowany~6 min czytaniaZaktualizowano 2026-11-10

Testowanie kontraktowe JSON Schema: przyspawaj reguły walidacji do CI

Schemat nie kończy się napisaniem — tam zaczyna się degradacja. Jedna literówka po cichu rozluźnia walidację, jeden refaktoryzing łamie wszystkie fixture. Ten przewodnik rozbiera użyteczny układ testowania kontraktowego: fixture pozytywne, negatywne i snapshoty, lint samego schematu, jednokrotną kompilację z ponownym użyciem oraz cztery bramy CI, które zamieniają zerwanie kontraktu w czerwony build.

Średni~8 min czytaniaZaktualizowano 2026-11-05