JSON ממודל שפה שנחתך באמצע: קודם סיבת העצירה, אחר כך תיקון
שורה תחתונה: המודל מחזיר JSON שקטוע באמצע ערך, והמנתח נותן רק מספר עמודה. סגירת סוגריים הופכת אותו שוב לניתן לניתוח, אבל כל שדה שנעלם מוסתר עכשיו בתוך הנתונים. המאמר משרטט את הגבול בין מה שתיקון חיתוך יכול להחזיר ביושר לבין מה שחייבים לבקש מחדש.

חיתוך אינו שגיאת תחביר אלא נתונים חסרים. תחביר אפשר לתקן, חיתוך אפשר לשחזר רק חלקית. ברגע שהכלי סוגר את הפער, הפער שנשאר מפסיק להיות שגיאת ניתוח והופך למשהו שאיש אינו יודע על קיומו.
איך נראה חיתוך: מספר עמודה אחד לא מספיק
המודל כותב JSON לפי הסכימה שלכם, פוגע בתקרת הפלט, והטקסט נעצר. תנו את זה למודול json של Python 3.11:
{"scores": {"clarity": 8, "depth": 7}, "items": [{"name": "a", "qty": 2}, {"name": "b", "qty"
json.loads זורק Expecting ':' delimiter, col 94. העמודה מצביעה על המפתח "qty" שאין לו ערך, אבל הסיבה האמיתית היא שלמסמך אין סוף. ביטוי רגולרי חמדן שמוסיף "} נכשל; סגירה במחסנית מודעת-מחרוזות (חלק שישי) מצליחה להינתח, אבל items נשאר עם שני רשומות והרשומה השלישית שנכתבה למחצה נעלמת. מספר העמודה אומר היכן הטקסט נעצר. הוא לא אומר אף פעם כמה נעלם.
זהו ההבדל האמיתי הראשון משגיאת JSON רגילה. פסיק עודף יש לו מצב סופי ברור: הסירו אותו והמסמך שלם. לחיתוך אין מצב כזה. גם אחרי תיקון הוא נשאר רסיס.
חיתוך אינו נזק תחבירי: הנקודה העיוורת של כלי התיקון
כלים כמו jsonrepair ממירים JSON פגום תחבירית ל-JSON תקני: הסרת גדרות markdown, פסיקים אחרונים, המרת גרש בודד. שם הכוונה שלמה והתיקון הוא רק ניקוי. קלט חתוך נראה לאותו כלי כמו JSON פגום, ולכן הוא סוגר מחרוזת, מערך ואובייקט פתוחים ומחזיר משהו שניתן לנתח. מתוך 83 דוחות חיתוך של Claude, הכלי "תיקן" 79 ונכשל קשות רק ב-4. ניטור השגיאות ראה שיעור נמוך פי עשרים מהמציאות.
איך נראה הפלט אחרי תיקון? המשוב לשאלה 6 נעצר באמצע משפט, שאלות 7 עד 9 לא קיימות, ומערך next_steps נעלם. Pydantic בכל זאת עובר ולידציה, כי ל-next_steps יש ברירת מחדל [] ולמערך אין הגבלת אורך. כל שכבה עושה את עבודתה נכון. המוצר מפיק דוח בטוח בעצמו אבל שגוי.
שימו תיקון תחבירי על מסלול החיתוך והוא הופך בשקט מניקוי להמצאה. לכן קודם הגבול: כלי תיקון מטפל רק בלכלוך תבנית בתשובה שלמה; תשובה חתוכה לא אמורה להגיע אליו בכלל. ללכלוך תבנית ראו מדריך תיקון JSON.
הצעד הראשון הוא תמיד סיבת העצירה
כל API מרכזי מודיע במטא-דאטה למה הייצור נעצר, בחינם. זוהי גם שורת הקוד המוזנחת ביותר באינטגרציית LLM. Anthropic חושף stop_reason, ו-API הצ'אט של OpenAI חושף finish_reason: max_tokens פירושו נחתך, end_turn או stop פירושו שהמודל סיים בעצמו.
resp = client.messages.create(model=MODEL, max_tokens=4096, ...)
if resp.stop_reason != "end_turn":
raise TruncatedOutput(
f"stop_reason={resp.stop_reason}, "
f"output_tokens={resp.usage.output_tokens}"
)
data = json.loads(resp.content[0].text)
כשחיתוך הופך לחריגה מפורשת, למסלול הניסיון החוזר יש טריגר ולניטור יש מקור התראה. אותם 83 דוחות נמצאו בדיעבד בשאילתה אחת על השדה stop_reason בלוגים שנשמרו תמיד ומעולם לא נקראו. Gemini מדווח length ו-incomplete באותו מובן; כשמוסיפים ספק חדש, בדקו את טבלת המיפוי ואל תנחשו.
max_tokens הוא גדר בטיחות, לא תקציב
הסיבה הישירה היא בדרך כלל תקרה שהוגדרה לגרסת מוצר ישנה: 1500 טוקנים שחתכו 39% מהדוחות הארוכים ברגע שנכנסו מפגשים ארוכים. העלאת התקרה בחינם. החיוב לפי טוקנים שנוצרו בפועל, כך שתקרה של 4096 על דוח של 1100 טוקנים עולה כמו 1500. התקרה נועדה לעצור פלט פרוע, לא לחסוך כסף.
קבעו מהנתונים: הסתכלו על ההתפלגות האמיתית של שבוע, קחו את p99 והשאירו מרווח. הצוות באותו תקרית בחר 4096 כי ה-p99 אחרי התיקון היה 2350. כיוון אחר הוא להקטין את הפלט עצמו. מפתחות חוזרים במערכים הומוגניים אוכלים חלק ניכר מהטוקנים; קידוד טבלאי לפני הקריאה (ראו מדריך פורמט TOON) מקטין את הנפח שחייב להיכנס מתחת לתקרה.
סדר השדות בסכימה קובע מה ייחתך
המודל כותב JSON מלמעלה למטה. כשהתקציב נגמר, האיבר האחרון ברשימת המאפיינים נעלם ראשון. סכימה מסודרת summary, per_question_feedback, scores, next_steps מאבדת קודם את scores, בדיוק החלק שאנשים מצלמים ומשווים כל שבוע. התיקון הוא סידור מחדש: שדות קצרים קריטיים בחזית, פירוט ארוך שניתן לייצר מחדש אחר כך, וטקסט חופשי בסוף.
התנהגות הספק משנה גם היא את התוצאה של אותו חיתוך:
| ספק | מנגנון פלט מובנה | התנהגות בעת חיתוך |
|---|---|---|
| OpenAI | response_format עם strict: true |
הבטחה ברמת הדגימה, אבל הדיאלקט הצר ביותר; לעתים קרובות מסרב לייצר |
| Anthropic | input_schema בתוך tool use |
אין הבטחה בזמן פענוח; עלול להחזיר סוגריים לא סגורים |
| Gemini | responseSchema עם MIME של JSON |
המפענח כופה רק enums וטיפוסים; חיתוך עדיין אפשרי |
"פלט מובנה מופעל, אין צורך בולידציה" הוא אשליה. ככל שההבטחה של הספק רופפת יותר, כך אתם צריכים יותר ולידציית סכימה משלכם ולולאת ניסיון חוזר. איך בונים את בדיקת החוזה הזו נמצא בבדיקת חוזה JSON Schema.
מתי שחזור חלקי באמת נחוץ: סגירה במחסנית מודעת-מחרוזות
יש מקרים שמכריחים לסחוט משהו מהרסיס: תצוגה מקדימה בזרימה, תגובה מדורדרת, תור לבדיקה אנושית. שם הסגירה היא המדרגה האחרונה בסולם התיקון והיא דורשת שני תנאים. ראשית, סריקת הסוגריים חייבת להיות מודעת-מחרוזות: עקבו אחרי מצב הגרש והבריחה תו אחר תו, אחרת { בתוך ערך הורס את המחסנית. שנית, הסירו זוגות מפתח-ערך לא שלמים לפני הסגירה. מפתח "qty" בלי ערך לא ניתן לסגור כ-{"qty"}; יש להשליך את הזוג כולו.
def close_truncated(s: str) -> str:
# 1) סריקה מודעת-מחרוזות; סגרו קודם מחרוזת פתוחה
out, in_str, esc = [], False, False
for ch in s:
out.append(ch)
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str
text = ''.join(out) + ('"' if in_str else '')
# 2) השליכו זוגות חלקיים ונקודתיים או פסיק תלויים
text = re.sub(r',\s*"[^"]*"\s*$', '', text)
text = re.sub(r'[{,]\s*"[^"]*"\s*:\s*$', '}', text)
text = re.sub(r':\s*$', '', text)
text = re.sub(r',\s*$', '', text)
# 3) סרקו שוב את המחסנית וסגרו לפי LIFO
stack, in_str, esc = [], False, False
for ch in text:
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str; continue
if not in_str:
if ch in '{[': stack.append(ch)
elif ch in '}]' and stack: stack.pop()
return text + ''.join('}' if c == '{' else ']' for c in reversed(stack))
על הקלט מתחילת המאמר הקוד מחזיר {"scores": {...}, "items": [{"name": "a", "qty": 2}, {"name": "b"}]} עם Python 3.11 וספריית התקן בלבד. הוא ניתן לניתוח, והרשומה השלישית נעלמה. בצד מודלים מקומיים, ספריות ייעודיות כמו partial-json-parser עושות את אותו דבר: סוגרות במחסנית, חותכות לפי שלמות.
החשוב הוא הגילוי. פונקציית הסגירה חייבת לדווח מאיזו מדרגה הגיע התוצאה; כל מה שיוצא ממדרגת truncation הוא תוצאה חלקית וחייב סימון: בקשו שוב את החלק החסר, נסו שוב עם תקרה גדולה יותר, או אמרו למשתמש שהנתונים חסרים. העמדת פנים ששום דבר לא קרה היא יצירת הזיה בקוד דטרמיניסטי.
לתקן או לנסות שוב: טבלת הגבול
| צורת קלט | הפעולה הנכונה | הסיבה |
|---|---|---|
| גדרות, פסיקים אחרונים, גרש בודד | כלי תיקון | הכוונה שלמה, רק התחביר מלוכלך |
| חתוך באמצע מחרוזת | ניסיון חוזר או שחזור חלקי עם גילוי | הערך עצמו נעלם |
| חתוך באמצע מבנה | שחזור חלקי עם גילוי | שדות שהושלמו נשארים, זוגות חלקיים מושלכים |
| ניתן לניתוח אבל נראה שגוי | ולידציה עסקית | לא חיתוך, אבל לעתים קרובות בא יחד איתו |
צוות פיננסי אחד מדד את המחיר. חשבונית ארוכה נחתכה, סגירת הסוגריים יצרה JSON תקני, השדה total שנעלם קיבל ברירת מחדל 0, ומערכת עם 98.2% עמידה בתבנית הנפיקה כ-200 חשבוניות שגויות בחודש. אחרי שהחיתוך הוגדר כדגרדציה קשיחה ונוספה בדיקת זהות (total == סכום השורות), שיעור שגיאות הכסף ירד מ-0.8% ל-0.02%, בעוד העמידה בתבנית עלתה רק ל-99.1%. שלושה חודשים של אופטימיזציה של "עמידה בתבנית" כיוונו למדד הלא נכון. מעבר במנתח אינו מעבר בעסק.
רשימה של ארבעה: בדקו את סיבת העצירה לפני הניתוח; קבעו תקרה לפי p99 ולא כתקציב; שימו שדות סכימה קריטיים בחזית; תנו לכלי התיקון רק לכלוך תבנית של תשובות שלמות. עם ארבעת אלה החיתוך חוזר מנזק נתונים שקט לכשל רועש שאפשר לנסות שוב.
אפשר פשוט לסגור סוגריים ולהשתמש בתוצאה
לא. סגירה מבטיחה רק תקפות תחבירית; הנתונים עדיין רסיס עם משפט חצי, רשומה אחרונה חסרה וערכי ברירת מחדל במקום הערכים האמיתיים. סמנו כחלקי, הפעילו ניסיון חוזר או דגרדציה, ותעדו את שיעור השחזור.
איך מבדילים חיתוך מנזק תחבירי אמיתי
קראו את סיבת העצירה במטא-דאטה: max_tokens, length או incomplete פירושם חיתוך; end_turn או stop עם כשל ניתוח פירושו נזק תחבירי אמיתי. בלי מטא-דאטה, הסתכלו על הסוף: עצירה בתוך גרש או סוגר כשהמבנה החיצוני עדיין לא נסגר היא כמעט תמיד חיתוך.
למה חיתוך מתוקן מסוכן יותר מכשל רועש
כלי התיקון מייעל "יכולת ניתוח", וחיתוך סגור אכן ניתן לניתוח, ולכן הניטור שותק והוולידציה במורד הזרם עוברת בגלל ערכי ברירת מחדל. זאת הסיבה ש-83 דוחות חתוכים יצרו רק 4 שגיאות. לכלי אין מושג של כוונה והוא לא יודע מה נעלם, ולכן חייבים ליירט חיתוך במעלה הזרם.
האם העלאת max_tokens מייקרת
לא. החיוב לפי טוקנים שנוצרו בפועל; התקרה היא רק גדר. 4096 על 1100 טוקנים שנוצרו עולה כמו 1500. קבעו לפי p99 אמיתי עם מרווח, והשקיעו מאמץ במניעת פלט פרוע.