LLM-এর JSON মাঝপথে কাটা পড়লে: আগে থামার কারণ দেখুন, তারপর মেরামতের কথা ভাবুন
সংক্ষেপে: মডেল কোনো মানের মাঝখানে JSON কেটে ফেলে, আর পার্সার শুধু একটা কলাম নম্বর দেয়। বন্ধনী বন্ধ করলে সেটা আবার পার্স হয়, কিন্তু তখন হারানো প্রতিটি ফিল্ড ডেটার ভেতরে লুকিয়ে যায়। এই লেখাটি স্পষ্ট করে দেয়, ট্রাঙ্কেশন মেরামত সৎভাবে কী ফিরিয়ে আনতে পারে আর কী আবার চাওয়া ছাড়া সম্ভব নয়।

কাটা পড়া কোনো সিনট্যাক্স ত্রুটি নয়, হারানো ডেটা। সিনট্যাক্স মেরামত করা যায়, কাটা পড়া শুধু আংশিক ফিরিয়ে আনা যায়। যেই মুহূর্তে টুলটা ফাঁকটা বুজিয়ে দেয়, বাকি ফাঁকটা পার্সিং ত্রুটি থাকা বন্ধ করে এমন এক জিনিস হয়ে যায় যার কথা কেউ জানে না।
কাটা পড়ার চেহারা: একটা কলাম নম্বর যথেষ্ট নয়
মডেল আপনার স্কিমা ধরে JSON লেখে, আউটপুটের সীমায় পৌঁছে যায়, আর লেখা থেমে যায়। এটা Python 3.11-এর json মডিউলে দিন:
{"scores": {"clarity": 8, "depth": 7}, "items": [{"name": "a", "qty": 2}, {"name": "b", "qty"
json.loads ছুঁড়ে দেয় Expecting ':' delimiter, col 94। কলামটা "qty" কী-টার দিকে আঙুল তোলে যার কোনো মান নেই, কিন্তু আসল কারণ হলো ডকুমেন্টটার কোনো শেষ নেই। লোভী রেগেক্স দিয়ে "} জুড়ে দিলে কাজ হয় না; স্ট্রিং-সচেতন স্ট্যাক-ক্লোজিং (ষষ্ঠ অংশ) পার্স করে ফেলে, কিন্তু items-এ দুটো রেকর্ডই থাকে, আধা-লেখা তৃতীয়টা হারিয়ে যায়। কলাম নম্বর বলে টেক্সট কোথায় থেমেছে। কতটুকু হারিয়েছে, সেটা কখনোই বলে না।
এটাই সাধারণ JSON ত্রুটির সঙ্গে প্রথম আসল তফাত। বাড়তি কমার একটা পরিষ্কার শেষ অবস্থা আছে: মুছে ফেলুন, ডকুমেন্ট সম্পূর্ণ। কাটা পড়ার সেই অবস্থা নেই। মেরামত করলেও সেটা ভাঙা টুকরোই থাকে।
কাটা পড়া সিনট্যাক্স-ক্ষতি নয়: মেরামতের টুলের অন্ধ জায়গা
jsonrepair-জাতীয় টুল সিনট্যাক্স-নষ্ট JSON-কে বৈধ JSON-এ বদলায়: markdown ফেন্স সরায়, শেষের কমা, একক কোট। সেখানে উদ্দেশ্য পুরোটা থাকে, মেরামত মানে শুধু পরিষ্কার করা। কাটা পড়া ইনপুট ওই একই টুলের কাছে ভাঙা JSON-এর মতোই দেখায়, তাই সে খোলা স্ট্রিং, অ্যারে আর অবজেক্ট বন্ধ করে দেয় এবং পার্সযোগ্য কিছু ফেরত দেয়। Claude-এর ৮৩টি কাটা পড়া রিপোর্টের মধ্যে টুল "মেরামত" করেছে ৭৯টি, কঠিনভাবে ব্যর্থ মাত্র ৪টি। এরর মনিটরিং বাস্তবতার চেয়ে বিশ গুণ কম হার দেখল।
মেরামতের পরে আউটপুট কেমন দেখায়? ৬ নম্বর প্রশ্নের ফিডব্যাক আধা বাক্যে থেমে গেছে, ৭ থেকে ৯ নম্বর প্রশ্নের কোনো অস্তিত্ব নেই, next_steps অ্যারেটা উধাও। Pydantic তবু ভ্যালিডেশন পাস করে, কারণ next_steps-এর ডিফল্ট [] আর লিস্টের কোনো দৈর্ঘ্য-সীমা নেই। প্রতিটি স্তর নিজের কাজটা ঠিকই করছে। পণ্যটা একটা আত্মবিশ্বাসী কিন্তু ভুল রিপোর্ট বের করছে।
কাটা পড়ার পথে সিনট্যাক্স-মেরামত বসালে সেটা নীরবে পরিষ্কার করার কাজ থেকে বানানো গল্পের কাজে বদলে যায়। তাই আগে সীমানা: মেরামতের টুল শুধু সম্পূর্ণ উত্তরের ফরম্যাট-ময়লা সামলায়; কাটা পড়া উত্তর যেন তার কাছে পৌঁছেই না। ফরম্যাট-ময়লার জন্য দেখুন JSON মেরামতের গাইড।
প্রথম ধাপ সবসময় থামার কারণ
সব বড় API মেটাডেটায় জানিয়ে দেয় কেন জেনারেশন থেমেছে, বিনা পয়সায়। LLM ইন্টিগ্রেশনে এটাই সবচেয়ে উপেক্ষিত লাইন। Anthropic দেয় stop_reason, OpenAI চ্যাট API দেয় finish_reason: max_tokens মানে কাটা পড়েছে, end_turn বা stop মানে মডেল নিজে থেমেছে।
resp = client.messages.create(model=MODEL, max_tokens=4096, ...)
if resp.stop_reason != "end_turn":
raise TruncatedOutput(
f"stop_reason={resp.stop_reason}, "
f"output_tokens={resp.usage.output_tokens}"
)
data = json.loads(resp.content[0].text)
কাটা পড়া যখন স্পষ্ট এক্সেপশন হয়ে দাঁড়ায়, তখন রিট্রাই পথের একটা ট্রিগার থাকে আর মনিটরিংয়ের একটা সতর্কতার উৎস থাকে। ওই ৮৩টি রিপোর্ট পরে পাওয়া গিয়েছিল লগে stop_reason ফিল্ডে একটা কোয়েরি চালিয়ে — যেই লগ সবসময় জমা হচ্ছিল কিন্তু কেউ পড়ছিল না। Gemini length আর incomplete দিয়ে একই কথা বোঝায়; নতুন প্রোভাইডার যোগ করলে ম্যাপিং টেবিলটা দেখুন, আন্দাজ করবেন না।
max_tokens পাহারাদার, বাজেট নয়
সরাসরি কারণ সাধারণত পুরনো ভার্সনের জন্য বসানো একটা সীমা: ১৫০০ টোকেন, যা লম্বা সেশন ঢুকলেই দীর্ঘ রিপোর্টের ৩৯% কেটে দিত। সীমাটা বাড়ানো ফ্রি। বিল হয় সত্যি জেনারেট হওয়া টোকেনে, তাই ১১০০ টোকেনের রিপোর্টে ৪০৯৬-এর সীমা ১৫০০-এর মতোই খরচ করে। সীমাটা কাজ করে বেপরোয়া আউটপুট থামাতে, টাকা বাঁচাতে নয়।
ডেটা থেকে ঠিক করুন: এক সপ্তাহ আসল বণ্টন দেখুন, p99 নিন, আর একটু ফাঁকা জায়গা রাখুন। ওই ঘটনার টিম ৪০৯৬ বেছেছিল কারণ মেরামতের পরে p99 ছিল ২৩৫০। আরেকটা দিক হলো আউটপুটটাকেই ছোট করা। সমজাতীয় অ্যারেতে বারবার কী অনেক টোকেন খায়; কলের আগে টেবুলার এনকোডিং (দেখুন TOON ফরম্যাটের গাইড) সীমার নিচে আনার আয়তন কমিয়ে দেয়।
স্কিমার ফিল্ড-ক্রম ঠিক করে দেয় কী কাটা পড়বে
মডেল JSON লেখে উপর থেকে নিচে। বাজেট ফুরালে প্রপার্টি-তালিকার শেষেরটা আগে হারায়। summary, per_question_feedback, scores, next_steps সাজানো স্কিমা আগে scores হারায়, ঠিক যেটা ব্যবহারকারীরা স্ক্রিনশট নিয়ে প্রতি সপ্তাহে তুলনা করে। সমাধান হলো পুনর্বিন্যাস: ছোট, জরুরি ফিল্ড সামনে, লম্বা আবার-generate-যোগ্য বিবরণ পরে, ফ্রি-টেক্সট সবার শেষে।
প্রোভাইডারের আচরণও একই কাটা পড়ার পরিণতি বদলে দেয়:
| প্রোভাইডার | স্ট্রাকচার্ড আউটপুটের ব্যবস্থা | কাটা পড়লে আচরণ |
|---|---|---|
| OpenAI | response_format সহ strict: true |
স্যাম্পলিং-স্তরে নিশ্চয়তা, কিন্তু সবচেয়ে সংকীর্ণ ডায়ালেক্ট; প্রায়ই জেনারেট করতে অস্বীকার করে |
| Anthropic | tool use-এ input_schema |
ডিকোডিংকালে কোনো নিশ্চয়তা নেই; অসম্পূর্ণ বন্ধনী ফেরত দিতে পারে |
| Gemini | MIME JSON সহ responseSchema |
ডিকোডার শুধু enum আর টাইপ চাপিয়ে দেয়; কাটা পড়া তবু সম্ভব |
"স্ট্রাকচার্ড আউটপুট চালু, ভ্যালিডেশনের দরকার নেই" একটা ভ্রম। প্রোভাইডারের নিশ্চয়তা যত আলগা, আপনার নিজের স্কিমা-ভ্যালিডেশন আর রিট্রাই লুপ তত বেশি দরকার। সেই কনট্র্যাক্ট টেস্ট কীভাবে বানাবেন, আছে JSON Schema কনট্র্যাক্ট টেস্টিং-এ।
কখন আংশিক উদ্ধার সত্যিই দরকার: স্ট্রিং-সচেতন স্ট্যাক ক্লোজিং
কিছু ক্ষেত্রে ভাঙা টুকরো থেকেও কিছু বের করা ছাড়া উপায় থাকে: স্ট্রিমিং প্রিভিউ, degraded রেসপন্স, মানুষের রিভিউ কিউ। সেখানে ক্লোজিং হলো মেরামতের মইয়ের শেষ ধাপ, আর তার দুটো শর্ত। প্রথমত, বন্ধনী-স্ক্যান স্ট্রিং-সচেতন হতে হবে: অক্ষর ধরে ধরে কোট আর escape-এর অবস্থা ট্র্যাক করুন, নইলে মানের ভেতরের { স্ট্যাক নষ্ট করে দেয়। দ্বিতীয়ত, বন্ধ করার আগে অসম্পূর্ণ কী-মান জোড়া ফেলে দিন। মানহীন "qty" কী-কে {"qty"} করে বন্ধ করা যায় না; পুরো জোড়াটা বাদ দিতে হবে।
def close_truncated(s: str) -> str:
# ১) স্ট্রিং-সচেতন স্ক্যান; খোলা স্ট্রিং আগে বন্ধ করুন
out, in_str, esc = [], False, False
for ch in s:
out.append(ch)
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str
text = ''.join(out) + ('"' if in_str else '')
# ২) অসম্পূর্ণ জোড়া আর ঝুলে থাকা কোলন/কমা বাদ দিন
text = re.sub(r',\s*"[^"]*"\s*$', '', text)
text = re.sub(r'[{,]\s*"[^"]*"\s*:\s*$', '}', text)
text = re.sub(r':\s*$', '', text)
text = re.sub(r',\s*$', '', text)
# ৩) আবার স্ট্যাক স্ক্যান করে LIFO অনুযায়ী বন্ধ করুন
stack, in_str, esc = [], False, False
for ch in text:
if esc: esc = False; continue
if ch == '\\' and in_str: esc = True; continue
if ch == '"': in_str = not in_str; continue
if not in_str:
if ch in '{[': stack.append(ch)
elif ch in '}]' and stack: stack.pop()
return text + ''.join('}' if c == '{' else ']' for c in reversed(stack))
লেখার শুরুতে দেওয়া ইনপুটে Python 3.11 আর শুধু স্ট্যান্ডার্ড লাইব্রেরি দিয়ে কোডটা ফেরত দেয় {"scores": {...}, "items": [{"name": "a", "qty": 2}, {"name": "b"}]}। এটা পার্স হয়, আর তৃতীয় রেকর্ডটা হারিয়ে যায়। লোকাল মডেলের দিকে partial-json-parser-জাতীয় বিশেষ লাইব্রেরি একই কাজ করে: স্ট্যাক দিয়ে বন্ধ করে, সম্পূর্ণতার ভিত্তিতে কেটে দেয়।
আসল কথা হলো প্রকাশ। ক্লোজিং ফাংশনকে জানাতে হবে ফলটা কোন ধাপ থেকে এসেছে; truncation ধাপ থেকে যা বেরোয় তা-ই আংশিক ফল, আর তা লেবেল করতে হবে: হারানো অংশটা আবার চান, বড় সীমা দিয়ে আবার চেষ্টা করুন, বা ব্যবহারকারীকে বলুন ডেটা অসম্পূর্ণ। কিছু হয়নি ভান করা মানে ডিটারমিনিস্টিক কোড দিয়ে একটা হ্যালুসিনেশন বানানো।
মেরামত না রিট্রাই: সীমানার টেবিল
| ইনপুটের চেহারা | সঠিক পদক্ষেপ | কারণ |
|---|---|---|
| ফেন্স, শেষের কমা, একক কোট | মেরামতের টুল | উদ্দেশ্য পুরো, শুধু সিনট্যাক্স নোংরা |
| স্ট্রিংয়ের মাঝে কাটা | রিট্রাই বা প্রকাশসহ আংশিক উদ্ধার | মানটাই হারিয়ে গেছে |
| কাঠামোর মাঝে কাটা | প্রকাশসহ আংশিক উদ্ধার | সম্পূর্ণ ফিল্ড থাকে, আধা জোড়া বাদ দিতে হয় |
| পার্স হয় কিন্তু ভুল লাগছে | ব্যবসায়িক ভ্যালিডেশন | এটা কাটা পড়া নয়, তবে প্রায়ই একসঙ্গে আসে |
একটা ফাইন্যান্স টিম খরচটা মেপেছিল। লম্বা ইনভয়েস কাটা পড়ে, বন্ধনী বন্ধ করে বৈধ JSON পাওয়া গেল, হারানো total ফিল্ড ডিফল্ট 0 নিয়ে নিল, আর ৯৮.২% ফরম্যাট-কমপ্লায়েন্সের একটা সিস্টেম মাসে প্রায় ২০০টা ভুল ইনভয়েস বের করল। কাটা পড়াকে হার্ড degradation ধরে আর পরিচয়-চেক (total == লাইনের যোগফল) যোগ করার পরে টাকার ভুল ০.৮% থেকে ০.০২%-এ নামল, অথচ ফরম্যাট-কমপ্লায়েন্স উঠল মাত্র ৯৯.১%-এ। তিন মাস "ফরম্যাট-কমপ্লায়েন্স" অপ্টিমাইজ করে ভুল মেট্রিক ধরা হয়েছিল। পার্সার পাস মানে ব্যবসা পাস নয়।
চারটি কাজের তালিকা: পার্স করার আগে থামার কারণ দেখুন; সীমা p99 দিয়ে ঠিক করুন, বাজেট হিসেবে নয়; স্কিমার জরুরি ফিল্ড সামনে রাখুন; মেরামতের টুলকে শুধু সম্পূর্ণ উত্তরের ফরম্যাট-ময়লা দিন। এই চারটা থাকলে কাটা পড়া নীরব ডেটা-ক্ষতি থেকে আবার চিৎকার করা, রিট্রাই-যোগ্য ব্যর্থতায় ফিরে যায়।
শুধু বন্ধনী বন্ধ করে ফলটা ব্যবহার করতে পারি না?
না। বন্ধ করা শুধু সিনট্যাক্সের বৈধতা নিশ্চিত করে; ডেটা তবু ভাঙা টুকরো যেখানে আধা বাক্য, হারানো শেষ রেকর্ড, আর ডিফল্ট মান আসল মানের জায়গা নিয়েছে। আংশিক বলে চিহ্নিত করুন, রিট্রাই বা degradation চালু করুন, আর উদ্ধারের হার লগ করুন।
কাটা পড়া আর আসল সিনট্যাক্স ত্রুটি কীভাবে আলাদা করব?
মেটাডেটার থামার কারণ পড়ুন: max_tokens, length বা incomplete মানে কাটা পড়া; end_turn বা stop সহ পার্সিং ব্যর্থতা মানে আসল সিনট্যাক্স ক্ষতি। মেটাডেটা না থাকলে শেষটা দেখুন: কোট বা বন্ধনীর ভেতরে থেমে যাওয়া আর বাইরের কাঠামো এখনো না-বন্ধ হওয়া প্রায় সবসময়ই কাটা পড়া।
মেরামত করা কাটা পড়া কেন চিৎকার করা ব্যর্থতার চেয়ে বিপজ্জনক?
মেরামতের টুল "পার্সযোগ্যতা" অপ্টিমাইজ করে, আর বন্ধ করা কাটা পড়া সত্যিই পার্সযোগ্য, তাই মনিটরিং চুপ করে যায় আর ডিফল্ট মানের কারণে ডাউনস্ট্রিম ভ্যালিডেশন পাস করে। তাই ৮৩টি কাটা পড়া রিপোর্ট মাত্র ৪টি এরর তৈরি করেছিল। টুলের উদ্দেশ্যের কোনো ধারণা নেই আর কী হারিয়েছে তা জানে না, তাই কাটা পড়া উজানে আটকাতে হবে।
max_tokens বাড়ালে কি খরচ বাড়ে?
না। বিল হয় সত্যি জেনারেট হওয়া টোকেনে; সীমা শুধু পাহারাদার। ১১০০ জেনারেট হওয়া টোকেনে সীমা ৪০৯৬ না ১৫০০ — খরচ একই। আসল p99 অনুযায়ী ফাঁকা জায়গা রেখে ঠিক করুন, আর বেপরোয়া আউটপুট ঠেকাতে শ্রম দিন।