JSON মেরামত গাইড: ভাঙা LLM আউটপুট উদ্ধার ও বিশ্বাসের সীমানা
সংক্ষেপে: markdown ফেন্সে মোড়ানো, trailing comma ও Python লিটারালযুক্ত LLM আউটপুট কঠোর পার্সার পুরোপুরি বাতিল করে — উদ্ধৃতি ছাড়া হাতে সম্পাদিত কনফিগও তাই। এই গাইডে মেরামতকারী যে নয় শ্রেণির ত্রুটি ঠিক করে আর যে চার শ্রেণি কখনো ঠিক করে না, তার প্রকৃত সীমানা টানা হয়েছে, স্টেট মেশিন কেন regex-কে হারায় তা ব্যাখ্যা করা হয়েছে এবং jsonrepair ও json-repair দিয়ে প্রোডাকশন-রেডি পার্স চেইন দেওয়া হয়েছে।

কঠোর পার্সার ভাঙা ইনপুটকে কোনো ছাড় দেয় না: একটি ত্রুটি বার্তা, একটি লাইন নম্বর — আর তোমার ডেটার একটি বাইটও ফেরত দেয় না। মেরামতকারীর অস্তিত্বের কারণ হলো "সম্পূর্ণ ব্যর্থতা"-কে "চালানোর মতো যথেষ্ট ভালো"-তে রূপান্তর করা — তবে এটি যা পূরণ করে তা সবসময় উদ্দেশ্য সম্পর্কে সেরা অনুমান মাত্র, সঠিকতার নিশ্চয়তা নয়।
এক: ভাঙা JSON কোথা থেকে আসে
মেরামত জাদু নয় — তাই প্রথমে ইনপুট দেখো। বাস্তব প্রজেক্টে নন-স্ট্যান্ডার্ড JSON তিনটি কেন্দ্রীভূত উৎস থেকে আসে:
- LLM আউটপুট। ভাষা মডেল টোকেন ধরে ধরে টেক্সট তৈরি করে; এরা কোনো JSON সিরিয়ালাইজার চালায় না। "শুধু JSON" চাইলেও মডেল উত্তরকে
```jsonফেন্সে মুড়িয়ে দেয়, সামনে "এই যে তোমার ডেটা" যোগ করে, trailing comma রেখে দেয়, বা টোকেন সীমায় পৌঁছে অবজেক্টের মাঝখানে থেমে যায়। - অন্য ভাষা থেকে কপি।
console.logদিয়ে ছাপানো JavaScript অবজেক্টে সিঙ্গেল কোট ও উদ্ধৃতিহীন কী থাকে; Python ডিকশনারি ছাপায়True/False/None। এই "JSON-এর মতো দেখতে" স্ট্রিংগুলোJSON.parse-এর প্রথম সংস্পর্শেই বিস্ফোরিত হয়। - JSON5/JSONC কনফিগ। tsconfig-এর মতো ফাইল বৈধভাবেই কমেন্ট ও trailing comma অনুমোদন করে। এমন ফাইল কঠোর পার্সারে পেস্ট করলে সে পুরো ফাইল বাতিল করে।
তিনটি উৎসের সমাধান আলাদা, কিন্তু মেরামতকারী সবগুলো কভার করে — যতক্ষণ ত্রুটিটা তার ঘোষিত সংশোধনযোগ্য তালিকায় থাকে।
দুই: মেরামতকারী যে নয় শ্রেণির ত্রুটি সত্যিই ঠিক করে
jsonrepair লাইব্রেরির ডকুমেন্টেশন ও বিভিন্ন টুল প্রোভাইডারের প্রকাশিত সক্ষমতা তালিকা মিলিয়ে দেখলে, স্বয়ংক্রিয়ভাবে সংশোধনযোগ্য ত্রুটি নয়টি শ্রেণিতে ভাগ করা যায়:
| শ্রেণি | ভাঙা ইনপুট | মেরামতের ফল |
|---|---|---|
| Trailing comma | [1, 2, 3,] |
[1, 2, 3] |
| সিঙ্গেল / বাঁকা কোট | {'a': 'b'}、{"a": "b"} |
{"a": "b"} |
| উদ্ধৃতিহীন কী | {name: 'Ada'} |
{"name": "Ada"} |
| কমেন্ট | {"a": 1 /* নোট */} |
{"a": 1} |
| Python লিটারাল | {"ok": True, "v": None} |
{"ok": true, "v": null} |
| markdown ফেন্স | ```json {...} ``` |
{...} |
| অনুপস্থিত কমা | [1 2] |
[1, 2] |
| অবনত ব্র্যাকেট / কোট | {"a": [1, 2 |
{"a": [1, 2]} |
| JSONP / স্ট্রিং জোড়া | cb({...})、"x" + "y" |
{...}、"xy" |
এই নয়টির সাধারণ বৈশিষ্ট্য: ডেটা সবই আছে; ভাঙা শুধু সিনট্যাক্স। মেরামতকারী যতন্ত্র ও মোড়ক ঠিক করে, একটি মানেও হাত দেয় না। কিছু বিস্তারিত আলাদা করে মনে রাখার মতো:
- শুরুতে শূন্যযুক্ত সংখ্যা স্ট্রিং হয়ে যায়।
007মেরামত হয়"007"-এ,7-এ নয়, যাতে অঙ্ক না হারায়। ফিল্ডটা যদি সত্যিই টেক্সচুয়াল কোড হয়, এটা সঠিক; সত্যিকারের সংখ্যা হলে সিদ্ধান্ত তোমার। - খোলা শব্দ স্ট্রিং হয়ে যায়।
NaNসংখ্যায় মেরামত করা যায় না — কিছু বাস্তবায়ন"NaN"দেয়, কিছুnull। লাইব্রেরিভেদে আচরণ আলাদা; পাইপলাইনে ঢোকানোর আগে নিজেরটা পরীক্ষা করো। - বৈধ ইনপুট অক্ষতভাবে পার হয়। প্রতিটি সিরিয়াস মেরামতকারী প্রথমে কঠোর পার্সের ফাস্ট-পাথ চালায়। বৈধ JSON কখনো মেরামতের লজিকে ঢোকে না, তাই "ভালো ডকুমেন্ট মেরামত করে খারাপ করা" অসম্ভব।
তিন: মেরামতকারী যে চারটি জিনিস ঠিক করতে পারে না
অন্য পাশের সীমানাও সমান স্পষ্ট। এগুলোর মেরামত প্রত্যাশা করো না:
- HTML ত্রুটি পেজ বা খাঁটি গদ্য। ইনপুটে কোনো JSON কাঠামো নেই, আর কোনো টুলই শূন্য থেকে ডেটা তৈরি করতে পারে না।
- সিনট্যাক্স বৈধ কিন্তু ভুল ডেটা। বানান-ভুল কী, ভুল জায়গার মান, স্ট্রিং হিসেবে সংরক্ষিত সংখ্যা — এগুলো অর্থবোধক সমস্যা, যা মেরামতকারীসহ যে-কোনো পার্সার নিঃশব্দে পার করে দেয়।
- কাটা-ছেঁড়ায় হারানো ডেটা। সম্পূরণ
{"items": [{"id": 1}, {"na-কে বৈধ JSON-এ বদলাতে পারে, কিন্তুnameফিল্ডের মান কখনো ফেরে না। তুমি পাও "বৈধ কিন্তু অসম্পূর্ণ" অবজেক্ট। প্রোডাকশনে সম্পূরণ করবে না পুনরায় চেষ্টা করবে তা ঠিক করার আগেstopReason === "max_tokens"যাচাই করো। - ডুপ্লিকেট কী ও অস্পষ্ট কাঠামো। দুটি একই কীর মধ্যে কোনটা জেতে তা পার্সারের বাস্তবায়নের ওপর নির্ভর করে। দায়িত্বশীল মেরামতকারী strict মোড দেয়, যা নিঃশব্দে একটা বেছে নেওয়ার বদলে ত্রুটি ছোঁড়ে।
বিশ্বাসের সীমানা এক বাক্যে: মেরামত হলো সেরা অনুমান, সঠিকতার নিশ্চয়তা নয়। যাচাই ছাড়া মেরামতের ফল ডাউনস্ট্রিমে পাঠানো মানে জোরে শোনা সিনট্যাক্স ত্রুটিকে নিঃশব্দ ডেটা ত্রুটির বিনিময় করা।
চার: বাস্তবায়নের দুই ঘরানা — একটা URL-এই বিতর্ক মিটে যায়
বাজারের মেরামতকারী দুই ঘরানার, আর পার্থক্যটা নির্দিষ্ট ধরনের ইনপুটে সঙ্গে সঙ্গে দেখা যায়।
regex-প্রতিস্থাপন ঘরানা ভাঙা প্যাটার্নে বিশ্বব্যাপী খোঁজ-ও-বদল চালায়। এই ইনপুট দেখো:
{"url": "http://example.com", 'note': 'fine'}
সিঙ্গেল কোটকে ডাবল কোটে বদলানো regex URL-এর ভেতরের বিষয়টাও গিলে ফেলবে; প্রতিটি // মুছে ফেলার কমেন্ট-পরিষ্কার regex http://-কে দ্বিখণ্ডিত করবে। স্ট্রিং-এর ভেতরে আর কাঠামোর বাইরে অক্ষর একই রকম দেখায় — regex পারে না আলাদা করতে।
অক্ষর-প্রতি স্টেট মেশিন ঘরানা পার্সের অবস্থা ট্র্যাক করে: ডাবল-কোট স্ট্রিং-এর ভেতরে, সিঙ্গেল-কোট স্ট্রিং-এর ভেতরে, লাইন কমেন্টে, ব্লক কমেন্টে, নাকি মানের অপেক্ষায়। ' দেখে প্রথমে জিজ্ঞেস করে "আমি কি স্ট্রিং-এর ভেতরে আছি?", তারপর সিদ্ধান্ত নেয় কোট বদলাবে না পার করবে। http://example.com ডাবল-কোট স্ট্রিং-এর ভেতরে থাকে, তাই স্টেট মেশিন জানে ভেতরের // কমেন্ট নয়, ডেটা — এবং তা অক্ষত রাখে। jsonrepair ও json-healer এই ঘরানার, আর কমিউনিটির প্রবাদ "মেরামতকারী খোঁজ-ও-বদল নয়" ঠিক এটাই বোঝায়।
মেরামত পাইপলাইনের পূর্ণ ক্রম (devkits বাস্তবায়নে প্রকাশিত) দেখারও মতো: ফেন্স খোলা → বাঁকা কোট স্বাভাবিকীকরণ → প্রথম ভারসাম্যপূর্ণ ব্লক বের করা → কমেন্ট অপসারণ → খোলা কীতে কোট দেওয়া → trailing comma অপসারণ → লিটারাল রূপান্তর → শেষে JSON.stringify দিয়ে পুনরায় সিরিয়ালাইজ। এই শেষ পুনরায় সিরিয়ালাইজই মূল পদক্ষেপ: আগের ধাপগুলো যা-ই করুক, আউটপুট পার্স ফল থেকে নতুন করে তৈরি হয়, তাই যে-কোনো কঠোর ডাউনস্ট্রিম পার্সার তা গ্রহণ করে।
পাঁচ: কোডে যুক্ত করা — ক্রমবদ্ধ পার্স চেইন
কোডে মেরামত যুক্ত করলে লাইব্রেরি বাছাইয়ের চেয়ে ক্রম বেশি গুরুত্বপূর্ণ। json2toon ও aijsonmedic-এর প্রকাশিত প্যাটার্ন অনুসরণ করলে ক্রম হওয়া উচিত: কাটা-ছেঁড়া পরীক্ষা → JSON অংশ বের করা → কঠোর parse → মেরামত ফলব্যাক → স্কিমা যাচাই।
import { jsonrepair } from "jsonrepair";
export function parseModelJson(text, stopReason) {
if (stopReason === "max_tokens") {
// কাটা আউটপুট মেরামত করলেও ডেটা অসম্পূর্ণ থাকে — পুনরায় চেষ্টা করো
throw new Error("Truncated output: retry with a higher max_tokens");
}
// JSON অংশ বের করো: LLM সামনে-পেছনে কথা বাড়িয়ে দিতে পারে
const start = text.search(/[[{]/);
const end = Math.max(text.lastIndexOf("}"), text.lastIndexOf("]"));
const candidate = start >= 0 && end > start ? text.slice(start, end + 1) : text;
try {
return JSON.parse(candidate); // বৈধ ইনপুট ফাস্ট-পাথে
} catch {
return JSON.parse(jsonrepair(candidate)); // মেরামত ফলব্যাক
}
}
Python পাশে json-repair প্যাকেজ (৪,৭০০+ স্টার) loads() দেয়, যা সরাসরি অবজেক্ট ফেরত দেয়:
from json_repair import repair_json
import json
broken = "{name: 'Ada', tags: ['x',], active: True}"
data = json.loads(repair_json(broken))
# {'name': 'Ada', 'tags': ['x'], 'active': True}
আরও দুটি প্রকৌশল বিস্তারিত:
- স্ট্যাক সমতা। ফ্রন্টএন্ড ও ব্যাকএন্ড দুই দিকেই মেরামত হলে শেয়ার্ড সিমান্টিকসের বাস্তবায়ন বেছে নাও — Python json-repair ও তার TypeScript পোর্ট
@yarmu/json-repair, অথবা jsonmend, যার Python ও JS সংস্করণ একই ৪৮৫-কেস কনফরম্যান্স কর্পাস পাস করে। নইলে একই আউটপুট ক্লায়েন্টে A আর সার্ভারে B হয়ে যায়, ডিবাগিং দুঃস্বপ্ন হয়ে যায়। - মেরামত লগ চালু করো।
@yarmu/json-repairএরlogging: trueপ্রতিটি মেরামত অপারেশনের অ্যারে ফেরত দেয়। মেরামতের হার হঠাৎ বাড়লে সাধারণত প্রম্পট বা মডেল সংস্করণ বদলেছে — যে-কোনো ত্রুটি রিপোর্টের আগেই সংকেত।
মেরামতের পরে এক ধাপ অ-আলোচনাসাপেক্ষ: স্কিমা যাচাই। সিনট্যাক্স ঠিক মানে ডেটা ব্যবহারযোগ্য নয়। অনুপস্থিত ফিল্ড, ভুল টাইপ, অপ্রত্যাশিত কী — সব ধরে স্কিমা। কনট্র্যাক্ট টেস্টিং-এর পদ্ধতি এখানে সরাসরি খাটে; আমাদের JSON Schema কনট্র্যাক্ট টেস্টিং গাইড দেখো।
ছয়: প্রতিরোধের চেকলিস্ট — সবচেয়ে সস্তা মেরামত সেটাই যার প্রয়োজনই হয় না
মেরামত ফলব্যাক। উৎসে কম ভাঙা JSON তৈরি হওয়াই আসল জয়, অগ্রাধিকার অনুসারে:
- Structured Outputs (json_schema মোড)। ডিকোডিং স্কিমা দিয়ে সীমাবদ্ধ, তাই trailing comma তৈরিই হতে পারে না। OpenAI-র strict মোড প্রায় 0.1% ক্ষেত্রে ব্যর্থ হয় — বিনিময়ে
additionalProperties: false-এর মতো কঠোর শর্ত। - JSON মোড (json_object)। শুধু সিনট্যাক্স বৈধতা দেয় — আকৃতি নয় — এবং টোকেন সীমার কাটা-ছেঁড়াও ঘটেই।
- সুস্পষ্ট নির্দেশ। JSON মোডবিহীন এন্ডপয়েন্টে "ফেন্স নয়, কমেন্ট নয়, trailing comma নয়, শুধু অবজেক্ট" লেখা ত্রুটির হার ৭০–৮০% কমায়।
- temperature কমাও, টোকেন সীমা বাড়াও। প্রথমটা গদ্যে সরে যাওয়া কমায়; দ্বিতীয়টা কাটা-ছেঁড়া কমায়।
- ত্রুটি জুড়ে পুনরায় চেষ্টা। যাচাই ব্যর্থ হলে ভাঙা আউটপুট সহ "JSON path + ত্রুটি বার্তা" কথোপকথনে জুড়ে আবার চাও। নিখুঁত ত্রুটি পেলে মডেল সাধারণত নিজেই ঠিক হয়ে যায়।
বাস্তবে "structured outputs + মেরামত ফলব্যাক + স্কিমা যাচাই" তিন স্তর একসাথে ব্যবহার করলে প্রায় প্রতিটি দৃশ্যই কভার হয়ে যায়।
সাত: কাজের বণ্টন — ডায়ালেক্ট রূপান্তর মেরামত নয়
এই সাইটের টুলবক্সে এই পাইপলাইনের দুটি গন্তব্য আছে, প্রত্যেকটা আলাদা অংশ দেখে:
- ডায়ালেক্ট সমস্যা (কমেন্ট, সিঙ্গেল কোট, trailing comma) সরাসরি JSON5 কনভার্টারে যায়। JSON5 ↔ স্ট্যান্ডার্ড JSON রূপান্তর ঠিক এই তিন শ্রেণিই কভার করে, স্পষ্ট সিমান্টিকসে, অনুমান ছাড়া। পুরো ইনপুট একটা JSONC/JSON5 ফাইল হলে মেরামতের চেয়ে রূপান্তর বেশি পূর্বানুমেয়। ডায়ালেক্ট নিজেদের তুলনা দেখো JSON5 ও JSONC গাইডে।
- মেরামতের পরে ফলটা JSON পার্সার টুলে দাও — যাচাই ও ফরম্যাট করতে, ত্রুটি লাইন-কলামে নির্দিষ্ট করে, নিশ্চিত হতে কঠোর পার্সার সত্যিই আউটপুট গ্রহণ করে।
- লাইব্রেরি-শ্রেণির সমস্যা (Python লিটারাল, কাটা-ছেঁড়া সম্পূরণ, JSONP মোড়ক, markdown ফেন্স) এখনো কোড-পাশের jsonrepair / json-repair চায় — ব্রাউজারে সমতুল্য এক-ক্লিক মেরামত নেই, কারণ এই মেরামতগুলো উদ্দেশ্য অনুমান করে, আর লোকাল লাইব্রেরি সেজন্য সর্বজনীন কনভার্টারের চেয়ে নিরাপদ আবাস।
হাতে ভাঙা ডেটা নয়, ত্রুটি বার্তা থাকলে প্রথমে JSON পার্স ত্রুটি সংশোধন গাইডে গিয়ে বার্তাটা কোঅর্ডিনেটে অনুবাদ করো, তারপর সিদ্ধান্ত নাও: হাতে সম্পাদনা না মেরামত।
FAQ
JSON মেরামত কি আমার ডেটা নষ্ট করে?
সংশোধনযোগ্য নয় শ্রেণিতে বদলায় শুধু যতন্ত্র ও মোড়ক — মান অক্ষত থাকে, আর স্ট্রিং-এর ভেতরের //, কমা, ধনুক ব্র্যাকেট স্টেট মেশিন চিনে রাখে। কিন্তু কাটা-ছেঁড়া সম্পূরণ অসম্পূর্ণ অবজেক্ট দেয়, শূন্যযুক্ত সংখ্যা স্ট্রিং হয়, আর NaN-এর আচরণ লাইব্রেরিভেদে আলাদা। মেরামতের পরে মূল ফিল্ড পরীক্ষা আবশ্যক।
মেরামত ও যাচাইয়ের সম্পর্ক কী?
যাচাই বলে ইনপুট কোথায় অবৈধ; মেরামত হাতে দেয় একটি বৈধ ডকুমেন্ট। নির্ভরযোগ্য ওয়ার্কফ্লো দুটোই করে: আগে মেরামত, পরে যাচাই — স্কিমা ধরে টাইপ ও আবশ্যক ফিল্ড, সিনট্যাক্স পরীক্ষা নিশ্চিত করে কঠোর পার্সার ফল গ্রহণ করে। যাচাই ছাড়া মেরামত মানে জোরে শোনা সিনট্যাক্স ত্রুটিকে নিঃশব্দ ডেটা ত্রুটির বিনিময়।
LLM আউটপুট সবসময় ```json ফেন্সে মোড়া থাকে — কী করবো?
স্বল্পমেয়াদে বের করো: প্রথম { বা [ থেকে শেষ } বা ] পর্যন্ত অংশ নিয়ে parse করো; ফেন্স খোলায় সক্ষম মেরামতকারীও পুরো বার্তা গিলে ফেলে। দীর্ঘমেয়াদে structured outputs বা সুস্পষ্ট "markdown ফেন্স নয়" নির্দেশ ব্যবহার করো, যাতে ফেন্স তৈরিই না হয়।
jsonrepair না json-repair — কোনটা?
JavaScript-এর জন্য npm প্যাকেজ jsonrepair (স্ট্রিমিং transform সমর্থন করে); Python-এর জন্য PyPI-র json-repair। দুই প্রান্তেই মেরামত হলে সিমান্টিকসে সমতা-সহ জোড়া বেছে নাও — যেমন json-repair ও তার TS পোর্ট — যাতে একই ইনপুট দুই দিকে একইভাবে মেরামত হয়।
মেরামতকারী বাংলা ও বাঁকা কোট সামলাতে পারে?
পারে। বাংলা কিবোর্ডের টাইপোগ্রাফিক কোট (""), সম্পূর্ণ-প্রস্থ স্পেস আর ফাইলের শুরুর BOM সবই সাধারণ মেরামত তালিকায় আছে; বাঁকা কোট সরল কোটে স্বাভাবিক হয়। ফলটা একবার ভ্যালিডেটরে পার করলেই নিশ্চিত।