JSON Toolkit

TOON ফরম্যাট গাইড: LLM-কে দেওয়ার আগে JSON হালকা করুন

সংক্ষেপে: আপনি যখন JSON ফরম্যাটে একটি অভিন্ন অ্যারে ভাষা মডেলের কাছে পাঠান, তখন পুনরাবৃত্ত কী নাম এবং ব্র্যাকেট টোকেন খেয়ে ফেলে। TOON ইনডেন্ট করা অবজেক্ট ও টেবুলার অ্যারে দিয়ে কাঠামো একবারই ঘোষণা করে, আর ডেটা লাইন ধরে ধরে ডাম্প করে। অফিসিয়াল বেঞ্চমার্কে প্রায় ৪০% কম টোকেন এবং বেশি পার্সিং নির্ভুলতা দেখা যায়। এই গাইডে সিনট্যাক্স, কখন সাশ্রয় কাজ করে, কখন কনভার্ট করা উচিত নয় এবং encode ও decode যুক্ত করার পদ্ধতি ব্যাখ্যা করা হয়েছে।

মধ্যম~6 মিনিট পড়াপ্রকাশ 2026-11-10আপডেট 2026-11-10
TOON টেবুলার অ্যারের সিনট্যাক্স: ফিল্ড হেডার একবার ঘোষিত, ডেটা লাইন ধরে ধরে ডাম্প হয়

মেশিন থেকে মেশিনে ট্রান্সফারে JSON-এর সিনট্যাক্স ওভারহেড তেমন গুরুত্বপূর্ণ নয়, কিন্তু টোকেন-ভিত্তিক বিলিংয়ে LLM-এর ইনপুট সাইডে এটা সোজা টাকা: একই অভিন্ন অ্যারে কী নাম কয়েক ডজন বার রিপিট করে, আর প্রতিটি কার্লি ব্রেস আর প্রতিটি কোট বাজেটের একটা অংশ নিয়ে নেয়। TOON নতুন কোনো ডেটা মডেল আবিষ্কার করে না — এটি JSON-এর ডেটা মডেলকেই আরও সস্তা একটা নোটেশনে লেখে।

TOON কী: JSON-এর আরেকটি এনকোডিং, প্রতিদ্বন্দ্বী নয়

TOON (Token-Oriented Object Notation) ২০২৫ সালে আসা একটি ওপেন ফরম্যাট, আর এর অফিসিয়াল পজিশনিং এক বাক্যে: JSON ডেটা মডেলের একটি কমপ্যাক্ট, লসলেস ও পাঠযোগ্য এনকোডিং। এটি নতুন টাইপ যোগ করে না — অবজেক্ট, অ্যারে, স্ট্রিং, সংখ্যা, বুলিয়ান ও null JSON-এর সাথে এক থেকে এক মিলে যায়, আর decode(encode(x)) কঠোরভাবে মূল ডেটার সমান (JSON-এর বাইরের টাইপ যেমন Date বা NaN আগে নরমালাইজ করতে হবে)। রাউন্ড-ট্রিপ লসলেস ও ডিটারমিনিস্টিক: একই ইনপুট সবসময় একই আউটপুট দেয়, যা রিপ্রোডিউসিবল প্রম্পটের জন্য গুরুত্বপূর্ণ।

যেহেতু TOON ঠিক JSON ডেটা মডেলকেই এনকোড করে, এটি ব্যবহারের সঠিক পদ্ধতি হলো বর্ডার ফরম্যাট হিসেবে: অ্যাপ্লিকেশন ভেতরে JSON-এ কাজ চালিয়ে যায়, প্রম্পটে ডেটা দেওয়ার ঠিক আগে TOON-এ কনভার্ট করে, আর মডেলের রেসপন্স থেকে আবার কনভার্ট করে। অফিসিয়াল ডকুমেন্টেশন একে "translation layer" বলে ডাকে। ফাইলের প্রচলিত এক্সটেনশন .toon; HTTP ট্রান্সপোর্টে প্রাথমিক media type হলো text/toon, UTF-8-এ।

সার্চ নয়েজ নিয়ে একটা সতর্কতা: 3D গ্রাফিক্সের Toon Shader-এর সাথে গুলিয়োবেন না। শুধু শব্দটা এক।

LLM-এর ইনপুট সাইডে JSON বিশেষভাবে দামি কেন

অর্ডারের তালিকা, ইউজার লিস্ট বা লগ সামারি যদি JSON অ্যারে হিসেবে লেখা থাকে। টোকেন তিন জায়গায় যায়:

  1. পুনরাবৃত্ত কী নাম। পঞ্চাশটা অর্ডার রেকর্ড "id", "amount", "status" প্রতিটাই পঞ্চাশ বার লেখে। ডেটা ডাবল করলে ওভারহেডও ডাবল।
  2. স্ট্রাকচারাল পাংচুয়েশন। কার্লি ও স্কয়ার ব্র্যাকেট, কোলন আর কমা — সবই টোকেন, আর নেস্টিং সেগুলোকে আরও ঘন করে প্যাক করে।
  3. কোট। প্রায় প্রতিটা কী আর প্রতিটা স্ট্রিং ভ্যালু ডাবল কোটে মোড়ানো।

সব মিলিয়ে: টোকেন-ভিত্তিক API-র খরচ সরাসরি বাড়ে; লম্বা ইনপুট আগেই কনটেক্সট উইন্ডোর ছাদ ছুঁয়ে ফেলে; আর খুব লম্বা ইনপুটে মডেল ফিল্ড বাদ দেওয়া বা এলোমেলো করার হার বাড়ে। অফিসিয়াল পেজের বেঞ্চমার্ক: মিক্সড স্ট্রাকচারের টেস্ট সেটে চারটি মডেলে প্রায় ৪০% কম টোকেন, আর পার্সিং নির্ভুলতা ৭০% (JSON) থেকে ৭৪% (TOON)-এ ওঠে। এখানে সাশ্রয় আর নির্ভুলতা ট্রেড-অফ নয়, কারণ আরও কমপ্যাক্ট কাঠামো বাউন্ডারি মডেলের কাছে স্পষ্ট করে তোলে।

সিনট্যাক্স: ইনডেন্ট করা অবজেক্ট + টেবুলার অ্যারে

একই আবহাওয়ার পূর্বাভাসের ডেটা তিন রূপে। JSON ভার্সন, প্রায় ১১৭ টোকেন:

{
  "location": { "city": "Berlin", "country": "DE", "units": "metric" },
  "alerts": ["frost", "wind"],
  "forecast": [
    { "day": "Mon", "temp": { "min": -2, "max": 4 }, "condition": "snow", "rainChance": 80 },
    { "day": "Tue", "temp": { "min": 1, "max": 7 }, "condition": "cloudy", "rainChance": 20 },
    { "day": "Wed", "temp": { "min": 3, "max": 11 }, "condition": "sunny", "rainChance": 5 }
  ]
}

TOON ভার্সন, প্রায় ৬৬ টোকেন:

location:
  city: Berlin
  country: DE
  units: metric
alerts[2]: frost,wind
forecast[3]{day,temp{min,max},condition,rainChance}:
  Mon,-2,4,snow,80
  Tue,1,7,cloudy,20
  Wed,3,11,sunny,5

তিনটি রূপই সব কভার করে, আর সিরিয়ালাইজার ডেটার আকৃতি দেখে স্বয়ংক্রিয়ভাবে বেছে নেয়:

রূপ কার জন্য JSON সমতুল্য
ইনডেন্ট করা অবজেক্ট নেস্টেড অবজেক্ট { "location": { ... } }, ইনডেন্টেশন কার্লি ব্রেসের কাজ করে
ইনলাইন অ্যারে প্রিমিটিভ অ্যারে ["frost","wind"], [2] দৈর্ঘ্য ঘোষণা করে
টেবুলার অ্যারে অভিন্ন অবজেক্টের অ্যারে ফিল্ড নাম শুধু একবার হেডারে আসে {day,temp{min,max},...}; প্রতিটি লাইনে শুধু কমা-সেপারেটেড ভ্যালু

অভিন্ন নেস্টেড অবজেক্ট (temp{min,max}) হেডারে নেস্টেড ফিল্ড গ্রুপ হিসেবে ভাঁজ হয়ে যায়, আর ডেটা লাইন ফ্ল্যাট থাকে। কোটের নিয়ম মিনিমাল: স্ট্রিং কোট নেবে শুধু যদি ডেলিমিটার, স্পেশাল ক্যারেক্টার থাকে বা সংখ্যা হিসেবে পড়ার ঝুঁকি থাকে — TOON যে কারণে টোকেন গণনায় "কমপ্যাক্ট JSON"-কে হারায় তার একটা কারণ এটাই। YAML-এর সাথে মূল পার্থক্য: TOON-এ স্পষ্ট দৈর্ঘ্য ঘোষণা আর মেশিন-ভেরিফায়েবল ফিল্ড হেডার আছে; CSV-এর সাথে: নেস্টিং আর টাইপ রাখে।

[N] ও {fields}: মডেলের জন্য স্ট্রাকচারাল গার্ডরেল

[3] আর {day,...} শুধু টোকেন বাঁচানোর জন্য নয় — এগুলো মডেলকে দেওয়া একটা ভেরিফায়েবল চুক্তিও:

  • অ্যারের দৈর্ঘ্য মডেলকে "ডেটাসেটে কয়টা রেকর্ড" সরাসরি বলতে দেয়, আর লাইন সংখ্যা না মিললে ট্রাঙ্কেশন সাথে সাথে ধরা পড়ে।
  • ফিল্ড হেডার নাম একবারই ঘোষণা করে; মডেল প্রতিটি লাইনে কী-ম্যাচিং আবার আবার অনুমান না করে পজিশন ধরে ভ্যালু মেলায়।

এটা প্রতিরোধ, পোস্ট-ফ্যাক্টো রিকভারির বিপরীত। JSON রিপেয়ারার (দেখুন রিপেয়ার গাইড) মডেল ভাঙা JSON দেওয়ার পরে ডেটা ঠিক করে; TOON-এর দৈর্ঘ্য ও ফিল্ড ঘোষণা ইনপুটেই ভাঙা ডেটার সম্ভাবনা কমায়। দুটোই করুন — মাঝপথে পার্স ফেলিওর হার নামবে।

কখন TOON ব্যবহার করবেন না

অফিসিয়াল "When Not to Use TOON" সেকশন রাশিমুখীভাবে সরাসরি। চারটি সিনারিও, যেমন আছে তেমন রাখুন:

সিনারিও এড়ানোর কারণ সেরা পছন্দ
গভীরভাবে নেস্টেড, অসম কাঠামো টেবুলার এলিজিবিলিটি ≈ ০%; কমপ্যাক্ট JSON প্রায়ই জেতে কমপ্যাক্ট JSON
আধা-অভিন্ন অ্যারে অনিয়মিত ফিল্ড, সাশ্রয় মিলিয়ে যায় JSON পাইপলাইন রাখুন
বিশুদ্ধ টেবুলার ডেটা CSV-র তুলনায় TOON ৫–১০% ওভারহেড নেয় CSV
লেটেন্সি-সংবেদনশীল (লোকাল/কোয়ান্টাইজড মডেল) কম টোকেন ≠ দ্রুত ইনফারেন্স আগে TTFT মাপুন

আধা-অভিন্নতা মাপা হয় টেবুলার এলিজিবিলিটি দিয়ে: অফিসিয়ালভাবে, ৪০–৬০% এলিজিবিলিটিতে সাশ্রয় ইতিমধ্যেই মার্জিনাল। ফরম্যাট মাইগ্রেশনের আসল খরচ আছে — পার্সার, ভ্যালিডেটর আর ডাউনস্ট্রিম স্ক্রিপ্ট সব বদলায় — তাই লাভ দশ শতাংশের নিচে হলে কিছুই ছুঁয়েন না।

প্রয়োগ: encode / decode এবং CLI

অফিসিয়াল TypeScript লাইব্রেরি, দুই দিকেই:

npm install @toon-format/toon
# ব্যাচ কনভার্সন CLI দিয়েও হয়
npx @toon-format/cli input.json -o output.toon
import { encode, decode } from '@toon-format/toon'

const data = {
  users: [
    { id: 1, name: 'Ada', role: 'admin' },
    { id: 2, name: 'Bob', role: 'user' },
  ],
}

const toon = encode(data)
// users[2]{id,name,role}:
//   1,Ada,admin
//   2,Bob,user

const back = decode(toon)  // কঠোরভাবে মূল ডেটার সমান

Python, Go, Rust ও .NET ইমপ্লিমেন্টেশনও আছে; যেকোনো একটা নেওয়ার আগে স্পেসিফিকেশনের অফিসিয়াল রিপোজিটরির ইমপ্লিমেন্টেশন লিস্ট মিলিয়ে নিন, আর নিশ্চিত হন আপনার ব্যবহৃত সিনট্যাক্স ফিচারগুলো কভার করে কি না। প্রোডাকশনের আগে রাউন্ড-ট্রিপ অ্যাসার্শন চালান: decode(encode(মূল)) গভীরভাবে মূলের সমান হতে হবে; না হলে সমস্যা ইমপ্লিমেন্টেশনে বা ডেটায়।

আপনার বিদ্যমান JSON পাইপলাইনে কীভাবে বসবে

TOON আপনার JSON পাইপলাইনে কিছুই বদলায় না; এটা বর্ডারে একটা কনভার্সন যোগ করে। সুপারিশকৃত ক্রম:

  1. আগে নিশ্চিত হন JSON পরিষ্কার। ভাঙা JSON ভাঙা TOON দেয়। সিনট্যাক্স ভ্যালিডেশন আর রিপেয়ার JSON রিপেয়ার গাইড-এ কভার করা।
  2. ডেটার আকৃতি যাচাই করুন। অ্যারের সব অবজেক্টে ফিল্ড এক কি না? আগে নরমালাইজ করুন — নয়তো স্বীকার করুন কনভার্সন মূল্যবান নয়।
  3. কনভার্ট করে স্যাম্পল মেলান। কনভার্সনের পরে কয়েক লাইন মূল JSON-এর সাথে মিলিয়ে দেখুন ফিল্ড অ্যালাইনমেন্ট সরেনি কি না।
  4. লাভ হিসাব করুন। অভিন্ন লিস্টের জন্য JSONL হ্যান্ডবুক-এর লাইন-ভিত্তিক যুক্তি স্ট্রিমিং কনভার্সনেও খাটে; সাইজ আর খরচের অনুপাতে JSON minify ও gzip-এর আসল সম্পর্ক একই শিক্ষা দেয়: আগে মাপা, পরে কনভার্ট।

TOON কি JSON-কে রিপ্লেস করবে?

না। TOON JSON ডেটা মডেলকেই এনকোড করে; এর জায়গা প্রম্পটের বর্ডার, আর স্টোরেজ ও প্রোগ্রাম-টু-প্রোগ্রাম এক্সচেঞ্জ থাকবে JSON-এর ভূখণ্ড। "মডেলকে দেওয়া" অংশে TOON ব্যবহার করুন, বাকি চেইন অক্ষত রাখুন।

YAML আর CSV-এর সাথে TOON-এর সম্পর্ক কী?

অবজেক্ট YAML-এর মতো (কার্লি ব্রেসের বদলে ইনডেন্টেশন); অভিন্ন অ্যারে CSV-এর মতো (হেডার একবার ঘোষিত, লাইন স্ট্রিমে)। কিন্তু TOON-এ YAML-এ নেই এমন স্পষ্ট দৈর্ঘ্য ঘোষণা আছে, আর CSV-এ নেই এমন নেস্টিং ও টাইপ রাখে — মেশিন-ভেরিফায়েবল গার্ডরেলসহ দুটোর মাঝখানে দাঁড়িয়ে।

TOON থেকে JSON কনভার্সনে ডেটা হারায় কি?

না: অবজেক্ট, অ্যারে, স্ট্রিং, সংখ্যা, বুলিয়ান ও null এক থেকে এক মেলে, আর decode(encode(x)) কঠোরভাবে মূলের সমান। একটাই সতর্কতা — JSON-এর বাইরের টাইপ যেমন Date ও NaN আগে নরমালাইজ করুন; নয়তো সমতা শুধু রাউন্ড-ট্রিপের পরেই খাটে।

কনভার্ট করা TOON ঠিক আছে কি না কীভাবে যাচাই করবেন?

দুটি চেক: রাউন্ড-ট্রিপ অ্যাসার্শন (encode করে decode, মূলের সাথে গভীর সমতা) আর হেডারের চোখে পরীক্ষা — [N] সংখ্যা লাইন সংখ্যার সমান হতে হবে, আর {fields}-এর ফিল্ডগুলো প্রতিটি লাইনের কমা-সেপারেটেড ভ্যালুর সাথে এক থেকে এক মিলতে হবে। মডেল সাইডে উত্তর দেওয়ার আগে অ্যারের দৈর্ঘ্য জানতে চাইতে পারেন।