TOON फ़ॉर्मेट गाइड: LLM को देने से पहले JSON को हल्का करें
मुख्य बात: जब आप JSON फ़ॉर्मेट में किसी भाषा मॉडल को एक समरूप ऐरे देते हैं, तो बार-बार दोहराए गए की नाम और ब्रैकेट टोकन खा जाते हैं। TOON इंडेंट किए गए ऑब्जेक्ट और टेबुलर ऐरे के ज़रिए संरचना एक बार ही घोषित करता है, और डेटा लाइन दर लाइन उड़ेलता है। आधिकारिक बेंचमार्क लगभग 40% कम टोकन के साथ बेहतर पार्सिंग सटीकता दिखाते हैं। यह गाइड सिंटैक्स, बचत कब काम करती है, कब कन्वर्ज़न वाजिब नहीं, और encode व decode को जोड़ने का तरीका कवर करता है।

JSON का सिंटैक्स ओवरहेड मशीन-से-मशीन ट्रांसफ़र में कोई बात नहीं, पर टोकन-आधारित बिलिंग वाले LLM के इनपुट साइड पर यह सच्चा पैसा है: वही समरूप ऐरे की नाम दर्जनों बार दोहराता है, और हर कर्ली ब्रेस हर कोट के साथ बजट का एक हिस्सा चट कर जाता है। TOON कोई नया डेटा मॉडल नहीं गढ़ता — वह JSON के डेटा मॉडल को ही एक सस्ती नोटेशन में फिर से लिखता है।
TOON क्या है: JSON की एक और एनकोडिंग, प्रतिद्वंद्वी नहीं
TOON (Token-Oriented Object Notation) 2025 में आया एक ओपन फ़ॉर्मेट है, और इसकी आधिकारिक स्थिति एक वाक्य में आ जाती है: JSON के डेटा मॉडल की एक कॉम्पैक्ट, लॉसलेस और पठनीय एनकोडिंग। वह कोई नए टाइप नहीं जोड़ता — ऑब्जेक्ट, ऐरे, स्ट्रिंग, संख्या, बूलियन और null JSON से एक-एक मेल खाते हैं, और decode(encode(x)) मूल डेटा के ठीक बराबर होता है (JSON से बाहर के टाइप जैसे Date या NaN को पहले नॉर्मलाइज़ करें)। राउंड-ट्रिप लॉसलेस और निश्चयात्मक है: वही इनपुट हमेशा वही आउटपुट देता है, जो दोहराए जा सकने वाले प्रॉम्प्ट के लिए ज़रूरी है।
चूँकि TOON ठीक JSON के डेटा मॉडल को ही एनकोड करता है, इसका सही इस्तेमाल बॉर्डर फ़ॉर्मेट के रूप में होता है: एप्लिकेशन अंदर JSON में ही काम करती रहती है, प्रॉम्प्ट में डेटा डालने से ठीक पहले TOON में बदलती है, और मॉडल की जवाब से वापस बदल लेती है। आधिकारिक दस्तावेज़ इसे "translation layer" कहता है। फ़ाइलों का प्रचलित एक्सटेंशन .toon है; HTTP ट्रांसपोर्ट के लिए अस्थायी media type text/toon है, UTF-8 में।
सर्च शोर पर एक चेतावनी: 3D ग्राफ़िक्स के Toon Shader से उलझाएँ नहीं। सिर्फ़ शब्द एक है।
LLM के इनपुट साइड पर JSON विशेष रूप से महँगा क्यों है
ऑर्डर की लिस्ट, यूज़र सूची या लॉग समरी लें जो JSON ऐरे के रूप में लिखी है। टोकन तीन जगह जाते हैं:
- दोहराए गए की नाम। पचास ऑर्डर रिकॉर्ड
"id","amount"और"status"हर एक को पचास बार लिखते हैं। डेटा दोगुना करें, ओवरहेड भी दोगुना। - संरचनात्मक विराम चिह्न। कर्ली और स्क्वायर ब्रैकेट, कोलन और कॉमा — सब टोकन हैं, और नेस्टिंग उन्हें और भी घना पैक करती है।
- कोट। लगभग हर की और हर स्ट्रिंग वैल्यू डबल कोट में लिपटी है।
जोड़ दें: टोकन-आधारित API की लागत सीधे बढ़ती है; लंबे इनपुट जल्दी कॉन्टेक्स्ट विंडो की छत से टकराते हैं; और बहुत लंबे इनपुट पर मॉडल फ़ील्ड छोड़ने या सरकाने की दर बढ़ जाती है। आधिकारिक पेज का बेंचमार्क: मिश्रित संरचनाओं के टेस्ट सेट पर चार मॉडलों के साथ लगभग 40% कम टोकन, और पार्सिंग सटीकता 70% (JSON) से 74% (TOON) पर चढ़ती है। बचत और सटीकता यहाँ ट्रेड-ऑफ़ नहीं, क्योंकि ज़्यादा कॉम्पैक्ट संरचना बाउंड्री मॉडल के लिए स्पष्ट बना देती है।
सिंटैक्स: इंडेंट किए गए ऑब्जेक्ट + टेबुलर ऐरे
वही मौसम पूर्वानुमान का डेटा तीन रूपों में। JSON वर्ज़न, लगभग 117 टोकन:
{
"location": { "city": "Berlin", "country": "DE", "units": "metric" },
"alerts": ["frost", "wind"],
"forecast": [
{ "day": "Mon", "temp": { "min": -2, "max": 4 }, "condition": "snow", "rainChance": 80 },
{ "day": "Tue", "temp": { "min": 1, "max": 7 }, "condition": "cloudy", "rainChance": 20 },
{ "day": "Wed", "temp": { "min": 3, "max": 11 }, "condition": "sunny", "rainChance": 5 }
]
}
TOON वर्ज़न, लगभग 66 टोकन:
location:
city: Berlin
country: DE
units: metric
alerts[2]: frost,wind
forecast[3]{day,temp{min,max},condition,rainChance}:
Mon,-2,4,snow,80
Tue,1,7,cloudy,20
Wed,3,11,sunny,5
तीन रूप सब कवर करते हैं, और सीरियलाइज़र डेटा की आकृति देख खुद चुन लेता है:
| रूप | किसके लिए | JSON समतुल्य |
|---|---|---|
| इंडेंट किया ऑब्जेक्ट | नेस्टेड ऑब्जेक्ट | { "location": { ... } }, इंडेंट कर्ली ब्रेस का काम करता है |
| इनलाइन ऐरे | प्रिमिटिव ऐरे | ["frost","wind"], [2] लंबाई घोषित करता है |
| टेबुलर ऐरे | समरूप ऑब्जेक्ट का ऐरे | फ़ील्ड नाम सिर्फ़ एक बार हेडर में आते हैं {day,temp{min,max},...}; हर रो में सिर्फ़ कॉमा-अलग वैल्यू |
समरूप नेस्टेड ऑब्जेक्ट (temp{min,max}) हेडर में नेस्टेड फ़ील्ड ग्रुप के रूप में मुड़ जाते हैं, और डेटा रो फ्लैट रहते हैं। कोट का नियम न्यूनतम है: स्ट्रिंग कोट तभी लेती है जब उसमें डेलिमिटर, स्पेशल कैरेक्टर हों या संख्या पढ़े जाने का खतरा हो — TOON इसीलिए टोकन गिनती में "कॉम्पैक्ट JSON" को हराता है। YAML से मुख्य अंतर: TOON में स्पष्ट लंबाई घोषणा और मशीन-सत्यापन योग्य फ़ील्ड हेडर हैं; CSV से: नेस्टिंग और टाइप बचाता है।
[N] और {fields}: मॉडल के लिए संरचनात्मक रेलिंग
[3] और {day,...} सिर्फ़ टोकन बचाने के लिए नहीं — यह मॉडल को दिया गया एक सत्यापन योग्य अनुबंध भी है:
- ऐरे की लंबाई मॉडल को "डेटासेट में कितने रिकॉर्ड" सीधे बताने देती है, और रो संख्या न जुड़ने पर कटाव तुरंत पकड़ में आ जाता है।
- फ़ील्ड हेडर नाम एक बार घोषित करता है; मॉडल हर रो में की-मैचिंग फिर से अंदाज़ने के बजाय पोज़िशन से वैल्यू जोड़ता है।
यह रोकथाम है, पोस्ट-फैक्टो रिकवरी के उलट। JSON रिपेयरर (रिपेयर गाइड देखें) मॉडल के टूटा JSON थूकने के बाद डेटा बचाता है; TOON की लंबाई और फ़ील्ड घोषणा इनपुट पर ही टूटे डेटा की संभावना घटाती है। दोनों करें — पाइपलाइन के बीच पार्स विफलता दर गिरती है।
TOON कब इस्तेमाल न करें
आधिकारिक "When Not to Use TOON" सेक्शन ताज़गीभरे ढंग से सीधा है। चार सिनारियो, जैसे हैं वैसे छोड़ें:
| सिनारियो | क्यों बचें | सर्वोत्तम विकल्प |
|---|---|---|
| गहराई से नेस्टेड, असमरूप संरचनाएँ | टेबुलर पात्रता ≈ 0%; कॉम्पैक्ट JSON अक्सर जीतता है | कॉम्पैक्ट JSON |
| अर्ध-समरूप ऐरे | अनियमित फ़ील्ड, बचत गायब | JSON पाइपलाइन रखें |
| शुद्ध टेबुलर डेटा | CSV के मुकाबले TOON 5–10% ओवरहेड लेता है | CSV |
| लेटेंसी-संवेदी (लोकल/quantized मॉडल) | कम टोकन ≠ तेज़ इन्फ़रेंस | पहले TTFT नापें |
अर्ध-समरूपता टेबुलर पात्रता (tabular eligibility) से आँकी जाती है: आधिकारिक रूप से, 40–60% पात्रता पर बचत पहले से मामूली होती है। फ़ॉर्मेट माइग्रेशन की असली लागत है — पार्सर, वैलिडेटर और डाउनस्ट्रीम स्क्रिप्ट सब बदलते हैं — तो लाभ दस प्रतिशत से नीचे हो तो कुछ भी छुएँ नहीं।
लागू करना: encode / decode और CLI
आधिकारिक TypeScript लाइब्रेरी, दोनों दिशाओं में:
npm install @toon-format/toon
# बैच कन्वर्ज़न भी CLI से गुज़रता है
npx @toon-format/cli input.json -o output.toon
import { encode, decode } from '@toon-format/toon'
const data = {
users: [
{ id: 1, name: 'Ada', role: 'admin' },
{ id: 2, name: 'Bob', role: 'user' },
],
}
const toon = encode(data)
// users[2]{id,name,role}:
// 1,Ada,admin
// 2,Bob,user
const back = decode(toon) // मूल डेटा के ठीक बराबर
Python, Go, Rust और .NET के इंप्लीमेंटेशन भी हैं; कोई एक लेने से पहले स्पेसिफिकेशन के आधिकारिक रिपॉज़िटरी की इंप्लीमेंटेशन लिस्ट से मिलाएँ, और पक्का करें कि आपके इस्तेमाल की सिंटैक्स विशेषताएँ कवर होती हैं। प्रोडक्शन से पहले राउंड-ट्रिप असर्शन चलाएँ: decode(encode(मूल)) मूल के गहराई से बराबर होना चाहिए; न हो तो समस्या इंप्लीमेंटेशन या डेटा में है।
आपकी मौजूदा JSON पाइपलाइन में कैसे बैठता है
TOON आपकी JSON पाइपलाइन में कुछ नहीं बदलता; वह बॉर्डर पर एक कन्वर्ज़न जोड़ता है। सुझाया क्रम:
- पहले पक्का करें JSON साफ़ है। टूटा JSON टूटा TOON देता है। सिंटैक्स सत्यापन और मरम्मत JSON रिपेयर गाइड में कवर है।
- डेटा की आकृति जाँचें। ऐरे के सभी ऑब्जेक्ट में फ़ील्ड एक हैं? पहले नॉर्मलाइज़ करें — या स्वीकार करें कि कन्वर्ज़न मेहमान नहीं।
- कन्वर्ट कर सैंपल मिलाएँ। कन्वर्ज़न के बाद कुछ रो मूल JSON से मिलाएँ ताकि फ़ील्ड अलाइनमेंट न सरका हो।
- लाभ आँकें। समरूप लिस्ट के लिए JSONL हैंडबुक की रो-दर-रो तर्क स्ट्रीमिंग कन्वर्ज़न पर भी चलती है; साइज़ और लागत के अनुपात पर JSON minify और gzip का असली रिश्ता वही सबक देता है: पहले नापो, फिर कन्वर्ट करो।
क्या TOON JSON की जगह लेगा?
नहीं। TOON JSON के डेटा मॉडल को ही एनकोड करता है; उसकी जगह प्रॉम्प्ट का बॉर्डर है, जबकि स्टोरेज और प्रोग्राम-टू-प्रोग्राम एक्सचेंज JSON का इलाक़ा रहेगा। "मॉडल को देने" वाले हिस्से में TOON इस्तेमाल करें और चेन का बाकी अक्षत रखें।
YAML और CSV से TOON का रिश्ता क्या है?
ऑब्जेक्ट YAML जैसे (कर्ली ब्रेस की जगह इंडेंट); समरूप ऐरे CSV जैसे (हेडर एक बार घोषित, रो स्ट्रीम में)। पर TOON में YAML जैसी स्पष्ट लंबाई घोषणा है, और CSV में न होने वाली नेस्टिंग व टाइप बचाता है — दोनों के बीच खड़ा है, मशीन-सत्यापन योग्य रेलिंग के साथ।
TOON से JSON कन्वर्ज़न में डेटा खोता है क्या?
नहीं: ऑब्जेक्ट, ऐरे, स्ट्रिंग, संख्या, बूलियन और null एक-एक मेल खाते हैं, और decode(encode(x)) मूल के ठीक बराबर होता है। एक चेतावनी — JSON से बाहर के टाइप जैसे Date और NaN पहले नॉर्मलाइज़ करें; वरना बराबरी राउंड-ट्रिप के बाद ही लागू होती है।
कन्वर्ट किए TOON को सही कैसे सत्यापित करें?
दो जाँचें: राउंड-ट्रिप असर्शन (encode फिर decode, मूल से गहरी बराबरी) और हेडर की आँखों से जाँच — [N] की संख्या रो संख्या के बराबर होनी चाहिए, और {fields} के फ़ील्ड हर रो की कॉमा-अलग वैल्यू से एक-एक जुड़े होने चाहिए। मॉडल साइड पर आप जवाब से पहले ऐरे की लंबाई बताने को भी कह सकते हैं।