คู่มือรูปแบบ TOON: ทำ JSON ให้เบาลงก่อนส่งให้ LLM
สรุปสำคัญ: เมื่อคุณส่งอาร์เรย์ที่มีรูปร่างสม่ำเสมอให้โมเดลภาษาในรูปแบบ JSON ชื่อคีย์ที่ซ้ำกันและวงเล็บต่างก็กัดกินโทเคน TOON ประกาศโครงสร้างเพียงครั้งเดียวด้วยออบเจ็กต์แบบย่อหน้าและอาร์เรย์แบบตาราง แล้วเทข้อมูลออกทีละบรรทัด เบนช์มาร์กทางการแสดงให้เห็นโทเคนลดลงราว 40% พร้อมความแม่นยำในการแยกวิเคราะห์ที่สูงขึ้น คู่มือนี้ครอบคลุมไวยากรณ์ กรณีที่การประหยัดได้ผล กรณีที่ไม่ควรแปลง และวิธีเชื่อม encode กับ decode

ภาระทางไวยากรณ์ของ JSON ไม่ใช่เรื่องสำคัญเมื่อถ่ายทอดระหว่างเครื่อง แต่ที่ฝั่งอินพุตของ LLM ที่คิดค่าบริการเป็นโทเคน มันคือเงินจริง: อาร์เรย์สม่ำเสมอชุดเดิมพูดชื่อคีย์ซ้ำกันเป็นสิบๆ ครั้ง และวงเล็บปีกกาแต่ละคู่พร้อมเครื่องหมายคำพูดแต่ละคู่กัดกินงบไปทีละชิ้น TOON ไม่ได้ประดิษฐ์โมเดลข้อมูลใหม่ — มันเขียนโมเดลข้อมูลของ JSON ใหม่ด้วยสัญกรณ์ที่ถูกกว่า
TOON คืออะไร: การเข้ารหัส JSON อีกแบบ ไม่ใช่คู่แข่ง
TOON (Token-Oriented Object Notation) เป็นรูปแบบเปิดที่เกิดขึ้นในปี 2025 และการวางตำแหน่งอย่างการพออยู่ในประโยคเดียว: การเข้ารหัสโมเดลข้อมูลของ JSON อย่างกระชับ ไม่สูญเสีย และอ่านได้ มันไม่เพิ่มประเภทใหม่ — ออบเจ็กต์ อาร์เรย์ สตริง ตัวเลข บูลีน และ null จับคู่กับ JSON ได้หนึ่งต่อหนึ่ง และ decode(encode(x)) เท่ากับข้อมูลต้นฉบับอย่างเคร่งครัด (ประเภทนอกเหนือจาก JSON เช่น Date หรือ NaN ต้องทำให้เป็นมาตรฐานก่อน) การไปกลับไม่สูญเสียและทำนายได้: อินพุตเดียวกันให้เอาต์พุตเดียวกันเสมอ ซึ่งสำคัญต่อการสร้างพรอมต์ที่ทำซ้ำได้
เพราะ TOON เข้ารหัสโมเดลข้อมูลของ JSON โดยเฉพาะ วิธีใช้ที่ถูกต้องคือ รูปแบบชายแดน: แอปพลิเคชันยังทำงานด้วย JSON ภายในต่อไป เปลี่ยนเป็น TOON ก่อนวางข้อมูลลงพรอมต์พอดี แล้วเปลี่ยนกลับจากคำตอบของโมเดล เอกสารทางการเรียกมันว่า "translation layer" นามสกุลไฟล์ที่ใช้กันคือ .toon สำหรับการขนส่งผ่าน HTTP media type ชั่วคราวคือ text/toon ในรูปแบบ UTF-8
ข้อควรระวังเรื่องเสียงรบกวนการค้นหา: อย่าสับสนกับ Toon Shader ในกราฟิก 3D ตรงกันแค่คำเดียว
ทำไม JSON จึงแพงเป็นพิเศษที่ฝั่งอินพุตของ LLM
ลองยกลิสต์คำสั่งซื้อ รายชื่อผู้ใช้ หรือสรุปล็อกที่เขียนเป็นอาร์เรย์ JSON โทเคนถูกใช้ในสามที่:
- ชื่อคีย์ที่ซ้ำกัน คำสั่งซื้อห้าสิบรายการเขียน
"id","amount"และ"status"คนละห้าสิบครั้ง ข้อมูลสองเท่า ภาระก็สองเท่า - เครื่องหมายโครงสร้าง วงเล็บปีกกากับเหลี่ยม โคลอนกับคอมมา — ทั้งหมดคือโทเคน และการซ้อนกันทำให้มันถูกบรรจุแน่นขึ้นอีก
- เครื่องหมายคำพูด เกือบทุกคีย์และทุกค่าสตริงถูกห่อด้วยเครื่องหมายคำพูดคู่
รวมกันแล้ว: ค่าใช้จ่าย API ที่คิดเป็นโทเคนสูงขึ้นตรง ๆ; อินพุตยาวชนเพดานหน้าต่างบริบทเร็วขึ้น; และที่อินพุตยาวมาก โมเดลละฟิลด์หรือวางตำแหน่งเพี้ยนบ่อยขึ้น เบนช์มาร์กจากหน้าเว็บทางการ: บนชุดทดสอบโครงสร้างผสมกับโมเดลสี่ตัว โทเคนน้อยลงราว 40% พร้อมความแม่นยำการแยกวิเคราะห์ที่ขยับจาก 70% (JSON) ขึ้นเป็น 74% (TOON) การประหยัดกับความแม่นยำที่นี่ไม่ใช่การแลกเปลี่ยน เพราะโครงสร้างที่กระชับกว่าทำให้ขอบเขตชัดเจนขึ้นในสายตาโมเดล
ไวยากรณ์: ออบเจ็กต์แบบย่อหน้า + อาร์เรย์แบบตาราง
ข้อมูลพยากรณ์อากาศชุดเดิมในสามรูปทรง เวอร์ชัน JSON ประมาณ 117 โทเคน:
{
"location": { "city": "Berlin", "country": "DE", "units": "metric" },
"alerts": ["frost", "wind"],
"forecast": [
{ "day": "Mon", "temp": { "min": -2, "max": 4 }, "condition": "snow", "rainChance": 80 },
{ "day": "Tue", "temp": { "min": 1, "max": 7 }, "condition": "cloudy", "rainChance": 20 },
{ "day": "Wed", "temp": { "min": 3, "max": 11 }, "condition": "sunny", "rainChance": 5 }
]
}
เวอร์ชัน TOON ประมาณ 66 โทเคน:
location:
city: Berlin
country: DE
units: metric
alerts[2]: frost,wind
forecast[3]{day,temp{min,max},condition,rainChance}:
Mon,-2,4,snow,80
Tue,1,7,cloudy,20
Wed,3,11,sunny,5
สามรูปทรงครอบคลุมทุกอย่าง และซีเรียลไลเซอร์เลือกให้เองตามรูปร่างของข้อมูล:
| รูปทรง | เหมาะกับ | เทียบเท่าใน JSON |
|---|---|---|
| ออบเจ็กต์แบบย่อหน้า | ออบเจ็กต์ซ้อนกัน | { "location": { ... } } ย่อหน้าแทนวงเล็บปีกกา |
| อาร์เรย์แบบในบรรทัด | อาร์เรย์ค่าพื้นฐาน | ["frost","wind"] [2] ประกาศความยาว |
| อาร์เรย์แบบตาราง | อาร์เรย์ของออบเจ็กต์สม่ำเสมอ | ชื่อฟิลด์ปรากฏครั้งเดียวในส่วนหัว {day,temp{min,max},...} แต่ละบรรทัดมีแต่ค่าคั่นด้วยคอมมา |
ออบเจ็กต์ซ้อนกันที่สม่ำเสมอ (temp{min,max}) ถูกพับเข้าส่วนหัวเป็นกลุ่มฟิลด์ซ้อน ส่วนบรรทัดข้อมูลยังคงแบน กฎเครื่องหมายคำพูดเป็นแบบ น้อยที่สุด: สตริงรับเครื่องหมายคำพูดเฉพาะเมื่อมีตัวคั่น อักขระพิเศษ หรือเสี่ยงถูกอ่านเป็นตัวเลข — หนึ่งในเหตุผลที่ TOON เอาชนะ "JSON แบบกระชับ" ในการนับโทเคน ความต่างสำคัญกับ YAML: TOON มีการประกาศความยาวอย่างชัดเจนและส่วนหัวฟิลด์ที่เครื่องตรวจสอบได้; กับ CSV: รักษาการซ้อนและประเภทข้อมูลเอาไว้
[N] และ {fields}: ราวกันตกโครงสร้างสำหรับโมเดล
[3] และ {day,...} ไม่ได้อยู่เพื่อประหยัดโทเคนเท่านั้น — มันคือ สัญญาที่ตรวจสอบได้ ที่คุณส่งมอบให้โมเดลด้วย:
- ความยาวอาร์เรย์ ทำให้โมเดลตอบคำถาม "ชุดข้อมูลมีกี่รายการ" ได้ทันที และเผยการถูกตัดทันทีเมื่อจำนวนบรรทัดไม่ตรง
- ส่วนหัวฟิลด์ ประกาศชื่อเพียงครั้งเดียว โมเดลจัดค่าตามตำแหน่งแทนการเดาการจับคู่คีย์ใหม่ในทุกบรรทัด
นี่คือการป้องกัน ตรงข้ามกับการกู้คืนหลังเกิดเหตุ เครื่องซ่อม JSON (ดูคู่มือการซ่อม) ช่วยข้อมูลหลังจากโมเดลคาย JSON พังออกมา การประกาศความยาวและฟิลด์ของ TOON ลดโอกาสข้อมูลพังตั้งแต่ฝั่งอินพุต ทำทั้งสองอย่าง — อัตราความล้มเหลวในการแยกวิเคราะห์กลางไปป์ไลน์ก็ลดลง
เมื่อไรควรไม่ใช้ TOON
หมวดอย่างการ "When Not to Use TOON" ตรงไปตรงมาอย่างน่ารื่นรมย์ สี่สถานการณ์ ให้คงสภาพเดิมไว้:
| สถานการณ์ | เพราะอะไรควรเลี่ยง | ทางเลือกที่ดีที่สุด |
|---|---|---|
| โครงสร้างซ้อนลึก ไม่สม่ำเสมอ | ความเหมาะแบบตาราง ≈ 0% JSON กระชับมักชนะ | JSON แบบกระชับ |
| อาร์เรย์กึ่งสม่ำเสมอ | ฟิลด์ไม่สม่ำเสมอ การประหยัดหายไป | คงไปป์ไลน์ JSON เดิม |
| ข้อมูลเป็นตารางล้วน | TOON มีภาระ 5–10% เทียบกับ CSV | CSV |
| ไวต่อความหน่วง (โมเดลเฉพาะที่/quantized) | โทเคนน้อยกว่า ≠ อนุมานเร็วกว่า | วัด TTFT ก่อน |
ความกึ่งสม่ำเสมอประเมินด้วยความเหมาะแบบตาราง (tabular eligibility): อย่างการคือ ที่ความเหมาะ 40–60% การประหยัดเริ่มเป็นส่วนน้อย การย้ายรูปแบบมีต้นทุนจริง — ตัวแยกวิเคราะห์ ตัวตรวจสอบ และสคริปต์ปลายน้ำเปลี่ยนกันหมด — ดังนั้นถ้ากำไรต่ำกว่าสิบเปอร์เซ็นต์ อย่าแตะต้องสิ่งใด
การนำไปใช้: encode / decode และ CLI
ไลบรารี TypeScript อย่างการ ใช้ได้สองทิศทาง:
npm install @toon-format/toon
# การแปลงเป็นชุดก็ผ่าน CLI เช่นกัน
npx @toon-format/cli input.json -o output.toon
import { encode, decode } from '@toon-format/toon'
const data = {
users: [
{ id: 1, name: 'Ada', role: 'admin' },
{ id: 2, name: 'Bob', role: 'user' },
],
}
const toon = encode(data)
// users[2]{id,name,role}:
// 1,Ada,admin
// 2,Bob,user
const back = decode(toon) // เท่ากับข้อมูลต้นฉบับอย่างเคร่งครัด
มีการนำไปเขียนใน Python, Go, Rust และ .NET; ก่อนเลือกใช้ตัวใด ตรวจกับรายการการนำไปเขียนในที่เก็บอย่างการของสเปก และยืนยันว่าครอบคลุมคุณสมบัติทางไวยากรณ์ที่คุณใช้ ก่อนขึ้นโปรดักชัน รันการยืนยันแบบไปกลับ: decode(encode(ต้นฉบับ)) ต้องเท่ากับต้นฉบับอย่างลึก ถ้าไม่ใช่ ปัญหาอยู่ที่การนำไปเขียนหรือที่ข้อมูล
มันเข้ากับไปป์ไลน์ JSON เดิมของคุณอย่างไร
TOON ไม่เปลี่ยนอะไรในไปป์ไลน์ JSON ของคุณ มันเพิ่มการแปลงที่ชายแดน ลำดับที่แนะนำ:
- ก่อนอื่นมั่นใจว่า JSON สะอาด JSON พังให้ TOON พัง การตรวจไวยากรณ์และการซ่อมถูกครอบคลุมใน คู่มือการซ่อม JSON
- ตรวจรูปร่างข้อมูล ออบเจ็กต์ทุกตัวในอาร์เรย์มีฟิลด์เดียวกันไหม? ทำมาตรฐานก่อน — หรือยอมรับว่าการแปลงไม่คุ้มแรง
- แปลงแล้วสุ่มตรวจ หลังแปลง เทียบบรรทัดตัวอย่างกับ JSON เดิมเพื่อให้แน่ใจว่าการจัดตำแหน่งฟิลด์ไม่เลื่อน
- ประเมินผลประโยชน์ สำหรับลิสต์สม่ำเสมอ ตรรกะทีละบรรทัดของ คู่มือ JSONL ใช้กับการแปลงแบบสตรีมได้ ส่วนสัดส่วนขนาดกับค่าใช้จ่าย ความสัมพันธ์จริงของ JSON minify กับ gzip สอนบทเรียนเดียวกัน: วัดก่อน แปลงทีหลัง
TOON จะแทนที่ JSON ได้ไหม?
ไม่ TOON เข้ารหัสโมเดลข้อมูลของ JSON ที่ของมันคือชายแดนของพรอมต์ ส่วนการจัดเก็บและการแลกเปลี่ยนระหว่างโปรแกรมยังเป็นดินแดนของ JSON ใช้ TOON ในช่วง "ส่งให้โมเดล" แล้วปล่อยโซ่ที่เหลือให้คงเดิม
TOON สัมพันธ์กับ YAML และ CSV อย่างไร?
ออบเจ็กต์คล้าย YAML (ย่อหน้าแทนวงเล็บปีกกา) อาร์เรย์สม่ำเสมอคล้าย CSV (ส่วนหัวประกาศครั้งเดียว บรรทัดไหลตามสตรีม) แต่ TOON มีการประกาศความยาวอย่างชัดเจนที่ YAML ไม่มี และรักษาการซ้อนกับประเภทที่ CSV ไม่มี — มันยืนอยู่กลางระหว่างสองอย่างนั้น พร้อมราวกันตกที่เครื่องตรวจสอบได้
การแปลง TOON กลับเป็น JSON สูญเสียข้อมูลไหม?
ไม่ ออบเจ็กต์ อาร์เรย์ สตริง ตัวเลข บูลีน และ null จับคู่หนึ่งต่อหนึ่ง และ decode(encode(x)) เท่ากับต้นฉบับอย่างเคร่งครัด มีข้อควรระวังเดียว — ทำให้ประเภทนอกเหนือจาก JSON เช่น Date และ NaN เป็นมาตรฐานก่อน ไม่งั้นความเท่ากันใช้ได้หลังการไปกลับเท่านั้น
ตรวจสอบว่า TOON ที่แปลงแล้วถูกต้องอย่างไร?
สองการตรวจ: การยืนยันแบบไปกลับ (encode แล้ว decode เท่ากับต้นฉบับอย่างลึก) และการตรวจส่วนหัวด้วยตา — ตัวเลข [N] ต้องเท่ากับจำนวนบรรทัด และฟิลด์ใน {fields} ต้องจัดหนึ่งต่อหนึ่งกับค่าคั่นคอมมาในแต่ละบรรทัด ฝั่งโมเดลคุณยังขอให้มันรายงานความยาวอาร์เรย์ก่อนตอบได้