JSON Toolkit

คู่มือรูปแบบ TOON: ทำ JSON ให้เบาลงก่อนส่งให้ LLM

สรุปสำคัญ: เมื่อคุณส่งอาร์เรย์ที่มีรูปร่างสม่ำเสมอให้โมเดลภาษาในรูปแบบ JSON ชื่อคีย์ที่ซ้ำกันและวงเล็บต่างก็กัดกินโทเคน TOON ประกาศโครงสร้างเพียงครั้งเดียวด้วยออบเจ็กต์แบบย่อหน้าและอาร์เรย์แบบตาราง แล้วเทข้อมูลออกทีละบรรทัด เบนช์มาร์กทางการแสดงให้เห็นโทเคนลดลงราว 40% พร้อมความแม่นยำในการแยกวิเคราะห์ที่สูงขึ้น คู่มือนี้ครอบคลุมไวยากรณ์ กรณีที่การประหยัดได้ผล กรณีที่ไม่ควรแปลง และวิธีเชื่อม encode กับ decode

ระดับกลางอ่านประมาณ 6 นาทีเผยแพร่ 2026-11-10อัปเดต 2026-11-10
ไวยากรณ์อาร์เรย์แบบตารางของ TOON: ส่วนหัวของฟิลด์ประกาศครั้งเดียว แถวข้อมูลเทออกตามลำดับ

ภาระทางไวยากรณ์ของ JSON ไม่ใช่เรื่องสำคัญเมื่อถ่ายทอดระหว่างเครื่อง แต่ที่ฝั่งอินพุตของ LLM ที่คิดค่าบริการเป็นโทเคน มันคือเงินจริง: อาร์เรย์สม่ำเสมอชุดเดิมพูดชื่อคีย์ซ้ำกันเป็นสิบๆ ครั้ง และวงเล็บปีกกาแต่ละคู่พร้อมเครื่องหมายคำพูดแต่ละคู่กัดกินงบไปทีละชิ้น TOON ไม่ได้ประดิษฐ์โมเดลข้อมูลใหม่ — มันเขียนโมเดลข้อมูลของ JSON ใหม่ด้วยสัญกรณ์ที่ถูกกว่า

TOON คืออะไร: การเข้ารหัส JSON อีกแบบ ไม่ใช่คู่แข่ง

TOON (Token-Oriented Object Notation) เป็นรูปแบบเปิดที่เกิดขึ้นในปี 2025 และการวางตำแหน่งอย่างการพออยู่ในประโยคเดียว: การเข้ารหัสโมเดลข้อมูลของ JSON อย่างกระชับ ไม่สูญเสีย และอ่านได้ มันไม่เพิ่มประเภทใหม่ — ออบเจ็กต์ อาร์เรย์ สตริง ตัวเลข บูลีน และ null จับคู่กับ JSON ได้หนึ่งต่อหนึ่ง และ decode(encode(x)) เท่ากับข้อมูลต้นฉบับอย่างเคร่งครัด (ประเภทนอกเหนือจาก JSON เช่น Date หรือ NaN ต้องทำให้เป็นมาตรฐานก่อน) การไปกลับไม่สูญเสียและทำนายได้: อินพุตเดียวกันให้เอาต์พุตเดียวกันเสมอ ซึ่งสำคัญต่อการสร้างพรอมต์ที่ทำซ้ำได้

เพราะ TOON เข้ารหัสโมเดลข้อมูลของ JSON โดยเฉพาะ วิธีใช้ที่ถูกต้องคือ รูปแบบชายแดน: แอปพลิเคชันยังทำงานด้วย JSON ภายในต่อไป เปลี่ยนเป็น TOON ก่อนวางข้อมูลลงพรอมต์พอดี แล้วเปลี่ยนกลับจากคำตอบของโมเดล เอกสารทางการเรียกมันว่า "translation layer" นามสกุลไฟล์ที่ใช้กันคือ .toon สำหรับการขนส่งผ่าน HTTP media type ชั่วคราวคือ text/toon ในรูปแบบ UTF-8

ข้อควรระวังเรื่องเสียงรบกวนการค้นหา: อย่าสับสนกับ Toon Shader ในกราฟิก 3D ตรงกันแค่คำเดียว

ทำไม JSON จึงแพงเป็นพิเศษที่ฝั่งอินพุตของ LLM

ลองยกลิสต์คำสั่งซื้อ รายชื่อผู้ใช้ หรือสรุปล็อกที่เขียนเป็นอาร์เรย์ JSON โทเคนถูกใช้ในสามที่:

  1. ชื่อคีย์ที่ซ้ำกัน คำสั่งซื้อห้าสิบรายการเขียน "id", "amount" และ "status" คนละห้าสิบครั้ง ข้อมูลสองเท่า ภาระก็สองเท่า
  2. เครื่องหมายโครงสร้าง วงเล็บปีกกากับเหลี่ยม โคลอนกับคอมมา — ทั้งหมดคือโทเคน และการซ้อนกันทำให้มันถูกบรรจุแน่นขึ้นอีก
  3. เครื่องหมายคำพูด เกือบทุกคีย์และทุกค่าสตริงถูกห่อด้วยเครื่องหมายคำพูดคู่

รวมกันแล้ว: ค่าใช้จ่าย API ที่คิดเป็นโทเคนสูงขึ้นตรง ๆ; อินพุตยาวชนเพดานหน้าต่างบริบทเร็วขึ้น; และที่อินพุตยาวมาก โมเดลละฟิลด์หรือวางตำแหน่งเพี้ยนบ่อยขึ้น เบนช์มาร์กจากหน้าเว็บทางการ: บนชุดทดสอบโครงสร้างผสมกับโมเดลสี่ตัว โทเคนน้อยลงราว 40% พร้อมความแม่นยำการแยกวิเคราะห์ที่ขยับจาก 70% (JSON) ขึ้นเป็น 74% (TOON) การประหยัดกับความแม่นยำที่นี่ไม่ใช่การแลกเปลี่ยน เพราะโครงสร้างที่กระชับกว่าทำให้ขอบเขตชัดเจนขึ้นในสายตาโมเดล

ไวยากรณ์: ออบเจ็กต์แบบย่อหน้า + อาร์เรย์แบบตาราง

ข้อมูลพยากรณ์อากาศชุดเดิมในสามรูปทรง เวอร์ชัน JSON ประมาณ 117 โทเคน:

{
  "location": { "city": "Berlin", "country": "DE", "units": "metric" },
  "alerts": ["frost", "wind"],
  "forecast": [
    { "day": "Mon", "temp": { "min": -2, "max": 4 }, "condition": "snow", "rainChance": 80 },
    { "day": "Tue", "temp": { "min": 1, "max": 7 }, "condition": "cloudy", "rainChance": 20 },
    { "day": "Wed", "temp": { "min": 3, "max": 11 }, "condition": "sunny", "rainChance": 5 }
  ]
}

เวอร์ชัน TOON ประมาณ 66 โทเคน:

location:
  city: Berlin
  country: DE
  units: metric
alerts[2]: frost,wind
forecast[3]{day,temp{min,max},condition,rainChance}:
  Mon,-2,4,snow,80
  Tue,1,7,cloudy,20
  Wed,3,11,sunny,5

สามรูปทรงครอบคลุมทุกอย่าง และซีเรียลไลเซอร์เลือกให้เองตามรูปร่างของข้อมูล:

รูปทรง เหมาะกับ เทียบเท่าใน JSON
ออบเจ็กต์แบบย่อหน้า ออบเจ็กต์ซ้อนกัน { "location": { ... } } ย่อหน้าแทนวงเล็บปีกกา
อาร์เรย์แบบในบรรทัด อาร์เรย์ค่าพื้นฐาน ["frost","wind"] [2] ประกาศความยาว
อาร์เรย์แบบตาราง อาร์เรย์ของออบเจ็กต์สม่ำเสมอ ชื่อฟิลด์ปรากฏครั้งเดียวในส่วนหัว {day,temp{min,max},...} แต่ละบรรทัดมีแต่ค่าคั่นด้วยคอมมา

ออบเจ็กต์ซ้อนกันที่สม่ำเสมอ (temp{min,max}) ถูกพับเข้าส่วนหัวเป็นกลุ่มฟิลด์ซ้อน ส่วนบรรทัดข้อมูลยังคงแบน กฎเครื่องหมายคำพูดเป็นแบบ น้อยที่สุด: สตริงรับเครื่องหมายคำพูดเฉพาะเมื่อมีตัวคั่น อักขระพิเศษ หรือเสี่ยงถูกอ่านเป็นตัวเลข — หนึ่งในเหตุผลที่ TOON เอาชนะ "JSON แบบกระชับ" ในการนับโทเคน ความต่างสำคัญกับ YAML: TOON มีการประกาศความยาวอย่างชัดเจนและส่วนหัวฟิลด์ที่เครื่องตรวจสอบได้; กับ CSV: รักษาการซ้อนและประเภทข้อมูลเอาไว้

[N] และ {fields}: ราวกันตกโครงสร้างสำหรับโมเดล

[3] และ {day,...} ไม่ได้อยู่เพื่อประหยัดโทเคนเท่านั้น — มันคือ สัญญาที่ตรวจสอบได้ ที่คุณส่งมอบให้โมเดลด้วย:

  • ความยาวอาร์เรย์ ทำให้โมเดลตอบคำถาม "ชุดข้อมูลมีกี่รายการ" ได้ทันที และเผยการถูกตัดทันทีเมื่อจำนวนบรรทัดไม่ตรง
  • ส่วนหัวฟิลด์ ประกาศชื่อเพียงครั้งเดียว โมเดลจัดค่าตามตำแหน่งแทนการเดาการจับคู่คีย์ใหม่ในทุกบรรทัด

นี่คือการป้องกัน ตรงข้ามกับการกู้คืนหลังเกิดเหตุ เครื่องซ่อม JSON (ดูคู่มือการซ่อม) ช่วยข้อมูลหลังจากโมเดลคาย JSON พังออกมา การประกาศความยาวและฟิลด์ของ TOON ลดโอกาสข้อมูลพังตั้งแต่ฝั่งอินพุต ทำทั้งสองอย่าง — อัตราความล้มเหลวในการแยกวิเคราะห์กลางไปป์ไลน์ก็ลดลง

เมื่อไรควรไม่ใช้ TOON

หมวดอย่างการ "When Not to Use TOON" ตรงไปตรงมาอย่างน่ารื่นรมย์ สี่สถานการณ์ ให้คงสภาพเดิมไว้:

สถานการณ์ เพราะอะไรควรเลี่ยง ทางเลือกที่ดีที่สุด
โครงสร้างซ้อนลึก ไม่สม่ำเสมอ ความเหมาะแบบตาราง ≈ 0% JSON กระชับมักชนะ JSON แบบกระชับ
อาร์เรย์กึ่งสม่ำเสมอ ฟิลด์ไม่สม่ำเสมอ การประหยัดหายไป คงไปป์ไลน์ JSON เดิม
ข้อมูลเป็นตารางล้วน TOON มีภาระ 5–10% เทียบกับ CSV CSV
ไวต่อความหน่วง (โมเดลเฉพาะที่/quantized) โทเคนน้อยกว่า ≠ อนุมานเร็วกว่า วัด TTFT ก่อน

ความกึ่งสม่ำเสมอประเมินด้วยความเหมาะแบบตาราง (tabular eligibility): อย่างการคือ ที่ความเหมาะ 40–60% การประหยัดเริ่มเป็นส่วนน้อย การย้ายรูปแบบมีต้นทุนจริง — ตัวแยกวิเคราะห์ ตัวตรวจสอบ และสคริปต์ปลายน้ำเปลี่ยนกันหมด — ดังนั้นถ้ากำไรต่ำกว่าสิบเปอร์เซ็นต์ อย่าแตะต้องสิ่งใด

การนำไปใช้: encode / decode และ CLI

ไลบรารี TypeScript อย่างการ ใช้ได้สองทิศทาง:

npm install @toon-format/toon
# การแปลงเป็นชุดก็ผ่าน CLI เช่นกัน
npx @toon-format/cli input.json -o output.toon
import { encode, decode } from '@toon-format/toon'

const data = {
  users: [
    { id: 1, name: 'Ada', role: 'admin' },
    { id: 2, name: 'Bob', role: 'user' },
  ],
}

const toon = encode(data)
// users[2]{id,name,role}:
//   1,Ada,admin
//   2,Bob,user

const back = decode(toon)  // เท่ากับข้อมูลต้นฉบับอย่างเคร่งครัด

มีการนำไปเขียนใน Python, Go, Rust และ .NET; ก่อนเลือกใช้ตัวใด ตรวจกับรายการการนำไปเขียนในที่เก็บอย่างการของสเปก และยืนยันว่าครอบคลุมคุณสมบัติทางไวยากรณ์ที่คุณใช้ ก่อนขึ้นโปรดักชัน รันการยืนยันแบบไปกลับ: decode(encode(ต้นฉบับ)) ต้องเท่ากับต้นฉบับอย่างลึก ถ้าไม่ใช่ ปัญหาอยู่ที่การนำไปเขียนหรือที่ข้อมูล

มันเข้ากับไปป์ไลน์ JSON เดิมของคุณอย่างไร

TOON ไม่เปลี่ยนอะไรในไปป์ไลน์ JSON ของคุณ มันเพิ่มการแปลงที่ชายแดน ลำดับที่แนะนำ:

  1. ก่อนอื่นมั่นใจว่า JSON สะอาด JSON พังให้ TOON พัง การตรวจไวยากรณ์และการซ่อมถูกครอบคลุมใน คู่มือการซ่อม JSON
  2. ตรวจรูปร่างข้อมูล ออบเจ็กต์ทุกตัวในอาร์เรย์มีฟิลด์เดียวกันไหม? ทำมาตรฐานก่อน — หรือยอมรับว่าการแปลงไม่คุ้มแรง
  3. แปลงแล้วสุ่มตรวจ หลังแปลง เทียบบรรทัดตัวอย่างกับ JSON เดิมเพื่อให้แน่ใจว่าการจัดตำแหน่งฟิลด์ไม่เลื่อน
  4. ประเมินผลประโยชน์ สำหรับลิสต์สม่ำเสมอ ตรรกะทีละบรรทัดของ คู่มือ JSONL ใช้กับการแปลงแบบสตรีมได้ ส่วนสัดส่วนขนาดกับค่าใช้จ่าย ความสัมพันธ์จริงของ JSON minify กับ gzip สอนบทเรียนเดียวกัน: วัดก่อน แปลงทีหลัง

TOON จะแทนที่ JSON ได้ไหม?

ไม่ TOON เข้ารหัสโมเดลข้อมูลของ JSON ที่ของมันคือชายแดนของพรอมต์ ส่วนการจัดเก็บและการแลกเปลี่ยนระหว่างโปรแกรมยังเป็นดินแดนของ JSON ใช้ TOON ในช่วง "ส่งให้โมเดล" แล้วปล่อยโซ่ที่เหลือให้คงเดิม

TOON สัมพันธ์กับ YAML และ CSV อย่างไร?

ออบเจ็กต์คล้าย YAML (ย่อหน้าแทนวงเล็บปีกกา) อาร์เรย์สม่ำเสมอคล้าย CSV (ส่วนหัวประกาศครั้งเดียว บรรทัดไหลตามสตรีม) แต่ TOON มีการประกาศความยาวอย่างชัดเจนที่ YAML ไม่มี และรักษาการซ้อนกับประเภทที่ CSV ไม่มี — มันยืนอยู่กลางระหว่างสองอย่างนั้น พร้อมราวกันตกที่เครื่องตรวจสอบได้

การแปลง TOON กลับเป็น JSON สูญเสียข้อมูลไหม?

ไม่ ออบเจ็กต์ อาร์เรย์ สตริง ตัวเลข บูลีน และ null จับคู่หนึ่งต่อหนึ่ง และ decode(encode(x)) เท่ากับต้นฉบับอย่างเคร่งครัด มีข้อควรระวังเดียว — ทำให้ประเภทนอกเหนือจาก JSON เช่น Date และ NaN เป็นมาตรฐานก่อน ไม่งั้นความเท่ากันใช้ได้หลังการไปกลับเท่านั้น

ตรวจสอบว่า TOON ที่แปลงแล้วถูกต้องอย่างไร?

สองการตรวจ: การยืนยันแบบไปกลับ (encode แล้ว decode เท่ากับต้นฉบับอย่างลึก) และการตรวจส่วนหัวด้วยตา — ตัวเลข [N] ต้องเท่ากับจำนวนบรรทัด และฟิลด์ใน {fields} ต้องจัดหนึ่งต่อหนึ่งกับค่าคั่นคอมมาในแต่ละบรรทัด ฝั่งโมเดลคุณยังขอให้มันรายงานความยาวอาร์เรย์ก่อนตอบได้