JSON Toolkit

Hướng dẫn định dạng TOON: làm nhẹ JSON trước khi đưa cho LLM

Kết luận: Khi bạn đưa một mảng đồng nhất cho mô hình ngôn ngữ ở định dạng JSON, tên khoá lặp lại và dấu ngoặc ăn mòn token. TOON khai báo cấu trúc một lần duy nhất bằng đối tượng thụt lề và mảng dạng bảng, rồi đổ dữ liệu từng dòng. Benchmark chính thức cho thấy khoảng 40% token ít hơn với độ chính xác phân tích cao hơn. Hướng dẫn này bao phủ cú pháp, khi nào tiết kiệm có hiệu lực, khi nào không nên chuyển đổi và cách nối encode với decode.

Trung cấpĐọc khoảng 6 phútXuất bản 2026-11-10Cập nhật 2026-11-10
Cú pháp mảng dạng bảng TOON: tiêu đề trường khai báo một lần, các dòng dữ liệu đổ tuần tự

Chi phí cú pháp của JSON không đáng kể khi truyền giữa các máy, nhưng ở phía đầu vào của một LLM tính phí theo token thì đó là tiền thật: cùng một mảng đồng nhất lặp tên khoá hàng chục lần, và mỗi cặp ngoặc nhọn cùng mỗi dấu ngoặc kép lấy một phần ngân sách. TOON không phát minh ra mô hình dữ liệu mới — nó viết lại mô hình dữ liệu JSON bằng một ký hiệu rẻ hơn.

TOON là gì: một cách mã hoá JSON khác, không phải đối thủ

TOON (Token-Oriented Object Notation) là định dạng mở xuất hiện năm 2025, và định vị chính thức của nó gói gọn trong một câu: cách mã hoá gọn nhẹ, không mất dữ liệu và dễ đọc của mô hình dữ liệu JSON. Nó không thêm kiểu mới — đối tượng, mảng, chuỗi, số, boolean và null tương ứng một-một với JSON, và decode(encode(x)) bằng chính xác dữ liệu gốc (các kiểu ngoài JSON như Date hay NaN cần chuẩn hoá trước). Vòng đi-về là không mất mát và tất định: cùng một đầu vào luôn cho cùng một đầu ra, điều quan trọng để xây prompt tái lập được.

Vì TOON mã hoá đúng mô hình dữ liệu JSON, cách dùng đúng là định dạng biên giới: ứng dụng tiếp tục làm việc với JSON bên trong, chuyển sang TOON ngay trước khi đặt dữ liệu vào prompt, và chuyển ngược từ phản hồi của mô hình. Tài liệu chính thức gọi đây là "translation layer". Phần mở rộng quen thuộc của tệp là .toon; với truyền tải HTTP, media type tạm thời là text/toon, ở UTF-8.

Một cảnh báo về nhiễu tìm kiếm: đừng nhầm với Toon Shader trong đồ hoạ 3D. Chỉ chung mỗi từ.

Vì sao JSON đặc biệt đắt ở phía đầu vào của LLM

Hãy lấy danh sách đơn hàng, danh sách người dùng hay bản tóm tắt log được viết dưới dạng mảng JSON. Token đi vào ba chỗ:

  1. Tên khoá lặp lại. Năm mươi bản ghi đơn hàng viết "id", "amount" và "status" mỗi cái năm mươi lần. Nhân đôi dữ liệu là nhân đôi chi phí dư.
  2. Dấu câu cấu trúc. Ngoặc nhọn, ngoặc vuông, dấu hai chấm và dấu phẩy — tất cả đều là token, và việc lồng nhau đóng gói chúng kín hơn nữa.
  3. Dấu ngoặc kép. Gần như mọi khoá và mọi giá trị chuỗi đều được bọc trong ngoặc kép.

Cộng lại: chi phí API tính theo token tăng thẳng; đầu vào dài chạm trần cửa sổ ngữ cảnh sớm hơn; và ở đầu vào rất dài, mô hình bỏ sót hay lệch trường thường hơn. Benchmark của trang chính thức: trên bộ kiểm thử cấu trúc hỗn hợp với bốn mô hình, khoảng 40% token ít hơn với độ chính xác phân tích tăng từ 70% (JSON) lên 74% (TOON). Tiết kiệm và chính xác ở đây không đánh đổi, vì cấu trúc gọn hơn làm ranh giới rõ ràng hơn với mô hình.

Cú pháp: đối tượng thụt lề + mảng dạng bảng

Cùng dữ liệu dự báo thời tiết ở ba hình dạng. Phiên bản JSON, khoảng 117 token:

{
  "location": { "city": "Berlin", "country": "DE", "units": "metric" },
  "alerts": ["frost", "wind"],
  "forecast": [
    { "day": "Mon", "temp": { "min": -2, "max": 4 }, "condition": "snow", "rainChance": 80 },
    { "day": "Tue", "temp": { "min": 1, "max": 7 }, "condition": "cloudy", "rainChance": 20 },
    { "day": "Wed", "temp": { "min": 3, "max": 11 }, "condition": "sunny", "rainChance": 5 }
  ]
}

Phiên bản TOON, khoảng 66 token:

location:
  city: Berlin
  country: DE
  units: metric
alerts[2]: frost,wind
forecast[3]{day,temp{min,max},condition,rainChance}:
  Mon,-2,4,snow,80
  Tue,1,7,cloudy,20
  Wed,3,11,sunny,5

Ba hình dạng phủ hết mọi thứ, và serializer chọn tự động theo hình dạng dữ liệu:

Hình dạng Phù hợp với Tương đương JSON
Đối tượng thụt lề Đối tượng lồng nhau { "location": { ... } }, thụt lề thay cho ngoặc nhọn
Mảng nội tuyến Mảng giá trị đơn giản ["frost","wind"], [2] khai báo độ dài
Mảng dạng bảng Mảng đối tượng đồng nhất Tên trường chỉ xuất hiện một lần trong tiêu đề {day,temp{min,max},...}; mỗi dòng chỉ chứa giá trị phân tách bằng dấu phẩy

Các đối tượng lồng đồng nhất (temp{min,max}) gập vào tiêu đề như nhóm trường lồng, còn các dòng dữ liệu giữ phẳng. Quy tắc ngoặc kép là tối thiểu: chuỗi chỉ lấy ngoặc kép khi chứa ký tự phân tách, ký tự đặc biệt hoặc có nguy cơ bị đọc thành số — một lý do TOON đánh bại "JSON gọn nhẹ" trong đếm token. Khác biệt then chốt với YAML: TOON có khai báo độ dài tường minh và tiêu đề trường máy kiểm chứng được; với CSV: giữ được lồng nhau và kiểu dữ liệu.

[N] và {fields}: lan can cấu trúc cho mô hình

[3] và {day,...} không chỉ để tiết kiệm token — chúng còn là hợp đồng kiểm chứng được mà bạn trao cho mô hình:

  • Độ dài mảng cho phép mô hình trả ngay câu "tập dữ liệu có bao nhiêu bản ghi" và phơi bày ngay việc bị cắt cụt khi số dòng không khớp.
  • Tiêu đề trường khai báo tên một lần; mô hình căn giá trị theo vị trí thay vì mỗi dòng phải đoán lại sự khớp của khoá.

Đây là phòng ngừa, ngược với sửa chữa sau sự cố. Trình sửa JSON (xem hướng dẫn sửa lỗi) cứu dữ liệu sau khi mô hình nhả JSON hỏng; khai báo độ dài và trường của TOON giảm ngay ở đầu vào xác suất dữ liệu hỏng. Làm cả hai — tỷ lệ thất bại phân tích ở giữa pipeline giảm xuống.

Khi nào không nên dùng TOON

Mục chính thức "When Not to Use TOON" thẳng thắn đáng ngạc nhiên. Bốn kịch bản, hãy giữ nguyên như chúng vốn có:

Kịch bản Vì sao nên tránh Lựa chọn tốt nhất
Cấu trúc lồng sâu, không đồng nhất Khả năng bảng ≈ 0%; JSON gọn thường thắng JSON gọn nhẹ
Mảng bán đồng nhất Trường bất thường, tiết kiệm tan biến Giữ pipeline JSON
Dữ liệu thuần bảng TOON tốn 5–10% chi phí dư so với CSV CSV
Nhạy cảm độ trễ (mô hình cục bộ/lượng tử hoá) Ít token ≠ suy luận nhanh hơn Đo TTFT trước

Bán đồng nhất được đánh qua khả năng bảng (tabular eligibility): chính thức, với khả năng 40–60% mức tiết kiệm đã là biên độ nhỏ. Di chuyển định dạng có chi phí thật — parser, trình xác thực và các script phía sau đều đổi — nên nếu lợi ích dưới mười phần trăm, đừng đụng vào gì cả.

Triển khai: encode / decode và CLI

Thư viện TypeScript chính thức, theo cả hai chiều:

npm install @toon-format/toon
# Chuyển đổi theo lô cũng đi qua CLI
npx @toon-format/cli input.json -o output.toon
import { encode, decode } from '@toon-format/toon'

const data = {
  users: [
    { id: 1, name: 'Ada', role: 'admin' },
    { id: 2, name: 'Bob', role: 'user' },
  ],
}

const toon = encode(data)
// users[2]{id,name,role}:
//   1,Ada,admin
//   2,Bob,user

const back = decode(toon)  // bằng chính xác dữ liệu gốc

Có các bản triển khai Python, Go, Rust và .NET; trước khi chọn một bản, hãy đối chiếu danh sách triển khai trong kho chính thức của đặc tả và xác nhận nó phủ các tính năng cú pháp bạn dùng. Trước khi lên sản xuất, chạy kiểm định đi-về: decode(encode(gốc)) phải bằng sâu với bản gốc; nếu không, vấn đề nằm ở bản triển khai hoặc ở dữ liệu.

Nó khớp vào pipeline JSON sẵn có của bạn thế nào

TOON không đổi gì pipeline JSON của bạn; nó thêm một bước chuyển đổi ở biên giới. Thứ tự khuyến nghị:

  1. Trước hết chắc chắn JSON sạch. JSON hỏng cho ra TOON hỏng. Kiểm tra cú pháp và sửa lỗi được Hướng dẫn sửa JSON bao phủ.
  2. Kiểm tra hình dạng dữ liệu. Mọi đối tượng trong mảng có cùng trường? Chuẩn hoá trước — hoặc thừa nhận việc chuyển đổi không đáng công.
  3. Chuyển đổi và rà mẫu. Sau chuyển đổi, đối chiếu vài dòng với JSON gốc để chắc căn trường không bị lệch.
  4. Đánh giá lợi ích. Với danh sách đồng nhất, lập luận từng dòng trong cẩm nang JSONL áp dụng được cho chuyển đổi dạng dòng; về tỷ lệ dung lượng và chi phí, quan hệ thật giữa JSON minify và gzip răn cùng một điều: đo trước, chuyển sau.

TOON có thay thế JSON không?

Không. TOON mã hoá mô hình dữ liệu JSON; chỗ của nó là biên giới của prompt, còn lưu trữ và trao đổi giữa các chương trình vẫn thuộc lãnh thổ JSON. Dùng TOON cho đoạn "đưa cho mô hình" và để nguyên phần còn lại của chuỗi.

TOON liên hệ với YAML và CSV thế nào?

Đối tượng giống YAML (thụt lề thay ngoặc nhọn); mảng đồng nhất giống CSV (tiêu đề khai báo một lần, dòng chảy theo luồng). Nhưng TOON có khai báo độ dài tường minh mà YAML không có, và giữ lồng nhau cùng kiểu dữ liệu mà CSV không có — nó đứng giữa hai bên, với lan can máy kiểm chứng được.

Chuyển đổi TOON sang JSON có mất dữ liệu không?

Không: đối tượng, mảng, chuỗi, số, boolean và null tương ứng một-một, và decode(encode(x)) bằng chính xác bản gốc. Chỉ một lưu ý — chuẩn hoá trước các kiểu ngoài JSON như Date và NaN; nếu không, sự bằng nhau chỉ có hiệu lực sau vòng đi-về.

Làm sao kiểm tra TOON đã chuyển đổi là đúng?

Hai phép kiểm: kiểm định đi-về (encode rồi decode, bằng sâu với bản gốc) và soi tiêu đề bằng mắt — số [N] phải bằng số dòng, và các trường trong {fields} phải căn một-một với các giá trị phân tách bằng dấu phẩy trong từng dòng. Phía mô hình, bạn có thể yêu cầu nó báo độ dài mảng trước khi trả lời.