Panduan Format TOON: Ringankan JSON Sebelum Diberikan ke LLM
Intinya: Saat Anda mengirimkan array yang seragam ke model bahasa dalam format JSON, nama kunci yang berulang dan tanda kurung memakan token. TOON mendeklarasikan struktur hanya sekali melalui objek berindentasi dan array berbentuk tabel, lalu menuangkan data baris demi baris. Benchmark resmi menunjukkan sekitar 40% token lebih sedikit dengan akurasi penguraian yang lebih tinggi. Panduan ini mencakup sintaks, kapan penghematan berlaku, kapan konversi tidak sepadan, dan cara menyambungkan encode dengan decode.

Beban sintaks JSON tidak berarti dalam transfer antarmesin, tetapi di sisi input LLM yang ditagih per token, itu uang sungguhan: array seragam yang sama mengulang nama kunci puluhan kali, dan setiap kurung kurawal beserta setiap tanda kutip menggigit sebagian anggaran. TOON tidak menemukan model data baru — ia menulis ulang model data JSON dengan notasi yang lebih murah.
Apa itu TOON: satu pengodean lagi dari JSON, bukan pesaing
TOON (Token-Oriented Object Notation) adalah format terbuka yang muncul pada 2025, dan penempatan resminya muat dalam satu kalimat: pengodean model data JSON yang ringkas, tanpa kehilangan, dan mudah dibaca. Ia tidak memperkenalkan tipe baru — objek, array, string, angka, boolean, dan null bersesuaian satu-satu dengan JSON, dan decode(encode(x)) sama persis dengan data aslinya (tipe di luar JSON seperti Date atau NaN perlu dinormalisasi lebih dulu). Round-trip-nya tanpa kehilangan dan deterministik: input yang sama selalu menghasilkan output yang sama, penting untuk membangun prompt yang dapat direproduksi.
Karena TOON mengode tepat model data JSON, cara pakai yang benar adalah sebagai format perbatasan: aplikasi terus bekerja dengan JSON di dalam, berubah menjadi TOON tepat sebelum data dimasukkan ke prompt, dan berubah kembali dari jawaban model. Dokumentasi resmi menyebutnya "translation layer". Ekstensi file yang lazim adalah .toon; untuk transport HTTP, media type sementara adalah text/toon, dalam UTF-8.
Satu peringatan soal kebisingan pencarian: jangan tertukar dengan Toon Shader di grafika 3D. Yang sama hanya katanya.
Mengapa JSON sangat mahal di sisi input LLM
Ambil daftar pesanan, daftar pengguna, atau ringkasan log yang ditulis sebagai array JSON. Token dipakai di tiga tempat:
- Nama kunci yang berulang. Lima puluh catatan pesanan menulis
"id","amount", dan"status"masing-masing lima puluh kali. Gandakan data — gandakan beban. - Tanda baca struktural. Kurung kurawal dan siku, titik dua dan koma — semuanya token, dan penyarangan mengemasnya lebih rapat lagi.
- Tanda kutip. Hampir setiap kunci dan setiap nilai string dibungkus tanda kutip ganda.
Ditotal: biaya API yang ditagih per token naik langsung; input panjang lebih cepat menghantam plafon jendela konteks; dan pada input yang sangat panjang, model lebih sering melompati atau menggeser bidang. Benchmark halaman resmi: pada set uji berstruktur campuran dengan empat model, sekitar 40% token lebih sedikit dengan akurasi penguraian naik dari 70% (JSON) ke 74% (TOON). Penghematan dan akurasi bukan trade-off di sini, karena struktur yang lebih ringkas membuat batas lebih terlihat oleh model.
Sintaks: objek berindentasi + array berbentuk tabel
Data prakiraan cuaca yang sama dalam tiga bentuk. Versi JSON, sekitar 117 token:
{
"location": { "city": "Berlin", "country": "DE", "units": "metric" },
"alerts": ["frost", "wind"],
"forecast": [
{ "day": "Mon", "temp": { "min": -2, "max": 4 }, "condition": "snow", "rainChance": 80 },
{ "day": "Tue", "temp": { "min": 1, "max": 7 }, "condition": "cloudy", "rainChance": 20 },
{ "day": "Wed", "temp": { "min": 3, "max": 11 }, "condition": "sunny", "rainChance": 5 }
]
}
Versi TOON, sekitar 66 token:
location:
city: Berlin
country: DE
units: metric
alerts[2]: frost,wind
forecast[3]{day,temp{min,max},condition,rainChance}:
Mon,-2,4,snow,80
Tue,1,7,cloudy,20
Wed,3,11,sunny,5
Tiga bentuk menutup semuanya, dan serialisator memilihnya otomatis sesuai bentuk data:
| Bentuk | Cocok untuk | Padanan JSON |
|---|---|---|
| Objek berindentasi | Objek bersarang | { "location": { ... } }, indentasi menggantikan kurung kurawal |
| Array sebaris | Array primitif | ["frost","wind"], [2] mendeklarasikan panjang |
| Array berbentuk tabel | Array objek seragam | Nama bidang muncul sekali di header {day,temp{min,max},...}; setiap baris hanya berisi nilai dipisahkan koma |
Objek bersarang seragam (temp{min,max}) melipat ke header sebagai grup bidang bersarang, sementara baris data tetap rata. Aturan tanda kutip bersifat minimal: string hanya mengambil tanda kutip jika mengandung pemisah, karakter khusus, atau berisiko terbaca sebagai angka — salah satu alasan TOON mengalahkan "JSON ringkas" dalam penghitungan token. Perbedaan kunci dengan YAML: TOON punya deklarasi panjang eksplisit dan header bidang yang bisa diverifikasi mesin; dengan CSV: menyimpan penyarangan dan tipe.
[N] dan {fields}: pagar struktural untuk model
[3] dan {day,...} bukan hanya untuk hemat token — keduanya juga kontrak yang bisa diverifikasi yang Anda serahkan kepada model:
- Panjang array memungkinkan model langsung menjawab "berapa catatan di dataset" dan membongkar pemotongan seketika saat jumlah baris tidak cocok.
- Header bidang mendeklarasikan nama sekali; model menjajarkan nilai berdasarkan posisi alih-alih menebak kecocokan kunci lagi di setiap baris.
Ini pencegahan, lawan dari pemulihan setelah kejadian. Perbaiki JSON (lihat panduan perbaikan) menyelamatkan data setelah model memuntahkan JSON rusak; deklarasi panjang dan bidang TOON menurunkan kemungkinan data rusak sejak sisi input. Lakukan keduanya — tingkat kegagalan penguraian di tengah pipeline turun.
Kapan Tidak Menggunakan TOON
Bagian resmi "When Not to Use TOON" berterus-terang mengejutkan. Empat skenario, biarkan tetap seperti adanya:
| Skenario | Mengapa dihindari | Pilihan terbaik |
|---|---|---|
| Struktur bersarang dalam, tidak seragam | Kelayakan tabel ≈ 0%; JSON ringkas sering menang | JSON ringkas |
| Array setengah seragam | Bidang tidak teratur, penghematan lenyap | Pertahankan pipeline JSON |
| Data murni tabel | TOON menanggung 5–10% beban dibanding CSV | CSV |
| Sensitif latensi (model lokal/terkuantisasi) | Token lebih sedikit ≠ inferensi lebih cepat | Ukur TTFT dulu |
Kesetengahan seragam dinilai melalui kelayakan tabel (tabular eligibility): resminya, pada kelayakan 40–60% penghematan sudah marginal. Migrasi format punya biaya nyata — parser, validator, dan skrip di hilir semuanya berubah — jadi jika keuntungan di bawah sepuluh persen, jangan sentuh apa pun.
Implementasi: encode / decode dan CLI
Pustaka TypeScript resmi, ke dua arah:
npm install @toon-format/toon
# Konversi massal juga lewat CLI
npx @toon-format/cli input.json -o output.toon
import { encode, decode } from '@toon-format/toon'
const data = {
users: [
{ id: 1, name: 'Ada', role: 'admin' },
{ id: 2, name: 'Bob', role: 'user' },
],
}
const toon = encode(data)
// users[2]{id,name,role}:
// 1,Ada,admin
// 2,Bob,user
const back = decode(toon) // sama persis dengan data asli
Ada implementasi Python, Go, Rust, dan .NET; sebelum mengambil salah satunya, cocokkan daftar implementasi di repositori resmi spesifikasi dan pastikan ia mencakup fitur sintaks yang Anda pakai. Sebelum produksi, jalankan penegasan round-trip: decode(encode(asli)) harus sama secara mendalam dengan aslinya; jika tidak, masalahnya di implementasi atau di data.
Bagaimana ini menyatu dengan pipeline JSON Anda yang sudah ada
TOON tidak mengubah apa pun di pipeline JSON Anda; ia menambahkan konversi di perbatasan. Urutan yang disarankan:
- Dahulu pastikan JSON bersih. JSON rusak menghasilkan TOON rusak. Validasi sintaks dan perbaikan dibahas dalam Panduan Perbaikan JSON.
- Periksa bentuk data. Semua objek array punya bidang yang sama? Normalisasi dulu — atau akui konversi tidak sepadan.
- Konversi dan sampelkan. Setelah konversi, bandingkan beberapa baris dengan JSON asli untuk memastikan penjajaran bidang tidak bergeser.
- Nilai manfaatnya. Untuk daftar seragam, penalaran baris demi baris di buku panduan JSONL berlaku juga pada konversi streaming; soal rasio ukuran dan biaya, hubungan sesungguhnya antara JSON minify dan gzip menyampaikan pelajaran yang sama: ukur dulu, konversi kemudian.
Apakah TOON akan menggantikan JSON?
Tidak. TOON mengode model data JSON; tempatnya di perbatasan prompt, sedangkan penyimpanan dan pertukaran antarprogram tetap wilayah JSON. Gunakan TOON untuk segmen "berikan ke model" dan biarkan rantai sisanya utuh.
Bagaimana hubungan TOON dengan YAML dan CSV?
Objek mirip YAML (indentasi menggantikan kurung kurawal); array seragam mirip CSV (header dideklarasikan sekali, baris mengalir). Tetapi TOON punya deklarasi panjang eksplisit yang tidak dimiliki YAML, dan menyimpan penyarangan serta tipe yang tidak dimiliki CSV — ia berdiri di antara keduanya, dengan pagar yang bisa diverifikasi mesin.
Apakah konversi TOON ke JSON kehilangan data?
Tidak: objek, array, string, angka, boolean, dan null bersesuaian satu-satu, dan decode(encode(x)) sama persis dengan aslinya. Satu langkah kewaspadaan — normalisasi dulu tipe di luar JSON seperti Date dan NaN; jika tidak, kesetaraan hanya berlaku setelah round-trip.
Bagaimana memverifikasi TOON hasil konversi itu benar?
Dua pemeriksaan: penegasan round-trip (encode lalu decode, kesetaraan mendalam dengan asli) dan inspeksi header secara visual — angka [N] harus sama dengan jumlah baris, dan bidang di {fields} harus sejajar satu-satu dengan nilai dipisahkan koma di setiap baris. Di sisi model, Anda juga bisa memintanya melaporkan panjang array sebelum menjawab.