TOON-Format-Leitfaden: JSON verschlanken, bevor es in den LLM geht
Fazit: Wenn Sie ein gleichförmiges Array als JSON an ein großes Sprachmodell übergeben, verbrennen Token wiederholte Schlüsselnamen und Klammern. TOON deklariert die Struktur einmalig über eingerückte Objekte und tabellarische Arrays und streamt die Daten zeilenweise. Offizielle Benchmarks zeigen rund 40 % weniger Tokens bei höherer Parse-Genauigkeit. Dieser Leitfaden deckt die Syntax ab, wann die Ersparnis greift, wann eine Konvertierung falsch ist und wie encode und decode eingebunden werden.

Der Syntax-Overhead von JSON ist bei Maschine-zu-Maschine-Übertragung egal — auf der token-abgerechneten Eingabeseite eines LLM ist es echtes Geld: Dasselbe gleichförmige Array wiederholt seine Schlüsselnamen dutzendfach, und jede Klammer und jedes Anführungszeichen kostet ein Stück Budget. TOON erfindet kein neues Datenmodell — es schreibt das JSON-Datenmodell in einer günstigeren Notation neu.
Was TOON ist: eine andere Kodierung von JSON, kein Konkurrent
TOON (Token-Oriented Object Notation) ist ein 2025 erschienenes offenes Format, und die offizielle Positionierung passt in einen Satz: eine kompakte, verlustfreie, menschenlesbare Kodierung des JSON-Datenmodells. Es führt keine neuen Typen ein — Objekte, Arrays, Strings, Zahlen, Booleans und null entsprechen eins zu eins JSON, und decode(encode(x)) ist strikt gleich den Originaldaten (Nicht-JSON-Typen wie Date oder NaN müssen vorher normalisiert werden). Der Roundtrip ist verlustfrei und deterministisch: dieselbe Eingabe erzeugt immer dieselbe Ausgabe — wichtig für reproduzierbare Prompt-Konstruktion.
Da es exakt das JSON-Datenmodell kodiert, ist der richtige Umgang mit TOON die Nutzung als Grenzformat: Die Anwendung arbeitet intern weiter mit JSON, konvertiert einmal unmittelbar vor dem Einfügen der Daten in einen Prompt und nach der Modellantwort zurück. Die offizielle Dokumentation nennt das eine „translation layer“. Die übliche Dateiendung ist .toon; für den HTTP-Transport ist der provisorische Medientyp text/toon, UTF-8.
Ein Suchrauschen-Hinweis: Verwechseln Sie es nicht mit Toon-Shadern aus der Computergrafik. Sie teilen nur das Wort.
Warum JSON auf der LLM-Eingabeseite besonders teuer ist
Nehmen Sie eine Bestellliste, ein Benutzerverzeichnis oder einen Log-Auszug als JSON-Array. Die Tokens gehen an drei Stellen:
- Wiederholte Schlüsselnamen. Fünfzig Bestelldatensätze schreiben
"id","amount"und"status"jeweils fünfzig Mal. Doppelt so viele Daten, doppelter Overhead. - Strukturzeichensetzung. Geschweifte und eckige Klammern, Doppelpunkte und Kommas verbrauchen alle Tokens, und Verschachtelung packt sie dichter.
- Anführungszeichen. Fast jeder Schlüssel und jeder String-Wert ist in doppelte Anführungszeichen eingeschlossen.
Zusammen bedeutet das: Die token-abgerechneten API-Kosten steigen direkt; lange Eingaben stoßen früher an das Kontextfenster-Limit; und bei sehr langen Eingaben lässt das Modell öfter Felder aus oder ordnet sie falsch zu. Das Benchmark auf der offiziellen Startseite: über einen Testdatensatz mit gemischten Strukturen und vier Modellen hinweg rund 40 % weniger Tokens bei steigender Parse-Genauigkeit von 70 % (JSON) auf 74 % (TOON). Ersparnis und Genauigkeit sind hier kein Gegensatz, weil die kompaktere Struktur die Grenzen für das Modell klarer macht.
Syntax: Eingerückte Objekte + tabellarische Arrays
Dieselben Wetterdaten in drei Formen. JSON, etwa 117 Tokens:
{
"location": { "city": "Berlin", "country": "DE", "units": "metric" },
"alerts": ["frost", "wind"],
"forecast": [
{ "day": "Mon", "temp": { "min": -2, "max": 4 }, "condition": "snow", "rainChance": 80 },
{ "day": "Tue", "temp": { "min": 1, "max": 7 }, "condition": "cloudy", "rainChance": 20 },
{ "day": "Wed", "temp": { "min": 3, "max": 11 }, "condition": "sunny", "rainChance": 5 }
]
}
TOON, etwa 66 Tokens:
location:
city: Berlin
country: DE
units: metric
alerts[2]: frost,wind
forecast[3]{day,temp{min,max},condition,rainChance}:
Mon,-2,4,snow,80
Tue,1,7,cloudy,20
Wed,3,11,sunny,5
Drei Formen decken alles ab, und der Serialisierer wählt sie automatisch nach Datenform:
| Form | Passt für | JSON-Entsprechung |
|---|---|---|
| Eingerücktes Objekt | Verschachtelte Objekte | { "location": { ... } }, Einrückung ersetzt Klammern |
| Inline-Array | Arrays von Primitiven | ["frost","wind"], [2] deklariert die Länge |
| Tabellarisches Array | Gleichförmige Objekt-Arrays | Feldnamen stehen nur einmal im Header {day,temp{min,max},...}; jede Zeile enthält nur kommagetrennte Werte |
Gleichförmige verschachtelte Objekte (temp{min,max}) falten sich als verschachtelte Feldgruppe in den Header, die Datenzeilen bleiben flach. Die Anführungsregel ist minimal: Strings werden nur in Anführungszeichen gesetzt, wenn sie Trennzeichen oder Sonderzeichen enthalten oder als Zahlen misslesbar wären — einer der Gründe, warum TOON „kompaktes JSON“ bei der Tokenzahl schlägt. Der entscheidende Unterschied zu YAML: TOON hat explizite Längendeklarationen und Feldheader, die Maschinen prüfen können; der Unterschied zu CSV: Es behält Verschachtelung und Typen.
[N] und {fields}: Struktur-Leitplanken für das Modell
[3] und {day,...} sind nicht nur Token-Ersparnis — sie sind ein prüfbarer Vertrag an das Modell:
- Die Array-Länge lässt das Modell direkt „wie viele Datensätze enthält der Datensatz“ beantworten und legt eine Truncation sofort offen, wenn die Zeilenzahl nicht stimmt.
- Der Feldheader deklariert Namen einmalig; das Modell ordnet Werte nach Position statt die Schlüsselzuordnung in jeder Zeile neu zu raten.
Das ist Prävention — das Gegenteil von Notfallrettung. Ein JSON-Reparierer (siehe Reparatur-Pipeline) rettet Daten, nachdem das Modell kaputtes JSON ausgegeben hat; TOONs Längen- und Felddeklarationen senken die Wahrscheinlichkeit kaputter Daten auf der Eingabeseite. Beides zusammen senkt die Parse-Fehlerrate in der Pipeline-Mitte.
Wann man TOON nicht einsetzen sollte
Der offizielle Abschnitt „When Not to Use TOON“ ist erfrischend deutlich. Vier Szenarien, die man eins zu eins übernehmen kann:
| Szenario | Warum nicht | Bessere Wahl |
|---|---|---|
| Tief verschachtelte, ungleichförmige Strukturen | Tabellarische Eignung ≈ 0 %; kompaktes JSON gewinnt oft | Kompaktes JSON |
| Semi-gleichförmige Arrays | Unregelmäßige Felder, Ersparnis schrumpft auf fast null | JSON-Pipeline behalten |
| Rein tabellarische Daten | TOON kostet 5–10 % Overhead gegenüber CSV | CSV |
| Latenzempfindlich (lokale/quantisierte Modelle) | Weniger Tokens ≠ schnellere Inferenz | TTFT zuerst messen |
Semi-gleichförmig wird über die tabellarische Eignung (tabular eligibility) beurteilt: offiziell sind bei 40–60 % Eignung die Ersparnisse schon marginal. Eine Formmigration hat echte Kosten — Parser, Validatoren, nachgelagerte Skripte ändern sich alle — also: Wenn der Gewinn unter zehn Prozent liegt, gar nicht erst anfassen.
Verdrahtung: encode / decode und die CLI
Die offizielle TypeScript-Bibliothek, beide Richtungen:
npm install @toon-format/toon
# Batch-Konvertierung geht auch über die CLI
npx @toon-format/cli input.json -o output.toon
import { encode, decode } from '@toon-format/toon'
const data = {
users: [
{ id: 1, name: 'Ada', role: 'admin' },
{ id: 2, name: 'Bob', role: 'user' },
],
}
const toon = encode(data)
// users[2]{id,name,role}:
// 1,Ada,admin
// 2,Bob,user
const back = decode(toon) // strikt gleich den Originaldaten
Python-, Go-, Rust- und .NET-Implementierungen existieren; prüfen Sie vor der Übernahme die Implementierungsliste im offiziellen Spec-Repository und ob sie die verwendeten Syntaxfeatures abdeckt. Vor dem Produktionseinsatz eine Roundtrip-Assertion ausführen: decode(encode(original)) muss tiefengleich zum Original sein, sonst steckt in Implementierung oder Daten ein Problem.
Wie es in Ihre bestehende JSON-Toolchain passt
TOON ändert nichts an Ihrer JSON-Pipeline; es fügt eine Grenzkonvertierung hinzu. Empfohlene Reihenfolge:
- Sorgen Sie zuerst für sauberes JSON. Kaputtes JSON erzeugt kaputtes TOON. Syntaxvalidierung und Reparatur übernimmt der JSON-Reparatur-Leitfaden.
- Prüfen Sie die Datenform. Haben die Objekte im Array alle Felder? Erst normalisieren — oder feststellen, dass sich die Konvertierung nicht lohnt.
- Konvertieren und stichprobenartig prüfen. Nach der Konvertierung eine Datenzeile mit dem Original-JSON vergleichen, um die Feldausrichtung zu bestätigen.
- Nutzen abschätzen. Für gleichförmige Listen passt das zeilenweise Denken aus dem JSONL-Handbuch zur Streaming-Konvertierung; für das Verhältnis von Größe zu Kosten macht die wahre Beziehung zwischen JSON-Minify und Gzip dieselbe Botschaft: erst messen, dann umwandeln.
Wird TOON JSON ersetzen?
Nein. TOON kodiert das JSON-Datenmodell; sein Platz ist die Prompt-Grenze, während Speicherung und Austausch zwischen Programmen JSON bleiben. Nutzen Sie TOON für das Segment „dem Modell füttern“ und lassen Sie den Rest der Kette unberührt.
Wie verhält sich TOON zu YAML und CSV?
Objekte ähneln YAML (Einrückung statt Klammern); gleichförmige Arrays ähneln CSV (Header einmal deklariert, Zeilen gestreamt). Aber TOON hat explizite Längendeklarationen, die YAML fehlen, und behält Verschachtelung und Typen, die CSV fehlen — es steht zwischen beiden, mit maschinenprüfbaren Leitplanken.
Verliert die Konvertierung von TOON zu JSON Daten?
Nein: Objekte, Arrays, Strings, Zahlen, Booleans und null entsprechen eins zu eins, und decode(encode(x)) ist strikt gleich. Einzige Vorsicht: Nicht-JSON-Typen wie Date und NaN zuerst normalisieren, sonst stimmt die Gleichheit erst nach dem Roundtrip.
Wie prüfe ich, ob das konvertierte TOON korrekt ist?
Zwei Kontrollen: eine Roundtrip-Assertion (encode, dann decode, tiefengleich zum Original) und eine Sichtprüfung des Headers — die Zahl in [N] muss der Zeilenzahl entsprechen, und die Felder in {fields} müssen eins zu eins mit den kommagetrennten Werten jeder Zeile ausgerichtet sein. Auf der Modellseite können Sie zusätzlich verlangen, dass es vor der Antwort die Array-Länge meldet.