JSON Toolkit

একই JSON, দুটি রায়: পার্সারের পার্থক্য এবং ভ্যালিডেশনের বিশ্বাসের সীমানা

সংক্ষেপে: একটি ভ্যালিডেটর ডকুমেন্ট গ্রহণ করে আর পরের সার্ভিস ক্র্যাশ করলে, সাধারণত দুটি পার্সার একই টেক্সট নিয়ে দ্বিমত করেছে। এই নিবন্ধে ডুপ্লিকেট কী, NUL বাইট, অবৈধ UTF-8, NaN ও শুরুর শূন্য বাস্তব রানটাইমে তুলনা করা হয়েছে, ব্যাখ্যা করা হয়েছে CVE-2026-33948 কীভাবে দ্বিমতকে আক্রমণের পৃষ্ঠে পরিণত করেছে, এবং দেখানো হয়েছে প্রতিটি সীমানায় কীভাবে একজন আরবিটার নির্ধারণ করতে হয়।

Advanced~6 মিনিট পড়াপ্রকাশ 2026-11-11আপডেট 2026-11-11
কভার যেখানে দুটি টুল একই JSON ডকুমেন্টে বিপরীত রায় দিচ্ছে

ভ্যালিডেশন পাস করা ঠিক একটি কথা প্রমাণ করে: টেক্সটটি ওই পার্সার, ওই পলিসির অধীনে গৃহীত হয়েছে। পার্সার বদলান, রায়ও বদলাতে পারে।

লক্ষণ: টুল A পাস করায়, টুল B ফেলতে দেয়

সবাই যে দৃশ্য দেখেছে। একটি API রেসপন্স অনলাইন ফরম্যাটারে পেস্ট করলে সবুজ টিক পায়। একই পেলোড পরের সার্ভিসে পৌঁছে এক্সসেপশন ছোড়ে। দুটি পার্সার পাশাপাশি রেখে অক্ষরে অক্ষরে মেলালে সাধারণত কেউই "ভুল" নয় — ডেটা ঠিক সেই বিন্দুতে নেমেছে যেখানে দুই ইমপ্লিমেন্টেশন দ্বিমত করে।

এমন বিন্দু বেশি নেই, কিন্তু প্রতিটিই প্রচলিত। নিচের টেবিলে উচ্চ-ফ্রিকোয়েন্সি ইনপুটের প্রকৃত আচরণ লেখা হলো (Node 22 JSON.parse, Python 3.11 স্ট্যান্ডার্ড json, jq 1.8 এবং পরিচিত অনলাইন ভ্যালিডেটরের বিরুদ্ধে পরীক্ষিত):

ইনপুট Node JSON.parse Python json.loads jq মন্তব্য
{"a":1,"a":2} ডুপ্লিকেট কী গ্রহণ করে, শেষটি থাকে গ্রহণ করে, শেষটি থাকে গ্রহণ করে, শেষটি থাকে RFC 8259 শুধু SHOULD বলে; চারটিই ছেড়ে দেয়
{"n":NaN} ত্রুটি গ্রহণ করে ত্রুটি Python স্ট্যান্ডার্ড লাইব্রেরি ডিফল্টে গ্রহণ করে — সবচেয়ে নীরব ফাঁদ
{"n":01} শুরুর শূন্য ত্রুটি ত্রুটি ত্রুটি সবাই ফেলতে দেয়, তবে ত্রুটির অবস্থান আলাদা
"中文" GBK বাইট হিসেবে সংরক্ষিত ত্রুটি বা ভাঙা লেখা এনকোডিংয়ের উপর নির্ভরশীল ত্রুটি RFC UTF-8 চায়, কিন্তু ডিকোডিং IO স্তরের কাজ
{"a":1} BOM-সহ ত্রুটি গ্রহণ করে (utf-8-sig) ত্রুটি BOM কে খুলে নেয়, সে-ই ঠিক করে
কমেন্ট, একক উদ্ধৃতি, শেষে কমা ত্রুটি ত্রুটি ত্রুটি শুধু JSON5/JSONC পার্সার গ্রহণ করে

দ্বিতীয় সারিটি দেখুন: json.loads('{"cpu":NaN}') Python-এ বৈধ। স্ট্যান্ডার্ড লাইব্রেরি পিছমোড় সামঞ্জস্যের জন্য ইচ্ছাকৃতভাবে NaN/Infinity গ্রহণ করে, আর অনেক পাইপলাইন এই আবর্জনা লাইনগুলোকে স্বাভাবিক রেকর্ড ধরে গণনা করেছে, দূষণ বুঝতেই পারেনি। ব্লক করতে সুস্পষ্ট parse_constant আর্গুমেন্ট লাগে — কোড নিচে।

পার্থক্য কোথা থেকে আসে: স্পেসিফিকেশনের ফাঁক ও ইমপ্লিমেন্টেশনের সিদ্ধান্ত

RFC 8259 অস্পষ্ট নয়; তিনটি অঞ্চল ইচ্ছাকৃতভাবে "ইমপ্লিমেন্টেশনের হাতে ছেড়ে দেয়", আর প্রতিটি ইমপ্লিমেন্টেশন সেগুলো নিজের মতো পূরণ করে।

প্রথমত, অবজেক্ট নামের অনন্যতা। ধারা ৪ বলে নামগুলো SHOULD অনন্য হবে — সুপারিশ, নিয়ম নয়। তাই ডুপ্লিকেট কী সিনট্যাক্স ত্রুটি নয়, আর পার্সাররা সবখানে "শেষটি জেতে" বেছে নেয়। বিজনেস ভ্যালিডেটর তখন শুধু টিকে থাকা মান দেখে; প্রেরক প্রথমে যে মান পাঠিয়েছিল, সেটি কোনো ত্রুটি বা লগ লাইন ছাড়াই হারিয়ে গেছে।

দ্বিতীয়ত, সংখ্যা। গ্রামার শুধু রূপ int frac exp ঠিক করে; মাত্রা ইমপ্লিমেন্টেশনের হাতে। JavaScript সবকিছু IEEE 754 ডাবল দিয়ে ঠেলে দেয়, তাই 9007199254740993 হয়ে যায় ...992। jq 1.8 থেকে দশমিক লিটারেল বিশ্বস্তভাবে রাখে, কিন্তু যেকোনো অঙ্ক আবার ডাবলে ফিরে যায়। একই ডকুমেন্ট তুলনা, সংরক্ষণ ও পরিবহনে তিন রকম মান দেখাতে পারে।

তৃতীয়ত, UTF-8 ও অদৃশ্য অক্ষর। স্পেসিফিকেশন চায় আদান-প্রদানের JSON UTF-8 হোক, কিন্তু ফাইল কীভাবে খোলা হবে, BOM খোলা হবে কি না, অবৈধ বাইটের সাথে কী হবে — এসব IO স্তরের সিদ্ধান্ত। একই বাইট স্ট্রিম ভিন্ন রায় দেয় অনুযায়ী Python এটি utf-8 খুলুক না utf-8-sig।

চতুর্থ উৎস শিথিল ডায়ালেক্ট। JSON5 কমেন্ট, একক উদ্ধৃতি ও শেষে কমা অনুমতি দেয়; JSONC VS Code ইকোসিস্টেমে একই নিয়ম শিথিল করে। সহানুভূতিশীল পার্সারে পার্স করা কনফিগ আর কঠোর পার্সারে পার্স করা API — এক টিমের ভেতরেই সবচেয়ে প্রচলিত বিচ্যুতি।

CVE-2026-33948: যখন দ্বিমত আক্রমণের পৃষ্ঠ হয়ে ওঠে

পার্সারের পার্থক্য সাধারণত UX-এর উপদ্রব। "ভ্যালিডেশন" ও "পার্সিং" দুটি ভিন্ন ইমপ্লিমেন্টেশনে চললেই সেগুলো আক্রমণের পৃষ্ঠ হয়ে যায়। ২০২৬ সালে প্রকাশিত CVE-2026-33948 একটি পাঠ্যপুস্তকীয় উদাহরণ: jq-এর 1.8.2-এর আগের সংস্করণগুলো ফাইল থেকে JSON পড়ার সময় এমবেডেড NUL বাইট (\0) মেনে নিত, ফলে একই ইনপুট দুটি রায় দিত — ভ্যালিডেশন ধাপ মনে করত কন্টেন্ট সেখানেই শেষ, অথচ আসল প্রসেসিং তার পার হয়ে পড়ত। বাইপাস সম্পূর্ণ। GitHub-এর সিকিউরিটি অ্যাডভাইজরি সমাধান নিশ্চিত করে: 1.8.2-এ আপগ্রেড।

শিক্ষা অনুমান করুন: যেকোনো "আগে ভ্যালিডেট, পরে পার্স" চেইনে, দুই ধাপ ভিন্ন ইমপ্লিমেন্টেশন বা কনফিগ ব্যবহার করলে, আক্রমণকারী এমন ইনপুট বানাতে পারে যা ভ্যালিডেটর ফেলতে দেবে আর পার্সার গ্রহণ করবে — চেক পেরিয়ে পেলোড ঢুকে যাবে। একই কাঠামো গেটওয়েতেও বলে — API7-এর যুক্তি, স্ট্রিক্ট পার্সিং API কন্ট্রাক্টে লিখে রাখা উচিত, কারণ পার্স সেমান্টিক্স কন্ট্রাক্টের অংশ, কোনো ইমপ্লিমেন্টেশনের ব্যক্তিগত আচরণ নয়। গেটওয়ে এক নিয়মে রিকোয়েস্ট ফেলে দেয় আর ব্যাকএন্ড সার্ভিস অন্য পার্সারে একই বডি মেনে নেয় — কন্ট্রাক্ট তখনই ভেঙেছে।

সেলফ-চেক এক কমান্ডে হয় — নিশ্চিত করুন প্রতিটি ধাপে একই jq সংস্করণ চলছে, এই ফিক্সসহ:

jq --version
# jq-1.7.1  ← ঝুঁকিপূর্ণ, আপগ্রেড করুন
# jq-1.8.2  ← ঠিক করা

ডুপ্লিকেট কী: শেষ মানটি চুপিচুপি প্রথমটি গিলে ফেলে

ডুপ্লিকেট কী আলাদা অধ্যায় পাওয়ার যোগ্য, কারণ এটিই একমাত্র সীমানা যা প্রতিটি প্রধান পার্সার মেনে নেয়, অথচ প্রায় প্রতিটি ডেভেলপার ভাবেন এটি ত্রুটি দেয়।

import json

text = '{"role": "guest", "role": "admin"}'
data = json.loads(text)
print(data)          # {'role': 'admin'}
print("guest" in data.values())  # False: প্রথম মানটি চলে গেছে

ওই টেক্সট সিগনেচার যাচাই বা পারমিশন সিদ্ধান্তে যেত, আক্রমণকারী একটি হুবহু নামের ফিল্ড জুড়ে অধিকার ওভাররাইট করতে পারত, আর আপনার ভ্যালিডেশন কোড শুধু চূড়ান্ত মান দেখত। Node-এর JSON.parse একইভাবে আচরণ করে। নীরবে ওভাররাইটের বদলে শনাক্ত করতে, Python object_pairs_hook মেনে নেয়:

from collections import Counter

def reject_dup(pairs):
    counts = Counter(k for k, _ in pairs)
    dup = [k for k, c in counts.items() if c > 1]
    if dup:
        raise ValueError(f"duplicate keys: {dup}")
    return dict(pairs)

data = json.loads('{"a":1,"a":2}', object_pairs_hook=reject_dup)
# ValueError: duplicate keys: ['a']

RFC 8259-এর ধারা ৪ সরাসরি বলে: ইন্টারঅপারেবিলিটির জন্য নামগুলো SHOULD অনন্য হওয়া। সেই SHOULD-কে ভ্যালিডেশন নিয়মে রূপান্তরের খরচ এক পাস, আর এতে "দুই টুল, দুই রায়"-এর সবচেয়ে প্রচলিত উৎস মুছে যায়।

সমাধান: প্রতিটি সীমানায় একজন আরবিটার

মেরামত নয় "আরও কঠোর পার্সারে যাওয়া"। মূল কথা প্রতিটি সীমান্ত বিন্দুকে সুস্পষ্ট, লিখিত পলিসি দেওয়া — এবং ভ্যালিডেশন ও এক্সিকিউশনকে একইটি ব্যবহার করানো। নিচের টেবিল রিভিউ চেকলিস্ট হিসেবে কাজ করে:

সীমানা শিথিল ডিফল্ট প্রস্তাবিত রায় প্রতিনিধিত্বমূলক কনফিগ
ডুপ্লিকেট কী শেষটি জেতে প্রত্যাখ্যান Python object_pairs_hook; Go-র json/v2 ডিফল্টে প্রত্যাখ্যান করে
NaN / Infinity Python গ্রহণ করে প্রত্যাখ্যান Python parse_constant যা এক্সসেপশন ছোড়ে
অজানা মেম্বার নীরবে উপেক্ষিত কন্ট্রাক্ট অনুযায়ী সিদ্ধান্ত Go json/v2 RejectUnknownMembers(true)
অবৈধ UTF-8 ইমপ্লিমেন্টেশনভেদে প্রত্যাখ্যান ডিকোড স্তরে সুস্পষ্ট বাইট-স্ট্রিম যাচাই
BOM যে খুলে নেয় সে-ই ঠিক এন্ট্রিতে একবার খুলে নিন স্থির utf-8-sig বা পার্সের আগে অপসারণ
ভ্যালিডেশন ও এক্সিকিউশন আলাদা প্রত্যেকে নিজের জন্য এক ইমপ্লিমেন্টেশন, এক কনফিগ ভ্যালিডেটর প্রোডাকশন পার্সার পুনর্ব্যবহার করে

Python-এ দুটি সবচেয়ে বিপজ্জনক ডিফল্ট বন্ধ করা এক কলের ব্যাপার:

import json

def _reject(value):
    raise ValueError(f"non-standard constant: {value}")

data = json.loads(
    raw,
    parse_constant=_reject,          # NaN / Infinity ব্লক
    object_pairs_hook=reject_dup,    # ডুপ্লিকেট কী ব্লক
)

Go-তে encoding/json/v2 (alias jsonv2) পুরো পলিসি সুস্পষ্ট করে: RejectUnknownMembers(true) অজানা ফিল্ড প্রত্যাখ্যান করে, আর ডুপ্লিকেট নাম ও অবৈধ UTF-8 ডিফল্টেই প্রত্যাখ্যাত হয়। GopherForge-এর প্র্যাকটিস পেজ ক্রম নিয়ে সুনির্দিষ্ট: ইনপুট বাইট সীমাবদ্ধ করুন, সুস্পষ্ট পলিসিতে ডিকোড করুন, ডোমেন যাচাই করে অনুমোদন দিন, তারপরই সাইড-এফেক্ট অনুমত দিন — এবং প্রতিটি ফেইল-পাথ ফিক্সচারে চালাতে হবে, বদলে যাওয়া এরর স্ট্রিং দেখে রায় দিতে নেই।

পার্স পলিসি কন্ট্রাক্ট ও কর্পাসে নিয়ে যান

পলিসির ড্রিফট থেকে সুরক্ষা দরকার। দুটি কাজই যথেষ্ট।

প্রথমত, "আমরা কী গ্রহণ করি, কী প্রত্যাখ্যান করি" ইন্টারফেস ডকুমেন্টেশনে ফিল্ড ডেফিনিশনের পাশে লিখুন। API7 স্থির এরর কোডের পরামর্শ দেয় যাতে ক্লায়েন্ট স্থায়ী কন্ট্রাক্ট ত্রুটি ও ক্ষণস্থায়ী ইনফ্রা বিপর্যয় আলাদা করতে পারে — প্রত্যাখ্যাত ডুপ্লিকেট কী যেন গেটওয়ে টাইমআউটের মতো না দেখায়, নইলে রিট্রাই ঝড় ডেকে আনবেন। রিকোয়েস্টের পুরো বডি লগে ফেলবেন না: কাঁচা পেলোডে ক্রেডেনশিয়াল থাকতে পারে, আর কিছু অবৈধ বাইট সিকোয়েন্স প্রদর্শনে অনিরাপদ।

দ্বিতীয়ত, একটি অস্পষ্টতা-কর্পাস তৈরি করুন। উপরের টেবিলের প্রতিটি সারিকে টেস্ট ফিক্সচারে রূপ দিন: ডুপ্লিকেট কী, ভিন্ন কেসিংয়ের কী, অজানা মেম্বার, অবৈধ UTF-8, BOM, শেষে আরেকটি মান, খালি ইনপুট। CI-তে দুটি বিষয় জোর করুন: অবৈধ ইনপুট ব্যবহারযোগ্য আংশিক মান না তৈরি করেই ব্যর্থ হবে, আর গৃহীত ইনপুট এনকোড/ডিকোড রাউন্ড ট্রিপে অপরিবর্তিত থাকবে। পার্সার আপগ্রেডের সময় প্রোডাকশন-আকৃতির নমুনা সুরক্ষিত পরিবেশে তুলনা মোডে চালান এবং গ্রহণ-সেটের পরিবর্তনকে প্রকৃত কন্ট্রাক্ট পরিবর্তন হিসেবে রিভিউ করুন, পুরনো ফিক্সচার সব ঢাকে এমন অনুমানে নয়।

এই কাজগুলো CI-তে JSON ভ্যালিডেশন: jsonlint, ajv ও jq পাইপলাইন-কে পূরক করে, যেখানে সিনট্যাক্স ও স্কিমা ভ্যালিডেশন পাইপলাইনে কীভাবে বসে তা ব্যাখ্যা করা হয়েছে; এই নিবন্ধ প্রথম নোডের আগের বিষয় — পার্সার নিজে — কভার করে। প্রোটোটাইপ পল্যুশন ও XSS-এর মতো ইনজেকশন ঝুঁকি JSON নিরাপত্তা ঝুঁকি চেকলিস্ট-এ আছে; পার্সার-স্তরের বিশ্বাস-চেইন সমস্যা — ডুপ্লিকেট কী ও NUL বাইট — ঠিক ওই তালিকার শূন্য স্তর। সাধারণ সিনট্যাক্স ত্রুটি শনাক্ত করতে দেখুন RFC 8259 থেকে JSON গ্রামারের সীমানা।

লঞ্চ-পূর্ব চেকলিস্ট

  1. পুরো চেইনে পার্সার সংস্করণ সমতা আনুন: jq, রানটাইম, গেটওয়ে, অফলাইন ভ্যালিডেটর — CVE-2026-33948 জাতীয় ফিক্স সবখানে পৌঁছতে হবে;
  2. ডুপ্লিকেট কী ও NaN সুস্পষ্টভাবে প্রত্যাখ্যান করুন: object_pairs_hook ও parse_constant শেয়ারড র‍্যাপারে রাখুন, বিজনেস কোডে কখনো json.loads কাঁদা ডাকবেন না;
  3. অজানা মেম্বার প্রতি-রুটে সিদ্ধান্ত করুন: ফরওয়ার্ড-কম্প্যাটিবল কনজিউমার উপেক্ষা করতে পারে, কমান্ড এন্ডপয়েন্ট RejectUnknownMembers সেট করবে;
  4. CI-তে অস্পষ্টতা-কর্পাস: অন্তত ৮টি ফিক্সচার, প্লাস পার্সার আপগ্রেডের আগে পুরনো-বনাম-নতুন তুলনা রান;
  5. শ্রেণীবদ্ধ ত্রুটি: কন্ট্রাক্ট ও ইনফ্রা ত্রুটির জন্য আলাদা কোড, শুধু দ্বিতীয়টি রিট্রাই করুন।

প্রথম বাক্যে ফিরে যাই: ভ্যালিডেশন পাস মানে "কোনো পার্সার, কোনো পলিসির অধীনে গৃহীত"। সেই পলিসি সুস্পষ্ট করুন — কন্ট্রাক্টে, কর্পাসে, সংস্করণ-পিনিংয়ে — আর "একই JSON, দুটি রায়" অবশেষে মিলিয়ে যাবে।

FAQ

ডুপ্লিকেট কী কি সত্যিই JSON স্পেসিফিকেশনে ত্রুটি?

সিনট্যাক্স ত্রুটি নয়। RFC 8259-এর ধারা ৪ এমনভাবে বলে: নামগুলো SHOULD অনন্য হওয়া — সুপারিশ, বাধ্যবাধকতা নয় — তাই প্রধান পার্সাররা ডুপ্লিকেট মেনে নেয় এবং ডিফল্টে শেষ মান রাখে। স্পেসিফিকেশন ইন্টারঅপারেবিলিটির জন্য অনন্যতা সুপারিশ করে। এটিকে ভ্যালিডেশন ত্রুটি বানানো কন্ট্রাক্ট সিদ্ধান্ত; শনাক্তকরণের খরচ এক পাস।

Python-এর json লাইব্রেরি NaN মেনে নেয় কেন, অথচ JavaScript ত্রুটি দেয়?

Python-এর স্ট্যান্ডার্ড লাইব্রেরি ইচ্ছাকৃতভাবে NaN ও Infinity মেনে নেয় যাতে ঐতিহাসিকভাবে ক্ষতিসহ যে ডেটা ছেড়েছে তা আবার পড়তে পারে। ECMAScript-এর JSON.parse গ্রামার কঠোরভাবে ইমপ্লিমেন্ট করে ও SyntaxError ছোড়ে। Python-এ parse_constant দিলে সেগুলো প্রত্যাখ্যাত হয়, আর এক লাইন কনফিগ দুই রানটাইম সমতা আনে।

CVE-2026-33948 কোন সংস্করণগুলোতে এবং কীভাবে ঠিক করা হয়?

jq-এর 1.8.2-এর আগে, ফাইল থেকে JSON পড়ার সময় এমবেডেড NUL বাইট গৃহীত হত, যার কারণে ভ্যালিডেশন ধাপ ও আসল পার্সার একই ইনপুটে দ্বিমত করত — ভ্যালিডেশন বাইপাস সম্ভব হত। GitHub অ্যাডভাইজরির সমাধান: 1.8.2 বা commit 6374ae0-সহ বিল্ডে আপগ্রেড। স্ক্রিপ্ট ও CI-তে সংস্করণ পিন করুন এবং আপগ্রেডের আগে অস্পষ্টতা-কর্পাস চালান।

আমি এন্ট্রিতে একবার ভ্যালিডেট করি এবং ফলাফল পুনর্ব্যবহার করি — তবুও কি ঝুঁকিতে?

হ্যাঁ, কিন্তু ঝুঁকি সেই এক এন্ট্রি পয়েন্টে কেন্দ্রীভূত হয়। এন্ট্রি পার্সার, তার কনফিগ ও সংস্করণ পিন করা থাকলে, আর অস্পষ্টতা-কর্পাস ডুপ্লিকেট কী, NUL বাইট ও UTF-8 কভার করলে, চেইনের ভেতরে দ্বিতীয় কোনো আরবিটার নেই। বিপজ্জনক টপোলজি হলো এক ইমপ্লিমেন্টেশনে গেটওয়ে ও অন্যটিতে সার্ভিস, বা এক পার্সারে ভ্যালিডেশন ও অন্যটিতে এক্সিকিউশন — তখন রায় দ্বিমতের হাতেই চলে যায়।