قراءة JSON كبير في Node.js: التحليل الجاري بـ stream-json والضغط العكسي عمليًا
الخلاصة: قراءة مصفوفة JSON بحجم 186MB بواسطة readFileSync و JSON.parse تدفع الذاكرة إلى ذروة 612MB؛ التحويل إلى streamArray من stream-json يحافظ على المنحنى مستويًا عند 104MB. يُقارن هذا المقال بين أربع استراتيجيات قراءة بالقياسات، ويشرح لماذا ينتج for await الضغط العكسي تلقائيًا، وكيف يفقده حدث data، وكيف تضبط highWaterMark و drain في جانب الكتابة.

عندما يدفع استيراد ملف JSON بحجم 186MB العملية إلى 600MB من الذاكرة، فالمسؤول ليس حجم الملف — JSON.parse قايض النص كله بالرسم البياني للأشياء كله في ضربة واحدة. غيّر استراتيجية القراءة فيصير منحنى الذاكرة مستويًا.
عرَض واحد: ملف 186MB بذروة 612MB
مهام الاستيراد في الخادم هي الموطن الأبرز لهذه المشكلة: مزامنة الطلبات المجدولة، تنظيف السجلات، تحميل التاريخ بالجملة. التنفيذ النمطي يبدو هكذا:
const fs = require('fs');
const raw = fs.readFileSync('./orders.json', 'utf8');
const orders = JSON.parse(raw);
for (const order of orders) await saveToDb(order);
قِسنا هذا النمط على Node 22.13. العينة: مصفوفة من 480,000 سجل طلب، ملف بحجم 186MB بسلاسل وأشياء متداخلة ومصفوفات في الحقول، بمحاكاة بنية أعمال حقيقية. ذروة Maximum resident set size المُقاسة بـ /usr/bin/time -v: يُقرأ الملف في 1.3 ثانية، لكن RSS يبلغ 612MB — أي 3.3 أضعاف الملف. مع الحد الافتراضي لمساحة old space في V8 عند 1.4–2GB، تكفي بضع مهام كهذه بالتوازي ليقضى على الحاوية بـ OOM Kill.
الحساب ليس غريبًا: النص الخام يأخذ نسخة في الذاكرة (نحو 186MB)، والرسم البياني للأشياء بعد parse يأخذ نسخة ثانية (كل مفتاح سلسلة ورأس كل شيء متداخل وكل مصفوفة له كلفة)، وعملية التحليل نفسها تخصص مؤقتًا فوق ذلك. بلوغ ذروة 600MB طبيعي.
السبب الثاني: JSON.parse يقايض النص كله بالرسم كله
عقد JSON.parse هو «أعطني النص الكامل — ترجع لك الرسم الكامل». يطالب بوجود النص كاملًا قبل البدء ويسلم النتيجة عند الانتهاء فقط. لا وجود لأي آلية «أولًا إليك أول 1,000 سجل».
كلفة رسم الأشياء قُيست بندًا بندًا في حساب ذاكرة JSON: كل سلسلة تأخذ مساحة حقيقية، كل مفتاح شيء يأخذ خانة، وعرض المصفوفة يعتمد على أنواع عناصره. بضع عشرات من ميجابايتات JSON تتحول بالعادة إلى ثلاثة إلى خمسة أضعاف بعد التحليل، والذروة تضاف فوقها.
لكن معظم مهام الاستيراد لا تحتاج الرسم كله أبدًا: إدراج سطرًا سطرًا، تصفية سطرًا سطرًا، تحويل سطرًا سطرًا — يمكن تحرير كل سجل حالما يُعالج. ما تحتاجه المهمة هو القدرة «حللت سجلًا — سلّمت سجلًا». وهذا بالضبط تعريف التحليل الجاري.
الحل: streamArray يسلّم سجلًا سجلًا، و for await يمنح الضغط العكسي مجانًا
ينفّذ stream-json المحلل بوصفه Transform stream يستهلك الرموز ولا ينتظر الملف كله أبدًا. عندما يكون المستوى الأعلى مصفوفة، يصدر streamArray() بقيمة {key, value} في لحظة انتهاء تحليل كل عنصر:
const fs = require('fs');
const { chain } = require('stream-chain');
const { parser } = require('stream-json');
const { streamArray } = require('stream-json/streamers/StreamArray');
async function importOrders(filePath) {
const pipeline = chain([
fs.createReadStream(filePath, { highWaterMark: 64 * 1024 }),
parser(),
streamArray(),
]);
for await (const { key, value } of pipeline) {
await saveToDb(value);
}
}
على الملف نفسه البالغ 186MB وبالسجلات نفسها البالغة 480,000 سجلًا، لهذه النسخة ذروة RSS عند 104MB، مستوية طوال المدة. في الذاكرة لا يوجد في كل لحظة سوى «العنصر الحالي + حالة المحلل»؛ السجلات المنتهية تُسترد فورًا.
تفصيلة يسهل فواتها: لا يسحب for await السجل التالي من المحلل قبل اكتمال saveToDb، فيتوقف المحلل عن قراءة الملف. قاعدة بيانات أبطأ، قراءة أبطأ — هذا هو الضغط العكسي، متشكّلًا طبيعيًا، دون سطر شيفرة إضافي واحد. تحليل على dev.to عن استيعاب تغذية نقل بلدية بحجم 4GB يستخدم السلسلة نفسها مع pick({filter:'data'}) ويبلّغ عن منحنى ذاكرة مستوٍ بالمثل.
حين يفشل جانب الكتابة: حدث data بلا توقف يعيد الذاكرة لأعلى
التحليل الجاري يضبط جانب القراءة فقط. إن لم يقبل جانب الكتابة الضغط العكسي، ترتفع الذاكرة من جديد. الفشل الكلاسيكي: الكتابة غير المتزامنة داخل معالج data دون اهتمام بمخزن writable المؤقت:
// خطأ: حدث data + كتابة غير متزامنة، الضغط العكسي مفقود تمامًا
readable.on('data', async (chunk) => {
await slowWrite(chunk); // الجاري لا ينتظر؛ المخزن ينتفخ باستمرار
});
في نمط data يظل الجاري متدفقًا مهما بدا slowWrite بطيئًا، ويتراكم كل شيء في المخزن الداخلي لـ writable. على العينة نفسها البالغة 186MB وجّهنا السجلات إلى Writable بطيء يؤجل 1ms كل مئة chunk. بتجاهل الضغط العكسي بلغت ذروة RSS الـ 407MB؛ مع التعليق عبر await once(sink, 'drain') حين تعيد write() القيمة false — 161MB. فرق 246MB هو حرفيًا بيانات جالسة في مخزن الكتابة.
// صحيح: توقف حين تعيد write() القيمة false، واستأنف عند drain
for await (const { value } of pipeline) {
if (!sink.write(value)) {
await once(sink, 'drain');
}
}
ملاحظتان ميدانيتان إضافيتان: عند تجميع سلاسل الجاري يدويًا، اضبط highWaterMark صراحةً على كل جاري — القيمة الافتراضية 16 في objectMode فضفاضة أكثر من اللازم للأشياء الكبيرة؛ وفضّل pipeline() من stream/promises على pipe(), الذي يتكفل بنشر الأخطاء والتنظيف.
القياسات: ذروة الذاكرة لأربع استراتيجيات
| الاستراتيجية | العينة | ذروة RSS | المدة | الاستخدام |
|---|---|---|---|---|
| readFileSync + JSON.parse | 186MB / 480 ألف | 612MB | 1.3s | ملفات صغيرة، وصول عشوائي |
| streamArray + for await + كتابة DB بطيئة (0.5ms لكل واحدة) | ذاتها | 104MB (مستوية) | على إيقاع قاعدة البيانات | استيعاب سجلًا سجلًا، تحويلات |
| streamArray + كتابة عبر data بلا ضغط عكسي | ذاتها | 407MB | ~10s | المثال الذي لا يُقتدى به |
| streamArray + write()/drain | ذاتها | 161MB | ~10s | الكتابة على القرص أو إعادة الإرسال |
البيئة: Node 22.13، ذروة الذاكرة من /usr/bin/time -v، عينة اصطناعية بحقول بصيغة أعمال، تشغيلات مفردة دون متوسطات، محاكاة كتابة بطيئة بـ setTimeout. هذه الأرقام خلاصة عن رتبة الحجم لهذه العينة، وليست ثوابت عالمية — قِس على بياناتك.
قراءتان تستحقان الانتباه. الاستراتيجية الأولى والثانية تختلفان بستة أضعاف في الذاكرة، بثمن مبادلة «1.3 ثانية» بـ «سرعة قاعدة البيانات». الثالثة والرابعة تختلفان بـ 2.5 ضعف: القراءة الجارية بلا ضغط عكسي على الكتابة تحل نصف العمل فقط.
التشخيص: التأكد من أن الضغط العكسي يعمل فعلًا
مشاكل الذاكرة في الإنتاج لا تُحل بالحدس. مادة من Tencent Cloud عن استقصاء أعطال الضغط العكسي تعطي خطة عملية:
- سجّل مؤقتًا حدثي
'pause'و'resume'على الجاري الحرجة. إن كان خط الأنابيب عالي الحجم لا يتوقف أبدًا، ففي مكانٍ ما تتراكم البيانات في الذاكرة؛ - راقب
writable.writableLength— النمو المستمر يعني أن المخزن لا يجف أبدًا؛ - اعيّن عينات RSS بـ
process.memoryUsage()على فترات وارسم المنحنى، متمايزًا بين «النمو المنحدر» (التراكم) و«الاستقرار المسنن» (التحرر السليم).
دلالة for await تقتضي تناوب حديثي pause وresume؛ إن لم يطلقا أبدًا فابحث عن مستمع data زائد أو await منسيّ.
حين لا يكون البث هو الجواب
البث ليس الحل الافتراضي. لملفات بحجم بضع عشرات من الميجابايتات مع وصول عشوائي بالمفتاح، نداء واحد لـ JSON.parse أبسط وأرخص. فتح ملف كبير في المتصفح مجال مشكلة آخر — كيف تفتح ملف JSON كبيرًا يغطي سلم العارضات. حدود التحليل الجاري واضحة:
- المستوى الأعلى مصفوفة (أو البيانات قابلة للفصل كـ JSONL)، والاستهلاك تسلسلي، بلا نظرة للخلف؛
- حجم الملف غير منضبط أو يتجاوز بهامش heap بمراحل، واستيراد واحد لا يجب أن يضاعف بصمة العملية؛
- للمستهلك فجوة سرعة طبيعية (كتابة في قاعدة البيانات، نداءات API في اتجاه التيار)، فالضغط العكسي لازم لا خرطوم بأقصى تدفق.
حين تكون بنية المستوى الأعلى غير منتظمة، انظر أولًا إلى البنية في أداة المحلل والمنسق JSON; المعادل سطري الأوامر مغطى في jq للـ JSON الكبير — jq --stream و streamArray فكرة واحدة في زمني تشغيل اثنين.
الأسئلة الشائعة
بكم يبطّئ stream-json مقارنة بـ JSON.parse؟
في التحليل الخالص يفوز JSON.parse: 1.3 ثانية لعينة 186MB مقابل نحو 7 ثوانٍ لـ streamArray بلا تأخير كتابة (تحليل بالرموز زائد بناء الأشياء سجلًا سجلًا). ربح البث يكمن كليًا في جانب الذاكرة: الذروة تنزف من 612MB إلى 104MB. الاستيراد محدود بالكتابة في قاعدة البيانات على أي حال، فدفع بضع ثوانٍ تحليلًا إضافية مقابل هامش ذاكرة بستة أضعاف عادةً صفقة موفقة؛ داخل استجابات API بالميلي ثانية، لا.
هل ضغط for await العكسي هو ذاته pause/resume اليدويان؟
دلاليًا نعم: for await يعلّق الجاري القابل للقراءة ما دام جسم الحلقة معلقًا، بما يعادل نداء pause() حين تعيد write() القيمة false ونداء resume() عند drain. الفرق: آلية اللغة تتولى الدفاتر ولا تنسى شيئًا؛ التوصيل اليدوي يفقد الضغط العكسي للسلسلة كلها بفوات موضع واحد.
ماذا لو كان المستوى الأعلى كائنًا واحدًا ضخمًا؟
يوفر stream-json أداة streamObject() (تُصدر بالمفتاح) ومرشح Pick (يحلل الشجرة الفرعية المختارة فقط). إن غنيتك بعض الحقول، يقلّص Pick مع JSONPath الرسم كله إلى الشجرة الفرعية المطلوبة. المدخل متعدد الوثائق (JSON Lines، متتاليات JSON) يُفضّل فصله سطرًا سطرًا ومعالجته وثائق مستقلة.
كيف أكتب النتيجة بصيغة JSONL أو أعيد إرسالها للاتجاه الهابط؟
جانب الكتابة هو سؤال الضغط العكسي ذاته: fs.createWriteStream و http.request كلاهما يطالبان بفحص قيمة إرجاع write() وانتظار once(stream, 'drain') عند false — أو وصّل writable بـ pipeline(). التحقق بسيط: منحنى RSS بعد تشغيلة واحدة يجب أن يكون مستقرًا و writableLength لا ينبغي أن يواصل النمو.
ما أسرع مراقب ذاكرة لمهمة استيراد؟
النسخة الدنيا: مؤقّت يأخذ عينات process.memoryUsage().rss كل 100ms إلى مصفوفة ويطبع الأقصى في النهاية. أدق: /usr/bin/time -v node task.js يعطي مباشرةً Maximum resident set size. في الحاويات ضع خط الإنذار عند 70% من حد الذاكرة تاركًا هامشًا لـ GC.