مصفوفة كاميرات على اللوحة: كيف يشغّل FPGA/MPSoC استنتاج الذكاء الاصطناعي لحظياً على الحافة

حين تُعاد أربع كاميرات على خط الإنتاج كاملةً إلى خادم مركزي للكشف، لا تكفي السعة ولا ينضغط زمن الاستجابة. الأصح: التناظر والمعالجة المسبقة والاستنتاج على اللوحة نفسها، ولا يُعاد إلا النتائج ومعاينة مضغوطة. تقسم المقالة بنية الذكاء الاصطناعي الطرفية على دور PS/PL، مع ميزانية السعة ومسار نشر النموذج.

1. لماذا يُنقل استنتاج الذكاء الاصطناعي إلى اللوحة

النهج المركزي القديم عند تعدد الكاميرات: كل كاميرا على محول، والتدفقات الخام إلى خادم مركزي، ووحدة GPU في الخادم تجري الكشف على الكل. بعدد قليل من الكاميرات يعمل، وعند زيادة القنوات تظهر مشكلتان: عرض النطاق الخام غير المضغوط ضخم، والاستنتاج المركزي يضيف زمن ذهاب وعودة شبكي وطوابير لا مفر منها.

أولاً حساب عرض النطاق الخام: تدفق واحد 1080p30 YUV422 (بايتان لكل بكسل) = 1920×1080×2×30 ≈ 124 م.ب/ث ≈ 995 م.بت/ث؛ وتتراكم أربع قنوات إلى نحو 4 ج.بت/ث غير مضغوط، قبل فك الترميز والطوابير والتشفير في الخادم. عند هذا المستوى يصعب خفض تكلفة القناة وزمن الاستجابة الكلي للبنية المركزية.

يعكس النهج المدمج ذلك: المعالجة المسبقة والاستنتاج محلياً على اللوحة، ولا يخرج إلا نتائج مهيكلة (الإطار والفئة والثقة، بضعة كيلوبايت لكل إطار) ومعاينة مضغوطة واحدة؛ البكسلات الخام لا تغادر اللوحة.

2. بنية الذكاء الاصطناعي على اللوحة: دور كل من PS وPL

يضع Zynq UltraScale+ MPSoC معالج A53 رباعي النوى (PS) والمنطق القابل للبرمجة (PL) في شريحة واحدة، فيطابق «الجدولة والنظام» مع «المسارات المتوازية للبيانات».

1. PL: خط التناظر والمعالجة المسبقة

تدخل إشارات الكاميرا (MIPI CSI أو USB أو GigE) إلى PL، حيث يجري التوازي العتادي أولاً إزالة الضجيج والتحجيم وتحويل فضاء الألوان وتطبيع الصيغة. هذه العمليات بكسلية بطبيعتها ومتوازية، فينجزها خط PL أسرع بكثير من وحدة معالجة تسلسلية ويُحرّر A53.

2. PL: الاستنتاج المتوازي للنماذج المكمّمة

يجري الالتفاف والتجميع والتنشيط في PL كمصفوفة متوازية من شرائح DSP؛ الأوزان في BlockRAM/UltraRAM على الرقاقة أو DDR4 جانب PL، وتتدفق خرائط الميزات عبر مصفوفة الضرب والتراكم. بعد التكميم INT8 ينخفض حجم النموذج وحركة الذاكرة بشدة. لا يشغّل PL نظام تشغيل؛ خطه الحتمي يحافظ على إيقاع ثابت لكل إطار.

3. PS: الجدولة ولينوكس وتقرير النتائج

يعمل A53 رباعي النوى في PS تحت لينوكس لجدولة المهام والتواصل مع المضيف وتعبئة النتائج؛ ويضغط مشفّر VCU المدمج معاينة واحدة إلى H.264/H.265 ويرسلها عبر الشبكة عند الحاجة للمشاهدة فقط.

3. ميزانية السعة: لماذا لا يُعاد تدفق الكاميرات الخام

تخفض المعالجة على اللوحة السعة الصادرة من ج.بت/ث إلى م.بت/ث أو حتى ك.ب/ث؛ فيستقبل الخادم المركزي النتائج فقط ولا يحجز فك ترميز واستنتاجاً لكل كاميرا. هذا الحد «البكسلات الخام على اللوحة، والنتائج فقط تخرج» هو الميزة الجوهرية للنهج الطرفي.

4. نشر النموذج واختيار اللوحة

1. التكميم والتشذيب أولاً

كمّم النموذج إلى INT8 واقطع الأوزان وقلّصها لتصغير الحجم؛ ثم اقسم خطوط الطبقات حسب ذاكرة الرقاقة وسعة DSP كي لا تُدخل جدول الأوزان كاملاً دفعة واحدة. يجمع تدفق شبيه بـ Vitis-AI النموذج ويكمّمه وينشره على وحدات تسريع PL، بينما يظل PS-Linux يستضيف التطبيق.

2. اختر اللوحة بعدد القنوات وقوة الحوسبة

أدوار لوحات الرؤية الطرفية: نموذج أولي للمبتدئين / قوة متعددة القنوات / توازي FPGA خالص

• نموذج طرفي للمبتدئين (DUUZ4EV، طلب سعر): XCZU4EV، 192K خلية منطقية، 728 DSP، VCU مدمج، PS 4GB + PL 4GB DDR4؛ لنماذج الذكاء الاصطناعي بكاميرا أو اثنتين والتحقق السريع على PYNQ.
• قوة عالية متعددة القنوات (DUUZ5EV، طلب سعر): XCZU5EV، 256K خلية منطقية، 1248 DSP، 16 زوج GTH، توسعة FMC-LPC؛ منصة للمزيد من القنوات والنماذج الأثقل.
• توسعة FPGA خالص متوازية (XCKU15P، ¥15,999): لوحة Kintex UltraScale+ للمعالجة المتوازية المتعددة الكاميرات وتجميع الواجهات عالية السرعة دون نظام PS.

استنتاج الذكاء الاصطناعي الطرفي ليس خادم GPU مصغّراً، بل تقسيم سلسلة «التناظر–المعالجة المسبقة–الاستنتاج–التقرير» كلها على اللوحة: PL يحمل المعالجة البكسلية المتوازية والالتفاف المكمّم، PS يحمل الجدولة والتواصل، وVCU يضغط المعاينة على الجانب. البكسلات الخام تبقى على اللوحة وتخرج النتائج فقط، فينفرج كل من السعة وزمن الاستجابة.