الشبكات العصبونية المتناثرة SPARSE NEURAL NETWORKS

ما هي الشبكات العصبونية المتناثرة؟

عبارة عن شبكات عصبونية ذات بُنية وديناميكية مقيدة بهدف توفير الموارد، فمن المعروف أنه في الشبكات العصبونية التقليدية يرتبط كل عصبون في طبقة ما مع جميع العصبونات في الطبقة اللاحقة، ومع ازدياد حجم الشبكة سيزداد عدد التمثيلات المطلوبة والذي بدوره سيزيد حجم نموذج التدريب، الأمر الذي يتطلب مصادر وقدرات معالجة كبيرة للغاية، ولحل المشكلة تم تطوير الشبكات العصبونية المتناثرة التي يرتبط فيها العصبون الواحد مع عدد محدد فقط من العصبونات الأخرى.

استلهم الباحثون الشبكات العصبونية المتناثرة من فكرة أنّ 2% فقط من الخلايا العصبية لدى البشر تقوم بإطلاق السيالة العصبية في أي وقتٍ كان؛ وهذا النشاط متناثر. وقد طبقوا هذه الفكرة على شبكات التعلم العميق وحصلوا على نتائج مذهلة، مثل تحقيق التسريع بمقدار 50 ضعفاً مقارنة بالشبكات غير المتناثرة، كما أتاح استخدام مفهوم التناثر الحصول على شبكات أكثر قوة وأقل استهلاكاً للطاقة.