معدل التعلم Learning Rate

ما هو معدل التعلم؟

هو معامل فائق يحدد مقدار تغييرات المعالم التي تطرأ على النموذج في أثناء عملية التدريب. وكلما ارتفعت قيمة معدل التعلم، زادت تحديثات الوزن التي يطبقها النموذج على نفسه بعد كل دورة تدريب.

أهمية معدل التعلم

يؤدي معدل التعلم دوراً أساسياً في عملية التدريب، حيث يؤثّر بشكلٍ مباشر في سرعة التدريب واستقرار النتائج. وإليك هاتين الحالتين:

• عندما يكون معدل التعلم عالياً تصبح عملية التعلم أسرع ولكن يقل استقرارها.
• عندما يكون معدل التعلم منخفضاً تكون عملية التعلم أبطأ وتطول مدة التدريب، ولكنها تحقق نتائج أكثر ثباتاً.

ليكن لدينا مجموعة بيانات التدريب بحيث يتم تدريب الشبكة العصبونية للحصول على مخرجات معينة، يتم التحكم في معدل التعلم أو السرعة التي يتعلم بها النموذج بواسطة مجموعة من المعاملات الفائقة، بحيث يدير مقدار الخطأ ليتم تحديث أوزان النموذج في كل مرة يتم تحديثه، وتتكرر هذه العملية حتى تنتهي دورات التدريب.

أساليب تغيير معدل التعلم

يمكن تغيير معدل التعلم باستخدام عدة طرق، تعرّف إليها:

• معدل التعلم المتناقص: في هذه الطريقة، يتم تقليل معدل التعلم بمرور الوقت أو بناءً على ظروف محددة، والغاية منها تمكين النموذج من التعلم بشكلٍ أفضل عندما يكون قريباً من الحل النهائي.
• جدولة انخفاض معدل التعلم: في هذه الطريقة يتم تغيير معدل التعلم بشكل مجدول ومحدد مسبقاً خلال عملية التدريب. على سبيل المثال، يمكن أن يتم تخفيض معدل التعلم بعد عدد محدد من الدورات أو بناءً على معيار الأداء. 
• معدل التعلم المتذبذب: في هذه الطريقة يتراوح معدل التعلم بين قيم عالية ومنخفضة على مدى دورات التدريب. وعندما يكون معدل التعلم مرتفعاً، يمكن للنموذج الوصول إلى منطقة أفضل. ثم ينخفض معدل التعلم لمساعدة النموذج على التوجه نحو الحل الأمثل بشكلٍ أكثر دقة.
• معدل التعلم المنحدر المتدرج: هو طريقة أساسية في تحسين النماذج في مجال التعلم الآلي وتستند إلى حساب التدرج أي المشتقات الجزئية للدالة المراد تحسينها واستخدام هذا التدرج لتحديث معاملات النموذج بالاتجاه الأمثل لدالة الهدف.