الانحدار المتدرج العشوائي STOCHASTIC GRADIENT DESCENT (SGD)

ما هي طريقة الانحدار المتدرج العشوائي؟

عبارة عن طريقة أمثلة شهيرة تُستخدم لإيجاد الإعداد الأمثل للمعاملات الخاصة بمعظم خوارزميات التدريب في التعلم الآلي والتعلم العميق. تقوم فكرة الانحدار المتدرج بشكل عام على مبدأ إحداث تعديلات صغيرة بشكل متكرر في إعدادات شبكة التعلم الآلي بهدف تخفيض خطأ الشبكة إلى أقل حد ممكن. وفي الانحدار المتدرج العشوائي يتم اختيار عدد صغير من العينات بشكل عشوائي بدلاً من المرور على كافة نقاط البيانات.

قد لا يؤدي كل تكرار لعملية التدريب إلى تحسين الشبكة في طريقة الانحدار المتدرج العشوائي. وذلك لأنه في حال أخطأت الشبكة في أحد أمثلة التدريب المختارة عشوائياً سيتم تحديث إعداداتها ليصبح الجواب صحيحاً على الرغم من أن ذلك قد يؤدي إلى الوقوع في الخطأ بالنسبة لمثال آخر وزيادة الخطأ الإجمالي. لكن ميزة هذه الطريقة تتجلى في أنها تتطلب حسابات أقل بكثير من طريقة الانحدار المتدرج الحقيقي.