كيف يمكن ترشيد استهلاك الطاقة في أثناء تدريب نماذج الذكاء الاصطناعي؟

يتطلب بناء نماذج الذكاء الاصطناعي قدراً كبيراً من الطاقة في المراحل الأولى من بنائها، أي في أثناء مرحلة التدريب. وعلى الرغم من أن المطورين كانوا يركّزون على دقة النتائج التي تقدّمها النماذج، فإن البعض يتوجه اليوم نحو تقليل استهلاك الطاقة والاعتماد على الطاقة المتجددة وخفض البصمة الكربونية لنماذج الذكاء الاصطناعي، لذلك يحاول الباحثون إيجاد طرق تساعد على ترشيد استهلاك الطاقة في أثناء التدريب، مع الحفاظ قدر الإمكان على جودة نتائج النماذج لاحقاً. وقد نجح البعض في ذلك.

إم آي تي تطوّر تقنية توفّر 80% من الطاقة اللازمة لتدريب نماذج الذكاء الاصطناعي

يتبع الباحثون في إم آي تي طرقاً مختلفة لترشيد استهلاك الطاقة اللازمة لتدريب نماذج الذكاء الاصطناعي، تتراوح بين طرق تُحدِث تغييرات بسيطة وفعّالة مثل أجهزة تحديد الطاقة، واعتماد أدوات جديدة يمكنها إيقاف تدريب نماذج الذكاء الاصطناعي في وقتٍ مبكر، مع وجود تأثير ضئيل في أداء النموذج.

وحدات معالجة الرسومات ذات الاستهلاك المنخفض للطاقة

يتطلب تدريب نموذج الذكاء الاصطناعي استخدام وحدات المعالجة الرسومية (GPUs)، وهي أجهزة متعطشة للطاقة. على سبيل المثال، تشير التقديرات إلى أن وحدات المعالجة الرسومية التي دربت جي بي تي-3 (سلف تشات جي بي تي) استهلكت 1300 ميغاواط في الساعة من الكهرباء، أي ما يعادل تقريباً تلك التي تستهلكها 1450 أسرة أميركية في المتوسط شهرياً. ولحل هذه المشكلة، تقدّم الشركات المُصنّعة لوحدات المعالجة الرسومية طرقاً للحد من مقدار الطاقة، تساعد على تقليل استهلاك الطاقة بنحو 12 إلى 15%، ما يؤدي إلى زيادة وقت المهمة بنسبة 3%، وهي زيادة بالكاد ملحوظة بالنظر إلى أن النماذج غالباً ما تُدرب على مدى أيام أو حتى أشهر.

تبريد مراكز البيانات

بنى الفريق بعد ذلك برنامجاً يوصّل قدرة تحديد الطاقة هذه إلى نظام الجدولة المستخدم على نطاقٍ واسع. يُتيح البرنامج لأصحاب مراكز البيانات وضع حدود عبر نظامهم أو على أساس كل وظيفة على حدة. أدّى تقييد الطاقة هذا إلى عمل وحدات المعالجة الرسومية في الحواسيب العملاقة على درجة حرارة أقل بمقدار درجة مئوية واحدة، وهي درجة حرارة أكثر اتساقاً، ما يقلل الضغط على نظام التبريد، ويوفّر الطاقة. يمكن أن يؤدي تشغيل مبرد الأجهزة إلى زيادة الموثوقية وعمر خدمة الأجهزة، يمكن أيضاً تقليل احتياجات التبريد من خلال جدولة المهام لتشغيلها ليلاً وخلال أشهر الشتاء.

تحليل البصمة الكربونية لأنظمة الحوسبة العالية الأداء

طوّر الباحثون أيضاً ونشروا إطارَ عملٍ شاملاً لتحليل البصمة الكربونية لأنظمة الحوسبة العالية الأداء، ما يمكّن الآخرين من استخدام إطار التحليل هذا للحصول على فهم أفضل لمدى استدامة أنظمتهم الحالية والنظر في التغييرات لأنظمة الجيل التالي.

أسلوب الإيقاف المبكر

في أثناء تدريب النموذج، يختبر المطورون آلاف التكوينات من المعلمات لتحديد المعلمات التي تجعل أداء النموذج أفضل ما يمكن. تتطلب هذه العملية مقداراً هائلاً من الطاقة. لخفض هذا المقدار طوّر الباحثون أيضاً في إم آي تي نموذجاً يتنبأ بالأداء المحتمل، ويوقف النماذج ذات الأداء الضعيف في وقتٍ مبكر، ما يسبب انخفاضاً بنسبة 80% في الطاقة المستخدمة للتدريب النموذجي، مع المحافظة على كفاءة النماذج، وطبقوا هذه التقنية على عدة نماذج في مجالات الرؤية الحاسوبية، ومعالجة اللغة الطبيعية، وتطبيقات تصميم المواد.

تؤدي هذه الطرق جميعها إلى زيادة الكفاءة دون الحاجة إلى إجراء تعديلات على التعليمات البرمجية أو البنية التحتية.

جامعة ميشيغان تحسّن تدريب نماذج التعلم العميق وتوفّر 75% من الطاقة

طوّر باحثون من جامعة ميشيغان طريقة جديدة لتحسين تدريب نماذج التعلم العميق، وهي أداة سريعة التطور لتشغيل الذكاء الاصطناعي، يمكن أن تقلل من متطلباته من الطاقة، وأطلقوا عليها اسم زيوس، ويمكنها تقليل استهلاك الطاقة بنسبة 75% دون الحاجة إلى أي أجهزة جديدة، وبتأثيرات طفيفة فقط في الوقت الذي يستغرقه تدريب النموذج.

تدرس الأداة نماذج التعلم العميق في أثناء التدريب، وتحدد أفضل أداء يجمع بين استهلاك الطاقة وسرعة التدريب، حيث يبحث زيوس عن النقطة المثالية التي يقل عندها استخدام الطاقة بأقل تأثير ممكن في وقت التدريب.

بالإضافة إلى ذلك، طوّر الفريق برنامج تكميلي لزيوس لتقليل البصمة الكربونية بشكلٍ أكبر، يمنح امتيازات السرعة عندما تتوفر الطاقة المنخفضة الكربون، ويختار الكفاءة على حساب السرعة خلال أوقات الذروة، والتي من المرجّح أن تتطلب زيادة توليد الطاقة الكثيفة الكربون.

تقنيات أخرى تقلل استهلاك الطاقة في أثناء تدريب نماذج الذكاء الاصطناعي

يمكن تطبيق طرق أخرى لترشيد استهلاك الطاقة في أثناء تدريب نماذج الذكاء الاصطناعي مثل:

استخدام طرق بديلة لتنفيذ شبكات عصبونية أكثر كفاءة في استخدام الطاقة.
تشغيل مراكز البيانات باستخدام مصادر الطاقة المتجددة، ما يمكن أن يقلل من انبعاثات الكربون.
استخدام النماذج المدربة مسبقاً لتجنب تطوير النماذج من الصفر، الأمر الذي يستهلك الطاقة.
الحوسبة الكمومية تساعد على تحسين كفاءة تدريب الذكاء الاصطناعي وتقليل استخدام الطاقة.
استخدام الشبكات العصبونية التي تحاكي سلوك الخلايا العصبية الحية.