التضمين من النماذج اللغوية (إلمو) Embeddings From Language Models (ELMO)

ما هو إطار عمل إلمو؟

هو عبارة عن إطار عمل لمعالجة اللغات الطبيعية طوّره معهد آلين لمعالجة اللغات الطبيعية (AllenNLP)، يعمل على تضمين الكلمات، حيث يقوم بحساب متجهات الكلمات باستخدام نموذج لغوي ثنائي الاتجاه وثنائي الطبقات. تتكون فيه كل طبقة من ممر أمامي وخلفي.

يستطيع إلمو التقاط سياق الكلمة المستخدمة في جملة، ويمكنه توليد تضمينات مختلفة للكلمة نفسها المستخدمة في سياقات مختلفة والتمييز بينها.

كيف يعمل إطار عمل إلمو؟

يتم حساب متجهات كلمات إلمو وفق نموذج لغة ثنائي الاتجاه مكون من طبقتين، وكل طبقة لها ممر أمامي وممر خلفي:

1. تستخدم شبكة عصبونية التفافية على مستوى الأحرف لتمثيل كلمات سلسلة نصية في متجهات الكلمات الخام.
2. تعمل متجهات الكلمات الخام كمدخلات للطبقة الأولى لنموذج اللغة ثنائي الاتجاه.
3. يحتوي الممر الأمامي على معلومات حول كلمة معينة والسياق المحتمل قبل تلك الكلمة.
4. يحتوي الممر الخلفي على معلومات حول الكلمة والسياق المحتمل بعد هذه الكلمة.
5. تشكل المعلومات المجمعة من الممر الأمامي والخلفي متجهات الكلمات الوسيطة.
6. تتم تغذية متجهات الكلمات الوسيطة هذه في الطبقة التالية من النموذج اللغوي ثنائي الاتجاه.
7. يكون التمثيل النهائي لإلمو هو المجموع المرجح لمتجهات الكلمات الخام ومتجهات الكلمات الوسيطة.

تطبيقات إطار عمل إلمو

لا يقتصر تطبيق إطار عمل إلمو على مهمة تصنيف النصوص فقط، إذ يمكن استخدامه للتعامل مع البيانات النصية بشكل أوسع في معالجة اللغات الطبيعية، مثل:

• الترجمة الآلية.
• نمذجة اللغة الطبيعية.
• تلخيص النص.
• أنظمة الإجابة عن الأسئلة.