بيرت BIDIRECTIONAL ENCODER REPRESENTATIONS FROM TRANSFORMERS (BERT)

ما هي تمثيلات أداة الترميز ثنائية الاتجاه من المحولات (بيرت)؟

عبارة عن نموذج تعلم آلي مفتوح المصدر لمعالجة اللغات الطبيعية، وهو مصمم لمساعدة الحواسيب على فهم اللغة الغامضة في نص ما عن طريق استخدام النصوص المحيطة به لتحديد السياق. تم تطوير نموذج تمثيلات أداة الترميز ثنائية الاتجاه من المحولات أو كما يعرف اختصاراً باسم بيرت من قبل جوجل. وقد تم تدريبه مسبقاً على مهام نمذجة اللغة باستخدام بيانات غير موسومة تتضمن نصوصاً من موقع ويكيبيديا. ويمكن صقله بالاعتماد على قواعد بيانات تتضمن أسئلة وأجوبة.

يعتمد نموذج بيرت على المحولات التي تتعلم العلاقات السياقية بين الكلمات في نص ما؛ حيث يتألف المحول من جزأين منفصلين هما أداة ترميز يمكنها قراءة النص المدخل، وأداة فك ترميز تنتج تنبؤات للمهمة المطلوبة. وعلى عكس المحولات التقليدية وحيدة الاتجاه التي تقرأ النص المدخل بشكل متتابع فقط من اليسار إلى اليمين أو العكس. يمكن لنموذج بيرت قراءة النصوص الموجودة في كلا الاتجاهين معاً. فتسمح له هذه الخاصية بفهم سياق الكلمة اعتماداً على جميع الكلمات المحيطة بها على اليمين واليسار.

تم تدريب بيرت بشكل مسبق بالاعتماد على خاصية ثنائية الاتجاه لأداء مهمتين مختلفتين من مهام معالجة اللغة الطبيعية. المهمة الأولى هي نمذجة اللغة المقنّعة (MLM)، والهدف منها إخفاء كلمة ما في الجملة ثم جعل النموذج يتنبأ بها اعتماداً على سياق تلك الكلمه المقنّعة. أما المهمة الثانية فهي التنبؤ بالجملة التالية، والهدف منها جعل النموذج يتنبأ فيما إذا كان هناك ارتباط منطقي أو اتصال متعاقب بين جملتين أم أن الارتباط بينهما عشوائي.

ما هي أهم استخدامات بيرت؟

يستخدم نموذج بيرت حالياً من قبل شركة جوجل لتعزيز قدرات محرك البحث الخاص بها على فهم استعلامات المستخدمين. ويتفوق هذا النموذج على غيره بالكثير من الوظائف بما في ذلك مهام توليد اللغة اعتماداً على طريقة تسلسل إلى تسلسل؛ مثل الإجابة عن الأسئلة وتلخيص النصوص وتنبؤ الجمل وتوليد إجابات حوارية. بالإضافة إلى مهام فهم اللغة الطبيعية مثل فهم الكلمات متعددة المعنى أو التي تشير إلى نفس الشيْ، واستدلال اللغة الطبيعية وتصنيف المشاعر.