أهداف المحاذاة الصريحة للترفيه ثنائية الاتجاه متعددة اللغات

لقد أثبتت التشفير المتبادلة المدربة مسبقا مثل Mbert (Devlin et al.، 2019) و XLM-R (Conneau et al.، 2020) أثبتت فعالة بشكل مثير للإعجاب في تمكين التعلم عن نقل أنظمة NLP من لغات الموارد العالية لغات الموارد. يأتي هذا النجاح على الرغم من أنه لا يوجد هدف صريح لمواءمة التشريح السياقي للكلمات / الجمل مع معاني مماثلة عبر اللغات معا في نفس الفضاء. في هذه الورقة، نقدم طريقة جديدة لتعلم التشفير متعددة اللغات، العنبر (محاذاة ترميز ثنائي الاتجاه متعدد اللوغيات). يتم تدريب العنبر على بيانات متوازية إضافية باستخدام أهداف محاذاة واضحة محاذاة التمثيلات متعددة اللغات في حبيبات مختلفة. نقوم بإجراء تجارب على التعلم عبر التحويل الصفرية عبر اللغات عن مهام مختلفة بما في ذلك علامات التسلسل، واسترجاع الجملة وتصنيف الجملة. النتائج التجريبية على المهام في معيار Xtreme (HU et al.، 2020) تظهر أن العنبر يحصل على مكاسب تصل إلى 1.1 درجة F1 المتوسطة عند العلامات التسلسل وما يصل إلى 27.3 متوسط ​​الدقة عند الاسترجاع على نموذج XLM-R. 3.2x معلمات العنبر. تتوفر التعليمات البرمجية والنماذج لدينا على http://github.com/junjiehu/amber.

Pre-trained cross-lingual encoders such as mBERT (Devlin et al., 2019) and XLM-R (Conneau et al., 2020) have proven impressively effective at enabling transfer-learning of NLP systems from high-resource languages to low-resource languages. This success comes despite the fact that there is no explicit objective to align the contextual embeddings of words/sentences with similar meanings across languages together in the same space. In this paper, we present a new method for learning multilingual encoders, AMBER (Aligned Multilingual Bidirectional EncodeR). AMBER is trained on additional parallel data using two explicit alignment objectives that align the multilingual representations at different granularities. We conduct experiments on zero-shot cross-lingual transfer learning for different tasks including sequence tagging, sentence retrieval and sentence classification. Experimental results on the tasks in the XTREME benchmark (Hu et al., 2020) show that AMBER obtains gains of up to 1.1 average F1 score on sequence tagging and up to 27.3 average accuracy on retrieval over the XLM-R-large model which has 3.2x the parameters of AMBER. Our code and models are available at http://github.com/junjiehu/amber.