لقد أثبتت التشفير المتبادلة المدربة مسبقا مثل Mbert (Devlin et al.، 2019) و XLM-R (Conneau et al.، 2020) أثبتت فعالة بشكل مثير للإعجاب في تمكين التعلم عن نقل أنظمة NLP من لغات الموارد العالية لغات الموارد. يأتي هذا النجاح على الرغم من أنه لا يوجد هدف
صريح لمواءمة التشريح السياقي للكلمات / الجمل مع معاني مماثلة عبر اللغات معا في نفس الفضاء. في هذه الورقة، نقدم طريقة جديدة لتعلم التشفير متعددة اللغات، العنبر (محاذاة ترميز ثنائي الاتجاه متعدد اللوغيات). يتم تدريب العنبر على بيانات متوازية إضافية باستخدام أهداف محاذاة واضحة محاذاة التمثيلات متعددة اللغات في حبيبات مختلفة. نقوم بإجراء تجارب على التعلم عبر التحويل الصفرية عبر اللغات عن مهام مختلفة بما في ذلك علامات التسلسل، واسترجاع الجملة وتصنيف الجملة. النتائج التجريبية على المهام في معيار Xtreme (HU et al.، 2020) تظهر أن العنبر يحصل على مكاسب تصل إلى 1.1 درجة F1 المتوسطة عند العلامات التسلسل وما يصل إلى 27.3 متوسط الدقة عند الاسترجاع على نموذج XLM-R. 3.2x معلمات العنبر. تتوفر التعليمات البرمجية والنماذج لدينا على http://github.com/junjiehu/amber.
حققت نماذج لغة الرؤية المحددة الأخيرة أداء مثير للإعجاب على مهام الاسترجاع عبر مشروط باللغة الإنجليزية. ومع ذلك، تعتمد نجاحهم بشكل كبير على توافر العديد من مجموعات بيانات التعليق المشروح على الصورة لإحاطاء، حيث لا تكون النصوص بالضرورة باللغة الإنجليز
ية. على الرغم من أنه يمكننا استخدام أدوات الترجمة الآلية (MT) لترجمة النص غير الإنجليزي إلى اللغة الإنجليزية، فإن الأداء لا يزال يعتمد إلى حد كبير على جودة MT وقد يعاني من مشاكل عالية من الكمون في تطبيقات العالم الحقيقي. تقترح هذه الورقة نهجا جديدا لتعلم تمثيلات متعددة الوسائط عبر اللغات لمطابقة الصور وإياراتها ذات الصلة بلغات متعددة. نجمع بسلاسة بسلاسة أهداف محالمانية عبر اللغات وأهداف محالم الاحتجاج بالعدوان في إطار موحد لتعلم الصور والنص في مساحة تضمين مشتركة من بيانات التسمية التوضيحية باللغة الإنجليزية المتاحة، مونولينغيا ومتوازي Corpus. نظظ أن نهجنا يحقق أداء SOTA في مهام استرجاع على معايير التسمية التوضيحية متعددة اللغات متعددة اللغات متعددة اللغات: multi30k مع التسميات التوضيحية الألمانية و mscoco مع التسميات التوضيحية اليابانية.
