تقدم هذه الورقة تقديم مركز خدمات الترجمة Huawei (HW-TSC) إلى مهمة مشتركة من WMT 2021.نستكشف تقنية تقطير الطالبات على مستوى الجملة وتدريب العديد من النماذج الصغيرة التي تجد التوازن بين الكفاءة والجودة.تتميز نماذجنا بمثابة تشفير عميق ومكتشف ضحل وخفيف ا
لوزن RNN مع طبقة SSRU.نستخدم بولت هواوي نوح، مكتبة فعالة ووزن خفيفة للاستدلال على الجهاز.الاستفادة من كمية INT8 الكمي، مشغل مصفوفة العام (GEMM) العام المعرفة ذاتيا (GEMM)، القائمة المختصرة، البحث الجشع والتخزين المؤقت، نقدم أربعة نماذج ترجمة صغيرة الحجم وكفاءة مع جودة الترجمة عالية لمسار الكمون CPU واحد.
تصف الورقة توضيحات TENTRANS إلى المهمة المشتركة ل WMT 2021 المشتركة.نستكشف تدريب مجموعة متنوعة من نماذج محولات الصغار الأصغر باستخدام إعداد المعلمين - طالب.يتم تدريب نموذجنا من خلال منصة تدريب متعددة اللغات المتطورة ذاتية اللغات ذاتية اللغويةونحن نطل
ق أيضا مجموعة أدوات الاستدلال عالية الأداء مفتوح المصدر لنماذج المحولات والمكتب في C ++ بالكامل.يتم بناء جميع التحسينات الإضافية على رأس محرك الاستدلال بما في ذلك التخزين المؤقت للانتباه، نواة الانصهار، والتوقف المبكر، والعديد من التحسينات الأخرى.في عمليات التقديمات الخاصة بنا، يمكن أن يترجم الأسرع النظام الأسرع أكثر من 22000 رموز في الثانية مع TESLA P4 واحدة مع الحفاظ على 38.36 بلو على EN-DE NEWSTEST2019.تتوفر نماذجنا المدربة ومزيد من التفاصيل في أمثلة المنافسة التي تخدمها Tentrans.
