النمذجة المتنقلة المتسلسلة قوية هي مهمة أساسية في العالم الحقيقي حيث تكون المدخلات صاخبة في كثير من الأحيان. تحتوي المدخلات التي تم إنشاؤها عن المستخدمين والآلة على أنواع مختلفة من الضوضاء في شكل أخطاء إملائية، والأخطاء النحوية، وأخطاء التعرف على الأ
حرف، والتي تؤثر على مهام المصب وتأثر على الترجمة الشفوية للنصوص. في هذا العمل، نرتند بنية جديدة للتسلسل إلى التسلسل للكشف عن وتصحيح مختلف العالم الحقيقي والضوضاء الاصطناعية (هجمات الخصومة) من النصوص الإنجليزية. نحو ذلك اقترحنا بنية فك التشفير المعدلة التي تعتمد على المحولات التي تستخدم آلية Gating للكشف عن أنواع التصحيحات المطلوبة وبناء على تصحيح النصوص. تظهر النتائج التجريبية أن الهندسة المعمارية المصورة لدينا مع نماذج لغوية مدربة مسبقا تؤدي بشكل أفضل بشكل كبير إلى أن النظيرات غير الدائرين ونماذج تصحيح الأخطاء الأخرى غير المدرجة في تصحيح الأخطاء الإملائية والحدائية. التقييم الخارجي لنموذجنا على الترجمة الآلية (MT) ومهام التلخيص تظهر الأداء التنافسي للنموذج مقابل نماذج تسلسل تسلسل أخرى أخرى تحت المدخلات الصاخبة.
تتطلب أساليب التعلم المنهج الحالية للترجمة الآلية العصبية (NMT) أخذ العينات مبالغ كافية من العينات "من بيانات التدريب في مرحلة التدريب المبكر. هذا غير قابل للتحقيق دائما لغات الموارد المنخفضة حيث تكون كمية البيانات التدريبية محدودة. لمعالجة مثل هذا ا
لقيد، نقترح نقه نهج تعليمي مناهج رواية حكيمة ينشئ كميات كافية من العينات السهلة. على وجه التحديد، يتعلم النموذج التنبؤ بتسلسل فرعي قصير من الجزء التالي من كل جملة مستهدفة في المرحلة المبكرة للتدريب. ثم يتم توسيع التسلسل الفرعي تدريجيا مع تقدم التدريب. مثل هذا التصميم المناهج الدراسي الجديد مستوحى من التأثير التراكمي لأخطاء الترجمة، مما يجعل الرموز الأخيرة أكثر تحديا للتنبؤ أكثر من البداية. تبين تجارب واسعة أن نهجنا يمكن أن تتفوق باستمرار على الأساس على خمسة أزواج لغات، خاصة لغات الموارد المنخفضة. يجمع بين نهجنا مع طرق مستوى الجملة يحسن أداء لغات الموارد العالية.
