ترغب بنشر مسار تعليمي؟ اضغط هنا

SECOCO: ترميز تصحيح ذاتي للترجمة الآلية العصبية

Secoco: Self-Correcting Encoding for Neural Machine Translation

232   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تقدم هذه الورقة ترميز تصحيح ذاتي (SECOCO)، وهو إطار يتعامل بشكل فعال مع المدخلات الصاخبة للترجمة الآلية العصبية القوية عن طريق إدخال تنبؤ تصحيح ذاتي.تختلف عن الأساليب القوية السابقة، تمكن SECOCO NMT من تصحيح المدخلات الصاخبة بشكل صريح وحذف أخطاء محددة في وقت واحد مع عملية فك تشفير الترجمة.SECOCO قادرة على تحقيق تحسينات كبيرة على خطوط أساس قوية على مجموعتين لاختبار العالم الحقيقي ومجموعة بيانات معيار WMT مع إمكانية الترجمة الترجمة جيدة.سنجعل كودنا ومجموعات البيانات متاحة للجمهور قريبا.

المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

لقد تم الاعتراف على نطاق واسع بأن معلومات بناء الجملة يمكن أن تساعد في أنظمة الترجمة الآلية العصبية في نهاية إلى نهادة لتحقيق ترجمة أفضل. من أجل دمج معلومات التبعية في NMT المحول، النهج الحالية إما استغلال العلاقات المعتمدة في الرأس المحلية، تجاهل جي رانها غير المحليين الذين يحملون سياق مهم؛ أو تقريبي كلمتين "العلاقة الأساسية" من خلال المسافة النسبية الخاصة بها على شجرة التبعية، والتضحية بالضيق. لمعالجة هذه المشكلات، نقترح الترميز الموضعي العالمي لشجرة التبعية، وهو مخطط جديد يسهل نمذجة العلاقة النحوية بين أي كلمتين مع الحفاظ على الدقة ودون قيود جارتها الفورية. نتائج التجربة على NC11 الألمانية → الإنجليزية والإنجليزية → الألمانية و WMT الإنجليزية → تظهر مجموعات البيانات الألمانية أن نهجنا أكثر فعالية من الاستراتيجيتين المذكورتين أعلاه. بالإضافة إلى ذلك، نظرا لأن تجاربنا تظهر كميا أن مقارنة بطبقات أعلى، فإن الطبقات المنخفضة للنموذج هي أماكن أكثر أهمية لإدماج معلومات بناء الجملة من حيث تفضيل كل طبقة للنمط النحوي والأداء النهائي.
في التعلم الخاضع للإشراف، يجب أن يكون نموذج مدرب جيدا قادرا على استعادة الحقيقة الأرضية بدقة، أي التسميات المتوقعة من المتوقع أن تشبه تسميات الحقيقة الأرضية قدر الإمكان.مستوحاة من ذلك، فإننا صياغة معيارا صعوبة بناء على درجات الاسترداد من أمثلة التدري ب.بدافع من الحدس أنه بعد القشط من خلال كوربوس التدريب، يعرف طراز الترجمة الآلية العصبية (NMT) "كيفية جدولة منهج مناسب وفقا لتعلم صعوبة التعلم، نقترح استراتيجية تعلم المناهج الدراسية الموجهة ذاتيا تشجع نموذج NMT للتعلممن سهولة الصعب على أساس درجات الاسترداد.على وجه التحديد، نعتمد درجة بلو على مستوى الجملة باعتبارها وكيل درجة الاسترداد.النتائج التجريبية على معايير الترجمة بما في ذلك WMT14 الإنجليزية والألمانية و WMT17 الصينية - الإنجليزية إظهار أن طريقتنا المقترحة تعمل بشكل كبير على تحسين درجة الاسترداد، وبالتالي تحسين أداء الترجمة باستمرار.
نماذج الترجمة الآلية العصبية (NMT) هي مدفوعة بالبيانات وتتطلب كوربوس تدريب واسع النطاق. في التطبيقات العملية، عادة ما يتم تدريب نماذج NMT على مجال مجال عام ثم يتم ضبطه بشكل جيد من خلال التدريب المستمر على Corpus في المجال. ومع ذلك، فإن هذا يحمل خطر ا لنسيان الكارثي الذي ينخفض ​​فيه الأداء الموجود على المجال العام بشكل كبير. في هذا العمل، نقترح إطارا تعليميا مستمرا جديدا لنماذج NMT. نحن نعتبر سيناريو حيث يتألف التدريب من مراحل متعددة واقتراح تقنية تقطير معارف ديناميكية لتخفيف مشكلة النسيان الكارثي بشكل منهجي. نجد أيضا أن التحيز موجود في الإسقاط الخطي الإخراج عند ضبط جيد على Corpus في المجال، واقترح وحدة تصحيح التحيز للقضاء على التحيز. نقوم بإجراء تجارب في ثلاثة إعدادات تمثيلية لتطبيق NMT. تظهر النتائج التجريبية أن الطريقة المقترحة تحقق أداء فائقا مقارنة بالنماذج الأساسية في جميع الإعدادات.
أسئلة البحث الحديثة أهمية الاهتمام الذاتي لمنتج المنتج في نماذج المحولات ويظهر أن معظم رؤساء الاهتمام تعلم أنماطا موضعية بسيطة. في هذه الورقة، ندفع أبعد من ذلك في خط البحث هذا واقتراح آلية بديلة جديدة عن النفس: الاهتمام المتكرر (ران). تتعلم RAN بشكل مباشر أوزان الاهتمام دون أي تفاعل رمزي إلى رمز ويحسن قدرتها على تفاعل الطبقة إلى الطبقة. عبر مجموعة واسعة من التجارب في 10 مهام ترجمة آلية، نجد أن نماذج RAN تنافسية وتفوق نظيرها المحول في بعض السيناريوهات، مع عدد أقل من المعلمات ووقت الاستدلال. خاصة، عند تطبيق ركض إلى فك ترميز المحولات، يجلب التحسينات المتسقة عن طريق حوالي +0.5 بلو في 6 مهام الترجمة و +1.0 Bleu على مهمة الترجمة التركية الإنجليزية. بالإضافة إلى ذلك، نجرينا تحليلا مكثفا بشأن أوزان الاهتمام في ركض لتأكيد المعقولية. ران لدينا هو بديل واعد لبناء نماذج NMT أكثر فعالية وكفاءة.
تعتمد معظم نماذج الترجمة الآلية العصبية الحالية ترتيب فك التشفير الرخيصي إما من اليسار إلى اليمين أو اليمين إلى اليسار.في هذا العمل، نقترح طريقة رواية تنفصل قيود أوامر فك التشفير هذه، تسمى فك تشفير الذكية.وبشكل أكثر تحديدا، تتوقع طريقةنا أولا كلمة مت وسط.يبدأ فك شفرة الكلمات الموجودة على الجانب الأيمن من الكلمة المتوسطة ثم يولد كلمات على اليسار.نحن نقيم طريقة فك التشفير الذكية المقترحة على ثلاث مجموعات البيانات.تظهر النتائج التجريبية أن الطريقة المقترحة يمكن أن تتفوق بشكل كبير على النماذج الأساسية القوية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا