يعمل العمل الحالي على كتابة كيان غرامة (FET) عادة النماذج التلقائية على مجموعات البيانات التي تم الحصول عليها باستخدام قواعد المعرفة (KB) كشراف بعيد.ومع ذلك، فإن الاعتماد على KB يعني أنه يمكن إعاقة هذا الإعداد التدريبي من خلال عدم وجود أو عدم انتظام
KB.لتخفيف هذا القيد، نقترح إعدادا جديدا لتدريب نماذج FET: FET دون الوصول إلى أي قاعدة معارف.بموجب هذا الإعداد، نقترح إطار من خطوتين لتدريب نماذج FET.في الخطوة الأولى، نقوم تلقائيا بإنشاء بيانات زائفة مع ملصقات ممتعة من مجموعة بيانات كبيرة غير مسبوقة.ثم يتم تدريب نموذج شبكة عصبي بناء على البيانات الزائفة، إما بطريقة غير مخالفة أو استخدام التدريب الذاتي بموجب الإرشادات الضعيفة من نموذج التعرف على الكيان الحبيبة الخشنة (NER).تظهر النتائج التجريبية أن طريقتنا تحقق أداء تنافسي فيما يتعلق بالنماذج المدربة على مجموعات البيانات ذات الإشراف على KB الأصلي.
وقد ركز العمل الحديث على الجيل العام متعدد اللغات من AMR إلى النص بشكل حصري على استراتيجيات تكبير البيانات التي تستخدم AMR الفضي.ومع ذلك، فإن هذا يفترض جودة عالية من الأمراض العامية التي تم إنشاؤها، مما يحتمل على الحد من قابلية النقل إلى المهمة المست
هدفة.في هذه الورقة، نحقق في تقنيات مختلفة لتوليد التعليقات التوضيحية AMR تلقائيا، حيث نهدف إلى دراسة مصدر المعلومات الذي ينتج عنه نتائج متعددة اللغات بشكل أفضل.نماذجنا المدربة على الذهب القديمة مع الجمل الفضية (مترجمة) الجمل تفوقت النهج التي تولدها Silver AMR.نجد أن الجمع بين كل من المصادر التكميلية للمعلومات تعمل على تحسين جيل عام عمرو متعدد اللغات.تتجاوز نماذجنا الحالة السابقة للفن الألمانية والإيطالية والإسبانية والصينية من هامش كبير.
البحث عن الويب هو وسيلة أساسية للبشر للحصول على معلومات، لكنها لا تزال تحديا كبيرا للآلات لفهم محتويات صفحات الويب. في هذه الورقة، نقدم مهمة فهم القراءة الهيكلية المستندة إلى الويب. نظرا لصفحة ويب وسؤال حولها، فإن المهمة هي العثور على إجابة من صفحة ا
لويب. تتطلب هذه المهمة نظام ليس فقط لفهم دلالات النصوص ولكن أيضا هيكل صفحة الويب. علاوة على ذلك، اقترحنا Webrc، وهي مجموعة بيانات فهم هيكلية قائمة على شبكة الإنترنت. تتكون WebSrc من أزواج من الإجابات السؤال 400K، والتي يتم جمعها من صفحات الويب 6.4K مع شفرة مصدر HTML المقابلة، لقطات الشاشة والبيانات الوصفية. يتطلب كل سؤال في WebSrc فهم هيكلي معين لصفحة ويب للإجابة، والإجابة إما تمتد عن نصوص على صفحة الويب أو نعم / لا. نحن نقيم مختلف خطوط الأساس القوية على مجموعة بياناتنا لإظهار صعوبة مهمتنا. نحن نحقق أيضا في فائدة المعلومات الهيكلية والميزات المرئية. كانت مجموعة البيانات وخطوط البيانات الخاصة بنا متاحة للجمهور.
تقدم هذه الورقة نتائج المهمة المشتركة للمقاييس WMT21. طلب من المشاركين تسجيل مخرجات أنظمة الترجمة المتنافسة في مهمة الترجمة الأخبار WMT21 مع مقاييس أوتوماتيكية على مجطتين مختلفتين: أخبار ومحادثات تيد. تم تقييم جميع المقاييس على مدى ارتباطها على مستوى
النظام والقطاع مع التصنيفات البشرية. على عكس إصدارات السنوات السابقة، فقد استحوذنا هذا العام على تصنيفاتنا الإنسانية الخاصة بنا على أساس التقييم البشري القائم على الخبراء عبر مقاييس الجودة متعددة الأبعاد (MQM). يحتوي هذا الإعداد على العديد من المزايا: (1) قد أظهر التقييم القائم على الخبراء أنه أكثر موثوقية، (2) تمكنا من تقييم جميع المقاييس على مجاليين مختلفين باستخدام ترجمات نفس أنظمة MT، (III) أضفنا 5 إضافية الترجمات القادمة من نفس النظام أثناء تطوير النظام. بالإضافة إلى ذلك، صممنا ثلاث مجموعات تحدي تقيم متانة جميع المقاييس التلقائية. نقدم تحليلا مكثفا حول مدى أداء المقاييس على أزواج ثلاث لغات: الإنجليزية إلى الألمانية والإنجليزية إلى الروسية والصينية إلى الإنجليزية. نوضح تأثير الترجمات المرجعية المختلفة على المقاييس المستندة إلى المرجع ومقارنة شرح MQM القائم على الخبراء مع درجات DA المكتسبة بواسطة WMT.
تعتبر تضمين الجملة من الحوارات من الحوارات اهتماما متزايدا بسبب انخفاض تكلفة التصفيف والقدرة على التكيف. تستخدم الأساليب التقليدية شبكة سيامي على هذه المهمة، والتي تحصل على تضيير الجملة من خلال نمذجة الأهمية الدلالية للاستجابة للسياق من خلال تطبيق شب
كة تغذية إلى الأمام أعلى من تشفير الجملة. ومع ذلك، نظرا لأن التشابه الدلالي النصي يقاس عادة من خلال مقاييس المسافات عن بعد عناصر (E.G. Cosping و L2 المسافة)، فإن هذه العمارة هذه تعطي فجوة كبيرة بين التدريب والتقييم. في هذه الورقة، نقترح DialoGuecse، نهج التعلم المتعرج النقي من الحوار معالج هذه المشكلة. يقدم Dialoguecse أولا آلية تضمين (MGE) الموجهة إلى مطابقة جديدة (MGE)، والتي تولد تضمين مدرك للسياق لكل تضمين استجابة مرشحة (أي التضمين الخالي من السياق) وفقا لتوجيه مصفوفات مطابقة السياق متعددة الدورات. ثم أزوج كل تضمين كل مدرسي في السياق مع تضمينها الخالي من السياق المقابل وأخيرا يقلل من الخسارة المتعاقبة عبر جميع أزواج. نحن نقيم نموذجنا على ثلاث مجموعات بيانات حوار متعددة الدوران: Microsoft Diroge Corpus، The Jing Dong Corpus، وجهاز حوار التجارة الإلكترونية Corpus. تظهر نتائج التقييم أن نهجنا تتفوق بشكل كبير على خطوط البيانات الثلاثة في جميع مجموعات البيانات الثلاثة من حيث الخريطة وتدابير الارتباط الرأي، مما يدل على فعاليته. تشير المزيد من التجارب الكمي إلى أن نهجنا يحقق أداء أفضل عند الاستفادة من سياق الحوار أكثر ويظل قويا عند توفير بيانات تدريب أقل.
ثبت أن دمج المعرفة المعجمية في نماذج التعلم العميق قد تكون فعالة للغاية لمهام وضع التسلسل.ومع ذلك، فإن الأمر السابق يعمل عادة صعوبة في التعامل مع المعجم الديناميكي النطاق الذي يسبب غالبا ضوضاء مطابقة مفرطة ومشاكل التحديثات المتكررة.في هذه الورقة، نقت
رح Dylex، ونهج تأريك معجم التوصيل لمهام تسلسل التسلسل القائمة على بيرت.بدلا من الاستفادة من تضمين الكلمات في المعجم في الأساليب التقليدية، فإننا نعتمد تضمين العلامات اللاإرادي للكلمة لتجنب إعادة تدريب التمثيل أثناء تحديث المعجم.علاوة على ذلك، فإننا نوظف طريقة تنظيف المعرفة المعلنة المعجمية الفعالة لإعلام الضوضاء المطابقة.وأخيرا، نقدم آلية الانتباه المعرفة القائم على العقيد الحكيمة لضمان استقرار الإطار المقترح.تجارب تجارب عشرة مجموعات من ثلاث مهام تشير إلى أن الإطار المقترح يحقق سوتا جديدة، حتى مع المعجم على نطاق واسع جدا.
استرجاع المرور والترتيب هو مهمة رئيسية في الإجابة على الأسئلة المفتوحة واسترجاع المعلومات. تعتمد الأساليب الفعالة الحالية في الغالب على المستردين المعتمدين على النموذج العميق المدربين مسبقا. تم عرض هذه الأساليب نموذجا بفعالية المطابقة الدلالية بين ال
استعلامات والمرورات، أيضا في وجود عدم تطابق الكلمات الرئيسية، أي الممرات ذات الصلة بالاستعلام ولكن لا تحتوي على كلمات رئيسية مهمة. في هذه الورقة، نعتبر المسترد الكثيف (DR) وطريقة استرجاع الممر، و Re-Ranker Reveer، وهي طريقة إعادة ترتيب الشعبية. في هذا السياق، نحقق رسميا كيفية استجابة هذه النماذج والتكيف مع نوع معين من عدم تطابق الكلمة الرئيسية - التي تحدث عن طريق الكلمة الأساسية التي تحدث في استفسارات. من خلال التحقيق التجريبي، نجد أن الأخطاء المطبعية يمكن أن تؤدي إلى انخفاض كبير في فعالية الاسترجاع والترتيب. بعد ذلك اقترحنا إطارا بسيطا للتدريب في الطباعة المطبعية عن DR و Bert Re-Ranker لمعالجة هذه المسألة. نظرا لنتائجنا التجريبية على مجموعة بيانات مرتبة مرور MS MARCO، بإظهار مجموعة بيانات MS MARCO، من خلال التدريب على الأخطاء المطبعية المقترحة، يمكن أن يصبح تدريب DR و Bert Re-Ranker قويا للمخططات المطبعية في الاستفسارات، مما يؤدي إلى تحسين فعالية محسنة بشكل كبير مقارنة بالنماذج المدربة دون محاسبة بشكل مناسب عن الأخطاء المطبعية.
بالمقارنة مع نماذج أحادية الأجل، تتطلب النماذج عبر اللغات عادة مفردات أكثر تعبيرية لتمثيل جميع اللغات بشكل كاف.نجد أن العديد من اللغات ممثلة تمثيلا ناقصا في نماذج اللغات الصليب الأخيرة بسبب قدرة المفردات المحدودة.تحقيقا لهذه الغاية، نقترح خوارزمية VO
CAP لتحديد سعة المفردات المطلوبة لكل لغة.ومع ذلك، فإن زيادة حجم المفردات يبطئ بشكل كبير بسرعة ما قبل التدريب.من أجل معالجة المشكلات، نقترح أخذ العينات المستهدفة المستهدفة K-NN لتسريع SoftMax باهظة الثمن.تبين تجاربنا أن المفردات المتعددة اللغات المستفادة مع فوائد VOCAP نموذج اللغة المتبادلة قبل التدريب مسبقا.علاوة على ذلك، فإن أخذ العينات المستهدفة المستندة إلى K-NN تخفف الآثار الجانبية لزيادة حجم المفردات مع تحقيق أداء مماثل وسرعة ما قبل التدريب الأسرع.الرمز والمفردات متعددة اللغات المحددة متوفرة في https://github.com/bozheng-hit/vocapxlm.
في هذه الورقة، ندرس تلخيص الجملة المبادرة.هناك ميزان معلومات أساسية يمكن أن تؤثر على جودة تلخيص الأخبار، والتي هي الكلمات الرئيسية للموضوع والهيكل المعرفي لنص الأخبار.علاوة على ذلك، فإن تشفير المعرفة الموجودة لديها أداء ضعيف في هيكل المعرفة بالقضاء ا
لسريع.بالنظر إلى هذه، نقترح KAS، ومعرفة رواية وتحويل الكلمات الرئيسية المعزز بإطار تلخيص الجملة المبادرة.يتم استخدام Tri-Encoders لإدماج سياقات النص الأصلي وهيكل المعرفة وموضوع الكلمات الرئيسية في وقت واحد، مع بنية معرفة خطية خاصة.التقييمات التلقائية والبشرية تثبت أن KAS تحقق أفضل العروض.
لكل مهمة حوار موجهة نحو تحقيق الأهداف ذات أهمية، يجب جمع كميات كبيرة من البيانات للحصول على التعلم المنتهي للنظام الحوار العصبي.جمع هذه البيانات هي عملية مكلفة وتستغرق وقتا طويلا.بدلا من ذلك، نوضح أنه يمكننا استخدام كمية صغيرة فقط من البيانات، والتي
تستكمل البيانات من مهمة حوار ذات صلة.فشل التعلم بسذاجة من البيانات ذات الصلة في تحسين الأداء لأن البيانات ذات الصلة يمكن أن تكون غير متسقة مع المهمة المستهدفة.نحن نصف طريقة تعتمد على التعلم التعريفي والتي تتعلم بشكل انتقائي من بيانات مهمة الحوار ذات الصلة.نهجنا يؤدي إلى تحسينات بدقة كبيرة في مهمة الحوار مثال.
