أظهرت الدراسات الحديثة أن النماذج المتبادلة المدربة مسبقا تحقق أداء مثير للإعجاب في المهام المتقاطعة المتبادلة. يستفيد هذا التحسن من تعلم كمية كبيرة من مونوللقي والموازيات. على الرغم من أنه من المعترف به عموما أن شركة فورانيا الموازية أمر بالغ الأهمي
ة لتحسين الأداء النموذجي، فإن الأساليب الحالية غالبا ما تكون مقيدة بحجم Corpora المتوازي، خاصة لغات الموارد المنخفضة. في هذه الورقة، نقترح Ernie-M، وهي طريقة تدريب جديدة تشجع النموذج على محاذاة تمثيل لغات متعددة مع شركة أحادية الأحادية، للتغلب على القيد أن أماكن حجم Corpus الموازي على الأداء النموذجي. إن رؤيتنا الرئيسية هي دمج الترجمة الخلفي في عملية التدريب المسبق. نحن نولد أزواج جملة زائفة بالموازاة على كائن أحادي مونولينغ لتمكين تعلم المحاذاات الدلالية بين لغات مختلفة، وبالتالي تعزيز النمذجة الدلالية للنماذج المتبقية. تظهر النتائج التجريبية أن Ernie-M يتفوق على النماذج الحالية عبر اللغات الحالية ويوفر نتائج حالة جديدة من بين الفنين في مختلف مهام المصب عبر اللغات. سيتم إجراء الرموز والنماذج المدربة مسبقا متاحة للجمهور.
كل من قضايا أوجه القصور في البيانات والاتساق الدلالي مهم لتعزيز البيانات.معظم الطرق السابقة تعالج القضية الأولى، ولكن تجاهل المرحلة الثانية.في حالات تحليل المعنويات المستندة إلى جانب الجسيم، قد يغير انتهاك القضايا المذكورة أعلاه قطبية الجانب والمشاعر
.في هذه الورقة، نقترح نهج تكبير بيانات الحفاظ على دلالات - من خلال النظر في أهمية كل كلمة في تسلسل نصي وفقا للجوانب والمشاعر ذات الصلة.ثم نحل محل الرموز غير المهتمات مع استراتيجيتين استبدال دون تغيير قطبية مستوى الجانب.يتم تقييم نهجنا على العديد من مجموعات بيانات تحليل المعنويات المتاحة للجمهور وسيناريوهات التنبؤ في مجال الأسهم / المخاطر في العالم الحقيقي.تظهر النتائج التجريبية أن منهجيةنا تحقق أداء أفضل في جميع مجموعات البيانات.
غالبا ما تسقط نماذج اللغة الطبيعية عند فهم وتوليد تدوين رياضي. ما لا يكون واضحا هو ما إذا كانت هذه العيوب ترجع إلى حدود أساسية للنماذج، أو عدم وجود المهام المناسبة. في هذه الورقة، نستكشف مدى قيام نماذج اللغة الطبيعية بتعلم الدلالات بين الترميز الرياض
ي ونصها المحيط بها. نقترح اثنين من مهام توقعات الترميز، وتدريب نموذج أقنز رموز الترميز بشكل انتقائي ويزفر الجمل اليسرى و / أو اليمينة كسياق. مقارنة بالنماذج الأساسية التي تدربها نمذجة اللغة الملثمين، حققت طريقنا أداء أفضل بكثير في المهامتين، مما يدل على أن هذا النهج هو الخطوة الأولى جيدة نحو نمذجة النصوص الرياضية. ومع ذلك، نادرا ما تتنبأ النماذج الحالية برموز غير مرئية بشكل صحيح، وتوقعات المستوى المميز أكثر دقة من تنبؤات مستوى الرمز، مما يشير إلى أن هناك حاجة إلى مزيد من العمل لتمثيل الأنماط الهيكلية. بناء على النتائج، نقترح أن نشير في المستقبل يعمل نحو نمذجة النصوص الرياضية.
تعلم Word Ageddings تحيزات ضمنية من العظميات اللغوية التي تم التقاطها إحصائيات Word في حدوثها. من خلال تمديد الطرق التي تقيس تحيزات تشبه الإنسان في Word Embeddings، نقدم Valnorm، وهي مهمة وطريقة تقييم جوهرية جديدة لتحديد البعد الافتراضي للتأثير في مج
موعات الكلمة المصنوعة من البشرية من علم النفس الاجتماعي. نحن نطبق Valnorm على Adgeddings كلمة ثابتة من سبع لغات (الصينية والإنجليزية والألمانية والبولندية والبرتغالية والإسبانية والتركية) من النص الإنجليزي التاريخي الممتد إلى 200 عام. يحقق Valnorm دقة عالية باستمرار في تحديد تكاليف مجموعات كلمات المجموعة غير التمييزية وغير الاجتماعية. على وجه التحديد، يحقق Valnorm ترابط بيرسون ل R = 0.88 لعشرات الحكم البشري من التكافؤ لمدة 399 كلمة تم جمعها لإنشاء معايير ممتعة باللغة الإنجليزية. على النقيض من ذلك، نقيس القوالب النمطية الجنسانية باستخدام نفس مجموعة من embeddings Word وتجد أن التحيزات الاجتماعية تختلف عبر اللغات. تشير نتائجنا إلى أن جمعيات التكافؤ في كلمات الفريق غير التمييزية غير التمييزية تمثل جمعيات مشتركة على نطاق واسع، بسب سبع لغات وأكثر من 200 عام.
تحتاج الجيل القادم من أنظمة المحادثة AI إلى: (1) لغة العملية تدريجيا، يجب أن تكون الرمز المميز أكثر استجابة وتمكين التعامل مع ظواض المحادثة مثل توقف مؤقت وإعادة التشغيل والتصحيحات الذاتية؛ (2) السبب السماح بشكل تدريجي بالمعنى الذي سيتم إنشاؤه بعد ما
يقال؛ (3) أن تكون شفافة ويمكن التحكم فيها، مما يسمح للمصممين وكذلك النظام نفسه بوضع أسباب بسهولة لسلوك معين والخياط لمجموعات مستخدمين معينة، أو المجالات. في هذه الورقة القصيرة، نقدم العمل الأولي المستمر يجمع بين بناء الجملة الديناميكي (DS) - إطار Grammar التدريجي والدلي - مع إطار وصف الموارد (RDF). هذا يمهد الطريق لإنشاء المحللين الدلاليين التدريجيين الذين ينتجون تدريجيا الرسوم البيانية الدلالية RDF كصحة تتكشف في الوقت الفعلي. نحن أيضا الخطوط العريضة كيف يمكن دمج المحلل المحلل بمحرك التفكير تدريجي من خلال RDF. نقول أن DS-RDF Hybrid يرضي Desiderata المذكورة أعلاه، مما أسفر عن البنية التحتية الدلالية التي يمكن استخدامها لبناء مستجيب، في الوقت الفعلي، AI محادثة محادثة مفسورة يمكن تخصيصها بسرعة لتوفير مجموعات مستخدمين محددة مثل الأشخاص المصابين بالخرف.
نقترح إطارا لنموذج نفي محادثة تشغيلية من خلال تطبيق السياق الدنيوي (المعرفة السابقة) على النفي المنطقي في دلالات التوزيع التركيبية.بالنظر إلى كلمة، يمكن لإطارنا أن يخلق نفيها مما يشبه كيفية إدراك البشر النفي.يقوم الإطار بتصحيح النفي المنطقي معاني الو
زن أقرب إلى التسلسل الهرمي الاستيباري أكثر من المعاني إلى حد بعيد.الإطار المقترح مرن لاستيعاب خيارات مختلفة من النفي المنطقي والتركيبات وتوليد السياق الدنيوي.على وجه الخصوص، نقترح ونحفز النفي المنطقي الجديد باستخدام مصفوفة معكوس.نحن نقوم بالتحقق من حساسية إطار نفي المحادثة لدينا عن طريق إجراء تجارب، واستفادة من مصفوف الكثافة لتشفير معلومات التسلل المتدرجة.نستنتج أن مزيج النفي للطرح والمسار في الأساس من الكلمة المنفذة تعطي أعلى ارتباط بيرسون ب 0.635 مع التقييمات البشرية.
تعد دقة Coureference Event مشكلة بحثية مهمة في العديد من التطبيقات.على الرغم من النجاح الرائع الأخير للنماذج اللغوية المدربة مسبقا، فإننا نجادل بأنه لا يزال مفيدا للغاية لاستخدام الميزات الرمزية للمهمة.ومع ذلك، نظرا لأن المدخلات لتحليل Aquerence عادة
ما تأتي من مكونات المنبع في خط أنابيب استخراج المعلومات، فإن الميزات الرمزية المستخرجة تلقائيا يمكن أن تكون صاخبة وأن تحتوي على أخطاء.أيضا، اعتمادا على السياق المحدد، يمكن أن تكون بعض الميزات أكثر إفادة من غيرها.بدافع من هذه الملاحظات، نقترح وحدة نمطية معتمدة على السياق على الرواية السيطرة على تدفق المعلومات من ميزات المدخلات الرمزية.جنبا إلى جنب مع طريقة تدريب صاخبة بسيطة، فإن أفضل طرازات لدينا تحقق نتائج أحدث من الفنون على مجموعة بيانات: ACE 2005 و KBP 2016.
في حين أن العديد من المحاولات قد بذلت لتحليل بناء الجملة والدلالات، فإن الأداء العالي في مجال واحد يأتي عادة بسعر الأداء في الآخر.يتناقض هذا المقارضة مع مجموعة الأبحاث الكبيرة التي تركز على التفاعلات الغنية في واجهة Syntax - Semantics.نستكشف هياكنات
نموذجية متعددة تسمح لنا باستغلال التعليقات التوضيحية الغنية والمسلية الواردة في مجموعة بيانات دلالات التحلل العالمية (UDS)، مما أدى إلى تحليل التبعيات الشاملة والأمم المتحدة للحصول على نتائج حديثة في كل من الشكليات.نقوم بتحليل سلوك نموذج مشترك من بناء الجملة والدلالات، والعثور على أنماط تدعمها النظرية اللغوية في بناء جملة - واجهة دلالات.ثم نحقق في ما يعيد تصميم النمذجة المشتركة إلى حد كبير إلى إعداد متعدد اللغات، حيث نجد اتجاهات مماثلة عبر 8 لغات.
في هذه الورقة نناقش جهدا مستمرا لإثراء تعلم الطلاب من خلال إشراكهم بمعنى معنى.الهدف الرئيسي هو قيادة الطلاب لاكتشاف كيف يمكننا تمثيل معنى وحيث تقع حدود نظرياتنا الحالية.الهدف الفرعي هو خلق معنى الموسومة والمعجم المرتبط المرتبط (في حالتنا الوصية).نقدم
نتائج وضع العلامات على العديد من النصوص وتشير إلى بعض الطرق التي يمكن بها تحسين عملية وضع العلامات.يقدم مؤلفان من هذه الورقة تجربتهم الخاصة كطلاب.بشكل عام، أبلغ الطلاب أنهم وجدوا وضع العلامات تجربة تخصيبها.تتوفر Corpora والتغييرات المشروحين في Wordnet من خلال Corpus متعدد اللغات NTU و WordNets المرتبطة (NTU-MC).
الملخص نقدم إطارا جديدا للملقة، دلالات الحدث العصبي (NES)، لفهم اللغة التركيبية التركيبية.يعامل نهجنا جميع الكلمات كصفوفات مصنوعة من التصنيف لتشكيل عقوبة ذات معنى بضرب درجات الإخراج.تنطبق هذه المصنفات على المناطق المكانية (الأحداث) ويمشر NES هيكلها ا
لدلالي من اللغة عن طريق توجيه الأحداث إلى مدخلات حجة مصنف مختلفة عن طريق الاهتمام الناعم.NES هي نهاية قابلة للتدريب من خلال نزول التدرج مع الحد الأدنى من الإشراف.نقيم طريقةنا على مهام اللغة التركيبية المتراكمة في إعدادات الاصطناعية والواقعية التي تسيطر عليها.توفر NES إمكانية تعميم أقوى من الأطر التركيبية القياسية القائمة على الوظائف، مع تحسين الدقة على الأساليب العصبية الحديثة في مهام اللغة العالمية الحقيقية.
