في هذه الورقة ندرس لغة Pejorative، موضوعا غير متوقع في اللغويات الحسابية.على عكس النماذج الحالية من اللغة الهجومية وكلاب الكراهية، تظهر لغة Pejorative نفسها في المقام الأول على المستوى المعجمي، وتوضح كلمة تستخدم مع دلالة سلبية، مما يجعلها مختلفة عن ا
للغة المسيئة أو الفئات الأخرى التي تمت دراستها.يعتمد Pejorativity أيضا على السياق: يمكن استخدام نفس الكلمة مع أو بدون دلالات Pejorative، وبالتالي فإن الكشف عن Pejorativity هو أساسا مشكلة مماثلة ل Disambiguation Sense Word.نستفيد بين القواميس عبر الإنترنت لبناء معجم متعدد اللغات من شروط Pejorative للغة الإنجليزية والإسبانية والإيطالية والرومانية.كلفنا تحرير مجموعة بيانات من تغريدات المشروح لاستخدام Pejorative.بناء على هذه الموارد، نقدم تحليلا لاستخدام وحدوث كلمات Pejorative في وسائل التواصل الاجتماعي، وتقديم محاولة لإفساد استخدام Pejorative تلقائيا في مجموعة بياناتنا.
مع النجاح المبكر لمساعدات الإجابة في الاستعلام مثل Alexa و Siri، فإن محاولات البحث لتوسيع إمكانات النظام من أتمتة خدمة التعامل هي الآن وفيرة. ومع ذلك، فقد عثرت الأنظمة الأولية بسرعة على عدم كفاية في الاعتماد على تقنيات التصنيف البسيطة لتحقيق مهمة الأ
تمتة بشكل فعال. التحدي الرئيسي هو أن الحوار يتضمن في كثير من الأحيان التعقيد في نوايا المستخدم (أو أغراض) معتلقها، مع مراعاة التغيير التلقائي، ويصعب تتبعه. علاوة على ذلك، لم تعتبر مجموعات البيانات العامة هذه المضاعفات والشروح الدلالية العامة غير موجودة والتي قد تؤدي إلى مشكلة تسديدة صفرية. بدافع من ما ورد أعلاه، نقترح شبكة انتباه بيرت علم الملصقات (Laban) للكشف عن الصفر طلقة متعددة النوايا. نقوم أولا بتشفير كلمات الإدخال مع بيرت وبناء مساحة مضمنة تسمية من خلال النظر في دلالات مضمنة في ملصقات النوايا. ثم يتم تصنيف كلمة الإدخال بناء على أوزان الإسقاط على كل تضمين نية في هذه المساحة المضمنة. نظهر أنه تمتد بنجاح إلى عدد قليل من الإعدادات / الصفر، حيث يكون جزء من ملصقات النوايا غير مرئية في بيانات التدريب، من خلال مراعاة الدلالات أيضا في هذه الملصقات النية غير المرئية. تظهر النتائج التجريبية أن نهجنا قادر على اكتشاف العديد من الملصقات النية غير المرئية بشكل صحيح. كما أنه يحقق الأداء الحديثة في خمس مجموعات بيانات متعددة النوايا في الحالات العادية.
تولد نماذج اللغة الكبيرة (LM) نص بطلاقة بشكل ملحوظ ويمكن تكييفها بكفاءة عبر مهام NLP. قياس وضمان جودة النص الذي تم إنشاؤه من حيث السلامة أمر ضروري لنشر LMS في العالم الحقيقي؛ تحقيقا لهذه الغاية، غالبا ما يعتمد العمل السابق على التقييم التلقائي لسمية
LM. نناقش هذا النهج بشكل خطير، وتقييم العديد من استراتيجيات تخفيف السمية فيما يتعلق بالتقييم التلقائي والبشري، وتحليل عواقب التخفيف من السمية من حيث التحيز النموذجي وجودة LM. نوضح أنه في حين أن استراتيجيات التدخل الأساسية يمكن أن تتحسن بشكل فعال مقاييس تلقائية تم تأسيسها مسبقا على مجموعة بيانات Realtoxicyprompts، فإن هذا يأتي عند تكلفة انخفاض تغطية LM لكلا النصوص حول، ولهجات المجموعات المهمشة. بالإضافة إلى ذلك، نجد أن التصدير البشري غالبا ما يختلفون في درجات سمية تلقائية عالية بعد تدخلات تخفيض السمية القوي --- تسليط الضوء على مزيد من الفروق الدقيقة المشاركة في التقييم الدقيق لسامة LM.
تقترح هذه الورقة دراسة مهمة للكشف عن الجدة من الدلالات الدلالية الرائعة، والتي يمكن توضيحها مع المثال التالي.من الطبيعي أن يمشي شخص كلب في الحديقة، ولكن إذا قال شخص ما إن الرجل يمشي في الدجاج في الحديقة "، فهو رواية.بالنظر إلى مجموعة من الأوصاف اللغو
ية الطبيعية للمشاهد العادية، نريد تحديد أوصاف المشاهد الرواية.نحن لسنا على علم بأي عمل موجود يحل المشكلة.على الرغم من أن خوارزميات الكشف عن الجدة أو الشذوذ الحالية قابلة للتطبيق، نظرا لأنها عادة ما تكون قائمة على الموضوعات، فإنها تؤدي بشكل سيئ في مهمة الكشف عن الجدة الدلالية الدقيقة.تقترح هذه الورقة نموذجا فعالا (يسمى GAT-MA) لحل المشكلة ويساهم أيضا في مجموعة بيانات جديدة.يوضح التقييم التجريبي أن GAT-MA يتفوق على 11 خطوط رئيسية من الهوامش الكبيرة.
إن التحدي الرئيسي في السؤال الرد على قواعد المعرفة (KBQA) هو التناقض بين أسئلة اللغة الطبيعية ومسارات المنطق في قاعدة المعرفة (KB). أساليب KBQA القائمة على الرسم البياني في الرسم البياني هي جيدة في استيعاب هيكل الطوبولوجي للرساه الرسم ولكن غالبا ما ت
جاهل المعلومات النصية التي تحملها العقد والحواف. وفي الوقت نفسه، تتعلم نماذج اللغة المدربة مسبقا معرفة ضخمة مفتوحة عالمية من الكائنات الكبيرة، ولكنها في شكل اللغة الطبيعية وليس منظم. لسد الفجوة بين اللغة الطبيعية و KB الهيكلية، نقترح ثلاث مهام تعلم العلاقة ل KBQA القائم على BERT، بما في ذلك استخراج العلاقة ومطابقة العلاقات والمعاقين. عن طريق التدريب المعزز في العلاقة، يتعلم النموذج مواءمة تعبيرات اللغات الطبيعية للعلاقات في KB وكذلك السبب في الروابط المفقودة في KB. تظهر التجارب على WebQSP أن طريقتنا تتفوق باستمرار على خطوط الأساس الأخرى، خاصة عندما تكون KB غير مكتملة.
يناقش الجنس على نطاق واسع في سياق المهام اللغوية وعند فحص الصور النمطية الناتجة عن نماذج اللغة.ومع ذلك، تعامل المناقشات الحالية في المقام الأول بين الجنسين باعتبارها ثنائية، والتي يمكن أن تديم الأضرار مثل المحور الدوري للهويات الجنسية غير الثنائية.هذ
ه الأضرار مدفوعة بالتحيزات النموذجية ومجموعات البيانات، والتي هي عواقب عدم الاعتراف بعدم الاعتراف بعدم الاعتراف بعدم الاعتراف بالعقاب غير الثنائية في المجتمع.في هذه الورقة، نوضح تعقيد الجنس واللغة حولها، ومسح الأشخاص غير الثنائيين لفهم الأضرار المرتبطة بمعاملة الجنس باعتبارها ثنائية في تكنولوجيات اللغة الإنجليزية.كما نقوم بالتفصيل كيف تمثيل اللغات الحالية (على سبيل المثال، قفاز، بيرت)، وإدامة هؤلاء الأضرار والتحديات ذات الصلة التي يجب الاعتراف بها ومعالجتها للتمثيلات بتشفير المعلومات الجنسانية بشكل قاطع.
نماذج اللغة واسعة النطاق مثل GPT-3 هي متعلمين بقلة قليلة، مما يتيح لهم السيطرة عليها عبر مطالبات النص الطبيعي. أبلغ الدراسات الحديثة أن التصنيف المباشر الفوري يزيل الحاجة إلى ضبط الدقيقة ولكن يفتقر إلى إمكانية التوسع للبيانات والاستدلال. تقترح هذه ال
ورقة تقنية تكبير بيانات جديدة ترفع نماذج لغة واسعة النطاق لتوليد عينات نصية واقعية من مزيج من العينات الحقيقية. نقترح أيضا استخدام الملصقات الناعمة المتوقعة من النماذج اللغوية، وتقطير المعرفة بفعالية من نماذج اللغة واسعة النطاق وإنشاء اضطرابات نصية في وقت واحد. نقوم بإجراء تجارب تكبير البيانات على مهام التصنيف المتنوعة وإظهار أن طريقتنا تتفوق بشكل كبير على أساليب تكبير النص الحالية. نقوم أيضا بإجراء تجارب في معيارنا المقترح حديثا لإظهار أن تأثير تكبير لا يعزى فقط إلى الحفظ. مزيد من دراسات الاجتثاث والتحليل النوعي توفر المزيد من الأفكار في نهجنا.
تم إظهار النماذج المحددة متعددة اللغات مسبقا، مثل XLM-Roberta (XLM-R) فعالة في العديد من المهام المتقاطعة عبر اللغات.ومع ذلك، لا تزال هناك فجوات بين التمثيلات السياقية للكلمات المماثلة بلغات مختلفة.لحل هذه المشكلة، نقترح إطارا جديدا يدعى تدريبات متعد
دة اللغات المختلطة (MVMLT)، والتي ترفع البيانات التي تبديل التعليمات البرمجية مع التعلم المتعدد المشاهدة لحن XLM-R.يستخدم MVMLT الرافية القائمة على التدرج لاستخراج الكلمات الرئيسية التي تعد الأكثر صلة بمهام المصب واستبدالها بالكلمات المقابلة في اللغة المستهدفة بشكل حيوي.علاوة على ذلك.تبين تجارب واسعة مزودة بأربع لغات أن نموذجنا يحقق نتائج أحدث النتائج على تصنيف المعنويات الصفرية ومهام تتبع الدولة للحوار، مما يدل على فعالية نموذجنا المقترح.
يتم تدريب نماذج اللغة بشكل عام على تسلسل المدخلات القصيرة والمتقطعة، والتي تحد من قدرتها على استخدام معلومات مستوى الخطاب الموجودة في سياق طويل المدى لتحسين تنبؤاتها. أدت الجهود الأخيرة لتحسين كفاءة اهتمام الذات إلى انتشار نماذج لغة محول طويلة المدى،
والتي يمكن أن تعالج تسلسل أطول بكثير من نماذج الماضي. ومع ذلك، تبقى الطرق التي تستفيد منها هذه النماذج من السياق الطويل المدى غير واضح. في هذه الورقة، نقوم بإجراء تحليل جيد الحبيبات من طرازات لغة محول طويلة المدى (بما في ذلك محول التوجيه، والذي يحقق حيرة من الفن الحيرة على مجموعة بيانات BG-19 المتسلسلة LM Transmark) التي تقبل المدخلات تسلسل يصل إلى 8K الرموز. نتائجنا تكشف عن توفير سياق طويل المدى (أي، خارج الرموز 2K السابقة) لهذه النماذج يحسن فقط تنبؤاتها على مجموعة صغيرة من الرموز (على سبيل المثال، تلك التي يمكن نسخها من السياق البعيد) ولا يساعد على الإطلاق لمهام التنبؤ على مستوى الجملة. أخيرا، نكتشف أن PG-19 تحتوي على مجموعة متنوعة من أنواع المستندات والمجالات المختلفة، وأن السياق الطويل المدى يساعد معظمها على الروايات الأدبية (بدلا من الكتب المدرسية أو المجلات).
أظهرت تمثيلات الأرقام المتخصصة في NLP تحسينات على مهام التفكير العددي مثل مشاكل الكلمات الحسابية والتنبؤ بالرقم المحدد. لكن البشر يستخدمون أيضا الحساب لتحسين الشعور بالمفاهيم العالمية، على سبيل المثال، يمكنك مقعد 5 أشخاص في غرفتك "ولكن ليس 500. هل لد
يك فهم أفضل للأرقام تحسين فهم النموذج للمفاهيم والكلمات الأخرى؟ تدرس هذه الورقة تأثير استخدام ستة أرقام مختلفة على مهمة التنبؤ بالكلمة الملثمين (MWP)، كوكيل لتقييم معرفة القراءة والكتابة. لدعم هذا التحقيق، نطور Wiki-Convolution، لوحة بيانات 900،000 الجملة المشروحة بأرقام ووحدات، لتجنب حدوث حوادث الأرقام الاسمية والترتيوية. نجد تحسنا كبيرا في MWP للجمل التي تحتوي على أرقام، أن المظلات المتأثرة هي أفضل ترميز أرقام، مما أدى إلى قفزة أكثر من 2 نقطة في دقة التنبؤ عبر خط الأساس بيرت، وأن هذه مهارات محو الأمية المعززة تعميم أيضا إلى السياقات دون أرقام مشروح. نطلق كل الكود في https://git.io/juzxn.
