قام الكثير من الأعمال الحديثة في NLP بتوثيق القطع الأثرية لحجم البيانات والتحيز والارتباطات الزائفة بين ميزات الإدخال وتسميات الإخراج. ومع ذلك، وكيفية معرفة الميزات التي تحتوي على زائفة "بدلا من الارتباطات المشروعة عادة ما تكون غير محددة. في هذا العمل، نقول أنه بالنسبة لمهام فهم اللغة المعقدة، فإن جميع الارتباطات البسيطة الميزة زائفة، ونحن نقضي بإضفاء الطابع الرسمي على هذه الفكرة في فئة من المشاكل التي نسميها مشاكل الكفاءة. على سبيل المثال، يجب أن تعطي الكلمة مذهلة '' من تلقاء نفسها معلومات حول تسمية المعنويات مستقلة عن السياق الذي يظهر فيه، مما قد يشمل النفي والاستعارة والسخرية وما إلى ذلك. نحن نظريين تحليلا نظريا صعوبة في إنشاء بيانات لمشاكل الكفاءة عندما يتم أخذ التحيز البشري في الاعتبار، إظهار أن مجموعات البيانات الواقعية ستخلص بشكل متزايد من مشاكل الكفاءة حيث يزيد حجم مجموعة البيانات. يمنحنا هذا التحليل اختبارا إحصائيا بسيطا ل Artifacts DataSet، والذي نستخدمه لإظهار المزيد من التحيزات الدقيقة أكثر من الموصوفة في العمل السابق، بما في ذلك إظهار أن النماذج تتأثر بشكل غير لائق من هذه التحيزات الأقل شاقة. يسمح لنا العلاج النظري لهذه المشكلة أيضا بتحليل الحلول المقترحة، مثل إجراء تعديلات محلية لحالات البيانات، وتقديم توصيات لجمع البيانات المستقبلية وجهود تصميم النماذج التي تستهدف مشاكل الكفاءة.
Much recent work in NLP has documented dataset artifacts, bias, and spurious correlations between input features and output labels. However, how to tell which features have spurious'' instead of legitimate correlations is typically left unspecified. In this work we argue that for complex language understanding tasks, all simple feature correlations are spurious, and we formalize this notion into a class of problems which we call competency problems. For example, the word amazing'' on its own should not give information about a sentiment label independent of the context in which it appears, which could include negation, metaphor, sarcasm, etc. We theoretically analyze the difficulty of creating data for competency problems when human bias is taken into account, showing that realistic datasets will increasingly deviate from competency problems as dataset size increases. This analysis gives us a simple statistical test for dataset artifacts, which we use to show more subtle biases than were described in prior work, including demonstrating that models are inappropriately affected by these less extreme biases. Our theoretical treatment of this problem also allows us to analyze proposed solutions, such as making local edits to dataset instances, and to give recommendations for future data collection and model design efforts that target competency problems.
المراجع المستخدمة
https://aclanthology.org/
في هذا البرنامج التعليمي، نقدم جزءا من الخبرة الصناعية الفريدة في التعليق التوضيحي لبيانات اللغة الطبيعية فعالة عبر الجماعة الجماعية المشتركة من قبل كل من الباحثين والمهندسين الرئيسيين من ياندكس.سنقوم بإعطاء مقدمة لوضع علامات البيانات عبر أسواق الجما
تضمين الجملة تشفير المعلومات المتعلقة باستخدام التعابير في جملة.تقارير هذه الورقة مجموعة من التجارب التي تجمع بين المنهجية التحقيق مع اخفاء المدخلات لتحليل مكان وجود هذه المعلومات الاصطلاحية هذه، وما شكله.تشير نتائجنا إلى أن المفتاح الاصطلاعي لمصدر ب
يعتبر دور رئيسة الشعبة التمريضية و كيفية عملها ضمن المؤسسات الصحية من المواضع التي شغلت العديد من الهيئات و المنظمات العالمية خلال العقدين السابقين, و ذلك لما لهذا الدور من تأثير على العناصر التمريضية, و مقدمي الرعاية الصحية الآخرين, و المرضى, و بيئة
تحتوي الوثائق العلمية على درجة كبيرة من الاختلاف، سواء من حيث المحتوى (الدلالات) والهيكل (البراغماتية). تؤكد العمل المسبق في الوثيقة العلمية التفاهم على دلالات من خلال تلخيص المستندات ونمذجة موضوع Corpus ولكن تميل إلى حذف البراغماتية مثل تنظيم الوثائ
تعد فهم الجداول مهمة مهمة وذات صلة تتضمن فهم بنية الجدول وكذلك القدرة على مقارنة ومعلومات التباين داخل الخلايا. في هذه الورقة، نتعامل مع هذا التحدي من خلال تقديم مجموعة بيانات جديدة ومهام جديدة تعالج هذا الهدف في مهمة مشتركة في مهمة Semeval 2020 9: ا