اشترك بالحزمة الذهبية واحصل على وصول غير محدود شمرا أكاديميا
تسجيل مستخدم جديدالمناهج الدراسية النشطة التعلم
Active Curriculum Learning
126
0 0
0.0
(
0
)
نشر من قبل
جمعية اللغويات الحاسوبية ACL مقالة
تاريخ النشر
2021
مجال البحث
الذكاء الاصناعي
والبحث باللغة
English
تمت اﻹضافة من قبل
Shamra Editor
اسأل ChatGPT حول البحث
تحقق هذه الورقة وتكشف عن العلاقة بين اثنين من التخصصات المتعلقة بآلات التعلم عن كثب، وهي التعلم النشط (AL) وتعلم المناهج الدراسية (CL)، من عدسة العديد من المناهج الرواية.تقدم هذه الورقة أيضا التعلم المناهج الدراسية النشطة (ACL) الذي يحسن AL من خلال الجمع بين آل مع CL للاستفادة من الطبيعة الديناميكية لمفهوم المعلومات وكذلك الأفكار البشرية المستخدمة في تصميم الاستدلال المناهج الدراسية.تعرض مقارنة أداء ACL و AL على مجموعة بيانات عامين لمهمة التعرف على الكيان المسماة (NER) فعالية الجمع بين آل و CL باستخدام إطار عملنا المقترح.
This paper investigates and reveals the relationship between two closely related machine learning disciplines, namely Active Learning (AL) and Curriculum Learning (CL), from the lens of several novel curricula. This paper also introduces Active Curriculum Learning (ACL) which improves AL by combining AL with CL to benefit from the dynamic nature of the AL informativeness concept as well as the human insights used in the design of the curriculum heuristics. Comparison of the performance of ACL and AL on two public datasets for the Named Entity Recognition (NER) task shows the effectiveness of combining AL and CL using our proposed framework.
المراجع المستخدمة
https://aclanthology.org/
قيم البحث
اقرأ أيضاً
حققت نماذج تمثيل اللغة المدربة مؤخرا مثل بيرت وروبرتا نتائج مهمة في مجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP)، ومع ذلك، فإنها تتطلب تكلفة حسابية عالية للغاية.يعد تعلم المناهج الدراسية (CL) أحد الحلول المحتملة لتخفيف هذه المشكلة.CL هي استراتيجي
ة تدريبية حيث يتم إعطاء عينات التدريب للنماذج بأمر هادف بدلا من أخذ العينات العشوائية.في هذا العمل، نقترح طريقة CL جديدة تدريجيا، مما يزيد تدريجيا من حجم نص المدخلات لتدريب آلية الانتباه الذاتي في بيرت ومتغيراته باستخدام الحد الأقصى للحجم الدفعة المتوفرة.تظهر التجارب في إعدادات الموارد المنخفضة أن نهجنا يفوق أن يؤدي إلى خط الأساس من حيث سرعة التقارب والأداء النهائي على مهام المصب.
نقترح نقدي علامتي التعلم النشط (CAL)، وهي خوارزمية للتعلم النشطة الجديدة (AL) التي تستغل سلوك النموذج على الحالات الفردية أثناء التدريب كوكيل للعثور على أكثر الحالات إعلامية لوضع العلامات.يستقبل Cal بواسطة خرائط البيانات، التي اقترحت مؤخرا أن تستمد ا
لأفكار في جودة البيانات (Swayamdipta et al.، 2020).قارنا طريقنا على مهام تصنيف النص الشعبي لاستراتيجيات آل شائعة، والتي تعتمد بدلا من ذلك على سلوك ما بعد التدريب.نوضح أن CAL منافسة أساليب المنطقية المشتركة الأخرى، مما يدل على أن الديناميات التدريبية المستمدة من بيانات البذور الصغيرة يمكن استخدامها بنجاح في آل.نحن نقدم رؤى في طريقتنا الجديدة من خلال تحليل إحصاءات المستوى الدفاعية باستخدام خرائط البيانات.تبين نتائجنا كذلك أن Cal ينتج عنه استراتيجية تعليمية أكثر كفاءة في البيانات، وتحقيق نتائج قابلة للمقارنة أو أفضل مع بيانات تدريب أقل بكثير.
في حين أن التعلم المناهج الدراسي (CL) حصل مؤخرا على الجر في مهام معالجة اللغة الطبيعية، فإنه لا يزال غير محروم بشكل مناسب. تعمل سابقا على إظهار فعاليتها فقط ولكن تفشل في شرح وتفسير الأعمال الداخلية بالكامل. في هذه الورقة، نقوم بتحليل تعلم المناهج الد
راسية في تحليل المعنويات على طول محاور متعددة. تم اقتراح بعض هذه المحاور بواسطة الأعمال السابقة التي تحتاج إلى دراسة أكثر متعمقة. يتطلب هذا التحليل فهم حيث يعمل تعلم المناهج وأين لا يفعل ذلك. تشمل محاور التحليل لدينا صعوبة المهمة على CL، ومقارنة تقنيات سرعة CL، والتحليل النوعي من خلال تصور حركة نتائج الاهتمام في النموذج باعتباره مراحل المناهج الدراسية التقدم. نجد أن تعلم المناهج الدراسية يعمل بشكل أفضل للمهام الصعبة وقد يؤدي حتى إلى انخفاض في الأداء للمهام ذات الأداء الأعلى دون تعلم المناهج الدراسية. نرى أن استراتيجيات المناهج القصيرة المريحة تعاني من تصور حركة النسيان والانتباه بالكارثي داخل سرعة المناهج. هذا يدل على أن تعلم المناهج الدراسية ينهار المهمة الرئيسية الصعبة في مهام فرعية أسهل تم حلها بالتتابع.
لقد أثبتت التعلم المناهج الدراسية، وهي استراتيجية تدريب الآلة التي تغذي حالات التدريب على النموذج من سهولة الصعب، لتسهيل مهمة توليد الحوار. وفي الوقت نفسه، يمكن أن تسفر عن طريقة تقطير المعرفة، منهجية تحويل المعرفة بين المعلمين وشبكات الطلاب دفعة كبير
ة من الأداء لنماذج الطلاب. وبالتالي، في هذه الورقة، نقدم مجموعة من التعلم من المناهج الدراسية وتقطير المعرفة لنماذج جيل الحوار الفعالة، حيث يمكن أن يساعد تعلم المناهج الدراسية في تقطير المعارف من جوانب البيانات والنموذج. للبدء، من جانب البيانات، نقوم بتجميع حالات التدريب وفقا لتعقيدها، والتي تحسبها أنواع مختلفة من الميزات مثل طول الجملة والتماسك بين أزواج الحوار. علاوة على ذلك، فإننا نوظف استراتيجية تدريبية عدائية لتحديد تعقيد الحالات من مستوى النموذج. الحدس هو أنه، إذا كان بإمكان التمييز أن يخبر الاستجابة الناتجة عن المعلم أو الطالب، فسيكون الأمر من الصعب على الحالة أن نموذج الطالب لم يتكيف حتى الآن. أخيرا، نستخدم التعلم الذاتي، وهو امتداد لتعلم المناهج الدراسية لتعيين الأوزان لتقطير. في الختام، نقوم بترتيب منهج هرمي يستند إلى الجوانب المذكورة أعلاه لنموذج الطالب بموجب الإرشاد من نموذج المعلم. توضح النتائج التجريبية أن أساليبنا تحقق تحسينات مقارنة مع خطوط الأساس التنافسية.
غالبا ما تفشل أنظمة الترجمة الآلية في الحفاظ على خصائص أسلوبية وبراغمية مختلفة لنص المصدر (E.G. المشاعر والمشاعر والسمات الجنسانية وغيرها) إلى الهدف وخاصة في سيناريو منخفض الموارد. يمكن أن تؤثر هذه الخسارة على أداء أي مهمة معالجة اللغة الطبيعية المصب
(NLP) ومثل تحليل المعرفات وهذا يعتمد بشدة على إخراج أنظمة MT. أصبحت القابلية للإصابة بفقدان القطبية أكثر شدة عندما يعمل نظام MT لترجمة محتوى مصدر يفتقر إلى بنية لغة شرعية (على سبيل المثال نص المراجعة). لذلك، يجب أن نجد طرقا لتقليل الآثار غير المرغوب فيها لتفقد المعنويات في الترجمة دون المساومة مع الكفاية. في عملنا الحالي، نقدم إطارا عميقا لتعليم التعلم (RL) مع التعلم من المناهج الدراسية (وفقا لصعوبات المكافأة) لضبط معايير نظام MT العصبي المدرب مسبقا بحيث الترجمة التي تم إنشاؤها يقوم بنجاح بترميز المعنويات الأساسية للمصدر دون المساس بالكفاية على عكس الأساليب السابقة. نقوم بتقييم أسلوبنا المقترح على مجموعات البيانات المراجعة باللغة الإنجليزية - الهندية والفرنسية - الإنجليزية (مجال مطعم) ووجدت أن طريقتنا تجلب تحسنا كبيرا على العديد من خطوط الأساس في مهام الترجمة الآلية وتصنيف المعنويات.
الأسئلة المقترحة
سجل دخول لتتمكن من نشر تعليقات
التعليقات
جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
