ترغب بنشر مسار تعليمي؟ اضغط هنا

عدد قليل من الرواية مفهوم التعلم لتحليل الدلالي

Few-Shot Novel Concept Learning for Semantic Parsing

204   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

البشر قادرون على تعلم مفاهيم جديدة من أمثلة قليلة جدا؛ في المقابل، تحتاج خوارزميات التعلم في الآلة الحديثة عادة الآلاف من الأمثلة للقيام بذلك. في هذه الورقة، نقترح خوارزمية لتعلم مفاهيم جديدة من خلال تمثيلها كبرامج بشأن المفاهيم القائمة. وبهذه الطريقة، تعتبر مشكلة التعلم المفهوم بشكل طبيعي مشكلة تخليق برنامجا وتخصصت خوارزميةنا من بعض الأمثلة لتوليف برنامج يمثل مفهوم الرواية. بالإضافة إلى ذلك، نقوم بإجراء تحليل نظري لنهجنا للقضية التي يكون فيها البرنامج الذي يحدد مفهوم الرواية على تلك الموجودة خالية من السياق. نظهر أنه بالنظر إلى المحلل المحلل القائم على النحو المستفاد وقاعدة الإنتاج الجديدة، يمكننا زيادة المحلل بمحلل مع قاعدة الإنتاج بطريقة تعميم. نقيم نهجنا من خلال مفاهيم التعلم في مجال التحليل الدلالي الممتد إلى إعداد تعلم مفهوم الرواية القليلة، مما يظهر أن نهجنا يتفوق بشكل كبير على المحللين الدلالي العصبي المنتهي.

المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تعتمد معالجة اللغة الطبيعية (NLP) بشكل متزايد على الأنظمة العامة المناسبة التي تحتاج إلى التعامل مع العديد من الظواهر اللغوية المختلفة والفروق الدقيقة. على سبيل المثال، يتعين على نظام الاستدلال باللغة الطبيعية (NLI) أن يتعرف على المعنويات، والتعامل م ع الأرقام، وإجراء حلول، وما إلى ذلك. لا تزال حلولنا للمشاكل المعقدة بعيدة عن الكمال، لذلك من المهم إنشاء أنظمة يمكن أن تتعلم تصحيح الأخطاء بسرعة، تدريجيا، ومع القليل من البيانات التدريبية. في هذا العمل، نقترح مهمة التعلم القليلة المستمرة (CFL)، حيث يتم الطعن للنظام بظاهرة صعبة وطلب منهم أن يتعلموا تصحيح الأخطاء مع أمثلة تدريبية فقط (10 إلى 15). تحقيقا لهذه الغاية، نقوم أولا بإنشاء معايير بناء على البيانات المشروحة مسبقا: DetaSets NLI (Anli and Snli) ومجموعات بيانات تحليل المشاعر (IMDB). بعد ذلك، نقدم خطوط أساس مختلفة من النماذج المتنوعة (على سبيل المثال، أخطاقات علم الذاكرة والشبكات النموذجية) ومقارنتها في التعلم القليل من الطلقات والكم من إعدادات التعلم القليلة المستمرة. إن مساهماتنا هي في إنشاء بروتوكول جناح وتقييم معيار لاستمرار التعلم القليل من الرصاص حول مهام تصنيف النص، وعمل العديد من الملاحظات المثيرة للاهتمام حول سلوك الأساليب القائمة على التشابه. نأمل أن يعمل عملنا كنقطة انطلاق مفيدة للعمل في المستقبل على هذا الموضوع الهام.
القدرة على توسيع المعرفة باستمرار مع مرور الوقت واستخدامها للتعميم السريع للمهام الجديدة هي سمة رئيسية لاستخبارات اللغوية البشرية. ومع ذلك، فإن النماذج الموجودة التي تتابع التعميم السريع لمهام جديدة (على سبيل المثال، طرق تعلم قليلة بالرصاص) تتدرب في الغالب في طلقة واحدة على مجموعات البيانات الثابتة، غير القادرة على توسيع معارفها ديناميكيا؛ في حين أن خوارزميات التعلم المستمرة ليست مصممة خصيصا للتعميم السريع. نقدم إعداد تعليمي جديد، وتعلم مستمر لمتعلمي القليل من الأخطاء (CLIF)، لمعالجة تحديات كلا من إعدادات التعلم في إعداد موحد. يفترض CLIF نموذجا يتعلم من سلسلة من مهام NLP المتنوعة التي تصل بالتتابع، وتراكم المعرفة لتحسين التعميم إلى مهام جديدة، مع الحفاظ أيضا على الأداء على المهام المستفادة في وقت سابق. ندرس كيف تتأثر قدرة تعميم التعميم في إعداد التعلم المستمر، وتقييم عدد من خوارزميات التعلم المستمرة، واقتراح نهج جيل محول منتظمت جديد. نجد أن النسيان الكارثي يؤثر على قدرة التعميم على درجة أقل من الأداء في المهام المشاهدة؛ في حين أن خوارزميات التعلم المستمرة لا تزال تحقق فائدة كبيرة لقدرة التعميم.
تهدف التحليل الدلالي إلى ترجمة كلام اللغة الطبيعية (NL) على البرامج القابلة للتفسير بالآلة، والتي يمكن تنفيذها مقابل بيئة عالمية حقيقية. منذ فترة طويلة تم الاعتراف بالشروح باهظة الثمن لأزواج برنامج الكلام كعقوبة رئيسية لنشر النماذج العصبية المعاصرة ل تطبيقات الحياة الحقيقية. في هذا العمل، نركز على مهمة التعلم شبه الإشراف حيث يتوفر كمية محدودة من البيانات المشروحة مع العديد من الكلمات غير المستقرة غير المسبقة. بناء على الملاحظة التي يجب أن تكون البرامج التي تتوافق مع الكلام NL قابلة للتنفيذ دائما، نقترح تشجيع المحلل المحلل لتوليد برامج قابلة للتنفيذ للكلمات غير المسبقة. نظرا لمسافة البحث الكبير للبرامج القابلة للتنفيذ، والأساليب التقليدية التي تستخدم شعاع البحث عن التقريب، مثل التدريب الذاتي والتدريب الهامشي الأعلى، لا تؤدي كذلك. بدلا من ذلك، نقترح مجموعة من أهداف التدريب الجديدة المستمدة من خلال الاقتراب من مشكلة التعلم من عمليات الإعدام من منظور التنظيم الخلفي. أهدافنا الجديدة تفوق الطرق التقليدية في الليلة الماضية والجيوقي، سد الفجوة بين التعليم شبه الإشرافه والإشراف.
اكتسبت توليف البيانات لتحليل الدلالي اهتماما متزايدا مؤخرا. ومع ذلك، فإن معظم الطرق تتطلب قواعد يدوية (عالية الدقة) في عملية توليدها، مما يعوق استكشاف بيانات غير مرئية متنوعة. في هذا العمل، نقترح نموذجا عاما يتميز ببرنامج PCFG (غير العصبي) نماذج تكوي ن البرامج (E.G.، SQL)، ونموذج الترجمة المستندة إلى BART خرائط برنامج إلى كلام. نظرا لبساطة PCFG و BART المدربة مسبقا، يمكن تعلم نموذجنا التوليدي بكفاءة من البيانات الموجودة في متناول اليد. علاوة على ذلك، يؤدي التركيبات النمذجة بشكل صريح باستخدام PCFG إلى استكشاف أفضل لبرامج غير مرئية، وبالتالي توليد بيانات أكثر تنوعا. نقوم بتقييم طريقتنا في كل من الإعدادات داخل المجال والخروج من تحليل النص إلى SQL على المعايير القياسية للجهازية والعنكب العنكبوت، على التوالي. تبين نتائجنا التجريبية أن البيانات المركبة التي تم إنشاؤها من طرازنا يمكن أن تساعد بشكل كبير في محلل الدلالي يحقق تعميم أفضل أو مجال.
تم اقتراح التعلم التلوي مؤخرا لتعلم النماذج والخوارزميات التي يمكن أن تعميمها من حفنة من الأمثلة.ومع ذلك، فإن تطبيقات التنبؤ الهيكلية والمهام النصية تشكل تحديات لخوارزميات التعلم التلوي.في هذه الورقة، نحن نطبق اثنين من خوارزميات التعلم التلوي، والشبك ات النموذجية والزواحف الزواحف، إلى عدد قليل من الرصاص التعرف على الكيان (NER)، بما في ذلك طريقة لإدماج نموذج اللغة قبل التدريب والحقول العشوائية الشرطية (CRF).نقترح خطة توليد المهام لتحويل مجموعات بيانات NER الكلاسيكية إلى إعداد القليل من الرصاص، لكل من التدريب والتقييم.باستخدام ثلاث مجموعات بيانات عامة، نظهر أن خوارزميات التعلم التلوي هذه تفوق خطاس بخبراء ذو صقل معقول.بالإضافة إلى ذلك، نقترح مزيجا جديدا من الشبكات النموذجية والزواحف.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا