التدريب نماذج لغة كبيرة يمكن أن تستهلك كمية كبيرة من الطاقة.نفترض أن تكوين نموذج اللغة يؤثر على استهلاكها في مجال الطاقة، وأن هناك مجالا لتحسين استهلاك الطاقة في نماذج اللغة الكبيرة الحديثة.للتحقيق في هذه المطالبات، نقدم عامل استهلاك الطاقة في الوظيف
ة الموضوعية، واستكشاف مجموعة النماذج وتكوينات HyperParameter التي تؤثر على الطاقة.نحدد عوامل تكوين متعددة يمكن أن تقلل من استهلاك الطاقة أثناء التدريب على نموذج اللغة مع الحفاظ على جودة النموذج.
غالبا ما تشمل توصيات المرادف التقليدية اقتراحات غير مناسبة للسياقات المحددة للكاتب.نقترح نهج بسيط لتوصية مرادف السياق من خلال الجمع بين الرسوم البيانية القائمة على الإنسان، على سبيل المثالWordnet، مع نماذج اللغة المدربة مسبقا.نقوم بتقييم تقنيةنا عن ط
ريق برعاية مجموعة من أزواج الجملة بكلمة الكلمة متوازنة عبر كوربورا وأجزاء الكلام، ثم قم بتسليم كل زوج جملة الكلمة مع مجموعة من المرادفات المناسبة للسياق.وجدنا أن نهج نموذج اللغة الأساسية لها دقة أعلى.الأساليب الاستفادة من سياق الجملة لها استدعاء أعلى.بشكل عام، كانت النهج السياقي الأخير لديه أعلى درجة F.
أدت طرازات اللغة الكبيرة المدربة مسبقا (PLMS) إلى نجاح كبير في مهام الإجابة على الأسئلة المختلفة (QA) في أزياء نهاية إلى نهاية.ومع ذلك، تم إيلاء القليل من الاهتمام وفقا لمعرفة المعرفة المنطقية لتمييز مهام ضمان الجودة هذه.في هذا العمل، اقترحنا تصنيف ا
لدلالات اللازمة لهذه المهام باستخدام SocialIQA كمثال.بناء على فئات المعرفة الاجتماعية الخاصة بنا المسمى DataSet على رأس SocialiQa، نربط نماذج QA العصبية لدمج فئات المعرفة الاجتماعية هذه ومعلومات العلاقة بين قاعدة المعرفة.على عكس العمل السابق، نلاحظ نماذجنا مع تصنيفات دلالية للمعرفة الاجتماعية يمكن أن تحقق أداء مماثل مع نموذج بسيط نسبيا وحجم أصغر مقارنة بالمناهج المعقدة الأخرى.
تحصل آليات النسخ بشكل صريح على الرموز دون تغيير من تسلسل المصدر (الإدخال) لإنشاء تسلسل الهدف (الإخراج) ضمن إطار SEQ2SEQ العصبي.ومع ذلك، فإن معظم آليات النسخ الحالية تفكر فقط في نسخ كلمة واحدة من الجمل المصدر، مما يؤدي إلى فقدان الرموز الأساسية أثناء
نسخ يمتد لفترة طويلة.في هذا العمل، نقترح هندسة التوصيل والتشغيل، وهي Biocopy، لتخفيف المشكلة المذكورة أعلاه.على وجه التحديد، في مرحلة التدريب، نقوم ببناء علامة حيوية لكل رمزية وتدريب النموذج الأصلي مع علامات الحيوية بشكل مشترك.في مرحلة الاستدلال، سيتوقع النموذج أولا العلامة الحيوية في كل خطوة زمنية، ثم إجراء استراتيجيات قناع مختلفة استنادا إلى الملصق الحيوي المتوقع لتقليل نطاق توزيعات الاحتمالات على قائمة المفردات.النتائج التجريبية على اثنين من المهام الإدارية المنفصلة تظهر أنهم يتفوقون جميعا على النماذج الأساسية عن طريق إضافة البوغايت لدينا إلى هيكل النموذج الأصلي.
يمكن للبشر تعلم مهمة لغة جديدة بكفاءة مع عدد قليل فقط من الأمثلة، من خلال الاستفادة من معارفهم التي تم الحصول عليها عند تعلم المهام السابقة. في هذه الورقة، نستكشف ما إذا كان يمكن الحصول على قدرة تعميم المهام عبر المهام المباشرة، وتطبيقها بشكل أكبر عل
ى بناء عدد قليل من المتعلمين لقلة طلقات عبر مهام NLP المتنوعة. نقدم Crossfit، وهي إعداد مشكلة في دراسة قدرة تعميم المهام عبر المهام، والتي توحد من أقسام المهام / غير المرئية، والوصول إلى البيانات أثناء مراحل التعلم المختلفة، وبروتوكولات التقييم. لإنشاء أقسام مهمة مختلفة / غير مرئية في CrossFit وتسهيل التحليل المتعمق، نقدم صالة الألعاب الرياضية ذات القليل من الرصاص NLP، مستودع 160 مهام NLP قليلة متنوعة تم إنشاؤها من مجموعات بيانات NLP مفتوحة الوصول وتحويلها إلى نص موحد لتنسيق النص. يكشف تحليلنا أن قدرة التعلم القليلة من التعلم على المهام غير المرئية يمكن تحسينها عبر مرحلة التعلم المنبع باستخدام مجموعة من المهام المشاهدة. نلاحظ أيضا أن اختيار مهام التعلم المنبع يمكن أن يؤثر بشكل كبير على أداء قليل الطلقات على المهام غير المرئية، ويطلب المزيد من التحليلات حول التشابه المهمة وقابلية النقل.
منذ فترة طويلة انتهت التقييم التلقائي الموثوق لأنظمة الحوار بموجب بيئة تفاعلية. تحتاج بيئة مثالية لتقييم أنظمة الحوار، المعروفة أيضا باسم اختبار Turing، إلى إشراك التفاعل البشري، وعادة ما تكون غير متناول تجارب واسعة النطاق. على الرغم من أن الباحثين ق
د حاولوا استخدام مقاييس مهام توليد اللغة (على سبيل المثال، الحيرة، بلو) أو بعض طرق التعزيز القائمة على الطراز (مثل تقييم التشغيل الذاتي) للتقييم التلقائي، إلا أن هذه الطرق تظهر فقط ارتباط ضعيف للغاية مع التقييم البشري الفعلي في التمرين. لكسر هذه الفجوة، نقترح إطارا جديدا يدعى لغز لتقدير درجات التقييم البشرية بناء على التقدم الأخير للتقييم خارج السياسات في التعلم التعزيز. يتطلب Enigma فقط حفنة من بيانات الخبرة التي تم جمعها مسبقا، وبالتالي لا تنطوي على تفاعل بشري مع السياسة المستهدفة أثناء التقييم، مما يجعل التقييمات التلقائية الممكنة. والأهم من ذلك أن Enigma هو خال من النموذج والأذرع لسياسات السلوك لجمع بيانات الخبرة، مما يخفف بشكل كبير الصعوبات التقنية في بيئات الحوار المعقدة النمذجة والسلوكيات البشرية. تظهر تجاربنا أن لغز تتفوق بشكل كبير على الأساليب الحالية من حيث الارتباط مع درجات التقييم البشري.
يسمح التعلم المستمر في أنظمة الحوار الموجهة نحو المهام للنظام بإضافة مجالات ووظائف جديدة للعمل الإضافي بعد النشر، دون تكبد التكلفة العالية لإعادة النظر في النظام بأكمله في كل مرة. في هذه الورقة، نقترح أول معيار تعلم مستمر على الإطلاق لأنظمة الحوار ال
موجهة نحو المهام مع أن يتم تعلم 37 نطما بشكل مستمر في إعدادات التعلم المعدلة والنهاية. بالإضافة إلى ذلك، نقوم بتنفيذ ومقارنة خطوط أساسيات التعلم المستمرة المتعددة، ونقترحنا طريقة معمارية بسيطة ولكنها فعالة تعتمد على المحولات المتبقية. نشير أيضا إلى أن الأداء العلوي للتعلم المستمر يجب أن يكون يعادل التعلم المتعدد المهام عند توفر البيانات من جميع المجال في وقت واحد. توضح تجاربنا أن الطريقة المعمارية المقترحة وإجراءات استراتيجية تستند إلى إعادة التشغيل بسيطة تؤدي بشكل أفضل، من خلال هامش كبير، مقارنة بتقنيات التعلم المستمرة الأخرى، وأسوأ قليلا قليلا من العلوي المتعدد التعلم العلوي أثناء كونه 20x بشكل أسرع في تعلم النطاقات الجديدة. نحن نبلغ أيضا العديد من المفاضلات من حيث استخدام المعلمة وحجم الذاكرة ووقت التدريب، وهي مهمة في تصميم نظام حوار موجه نحو المهام. يتم إصدار المعيار المقترح لتعزيز المزيد من البحث في هذا الاتجاه.
على الرغم من التحسينات المستمرة في جودة الترجمة الآلية، تظل الترجمة التلقائية الشعر مشكلة صعبة بسبب عدم وجود شاعرية موازية مفتوحة، وبالنسبة إلى التعقيدات الجوهرية المعنية في الحفاظ على الدلالات والأناقة والطبيعة المجازية للشعر. نقدم إجراءات تجريبية ل
ترجمة الشعر على طول عدة أبعاد: 1) حجم وأسلوب بيانات التدريب (Poetic vs. غير شعري)، بما في ذلك إعداد الصفر بالرصاص؛ 2) ثنائي اللغة مقابل التعلم متعدد اللغات؛ و 3) نماذج لغة خاصة للعائلة مقابل نماذج عائلية مختلطة. لإنجاز ذلك، نساهم في مجموعة بيانات متوازية من ترجمات الشعر لعدة أزواج اللغة. تبين نتائجنا أن ضبط التركيب المتعدد اللغات على النص الشعري يتفوق بشكل كبير على النص المتعدد اللغوي على النص غير الشعري الذي هو 35X أكبر في الحجم، كلاهما من حيث المقاييس التلقائية (BLEU، Bertscore، المذنب) ومقاييس التقييم البشري مثل الإخلاص ( معنى والأناقة الشعرية). علاوة على ذلك، فإن ضبط التردد متعدد اللغات على البيانات الشعرية تتفوق على ضبط ثنائي اللغة على البيانات الشعرية.
تعلم نموذج الترجمة متعددة اللغات ومتعدد اللغات يمثل تحديا لأن البيانات غير المتجانسة والمخطورة تجعل النموذج تتلاقص بشكل غير متسق على مختلف كوربورا في العالم الحقيقي. تتمثل هذه الممارسة الشائعة في ضبط حصة كل جثة في التدريب، بحيث يمكن أن تستفيد عملية ا
لتعلم الحالات المتوازنة والموارد المنخفضة من الموارد العالية. ومع ذلك، عادة ما تعتمد أساليب موازنة التلقائي عادة على الخصائص داخل ومشتركة بين البيانات، والتي عادة ما تكون غير مرغقة أو تتطلب من الشاورات البشرية. في هذا العمل، نقترح نهجا، مواد متعددة، أن ضبط استخدام بيانات التدريب بشكل حيوي استنادا إلى عدم اليقين في النموذج على مجموعة صغيرة من البيانات النظيفة الموثوقة للترجمة متعددة الكائنات. نحن تجارب مع فئتين من تدابير عدم اليقين في تعدد اللغات (16 لغة مع 4 إعدادات) وإعدادات متعددة النجانات (4 للمجال في المجال و 2 للخارج على الترجمة الإنجليزية-الألمانية) وإظهار نهجنا متعدد الاستخدامات بشكل كبير خطوط الأساس، بما في ذلك الاستراتيجيات الثابتة والديناميكية. نقوم بتحليل النقل عبر المجال وإظهار نقص الأساليب القائمة على الاستقرار والمشاكل.
كما ينمو الإنترنت في الحجم، فهذا يفعل مقدار المعلومات القائمة على النص الموجود.بالنسبة للعديد من المساحات التطبيق، فإن الأمر أساسي لعزل وتحديد النصوص التي تتعلق بموضوع معين.في حين أن التصنيف من الفئة من الفئة سيكون مثاليا لهذه التحليل، فهناك نقص قريب
في البحث فيما يتعلق بالنهج الفعالة مع قوة تنبؤية عالية.من خلال الإشارة إلى أن مجموعة المستندات التي يرغبنا في تحديدها كمجموعات خطية إيجابية لنموذج مساحة المتجهات التي تمثل نصنا، نقترح تصنيف مخروطي، وهو نهج يسمح لنا بتحديد ما إذا كان المستند من موضوع معين في حسابيبطريقة فعالة.نقترح أيضا استبعاد طبيعي، نسخة معدلة من الفصل العادي الذي يجعله أكثر ملاءمة في سياق التصنيف من فئتين.نظهر في تحليلنا أن نهجنا ليس لديه فقط قوة تنبؤية فقط على مجموعات البيانات الخاصة بنا، ولكنه أسرع أيضا في حسابه.
