تقطير: دراسة منهجية لأساليب تقطير النموذج في معالجة اللغة الطبيعية

يوفر تقطير المعرفة (KD) وسيلة طبيعية لتقليل الكمون واستخدام الذاكرة / الطاقة للنماذج المسبقة للأعياد الضخمة التي تأتي للسيطرة على معالجة اللغة الطبيعية (NLP) في السنوات الأخيرة. في حين أن العديد من المتغيرات المتطورة في خوارزميات KD قد اقترحت لتطبيقات NLP، فإن العوامل الرئيسية التي تدعم أداء التقطير الأمثل غالبا ما تكون مرتبكة وتبقى غير واضحة. نحن نهدف إلى تحديد مدى تأثير مكونات مختلفة في خط أنابيب KD على الأداء الناتج ومقدار خط أنابيب KD الأمثل يختلف عبر مجموعات البيانات / المهام المختلفة، مثل سياسة تكبير البيانات، وظيفة الخسارة، والتمثيل الوسيط لنقل المعرفة بين المعلم وطالب. لتتأكد من أن آثارها، نقترح تقطير، إطار التقطير، يجمع بشكل منهجي بين مجموعة واسعة من التقنيات عبر مراحل مختلفة من خط أنابيب KD، مما يتيح لنا تحديد مساهمة كل مكون. ضمن تقطير، ونحن نقوم بتحديد الأهداف الشائعة الاستخدام لتقطير التمثيلات الوسيطة بموجب هدف معلومات متبادلة عالمية (MI) واقتراح فئة من الوظائف الموضوعية MI مع التحيز / تباين التباين أفضل لتقدير ميل بين المعلم والطالب. في مجموعة متنوعة من مجموعات بيانات NLP، يتم تحديد أفضل تكوينات تقطير عبر تحسين المعلمة على نطاق واسع. تجاربنا تكشف عن ما يلي: 1) النهج المستخدم لتقطير التمثيل الوسيط هو أهم عامل في أداء الدكتوراط، 2) بين أهداف مختلفة للتقطير الوسيط، MI-تنفذ أفضل، و 3) يوفر تكبير البيانات دفعة كبيرة ل مجموعات البيانات التدريب الصغيرة أو شبكات الطلاب الصغيرة. علاوة على ذلك، نجد أن مجموعات البيانات / المهام المختلفة تفضل خوارزميات KD المختلفة، وبالتالي اقترح خوارزمية بسيطة ل Autodistiller التي يمكن أن توصي بخط أنابيب KD جيدة لمجموعة بيانات جديدة.

على دور ترتيب Corpus في نمذجة اللغة

يتم استخدام نماذج اللغة المحددة على كورسا شاسعة للنص غير منظم باستخدام إطار التعلم الذاتي للإشراف في العديد من فهم اللغة الطبيعية ومهام الجيل. تشير العديد من الدراسات إلى أن الاستحواذ على اللغة في البشر يتبع نمطا بسيطا مهيكيا ومجهدا بهذا الحدس، وتعلم المناهج الدراسية، مما يتيح تدريب النماذج الحسابية في ترتيب مغزى، مثل معالجة العينات السهلة قبل الصعب، وقد عرضت للحد من وقت التدريب المحتمل. لا يزال السؤال ما إذا كان يمكن لمعرفة المناهج الدراسية أن تستفيد من نماذج اللغة. في هذا العمل، نقوم بإجراء تجارب شاملة تنطوي على استراتيجيات مناهج متعددة تختلف معايير التعقيد وجداول التدريب. النتائج التجريبية لتدريب نماذج لغة المحولات على الإنجليزي كوربوس وتقييمها جوهريا وكذلك بعد التقليل من ثمانية مهام من معيار الغراء، تظهر مكاسب تحسن متسقة حول تدريب الفانيليا التقليدي. ومن المثير للاهتمام، في تجاربنا، عند تقييمها على عصر واحد، أفضل نموذج في أعقاب المناهج الدراسية ذات المستوى الثابت على مستوى المستند، تتفوق على نموذج الفانيليا بنسبة 1.7 نقطة (متوسط ​​درجة الغراء) ويستغرق نموذج الفانيليا ضعف العديد من خطوات التدريب للوصول إلى أداء مماثل.