Distiller: A Systematic Study of Model Distillation Methods in Natural Language Processing

يوفر تقطير المعرفة (KD) وسيلة طبيعية لتقليل الكمون واستخدام الذاكرة / الطاقة للنماذج المسبقة للأعياد الضخمة التي تأتي للسيطرة على معالجة اللغة الطبيعية (NLP) في السنوات الأخيرة. في حين أن العديد من المتغيرات المتطورة في خوارزميات KD قد اقترحت لتطبيقات NLP، فإن العوامل الرئيسية التي تدعم أداء التقطير الأمثل غالبا ما تكون مرتبكة وتبقى غير واضحة. نحن نهدف إلى تحديد مدى تأثير مكونات مختلفة في خط أنابيب KD على الأداء الناتج ومقدار خط أنابيب KD الأمثل يختلف عبر مجموعات البيانات / المهام المختلفة، مثل سياسة تكبير البيانات، وظيفة الخسارة، والتمثيل الوسيط لنقل المعرفة بين المعلم وطالب. لتتأكد من أن آثارها، نقترح تقطير، إطار التقطير، يجمع بشكل منهجي بين مجموعة واسعة من التقنيات عبر مراحل مختلفة من خط أنابيب KD، مما يتيح لنا تحديد مساهمة كل مكون. ضمن تقطير، ونحن نقوم بتحديد الأهداف الشائعة الاستخدام لتقطير التمثيلات الوسيطة بموجب هدف معلومات متبادلة عالمية (MI) واقتراح فئة من الوظائف الموضوعية MI مع التحيز / تباين التباين أفضل لتقدير ميل بين المعلم والطالب. في مجموعة متنوعة من مجموعات بيانات NLP، يتم تحديد أفضل تكوينات تقطير عبر تحسين المعلمة على نطاق واسع. تجاربنا تكشف عن ما يلي: 1) النهج المستخدم لتقطير التمثيل الوسيط هو أهم عامل في أداء الدكتوراط، 2) بين أهداف مختلفة للتقطير الوسيط، MI-تنفذ أفضل، و 3) يوفر تكبير البيانات دفعة كبيرة ل مجموعات البيانات التدريب الصغيرة أو شبكات الطلاب الصغيرة. علاوة على ذلك، نجد أن مجموعات البيانات / المهام المختلفة تفضل خوارزميات KD المختلفة، وبالتالي اقترح خوارزمية بسيطة ل Autodistiller التي يمكن أن توصي بخط أنابيب KD جيدة لمجموعة بيانات جديدة.

Knowledge Distillation (KD) offers a natural way to reduce the latency and memory/energy usage of massive pretrained models that have come to dominate Natural Language Processing (NLP) in recent years. While numerous sophisticated variants of KD algorithms have been proposed for NLP applications, the key factors underpinning the optimal distillation performance are often confounded and remain unclear. We aim to identify how different components in the KD pipeline affect the resulting performance and how much the optimal KD pipeline varies across different datasets/tasks, such as the data augmentation policy, the loss function, and the intermediate representation for transferring the knowledge between teacher and student. To tease apart their effects, we propose Distiller, a meta KD framework that systematically combines a broad range of techniques across different stages of the KD pipeline, which enables us to quantify each component's contribution. Within Distiller, we unify commonly used objectives for distillation of intermediate representations under a universal mutual information (MI) objective and propose a class of MI-objective functions with better bias/variance trade-off for estimating the MI between the teacher and the student. On a diverse set of NLP datasets, the best Distiller configurations are identified via large-scale hyper-parameter optimization. Our experiments reveal the following: 1) the approach used to distill the intermediate representations is the most important factor in KD performance, 2) among different objectives for intermediate distillation, MI-performs the best, and 3) data augmentation provides a large boost for small training datasets or small student networks. Moreover, we find that different datasets/tasks prefer different KD algorithms, and thus propose a simple AutoDistiller algorithm that can recommend a good KD pipeline for a new dataset.