إن غرس المعرفة الواقعية في النماذج المدربة مسبقا أمر أساسي للعديد من المهام المكثفة المعرفة.في هذه الورقة، اقترحنا مزيج الأقسام (MOP)، نهج التسريب يمكنه التعامل مع الرسم البياني المعرفي كبير جدا (KG) من خلال تقسيمه إلى الرسوم البيانية الفرعية الأصغر
وفسر معرفتهم المحددة في نماذج بخير مختلفة باستخدام محولات خفيفة الوزن.للاستفادة من المعرفة الواقعية الشاملة للمهمة المستهدفة، فإن محولات هذه الرسوم البيانية الفرعية يتم ضبطها بشكل جيد بالإضافة إلى التقدم الأساسي من خلال طبقة خليط.نقوم بتقييم ممسحنا بثلاثة بريرز الطبية الحيوية (Scibert، BioBert، Pubmedbert) على ستة مهام (Inc. NLI، QA، التصنيف)، وإظهار النتائج أن ممسحنا يعزز باستمرار القصصات الأساسية في أداء المهام، وتحقق عروض سوتا الجديدةفي خمس مجموعات بيانات تقييمها.
تظهر النهج الحديثة القائمة على المحولات نتائج واعدة على استخراج المعلومات العلمية العلائقية. تركز مجموعات البيانات الحالية على وصف رفيع المستوى لكيفية تنفيذ البحث. بدلا من ذلك، نركز على التفاصيل الدقيقة لكيفية تقديم الرابطات التجريبية من خلال بناء SC
ICLAIL، وهي مجموعة بيانات من المطالبات العلمية المستمدة من أوراق العلوم الاجتماعية والسلوكية (SBS)، PubMed، وحالات الحبل 19. يشتمل مخطط شرح الرسم البياني الربيعي على أن الكيانات الخشنة فقط يمتد كعقد العقد والعلاقات كحواف بينهما، ولكن أيضا سمات الحبيبات الدقيقة التي تعدل الكيانات وعلاقاتها، لما مجموعه 12738 ملميا في الشئ. من خلال إدراج المزيد من أنواع الملصقات وأكثر من ضعف كثافة التسمية من مجموعات البيانات السابقة، يلتقط SCICIMAL مع الجمعيات السببية والمقارنة والتنبؤ والإحصائية والتناسبية على المتغيرات التجريبية إلى جانب مؤهلاتهم وسلعيتهم وأدليلهم. نحن نقوم بتوسيع العمل في كيان مشترك ومقرها المحول واستخراج العلاقات لاستنتاج مخططنا بشكل فعال، مما يدل على وعد الرسوم البيانية المعرفة بحبائها الجميلة في المطالبات العلمية وما بعدها.
تهدف مهمة اكتشاف الحدث (ED) إلى تصنيف الأحداث من خلال تحديد الحدث الرئيسي تصادف الكلمات المضمنة في جزء من النص. أثبتت الأبحاث السابقة صحة علاقات التبعية النحوية الصابورة في شبكات تشكيلة تشكيلة (GCN). في حين أن الأساليب القائمة على GCN الحالية تستكشف
علاقات الاعتماد العقدة الكامنة وفقا لقطعة توتور بقيمة ثابتة، فإن العار الديناميكي القائم على الانتباه، والتي يمكن أن تؤدي الكثير من الاهتمام إلى العقدة الرئيسية مثل حفل الحدث أو العقد المجاورة، وبعد في وقت واحد، تعاني من ظاهرة معلومات الرسم البياني التلاشي الناجمة عن Tensor المتأخر المتماثل، نماذج GCN الحالية لا يمكن تحقيق أداء عموما أعلى. في هذه الورقة، نقترح نماذج رواية ناشئة عن النفس شبكات التنزل المتبقية (SA-GRCN) لعلاقات التبعية الكامنة لعدة عقدة من خلال آلية الاهتمام الذاتي وإدخال الشبكة المتبقية الرسم البياني (GRESNET) لحل مشكلة تخفيض المعلومات الرسم البيانية وبعد على وجه التحديد، يتم بناء وحدة انتباه ذاتي لتوليد موتر الاهتمام، مما يمثل عشرات اهتمام الاعتماد من جميع الكلمات في الجملة. علاوة على ذلك، يضاف مصطلح الرسم البياني المتبقي إلى خط الأساس SA-GCN لبناء GRESNET. بالنظر إلى الاتصال النحوي لإدخال الشبكة، نقوم بتهيئة موتر المشجعي الناشئ دون معالجة وحدة الاهتمام الذاتي باعتباره المصطلح المتبقي. نقوم بإجراء تجارب على مجموعة بيانات ACE2005 وتظهر النتائج تحسنا كبيرا بشأن أساليب خط الأساس التنافسية.
أحدثت النماذج المدربة (E2E) مؤخرا (E2E) لصالح الإجابة على الرسوم البيانية المعرفة (KGQA) نتائج واعدة تستخدم فقط مجموعة بيانات خاضعة للإشراف.ومع ذلك، يتم تدريب هذه النماذج وتقييمها في وضع يتم فيه توفير كيانات سؤال مشروح يدوية للنموذج، مما يترك المهمة
المهمة وغير التافهة لقرار الكيان (ER) خارج نطاق تعلم E2E.في هذا العمل، نقوم بتوسيع حدود التعلم E2E ل KGQA لتضمين تدريب مكون ER.يحتاج النموذج الخاص بنا فقط إلى نص الأسئلة والكيانات الإجابة لتدريب، وتوفر نموذج ضمان الجودة المستقل لا يتطلب توفير مكون إضافي ER أثناء وقت التشغيل.نهجنا هو قابل له تماما، وذلك بفضل اعتماده على طريقة حديثة لبناء KGS الفائقة (كوهين وآخرون، 2020).نقوم بتقييم نموذج E2E المدربين على مجموعة بيانات عامين وإظهار أنه يقترب من النماذج الأساسية التي تستخدم الكيانات المشروح اليدوية.
يسمح دفتر Jupyter لعلماء البيانات كتابة رمز تعلم الآلة مع وثائقها في الخلايا.في هذه الورقة، نقترح مهمة جديدة من توليد وثائق التعليمات البرمجية (CDG) لأجهزة الكمبيوتر المحمولة الحسابية.على النقيض من مهام CDG السابقة التي تركز على توليد وثائق لفظات شفر
ة واحدة، في دفتر ملاحظات حسابي، غالبا ما يتوافق وثائق في خلية في خلية تخطيطية مع خلايا التعليمات البرمجية المتعددة، ولديها خلايا التعليمات البرمجية هذه هيكل متأصل.اقترحنا نموذجا جديدا (Haconvgnn) الذي يستخدم آلية اهتمام هرمي للنظر في خلايا التعليمات البرمجية ذات الصلة ومعلومات الرموز التعليمية ذات الصلة عند إنشاء الوثائق.تم اختباره على كوربوس جديد تم إنشاؤه من أجهزة كمبيوتر دفاتر Kaggle موثقة جيدا، نظرا لأن نموذجنا يفوق النماذج الأساسية الأخرى.
أصبح نص قصير في الوقت الحاضر أشكالا أكثر عصرية من البيانات النصية، على سبيل المثال، منشورات Twitter، عناوين الأخبار ومراجعات المنتجات. يلعب استخراج الموضوعات الدلالية من النصوص القصيرة دورا مهما في مجموعة واسعة من تطبيقات NLP، ومصمم الموضوع العصبي ال
آن أداة رئيسية لتحقيقها. بدافع من تعلم موضوعات أكثر متماسكا ودلاليا، في هذه الورقة نطور نموذج موضوع عصبي رواية يدعى طراز موضوع الرسم البياني المزدوج Word (DWGTM)، والذي يستخرج الموضوعات من الرسوم البيانية المرتبطة بالكلمة المتزامنة وترابط العلاقة الدلالية. لتكون محددة، نتعلم ميزات كلمة من الرسم البياني العالمي للكلمة المشتركة، وذلك لاستيعاب معلومات حدوث كلمة غنية؛ ثم نقوم بإنشاء ميزات نصية مع ميزات Word، وإطعامها في شبكة تشفير للحصول على نسب موضوعية لكل نص؛ أخيرا، نعيد إعادة بناء الرسوم البيانية الرسمية والكلمات الرسم البياني مع التوزيعات الموضعية وميزات Word، على التوالي. بالإضافة إلى ذلك، لالتقاط دلالات الكلمات، نقوم أيضا بتطبيق ميزات Word لإعادة بناء الرسم البياني للعلاقة الدلالية كلمة محسوبة بواسطة Adgeddings المدربة للكلمة المدربة مسبقا. بناء على هذه الأفكار، نقوم بصياغة DWGTM في نموذج الترميز التلقائي وتدريبه بكفاءة مع روح الاستدلال التباين العصبي. تتحقق النتائج التجريبية التي يمكنها توليد DWGTM موضوعات أكثر متماسكة من النماذج الأساسية من طرازات موضوع الأساس.
الكيانات المتعلقة بالأحداث والأحداث في النص هي مكون رئيسي لفهم اللغة الطبيعية.دقة Coreference Coreference، على وجه الخصوص، أمر مهم بالنسبة للمصلحة المتزايدة بمهام تحليل المستندات متعددة الوثائق.في هذا العمل، نقترح نموذجا جديدا يمتد نموذج التنبؤ المتس
لسل الفعال لتحليل Corefery لإعدادات تبادل المستندات وتحقق نتائج تنافسية لكلا كلا كلا كائن الكيان والحدث مع توفير أدلة قوية على فعالية كل من النماذج المتسلسلة والاستدلال المرتفعإعدادات الوثيقة عبر المستندات.يتطلب نموذجنا بشكل تدريجي يذكر في تمثيل الكتلة ويتوقع الروابط بين الإشارة والمجموعات التي تم إنشاؤها بالفعل، تقريب نموذج أعلى للترتيب.بالإضافة إلى ذلك، نقوم بإجراء دراسات بديلة الأزمة التي توفر رؤى جديدة في أهمية مختلف المدخلات وأنواع التمثيل في Courceer.
يعد الانتباه عبر الانتباه عنصرا هاما للترجمة الآلية العصبية (NMT)، والتي تتحقق دائما عن طريق انتباه DOT-Product في الأساليب السابقة.ومع ذلك، فإن اهتمام DOT-Product يعتبر فقط الارتباط بين الكلمات بين الكلمات، مما أدى إلى تشتت عند التعامل مع جمل طويلة
وإهمال العلاقات المجاورة للمصدر.مستوحاة من اللغويات، فإن القضايا المذكورة أعلاه ناجمة عن تجاهل نوع من الاهتمام، الذي يطلق عليه الانتباه المركزي، الذي يركز على عدة كلمات مركزية ثم ينتشر حولها.في هذا العمل، نطبق نموذج خليط غاوسي (GMM) لنموذج الاهتمام المركزي بالاهتمام الشامل.تبين التجارب والتحليلات التي أجريناها على ثلاث مجموعات من مجموعات البيانات أن الطريقة المقترحة تتفوق على خط الأساس ولديها تحسن كبير في جودة المحاذاة ودقة N-Gram والترجمة الحكم الطويلة.
الفهم القراءة الآلة التفاعلية (IMRC) هو مهام فهم الجهاز حيث تكون مصادر المعرفة يمكن ملاحظتها جزئيا.يجب أن يتفاعل الوكيل مع بيئة بالتتابع لجمع المعرفة اللازمة من أجل الإجابة على سؤال.نحن نفترض أن تمثيلات الرسم البياني هي تحيزات حثي جيدة، والتي يمكن أن
تكون بمثابة آلية ذاكرة الوكيل في مهام IMRC.نستكشف أربع فئات مختلفة من الرسوم البيانية التي يمكنها التقاط معلومات نصية على مختلف المستويات.نحن تصف الأساليب التي تقوم ببناء وتحديث هذه الرسوم البيانية هذه ديناميكيا أثناء جمع المعلومات، وكذلك النماذج العصبية لتشفير تمثيلات الرسم البياني في وكلاء RL.تشير تجارب واسعة النطاق على ISquad إلى أن تمثيلات الرسم البياني يمكن أن تؤدي إلى تحسينات كبيرة في الأداء لعوامل RL.
من الصعب على معنى كلمة الالتقاط، متزامن وغسيميا.في هذه الورقة، نقوم بصف إنشاء أكبر مورد للمصادف من مؤتمرات السياق المدرجة، وتعني كلمة التوضيح في أربع لغات مختلفة، بناء على أحكام قلوة من الدلالية البشرية 100000.نحن نصف بالتفصيل العملية التوضيحية الإضا
فية متعددة المستديرة، واختيار خوارزمية تجميع لتجميع التسمم في الحواس، وحجز - يستخدم DIACHRONIC و SYNCHRONIC - لهذه المسرد.
