Laboratoire ERIC - Université Lumière Lyon 2 Offre de stage (Master/Ingénieur) Réseaux de neurones opérant sur des graphes pour le résumé automatique Contexte Le résumé extractif consiste à synthétiser le contenu d'un long document textuel en en extrayant les phrases les plus importantes. En formulant cette tâche comme un problème de classification binaire sur les séquences de phrases qui composent les textes à résumer, on peut l'automatiser en entraînant par exemple un réseau de neurones récurrent [2017-a] ou bien en spécialisant un modèle de langue [2019-a]. Ces approches sont d'autant moins efficaces que les documents à résumer sont longs, soit du fait de la saturation de la mémoire du réseau récurrent, soit du fait du coût quadratique du mécanisme d'auto-attention à la base des modèles de langue. Les approches plus récentes modélisent les documents non pas comme de simples séquences de phrases, mais comme des graphes complexes connectant mots et phrases. La tâche de classification est dans ce cas résolue à l'aide d'un réseau de neurones opérant sur ces graphes [2021-a]. Objectifs du stage Le premier objectif de ce stage est d'étudier les méthodes les plus récentes puis de les appliquer aux corpus liés au projet financant le stage (articles encyclopédiques, articles scientifiques et conversations sur Twitter). Le second objectif est d'étudier des moyens d'améliorer les performances des méthodes basées sur les graphes. Deux pistes se dégagent : - Incorporer un mécanisme d'apprentissage de structure dans le réseau pour raffiner automatiquement les graphes qui encodent les documents [2022-a] ; - Définir un réseau de neurones opérant non pas dans l'espace euclidien mais dans l'espace hyperbolique pour mieux capturer les relations hiérarchiques entre parties du document [2019-b]. Déroulement du stage Rémunération : environ 570 euros par mois- Lieu : Laboratoire ERIC, Université Lumière Lyon 2, Campus Porte des Alpes- Date de début : février/mars 2023- Durée : 5 mois- Candidature Transmettre CV, (très brève) lettre de motivation et les derniers relevés de notes à adrien.guille@univ-lyon2.fr. Bibliographie [2017-a] Ramesh Nallapati, Feifei Zhai, Bowen Zhou. SummaRuNNer: a recurrent neural network based sequence model for extractive summarization of documents. AAAI 2017 [2019-a] Ming Zhong, Pengfei Liu, Danqing Wang, Xipeng Qiu, Xuanjing Huang. Searching for effective neural extractive summarization: What works and what's next. ACL 2019 [2019-b] Ines Chami, Rex Ying, Christopher Ré, Jure Leskovec. Hyperbolic Graph Convolutional Neural Networks. NeurIPS 2019 [2021-a] Baoyu Jing, Zeyu You, Tao Yang, Wei Fan, Hanghang Tong . Multiplex Graph Neural Network for Extractive Text Summarization. EMNLP 2021 [2022-a] Yinhua Piao, Sangseon Lee, Dohoon Lee, Sun Kim. Sparse structure learning via graph neural networks for inductive document classification. AAAI 2022