Intitulé du stage ------------------ Améliorer la détection automatique de contenus toxiques en français par la prise en compte des émotions et de l'engagement exprimés par les scripteurs Déroulement du stage -------------------- Durée du stage : 6 mois Lieu du stage : ONERA (The French Aerospace Lab) Financement : gratification de stage en vigueur Niveau demandé : M2 (éventuellement M1) Traitement automatique des langues Compétences techniques requises : Python (connaissances en web sémantique seront un plus : OWL, RDF) Votre dossier de candidature (cv, lettre de motivation, relevés de notes L3 et M1) est à adresser à : Valentina Dragos (Valentina.dragos@onera.fr), Delphine Battistelli (delphine.battistelli@parisnanterre.fr) Problématique et visées principales ---------------------------------- La détection automatique de contenus dits toxiques (e.g. extrémistes, offensants, haineux, ...) demeure un problème complexe alors même qu'elle constitue un enjeu majeur dans le cadre de la réglementation des plateformes sociales. Une voie consiste à explorer une variété de caractéristiques qui seraient de nature sémantique [1, 2, 3]. L'objectif de ce stage est d'explorer l'apport de la prise en compte d'annotations sémantiques liées en particulier à l'expression des émotions et de l'engagement [4,7]. A ce jour, trois jeux de données textuelles à contenu toxique ('extrémiste', 'sexiste', 'haineux') ont déjà été collectés sur les plateformes sociales françaises et deux types d'annotations sémantiques sont également disponibles : une annotation indiquant les émotions, l'autre indiquant le degré d'engagement des scripteurs. En outre, nous disposons d'une collection de données enrichie avec des annotations émotionnelles réalisées avec deux annotateurs automatiques. Si l'interaction entre ces types d'annotations et ces types de contenu a déjà commencé à être exploré, il est nécessaire de poursuivre des investigations supplémentaires et plusieurs expériences seront conçues à cette fin. Les deux caractéristiques, celles liées aux annotations sémantiques et celles liées aux types de contenu, peuvent notamment être apprises dans un modèle conjoint [5]. Le travail visera à déterminer si cette approche d'apprentissage bénéficie de l'utilisation conjointe de données ayant à la fois des annotations de domaine et des annotations linguistiques. À cette fin, un protocole expérimental sera adopté et abordera dans un premier temps l'analyse de la corrélation entre les annotations linguistiques et les types de contenu. Ensuite, des expériences seront mises en place afin d'explorer les méthodes d'apprentissage intégrant l'annotation linguistique dans la détection du type de contenu en ligne. Les expériences utiliseront le modèle de langage pré-entraîné basé sur un transformateur BERT [6] et des architectures similaires pour effectuer une classification pour plusieurs tâches (détection d'extrémisme, de haine ou de sexisme, etc.), en intégrant progressivement les couches de descripteurs linguistiques. Etapes du stage : Analyse des corrélations entre les annotations linguistiques et les types de contenu (1 mois) ; Implémentation et mise au point des modèles (1,5 mois) ; Mise en place du protocole expérimental, expérimentation et analyse des résultats (2 mois) ; Rapport de stage (0,5 mois) Références bibliographiques --------------------------- 1. Schäfer, J., & Kistner, E. (2023). HS-EMO: Analyzing Emotions in Hate Speech. In Proceedings of the 19th Conference on Natural Language Processing (KONVENS 2023) 165-173. 2. Yin, W., Agarwal, V., Jiang, A., Zubiaga, A., & Sastry, N. (2023). Annobert: Effectively representing multiple annotators' label choices to improve hate speech detection. In Proceedings of the International AAAI Conference on Web and Social Media (Vol. 17, 902-913. 3. Ljubesic, N., Mozetic, I., & Novak, P. K. (2023). Quantifying the impact of context on the quality of manual hate speech annotation. Natural Language Engineering, 29(6), 1481-1494. 4. Dragos, V., Battistelli, D., Sow, F., & Étienne, A. (2024). Exploring the Emotional Dimension of French Online Toxic Content. In Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024) 6945-6954. 5. Rabiul Awal, M., Cao, R., Ka-Wei Lee, R., & Mitrovic, S. (2021). AngryBERT: Joint Learning Target and Emotion for Hate Speech Detection. arXiv e-prints, arXiv-2103. 6. Wang, Z., Mayhew, S., & Roth, D. (2020). Extending multilingual BERT to low-resource languages. arXiv preprint arXiv:2004.13640. 7. Battistelli D., Dragos V., Mekki J. (2023). "Annotating social data with speaker/user engagement. Illustration on online hate characterization in French", International Conference on Computing and Communication Networks. Singapore: Springer Nature Singapore, 2023.