Sujet : Expériences de psycholinguistique sur des modèles de langue -- est-ce que le masculin générique est neutre (pour les modèles de langue) ? Lieu : LORIA, Vandoeuvre-lès-Nancy Encadrement : - Karën FORT, Professeure des Universités en informatique (Équipe SÉMAGRAMME, LORIA, Université de Lorraine) -- karen.fort@loria.fr - Pascal GYGAX, Maître d'enseignement et de recherche en psychologie et psycholinguistique (PPSA, Université de Fribourg) -- pascal.gygax@unifr.ch - Aurélie Névéol, Directrice de Recherche en informatique (Équipe SEME, LISN, CNRS, Université Paris-Saclay) -- aurelie.neveol@lisn.upsaclay.fr - Fanny Ducel, Doctorante en informatique (Équipe SEME, LISN, Université Paris-Saclay / Équipe SÉMAGRAMME, LORIA) -- fanny.ducel@inria.fr Durée : 5 à 6 mois Requis : Être étudiant·e en Master 2 en Traitement Automatique des Langues ou linguistique informatique. Avoir des connaissances suffisantes en Python qui permettent une utilisation autonome. Disposer de connaissances préalables en et/ou manifester un intérêt particulier pour la psycholinguistique ou la psychologie sociale (voire la sociolinguistique ou la sociologie) serait un plus. Il serait également préférable d'être francophone (natif·ve). Pour candidater : Envoyer un CV et les relevés de notes de Master à fanny.ducel@inria.fr. Un mail explicant vos motivations est suffisant, inutile de générer une lettre sur un LLM... Attention, les étudiant·es hors zone Schengen doivent s'y prendre aussi tôt que possible (la candidature doit être acceptée au moins 2 mois avant la date de début de stage) afin de pouvoir obtenir une autorisation FSD pour pouvoir accéder au laboratoire de recherche (LORIA). *** Description détaillée du sujet *** Motivation et contexte : En français et dans d'autres langues flexionnelles comme l'espagnol, l'italien ou l'allemand, la notion d'écriture inclusive crée de nombreux débats et de nombreuses conversations, à la fois parmi les linguistiques et au sein du grand public [Abb23]. La question de l'écriture inclusive est non seulement liée aux normes linguistiques, mais également à l'impact de la langue sur ses locuteur·ices [Yag92]. Les psycho- et socio-linguistes ont proposé des tests à des candidat·es humain·es afin d'estimer si les stratégies d'écriture inclusive dans les langues flexionnelles sont moins lisibles que l'écriture standarde [LTGS23], mais aussi pour évaluer si l'écriture standarde, en particulier l'utilisation du masculin générique, est réellement neutre du point de vue du genre dans l'esprit des locuteur·ices [GGS+08, GG08]. En parallèle, de nombreux articles de TAL prouve que les modèles de langue contiennent et amplifient différents types de biais stéréotypés [PCN+21, FAB+24, DNF24b]. Les biais de genre sont les plus étudiés, mais la plupart des travaux se concentrent sur l'anglais, sur le genre binaire et sur des biais explicites et intrinsèques (c'est-à-dire, localisés dans les représentations internes du modèle) [DNF24a]. Reproduire des tests de psycholinguistique sur des modèles de langue, dans des langues flexionnelles, permettrait l'étude de langues autres que l'anglais, l'inclusion d'identités non-binaires ainsi qu'une évaluation extrinsèque et plus implicite des biais de genre. Objectifs et réalisations : Ce stage de M2 vise à reproduire des expériences de psycholinguistique, précédemment menées sur des participant·es humain·es, sur différents modèles de langue, dans une langue flexionnelle (de préférence le français, mais il serait également possible de le faire en espagnol, italien, allemand, hindi, ...). Cela permettrait d'étudier les biais de genre des modèles de langue en profondeur, en s'appuyant sur la psycholinguistique. Un premier objectif serait de réaliser des recherches bibliographiques sur les expériences utilisées en psycholinguistique, afin de créer une sélection de tests à essayer sur des modèles de langue. Par exemple, les expériences conduites par [GGS+08] incluent des demandes telles que "Citez trois musiciens célèbres" et "Citez trois musiciens ou musiciennes célèbres", puis comparent le nombre d'hommes et de femmes cité·es dans les réponses selon que la demande ait été faite au masculin générique ou avec de l'écriture inclusive. Un deuxième objectif serait d'utiliser différentes stratégies d'ingénierie d'invites (prompt-engineering) et de concevoir des invites (prompts) optimales pour conduire les tests psycholinguistiques sur les modèles de langue choisis. Enfin, il faudrait conduire les expériences et analyser les résultats en termes de biais de genre. Bibliographie : [Abb23] Julie Abbou. Inclusive writing: Tracing the transnational history of a french controversy. Gender & Language, 17(2), 2023. [DNF24a] Fanny Ducel, Aurélie Névéol, and Karën Fort. La recherche sur les biais dans les modèles de langue est biaisée: état de l'art en abyme. Revue TAL : traitement automatique des langues, 64(3), 2024. [DNF24b] Fanny Ducel, Aurélie Névéol, and Karën Fort. "you'll be a nurse, my son!" automatically assessing gender biases in autoregressive language models in French and Italian. Language Resources and Evaluation, pages 1-29, 2024. [FAB+24] Karën Fort, Laura Alonso Alemany, Luciana Benotti, Julien Bezançon, Claudia Borg, Marthese Borg, Yongjian Chen, Fanny Ducel, Yoann Dupont, Guido Ivetta, et al. Your stereotypical mileage may vary: practical challenges of evaluating biases in multiple languages and cultural contexts. In The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation, 2024. [GG08] Pascal Gygax and Ute Gabriel. Can a group of musicians be composed of women? Generic interpretation of french masculine role names in the absence and presence of feminine forms. Swiss Journal of Psychology, 67(3):143-151, 2008. [GGS+08] Pascal Gygax, Ute Gabriel, Oriane Sarrasin, Jane Oakhill, and Alan Garnham. Generically intended, but specifically interpreted: When beauticians, musicians, and mechanics are all men. Language and cognitive processes, 23(3):464-485, 2008. [LTGS23] Cyril Liénardy, Julia Tibblin, Pascal Gygax, and Anne-Catherine Simon. Écriture inclusive, lisibilité textuelle et représentations mentales. Discours. Revue de linguistique, psycholinguistique et informatique. A journal of linguistics, psycholinguistics and computational linguistics, (33), 2023. [PCN+21] Alicia Parrish, Angelica Chen, Nikita Nangia, Vishakh Padmakumar, Jason Phang, Jana Thompson, Phu Mon Htut, and Samuel R Bowman. Bbq: A hand-built bias benchmark for question answering. arXiv preprint arXiv:2110.08193, 2021. [Yag92] Marina Yaguello. Les mots et les femmes : Essai d'approche sociolinguistique de la condition féminine. Petite Bibliothèque Payot, 1992.