UMR7222-FRAYVO-003 - Post-doctorant en Traitement Automatique des Langues: les Biais des Giga Modèles de Langue (H/F) Post-doctorant en Traitement Automatique des Langues: les Biais des Giga Modèles de Langue (H/F) Date Limite Candidature : mardi 18 juin 2024 Informations générales Intitulé de l'offre : Post-doctorant en Traitement Automatique des Langues: les Biais des Giga Modèles de Langue (H/F) Référence : UMR7222-FRAYVO-003 Nombre de Postes : 1 Lieu de travail : PARIS 05 Date de publication : mardi 28 mai 2024 Type de contrat : CDD Scientifique Durée du contrat : 24 mois Date d'embauche prévue : 1 octobre 2024 Quotité de travail : Temps complet Rémunération : 2900 euros bruts mensuels Niveau d'études souhaité : Niveau 8 - (Doctorat) Expérience souhaitée : Indifférent Section(s) CN : Interactions, particules, noyaux du laboratoire au cosmos Missions Le cadre général de la recherche est celui de l'utilisation des grands modèles génératifs (giga modèles de langue ou LLM) dans une plate-forme de démocratie participative. La question qui se pose est celle de la détection et de la correction des biais de ces LLM quand ils sont utilisés pour assister les administrateurs ou les utilisateurs de cette plate-forme : consultation et analyse de débats en cours (résumé, traduction), intervention dans le débat (aide à la rédaction), modération du site, etc. Trois thèses portant plus particulièrement sur les problématiques du résumé automatique, de la traduction automatique et de l'aide à la rédaction sont proposées dans ce cadre. Contexte scientifique Les outils de traitement des langues s'appuyant sur des grands modèles de langue dits génératifs ont en quelques années atteint des niveaux très élevés de performance pour des tâches complexes. Ils sont aujourd'hui largement présents dans nos environnements numériques de travail pour accéder à l'information, l'analyser, la reformuler, ou encore pour générer des contenus originaux. Avec la large diffusion de ces technologies, l'analyse des performances réelles, des risques et des limitations de ces modèles se pose de manière accrue. Ainsi, une littérature croissante en traitement des langues s'intéresse aux "biais sociaux" de ces grands modèles - étant entendus comme une tendance à produire des textes qui traduisent une forme de préférence en faveur ou en défaveur de certains groupes sociaux (genres, nationalités, religions, partis politiques, etc). Cette préférence peut être quantitative (certains points de vue ou certains groupes sont plus représentés) ou qualitative (leur représentation est tendanciellement dépréciative, reflète des stéréotypes, ou bien leur attribue des propriétés d'une manière impropre, inexacte, ou inappropriée). Cette méreprésentation peut être explicite ou bien indirecte, dans ce dernier cas elle est véhiculée par des associations lexicales ou bien des implications textuelles et présuppositions présentes dans des énoncés complexes. Cette préférence peut enfin se traduire par des performances inégales des modèles selon des catégories d'utilisateurs socialement construites auxquelles ils sont appliqués. L'évaluation des biais devient donc partie intégrale du processus d'évaluation, de comparaison et de qualification des modèles. Plusieurs directions de recherche sont se sont ainsi structurées au sein de la communauté du traitement des langues autour : (a) de l'identification et de la quantification de ces biais sociaux à travers l'analyse des représentations internes des LLMs, depuis des représentations de mots isolés, puis de mots en contexte, enfin de textes artificiels complets ; (b) de l'identification et de la quantification de ces biais dans les tâches finalisées: résolution de références, traduction automatique, analyse de sentiments, génération libre de textes ; (c) du développement de méthodes pour réduire les biais ; (d) du développement de stratégies afin d'améliorer la transparence des modèles. Activités La personne recrutée travaillera en collaboration avec les membres du projet "Communs Démocratiques" (à l'ISIR, à STIH (Sobonne Université), à Sciences Po Paris et à make.org) pour analyser et évaluer les biais des grands modèles de langue, ainsi que pour proposer des méthodes pour les atténuer; puis à rendre compte de ce travail dans des articles et communications scientifiques. Selon les compétences et les intérêts scientifiques des personnes candidates, un accent plus fort pourra être mis sur l'une les trois thématiques listées ci-dessus en relation avec les fonctionnalités de résumé automatique, traduction automatique, ou de génération contrôlée. Une partie significative de l'activité sera de nature expérimentale et demandera de travailler sur les (grands) modèles de l'état de l'art. Compétences Nous recherchons une personne hautement motivée: - titulaire d'un doctorat récent en intelligence artificielle avec des compétences en apprentissage profond, traitement automatique des langues, recherche d'information ou traduction automatique. - maitrisant Python et des plateformes d'apprentissage profond et des principaux frameworks pour manipuler des modèles de langue et les algorithmes de génération de textes; - maîtrisant l'anglais écrit et oral, une connaissance du français sera un plus. Contexte de travail La personne recrutée travaillera à l'Institut des Systèmes Intelligents et de Robotique, un laboratoire pluridisciplinaire de Sorbonne Université du CNRS, au sein de l'équiple "Machine Learning and Deep Learning for Information Access" (MLIA - https://www.isir.upmc.fr/equipes/mlia/), qui s'intéresse à l'apprentissage automatique et à ses applications, en particulier en traitement des langues. Situé sur le corpus de Jussieu, au centre de Paris, l'ISIR regroupe plus de 250 membres et est un acteur majeur de l'IA et de la Robotique en Europe (https://www.isir.upmc.fr). Contraintes et risques Travail sur écran, sans autre risque particulier. Postuler en ligne : https://emploi.cnrs.fr/Offres/CDD/UMR7222-FRAYVO-003/Default.aspx