Offre UMR7222-FRAYVO-001 - Post-doctorant en Traitement Automatique des Langues (H/F) Post-doctorant en Traitement Automatique des Langues (H/F) Date Limite Candidature : vendredi 5 janvier 2024 Informations générales Intitulé de l'offre : Post-doctorant en Traitement Automatique des Langues (H/F) Référence : UMR7222-FRAYVO-001 Nombre de Postes : 1 Lieu de travail : PARIS 05 Date de publication : vendredi 15 décembre 2023 Type de contrat : CDD Scientifique Durée du contrat : 24 mois Date d'embauche prévue : 1 mars 2024 Quotité de travail : Temps complet Rémunération : 2900 euros bruts mensuels Niveau d'études souhaité : Niveau 8 - (Doctorat) Expérience souhaitée : Indifférent Section(s) CN : Interactions, particules, noyaux du laboratoire au cosmos Missions La personne recrutée travaillera sur la traduction automatique neuronale dans le cadre du projet ANR TraLaLaM. Ce projet s'intéresse à optimiser l'exploitation de très grands modèles de langues multilingues (GMLM) pour des fins de traduction automatique. L'apprentissage de ces modèles requiert de grands corpus monolingues, et l'optimisation d'une fonction de perte basée sur la prédiction conditionnelle de chaque mot étant donné le préfixe qui précède. Les GMLM fournissent une architecture de génération de texte "générique", qui consiste à compléter (en langue cible) un préfixe exprimant une demande de traduction (d'un segment en langue source). À condition que le préfixe à compléter soit "correctement" formulé, par exemple en intégrant des "bons" exemples de traduction à réaliser, les traductions obtenues par ces architectures sont souvent proches en qualité de systèmes de traduction spécialement entraînés à cette tâche sur des corpus parallèles [1,2,3]. Au-delà de ces performances quantitatives, l'utilisation de GMLM offre des perspectives nouvelles pour concevoir et entraîner des modèles de traduction capables: - d'intégrer de manière homogène des contextes variés, comme des dictionnaires bilingues, des mémoires de traduction ou des traductions d'autres parties du document; - de produire des traduction contrôlées, reproduisant les contraintes d'un domaine de spécialité, d'un registre, ou encore des contraintes de style. - d'obtenir des systèmes de traduction pour des langues peu dotées en ressources parallèles, en exploitant des capacités de transfert crosslingue. La mise en oeuvre de ce programme est toutefois contrariée par les énormes coûts computationnels liés à l'exploitation de ces architectures, qui sont prohibitifs pour les très gros modèles, et de surcroît augmentent (a) avec le nombre de langues à prendre en charge; (b) avec la longueur du préfixe représentant le contexte. Remplacer des petits modèles spécialisés pour la traduction, et optimisés pour cet usage, par des grands modèles de langues génériques, est donc un choix difficile, dont les conséquences doivent être analysées avec soin. L'objectif de ce projet est donc d'explorer le potentiel réel de ces modèles en cherchant de nouvelles stratégies pour (a) affiner des modèles génériques avec des objectifs de traduction, pour des langues et des domaines spécifiques; (b) réduire leur taille par élagage, distillation ou quantification; (c) ajouter de nouvelles langues de manière incrémentale à un système déja entrainé. Les objectifs (b) et (c) se focaliseront en prioriorité respectivement sur des données de traduction professionnelle incluant le français (en source ou en cible) et une autre langue bien dotée, et sur des données incluant une langue de France autre que le français (en source ou en cible). L'objectif (a) est transverse et sera étudié dans tous les scénarios. [1] Prompting PaLM for Translation: Assessing Strategies and Performance (Vilar et al., ACL 2023) https://aclanthology.org/2023.acl-long.859 [2] Adaptive Machine Translation with Large Language Models (Moslem et al., EAMT 2023) https://aclanthology.org/2023.eamt-1.22/ [3] Investigating the Translation Performance of a Large Multilingual Language Model: the Case of BLOOM (Bawden & Yvon, EAMT 2023) https://aclanthology.org/2023.eamt-1.16/ [4]Towards Efficient Post-training Quantization of Pre-trained Language Models (Bai et al, Neurips 2022) https://arxiv.org/abs/2109.15082 [5] A Survey on Model Compression for Large Language Models, (Zhu et al, arxiv 2023) https://arxiv.org/pdf/2308.07633.pdf Activités La personne recrutée travaillera en collaboration avec les membres de projet ANR TraLaLAM (à ISIR, à ALMAnaCH/Inria Paris et à Systran) pour développer, optimiser et évaluer des systèmes de traduction automatique s'appuyant sur des grands modèles de langue multilingues, puis à rendre compte de ce travail dans des articles et communications scientifiques. Selon les compétences et les intérêts scientifiques des personnes candidates, un accent plus fort pourra être mis sur l'une des trois thématiques listées ci-dessus: optimisation des calculs, génération contrôlée, transfert crosslangue. Une partie significative de l'activité sera de nature expérimentale et demandera de travailler sur les (grands) modèles de l'état de l'art. Compétences Nous recherchons une personne hautement motivée: - titulaire d'un doctorat récent en intelligence artificielle avec des compétences en apprentissage profond, traitement automatique des langues et traduction automatique. - maitrisant Python et des plateformes d'apprentissage profond et des principaux frameworks pour manipuler des modèles de langue et des modèles de traduction. - maîtrisant l'anglais écrit et oral, une connaissance du français sera un plus. Contexte de travail La personne recrutée travaillera à l'Institut des Systèmes Intelligents et de Robotique, un laboratoire pluridisciplinaire de Sorbonne Université du CNRS, au sein de l'équiple "Machine Learning and Deep Learning for Information Access" (MLIA - https://www.isir.upmc.fr/equipes/mlia/), qui s'intéresse à l'apprentissage automatique et à ses applications, en particulier en traitement des langues. Situé sur le corpus de Jussieu, au centre de Paris, l'ISIR regroupe plus de 250 membres et est un acteur majeur de l'IA et de la Robotique en Europe (https://www.isir.upmc.fr). Contraintes et risques Néant Postuler en ligne : https://emploi.cnrs.fr/Offres/CDD/UMR7222-FRAYVO-001/Default.aspx?lang=FR