Date de début : flexible, au plus tard en juin 2025 Durée : poste à temps plein pour 12 mois (reconductible) Salaire : selon l'expérience (jusqu'à 4142¤/mois) Date limite de candidature : Ouvert jusqu'à ce que le poste soit pourvu Lieu de travail : Le poste sera basé à Grenoble, en France. Il ne s'agit pas d'un poste en télétravail. Mots clés : traitement du langage naturel, multimodalité, LLMs médicaux, apprentissage profond. *Contexte* l'Université de Grenoble Alpes (UGA) propose un poste de chercheur/chercheuse post-doctoral pour participer aux projets PARTAGES et Pantagruel sur les LLMs multimodaux et médicaux. Le projet PARTAGES vise à la mise en place de grands modèles de langue adaptables et souverains pour le domaine médical français pour transformer la gestion des données de santé tout en préservant leur confidentialité. Le projet, financé par BPI France à hauteur de 10 millions d'euros, réunit 32 partenaires dans les domaines de la santé et du traitement automatique du langage naturel. Le projet Pantagruel vise à développer des modèles autosupervisés librement accessibles pour le français, comprenant une à trois des modalités écrite, orale, ou de pictogrammes pour les domaines généraux et cliniques. Le projet concevra également des bancs d'essais permettant d'évaluer la capacité de généralisation de ce type de modèles. Concernant PARTAGES, l'objectif est de produire des LLMs adaptés au domaine médical en Français en utilisant des techniques de fine-tuning supervisés ou en poursuivant le pré-apprentissage. Cependant, le fine-tuning peut spécialiser à outrance les représentations pour une tâche, réduisant la généralisation en distordant les représentations apprises (Kumar et al., 2022). De plus, la poursuite du pré-apprentissage peut provoquer un 'catastrophic forgetting'. L'objectif est donc de développer des techniques d'apprentissage pour atténuer ces problèmes de spécialisation et d'oubli. En lien avec cet objectif de spécialisation, il est également important d'évaluer si les LLMs peuvent s'adapter efficacement aux domaines de spécialité de médecine, l'adaptation Low-Rank (Hu et al., 2021) semble se révéler moins efficace que le fine-tuning complet, car elle ne parvient pas à intégrer les phénomènes spécifiques au domaine avec les paramètres limités disponibles (Eschbach-Dymanus et al., 2024). Il conviendra donc de trouver des méthodes permettant la spécialisation au domaine toute en gardant des capacités de généralisation. Concernant Pantagruel, la première année du projet a été consacrée à l'exploration et à la modification d'architectures neuronales, en s'appuyant sur le modèle data2vec 2.0 (Baevski et al., 2023) et en intégrant des fonctionnalités de modèles multimodaux tels que FLAVA (Singh et al., 2022). Dans le cadre du poste de post-doc, l'objectif sera de participer à la finalisation ces modèles et au développement des modèles génératifs multimodaux inspirés des LMMs de dernière génération, comme Qwen-Audio (Chu et al., 2023). *Tâches principales* La personne retenue pour le post-doc sera responsable de la gestion quotidienne du projet de recherche, sous la supervision de Lorraine Goeuriot, Didier Schwab et François Portet. Des réunions régulières auront lieu toutes les deux semaines. Elle aura comme principales missions de : - Concevoir et apprendre des modèles de langue pouvant gérer l'oral, l'écrit et la communication par pictogrammes. - Définir et appliquer des protocoles d'expérimentation sur des supercalculateurs locaux et nationaux. - Organiser et pré-traiter de grand corpus de données multimodales pour l'apprentissage et l'évaluation. - Analyser les résultats et contribuer à l'amélioration continue des approches développées. - Proposer des solutions originales permettant de passer dynamiquement d'une modalité à une autre (de l'oral à l'écrit, de l'écrit au pictogramme, etc.). - Préparer des articles à soumettre à des conférences et à des revues évaluées par des pairs. - Communiquer les modèles appris aux partenaires des projets et sur les grandes plateformes internationales (p.ex. Zenodo, Huggingface) - Organiser des réunions d'avancement et assurer la liaison entre les membres de l'équipe. - Participer à la rédaction des livrables de projet. La personne recrutée interagira avec les autres post-docs, doctorats, stagiaires et les chercheurs faisant partie du projet PARTAGES et Pantagruel. En fonction de son parcours, de ses intérêts propres et de l'objectif du projet, la personne recrutée aura la possibilité d'orienter la recherche dans différentes directions. *Environnement scientifique* La personne recrutée sera accueillie au sein des équipes GETALP et MRIM du laboratoire LIG (https://lig-getalp.imag.fr/), qui offre un environnement dynamique, international et stimulant pour mener des recherches multidisciplinaires de haut niveau. La personne aura accès à de grands ensembles de données, à des serveurs GPU, à des moyens pour les missions ainsi qu'aux activités scientifiques des laboratoires. L'équipe est hébergée dans un bâtiment moderne (IMAG) situé dans un campus paysager de 175 hectares qui a été classé huitième plus beau campus d'Europe par le magazine Times Higher Education en 2018. *Profil recherché* La personne candidate doit être titulaire d'un doctorat en traitement du langage naturel ou en informatique, ou en cours d'obtention. La personne retenue doit avoir : - Bonne connaissance du traitement du langage naturel - Expérience dans la collecte/le formatage et la manipulation de corpus. - De bonnes compétences en programmation en Python - Un dossier de publication dans un domaine de recherche proche - La volonté de travailler au sein d'équipes multidisciplinaires et internationales - De bonnes compétences en communication - Une bonne maîtrise du français est requise. *Instructions pour postuler* Les candidatures seront examinées au fil de l'eau et doivent être adressées à François Portet (Francois.Portet@imag.fr), Didier Schwab (Didier.Schwab@imag.fr) et Lorraine Goeuriot (Lorraine.Goeuriot@univ-grenoble-alpes.fr). Il est donc conseillé de postuler le plus tôt possible. Le dossier de candidature doit contenir : - Curriculum vitae - Références pour d'éventuelles lettres de recommandation - Résumé d'une page du contexte de recherche et des intérêts pour le poste - Publications démontrant l'expertise dans les domaines susmentionnés - Rapports préalables à la soutenance et procès-verbaux de soutenance ; ou résumé de la thèse avec la date de soutenance pour ceux qui sont actuellement en doctorat. RÉFÉRENCES Eschbach-Dymanus, J., Essenberger, F., Buschbeck, B., & Exel, M. (2024, June). Exploring the effectiveness of LLM domain adaptation for business it machine translation. In Proceedings of the 25th Annual Conference of the European Association for Machine Translation (Volume 1) (pp. 610-622). Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., ... & Chen, W. (2022). Lora: Low-rank adaptation of large language models. ICLR, 1(2), 3. Gupta, K., Thérien, B., Ibrahim, A., Richter, M. L., Anthony, Q., Beli lovsky, E., ... & Lesort, T. (2023). Continual pre-training of large language models: How to (re) warm your model?. arXiv preprint arXiv:2308.04014. Ananya Kumar, Aditi Raghunathan, Robbie Jones,Tengyu Ma, and Percy Liang. 2022. Fine-tuning can distort pretrained features and underperform out-of-distribution. ICML. Chu, Y., Xu, J., Zhou, X., Yang, Q., Zhang, S., Yan, Z., ... & Zhou, J. (2023). Qwen-audio: Advancing universal audio understanding via unified large-scale audio-language models. arXiv preprint arXiv:2311.07919. Baevski, A., Babu, A., Hsu, W. N., & Auli, M. (2023, July). Efficient self-supervised learning with contextualized target representations for vision, speech and language. In International conference on machine learning (pp. 1416-1429). PMLR. Singh, A., Hu, R., Goswami, V., Couairon, G., Galuba, W., Rohrbach, M., & Kiela, D. (2022). Flava: A foundational language and vision alignment model. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 15638-15650).