*1. Titre du stage* Jumeau numérique de patient sous anesthésie. Exploration et évaluation d'approches par Deep Learning. *2. Mots-clés* Patient numérique, bloc opératoire, anaesthésie, simulation, prédiction, apprentissage profond, trace d'actions, série temporelle multivariée *3. Profil Profil Master 2 Informatique, avec des compétences en intelligence artificielle et en Deep Learning, ou bien des compétences en intelligence artificielle et en Machine Learning et la volonté de s'investir dans le domaine du Deep Learning ; intérêt marqué pour les travaux à l'interdisciplinaire (santé). Un stage de Master 1 dans un domaine proche du sujet représente un plus. *4. Gratification/rémunération* Selon la législation en vigueur pour un stage se déroulant en laboratoire de recherche à l'Université. *5. Description du sujet* *5.1. Contexte et objectifs* Ce stage s'inscrit dans le cadre d'une collaboration à l'interface entre numérique et santé, avec Le Laboratoire Expérimental de SImulation en Médecine Intensive (LE SiMU) de l'Université de Nantes. Le SiMU permet notamment de se perfectionner dans la gestion de situations critiques en anesthésie. Il intervient sur simulateurs de patients haute-fidélité (mannequins), avec immersion des acteurs en formation dans une équipe médicale humaine pleine-échelle interprofessionnelle. Dans le but d'améliorer la sécurité et la qualité des soins peropératoires, les formateurs du SiMU souhaitent varier la diversité des scénarios à proposer aux internes en anesthésie et infirmiers anesthésistes, en formation initiale, ainsi qu'aux praticiens plus expérimentés, en formation continue. Pour varier les scénarios, il est proposé à terme d'automatiser la génération de scénarios réalistes de simulation, en s'appuyant sur tout ou partie de la base de profils anesthésiques enregistrés par le CHU de Nantes depuis 2004 (500 000 profils anesthésiques). Dans cette modalité assistée par le numérique, la personne qui suit la formation (interne ou infirmier), fait partie de l'équipe médicale. Les autres membres de l'équipe médicale sont simulés très simplement (icônes réalisant des actions et émettant des informations, sur l'écran de l'ordinateur assigné à l'apprenant). De cette innovation est attendu un accès potentiel à une grande variété de scénarios réalistes de simulation de cas d'anesthésie. Servir cet objectif de formation répond également à terme au besoin d'anticipation par prédiction, inhérent au paradigme de la médecine personnalisée, en pleine émergence. Pour atteindre cet objectif, deux axes de recherche ont été explorés au sein de l'équipe DUKe du LS2N. Ils portent respectivement sur une approche de data mining / raisonnement à base de cas [BVL22], et des approche machine learning (modèles de Markov autorégressif à changements de régimes [DSL23a, DSL23b]). Les travaux du stage exploreront une troisième catégorie d'approche, centrée sur les modèles neuronaux profonds. Les CHU ont obligation légale d'enregistrer toutes les données relatives aux interventions chirurgicales. Parmi ces dernières, figurent les profils anesthésiques des patients. Un profil anesthésique est constitué d'une trace d'événements et d'une série temporelle multivariée. La trace d'événements est la séquence horodatée des actions de l'équipe médicale (e.g., administration d'un anesthésique). Les actions orchestrent l'évolution des paramètres physiologiques du patient. La série temporelle multivariée correspond à un ensemble de séries temporelles univariées qui décrivent chacune l'évolution d'un paramètre physiologique du patient (e.g., fréquence cardiaque). *5.2. Enoncé du problème* Dans le cadre de ce stage, nous ramenons le problème à un problème de prédiction de série temporelle. L'apprentissage d'un réseau de neurones profond à partir des séries temporelles des profils anesthésiques permettra cette prédiction. Il existe un nombre assez limité de revues de l'état de l'art récentes qui soient consacrées au Deep Learning, lorsqu'il est utilisé pour la prédiction de séries temporelles ([LZ2020] https://arxiv.org/pdf/2004.13408.pdf ; [SGM2020] https://arxiv.org/abs/1911.13288 ; [THS2020] http://doi.org/10.1089/big.2020.0159). Dans le domaine de la prédiction pour les séries temporelles comme dans d'autres domaines, l'émergence demodèles de réseaux de neurones compétitifs a rapidement relégué les Perceptrons MultiCouches (Multilayer Perceptrons, MLPs) au second plan. Les Réseaux de Neurones Récurrents (Recurrent neural networks, RNNs) ont été conçus pour pouvoir traiter des données séquentielles. Un RNN réalise la même tâche à chaque pas de temps : la séquence (x1 , x2 , ··· , xt , xt+1 · · · ) correspondant à la série temporelle est fournie au RNN, élément par élément (pas de temps par pas de temps). La prédiction de séries temporelles via l'utilisation d'un RNN est un problème qui donne lieu à des recherches actives (voir par exemple [CC2016] dans le domaine des finances). Les Réseaux de Neurones Récurrents à Mémoire Court et Long Terme (Long Short-Term Memory networks, LSTMs) représentent la sous-catégorie la plus utilisée des RNN. En effet, leur capacité à capturer les dépendances à long terme leur assure de meilleures performances en prédiction que celles des RNN. Les LSTM ont été utilisés pour la prédiction de séries temporelles dans de nombreux domaines, comme par exemple la prédiction du coût de l'électricité [PLL2018] ou la prédiction d'énergie renouvelable [GHS2016]. Les Réseaux de Neurones Convolutifs (Convolutional Neural Networks, CNNs) sont une classe particulière de réseaux de neurones artificiels, capable de préserver les dépendances spatiales existant au sein des données, en n'autorisant que très peu de connexions entre les couches successives du réseau. Le terme Réseaux de Neurones Convolutifs Temporels (Temporal Convolutional Networks, TCNs) a été introduit récemment [BKK2018]. De très nombreux travaux sur l'utilisation de CNN pour la prédiction de séries temporelles ont été publiés, comme dans le domaine de la prédiction de demande en énergie [AE2017]. Des modèles hybrides ont été proposés, qui combinent des couches CNN et LSTM, ou bien connectent les sorties d'un CNN aux entrées d'un CNN, ou encore proposent une intégration de modèles par combinaison des sorties obtenues d'un CNN et d'un LSTM exploités en parallèle. Par exemple, cette dernière approche a été appliquée pour la prédiction dans les domaines de l'énergie, de la météorologie et des finances [SZL2019]. Les modèles Seq2Seq (Encoder-Decoders, Transformers) sont conçus pour transformer une séquence fournie en entrée en une deuxième séquence obtenue en sortie. Une utilisation emblématique des Transformers est la traduction, en traitement du langage naturel. Les Transformers ont été récemment utilisés pour la prédiction de séries temporelles (voir par exemple [N2019]). Les auto-encodeurs (AutoEncoders, AEs) constituent une sous-catégorie particulière des encodeurs-décodeurs. Ce type de modèle a notamment été combiné avec d'autres modèles, comme les LSTM, pour la prédiction de séries temporelles (voir par exemple [BYR2017]). *5.3. Travaux à réaliser* N.B. : les données sur lesquelles travaillera le stagiaire sont des données réalistes obtenues à l'aide d'un simulateur développé au sein de l'équipe DUKe, grâce à l'expertise des partenaires du SiMU / CHU de Nantes. L'accent sera porté sur la prédiction de série temporelle contextualisée par une trace d'événements. Les différentes étapes du stage sont les suivantes : - *mi-mars - fin mars :* complément de bibliographie sur la prédiction de séries temporelles via l'utilisation de réseaux de neurones profonds ; - *début avril - mi-avril :* identification sur Internet de modèles codés de réseaux de neurones, parmi ceux qui sont réputés convenir pour la prédiction de séries temporelles, sous environnement de programmation PyTorch - *mi-avril - fin-juin :* - codage du prétraitement des données selon les entrées attendues par chacun des modèles sélectionnés (1), - adaptation du code / des codes identifiés au cas de la prédiction contextualisée - définition de l'architecture/des architectures (nombre de couches, nombre de noeuds etc) à tester pour chaque modèle sélectionné - (éventuellement, examen de la nécessité et des possibilités d'utiliser des modèles pré-entraînés, examen de la nécessité de recourir à l'augmentation de données) - *fin juin - fin juillet :* étude d'ablation ; évaluation et comparaison des performances prédictives réalisées pour chaque architecture de chaque modèle ; (si possible) comparaison avec des modèles de l'état de l'art pour la version non contextualisée - *août :* - zone de débordement (15 jours) + rédaction du mémoire et préparation de la soutenance (15 jours) (1) En entrée, a priori, les données sont des sous-séries temporelles (une par paramètre physiologique), annotées par des actions horodatées. En sortie, les données sont des sous-séries temporelles. *6. Compétences requises* - Capacité à réaliser des recherches sur Internet pour identifier des codes éprouvés permettant de servir de base aux solutions proposées - Goût prononcé pour la programmation, rigueur dans la programmation - Capacité à documenter du code - Capacité à rendre compte de l'avancement de ses travaux, capacité au reporting (hebdomadaire) *7. Lieu du stage* Stage en présentiel, LS2N, Laboratoire des Sciences du Numérique de Nantes (UMR CNRS 6004) Faculté des Sciences et des Techniques, 2 rue de la Houssinière, 44322 Nantes Cedex Accessoirement, des sessions de travail dans les locaux du CHU de Nantes pourront avoir lieu, le cas échéant. *8. Contact* Christine Sinoquet, Maître de Conférences HdR 9. Pour candidater* Les dossiers de candidature sont à transmettre au moyen d'une archive .zip à christine.sinoquet@univ-nantes.fr. Le dossier de candidature comportera : - un curriculum vitae, - les relevés de notes des années 2021-22 et 2022-23, - une lettre de motivation - les contacts (nom, qualité, adresse mail, téléphone) de deux référents. Un entretien et/ou un test technique pourront vous être proposés. La transmission de liens vers une sélection de dépôts git des candidat.e.s est encouragée. *Références bibliographiques *[AE2017]* Almalaq, A. and Edwards, G. (2017) A review of deep learning methods applied on load forecasting, 16th International Conference on Machine Learning and Applications (ICMLA), 511-516. *[BKK2018]* Bai, S. and Kolter, J. Z. and Koltun, V. (2018) An empirical evaluation of generic convolutional and recurrent networks for sequence modeling, arXiv:1803.01271. *[BVL22]* Boisaubert, H., Vincent, L., Lejus-Bourdeau, C. and Sinoquet, C. (2022) Simulation of the evolution of a virtual patient's physiological status in the operating room: application to computer-assisted anaesthesia training. Proceedings of the 15th International Joint Conference on Biomedical Engineering Systems and Technologies, BIOSTEC2022, vol. 5: HEALTHINF, 228-239. *[BYR2017]* Bao, W. and Yue, J. and Rao, Y (2017) A deep learning framework for financial time series using stacked autoencoders and long-short term memory, PLOS ONE, 12(7):e0180944. *[CC2016]* Chandra, R. and Chand, S. (2016) Evaluation of co-evolutionary neural network architectures for time series prediction with mobile application in finance, Applied Soft Computing, 49:462-473. *[DSL23a]* Dama, F., Sinoquet, C. and Lejus-Bourdeau C. (2023) A framework for context-sensitive prediction in time series - Feasibility study for data-driven simulation in medicine. To appear in the Proceedings of the 10th IEEE International Conference on Data Science and Advanced Analytics, DSAA2023. *[DSL23b]* Dama, F., Sinoquet, C. and Lejus-Bourdeau C. (2023) A hidden Markov model with Hawkes process-derived contextual variables to improve time series prediction. Case study in medical simulation. To appear in the Proceedings of the 32th European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, ESANN2023. *[GHS2016]* Gensler, A. and Henze, J. and Sick, B. and Raabe, N. (2016) Deep learning for solar power forecasting - an approach using AutoEncoder and LSTM neural networks, International Conference on Systems, Man, and Cybernetics (SMC), 2858-2865. *[LZ2020]* Lim, B. and Zohren, S. (2020) Time series forecasting with deep learning: a survey, https://arxiv.org/abs/2004.13408-review. *[N2019]* Nino, S. (2019) Transformers and time series forecasting, Princeton University, USA, thèse. *[PLL2018]* Peng, L. and Liu, S. and Liu, R. and Wang, L. (2018) Effective long short-term memory with differential evolution algorithm for electricity price prediction, Energy, 162:1301-1314. *[SZL2019]* Shen, Z. and Zhang, Y. and Lu, J. and Xu, J. and Xiao, G. (2019) A novel time series forecasting model with deep learning, Neurocomputing, 396(5):302-313. *[THS2020]* Torres, J. F. and Hadjout, D. and Sebaa, A. and Martínez-Álvarez, F. and Troncoso, Al. (2020) Deep learning for time series forecasting: a survey. Big Data, ahead of print, http://doi.org/10.1089/big.2020.0159