LIFO - Université d'Orléans Proposition de stage

Responsables

Anaïs Lefeuvre-Halftermeyer (anais.halftermeyer@univ-orleans.fr) LIFO,
U. Orléans

Thi Bich Hanh Dao (thi-bich-hanh.dao@univ-orleans.fr) LIFO, U. Orléans

Résumé

Amélioration de systèmes d'extraction de relations temporelles à
partir de textes en langue naturelle : étude de l'injection de
connaissances en vue de l'hybridation de systèmes par apprentissage
profond

Contexte scientifique

Nous proposons, dans le cadre de ce sujet de stage financé, d'explorer
l'intégration de connaissances dans un système par apprentissage
profond, reposant sur un modèle de langue, à résoudre des tâches de
raisonnement temporel. Nous proposons de travailler dans le cadre de
l'extraction d'informations temporelles qui associe à un texte en
langue naturelle une représentation synthétique des évènements qui y
sont relatés. Une représentation classique de ce type de données est
un graphe de relations temporelles entre les évènements relatés et/ou
entre expressions temporelles [1].

Les récentes avancées du deep learning en matière de compétences
langagières nous amène à nous interroger sur la maîtrise de l'humain
sur les processus de résolution de tâche reposant sur la langue
naturelle. Ces modèles ont des architectures de plus en plus complexes
et sont de plus en plus gourmands en puissance de calcul et en données
d'entraînement. Cependant ils restent insuffisants puisque les
connaissances générales sur des relations temporelles ne sont pas
exploitées pour mieux orienter les résultats, ainsi que pour expliquer
ces résultats.

Un premier système [3] a proposé de construire un graphe temporel à
partir de textes médicaux en s'appuyant de BERT, de la mise à profit
de règles en logique probabiliste dans la phase d'apprentissage du
modèle, ainsi qu'à la phase d''inférence globale. Ce travail hybride a
ouvert des pistes de recherche sur l'apport considérable que pouvait
représenter la connaissance propre à la temporalité via le travail sur
les règles. Afin de rendre plus performant les systèmes, [4] a proposé
de tirer partie de l'analyse syntaxique des entrées avec succès. Dans
la même lignée de [2], nous proposons de tirer partie de la
représentation de la connaissance temporelle comme levier de
performance et d'explicabilité du système dans sa totalité.

Nous nous intéressons à intégrer de la connaissance dans ces modèles
afin de résoudre au mieux les tâches de raisonnement temporel, et ce
via l'expression de contraintes afin de :

- tirer profit du meilleur des deux mondes que sont les contraintes et
les modèles de langues acquis par deep learning

- proposer des modèles hybrides en partie explicables

- faire reposer nos systèmes sur une puissance de calcul maîtrisée
combinée à une méthodologie reproductible d'injection de connaissances

Concrètement, étant donné un système d'apprentissage profond reposant
sur un modèle de langue entraîné à traduire un texte en un graphe
temporel représentant les évènements narrés dans le texte en entrée,
l'injection de connaissances via l'expression de contraintes modifiera
les sorties du système.

Nous cherchons à figer une méthodologie permettant d'injecter des
connaissances de manière incrémentale afin de guider notre système tout en
maîtrisant :
- la taille de notre modèle
- la taille de nos données d'entraînement
- la complexité de nos contraintesLIFO - Université d'Orléans

Travail à réaliser

- Phase 0 : État de l'art (T0 - T0+1) - Dans un premier temps, il est
demandé au stagiaire de situer un système particulier dans l'état de
l'art, afin de mettre en concurrence cette approche par rapports aux
autres existantes et d'identifier les préprocessings nécessaires à la
tâche de résolution de relations temporelles (on pense notamment à la
tâche de repérage des entités).

- Phase 1 : Injections de connaissances (T0+1 - T0+5) - Une fois le
panorama des approches dressé, la reprise du code
(https://github.com/yuyanislearning/CTRL-PG) permettra de procéder à
une étude de l'amélioration des performances du système couplée à une
qualification de l'interprétabilité des résultats du système. Un
réflexion sera menée sur l'explicabilité du mécanisme de résolution
global du système pour un utilisateur final. Le stagiaire devra mettre
au point un protocole expérimental d'étude par ablation/perturbation
des connaissances injectées via i) le mécanisme de mise à jour des
paramètres par le calcul de la loss, ii) l'inférence globale, iii)
l'ajout, la suppression ou la modification des règles considérées aux
deux niveaux.

- Phase 2 : Évaluation et optimisation du système (T0+4 - T0+6) - Dans
un second temps, on étudiera l'influence de différents paramètres au
regard d'une frugalité tant en taille de données, que concernant la
puissance de calcul : tout d'abord concernant le modèle de langue, la
mise en concurrence de divers modèles disponibles puis le
réentrainement sur divers corpus de tailles et de compositions
différentes (couplé à l'étude de l'utilisation de divers corpus pour
le fine tuning) nous permettra de justifier l'utilisation de l'un
d'entre eux.

- Phase 3 : Mise à jour des connaissances sur la temporalité (T0+5 -
T0+6) - Si le temps le permet, une analyse de l'apport de chaque règle
temporelle utilisée et observée sera menée à bien de même qu'une
réflexion sur une méthodologie envisageable pour explorer de nouvelles
règles utiles pour la tâche et interprétable pour l'utilisateur.

Résultats attendus

- Un état de l'art motivé et complet
- Un protocole expérimental pour étude par ablation/perturbation
- Les résultats et analyses de ce protocole
- Un protocole expérimental pour étude en frugalité
- Les résultats et analyses pour ce dernierLIFO - Université d'Orléans

Profil recherché

Idéalement, la personne recrutée terminera des études de niveau Master
(Master 2) et disposera de connaissances théoriques et pratiques sur
les techniques par apprentissage profond. Un intérêt pour la langue et
son traitement automatique serait apprécié, sans être un pré-requis à
recrutement.

Date et lieu de stage

La personne recrutée travaillera au LIFO (Campus de la Source,
Orléans). Il s'intégrera à la fois dans l'équipe Contraintes et
Apprentissage (http://www.univ-orleans.fr/lifo/equipes/CA/) du LIFO.

Durée et période de stage - La durée du stage sera de 6 mois.

Rémunération

La personne recrutée recevra une gratification mensuelle correspondant
à la réglementation, à savoir 15% du plafond horaire de la sécurité
sociale.

Contact - Dépôts de candidature

Dépôt des candidatures par courrier électronique auprès de Bich Dao et
Anaïs Lefeuvre-Halftermeyer le 23 février au plus tard. Merci de
déposer dans un pdf unique :

- Un CV détaillé de vos activités passées

- Une lettre de motivation

- Vos relevés de notes des deux dernières années d'études

- Lettres de recommandation (2 lettres minimum appréciées)

Le cas échéant, une lecture critique d'article scientifique pourra
être demandée pour la sélection.

Références

[1] T. Knez and S. ´itnik. Event-centric temporal knowledge graph
construction: A survey. Mathematics, 11(23), 2023.

[2] B. Zhang and L. Li. Piper: A logic-driven deep contrastive
optimization pipeline for event temporal reasoning. Neural Networks,
164:186-202, 2023.

[3] Y. Zhou, Y. Yan, R. Han, J. H. Caufield, K.-W. Chang, Y. Sun,
P. Ping, and W.  Wang. Clinical temporal relation extraction with
probabilistic soft logic regularization and global inference. In
Proceedings of the AAAI Conference on Artificial Intelligence, volume
35, pages 14647-14655, 2021.

[4] L. Zhuang, H. Fei, and P. Hu. Syntax-based dynamic latent graph
for event relation extraction. Information Processing Management,
60(5):103469, 2023