Systèmes de classifications interprétables de bout en bout

Encadrant(e)s: Nicolas Dugué, Maître de conférences
Equipe d'accueil : LIUM - LST
Lieu : Le Mans
Contact : Nicolas.Dugue(at)univ-lemans.fr

***Contexte***

Le projet ANR DIGING. Les approches récentes d'apprentissage de
plongements lexicaux ont mis l'accent sur les résultats, souvent au
détriment de l'interprétabilité et de la complexité algorithmique. Afin
de favoriser l'adoption des systèmes automatiques par les utilisateurs,
l'interprétabilité et l'interaction avec les résultats produits par ces
systèmes est pourtant une condition nécessaire. C'est en particulier le
cas lors de la mise en oeuvre de telles technologies au service de
secteurs sensibles comme les domaines juridiques et médicaux. Mais
c'est aussi le cas dans des applications liées aux humanités numériques
pour lesquelles il est nécessaire de produire des représentations
compréhensibles par les utilisatrices et utilisateurs finaux. Nous
avons ainsi proposé avec DIGING une nouvelle approche performante et
économe en calculs pour la construction de plongements lexicaux
interprétables [PDCM22] basée sur la théorie des réseaux complexes :
SINr, pour Sparse Interpretable Node Representations. Cette approche
permet d'apprendre des plongements extrêment parcimonieux, conservant
de bonnes performances jusqu'à 10 activations seulement par vecteur.

***Objectifs***

En s'appuyant sur les représentations apprises avec SINr, l'approche de
plongements interprétables comme première brique, le ou la candidat·e
recruté·e aura la charge des architectures neuronales de classification
interprétables de bout-en-bout. L'objectif est de rester dans un espace
interprétable tout au long de la classification. Ainsi, des mécanismes
profonds pourront être mis en oeuvre en se basant sur la structure
hiérarchique des plongements produits par SINr, et en s'inspirant des
travaux pionniers de Victoria Bourgeais. Des mécanismes d'attention de
type dot product tels que dans Bahdanau, utilisant un vecteur
d'attention dédié à la tâche, qui, s'il est dans le même espace que
l'entrée sera également interprétable. Des méthodes utilisant des
prototypes dans l'espace interprétable pourront également être mises en
oeuvre . Pour l'évaluation de ces architectures, nous envisagerons des
tâches de classification telles que la reconnaissance d'entités
nommées, l'analyse de polarité ou la détection de contenus haineux. De
nombreuses pistes sur l'utilisation des plongements lexicaux
interprétables pourront également être envisagées, en fonction des
appétences de la personne recrutée : transfert, évaluations
extrinsèques, étude des biais, etc.


***Le profil recherché***

-   Thèse d'informatique ou de linguistique computationnelle ;
-   Intérêt pour l'interprétabilité, la compréhension des systèmes ;
-   Langage Python ;
-   Github et CI/CD ;
-   Expérience de l'apprentissage des réseaux de neurones.

***Comment candidater***

Envoyer CV et lettre de motivation à Nicolas Dugué avant le 30 juin,
18h (Nicolas.Dugue(at)univ-lemans.fr)