Nous cherchons un(e) étudiant(e) de Master 2 ou équivalent pour un
stage de durée de six mois sur le thème
"Explicabilité dans les systèmes multimodaux".

Contexte :
Les progrès continus de l'Intelligence Artificielle (IA), en
particulier dans les méthodes d'apprentissage profond, ont entraîné une
augmentation significative de la complexité des algorithmes. Cette
complexité accrue a soulevé des préoccupations majeures en termes
d'explicabilité, car les modèles sont devenus des boîtes noires rendant
leur fonctionnement interne opaque et manquant de transparence, ce qui
empêche l'utilisateur de comprendre le raisonnement qui sous-tend
l'obtention de résultats spécifiques [1].

L'évolution rapide des modèles de sous-titrage d'images, impulsée par
l'intégration de techniques sophistiquées d'apprentissage profond
combinant les modalités image et texte, a conduit à des difficultés
similaires. Dans ces architectures, les données subissent des
transformations complexes et sont ramenées à des représentations
latentes qui capturent des caractéristiques importantes. Malgré les
efforts pour explorer ces modèles, y compris l'utilisation de
techniques de sondage ou de tests métamorphiques [2,3], la
compréhension exhaustive de la structure sous-jacente de cet espace et
de la manière dont les modèles capturent et traitent les informations
visuelles reste un défi constant. Par exemple, il est essentiel de
comprendre comment ces modèles identifient et accordent de l'importance
aux objets saillants des scènes visuelles et comment ceux-ci
influencent les prédictions.

Objectif :
L'objectif de ce stage est d'étudier les mécanismes sous-jacents
qui régissent des aspects cruciaux tels que la saillance visuelle. En
particulier, il examinera la dépendance potentielle de la saillance
visuelle à des concepts latents tels que la fréquence d'apparition,
la position et la taille des objets dans les scènes, et mettra en
lumière son rôle dans l'interaction complexe entre la vision et le
langage lors du sous-titrage d'images.


Grandes phases :
    1.  Situer l'approche proposée dans l'état de l'art. On pense
        notamment aux diverses approches récentes en explicabilité
        citées dans le présentation du sujet.
    2.  Examiner le protocole expérimental mené dans le cadre de la
        thèse de Sofiane Elguendouze afin de mettre en évidence les
        alternatives disponibles pour répondre à la problématique de
        discernement des concepts cibles. Une réflexion sera menée sur
        l'évaluation d'un tel protocole.
    3.  Approfondir le concept de \textit{saillance visuelle} par
        l'étude des deux aspects : position et taille des objets dans
        les scènes.
    4.  Mettre en place un protocole expérimental pour l'étude d'une
        éventuelle représentativité plus fine de ces aspects dans
        l'espace latent.
    5.  De premiers éléments d'interprétabilité seront dégagés et une
        ébauche de typologie de ces éléments sera demandée.

Encadrement : Sofiane Elguendouze

Structure d'acceuil :
Le stage se déroulera au Laboratoire d'Informatique Fondamentale
d'Orléans (LIFO) à l'Université d'Orléans. La personne recrutée
intégrera l'équipe Contraintes et Apprentissage (CA,
https://www.univ-orleans.fr/lifo/equipes/CA/).

Lieu : LIFO, bâtiment IIIA, 6 Rue Léonard de Vinci, 45067
Orléans Cedex 2, France.

Durée: 6 mois.

Date d'entrée en fonction : Idéalement durant Mars 2024

Rémunération :
Gratification mensuelle correspondant à la réglementation, à savoir 15
\% du plafond horaire de la sécurité sociale (environ 600¤/mois).

Profil du candidat :
-   Des études en Master 2 informatique ou en dernière année d'école
    d'ingénieur, disposant de connaissances théoriques et pratiques des
    techniques d'apprentissage profond.
-   Une connaissance du langage de programmation Python est requise.
-   Un intérêt pour la langue et son traitement automatique ainsi
    qu'une expérience en vision par ordinateur seraient appréciés, sans
    être des pré-requis au recrutement.

Comment postuler :
Merci d'envoyer dans un pdf unique : un cv, une lettre de motivation et
les relevés de notes des deux dernières années d'études à
Sofiane Elguendouze (prénom.nom@univ-orleans.fr), le 15/03/2024 au plus
tard. Le cas échéant, une lecture critique d'un article scientifique
pourra être demandée pour la sélection.