Stage : Amélioration de la qualité des annotations par détection et correction d'erreurs à l'aide de Grands Modèles de Langage (LLM)

Type de contrat : Convention de stage

Niveau de diplôme exigé : Bac + 3 ou équivalent

Fonction : Stagiaire des fonctions support

Contexte et atouts du poste

Le ou la stagiaire travaillera au sein d'Inria Défense & Sécurité,
créé en 2020 pour fédérer les actions d'Inria répondant aux besoins
numériques des forces armées et du ministère de l'Intérieur.

Le stage se déroulera au sein du pôle Données, sous la direction de
Pauline Soutrenon et de Lucie Bader (ingénieures TAL/NLP).

Ce stage s'inscrit dans la continuité de travaux menés au sein du pôle
Données sur l'annotation automatique et l'augmentation de données à
l'aide de grands modèles de langage (LLM). Ces travaux ont permis
d'obtenir des résultats prometteurs, mais ont également mis en lumière
certaines limites, telles que des phénomènes de sur-annotation ou des
incohérences dans les annotations.

Dans ce contexte, la qualité des annotations, qu'elles soient
manuelles ou générées automatiquement, reste un enjeu central pour
garantir la fiabilité des modèles. Ces annotations, qui peuvent
inclure des étiquettes de catégories, des entités nommées ou des
relations syntaxiques sont essentielles pour permettre aux modèles de
capturer les subtilités du langage humain.

Le manque de données annotées de qualité, surtout dans les domaines
spécialisés comme la défense ou pour les langues peu dotées, constitue
une problématique majeure dans le domaine du TAL. L'émergence des
Grands Modèles de Langage (LLM), tels que GPT, LLaMA ou Mistral, offre
aujourd'hui l'opportunité de compléter le travail des annotateurs
humains grâce à des méthodes de prompt engineering adaptées.

Le stage s'appuiera sur des données textuelles relevant de thématiques
d'intérêt défense, issues de corpus publics (comme le corpus
POPCORN). Ces corpus sont annotés à la fois en entités nommées et en
relations sémantiques d'intérêt, ce qui en fait une ressource rare et
précieuse pour l'entraînement et l'évaluation de modèles
d'apprentissage automatique.

L'objectif principal de ce stage est d'explorer l'utilisation des LLM
pour détecter et corriger automatiquement les erreurs et incohérences
présentes dans des corpus annotés. L'accent sera mis sur des
annotations réalisées manuellement, souvent considérées comme une
référence mais sujettes à des biais ou des erreurs humaines. Dans un
second temps, des données pourront éventuellement être générées
automatiquement de manière à voir si les LLM sont plus performants sur
de l'annotation ou de la détection/correction d'annotations.

Le/la stagiaire s'appuiera sur des LLM pour proposer une approche
semi-automatique de validation des annotations. Il s'agira notamment
de concevoir des prompts pour détecter les incohérences entre les
données, les annotations et les consignes d'annotation. Un pipeline de
correction automatique ou assistée sera ensuite développé. Enfin, une
évaluation de la qualité des données ainsi corrigées, en les comparant
aux jeux de données manuels initiaux et à ceux produits par des LLM
permettra de mesurer les apports réels de cette démarche, à travers
des métriques quantitatives et une analyse qualitative.

Mission confiée

Le ou la stagiaire travaillera sur la détection et la correction
d'incohérences ou d'erreurs dans desannotations(entité et
relations).La mission s'articulera en plusieurs étapes successives.

Dans un premier temps, il s'agira de se familiariser avec les données
disponibles, le guide d'annotation ainsi que les travaux déjà
réalisés. Cette phase inclura également une partie état de l'art ainsi
qu'une exploration comparative des différents LLM afin d'identifier
le(s) plus adapté(s) à la tâche.

Le coeur de la mission consistera ensuite à concevoir une stratégie de
validation semiautomatique des annotations (conception de prompt et
mise en place d'une chaîne de traitement prenant en compte le
traitement et le formatage des réponses générées par le modèle) ainsi
qu'un pipeline de correction automatique ou semi-automatique.

À partir des données corrigées, une première évaluation sera réalisée
sur les annotations manuelles afin de quantifier l'apport d'une telle
approche. Une seconde évaluation pourra éventuellement être réalisée
sur des annotations générées automatiquement par le ou la stagiaire (à
partir de travaux réalisés précédemment). Il s'agira ici de se
demander si les LLM sont plus performants pour annoter des données ou
plutôt pour les corriger.

Principales activités

- Analyser les besoins et se familiariser avec les données

- État de l'art sur l'utilisation de LLM pour une telle tâche

- Tester et sélectionner le LLM le plus pertinent ainsi que la méthode
  de prompt engineering la plus adaptée

- Concevoir une stratégie de validation semi-automatique des annotations

- Mettre en place un pipeline dédié à la correction des annotations

- Évaluer l'apport d'une telle approche sur des données annotées
  manuellement (et éventuellement sur des données générées
  automatiquement)

- Identifier les atouts et limites du LLM et de la stratégie

- Documenter et présenter les résultats

Compétences

Compétences requises 

- Maîtrise du français écrit et parlé 

- Connaissances solides en TAL et en linguistique 

- Bonnes compétences enPython 

- Connaissance des grands modèles de langage (LLM) et de leur mise en
  oeuvre (idéalement via des plateformes comme Ollama)

- Capacité à concevoir et évaluer des prompts, et à mettre en place
  une chaîne de traitement automatisée

Compétences facultatives 

- Expérience avec des outils d'annotation (Label Studio, Doccano) 

- Expérience avec le logiciel de gestion de version Git 

- Connaissance de la plateforme Ollama 

- Connaissance du langage de programmation Bash et du système
  d'exploitation Linux

 
Avantages

- 15 jours de congés pour 6 mois de stage

- Télétravail possible après 2 mois d'ancienneté (jusqu'à deux jours
  par semaine)

- Restauration subventionnée

- Transports publics remboursés partiellement

- Équipements professionnels à disposition (visioconférence, prêts de
  matériels informatiques, etc.)

- Prestations sociales, culturelles et sportives (Association de
  gestion des oeuvres sociales d'Inria)

Rémunération

4.35¤ /h

Informations générales

    Ville : Grenoble
    Centre Inria : Siège
    Date de prise de fonction souhaitée : 2026-03-01
    Durée de contrat : 6 mois
    Date limite pour postuler : 2025-12-31

Attention: Les candidatures doivent être déposées en ligne sur le site
Inria. Le traitement des candidatures adressées par d'autres canaux
n'est pas garanti.

Consignes pour postuler

Sécurité défense :

Ce poste est susceptible d'être affecté dans une zone à régime
restrictif (ZRR), telle que définie dans le décret n°2011-1425 relatif
à la protection du potentiel scientifique et technique de la nation
(PPST). L'autorisation d'accès à une zone est délivrée par le chef
d'établissement, après avis ministériel favorable, tel que défini dans
l'arrêté du 03 juillet 2012, relatif à la PPST. Un avis ministériel
défavorable pour un poste affecté dans une ZRR aurait pour conséquence
l'annulation du recrutement.

Politique de recrutement :

Dans le cadre de sa politique diversité, tous les postes Inria sont
accessibles aux personnes en situation de handicap.

Contacts

    Équipe Inria : DIRECTION (DG)
    Recruteur :
    Cosmidis Lucas / lucas.cosmidis@inria.fr

L'essentiel pour réussir

    Étudiant(e) en TAL, IA, ou informatique avec de solides compétences en TAL, à l'aise avec l'expérimentation pratique et la formalisation scientifique
    Rigoureux(se) dans la manipulation et l'évaluation de données
    Capable d'autonomie technique tout en documentant les choix méthodologiques
    Un intérêt pour la compréhension des comportements des LLM serait un atout

A propos d'Inria

Inria est l'institut national de recherche dédié aux sciences et
technologies du numérique. Il emploie 2600 personnes. Ses 215
équipes-projets agiles, en général communes avec des partenaires
académiques, impliquent plus de 3900 scientifiques pour relever les
défis du numérique, souvent à l'interface d'autres
disciplines. L'institut fait appel à de nombreux talents dans plus
d'une quarantaine de métiers différents. 900 personnels d'appui à la
recherche et à l'innovation contribuent à faire émerger et grandir des
projets scientifiques ou entrepreneuriaux qui impactent le
monde. Inria travaille avec de nombreuses entreprises et a accompagné
la création de plus de 200 start-up. L'institut s'efforce ainsi de
répondre aux enjeux de la transformation numérique de la science, de
la société et de l'économie.

Postuler en ligne :
jobs.inria.fr/public/classic/fr/offres/2025-09444