Sujet de stage M2 en informatique

Détection et typologie de biais dans les LLMs à partir de
graphes de connaissances

Encadrement Pour plus d'informations, merci de contacter:
- Arnaud Soulet : arnaud.soulet [at] univ-tours.fr
- Valentin Nyzam : valentin.nyzam [at] univ-tours.fr
- Marc Plantevit: marc.plantevit [at] epita.fr
- Lamine Diop : lamine.diop [at] epita.fr

Contexte

Les grands modèles de langage (LLMs) peuvent refléter ou amplifier des
biais présents dans leurs données d'entraînement [3, 1]. Les graphes
de connaissances (KGs) [2] fournissent des faits structurés et une
source de vérité utile pour auditer les réponses factuelles des
LLMs. Ce stage vise à concevoir et implémenter une méthode automatique
pour convertir des faits de KG en requêtes factuelles, interroger un
LLM, et détecter / classer différents types de biais dans les
réponses.

Objectifs

- Définir une typologie pratique de biais détectables par requêtes
factuelles (par exemple, biais factuel, omission, stéréotype de
représentation, biais culturel).

- Concevoir une stratégie de sélection d'arêtes/faits dans un KG (par
exemple, Wikidata) pour maximiser l'information utile tout en limitant
le nombre de requêtes.

- Implémenter un pipeline automatique : extraction de faits ->
génération de prompts -> requêtes LLM -> évaluation et classement des
écarts.

- Évaluer la méthode sur un LLM (ou plusieurs APIs publiques) et
produire un rapport repro- ducible (code + dataset de tests).

Plan de travail

1. Etude bibliographique (biais LLM, KG-to-prompt), prise en main de
Wikidata/SPARQL et d'une API LLM.

2. Conception des templates de prompts et des métriques d'écart
(similitude sémantique, exactitude factuelle, score de biais).

3. Algorithme de sélection d'exemples/faits (heuristiques basées sur
degré, rareté, centralité, ou apprentissage actif léger).

4. Implémentation du pipeline et premières expériences; itération sur
les prompts et métriques.

5. Evaluation extensive, analyse qualitative des cas de biais,
rédaction du rapport et préparation d'une démonstration.

Durée et lieu
- Durée : 5-6 mois (stage M2).
- Lieu : LIFAT (Université de Tours), Blois.

Compétences requises

- Bonnes bases en Python, bibliothèques NLP (par exemple,
  Transformers/Hugging Face).

- Connaissances élémentaires en graphes de connaissances (SPARQL,
Wikidata) ou motivation pour l'apprendre.

- Esprit analytique, intérêt pour l'éthique/fairness en IA.

- (Apprécié) expérience avec APIs LLM et évaluation automatique
(BLEU/ROUGE, embeddings, etc.).

Candidature et contacts Envoyer CV, relevé de notes et une courte
lettre de motivation à :

arnaud.soulet[at]univ-tours.fr, valentin.nyzam [at] univ-tours.fr,
marc.plantevit[at]epita.fr, et lamine.diop[at]epita.fr.

References [1] Zhibo Chu, Zichong Wang, and Wenbin Zhang. Fairness in
large language models: A taxonomic survey. ACM SIGKDD explorations
newsletter, 26(1):34-48, 2024.

[2] Aidan Hogan, Eva Blomqvist, Michael Cochez, Claudia d'Amato,
Gerard De Melo, Claudio Gutierrez, Sabrina Kirrane, José Emilio Labra
Gayo, Roberto Navigli, Sebastian Neumaier, et al.  Knowledge
graphs. ACM Computing Surveys (Csur), 54(4):1-37, 2021.

[3] Yang Liu, Yuanshun Yao, Jean-Francois Ton, Xiaoying Zhang,
Ruocheng Guo Hao Cheng, Yegor Klochkov, Muhammad Faaiz Taufiq, and
Hang Li. Trustworthy llms: A survey and guideline for evaluating large
language models' alignment. arXiv preprint arXiv:2308.05374, 2023.