# Sujet de stage M2 en informatique

## Détection et typologie de biais dans les LLMs à partir de graphes de
connaissances

---

### Encadrement

Pour plus d'informations, merci de contacter :

-   **Arnaud Soulet**: arnaud.soulet [at] univ-tours.fr
-   **Valentin Nyzam**: valentin.nyzam [at] univ-tours.fr
-   **Marc Plantevit**: marc.plantevit [at] epita.fr
-   **Lamine Diop**: lamine.diop [at] epita.fr

---

### Contexte

Les grands modèles de langage (LLMs) peuvent refléter ou amplifier des
biais présents dans leurs données d'entraînement [3, 1]. Les graphes de
connaissances (KGs) [2] fournissent des faits structurés et une source
de vérité utile pour auditer les réponses factuelles des LLMs. Ce stage
vise à concevoir et implémenter une méthode automatique pour convertir
des faits de KG en requêtes factuelles, interroger un LLM, et détecter /
classer différents types de biais dans les réponses.

---

### Objectifs

-   Définir une typologie pratique de biais détectables par requêtes
    factuelles (par exemple, biais factuel, omission, stéréotype de
    représentation, biais culturel).
-   Concevoir une stratégie de sélection d'arêtes/faits dans un KG (par
    exemple, Wikidata) pour maximiser l'information utile tout en
    limitant le nombre de requêtes.
-   Implémenter un pipeline automatique : extraction de
    faits -> génération de prompts -> requêtes LLM -> évaluation et
    classement des écarts.
-   Évaluer la méthode sur un LLM (ou plusieurs APIs publiques) et
    produire un rapport reproductible (code + dataset de tests).

---

### Plan de travail

1.  Étude bibliographique (biais LLM, KG-to-prompt), prise en main de
    Wikidata/SPARQL et d'une API LLM.
2.  Conception des templates de prompts et des métriques d'écart
    (similitude sémantique, exactitude factuelle, score de biais).
3.  Algorithme de sélection d'exemples/faits (heuristiques basées sur
    degré, rareté, centralité, ou apprentissage actif léger).
4.  Implémentation du pipeline et premières expériences ; itération sur
    les prompts et métriques.
5.  Évaluation extensive, analyse qualitative des cas de biais,
    rédaction du rapport et préparation d'une démonstration.

---

### Durée & lieu

-   **Durée**: 5-6 mois (stage M2)
-   **Lieu**: LIFAT (Université de Tours)

---

### Compétences requises

-   Bonnes bases en Python, bibliothèques NLP (par exemple,
    Transformers/Hugging Face).
-   Connaissances élémentaires en graphes de connaissances (SPARQL,
    Wikidata) ou motivation pour l'apprendre.
-   Esprit analytique, intérêt pour l'éthique/fairness en IA.
-   *(Apprécié)* Expérience avec APIs LLM et évaluation automatique
    (BLEU/ROUGE, embeddings, etc.).

---

### Candidature & contacts

Envoyer CV, relevé de notes et une courte lettre de motivation à :

-   arnaud.soulet [at] univ-tours.fr
-   valentin.nyzam [at] univ-tours.fr
-   marc.plantevit [at] epita.fr
-   lamine.diop [at] epita.fr

---

### Références

[1] Zhibo Chu, Zichong Wang, and Wenbin Zhang. *Fairness in large
language models: A taxonomic survey.
* ACM SIGKDD explorations newsletter, 26(1):34-48, 2024.

[2] Aidan Hogan, Eva Blomqvist, Michael Cochez, Claudia d'Amato, Gerard
De Melo, Claudio Gutierrez, Sabrina Kirrane, José Emilio Labra Gayo,
Roberto Navigli, Sebastian Neumaier, et al. *Knowledge graphs.
* ACM Computing Surveys (Csur), 54(4): 1-37, 2021.

[3] Yang Liu, Yuanshun Yao, Jean-Francois Ton, Xiaoying Zhang, Ruocheng
Guo Hao Cheng, Yegor Klochkov, Muhammad Faaiz Taufiq, and Hang Li.
*Trustworthy LLMs: A survey and guideline for evaluating large language
models' alignment.*
arXiv preprint arXiv: 2308.05374, 2023.