Un stage de fin d'étude est proposé à Orange Innovation, Lannion sur le
sujet de l'évaluation automatique.

Les grands modèles de langage (Large Language Models ; LLMs) peuvent
poser des problèmes de fiabilité dans la factualité des informations
générées.
L'évaluation humaine est souvent encore le seul moyen de juger de la
fiabilité des informations générées, et sa mise en oeuvre est coûteuse.
L'automatisation de l'évaluation est donc un enjeu important dans le
domaine de la génération de textes.

Les objectifs du stage seront :
-   Étudier des approches d'évaluation automatique pour vérifier la
    fiabilité des contenus générés ;
-   Mettre en oeuvre des solutions de vérification de la factualité et
    de la cohérence des contenus générés en les confrontant aux
    sources :
    -   Document source dans le cas du résumé
    -   Documents support dans le cas d'une recherche d'information ou
        d'une question de synthèse (documents remontés par un
        retriever, verbatims sélectionnés lors d'une interaction avec
        une base de retours clients)

Une méthodologie d'évaluation, avec une chaîne d'outils associée est
attendue comme résultat de ce stage.

Profil :
-   Stage de fin d'études de master ou d'école d'ingénieur (Bac+5)
-   Appétence pour une démarche orientée recherche
-   Compétences en NLP et si possible en génération de texte
-   Compétences en machine learning et si possible en lien avec les LLMs
-   Forte appétence pour la problématique de l'évaluation

Contact :
Anastasia Shimorina : anastasia.shimorina@orange.com
Géraldine Damnati : geraldine.damnati@orange.com

Vous pouvez nous contacter directement et/ou postuler en ligne
orange.jobs/jobs/v3/offers/130091