Intitulé du stage : « Evaluation des systèmes de dialogue à chaque tour
de parole à partir de la satisfaction utilisateur»

Entité : Orange Labs (Lannion). Equipe NADIA (Natural Language Dialogue)
Contact : Lina Rojas (linamaria.rojasbarahona@orange.com)

Synthèse de la mission :

L'objectif du stage est d'étudier la corrélation entre les métriques
objectives (par exemple : le nombre de tours, les raccrochages, les
répétitions, les mots utilisés, etc.) et la satisfaction globale de
l'utilisateur donnée à la fin du dialogue en utilisant un modèle de
régression profond.

Pour cela, nous utiliserons le corpus DATCHA et ses annotations. Le
corpus DATCHA est une collection de conversations entre les opérateurs
et les clients du service d'assistance du chat Orange. Le corpus
comprend des annotations de la satisfaction de l'utilisateur sur les
thèmes suivants : accompagnement, écoute, conseil, solution et
recommander. [1,2]. Ces annotations sont issues des enquêtes de
satisfaction remplies par les clients à la fin de chaque conversation.

Le calcul de la récompense est un point clé de l'apprentissage par
renforcement en dialogue. La récompense est utilisée par l'utilisateur
(un humain) pour évaluer le système (la machine). La récompense peut
être vue comment une combinaison des métriques objectives et des
métriques subjectifs (la satisfaction de l'utilisateur) [3,4].

Dans ce stage, vous devrez dans un premier temps trouver les métriques
objectives qui peuvent affecter la satisfaction utilisateur. Pour cela,
vous utiliserez des métriques objectives déterminées à chaque tour de
parole en fonction du contexte (les tours de parole précédentes). Vous
pouvez également analyser les caractéristiques appris par les modèles
disponibles [2] et vous devrez implémenter un modèle de régression
profond similaire aux modèles proposés dans les travaux [3 et 4].


[1] Damnati, G., Guerraz, A. & Charlet, D. Web chat conversations from
    contact centers: a descriptive study. In LREC (2016).
[2] Auguste, J., Charlet, D., Damnati, G., Favre, B. & Béchet,
    F. Évaluation automatique de la satisfaction client à partir de
    conversations de type" chat" par réseaux de neurones récurrents avec
    mécanisme d'attention. Auto-encoding variational bayes. arXiv
    preprint arXiv:1312.6114 (2013).
[3] M.  Walker,  D.  J.  Litman,  C.  A.  Kamm,  and  A.  Abella,
    "PARADISE: a framework for evaluating spoken dialogue agents," in
    Proc. of the 8th EACL.Morristown, NJ, USA: ACL, 1997, pp.271-280.
[4] A. Schmitt, B. Schatz, and W. Minker, "Modeling and predicting
    quality  in  spoken  human-computer interaction,"  in Proc.  of  the
    12th SIGDial Conference. Portland, Oregon, USA: ACL, Jun. 2011,
    pp. 173-184.

Détail de la mission :

L'objectif de votre travail de recherche sera de :
- Analyser le corpus DATCHA et ses annotations.
- Trouver les caractéristiques importantes pour la satisfaction de
  l'utilisateur. (voir les caractéristiques extraites par les modèles
  présents dans [2]).
- Implémenter une régression avec deep learning pour calculer l'impact
  de métriques objectives (les caractéristiques identifiées dans l'étape
  précédente) sur la satisfaction de l'utilisateur.

Vous réaliserez vos travaux au sein d'une équipe pluridisciplinaire
menant à la fois des activités de recherche et de développement
logiciel.

Profil / Compétences :
Dans le cadre de votre formation bac+5 (école ingénieur ou master 2
informatique ou statistiques), vous êtes à la recherche d'un stage de 6
mois.
- Vous avez des connaissances en statistiques et informatique.
- Des connaissances en Python sont impératives.
- Des connaissances en apprentissage statistique sont requises.