Proposition de stage de M2 Laboratoire Lattice & LTCI Telecom-ParisTech Titre : Modélisation d'actes communicatifs multimodaux pour un agent conversationnel animé dans les dialogues humain-machine Descriptif : Les Agents Conversationnels Animés (ACA) sont des personnages virtuels permettant à la machine de dialoguer avec les humains de manière naturelle. Ils peuvent prendre le rôle d'assistant comme les agents conversationnels présents sur les sites de vente, de tuteur dans le cadre des Jeux Sérieux (Serious Games). Comment obtenir chez un ACA une expression naturelle des actes communicatifs? Avec quelles postures, quelles expressions faciales, quels gestes, quelle intonation, doit-on faire accompagner le discours d'un ACA dans un dialogue humain-machine ? Une attention particulière sera donnée à l'agencement des niveaux acoustique (intonation) et visuel (geste, regard, etc.) avec les aspects linguistiques de l'énoncé (syntaxe, sémantique). On interrogera notamment les analyses classiques qui tendent à simplifier, par exemple en considérant qu'à une question est associé un contour prosodique montant, alors qu'un contour plat est souvent bien plus naturel. On interrogera également les matérialisations d'un ordre en fonction du contexte socio-émotionnel : si en théorie l'ordre fait partie des trois actes de langage classiques (par exemple au sens de la Théorie de la Pertinence, Sperber & Wilson 1995), en pratique l'ordre direct est ressenti comme agressif et on lui préfère un acte de langage indirect, comme une question à valeur (cachée) d'ordre. La notion d'acte de langage sera étendue à celle d'acte communicatif afin d'intégrer les modalités non-verbales (Poggi et Pelachaud, 2000) et le sujet portera sur la modélisation des actes communicatifs multimodaux, et sur les conséquences des choix qu'un système de dialogue humain-machine peut effectuer. Les modèles construits s'intégreront dans la plateforme Greta (Niewiadomski et al., 2011), qui permet de communiquer avec l'humain en générant chez l'agent une large palette de comportements expressifs verbaux et non verbaux (Bevacqua et al., 2012). Plusieurs cas d'application pourront être envisagés : dialogues d'entraînement de jeunes en insertion sociale aux entretiens d'embauche (projet Tardis), dialogues entre un ACA et les visiteurs d'un musée (projet A1:1) Pour ce faire, le travail comportera les étapes suivantes : - Etude de dialogues Humain-Humain (TCOF, CID...), des dialogues Humain-Machine (SCNF, CIO) et de dialogues humain-ACA multimodaux (Corpus Semaine (Schröder et al., 2011)), en comparant les actes communicatifs et actes de langage présents dans ces corpus et leur réalisation verbale et non verbale. - Construction d'un modèle spécifiant des paramètres de synthèse multimodale retenus pour un ACA. - Vérification du modèle en situations de communication (soit simulées soit via un paramétrage adéquat des ACA de la plateforme GRETA (Niewiadomski et al., 2011)). Compétences requises : - Connaissances en interaction homme-machine, - Intérêt pour les aspects linguistiques et pragmatiques de la communication, - Compétences en programmation (Java), - Bon niveau en anglais. Conditions du stage : - Niveau requis : M2 ou diplôme d'ingénieur en informatique. - Rémunération : 1/3 du SMIC. - Durée : 6 mois en commençant début 2014. - Lieu : première partie du stage au laboratoire Lattice (1 rue Maurice Arnoux, Montrouge - métro Porte d'Orléans ou trawmay Jean Moulin), et deuxième partie à Telecom Paris-Tech (37 rue Dareau, Paris 14e - métro Saint-Jacques ou Denfert). Contacts : Frédéric Landragin, chercheur CNRS, laboratoire Lattice. Tel: +33 (0)1 58 07 66 21 E-Mail: frederic.landragin [at] ens.fr Chloé Clavel, maître de conférences, GRETA team, Télécom ParisTech. Tel:+33 (0)1 45 81 75 93 E-Mail: chloe.clavel [at] telecom-paristech.fr Références : E. Bevacqua, E. de Sevin, S.J. Hyniewska, C. Pelachaud (2012), A listener model : Introducing personality traits, Journal on Multimodal User Interfaces, special issue Interacting ECAs, Elisabeth André, Marc Cavazza and Catherine Pelachaud (Guest Editors), 6:27-38, 2012 C. Kerbrat-Orecchioni (2001) Les actes de langage dans le discours. Théorie et fonctionnement, Paris : Nathan Université. F. Landragin (2013) Dialogue homme-machine. Conception et enjeux, Paris : Hermès-Lavoisier. G. McKeown, M. Valstar, R. Cowie, R., M. Pantic, M. Schroder (2012) The SEMAINE Database: Annotated Multimodal Records of Emotionally Colored Conversations between a Person and a Limited Agent, IEEE Transactions on Affective Computing, Volume : 3 , Issue : 1, Page(s) : 5- 17, Jan.-March 2012 R. Niewiadomski, S. Hyniewska, C. Pelachaud (2011), Constraint-Based Model for Synthesis of Multimodal Sequential Expressions of Emotions, IEEE Transactions of Affective Computing, vol. 2, no. 3, 134-146, Juillet 2011 Poggi , C . Pelachaud , Performative facial Expressions in Animated Faces , In J . Cassell , J . Sullivan , S . Prevost , E . Churchill ( Eds .), Embodied Conversational Agents , Cambridge ( Mass .): MIT Press , 2000 Riviere, J., Adam, C., Pesty, S., Pelachaud, C., Guiraud, N., Longin, D., & Lorini, E. (2011). Expressive Multimodal Conversational Acts for SAIBA Agents, 316-323.