Présentation du projet

L'objectif de ce projet est de concevoir un robot-peluche autonome "réactif", susceptible d'apporter un peu de réconfort à des enfants fragilisés (par exemple, des enfants en hospitalisation longue). Des expériences antérieures ont déjà montré l'apport de robot compagnons dans ce type de situation. Par rapport à ces travaux, une des spécificités de notre robot-peluche est de pouvoir réagir au comportement de l'enfant en simulant des émotions  par les mouvements du corps, les traits du visage et par l'émission de petits sons simples.

Ce projet, centé autour de la détection et la simulation des émotions, se situe à l'interface de la robotique, de la communication homme-machine et de la vision. Il pose en particulier plusieurs problèmes scientifiques intéressants :

• "comprendre" le langage d'un enfant qui parle à sa peluche (en l'occurence, le robot) et détecter son état émotionnel,
• doter le robot d'une capacité de réactions émotionnelles pertinentes, et faire exprimer de manière intelligible ces émotions par le robot,
• évaluer l'apport de cette interaction : comment mesure le (réconfort d'un enfant, etc...)

Partenaires

• Laboratoire VALORIA (équipe RIMH), UFR SSI, Université de Bretagne Sud
• Laboratoire ADICORE, UFR LSHS, Université de Bretagne Sud
• Laboratoire LI (équipe BDTLN), UFR S&T,Université François Rabelais

Financement

Ce projet bénéficie d'un soutien de l'Agence Nationale de la Recherche dans la cadre du programme PSIROB (Programme Systèmes Interactifs et Robotique) : projet PSIROB06-174281

Synoptique général du projet

Chapitres d'ouvrages et Revues

• S. Saint-Aimé, B. Le-Pévédic, D. Duhaut. iGrace – emotional computational model for EmI companion robot. Advances in Human-Robot Interaction. InTech Education and Publishing. 2009

Conférences et colloques internationaux

• S. Saint-Aimé, B. Le-Pévédic, D. Duhaut. Experimentation to evaluate EmotiRob interaction model. In IEEE ROBIO 2009, International Conference on Robotics and Biomimetics. Guangxi, China, December 2009.
• Ismaïl El Maarouf, Farida Saïd, Jeanne Villaneau, Dominique Duhaut. Comparing Child and Adult Language: Exploring Semantic Constraints. In ICMI'09 post-conference workshop, The 2nd Workshop on Child, Computer and Interaction. Cambridge, MA, USA, Novembre 2009.
• S. Saint-Aimé, B. Le-Pévédic, S. Letellier-Zarshenas, D. Duhaut. EmI – my emotional cuddly companion. In IEEE RO-MAN 2009, 18th International Symposium on Robot and Human Interactive Communication. Toyama, Japan, September 2009.
• I. El Maarouf, M. Le Tallec, J. Villaneau. Ontologies naturelles et coercion : formalisation de connaissances à partir d'observations en corpus. In Actes 6e Journés;es de Linguistique de Corpus - JLC 2009. Lorient, France, Septembre 2009.
• Ismaïl El Maarouf. Natural Ontologies at Work: investigating fairy tables. In Proceedings of Corpus Linguistics conference - CL 2009. Liverpool, UK, Juillet 2009.
• M. Le Tallec, J. Villaneau, J.-Y. Antoine, A. Savary, A. Syssau. Détection des émotions à partir du contenu linguistique d'énoncés oraux : application à un robot compagnon pour enfants fragilisés. In Actes Traitement Automatique des Langues Naturelles - TALN 2009. Senlis, France, Juin 2009.
• T.-H.-H. Dang, S. Letellier-Zarshenas, D. Duhaut. Comparison of recent architectures of emotions. In 10th International Conference on Control, Automation, Robotics and Vision – ICARCV 2008. Hanoi, Vietnam, December 2008.
• A. Achour, J. Villaneau, D. Duhaut, F. Said. Cognitive and Emotional Linguistic Interaction. In Child, Computer and Interaction - ICMI'08 post-conference workshop. Chania, Crete, Greece, Octobre 2008.
• A. Achour, J. Villaneau, D. Duhaut. Cognitive and Emotional Interaction. In Text, Speech and Dialogue - TSD 2008. Brno, Czech Republic, Septembre 2008.
• T.-H.-H. Dang, S. Letellier-Zarshenas, D. Duhaut. GRACE – GENERIC ROBOTIC ARCHITECTURE TO CREATE EMOTIONS. In 11th International Conference on Climbing and Walking Robots and the Support Technologies for Mobile Machines – CLAWAR 2008. Coimbra, Portugal, Septembre 2008
• A. Achour, M. Le Tallec, S. Saint-Aimé, B. Le Pévédic, J. Villaneau, J.-Y. Antoine, D. Duhaut. EmotiRob: from understanding to cognitive interaction. In 2008 IEEE International Conference on Mechatronics and Automation – ICMA 2008. Takamatsu, Kagawa, Japan, August 2008.
• S. Saint-Aimé, B. Le-Pévédic, D. Duhaut. EmotiRob: an emotional interaction model. In IEEE RO-MAN 2008, 17th International Symposium on Robot and Human Interactive Communication. Munich, Allemagne, Aout 2008.
• S. Saint-Aimé, B. Le-Pévédic, D. Duhaut. Building emotions with 6 degrees of freedom. In 2007 IEEE International Conference on System, Man, and Cybernetics, SMC 2007. Montréal, Canada, Octobre 2007.
• S. Saint-Aimé, B. Le-Pévédic, D. Duhaut, T. Shibata. Emotirob : Companion Robot Project. In IEEE RO-MAN 2007, 16th International Symposium on Robot and Human Interactive Communication. Jeju Island, Corée du Sud, Août 2007.

Conférences et colloques nationaux

• S. Saint-Aimé, B. Le-Pévédic, D. Duhaut. Evaluation du modèle computationnel d’émotions iGrace. In 21ème Conférence Francophone sur l'Interaction Homme-Machine, IHM 2009. Grenoble, France, Octobre 2009. (Article court)
• A. Achour, J. Villaneau, D. Duhaut. Interaction cognitive et émotionnelle. Dans Actes de la 6ème Manifestation des Jeunes Chercheurs francophones en Sciences et Technologies de l'Information et de la Communication - MajecSTIC 2008. Marseille, France, Octobre 2008.
• S. Saint-Aimé, B. Le-Pévédic, D. Duhaut. EmotiRob: un modèle d’interaction émotionnelle. In HANDICAP 2008 – « 10 ans de recherche sur les aides techniques. Pour une meilleure compensation du handicap ». Paris, France, Juin 2008.
• S. Saint-Aimé, B. Le-Pévédic, D. Duhaut. Générer des émotions avec 6 degrés de liberté. In 1ère Conférence Internationale sur l'accessibilité et les systèmes de suppléance aux personnes en situation de handicap, ASSISTH 2007. Toulouse, France, Novembre 2007.

La vision dans le robot
Responsable scientifique : Dominique Duhaut
Doctorant : Sébastien Saint-Aimé

Le module de vision sera réalisé grâce à une caméra embarquée dans la tête, au niveau du nez du robot. Cette caméra lui permettra dans un premier temps de suivre l'enfant "des yeux", et d'exprimé une notion "d'attention" du robot envers l'enfant, mais aussi de prévenir d'éventuels incidents en cours d'interaction. En effet, le robot aura toujours la possiblité de "rompre" le contact en cas de violence, d'incompréhension, ou tout autre problème qui pourrait mettre sa "personne" ou celle de l'enfant en danger.
D'un point de vue informatique nous utilisons un tracking video classique et une caméra CMUCAM3.

Reconnaissance et prosodie

Responsables scientifiques : Jeanne (VALORIA) et Jean-Yves Antoine (LI)

Le robot-compagnon devra être capable de comprendre les paroles de l'enfant. Compte tenu des contraintes acoustiques induites par la manipulation de la peluche, il n'est pas envisageable de placer le micro sur le robot. Les productions orales de l'enfant seront donc captées par un micro HF. Le signal de parole recueilli sera traité dans deux objectifs parallèle :

• Reconnaissance de la parole : il faut être capable de reconnaitre la suite de mots prononcés par l'enfant pour ensuite comprendre ce qu'il a dit à sa peluche. Notre ambition n'est pas ici de développer une recherche spécifique en reconnaissance de la parole, mais d'adapter des solutions logicielles déjà bien éprouvées.
• Analyse prosodique : la voix de l'utilisateur est influencée par son état émotionnel, de même que tout locuteur sait moduler la mélodie de sa voix pour signifier les émotions qu'il veut véhiculer. L'analyse prosodique du signal de parole devra donc permettre de détecter des patterns émotionnels caractéristiques.

Avancement des travaux : Marc Le Tallec, stagiaire de M2R, travaille actuellement à la mise en oeuvre d'une chaîne de reconnaissance déportée sur un ordinateur. Nous utilisons pour le moment à la fois le toolkit SPHINX et le SDK DRAGON. Seule la chaîne de traitement à été mise en oeuvre, nous allons maintenant procéder à des études sur des voix d'enfants.

English summary : This workpackage corresponds:

• To the automatic speech recoginition component of the robot
• To the prosodic analysis of the speech signal.

Although our aim is not to develop an state-of-the-art research in speech recognition, we will try to develop a satisfactory ASR component for child voices with well known softwares (SPHINX toolkit or DRAGON SDK). Prosodic analysis is supposed to help the characterization of the emotional state of the child. 

Comprendre l'enfant : sémantique et état émotionnel

Responsables scientifiques : Jeanne Villaneau (VALORIA) et Jean-Yves Antoine (LI)

Cette étape de traitement vise à détecter le sens des messages oraux produits par l'enfant (compréhension de la parole) mais également à détecter les buts communicationnels (actes de dialogue par exemple) qui leur sons associés. Ici, la question n'est pas tant d'extraire le sens propositionnel des messages (la peluche n'est pas un robot communiquant) mais d'extraire des noyaux de sens et des buts communicationnels qui peuvent participer à la détection des états émotionnels de l'enfant.

Le module de compréhension qui sera réalisé reposera sur notre expérience passée dans le domaine avec le système LOGUS de compréhenson de parole en situation de dialogue homme-machine finalisé. La figure ci-dessous décrit l'architecture globale du système de compréhension.

Avancement des travaux : Marc Le Tallec, stagiaire de M2R, travaille actuellement à l'adaptation du système LOGUS à cette nouvelle problématique. A l'heure actuelle, le système a été doté d'un nouveau lexique qui correspond au vocabulaire maitrisé par un enfant de second cycle primaire. Ces travaux s'appuient sur les corpus Novlex et Manulex ainsi que sur les recherches de Dominique Bassano (U. Paris VIII, UMR7023). Un module d'analyse morphologique a également été réalisé pour pouvoir gérer une lemmatisation en langue générale (et non plus finalisée sur un domaine applicatif particulier).

English summary : This workpackage corresponds to the speech understanding component of the interactive robot. Our aim is a) to extract the propositional meaning of the spoken utterances of the child and b) to detect the communicative goals (dialogue acts) of the child. Both information should be useful to characterize the emotional state of the child.

Interaction Cognitive
Responsable scientifique : Jeanne Villaneau
Doctorante : Amel Achour

Les travaux présentés ici s’inscrivent dans le cadre du projet MAPH (Média Actif Pour le Handicap) qui est un projet annexe au projet EmotiRob. Ils se placent dans une perspective d’élargissement des capacités de réaction du robot-peluche afin qu’il puisse entretenir une "conversation" en langage naturel avec l’enfant. Le but de ces travaux est en effet de construire un module d’interaction langagière et cognitive entre l’enfant et le robot par la génération de nouvelles phrases en partant des phrases dites par l’enfant.
Nous avons commencé un corpus de mots d’enfants établi à l’aide de l’outil DLPF réalisé par D. Bassano, F. Labrell, C. Champaud, F. Lemétayer et P. Bonnet. Cet outil est un instrument destiné à évaluer le développement du langage de production chez les enfants français. Le corpus établi compte un peu moins de 1500 mots entre noms, verbes, adjectifs, adverbes, onomatopées et expressions routinières, articles et pronoms... parmi lesquels on trouve tout ce qui correspond au vocabulaire ordinaire d’un enfant de 4 ans. Le problème qui se pose est alors d’essayer de modéliser le monde conceptuel d’un très jeune enfant. En étudiant les relations sémantiques qui peuvent exister entre les différents mots du corpus, nous avons établi une classification des mots ou plutôt une taxonomie suivant des propriétés objectives mais également affectives et émotionnelles.
Dans le souci de donner une robustesse à notre système, nous prévoyons la possibilité d’enrichissement du corpus et l’ajout de nouvelles connaissances. En ce sens, le système doit être capable de lier sémantiquement les nouveaux mots ajoutés à ceux déjà existants dans sa base de connaissance et de dresser leurs listes de propriétés

English summary:

The MAPH project is an extension of the French therapeutic and robotics Emotirob project. Since Emotirob aims at conceiving and realizing a “reactive” companion robot, which can emotionnally interact with young weakened children, MAPH aims at implementing linguistic interaction between the soft toy robot and the child. The first step of this work aims at modelling the pragmatic and emotional world of a young child. From a set of 1500 words and the aid of questionnaires in a school, a taxonomy and a set of proper ties have been built which have made it possible to define a distance between two words and concepts of a higher level.
Currently, our system is able to generate very simple sentences in the context of elementary linguistic games. As a perspective, we envisage making the robot able to enrich its vocabulary, and able to define a set of linguistic reaction patterns in accordance to a child’s emotional state.

Avancement des travaux

1. Création de la taxonomie
2. Validation de la taxonomie auprès des enfants
3. Calcule des coefficients de rapprochement
4. Génération de phrase et entretien du discours enfant-robot
5. Jeux enfant-robot
6. Classification
7. Collecte de données
   1. Outils utilisés

1. Création de la taxonomie

Afin de pouvoir calculer les coefficients de rapprochement sémantique entre paires de mots, nous avons commencé par découper l’ensemble des mots du corpus en différentes classes selon leurs sens. Au premier niveau nous trouvons les verbes, les adjectifs et les noms communs. Chacune de ces trois classes a été par la suite divisée en plusieurs catégories, qui ont donné lieu elles aussi à des nombreuses sous catégories avec un sens de mots de plus en plus spécifique, et ainsi de suite. Le détail de la taxonomie est visible ici.

2. Validation de la taxonomie auprès des enfants

Afin de valider la taxonomie de mots que nous avons créée, nous avons pensé à faire un questionnaire et de le faire remplir par des enfants dont l’âge est entre 5 et 7 ans. Selon Piaget (Piaget, 1947) les enfants de plus bas âge ont tendance à affabuler et à dire n’importe quoi quand ils ne connaissent pas la réponse à la question posée ou même quand ils ne sont pas sûrs de la réponse. C’est ce que Piaget appelle le phénomène du « n’importequisme ». Ce questionnaire porte essentiellement sur les êtres animés qui entourent les enfants : humains ou animaux, et avec qui ils peuvent avoir plus ou moins des liens affectifs. Le questionnaire est disponible ici
Le questionnaire a été rempli par des élèves de CP de l’école primaire Sainte Marie à Lorient en deux fois. Les résultats sont donnés ici.

3. Calcule des coefficients de rapprochement

En nous basant sur un ensemble de propriétés par lesquelles nous avons décrit les mots du corpus, y compris leurs emplacements dans la taxonomie, nous avons mesuré les liens sémantiques qui existent entre eux. Nous avons donc défini des coefficients de rapprochement entre paires de mots du corpus (nom-nom, verbe-verbe et adjectif-adjectif).
Ce rapprochement est calculé par rapport au nombre de propriétés communes que partagent les deux noms. L’ensemble des propriétés a été divisé en propriétés affectives et propriétés objectives et chacune des propriétés a été affectée d’un poids mesurant son importance dans la caractérisation d’un ensemble de mots. Le rapprochement est alors la somme du rapprochement affectif pondéré par un coefficient affectif Qa, et d’un rapprochement objectif pondéré par un coefficient objectif Qo. Selon que nous privilégions l’un ou l’autre des deux coefficients, nous obtenons des coefficients de rapprochement différents.

4. Génération de phrase et entretien du discours enfant-robot

Le modèle de génération de phrase que nous avons adopté pour le moment a comme phrases d’entrée des phrases de type canonique. à cette phase des travaux, nous nous sommes restreints aux phrases affirmatives. Nous envisageons par la suite de travailler sur les actes du dialogue et introduire les phrases interrogatives, impératives, etc.
Le module de génération tient compte de plusieurs paramètres à savoir le contexte du discours, le coefficient affectif Qa et le coefficient objectif Qo. Nous supposons que la variation du couple (Qa,Qo) décrit l’humeur du robot. L’analyse de la phrase d’entrée est faite par le module de reconnaissance/compréhension afin de voir de quel contexte du discours il s’agit (contexte réaliste ou contexte de jeu). Elle est alors simplifiée et renvoyée au module de génération de phrases qui va chercher des mots qui représentent une certaine valeur des coefficients de rapprochement sémantique avec les mots de départ. Plusieurs cas sont possibles selon le contexte de discours et l’humeur du robot. à titre d’exemple, dans un contexte réaliste associé à une "mauvaise humeur" du robot, nous allons privilégier une phrase de sortie qui soit proche de celle du départ et cohérente sémantiquement. Dans le cas contraire, le robot va divertir l’enfant en générant des phrases drôles et peu cohérentes.

5. Jeux enfant-robot

Nul ne peut nier l’intérêt ludique et psychologique des jeux pour les enfants, surtout si ces enfants sont hospitalisés et fragilisés par la maladie. Dans ce sens, nous avons jugé intéressant d’introduire un module de jeu afin de distraire l’enfant et de maximiser son confort. Actuellement, nous sommes en train de concevoir des jeux qui soient appropriés à la catégorie d’âge des enfants cibles ainsi qu’à leurs états psychiques. Ces jeux se basent sur les propriétés sémantiques que nous avons définies au préalable et nous permettent de tester la validité de notre taxonomie en regard à l’interactivité que nous voulons implémenter.
Comme exemple de jeu, nous avons pensé à un jeu de mots simple ou le deuxième adversaire devrait formuler une phrase qui commence par le dernier mot prononcé par le premier adversaire ou garder un certain nombre de mots de la phrase et en changer d’autres tout en assurant un sens cohérent.
Nous avons aussi implémenté un jeu de devinette dans lequel l’enfant commence par choisir un animal et en contre partie, le robot essaiera de le deviner en posant une série de questions. Les questions posées porteront essentiellement sur les propriétés des animaux décrites dans la taxonomie.

6. Classification

La classification est une partie importante de ces travaux, et représente un double intérêt : d’une part, elle nous permet de vérifier que la taxonomie est une représentation valide du monde de l’enfant. Et d’autre part, nous permet d’obtenir des concepts d’un plus haut niveau correspondants aux classes de mots trouvées.
Pour ceci, nous avons eu recours à deux méthodes de classification, la première est inspirée de l’algorithme Hyperlex qui est utilisé pour la discrimination automatique de mots dans une base de données textuelles. Cet algorithme donne des classes à partir d’un élément centre de la classe et ses voisins les plus proches.
La deuxième méthode est l’application des algorithmes classiques de classification tels que la classification hiérarchique ascendante avec la distance de chi-2. Les entrées sont données en tant qu’un tableau disjonctif complet. Nous avons utilisé le critère de Ward dans la classification qui minimise l’inertie intra classes et maximise l’inertie inter classes.
Cette deuxième méthode présente l’avantage de traiter directement les propriétés des mots au lieu d’utiliser les coefficients de rapprochement entre eux.

7. Collecte de données

7.1 Outils utilisés :

• imagiers animaux
• imagiers aliments

Handbook on evaluation
Responsable scientifique : Dominique Duhaut

L’objectif du projet EmotiRob est d’apporter un réconfort psychologique à un enfant fragilisé. Le réconfort psychologique est lié à la qualité du lien affectif que l’enfant peut avoir l’objet, l’animal ou la personne. Ce que propose cette première étude est de regarder comment il est possible de mesurer la qualité de ce lien affectif. Afin de pouvoir entreprendre cette mesure, il convient de définir les concepts que nous allons utiliser. En particulier la caractérisation du lien affectif est dépendante de trois notions : émotion, humeur et sentiment.

Modèle GRACE

Rapports :

• Dominique Duhaut. Evaluation handbook. Rapport sur l’étude de la future évaluation des émotions. Janvier 2008.
• Thi-Hai-Ha Dang. Rapport de stage de Master Recherche. Septembre 2008.

Introduction
Responsable scientifique : Brigitte Le Pevedic
Doctorant : Sébastien Saint-Aimé

La synthèse d'émotion est une reproduction artificielle de la manière dont les êtres humains expriment leurs émotions en contexte social. Pouvoir exprimer des émotions est une façon pour un robot de communiquer avec un humain. Sans expressions d'émotions, les utilisateurs peuvent interpréter l'interaction différemment et porter un manque d’intérêt à la communication.
Des robots (comme Kismet, Paro, Necoro, Aïbo, Asimo, etc.) capables d’interaction sociale sont alors caractérisés par leur capacité d'avoir des comportements proches de ceux des humains. Une émotion est l’expression de l’état interne d’une personne. La joie ou la peur sont des états émotionnels distincts qui peuvent être décrits selon des critères physiologiques ou psychologiques. La synthèse émotionnelle tend à imiter ces critères pour rendre crédible une émotion simulée. Cette émotion artificielle est alors employée pour renforcer la communication : verbale ou non verbale

Financement

Ce module bénéficie du soutien du conseil régional de la Martinique dans la cadre du financement de thèse de Sébastien Saint-Aimé

Modèle interne du robot

Module d'entrées

Les entrées de notre synoptique représentent l’interface de communication et d’échange de données entre le module de compréhension et d’interaction émotionnelle. Nous retrouvons la structure de données nous permettant d’obtenir les informations nécessaires au bon déroulement de notre processus de traitement pour une interaction entre l’enfant et son robot-compagnon. La structure de données est la suivante :

• Signal vidéo : la caméra placée dans le nez du robot nous permet dans un premier temps de suivre les déplacements de l’enfant afin de conserver une interaction avec lui et de capter son attention lors de l’interaction ; cette caméra permet également d’arrêter le système lors de la détection de comportements à risque ou non attendu de l’interlocuteur.
• Signal sonore : le système sonore permet de comprendre et aussi d’assurer la sécurité du robot. En cas de cri violent ou de crise de panique assimilable avec un signal trop élevé, les fonctionnalités du robot seront temporairement mises en veille. Un comportement de « repli » du robot sera automatiquement généré.
• Actions « pour l’enfant » : ils représentent la famille d'actions que l’on caractérise par des verbes (ex. manger, dormir, jouer, etc.) les plus couramment utilisés chez l'enfant. Ces actions ou verbes sont hiérarchisés ou organisés sous forme d’arbre.
• Concepts « pour l’enfant » : ce sont les grands thèmes principaux dans lequel l'enfant tirera son vocabulaire (ex. famille, amis, école, etc.). Ces termes sont hiérarchisés ou organisés sous forme d’arbre sur un ou plusieurs niveaux en fonctions du niveau de difficulté et de finesse de réaction que nous souhaitons établir lors de l’interaction.
• Acte de langage: Cela permet de savoir dans quelle forme de discours l’on se place : une question, une affirmation, etc. Il nous permet de donner au robot un comportement adapté au discours de l'enfant. En effet, Certains discours, tel que l'interrogation, mériteront un comportement plus expressif que d'autres.
• Temps : Permet au robot de situer le discours dans le temps (passé, présent, futur) et ainsi avoir une information sur le temps de la phrase afin d’avoir une meilleure interaction.
• Phase : elle représente l’état d’esprit dans lequel se trouve l’enfant au cours du discours. Actuellement quatre phases sont prises en compte : imaginaire, réelle, imitation, jeux. On peut définir ces phases comme le niveau supérieur des concepts dans lesquels l'enfant pourrait se situer.
• Etat émotionnel : informe sur l'état émotionnel de l'enfant au moment du discours. Il est représenté par un vecteur d’émotions renseignant sur l'affect (positif ou négatif) de chaque émotion primaire (joie, peur, colère, surprise, tristesse, dégoût) ; ainsi que leur degré d’implication ou de reconnaissance, servant de modérateur pouvant varier sur une échelle allant de -1 à 2 (inconnu, non détectée, un peu, beaucoup).

Ces valeurs d'entrées sont enregistrées dans une base de données pour permettre au robot de vérifier si son comportement à un effet positif ou négatif sur le comportement de l’enfant et sur son discours. L’objectif étant d’augmenter le temps d’interaction de l’enfant avec son robot-compagnon. Cette comparaison permet également l'évolution de l'histoire, du caractère et de la personnalité du robot. Cette étape est considéré comme notre adaptation, voir notre « apprentissage ».

Interaction émotionnelle

L’interaction émotionnelle est le cœur de notre système de communication. Avec les éléments traités en entrée, le robot devra être capable de réagir le plus naturellement possible au discours de l’enfant. Sachant qu’il se limite uniquement à l’expression des émotions primaires via des expressions faciales pour maintenir un discours non verbal, il nous faut nous exprimer avec tous les autres éléments du corps humain. Pour ce faire nous avons décidé d’intégrer dans notre modèle les notions « d’expériences émotives » et de comportements. On retrouve dans le modèle quatre éléments principaux de l’interaction :

• Sélecteur d’expériences émotives : ce module permet dans un premier temps de donner l’état émotionnel du robot en réponse au discours de l’enfant. On utilise pour notre modèle un vecteur émotionnel associé aux différents mots du discours. Ce vecteur informe sur l’implication des émotions primaires pour un mot. Cette association « action/concept, émotions » est dépendante du caractère et de la personnalité du robot. Cette information sur l’état émotionnel du robot est transmise au « générateur » sous la forme d’une liste d’expériences émotives pondérée. La deuxième tâche du sélecteur est justement de pouvoir modifier cette pondération afin que le robot soit en phase avec l’enfant. Le coefficient des émotions du vecteur pour un concept ou une action est changé en fonction du retour que l’on aura sur le bon déroulement ou non de l’interaction.
• Modérateur : il défini si le caractère, l’humeur, la personnalité et l’histoire du robot ont une influence sur ses croyances. Dans le cas où le robot est en contradiction avec l’état émotionnel de l’enfant, il doit déterminer s’il vaut mieux rester soi même et affirmer ses convictions où faire plaisir à son interlocuteur et exprimer les mêmes émotions que lui. Pour ce faire, une liste pondérée d’expériences émotives renseignant sur l’état émotionnel du robot est transmise au générateur. Cette liste a une influence sur le comportement qu’il devra avoir à l’instant du discours et permet d’établir ce que l’on peut appeler comme étant une phase de « connaissance de l’autre » ou « apprentissage ».
  La personnalité du robot reprise de la définition du type psychologique est basée sur le modè MBTI et permet d'avoir une liste d'expériences émotives en adéquation avec sa personnalité. Cette liste représente le caractère du robot.
• Générateur d’expériences émotives : après récupération de la liste d’expériences émotives du sélecteur et du modérateur, ainsi que leurs coefficients, le robot doit finalement faire un classement de celles-ci afin de déterminer les réponses au discours qui lui semblent les plus appropriées.
• Comportement : ce module permet de choisir l’expression du comportement que devra avoir le robot en réponse au discours de l’enfant. La difficulté de ce module réside dans la dynamique du comportement et dans le choix de ses expressions. Il faudra faire attention à ne pas perdre l’interaction avec l’enfant en répétant sans cesse la même expression pour un comportement. Le choix d’un large panel d’expressions nous permettra d’obtenir une interaction différente et inattendue pour une même phrase et un même état émotionnel.

Module de sorties

En sortie du modèle notre robot-compagnon doit être capable de s’exprimer en fonction des caractéristiques matérielles qui le composent : micro/HP, moteurs. Le comportement qui découle du module d’interaction émotionnelle sera décomposé en 3 parties principales :

• Ton « de la voix » : caractérisé par un niveau plus ou moins élevé du signal sonore et du choix du son qui sera produit par le robot. L’interaction étant non verbale dans le cadre de mes travaux, le robot-compagnon devra être capable d’émettre des sons sur le même ton que ceux du robot phoque « Paro ». Ces petits sons basés sur les travaux de Kayla Cornale avec "Sounds into Syllables", sont des notes de piano associées aux émotione primaires.
• Posture : caractérisé par la vitesse et le type de mouvement que devra réaliser les différents membres du corps qui composent notre robot, en relation avec le comportement généré.
• Etat facial : représente les expressions faciales qui doivent être affichée sur le visage du robot. Au début de notre traitement d’interaction, nous travaillons essentiellement avec des « expériences émotives ». Celles-ci devront par la suite être traduites en émotions primaires, puis en expressions faciales. Nous savons que les expériences émotives sont composées de plusieurs émotions primaires.

Modèle UML

Interface de simulation

Vidéo du simulateur

Architecture et modeles

L. Bisognin and S. Pesty. Emotions et Systèmes Multi-Agents : Une Architecture d'Agent Emotionnel. 2004. in Journées Francophones sur les systèmes Multi-Agents. Hermes, Paris.

L. Bisognin and S. Pesty. Agents, Langage et Emotions : un prototype d'agent émotionnel. 2004. in Actes de la Journée d'étude AGENTAL : Agents et Langue.

Developpement

Yuan Zong and Dohi, H. and Ishizuka, M. Multimodal Presentation Markup Language MPML with emotion expression functions attached. 2000. Multimedia Software Engineering, 2000. Proceedings. International Symposium on, pages 359-365.

Emotion

Ekman, P. and Friesen, W.V. The Facial Action Coding System: A Technique for the Measurement of Facial Movement. 1978. in Consulting Psychologists.

Sheina Orbell, Martin Hagger, Val Brown, John Tidy. Appraisal theory and emotional sequelae of first visit to colposcopy following an abnormal cervical screening result. 1 November 2004.

Allison Bruce and Illah Nourbakhsh and Reid Simmons. The Role of Expressiveness and Attention in Human-Robot Interaction. 2001. in Proceedings, 2001 AAAI Fall Symposium.

Smith, C. A. . Dimensions of appraisal and physiological response in emotion.. 1989. J Pers Soc Psychol, 56(3):339--353.

Yuan Zong and Hiroshi Dohi and Helmut Prendinger and Mitsuru Ishizuka. Emotion Expression Functions in Multimodal Presentation. 2000. in ICMI '00: Proceedings of the Third International Conference on Advances in Multimodal Interfaces, pages 57--64. Springer-Verlag, London, UK.

Scherer, K. R. and Sangsue, J. Le système mental en tant que composant de l'émotion. [The cognitive system as a component of emotion]. 2004.

G. Loosli and Sang-Goog Lee and V. Guigue and A. Rakotomamonjy and S. Canu . Perception d'états affectifs et apprentissage . 2006. RIA – Revue d'intelligence artificielle, Edition spéciale Interactions Emotionnelles .

The Duy Bui and Dirk Heylen and Mannes Poel and Anton Nijholt. Generation of Facial Expressions from Emotion Using a Fuzzy Rule Based System. 2001. in Australian Joint Conference on Artificial Intelligence, pages 83-94.

Langage

Peter H"usken and J"urgen Ziegler. Degree-of-Interest Visualization for Ontology Exploration. 2007. in INTERACT (1), pages 116-119.

Jean-Claude Martin and St'ephanie Buisine and Guillaume Pitel and Niels Ole Bernsen. Fusion of children's speech and 2D gestures when conversing with 3D characters. 2006. Signal Process., 86(12):3596--3624.

Psychobiologie

C. Adam and F. Evrard. Donner des émotions aux agents conversationnels. 2005. in Workshop Francophone sur les Agents Conversationnels Animés, pages 135-144. Grenoble, France. [ .pdf ]

Rabotique et agents

Sau-lai Lee and Ivy Yee-man Lau and Kiesler, S. and Chi-Yue Chiu. Human Mental Models of Humanoid Robots. 18-22 April 2005. Robotics and Automation, 2005. ICRA 2005. Proceedings of the 2005 IEEE International Conference on, pages 2767-2772.

M. Ochs and D. Sadek and C. Pelachaud. La représentation des émotions d'un agent rationnel. 2005. in Workshop Francophone sur les Agents Conversationnels Animés, pages 43-52. Grenoble, France. [ .pdf ]

Sumedha Kshirsagar and Nadia Magnenat-Thalmann. Virtual humans personified. 2002. in AAMAS '02: Proceedings of the first international joint conference on Autonomous agents and multiagent systems, pages 356--357. ACM, New York, NY, USA.

L'architecture du robot
Responsable scientifique : Dominique Duhaut
Doctorant : Sébastien Saint-Aimé

Le robot possède 10 degrés de libertés : 6 pour le visage, deux pour le cou et deux pour le corps. Il sera recouvert de peluche.

Photos du robot
Responsable scientifique : Dominique Duhaut
Doctorant : Sébastien Saint-Aimé

EmI (version 1)

EmI (version 2)

EmI (version 3)

Vidéos du robot
Responsable scientifique : Dominique Duhaut
Doctorant : Sébastien Saint-Aimé

• Scénario avec l'histoire de Bouba
• Enchainement des émotions EmI (version 2)
• Enchainement statique des émotions EmI (version 3)

Project workpackages

• WP1 : speech understanding and identification of the emotional state of the speaker.
• WP2 : internalemotional model
• WP3 : robot design and implementation
• WP4 : evaluation methodology
• WP5 : tests volounters
• WP6 : tests in ecological situation with children

Délivrables

T0 = 2007 May 1

Liste des participants

• Dominique DUHAUT (responsable du projet, VALORIA)


• Amel ACHOUR (VALORIA)
• Jean-Yves ANTOINE (LI)
• Brigitte LE PEVEDIC (VALORIA)
• Marc LE TALLEC (VALORIA-LI)
• Sabine LETELLIER-ZARSHENAS (VALORIA)
• Christophe ROPERS (ADICORE)
• Sébastien SAINT-AIME (VALORIA)
• Jeanne VILLANEAU (VALORIA)
• Geoffrey WILLIAMS (ADICORE)