Ce projet consiste à créer et à développer JOKER, une interface utilisateur générique intelligente fournissant un système de dialogue multimodal avec des compétences en communication sociale, notamment l’humour, l’empathie, la compassion, le charme et d’autres comportements informels à orientation sociale.

Lors des interactions sociales, la parole implique naturellement l’échange de contenus propositionnels mais aussi et peut-être surtout l’expression de relations personnelles, ainsi que des manifestations d’émotion, d’affect, d’intérêt, etc. Ce projet facilitera les dialogues avancés employant des comportements sociaux complexes afin de fournir à une machine compagnon (robot ou ECA) les compétences pour créer et maintenir une relation sociale à long terme par l’interaction verbale et non verbale du langage. Une telle interaction sociale nécessite que le robot ait la capacité de représenter et de comprendre certains comportements sociaux humains complexes. Il n’est pas simple de concevoir un robot avec de telles capacités. Les interactions sociales exigent une intelligence sociale et une ” compréhension ” (pour planifier et faire face à de nouvelles circonstances) et utilisent la théorie de l’esprit pour déduire les états cognitifs d’une autre personne.

JOKER mettra l’accent sur la fusion des canaux verbaux et non verbaux pour la perception du comportement émotionnel et social, l’interaction et les capacités de génération. Notre paradigme invoque deux types de décision : intuitive (principalement basée sur des indices multimodaux non verbaux) et cognitive (basée sur la fusion d’informations sémantiques et contextuelles avec des indices multimodaux non verbaux). Le type intuitif sera utilisé dynamiquement dans l’interaction au niveau non-verbal (comportement empathique : synchronie des mimiques comme le sourire, les hochements de tête) mais aussi au niveau verbal pour les petits discours réflexes (comportement de politesse : synchronie verbale avec le bonjour, comment allez-vous, merci, etc). Les décisions cognitives seront utilisées pour raisonner sur la stratégie du dialogue et pour décider des comportements sociaux plus complexes (humour, compassion, mensonges pieux, etc.) en tenant compte du profil de l’utilisateur et des informations contextuelles.

JOKER réagira en temps réel avec un module de perception robuste (détection des expressions faciales de l’utilisateur, de son regard, de sa voix, de son style et de son contenu audio et vocal), un module d’interaction sociale modélisant l’utilisateur et le contexte, avec des souvenirs à long terme, et un module de génération et de synthèse pour maintenir l’engagement social avec l’utilisateur.

La recherche fournira une interface utilisateur générique intelligente, utilisable avec diverses plateformes telles que des robots ou des ACE, une collection de données multimodales avec différents scénarios de comportement social en deux langues (français et anglais) et un protocole d’évaluation pour de tels systèmes. En utilisant la base de données recueillies dans un contexte homme-machine, les aspects culturels des émotions et de l’interaction sociale naturelle, y compris le chat, les blagues et d’autres comportements informels à orientation sociale, seront intégrés.