Le projet M2CR vise à développer une approche révolutionnaire pour combiner plusieurs modalités de la communication humaine et leurs tâches respectives dans une architecture unifiée, basée sur des réseaux neuronaux profonds, en incluant à la fois une composante discriminante et une composante générative grâce à plusieurs niveaux de représentation. Notre système s’appuiera conjointement sur les ressources dans plusieurs modalités, y compris, mais sans s’y limiter, le texte de plusieurs langues (européennes, chinoises et arabes), la parole et les images. Ce faisant, le système connaîtra une représentation sémantique commune de l’information sous-jacente, à la fois à un niveau spécifique de la modalité et à un niveau supérieur indépendant de celle-ci. Pousser ces idées à grande échelle, comme en entraînant les modèles sur de très grands corps, le projet M2CR a l’ambition de faire progresser l’état de l’art dans la compréhension du langage humain (HLU). M2CR abordera toutes les tâches majeures dans HLU par une architecture unifiée : compréhension et traduction de la parole, description multilingue d’image, etc.