Équipe LST

Un locuteur bilingue ou polyglotte possède la capacité de communiquer de manière cohérente dans plusieurs langues, s'adaptant aux différents contextes. Transposer cette compétence aux machines pourrait contribuer à la préservation du patrimoine culturel en maintenant les langues moins privilégiées, faciliter les interactions entre personnes de cultures et langues diverses, et renforcer les mesures de sécurité. ► Lire la suite

Nous proposons de créer un environnement informatique pour l'apprentissage humain (EIAH) entraînant les enfants du cycle 3 à produire des résumés oraux qualitatifs, en analysant automatiquement leur production et en fournissant un retour différencié. ► Lire la suite

Notre projet vise à intégrer la production de reconnaissance et traduction vocale dans un outil de communication en ligne, ce qui permettra de créer une véritable plateforme de communication sans barrières. Le projet se concentrera sur la production de traductions en français et anglais à partir d'une source vocale en arabe et anglais.

Les approches récentes d’apprentissage de plongements lexicaux ont mis l’accent sur les résultats, souvent au détriment de l’interprétabilité et de la complexité algorithmique. Pourtant, l’interprétabilité est un pré-requis nécessaire à la mise en œuvre de telles technologies lorsqu’elles sont au service de domaines sensibles comme le domaine juridique ou la médecine. Par ailleurs, les impératifs écologiques créent une urgence à réfléchir à des systèmes performants et économes en calculs. Nous proposons avec DIGING une nouvelle approche performante et économe en calculs pour la construction de plongements lexicaux interprétables basée sur la théorie des réseaux complexes. Avec cette approche originale, l’objectif est de construire des vecteurs intégrant la polysémie nativement en plongeant les mots dans un espace aux dimensions interprétables.

ESPERANTO est un programme de recherche collaboratif incluant 15 partenaires académiques et 4 partenaires non académiques provenant de 11 pays sur 4 continents. Centré sur le traitement automatique de la parole, ESPERANTO contribuera au développement de la prochaine génération d’IA; des IA interagissant avec leurs utilisateurs pour un apprentissage plus performant mais également des systèmes explicables : dont les décisions sont compréhensibles par les humains. Afin de rendre ces technologies accessibles au plus grand nombre, ESPERANTO traitera des applications disposant de ressources limitées dans le domaine des langues rares, de la robotique ou de l’éducation. ► Lire la suite

Lorsque l’on pense aux relations franco-allemandes, force est de constater que ce ne sont pas les mêmes termes qui les désignent de part et d’autre du Rhin. Tandis que la figure du « couple » domine la perception de la coopération franco-allemande en France, celle-ci est perçue en Allemagne par le biais du « tandem ». En étudiant les notions, métaphores et schémas de perception qui servent à penser les relations franco-allemandes, ce projet se donne pour but d’identifier les points communs et les différences dans le regard que portent les Français et les Allemands sur les relations entre leurs pays. En fin de compte, il s’agit de savoir s’il existe un imaginaire commun franco-allemand. ► Lire la suite

Le projet DIETS propose de se focaliser sur la problématique du diagnostic/évaluation des systèmes de reconnaissance automatique automatique (RAP) end-to-end en intégrant la réception humaine des erreurs de transcription d'un point-de-vue cognitif. Le défi est double: 1) analyser finement les erreurs de RAP par rapport à une réception humaine et 2) comprendre et détecter comment ces erreurs se manifestent dans un cadre de RAP end-to-end, dont le travail s’inspire du cerveau humain.

SpeechBrain est un toolkit de traitement de la parole open-source et tout-en-un qui s'appuie sur PyTorch. L'objectif est de créer un toolkit unique, flexible et convivial qui peut être utilisé pour développer facilement des technologies de traitement de la parole à l'état de l'art, y compris des systèmes de reconnaissance vocale (end-to-end et HMM-DNN), de reconnaissance du locuteur, de séparation vocale, de traitement de signal multi-microphone (par exemple, la formation de faisceaux), d'apprentissage supervisé et non supervisé, de contamination / augmentation vocale, et beaucoup plus. ► Lire la suite

Médias et société entretiennent des rapports complexes. Descriptifs, les médias sont également prescriptifs et contribuent à façonner notre représentation du monde. Le projet GEM vise à décrire les différences de représentation et de traitement existant entre les femmes et les hommes dans les médias, en se fondantsur l’analyse automatique de gros volumes de données en langue française contenus dans les collections de l’INA et de Deezer : TV, radio, presse écrite et collections musicales. ► Lire la suite

Le projet Capdiff a pour objectif la mise au point d’un système de captation audio, dit différentiel. Il doit permettre de capter précisément la voix de chaque locuteur positionné autour d’une table, typiquement dans le cadre d’une réunion. ► Lire la suite

La modélisation efficace des variabilités contenues à différents niveaux (prosodique, acoustique, lexical, ...) dans la parole reste un problème de recherche important pour la reconnaissance et la compréhension de la langue parlée. AISSPER vise à développer de nouveaux paradigmes modélisant conjointement informations acoustiques et sémantiques pour l’analyse sémantique de documents oraux. AISSPER proposera de nouveaux algorithmes neuronaux qui combineront ces informations multi-niveaux. Pour cela, AISSPER rassemble des chercheurs reconnus dans le domaine de l'intelligence artificielle et du traitement automatique du langage. ► Lire la suite

ExTENSoR proposes fundamental research that aims to explore the potential of using end-to-end and automatically learned / evolving articial neural networks in order to overcome the limitations of hand-crafted features and network topologies that characterise the current state of the art in many fields of speech processing. ExTENSoR also aims to bring new insights to what information in speech signals is being used in order to arrive at the scores or decisions produced by the network. ExTENSoR will pursue its objectives within the context of automatic speaker recognition and anti-spoofing, two fields of speech processing research showing burgeoning interest in end-to-end, evolutive learning. ► Lire la suite

MMA, premier acteur de l’assurance en IARD sur le territoire français, est très investi dans l'analyse des parcours clients. Dans une stratégie de relation client, MMA souhaite déterminer les facteurs de satisfaction, d'engagement et de recommandation. Son service marketing diffuse des enquêtes de satisfaction permettant de collecter de nombreux retours textuels des clients. Le volume recueilli est tel qu'il est impossible de traiter manuellement la totalité de ces données. Le groupe MMA a fait appel aux connaissances du LIUM afin d’analyser automatiquement les informations d’opinions. ► Lire la suite

Les ressources lexicales de la documentation technique SNCF sont le témoignage de la richesse et des spécificités du vocabulaire métier utilisé au sein d’entreprises telles que SNCF. Ce vocabulaire est parfois peu fréquent dans les corpus mais d’après les experts très important pour caractériser les documents. ► Lire la suite

Le groupe SNCF connaît actuellement une transformation digitale et se tourne de plus en plus vers des technologies susceptibles de faire appel à de l’intelligence artificielle appliquée au traitement d’informations écrites ou orales. La documentation métier est aujourd’hui en pleine mutation, avec des métiers qui se digitalisent, plus mobiles et de nouveaux modes de consommation de l’information. ► Lire la suite

Le projet ON-TRAC propose de changer radicalement les architectures utilisées en traduction de parole actuellement. Il s’appuie sur les modèles neuronaux de type end-to-end pour la traduction automatique et vise plus particulièrement les applications légères et portatives de traduction de la parole. Les systèmes de traduction de la parole actuels sont constitués du séquençage de deux modules : le premier effectue la reconnaissance de la parole (parole vers texte en langue source) et le second traduit automatiquement les sorties (sous forme de chaînes ou de graphes de mots en langue source) du premier module vers un texte en langue cible. ON-TRAC propose d’adapter et d’évaluer des architectures end-to-end pour la traduction directe de la parole. ► Lire la suite

DEEP-PRIVACY propose un nouveau paradigme basé sur une approche distribuée, personnalisée et respectueuse de la vie privée pour le traitement de la parole, se focalisant sur les algorithmes d'apprentissage automatique pour la reconnaissance de la parole. Pour ce faire, nous proposons une approche hybride : l'appareil de chaque utilisateur ne partage pas ses données vocales brutes et exécute certains calculs privés en local, tandis que certains calculs inter-utilisateurs se font via un serveur (ou un réseau peer-to-peer). Pour satisfaire aux exigences de confidentialité au niveau acoustique, les données communiquées au serveur ne doivent pas fournir d'informations sensibles sur les locuteurs. Le projet aborde ces défis d'un point de vue théorique, méthodologique et empirique à travers deux objectifs scientifiques majeurs. ► Lire la suite

Le projet SIMPÆX a pour objectif la segmentation et l’identification automatiques de styles expressifs et de locuteurs dans un corpus de parole. En effet, l’extraction d’éléments concernant le locuteur, son état émotionnel et le contexte social, offre des indices très pertinents pour diverses applications comme l’indexation audio, la reconnaissance automatique de parole, la synthèse de parole ou les interactions humain-machine. ► Lire la suite

Néo est un projet de recherche interdisciplinaire relevant des humanités numériques dont l’objectif est la détection semi-automatique de la néologie contemporaine et son analyse. Il résulte de la convergence des nouvelles pratiques langagières du web moderne (création de nouveaux mots ou émergence de nouveaux sens) et des récentes avancées en matière de traitement automatique des langues, notamment via les méthodes de plongements lexicographiques. Ce projet allie les compétences en fouille de textes de chercheurs en informatique et l’expérience de l’étude des néologismes de chercheurs en linguistique appliquée. ► Lire la suite

Le projet NEWS-BRIDGE a pour but de construire un ensemble d’outils exploitables commercialement utilisant les technologies de la langue pour faciliter et améliorer la production d’informations multilingues. Cet outil fournit un système complet de traduction de nouvelles, rendant les contenus existants audio, vidéo et texte dans toutes les langues supportées par les différents outils externes pour la transcription, la traduction, la synthèse vocale. ► Lire la suite

L’objectif du projet ALLIES est d’encourager et de démontrer le développement de systèmes autonomes, capables de maintenir une performance durable dans le temps selon un scénario d’apprentissage donné. Un scénario d’apprentissage définit l’importance accordée à la performance sur les données « passées » et « présentes » dans le processus d’optimisation (ou d’évaluation). En définissant le scénario d’apprentissage, un superviseur humain (SH) permet ou interdit au système d’oublier. Dans ALLIES, un système autonome est totalement non supervisé et adapte progressivement ses modèles ainsi que leur structure, afin d’apprendre ou d’oublier des événements en fonction du scénario d’apprentissage donné et des données qu’il collecte automatiquement dans le temps. ► Lire la suite

Le projet RAPACE ambitionne de porter dans le domaine du traitement automatique de la langue orale comme écrite les dernières avancées issues du domaine de l'apprentissage automatique et qui concernent les réseaux de neurones profonds ► Lire la suite

The general objective of the ANTRACT project is the analysis of the images and sounds produced weekly in the framework of an independent company created in 1945, les Actualités françaises (French News), over twenty five years. This major cinematographic vector, already partially worked, has never been the subject of a systematic analysis. ► Lire la suite

Le projet MAGMAT vise à définir et mettre en œuvre une méthodologie agile et incrémentale de développement en temps contraint d’un système de traduction le la parole vers la parole. Sur le plan du développement de langues, deux objectifs principaux sont à considérer. Le premier objectif est de mutualiser drastiquement les développements de la synthèse, de la transcription et de la traduction avec une mise commun les ressources linguistiques. Le second objectif est de définir une méthodologie rendant le processus de développement de langue adapté au contexte visé. ► Lire la suite

Le projet PASTEL a pour objectif d’explorer le potentiel de la transcription automatique en temps réel pour l’instrumentation de situations pédagogiques mixtes, où les modalités d’interaction sont présentielles ou à distance, synchrones ou asynchrones. Les technologies de reconnaissance de la parole approchent d’un niveau de maturité suffisant qui permet d’envisager de nouvelles possibilités au niveau de l’instrumentation des pratiques pédagogiques et générer de nouveaux usages. ► Lire la suite

L'bjectif du projet est de développer une solution logicielle pour valoriser le contenu de ces échanges téléphoniques entre consommateurs et marques en analysant le contenu des conversations. ► Lire la suite

Le projet M2CR vise à développer une approche révolutionnaire pour combiner plusieurs modalités de la communication humaine et leurs tâches respectives dans une architecture unifiée, basée sur des réseaux neuronaux profonds, en incluant à la fois une composante discriminante et une composante générative grâce à plusieurs niveaux de représentation. Notre système s’appuiera conjointement sur les ressources dans plusieurs modalités, y compris, mais sans s’y limiter, le texte de plusieurs langues (européennes, chinoises et arabes), la parole et les images. Ce faisant, le système connaîtra une représentation sémantique commune de l’information sous-jacente, à la fois à un niveau spécifique de la modalité et à un niveau supérieur indépendant de celle-ci. ► Lire la suite

Ce projet consiste à créer et à développer JOKER, une interface utilisateur générique intelligente fournissant un système de dialogue multimodal avec des compétences en communication sociale, notamment l'humour, l'empathie, la compassion, le charme et d'autres comportements informels à orientation sociale. ► Lire la suite

L’objectif principal de EUMSSI est de développer des technologies d’identification et d’agrégation d’informations non structurées provenant de sources de nature très différente (vidéo, image, audio, texte) et de différentes langues (anglais, allemand, espagnol et français). Je suis responsable de l’analyse en locuteur et nous développons conjointement avec l’IDAP un système d’identification multimodale des personnes. ► Lire la suite

Le projet VERA vise à développer des outils de diagnostic, de localisation et de mesure des erreurs de transcription automatique. Ce projet s'appuie sur un consortium d'acteurs académiques de premier plan dans ce domaine. L'objectif est d'étudier en détail les erreurs (au niveau perceptif, acoustico-phonétique, lexical et syntaxique) afin de diagnostiquer précisément les éventuelles lacunes des modèles classiques actuels sur certaines classes de phénomènes linguistiques. ► Lire la suite