Soutenance de thèse, Natalia TOMASHENKO

Titre : Utilisation de modèles gaussiens pour l’adaptation au locuteur de réseaux de neurones profonds dans un contexte de modélisation acoustique pour la reconnaissance de la parole.

Composition du jury :

• Rapporteurs :
  1. Jean-François BONASTRE, Professeur, Université d’Avignon et des Pays de Vaucluse
  2. Denis JOUVET, Directeur de Recherche, LORIA-INRIA/li>
• Reviewers :
  1. JAlexey KARPOV, Professeur, ITMO University
  2. DLori LAMEL, Directrice de Recherche, LIMSI-CNRS
• Directeur de Thèse : Yannick ESTEVE, Professeur, Le Mans Université
• Co-directeur de Thèse : Yuri MATVEEV, Professeur, ITMO University
• Co-encadrant de Thèse : Anthony LARCHER, Maître de conférences, Le Mans Université

Résumé :

Les différences entre conditions d’apprentissage et conditions de test peuvent considérablement dégrader la qualité des transcriptions produites par un système de reconnaissance automatique de la parole (RAP). L’adaptation est un moyen efficace pour réduire l’inadéquation entre les modèles du système et les données liées à un locuteur ou un canal acoustique particulier. Il existe deux types dominants de modèles acoustiques utilisés en RAP : les modèles de mélanges gaussiens (GMM) et les réseaux de neurones profonds (DNN). L’approche par modèles de Markov cachés (HMM) combinés à des GMM (GMM-HMM) a été l’une des techniques les plus utilisées dans les systèmes de RAP pendant de nombreuses décennies. Plusieurs techniques d’adaptation ont été développées pour ce type de modèles. Les modèles acoustiques combinant HMM et DNN (DNN-HMM) ont récemment permis de grandes avancées et surpassé les modèles GMM-HMM pour diverses tâches de RAP, mais l’adaptation au locuteur reste très difficile pour les modèles DNN-HMM. L’objectif principal de cette thèse est de développer une méthode de transfert efficace des algorithmes d’adaptation des modèles GMM aux modèles DNN. Une nouvelle approche pour l’adaptation au locuteur des modèles acoustiques de type DNN est proposée et étudiée : elle s’appuie sur l’utilisation de fonctions dérivées de GMM comme entrée d’un DNN. La technique proposée fournit un cadre général pour le transfert des algorithmes d’adaptation développés pour les GMM à l’adaptation des DNN. Elle est étudiée pour différents systèmes de RAP à l’état de l’art et s’avère efficace par rapport à d’autres techniques d’adaptation au locuteur, ainsi que complémentaire.

Mots-clés :

adaptation au locuteur, apprentissage adaptatif au locuteur (SAT), réseaux de neurones profonds, modèles de mélanges Gaussiens (GMM), paramètres acoustiques dérivés de GMM (GMMD), reconnaissance automatique de la parole (RAP), modèles acoustiques, apprentissage profond.