Offre de thèse : Automatic diagnosis of errors of end-to-end speech transcription systems from users perspective

Laboratoire d’accueil : Laboratoire Informatique d’Avignon (LIA)
Encadrants : Richard Dufour (LIA, Avignon University) et Jane Wottawa (LIUM, Le Mans University)
Contact : prénom.nom@univ-avignon.fr et prénom.nom@univ-lemans.fr, respectivement
date : Septembre 2021

Contexte
Ce poste de doctorant.e fait partie du projet de recherche français DIETS (Automatic diagnosis of errors of end-to-end speech transcription systems from users perspective) financé par l’ANR (Agence Nationale de la Recherche) qui vise à analyser finement les erreurs de reconnaissance en prenant en compte leur réception humaine, et à comprendre et visualiser comment ces erreurs se manifestent dans un cadre de la reconnaissance automatique de la parole de bout en bout. Les objectifs principaux sont de proposer des approches et des outils automatiques originaux pour visualiser, détecter et mesurer les erreurs de transcription du point de vue des utilisateurs finaux.

Profile de candidat recherché
Le candidat ou la candidate doit être titulaire d’un master en informatique. La maîtrise d’au moins un langage de programmation objet courant (Java, C++…) et d’un langage de script (Python, Perl…) est obligatoire, de plus les expériences en traitement automatique du langage et de la parole, en apprentissage automatique, ou data mining sont appréciées. Il ou elle doit également montrer un intérêt pour la linguistique et l’étude du comportement humain.

Objectifs
L’objectif principal de la thèse est d’analyser finement les erreurs de transcription du point de vue de leur réception par l’utilisateur. La thèse comportera trois parties complémentaires:

Approches pour la détection des erreurs dans les transcriptions des systèmes ASR de bout en bout. Ceci devrait conduire à des mesures de confiance originales,
Analyse détaillée des erreurs de transcription en français, qu’elles soient humaines ou automatiques, avec un système traditionnel ou de bout en bout, afin de comprendre comment les erreurs sont perçues d’un point de vue humain. Ceci permettra de mettre en lumière de nouvelles classes d’erreurs, en étant guidé par la difficulté, ou la facilité des utilisateurs finaux, à les comprendre.
Réalisation d’un nouveau corpus de transcriptions automatiques où les erreurs sont annotées à l’aide d’informations linguistiques précises, et d’informations recueillies lors de tests perceptifs afin de refléter la façon dont les utilisateurs perçoivent (et éventuellement corrigent) ces erreurs. Réalisation de différents tests perceptifs, en confrontant des humains à ces erreurs de transcription.

Il s’agira de poser les premières bases d’une recherche nouvelle et transversale, à la croisée de la linguistique, de l’informatique et des sciences cognitives, pour l’évaluation de systèmes automatiques et la compréhension de systèmes NLP basés sur des architectures profondes. Le doctorant aura alors l’opportunité d’apprendre et de proposer des approches innovantes en traitement automatique de la parole pour la compréhension d’architectures à base de réseaux de neurones profonds, mais aussi de faire preuve d’une ouverture d’esprit et de compétences en linguistique et sur la mise en œuvre de tests perceptifs.

Interêt pour le candidat :

Environnement de travail très favorable et collaboratif dans un laboratoire de recherche internationalement reconnu en traitement du langage et apprentissage automatique.
Mise en œuvre, analyse et propositions d’approches innovantes pour différents systèmes ASR (cadres classiques et de bout en bout).
Développement de métriques complémentaires au WER, orientées utilisateur.
Travail scientifique transdisciplinaire permettant une ouverture à d’autres disciplines (par exemple, la linguistique et les sciences cognitives).

Les candidatures doivent être envoyées à :

Richard Dufour (prénom.nom@univ-avignon.fr) – LIA, Avignon Université
Jane Wottawa (prénom.nom@univ-lemans.fr) – LIUM, Le Mans Université

et doivent inclure :

un CV détaillé (parcours académique et de recherche),
une lettre de motivation précisant les intérêts de recherche du candidat en relation avec la thèse de doctorat,
Notes détaillées de Licence et de Master,
Le nom d’au moins une personne référente pouvant être contactée

pour d’autres informations : https://anr-diets.univ-avignon.fr/2021/02/12/open-ph-d-position/