Soutenance de thèse, Paul Tardy

Date : 12/07/2021
Heure : 9h00
Lieu : visio-conférence
 

Titre : Approches neuronales pour le résumé abstractif de transcriptions de parole
 

Composition du jury :

• Mme Sophie Rosset, Directrice de Recherche, LISN, Rapporteure
• M. Alexandre Allauzen, Professeur, LAMSADE, Paris, Rapporteur
• M. Sylvain Meignier, Professeur, LIUM, Le Mans Université, Examinateur
• M. Alexis Nasr, Professeur, LIS, Examinateur
• M. Yannick Estève, Professeur, LIA, Avignon Université, Directeur de thèse
• M. David Janiszek, Maître de Conférence, Paris Université, Co-encadrant
• M. Vincent Nguyen, Président, Ubiqus Labs, Invité

 

Résumé :

Nous étudions, dans cette thèse, l’application des approches neuronales d’apprentissage profond pour le résumé abstractif de transcription de parole dans le cadre de la génération de comptes rendus de réunions. Ce travail prend place dans un contexte où l’apprentissage profond est omniprésent dans le domaine du Traitement Automatique du Langage Naturel (TALN). En effet, les modèles neuronaux constituent désormais l’état de l’art sur différentes tâches de génération de texte telles que la traduction automatique et le résumé abstractif. Toutefois, l’application du résumé automatique pour la génération de comptes rendus de réunions en français reste très peu explorée. En effet, cette tâche souffre du manque de données disponibles du fait des difficultés à collecter et à annoter de telles données.

Dans ce contexte, notre première contribution consiste en la constitution d’un jeu de données pour cette tâche en alignant des comptes rendus avec les transcriptions automatiques des enregistrements audio de la réunion. Nous proposons une méthodologie associant l’alignement automatique à l’alignement humain. Cette méthodologie nous permet de développer des modèles d’alignement automatique grâce à la constitution de jeux de données d’évaluation tout en facilitant la tâche aux annotateurs humains grâce à l’usage de pré-alignements automatiques.

Ensuite, afin de s’abstraire des contraintes liées à l’annotation – même automatique – nous proposons un pré-entraînement auto-supervisé des modèles afin de tirer profit de grands ensembles de données non-alignées. De plus, nous introduisons le résumé inverse nous permettant de générer des données synthétiques et de former des paires d’entraînement à partir de comptes rendus non alignés. Nous combinons enfin ces deux approches et montrons leur bonne synergie.

Les travaux de cette thèse se concentrent sur l’approche abstractive du résumé automatique qui consiste à générer un résumé de toutes pièces, par opposition à l’approche ex-tractive où des portions du document sont sélectionnées en tant que résumé. En effet, la rédaction de comptes rendus de réunion à partir de transcriptions automatiques nécessite de reformuler les propos, d’éventuellement les corriger ou de les réorganiser afin de passer d’un langage oral hasardeux à un langage écrit et bien structuré. Pour autant, même les modèles dits abstractifs présentent un biais d’extractivité consistant à trop copier des mots issus de la source. Afin de limiter ce biais, nous introduisons l’apprentissage explicite du taux de copie attendu au sein du résumé grâce à des tokens de contrôle

Enfin, nous clôturons ce travail de thèse par une évaluation humaine des comptes rendus automatiques. Cette évaluation nous permet notamment de porter un regard critique sur les performances de nos modèles ainsi que sur le cadre expérimental, notamment sur les métriques et les données utilisées lors de l’évaluation.

 

Mots clés :

Résumé Abstractif ; Apprentissage auto-supervisé ; Génération de comptes rendusde réunion ; Résumé inverse ; Réseaux de Neurones ; Tokens de contrôle ; Alignement Auto-matique ; Évaluation humaine