Séminaire de Valentin Pelloin et Martin Lebourdais, doctorants au LIUM

 

Date: 14/10/2022
Heure: 11h00
Lieu: IC2, Salle des conseils
Intervenant: Valentin Pelloin et Martin Lebourdais
 
 

ASR-Generated Text for Language Model Pre-training Applied to Speech Tasks

Valentin Pelloin

Nous cherchons à améliorer la modélisation du langage parlé (LM) en utilisant de très grandes quantités de paroles transcrites automatiquement. Nous exploitons la collection de l’INA (Institut National de l’Audiovisuel) et obtenons 19 Go de texte après avoir appliqué l’ASR sur 350 000 heures d’émissions télévisées diverses. A partir de ces données, des modèles de langage parlé sont formés soit en affinant un LM existant (FlauBERT), soit en formant un LM à partir de zéro. Les nouveaux modèles (FlauBERT-Oral) sont partagés avec la communauté et évalués pour 3 tâches downstreams : compréhension du langage parlé, classification d’émissions TV et analyse syntaxique de la parole.

Les résultats montrent que FlauBERT-Oral peut être bénéfique par rapport à sa version initiale FlauBERT, démontrant que, malgré sa nature bruyante inhérente, le texte généré par ASR peut être utilisé pour construire des modèles de langage parlé.

 
 

Détection de genre et de parole superposée à partir de caractéristiques pré-entrainées

Martin Lebourdais

Cette présentation traitera de la détection de parole superposée (appelée overlap) ainsi que de la détection de genre, dans le but d’étudier les interactions entre homme et femmes dans les médias français (Projet GEM). Dans ce contexte, on doit segmenter le signal de parole en fonction du genre des locuteurs et pouvoir identifier plusieurs locuteurs simultanés. Ce travail propose donc d’utiliser les caractéristiques pré-entrainées obtenu par WavLM pour créer un détecteur de genre et un détecteur d’overlap adapté.

Cette étude utilise 2 corpus différents, le corpus DIhard, adapté à la détection d’overlap mais sans information de genre et le Corpus ALLIES qui contient ces informations.
Ces résultats ouvrent de nouvelles perspectives pour les chercheurs en sciences humaines concernant les différences de représentation entre les femmes et les hommes dans les médias français.