Séminaire de Yannick Yomie Nzeuhang, doctorant à l’Université Yaoundé 1, en mobilité ESPERANTO

Date: 21/06/2024
Heure : 14h00
Lieu : IC2, Salle des conseils
Intervenant : Yannick Yomie Nzeuhang
 
 

Enrichir la représentation acoustique pour les langues faiblement dotées

Une approche populaire dans la littérature pour s’attaquer à la tâche de reconnaissance de la parole pour les langues faiblement dotées est le “finetuning”. Elle est généralement basée sur un modèle d’extraction de caractéristiques multilingues, supposé suffisamment général pour être exploité quelle que soit la langue d’application. Cependant, plusieurs travaux ont montré que la performance de ces modèles dépend de la distance linguistique entre les langues utilisées pour pré-entraîner le modèle et la langue cible. D’autre part, la spécification de ces modèles d’extraction pour une langue peu dotée est rendue difficile par leur aspect gourmand en données.

Nous proposons, pour les langues faiblement dotées, une approche d’apprentissage de représentations acoustiques pour la tâche de reconnaissance de la parole. Cette approche est basée sur l’utilisation des réseaux neuronaux de graphes pour enrichir les caractéristiques acoustiques avec des informations linguistiques. Nous avons évalué ce potentiel d’enrichissement en comparant la qualité des caractéristiques uniquement acoustiques à celle où ces dernières sont combinées avec des informations linguistiques. Les résultats préliminaires sur la tâche de reconnaissance de mots isolés du jeu de données google command tendent à confirmer l’amélioration des performances avec cette approche.