Soutenance de thèse, Alexis Conneau

Titre : Apprentissage et applications de représentations distribuées multilingues.

Composition du jury :

• Claire Gardent, Directrice de Recherche Première Classe au CNRS/LORIO, Rapporteure
• François Yvon Professeur des Universités à l’Université d’Orsay, Rapporteur
• Yann Lecun, Professeur à New York University et Facebook AI Research, Examinateur
• Chris Dyer Research Scientist at Google DeepMind, Examinateur
• Paul Deléglise, Professeur émérite à l’Université du Mans, Directeur de thèse
• Loïc Barrault Maître de conférence à l’Université du Mans, Co-Encadrant
• Holger Schwenk, Professeur à l’Université du Maine et Facebook AI Research, Co-Encadrant

Résumé :

La capacité d’apprendre des représentations génériques d’objets tels que des images, des mots ou des phrases est essentielle pour construire des algorithmes qui ont une compréhension élargie du monde. Grâce à l’apprentissage par transfert, les réseaux neuronaux peuvent apprendre des représentations d’objets comme des images à partir de gros jeux de données, puis les exploiter pour améliorer la performance des tâches à faibles ressources. Bien que l’apprentissage par transfert ait été très efficace pour transférer les représentations d’images apprises sur ImageNet à des tâches de vision à faibles ressources, les représentations génériques de texte à l’aide de réseaux neuronaux se sont limitées aux représentations de mots. Cette thèse présente une étude des représentations de phrases.
J’y présente comment l’on a poussé l’état de l’art des embeddings monolingues et cross-lingues. Les premières contributions de cette thèse incluent SentEval, un outil d’évaluation et d’analyse des représentations de phrases universelles et InferSent, un encodeur de phrases générique.

Nous montrons dans cette première partie que des représentations génériques de phrase peuvent être construites via des réseaux de neurones et qu’elles fournissent des caractéristiques (« features») puissantes de phrases, utilisables dans de nombreux contextes. Dans la deuxième partie de ma thèse, mes contributions traitent de l’alignement de distributions de mots et de phrases dans plusieurs langues. Je montre pour la première fois qu’il est possible d’aligner des espaces de mots et de phrases de manière totalement non supervisée, sans aucune données parallèles. En particulier, nous montrons que nous pouvons traduire des mots de manière non supervisée, ce qui a été la pierre angulaire du nouveau domaine de recherche de “traduction automatique non supervisée”. Ma dernière contribution sur la modélisation multilingue montre que les représentations de phrases provenant des modèles de langues peuvent être alignées de manière totalement non supervisée, ce qui conduit à un nouvel état de l’art en traduction automatique supervisée et non supervisée, et en classification cross-lingue.

Mots-clés :

Apprentissage machine, réseaux de neurones profonds, représentations de phrases.