Towards a complex-network theory based approach for learning continuous representations with interpretable dimensions

 

Date: 28/09/2018

Hour: 11h00

Localisation: IC2, Boardroom

Speaker(s): Victor Connes

 

Les approches actuelles pour l’apprentissage de représentation continue du vocabulaire engendrent des espaces sémantiques aux dimensions non-interprétables. Ce constat est particulièrement gênant lorsqu’on cherche à comparer deux espaces différents. C’est le cas pour la traduction par exemple.
Dans le cas du projet néo, dans lequel nous nous intéressons à la détection de néologismes à grande échelle, cela pose problème également. Les approches de l’état de l’art se basent en effet sur des méthodes diachroniques qui comparent des espaces appris sur différentes périodes de temps.
Dans le domaine des réseaux complexes, les réseaux de co-occurrences de mot constituent un cas d’étude largement exploré, on observe dans ces réseaux nombre de propriétés propre aux réseaux du réels. Ainsi, les outils classiques de la théorie des réseaux complexes (topologie, communautés, modèles de croissance) s’appliquent avec succès aux réseaux de co-occurrences et permettent une compréhension plus large du langage dans son ensemble. En particulier, nous nous intéressons à la structure communautaire (en clusters) de ces réseaux. Celle-ci semble encapsuler des informations sémantiques.
L’idée centrale de notre approche est ainsi de tirer profit de cette structure communautaire pour créer des espaces sémantiques aux dimensions interprétables. Nous décrirons cette approche ainsi que les verrous scientifiques à lever pour en tirer parti.