{"id":25752,"date":"2022-10-11T16:35:15","date_gmt":"2022-10-11T14:35:15","guid":{"rendered":"https:\/\/lium.univ-lemans.fr\/?p=25752"},"modified":"2022-10-11T16:54:46","modified_gmt":"2022-10-11T14:54:46","slug":"simon-guillot","status":"publish","type":"post","link":"https:\/\/lium.univ-lemans.fr\/en\/simon-guillot\/","title":{"rendered":"Simon Guillot"},"content":{"rendered":"

Interpretability of embeddings<\/h2>

Starting: <\/b> 01\/10\/2022PhD Student: <\/b> Simon Guillot<\/a>Advisor(s): <\/b> Antoin Laurent (LIUM) Co-advisor(s): <\/b> Nicolas Dugu\u00e9 (LIUM), Mathieu Valette (INALCO)Funding: <\/b> ANR DIGING<\/p><\/div><\/div><\/div><\/div>

Descritpion<\/strong><\/p>\n

Les approches de plongements lexicaux (word embedding en anglais) ont pour objectif de repr\u00e9senter le vocabulaire de la langue sous forme de vecteurs intelligibles par la machine. En particulier, l\u2019une des hypoth\u00e8ses derri\u00e8re le succ\u00e8s de ces m\u00e9thodes (historiquement Word2vec et GloVe [PSM14], et plus r\u00e9cemment les m\u00e9thodes \u00e0 base de transformers [MMS+19, CDC21]) est que le sens des mots du lexiques \u00e9merge de leurs co-occurrences dans les corpus et qu\u2019il devient ainsi possible de l\u2019encapsuler dans des vecteurs.<\/p>\n

Projet ANR DIGING.<\/strong> <\/p>\n

Les approches r\u00e9centes d\u2019apprentissage de plongements lexicaux ont mis l\u2019accent sur les r\u00e9sultats, souvent au d\u00e9triment de l\u2019interpr\u00e9tabilit\u00e9. Afin de favoriser l\u2019adoption des syst\u00e8mes automatiques par les utilisateurs, l\u2019interpr\u00e9tabilit\u00e9 et l\u2019interaction avec les r\u00e9sultats produits par ces syst\u00e8mes est pourtant une condition n\u00e9cessaire. C\u2019est en particulier le cas lors de la mise en \u0153uvre de telles technologies au service de secteurs sensibles comme les domaines juridique ou m\u00e9dicaux. Nous proposons avec DIGING une nouvelle approche performante et \u00e9conome en calculs pour la construction de plongements lexicaux interpr\u00e9tables [MTM] bas\u00e9e sur la th\u00e9orie des r\u00e9seaux complexes [PCD+21]. Avec cette approche originale, l\u2019objectif est de construire des vecteurs int\u00e9grant la polys\u00e9mie et plongeant les mots dans un espace aux dimensions interpr\u00e9tables. L\u2019interpr\u00e9tabilit\u00e9 de tels plongements permettrait ainsi d\u2019envisager des applica- tions li\u00e9es \u00e0 des domaines sensibles et des sujets de soci\u00e9t\u00e9 clivants.<\/p>\n

La th\u00e8se.<\/strong> <\/p>\n

Si les travaux initi\u00e9s dans DIGING ont montr\u00e9 la pertinence de l\u2019approche sur le plan de la performance [PCD+21] et de l\u2019interpr\u00e9tabilit\u00e9 [PDCM22], de nombreuses questions subsistent quant \u00e0 cette derni\u00e8re. En effet, si ces derniers travaux ont montr\u00e9 que l\u2019interpr\u00e9tabilit\u00e9 de l\u2019espace est au niveau de l\u2019\u00e9tat de l\u2019art [PDCM22, SPJ+18], ils ne d\u00e9montrent pas l\u2019interpr\u00e9tabilit\u00e9 des vecteurs (en tant qu\u2019ensemble de valeurs sur ces dimensions interpr\u00e9tables) qui symbolisent le lexique. Ainsi, l\u2019hypoth\u00e8se distributionnelle est parfaitement adapt\u00e9e \u00e0 la construction des plongements \u00e0 partir du corpus, mais elle n\u2019est pas suffisante pour d\u00e9crire le sens qui en \u00e9merge. Afin d\u2019analyser les vecteurs produits par notre approche de plongements, nous souhaitons ainsi cr\u00e9er du lien entre ces vecteurs,l\u2019espace appris, et les th\u00e9ories s\u00e9mantiques \u00e9labor\u00e9es en linguistique.<\/p>\n

 
\nBibliographie<\/strong><\/p>\n

\n