Depuis l’avènement de l’apprentissage profond, les performances des systèmes en traitement automatique du langage (TAL) ont considérablement été améliorées, aboutissant à l’avènement des Large Language Models (LLMs). La conjonction de trois facteurs a permis ces avancées.

• Le premier facteur est la mise au point de systèmes capables de plonger le vocabulaire dans un espace sémantique, et ainsi de fournir des représentations riches de sens aux algorithmes d’apprentissage automatique.
• Le second facteur est le développement d’architectures adaptées aux données textuelles qui sont par nature séquentielles.
• Enfin, l’augmentation conjointe des moyens de stockage de données et de la puissance de calcul a permis d’augmenter la taille des architectures des systèmes d’intelligence artificielle (IA).

Si les deux premiers points constituent des progrès indiscutables, la croissance des architectures pour l’IA vient avec deux contreparties moins positives.
La première est celle de l’interprétabilité des résultats. En effet, plus les architectures sont grandes et complexes, moins il est facile de comprendre le modèle qui en résulte. La seconde est celle de la consommation énergétique. L’apprentissage de ces systèmes requiert parfois énormément de puissance et de temps de calcul.

Nous souhaitons avec InLM initier une réponse innovante sur le sujet de l’interprétabilité en prenant en compte les temps de calcul. Nous proposons ainsi de construire et d’évaluer des architectures encodeurs interprétables de bout-en-bout et économes en ressources puisque leur interprétabilité ne nécessite pas l’apprentissage de systèmes post-hoc. L’interprétabilité permet la confiance des utilisateurs finaux, en particulier dans les domaines sensibles tels que la justice ou la médecine, et de telles architectures encodeurs peuvent être spécialisées sur du matériel accessible à tou·te·s. Pour cela, nous nous appuyons sur les méthodes de plongements interprétables développées dans le projet ANR DIGING, et nous adapterons le paradigme de l’auto-attention des transformers pour en garantir l’interprétabilité.