Analyse Automatique du MOuvement Capturé en situation d’Apprentissage (AMOCA)

 

Mots-clés : Réalité virtuelle, apprentissage du geste professionnel, capture de mouvements, machine learning

Encadrants : Ludovic HAMON, Sébastien GEORGE

Date limite de candidature : 15 avril 2022

Contexte du stage

Le stage porte sur la conception et la mise en place d’outils d’intelligence artificielle permettant d’évaluer les gestes techniques (e.g. gestes de soudure, gestes de peinture, geste de laboratoire) :

• exécutés en environnement virtuel
• et obtenus à l’aide de n’importe quel équipement de capture de mouvements.

Le stage d’une durée de 6 mois aura lieu en présentiel au CERIUM² à l’IUT de Laval. Le télétravail est envisageable à temps partiel (2 jours par semaine). Le stage pourra se poursuivre en thèse sur l’évaluation automatique des gestes de chirurgie dentaire (projet ANR EVAGO, financement acquis).

Sujet du stage

La démocratisation des outils de capture de mouvements a permis d’enregistrer et de reproduire des mouvements du corps humain et des objets manipulés pour le cinéma, le jeu vidéo et la réalité virtuelle. Ces mouvements sont représentés par des séries temporelles constituées de positions dans l’espace cartésien 3D et d’orientations (angles d’Euler ou quaternion) des parties du corps ou des objets manipulés.
En situation d’apprentissage où le geste professionnel est une composante essentielle (e.g. apprendre un geste de soudure, de secourisme, de peinture, de chirurgie dentaire), ces nouveaux types de données apportent une plus-value pédagogique certaine [1,2,4]. En effet, enregistrer et observer ces mouvements en environnement virtuel, et les évaluer automatiquement permet notamment :

• pour l’apprenant, d’observer ses performances réalisées, étudier ses pratiques et les comparer avec des gestes experts
• pour l’enseignant, de pouvoir gérer les travaux pratiques d’un plus grand nombre d’étudiants, d’observer a posteriori leurs performances et d’adapter en conséquence sa pédagogie.

Cependant, pour atteindre cet objectif, des verrous techniques et scientifiques doivent être levés et parmi eux, ce stage s’intéressera :

• (Verrou 1) Aux signaux de nature hétérogène : la diversité des outils de capture de mouvements (e.g. manettes et casque de l’HTC Vive, wiimote, combinaison d’accéléromètres de gyroscopes, https://www.vr-motion-learning.com/etc…) et en conséquence des signaux qu’ils produisent en termes de fréquences et de structure des données, est en frein au développement d’une plateforme d’analyse adaptable à n’importe quel
  équipement de capture.
• (Verrou 2) À l’évaluation automatique du mouvement : un « bon » geste dépend de la tâche à apprendre, des pratiques pédagogiques et du domaine métier. Bien qu’il soit possible de calculer des indicateurs cinématiques (e.g. vitesse, accélération), dynamiques (i.e. force appliquée…) ou géométriques (e.g. le dos doit rester droit), déterminer quels indicateurs seront pertinents et leurs valeurs « seuils » rendant le geste « acceptable », est une tâche complexe, et fastidieuse, si réalisée manuellement.

Ce stage a pour objectif de contribuer au développement d’une nouvelle plateforme nommée PAMOCA pour « Plateforme d’Analyse du MOuvement Capturé » selon deux axes de travail :

• Axe 1 : Mettre en place les outils techniques permettant d’appliquer des prétraitements (e.g. filtre moyenneur, filtre Savitzky-Golay, interpolation linéraire) et traitements (i.e. calcul d’indicateurs cinématiques et géométriques principalement) à n’importe quel signal issu de n’importe quel outil de captures de mouvement. Cela passera par la spécification et l’implémentation d’une structure de données communes faisant le pont entre les signaux et les (pré-)traitements à appliquer. Un des objectifs de cet axe sera d’obtenir des données/signaux conformes aux spécifications (e.g. fréquence/échantillonnage, bruit).
• Axe2 : Exploiter les outils d’Intelligence Artificielle (IA) afin de déterminer les indicateurs et leurs valeurs seuils évaluant le geste technique. Deux approches seront envisagées et comparées : (a) une approche semi-supervisée reposant sur l’utilisation de techniques de clustering récursif, afin de constituer des groupes de gestes acceptables et non acceptables, selon des indicateurs préalables choisis (suite aux travaux de [2]) et (b) une approche supervisée reposant sur l’utilisation de forêts aléatoires dans l’optique de définir quels sont les indicateurs à choisir et leur valeur par exploration des arbres de décisions générés (suite des travaux du stage de Noura Joudieh sur la période 2021 au LIUM).Ce stage contribuera de plus à l’étude bibliographique en cours portant sur ce sujet [1,2,3,4].

Le profil du candidat

Master 2 ou d’un diplôme d’Ingénieur en informatique. Le candidat doit :

• Avoir des connaissances solides en machine learning (Python) et en réalité virtuelle. Les connaissances en modélisation 3D ou géométrie est un plus.
• Travailler avec méthode et rigueur et avoir des qualités d’organisation, qualités relationnelles, écoute et disponibilité.

Postuler

Le stage peut se poursuivre en thèse (financement acquis) et porte sur la conception et la mise en place d’outils d’intelligence artificielle permettant d’évaluer les gestes techniques (e.g. gestes de soudure, gestes de peinture, geste de laboratoire) capturés et exécutés en environnement virtuel.

Le/la candidat(e) doit adresser les éléments ci-dessous à ludovic.hamon@univ-lemans.fr:

• C.V.
• Lettre de motivation
• Bulletin de notes de Master 1 et 2, ou 2ième et 3ième année du cycle ingénieur

Bibliographie

[1] Thibaut Le Naour, Ludovic Hamon, and Jean-Pierre Bresciani. 2019. Superimposing 3D Virtual Self + Expert Modeling for Motor Learning: Application to the Throw in American Football. Frontiers in ICT 6 (2019), 16. https://doi.org/10.3389/fi ct.2019.00016
[2] Couland, Q., Hamon, L. and George, S. (2018). Clustering and Analysis of User Motions to Enhance Human Learning: A First Study Case with the Flip Bottle Challenge. In 15th International Conference on Cognition and Exploratory Learning in Digital Age (CELDA) 2018, Budapest, Hungary. pp.145-152. Extended in Cognit. & Exploratory Learning in the Digital Age, Pedro Isaias et al. (Eds): Technology Supported Innovations in School Education, Springer (2020).
[3] Caroline Larboulette and Sylvie Gibet. 2015. A Review of Computable Expressive Descriptors of Human Motion. In 2nd International Workshop on Movement and Computing. 21–28.
[4] Djadja, D. J. D., Hamon, L. and George, S. (2020). Design of a Motion-Based Evaluation Process in any Unity 3D Simulation for Human Learning, International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP)