Recrutement, Stages

Contribution à l’Analyse Automatique du MOuvement Capturé en situation d’Apprentissage (CA2MOC)

 

Encadrant(s):Ludovic Hamon, Sébastien George
Equipe d’accueil : LIUM – IEIAH
Lieu : Laval
Contact : ludovic.hamon(at)univ-lemans.fr, sebastien.george(at)univ-lemans.fr

Date limite de candidature : 15 avril 2022

 

Contexte du stage : Le stage porte sur la conception et la mise en place d’outils d’intelligence artificielle permettant d’évaluer les gestes techniques (e.g. gestes de soudure, gestes de peinture, geste de laboratoire) obtenus à l’aide de n’importe quel équipement de capture de mouvement. Le stage aura lieu en présentiel au CERIUM2 à l’IUT de Laval. Le télétravail est envisageable à temps partiel (2 jours par semaine). Le stage peut être pourvu pour des étudiants du parcours AFD ou ATAL, et pourra se poursuivre en thèse sur l’évaluation automatique des gestes de chirurgie dentaire (projet ANR EVAGO).

 

Sujet du stage : La démocratisation des outils de capture de mouvements a permis d’enregistrer et de reproduire des mouvements du corps humain et des objets manipulés pour le cinéma, le jeu vidéo et la réalité virtuelle. Ces mouvements sont représentés par des séries temporelles constituées de positions dans l’espace cartésien 3D et des orientations (angles d’Euler ou quaternion) des parties du corps ou des objets.

En situation d’apprentissage où le geste professionnel est une composante essentielle (e.g. apprendre un geste de soudure, de secourisme, de peinture, de chirurgie dentaire), ces nouveaux types de données apportent une plus-value pédagogique certaine [1,2,4]. En effet, enregistrer et observer ces mouvements en environnement virtuel, et les évaluer automatiquement permet notamment :

  • pour l’apprenant, d’observer ses performances réalisées, étudier ses pratiques et les comparer avec des gestes experts
  • pour l’enseignant, de pouvoir gérer les travaux pratiques d’un plus grand nombre d’étudiants, d’observer a posteriori leurs performances et d’adapter en conséquence sa pédagogie.

Cependant, pour atteindre cet objectif, des verrous techniques et scientifiques doivent être levés et parmi eux, ce stage s’intéressera :

  • (Verrou 1) aux signaux de nature hétérogène : la diversité des outils de capture de mouvements
    (e.g. manettes et casque de l’HTC Vive, wiimote, combinaison d’accéléromètres de gyroscopes, etc…) et conséquence des signaux qu’ils produisent en termes de fréquences et de structure des données, est en frein au développement d’une plateforme d’analyse adaptable à n’importe quel équipement de capture.
  • (Verrou 2) à l’évaluation automatique du mouvement : un « bon » geste dépend de la tâche à apprendre, des pratiques pédagogiques et du domaine métier. Bien qu’il soit possible de calculer des indicateurs cinématiques (e.g. vitesse, accélération), dynamiques (i.e. force appliquée…) ou géométriques (e.g. le dos doit rester droit), déterminer quels indicateurs seront pertinents et leurs valeurs « seuils » rendant le geste « acceptable », est une tâche complexe, voire fastidieuse, si cette détermination est réalisée manuellement.

Ce stage a pour objectif de contribuer au développement d’une nouvelle plateforme nommée PAMOCA pour « Plateforme d’Analyse du MOuvement Capturé » selon deux axes de travail :

  • Axe 1 : Mettre en place les outils techniques permettant d’appliquer des prétraitements (e.g. filtre
    moyenneur, filtre Savitzky-Golay, interpolation linéraire) et traitements (i.e. calcul d’indicateurs cinématiques et géométriques principalement) à n’importe quel signal issu de n’importe quel outil de captures de mouvement. Cela passera par la spécification et l’implémentation d’une structure de données communes faisant le pont entre les signaux et les (pré-)traitements à appliquer. Un des objectifs de cet axe sera d’obtenir des données/signaux conformes aux spécifications (e.g. fréquence/échantillonnage, bruit)
  • Axe2 : Exploiter les outils d’Intelligence Artificielle (IA) afin de déterminer les indicateurs et leurs valeurs seuils évaluant le geste technique. Deux approches seront envisagées et comparées : (a) une approche semi-supervisée reposant sur l’utilisation de techniques de clustering récursif, afin de constituer des groupes de gestes acceptables et non acceptables, selon des indicateurs préalables choisis (suite aux travaux de [2]) et (b) une approche supervisée reposant sur l’utilisation de forêts aléatoires dans l’optique de définir quels sont les indicateurs à choisir et leur valeur par exploration des arbres de décisions générés (suite des travaux de Noura Joudieh effectuant son stage au sein du LIUM actuellement).

Ce stage contribuera de plus à l’étude bibliographique en cours portant sur ce sujet.
Les modèles et outils issus de ces travaux seront tout d’abord appliqués sur des mouvements simples (e.g. manipulation d’un verre, dessins de formes géométriques élémentaires) avant d’être appliqués sur des gestes professionnels (e.g. dilution en biologie, gestes de secourisme). Ce stage sera réalisé en collaboration avec un doctorant [4] en fin de thèse, fait suite à un projet d’étudiants de l’ENSIM, un stage de Master 2 et d’une thèse soutenue en 2020 [2].

 

Le profil du candidat : Master 2 ou d’un diplôme d’Ingénieur en informatique. Le candidat doit :

  • Avoir des connaissances théoriques et pratiques solides en machine learning (Python, ou
    Tensorflow ou Keras)
  • Des connaissances en modélisation 3D, réalité virtuelle ou image de synthèse sont un plus
  • Travailler avec méthode et rigueur et avoir des qualités d’organisation, qualités relationnelles, écoute et disponibilité.

Bibliographie

  1. Thibaut Le Naour, Ludovic Hamon, and Jean-Pierre Bresciani. 2019. Superimposing 3D Virtual Self + Expert Modeling for Motor Learning: Application to the Throw in American Football. Frontiers in ICT 6 (2019), 16. https://doi.org/10.3389/fi ct.2019.00016
  2. Couland, Q., Hamon, L. and George, S. (2018). Clustering and Analysis of User Motions to Enhance Human Learning: A First Study Case with the Flip Bottle Challenge. In 15th International Conference on Cognition and Exploratory Learning in Digital Age (CELDA) 2018, Budapest, Hungary. pp.145-152. Extended in Cognit. & Exploratory Learning in the Digital Age, Pedro Isaias et al. (Eds): Technology Supported Innovations in School Education, Springer (2020).
  3. Caroline Larboulette and Sylvie Gibet. 2015. A Review of Computable Expressive Descriptors of Human Motion. In 2nd International Workshop on Movement and Computing. 21–28.
  4. Djadja, D. J. D., Hamon, L. and George, S. (2020). Design of a Motion-Based Evaluation Process in any Unity 3D Simulation for Human Learning, International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP). Valletta, Malta.