Éditeur de retours pédagogiques en réalité augmentée pour l’apprentissage de gestes techniques

Niveau : Master 2

Encadrants: Ludovic Hamon (LIUM),  Iza Marfisi (LIUM)

Equipes d’accueil : Laboratoire d’Informatique de l’Université du Mans (LIUM)

Modalités : Stage gratifié d’une durée de 6 mois basé au CERIUM² à Laval, dont les travaux pourront être poursuivis en thèse de doctorat

Mots-clés : Réalité augmentée, apprentissage de gestes, Unreal Engine, simulation

Résumé : L’objectif de ce stage est de développer des modèles et outils permettant d’assister un utilisateur dans l’apprentissage d’un geste technique (e.g. service au tennis, geste de peinture, geste de fraisage d’une dent, etc.) en réalité augmentée immersive. En particulier il est attendu la création d’un éditeur de retours pédagogiques permettant à l’enseignant de définir :

• quand (i.e. en temps réel ? Avant ou après des étapes clés du geste ? Etc.) le retour pédagogique doit avoir lieu
• où le retour pédagogique doit être placé dans l’environnement augmenté (attaché au sol, à une partie du corps, à un objet réel, etc.)
• quelle forme le retour pédagogique visuelle doit prendre (i.e. texte 3D affichant la vitesse du mouvement, un avatar 3D montrant le geste, une trajectoire d’un objet à lancer, la couleur
  d’un objet à prendre, etc.)

 

Missions :

• Veille technologique sur les différents matériels permettant la réalisation d’applications de réalité augmentée immersive (casques de réalité mixte)
• Étude des possibilités fonctionnelles des outils logiciels et SDK dédiés à la réalité augmentée par implémentation de preuves de concept
• Recherche bibliographique sur les modèles et outils permettant de créer et éditer des environnements de réalité augmentée
• Développement et test d’une première version fonctionnelle de l’éditeur de retours pédagogiques en réalité augmentée immersive

 

Profil :
Actuellement en master 2 ou en troisième année d’une école d’ingénieur le/la candidat(e) doit :

• Avoir des compétences en programmation C++, et si possible en python
• Connaître l’Unreal Engine ou un moteur équivalent tel que Unity
• Travailler avec méthode et rigueur.
• Avoir des qualités d’organisation, qualités relationnelles, écoute et disponibilité.

Laboratoire et équipe d’accueil : Laboratoire d’Informatique de l’Université du Mans (LIUM, https://lium.univ-lemans.fr/), équipe Ingénierie des Environnements Informatiques pour l’Apprentissage Humain (IEIAH)

 

Pour candidater : merci d’adresser CV, lettre de motivation et bulletins de notes de l’année en cours et l’année précédente à ludovic.hamon@univ-lemans.fr et iza.marfisi@univ-lemans.fr

 

Descriptif:
La réalité augmentée permet de créer des univers crédibles où des images 3D virtuelles se superposent aux images réelles avec de nouvelles possibilités d’interaction en temps réel (exemple1, exemple2). Cette technologie est particulièrement utilisée à des fins éducatives pour, par exemple, manipuler des objets tangibles animés pour apprendre les mathématiques [Touel et al. 2023], observer et interagir avec des molécules de chimie [Cortés et al. 2021], assister l’apprenant dans un processus d’assemblage industriel [Raj et al. 2024].

L’apprentissage d’un geste technique (service au tennis, geste de peinture, geste de fraisage d’une dent, etc.) représente un défi pédagogique, car cette tâche complexe peut être vue comme l’apprentissage d’une séquence ordonnée d’actions, un ensemble de postures du corps à imiter et/ou des contraintes géométriques, cinématiques ou dynamiques du mouvement à respecter [Djadja et al. 2020].

Dans ce contexte, les dispositifs matériels d’interaction innovante (casques de réalité mixtes, caméras de profondeurs, combinaisons d’IMUs, etc.), permettent de capturer et analyser les mouvements des apprenants en temps réel afin d’évaluer leurs performances et les assister dans cet apprentissage [Hefied et al. 2024]. Ces dispositifs sont actuellement utilisés dans des environnements virtuels immersifs délivrant des aides visuelles en temps réel (e.g. avatar 3D montrant le geste, flèche indiquant la direction, couleur identifiant l’objet à prendre, etc.), lors de
l’exécution des mouvements par l’apprenant [Djadja et al. 2020].

Cependant, ces environnements virtuels immersifs coupent l’apprenant de la situation réelle ce qui pose des questions de transferts de compétences. En outre, ces environnements numériques sont souvent dédiés à l’apprentissage d’un seul geste technique selon une stratégie pédagogique prédéfinie et figée. Les travaux de la littérature, nous montre qu’il existe de nombreux modèles et approches permettant à l’enseignant d’éditer voire, de définir des Environnements Informatiques pour l’Apprentissage Humain (EIAH) au travers, par exemple  d’environnements virtuels dont le scénario pédagogique est définissable [Oubahssi et al. 2024], ou des environnements auteurs de réalité augmentée [Ez-Zaouia et al. 2023]. Cependant, ces outils et modèles sont peu appliqués dans le contexte de l’apprentissage d’un geste technique. Ainsi, un éditeur de retours pédagogiques en réalité augmentée immersive apparait comme une solution prometteuse pour apprendre un geste technique et assurer le transfert de compétences, par la conception, l’implémentation et l’usage d’environnements au plus proche du réel et adapté à la stratégie pédagogique de l’enseignant.

 

Bibliographie :
• [Cortés et al. 2021] Rodríguez, F.C., Frattini, G., Krapp, L.F., Martinez-Hung, H., Moreno, D.M., Roldán, M., Salomón, J., Stemkoski, L., Traeger, S., Dal Peraro, M. and Abriata, L.A. MoleculARweb: A Web Site for Chemistry and Structural Biology Education through Interactive Augmented Reality out of the Box in Commodity Devices. Journal of Chemical Education, 98 (7), 2243-2255, 2021.
• [Djadja et al. 2020] Djadja, D. J. D., Hamon, L., and George, S. Design of a Motion-Based Evaluation Process in any Unity 3D Simulation for Human Learning, GRAPP, 2020.
• [Djadja et al. 2023] Djadja, D. J. D., Hamon, L., and George, S. A 3D Descriptive Model for Designing Multimodal Feedbacks in any Virtual Environment for Gesture Learning. In Proceedings of the 18th International Conference on Software Technologies, 84-95, 2023.
• [Ez-Zaouia et al. 2023] Ez-Zaouia, M., Marfisi-Schottman, I. and Mercier, C. Authoring Tools: The Road To Democratizing Augmented Reality For Education. Proceedings of the 15th International Conference on Computer Supported Education, 115-127, 2023.
• [Hefied et al. 2024] Hefied, M. N., Hamon, L., George, S., Loison, V., Pirolli, F., Lopez, S., and Crétin-Pirolli, R. A Pipeline for the Automatic Evaluation of Dental Surgery Gestures in Preclinical Training from Captured Motions. In CSEDU, 420-427, 2024.
• [Larboulette and Gibet 2015] Larboulette, C. and Gibet, S. A review of computable expressive descriptors of human motion. In Proceedings of the 2nd International Workshop on Movement and Computing, 21-28, 2015.
• [Oubahssi et al. 2024] Oubahssi L., Piau-Toffolon C., Mahdi O. VR-Peas: a Virtual Reality PEdAgogical Scenarisation tool, Interactive Learning Environments, 1–18, 2024.
• [Raj et al. 2024] Raj, S., Murthy, L.R.D., Shanmugam, T.A., Kumar, G., Chakrabarti, A. and Pradipta Biswas, P. Augmented reality and deep learning based system for assisting assembly process. Journal of Multimodal User Interfaces, 18, 119-133, 2024.
• [Touel et al. 2023] Touel, S., Marfisi-Schottman, I., George, S., Hattab, L. et Pelay, N. Le Chaudron Magique : un jeu en Réalité Mixte pour l’apprentissage des fractions en autonomie. Environnement Informatique pour l’Apprentissage Humain (EIAH), Jun 2023, Brest, France. pp.121-132.