PROtotypage Rapide des Environnements Virtuels pour l’apprentissage et l’évaluation des Gestes Techniques (PROREV-GT)

 

Mots-clés : EVAH (Environnement Virtuel pour l’Apprentissage Humain), capture de mouvements, apprentissage du geste, apprentissage automatique

Contrat : CDD de recherche postdoctorale en informatique de 18 mois, débutant en septembre/octobre 2023 au bâtiment CERIUM² à Laval (53), minimum 2 200 euros net mensuels.

Modalités de recrutement : Sur dossier et entretien au fil de l’eau. Merci d’envoyer, avant le 8 juillet 2023, votre C.V., une lettre de motivation et un ou deux de vos articles scientifiques à ludovic.hamon@univ-lemans.fr

Profil recherché : Doctorat en informatique avec une expérience

  • théorique et technique solide en réalité virtuelle/augmentée ou animation 3D ou image desynthèse (Unreal Engine et C++, ou Unity et C#)
  • élémentaire en apprentissage automatique (Python scikit-learn, etc.)
  • en biomécanique qui serait un plus

Contexte: Les Environnements Virtuels (EV) dédiés à l’Apprentissage (EVA) de gestes techniques permettent d’offrir automatiquement des retours multimodaux (i.e. visuels, audios, haptiques, etc.) à l’apprenant, afin de l’aider dans l’évaluation de la tâche à apprendre, sa progression ou l’assister dans la bonne exécution de celle-ci [Sigrist et al. 2012, Djadja 2023]. L’« apprentissage de gestes » peut prendre différentes formes telles qu’une séquence ordonnée d’actions à exécuter, un ensemble de propriétés géométriques, cinématiques ou dynamique à respecter, une succession de postures à imiter, etc. La variété des objectifs pédagogiques, associée aux coûts liés à la construction de l’EV (e.g. acquisition des mouvements, paradigme d’interactions adapté, etc.) font que la plupart des EVA dédiés aux gestes sont conçus uniquement pour une tâche spécifique à apprendre, avec peu ou pas de possibilité d’édition, ni d’adaptation si la situation d’apprentissage évolue (i.e. en termes d’objectifs ou pratiques pédagogiques, de retours pédagogiques en EV, de tâches à apprendre, etc.) [Mahdi et al. 2019, Djadja 2023].

 

Objectif : Le projet PROREV-GT porte sur la création de modèles et outils permettant aux utilisateurs finaux, sans connaissance en informatique, de (re)concevoir, (re)opérationnaliser et tester rapidement des prototypes élémentaires pour capturer, enseigner, apprendre et évaluer les gestes en EV. Étant donné un objectif pédagogique préalablement défini, les utilisateurs finaux pourront concevoir et implémenter les interactions élémentaires afin d’enregistrer des gestes, manipuler des objets, naviguer dans l’EV et rejouer les gestes. Il sera aussi possible de les évaluer automatiquement à l’aide d’indicateurs géométriques, cinématiques ou dynamiques ainsi que ceux basés sur des scores ou sur le temps et correspondant aux besoins pédagogiques d’observation [Ouramdane et al. 2009, Larboulette and Gibet 2015, Le Naour et al. 2019, Couland 2020, Djadja 2023].

 

Bibliographie

  • [Couland 2020] Couland, Q. (2020). “Contribution à l’apprentissage humain de gestes à l’aide detechniques de clustering pour l’analyse de mouvements capturés”. Thèse de doctorat, Le MansUniversité. https://www.theses.fr/2020LEMA1011
  • [Djadja 2023] Djadja, D. J. D. (2023). “Méthodes et outils pour la création et l’évaluation desituations d’apprentissage de gestes en environnements virtuels”. Thèse de doctorat, Le MansUniversité. https://www.theses.fr/s357579
  • [Larboulette and Gibet 2015] Larboulette, C. and Gibet, S. (2015). “A Review of ComputableExpressive Descriptors of Human Motion”. In 2nd International Workshop on Movement andComputing. pp. 21–28. IEEE. https://doi.org/10.1145/2790994.2790998
  • [Le Naour et al. 2019] Le Naour, T., Hamon, L., Bresciani, J.P. (2019). “Superimposing 3D VirtualSelf + Expert Modeling for Motor Learning: Application to the Throw in American Football”.Frontiers in Information and Communication Technologies (Frontiers in ICT). Vol. 6.https://dx.doi.org/10.3389/fict.2019.00016.
  • [Mahdi et al. 2019] Mahdi, O., Oubahssi, L., Piau-Toffolon, C., and Iksal, S. (2019). ”Assistance toscenarisation of vr-oriented pedagogical activities: Models and tools”. In IEEE 19th InternationalConference on Advanced Learning Technologies (ICALT). pp. 344–346.https://doi.org/10.1109/ICALT.2019.00107
  • [Mahdi 2021] Mahdi, O. (2021). “ Modèle et outil pour assister la scénarisation des activitéspédagogiques orientées RV”. Thèse de doctorat, Le Mans Université.https://www.theses.fr/2020LEMA1011
  • [Ouramdane et al. 2009] Ouramdane, N., Otmane, S. and Malik Mallem, M. (2009). “Interaction3D en Réalité Virtuelle – Etat de l’art”. Revue des Sciences et Technologies de l’Information – SérieTSI : Technique et Science Informatiques, 28 (8). pp.1017-1049. https://hal.science/hal-00376458/document
  • [Sigrist et al. 2012] Sigrist, R., Rauter, G., Riener, R., and Wolf, P. (2012). “Augmented visual,auditory, haptic, and multimodal feedback in motor learning : a review”. In Psychonomic bulletin& review, 20(1). pp. 21-53. https://doi.org/10.3758/s13423-012-0333-8