Analyse et modélisation de l'activité humaine en environnement virtuel à partir des séries temporelles

Débuté le : 01/10/2018
Doctorant : Jean Delest D. DJADJA
Directeur(s) de Thèse : Sébastien George (LIUM - IEIAH)
Co-encadrant(s) de Thèse : Ludovic Hamon (LIUM - IEIAH)
Financement : Bourse Ministérielle

Nos travaux se situent dans le cadre de l’apprentissage de gestes techniques en Environnement Virtuel (EV) par des apprenants et évaluer par des enseignants. Nous proposons une méthode d’extraction du mouvement effectué par les parties du corps et des objets manipulés en EV basée sur l’utilisation de points de contrôles (CheckPoints (CPs)) c.-à-d. des formes géométriques 3D simples (sphère et cube) délimitant le début, la fin et l’ensemble des étapes intermédiaires du mouvement à apprendre. Nous proposons un module dénommé MEVEL (Motion Evaluation in Virtual Environment for Learning) dans lequel est implémentée la méthode proposée. Grâce à ce module, l’enseignant peut évaluer l’apprenant en faisant une comparaison de leurs gestes, reposant sur des caractéristiques cinématiques et géométriques du mouvement d’une part, mais aussi sur le respect du protocole d’autre part. Nous avons évalué le système proposé grâce à plusieurs expérimentations impliquant diverses tâches telles que le lancer de fléchette, le billard, et l’écriture d’une lettre. Les résultats ont montré une diversité dans le choix des objets d’intérêts dont le mouvement devait être imité, mais aussi dans la forme et le nombre de CPs à créer pour la partie “enseignant”. Pour la partie “apprenant”, une seconde expérimentation est en cours dans laquelle les gestes et le protocole nécessaires à la réalisation d’une dilution en biologie doivent être appris. La dilution est l’action d’ajouter un liquide à une solution pour diminuer la concentration de ce liquide. En raison de la variété des solutions dangereuses ou instables manipulées en laboratoire, le processus de dilution est une tâche complexe qui implique un ensemble de gestes précis et bien définis suivant un protocole strict pour éviter tout danger. L’objectif de cette expérimentation est d’évaluer l’impact des compétences gestuelles et procédurales sur l’apprentissage.

 

 

 

Liste des publications

  • Djadja Jean Delest Djadja, Vers une méthode générique pour l’évaluation des mouvements dans les EVAH, RJC-EIAH, Juin 2020, France, En ligne, https://rjceiah20.conference.univ-poitiers.fr/wp-content/uploads/sites/406/2020/05/DJADJA_communication_RJCEIAH.pdf
  • Djadja Jean Delest Djadja, Ludovic Hamon et Sébastien George, Design of a Motion-Based Evaluation Process in any Unity 3D Simulation for Human Learning, GRAPP, 2020, Malte, La Valette, https://www.scitepress.org/PublicationsDetail.aspx?ID=U6k5jUnS5+o=&t=1
  • Djadja Jean Delest Djadja, Ludovic Hamon et Sébastien George, Modeling and Evaluating of Human 3d+t Activities in Virtual Environment, ECTEL, Sep 2019, Delft, Netherlands, https://hal.archives-ouvertes.fr/LIUM/hal-02298496v1
  • Djadja Jean Delest Djadja, Modélisation et évaluation de l’activité humaine 3d+t en environnement virtuel, EIAH, Juin 2019, Paris, France, https://eiah2019.sciencesconf.org/resource/page/id/17