Recrutement

Proposition de sujet de thèse en informatique, LIUM

Titre : Modélisation et analyse de l’activité, en environnement virtuel pour l’apprentissage humain, à partir des séries temporelles

 

Mots-clés : EVAH (Environnement Virtuel pour l’Apprentissage Humain), séries temporelles, réalité virtuelle, apprentissage automatique,

Laboratoire et équipe d’accueil : Laboratoire d’Informatique de l’Université du Mans (LIUM, https://lium.univ-lemans.fr/), équipe Ingénierie des Environnements Informatiques pour l’Apprentissage Humain (IEIAH)

Directeur de thèse : Sébastien George, Professeur à l’Université du Mans (IUT de Laval)
Co-encadrant : Ludovic Hamon, Maître de Conférences à l’Université du Mans (IUT de Laval)

Financement : conditionné par l’obtention d’une allocation doctorale ministérielle, Contrat doctoral à Durée Déterminée (CDD) sur 3 ans, 2 024 euros bruts mensuel (salaire de base + monitorat).

Lieu et date de commencement : Cette thèse commencera le 1 er septembre 2018 et aura lieu au sein du Laboratoire d’Informatique de l’Université du Mans (LIUM), dans le bâtiment CERIUM2 (Centre de Recherche et d’Innovation de l’Université du Mans en Mayenne), proche de l’IUT, situé à Laval (53).

Date limite de dépôt de la candidature : 30/04/2018

Modalités de recrutement : Sur dossier et entretien. Merci d’envoyer votre candidature à ludovic.hamon[at]univ-lemans.fr. Votre candidature devra comporter :

  • un CV,
  • une lettre de motivation,
  • le rapport du stage de Master 2 (si disponible)
  • les résultats de classement en Master 2 et le(s) bulletin de notes correspondant (si non disponible, ceux du Master 1),
  • toute autre pièce jointe que vous jugerez utile.

Profil recherché :

Deux profils peuvent convenir et le sujet de thèse sera adapté en fonction du profil du candidat

  • (i) Master 2 ou Ingénieur en Informatique orientée et/ou réalité virtuelle/augmentée/mixte
    • Des connaissances en apprentissage automatique constituent un plus
  • (ii) OU Master 2 ou Ingénieur en Informatique orientée en apprentissage automatique (machine learning)
    • Des connaissances en réalité virtuelle constituent un plus

Compétences relationnelles :

  • Savoir travailler en équipe et avoir un bon contact relationnel
  • Avoir un esprit d’initiative, d’autonomie de curiosité et le goût pour la recherche et l’innovation
  • Être rigoureux

 

Sujet :

Les Environnements Virtuels (EV) pour l’Apprentissage Humain (EVAH) sont devenus des objets d’étude incontournables pour les recherches menées sur l’apprentissage humain, les Interfaces Homme-Machine (IHM) et les interactions multimodales [Pellas et al. 2017][Natsis et al. 2012]. En l’état actuel de nos connaissances, la plupart des travaux menées sur les EVAHs, évalue la progression de l’apprenant selon un système qui n’est pas ou peu basé sur les propriétés inhérentes aux EVs i.e. des environnements permettant à l’utilisateur de naviguer et d’interagir dans un espace en trois dimensions et en temps réel.

Au sein d’un EV immersif et à l’aide d’un scénario d’apprentissage prédéfini, un apprenant doit généralement effectuer une succession d’actions, consistant en la modification des propriétés d’un ou plusieurs artefacts virtuels (e.g. pourcentage de couverture d’un mur à peindre, position finale d’une balle de golf, etc.). Du point de vue de l’évaluation de l’activité humaine, de tels EVA ne sont pas si différents de n’importe quel système informatique dédié à l’apprentissage et basé sur le paradigme d’interaction WIMP (i.e. Window, Icon, Menu and Pointer). En effet, ces systèmes informatiques analysent les activités en collectant des traces et en générant des indicateurs 1 à partir des états discrets du système et de ses artefacts d’une part, et d’une succession d’actions effectuées avec la souris et le clavier d’autre part [Markowska-Kaczmar et al. 2010]. Cependant, les EVs offrent des possibilités d’interaction bien plus avancées telles que celles basées sur le mouvement et le geste humain pour la sélection et la manipulation d’objet 3D, la navigation et le contrôle de l’application [Penichet et al. 2013][Emma-Ogbangwo et al. 2014].

Si on considère, par exemple, l’apprentissage de gestes et de tâches non triviaux en EVs (e.g. soudure, assemblage industriel, apprentissage du golf, gestes chirurgicaux, guitare), les recherches actuelles se basent essentiellement sur l’évaluation empirique menée par un expert-enseignant, l’EV offrant des possibilités d’observations « améliorées » (e.g. observation selon différents angles de vue, relecture du scénario d’apprentissage, superposition du geste de l’apprenant et de l’enseignant, etc.) [Choi et al. 2015][Kora et al. 2015] ] [Yoshinaga and Soga 2015][Couland et al. 2017]. Ce type de recherche ne permet pas (ou peu) de décrire et formaliser les propriétés du mouvement des artefacts virtuels aboutissant à la réussite ou l’échec de la tâche. Par conséquent, de mauvaises stratégies d’apprentissage et/ou d’enseignement peuvent être appliquées. Cependant, dans beaucoup de cas pratiques, analyser l’activité de l’apprenant en EV immersif revient aussi à analyser les séries temporelles issues de l’évolution, dans l’espace 3D et au cours du temps, des positions de l’apprenants et des artefacts virtuels.

Les méthodes automatiques permettent l’inférence d’informations sur une grande quantité de données hautement dimensionnelles [Singh and Lal 2013]. Les séries temporelles issues des mouvements ont déjà été automatiquement indexées et analysées à l’aide de technique de datamining [Toussaint et al. 2015] et/ou d’algorithmes d’apprentissage supervisés pour la détection
et la reconnaissance d’émotion, d’intention et d’action [Kapsouras and Nikolaidis 2014][Sanchez-Mendosa et al. 2015][Saxena et al. 2017]. Cependant, la labélisation des données demeure toujours une tâche longue et fastidieuse. De plus, les propriétés et descripteurs des mouvements sont déterminés : soit (i) automatiquement et difficilement interprétables, soit (ii) manuellement et difficilement trouvables.

Cette thèse contribuera ainsi à la construction d’un système permettant la modélisation et l’analyse automatique des séries temporelles générées pendant l’activité de l’apprenant en EVAH immersif. Ce travail de recherche est décomposé en trois temps

  • Contribuer à un état de l’art sur les descripteurs du mouvement, des séries temporelles et les traitements automatiques appliqués sur ces types de donnée
  • Implémentation, tests et validation des descripteurs et des méthodes automatiques choisis au sein de la plateforme MLA (Motion Learning Analytic) développé par l’équipe IEIAH du LIUM depuis 2015 [Couland et al. 2017].
  • Expérimentation des outils et modèles construits au sein d’un EVAH immersif en fonction d’un ou plusieurs scénarios tests d’apprentissage

Une approche « terrain » sera utilisée afin de définir un ou plusieurs domaines d’applications privilégiés (e.g. activité sportive, activité industrielle, médecine, etc.) et de rencontrer les acteurs concernés.

 

Bibliographie

– [Choi et al. 2015] Choi, K.-S., He, X., Chung-Lim, V. and Deng, Z. (2015): A virtual reality based simulator for learning nasogastric tube placement, Computers in Biology and Medicine, vol. 57, pp. 103-115.

– [Couland et al. 2017] Couland, Q., Hamon, L. and George, S. (7-9 juin 2017), “Apprentissage des Mouvements Humain en Situation Informatisée: Avantages, Limites et Perspectives Apportées par l’Approche
Automatique”, 8 ème édition de la conférence des Environnements Informatiques pour l’Apprentissage Humain (EIAH’2017), Strasbourg (France).

– [Emma-Ogbangwo et al. 2014] Emma-Ogbangwo, C., Cope, N., Behringer, R. and Fabri, M. (2014). Enhancing User Immersion and Virtual Presence in Interactive Multiuser Virtual Environments through the  Development and Integration of a Gesture-Centric Natural User Interface Developed from Existing Virtual Reality Technologies. HCI International.

– [Kapsouras and Nikolaidis 2014] Kapsouras, I. and Nikolaidis, N., (2014). Action recognition on motion capture data using a dynemes and forward differences representation. JVCIR, volume 25, number 16, Pages 1432-1445.

– [Kora et al. 2015] Kora, T., Soga, M. and Taki, H., (2015). Golf Learning Environment Enabling Overlaid Display of Expert’s Model Motion and Learner’s Motion Using Kinect, Procedia Computer Science, volume 60, pp. 1559-1565.

– [Markowska-Kaczmar et al. 2010] Markowska-Kaczmar, U., Kwasnicka, H., and Paradowski, M., (2010). Intelligent Techniques in Personalization of Learning in e-Learning Systems. In Computational Intelligence for Technology Enhanced Learning, vol. 273, pp 1-23.

– [Natsis et al. 2012] Natsis, A., Vrellis, I., and Papachristos, M. N., (2012). Technological Factors, User Characteristics and Didactic Strategies in Educational Virtual Environments. In ICALT.

– [Pellas et al. 2017] Pellas, N., Kazanidis, L., Konstantinou, N., and Georgiou, G., (2017). Exploring the educational potential of three-dimensional multi-user virtual worlds for STEM education: A mixed-method
systematic literature review. Education and Information Technologies, Volume 22, Number 5, Pages 2235—2279

– [Penichet et al. 2013] Penichet, V. M. R., Peñalver, A. and Gallud, J. A.., (2013). New Trends in Interaction, Virtual Reality and Modeling. Human–Computer Interaction Series, Springer-Verlag, Number 1.

– [Sanchez-Mendosa et al. 2015] Sanchez-Mendosa, D., Masip, D. and Laepdriza, A., (2015). Emotion Recognition from Mid-level Features, Pattern Recogniton Letters, Volume 67, Number 1P1, Pages 66-74.

– [Saxena et al. 2017] Saxena, A., Prasad, M., Gupta, A., Bharill, N., Prakash Patel, O., Tiwari, A., Joo Er, M., Ding, W., and Lin, C. T., (2017). A review of clustering techniques and developments. Neurocomputing. Volume 267, Supplement C.

– [Singh and Lal 2013] Singh, S., and Lal, S. P., (2013). Educational courseware evaluation using Machine Learning techniques. In IEEE Conference on e-Learning, e-Management and e-Services (IC3e) on, pp. 73-78.

– [Toussaint et al. 2015] Toussaint, B.-M., Luengo, V., Jambon, F. and Tonetti, J., (2015). From Heterogeneous Multisource Tracks to Perceptual-Gestural Sequences: the PeTra Treatment Approach. In AIED, LNCS, vol. 9112, pp. 480-491. [Yoshinaga and Soga 2015] Yoshinaga, T. and Soga, M., (2015). Development of a Motion Learning Support System Arranging and Showing Several Coaches’ Motion Data, Procedia Computer Science, vol. 60, pp. 1497-1505, 2015.