Modélisation et évaluation du geste technique de Contrôle Non Destructif en réalité augmentée

Résumé :
L’objectif de cette thèse est de concevoir des modèles et développer des outils permettant d’assister un utilisateur dans l’apprentissage de gestes techniques liés au Contrôle Non Destructif (CND) en Réalité Augmentée (RA). Le CND permet d’examiner l’intégrité d’une pièce industrielle sans l’altérer, en utilisant, par exemple, la radiographie ou la magnétoscopie. À l’aide des outils de RA, il est attendu que l’enseignant puisse enregistrer et rejouer les gestes techniques à effectuer lors du CND, ainsi qu’évaluer automatiquement les activités de ses étudiant(e)s. En outre, un éditeur de retours pédagogiques permettra à l’enseignant de définir
• quand (i.e. en temps réel ? Avant ou après des étapes clés du geste ? Etc.) le retour pédagogique en RA doit avoir lieu
• où ce retour pédagogique doit être placé dans l’environnement augmenté (attaché au sol ou sur une table, à une partie du corps, sur un outil à un objet réel, etc.)
• quelle forme le retour pédagogique visuel doit prendre (i.e. texte 3D affichant la vitesse du mouvement, un avatar 3D montrant le geste, une trajectoire d’un objet à placer, la couleur d’un objet à prendre, etc.)

Laboratoire et équipe d’accueil : Laboratoire d’Informatique de l’Université du Mans (LIUM, https://lium.univ-lemans.fr/), équipe Ingénierie des Environnements Informatiques pour l’Apprentissage Humain (IEIAH)
Partenariats : Cette thèse est financée par le projet ECND+ dont Le Mans Université est le porteur et coordinateur. Elle est réalisée en partenariat avec l’ECND Academy (https://ecnd-academy.com/fr/index.html) et avec l’UFR Sciences et Technique qui dispense des formations de niveau L3 en CND.
Financement : Contrat doctoral à Durée Déterminée (CDD) sur 3 ans, 2 300 € euros brut mensuels (salaire de base) voire 2 784 € brut mensuels (salaire de base + missions d’enseignement).
Mots-clés : Réalité augmentée, apprentissage de gestes, outil auteur, contrôle non destructif
Lieu et date de commencement : Entre le 1er septembre et le 1er octobre 2026 (date à définir avec le/la candidat(e)) à Laval (53), France.
Date limite de candidature : Jusqu’au 30 juin 2026, auditions au fil de l’eau

Missions :
• Recherche bibliographique sur les modèles et outils permettant de créer et éditer des environnements de réalité augmentée.
• Conception des modèles de représentation de l’activité, développement et test de l’outil permettant d’enregistrer et évaluer l’activité ainsi que fournir des retours pédagogiques en réalité augmentée.
• Mise en place d’expérimentations avec les enseignants et les étudiants afin de valider l’outil et les modèles sous-jacents, du point de vue de la modélisation de l’activité, son évaluation et ses apports pédagogiques.

Modalités de recrutement : Envoyer à ludovic.hamon@univ-lemans.fr (encadrant) et iza.marfisi@univ-lemans.fr (directrice)
• CV et lettre de motivation,
• votre rapport du stage de Master 2 (ou 5A, si disponible, le prérapport est accepté)
• vos bulletins de notes du Master 1 et du Master 2 (ou 4A et 5A) uniquement

Profil recherché :
Actuellement en master 2 ou en troisième année d’une école d’ingénieur le/la candidat(e) doit :
• avoir un profil orienté en réalité virtuelle/augmentée/mixte ou computer graphics
• travailler avec méthode et rigueur, et avoir des qualités d’organisation, qualités relationnelles, écoute et disponibilité.
• posséder les compétences techniques ci-dessous :
o Moteur 3D Unreal Engine ou à défaut Unity
o C++ ou C#
o Python

Présentation détaillée :
La Réalité Augmentée (RA) permet de créer des univers crédibles où des images 3D virtuelles se superposent aux images réelles avec de nouvelles possibilités d’interaction en temps réel(ARX Turns Exercise into an Augmented Reality Video Game, Vive XR Elite). Cette technologie est particulièrement utilisée à des fins éducatives pour, par exemple, manipuler des objets tangibles animés pour apprendre les mathématiques [Touel et al. 2023], observer et interagir avec des molécules de chimie [Rodríguez et al. 2021], assister l’apprenant dans un processus d’assemblage industriel [Raj et al. 2024, Alkan et al. 2025].

Le Contrôle Non Destructif (CND) regroupe un ensemble de méthodes pour examiner la structure et l’intégrité d’une pièce, sans la démonter ou l’altérer [Schickert et al. 2018]. Cette approche est très prisée en industrie afin d’identifier les défauts des pièces, lors de processus de maintenance. La formation aux gestes techniques du CND implique l’apprentissage d’un savoir-faire complexe et varié dans plusieurs domaines tels que la magnétoscopie, la radiographie, l’ultrason/écographie, la thermographique, etc. L’apprentissage de ces gestes techniques représente un défi pédagogique, car le geste peut être vu et étudié selon trois aspects non exclusifs : l’apprentissage d’une séquence ordonnée d’actions, un ensemble de postures du corps à imiter et/ou des contraintes géométriques, cinématiques ou dynamiques du mouvement à respecter [Djadja et al. 2020].

Dans ce contexte, les dispositifs matériels d’interaction innovante (casques de réalité mixtes, caméras 3D de profondeurs, combinaisons de capteurs IMUs, etc.), sont actuellement utilisés dans des environnements virtuels immersifs délivrant des aides visuelles en temps réel (e.g. avatar 3D montrant le geste, flèche indiquant la direction, couleur identifiant l’objet à prendre, etc.), lors de l’exécution des mouvements par l’apprenant [Djadja et al. 2020, Hefied et al. 2024]. Cependant, ces environnements virtuels immersifs coupent l’apprenant de la situation réelle ce qui pose des questions de transferts de compétences. En outre, ces outils numériques sont souvent dédiés à l’apprentissage d’un seul geste technique selon une stratégie pédagogique prédéfinie.

La RA a été utilisée en industrie, afin de créer des environnements d’apprentissage efficaces qui sont souvent peu ou pas éditables [Alkan et al. 2025]. Cependant, les travaux de la littérature nous montrent qu’il existe de nombreux modèles et approches permettant à l’enseignant de définir des Environnements Informatiques pour l’Apprentissage Humain (EIAH) au travers, par exemple d’environnements virtuels dont le scénario pédagogique est définissable [Oubahssi et al. 2024], ou des environnements auteurs de RA [Ez-Zaouia et al. 2023]. Ces outils et modèles sont peu appliqués dans le contexte de l’apprentissage d’un geste technique pour le CND.

Ainsi cette thèse s’attaque aux verrous scientifiques et techniques liés à la conception et l’opérationnalisation de modèles de représentation générique de l’activité, pour l’enseignement du CND en RA. En effet, ces modèles doivent être adaptables à l’enseignant, sa stratégie pédagogique et au geste de CND considéré. L’objectif applicatif est d’améliorer le transfert de compétences, par la conception, l’implémentation et l’usage d’un environnement augmenté, proche du réel.

Bibliographie :
[1] [Alkan et al. 2025] Alkan, B., Hasan, N., Webb, L., and Chinnathai, M. K. Spatial Augmented Reality in Manual Assembly: An Empirical Investigation of Its Effects on Assembly Performance and Cognitive Ergonomics. Available at SSRN 5606682, 2025.
[2] [Rodríguez et al. 2021] Rodríguez, F.C., Frattini, G., Krapp, L.F., Martinez-Hung, H., Moreno, D.M., Roldán, M., Salomón, J., Stemkoski, L., Traeger, S., Dal Peraro, M. and Abriata, L.A. MoleculARweb: A Web Site for Chemistry and Structural Biology Education through Interactive Augmented Reality out of the Box in Commodity Devices. Journal of Chemical Education, 98 (7), 2243-2255, 2021.
[3] [Djadja et al. 2020] Djadja, D. J. D., Hamon, L., and George, S. Design of a Motion-Based Evaluation Process in any Unity 3D Simulation for Human Learning, GRAPP, 2020.
[4] [Ez-Zaouia et al. 2023] Ez-Zaouia, M., Marfisi-Schottman, I. and Mercier, C. Authoring Tools: The Road To Democratizing Augmented Reality For Education. Proceedings of the 15th International Conference on Computer Supported Education, 115-127, 2023.
[5] [Hefied et al. 2024] Hefied, M. N., Hamon, L., George, S., Loison, V., Pirolli, F., Lopez, S., and Crétin-Pirolli, R. A Pipeline for the Automatic Evaluation of Dental Surgery Gestures in Preclinical Training from Captured Motions. In CSEDU, 420-427, 2024.
[6] [Larboulette and Gibet 2015] Larboulette, C. and Gibet, S. A review of computable expressive descriptors of human motion. In Proceedings of the 2nd International Workshop on Movement and Computing, 21-28, 2015.
[7] [Oubahssi et al. 2024] Oubahssi L., Piau-Toffolon C., Mahdi O. VR-Peas: a Virtual Reality PEdAgogical Scenarisation tool, Interactive Learning Environments, 1–18, 2024.
[8] [Raj et al. 2024] Raj, S., Murthy, L.R.D., Shanmugam, T.A., Kumar, G., Chakrabarti, A. and Pradipta Biswas, P. Augmented reality and deep learning based system for assisting assembly process. Journal of Multimodal User Interfaces, 18, 119-133, 2024.
[9] [Schickert et al. 2018] Schickert, M., Koch, C., and Bonitz, F. Prospects for integrating augmented reality visualization of nondestructive testing results into model-based infrastructure inspection. Proceedings of the NDE/NDT for Highways \& Bridges: SMT, 2018.
[10] [Touel et al. 2023] Touel, S., Marfisi-Schottman, I., George, S., Hattab, L. et Pelay, N. Le Chaudron Magique : un jeu en Réalité Mixte pour l’apprentissage des fractions en autonomie. Environnement Informatique pour l’Apprentissage Humain (EIAH), Jun 2023, Brest, France. pp.121-132.