Le regard comme marqueur du réel

Méthode d’évaluation du réalisme des simulations 3D pour la formation fondée sur l’attention visuelle

Laboratoire d’accueil : Laboratoire d’Informatique de l’Université du Mans (LIUM)
Équipe : IEIAH (Ingénierie des Environnements Informatiques pour l’Apprentissage Humain)
Site : Campus de Laval (53)
Financement : Allocation doctorale des collectivités locales mayennaises
Direction de thèse : Sébastien Iksal (PR, sebastien.iksal@univ-lemans.fr)
Encadrement : Erwan David (MCF, erwan.david@univ-lemans.fr)
Co-encadrement : Julien Pettré (DR, julien.pettre@inria.fr)

Description du projet
La validation de simulations 3D est essentielle pour garantir qu’un objet ou un environnement virtuel simulé provoque les mêmes réactions qu’en vrai. Par exemple, en réalité virtuelle, il est
crucial qu’une simulation soit perçue comme proche du réel pour que les comportements de l’utilisateur soient transposables dans une situation réelle. La simulation de scènes et objets est très
importante pour l’apprentissage en conditions simulées, un thème récurrent dans l’enseignement [1] et la formation professionnelle (p.e. aux soins de santé [2]). La simulation nous offre la possibilité de concevoir des situations et des conditions d’apprentissage hautement contrôlées, qui seraient difficiles à reproduire dans la réalité en raison de leur coût en temps et en argent, ou compte tenu de risques associés (simulation de situations dangereuses). Il s’avère que la manière dont on regarde des scènes ou objets peut être impactée par des éléments perturbateurs, car inhabituels ou inattendus. Les données oculométriques, (enregistrement des mouvements des yeux), sont une source riche d’informations mais sont très peu utilisées pour évaluer le réalisme d’objets simulés.

L’équipe IEIAH du LIUM mène des recherches en réalité virtuelle depuis plusieurs années (projets EVAGO et Virtual 3R). Le cadre géographique est aussi très propice à cette recherche, grâce aux
collaborations et échanges possibles avec les chercheurs au sein du Laval Virtual Center (ENSAM, Clarté) et le Master TEEF.

Objectifs du Projet
Le projet vise à développer une méthode d’évaluation du réalisme des simulations basée particulièrement sur les mouvements des yeux. Pour ce faire, il est nécessaire de collecter des données oculométriques lors de l’observation de stimuli simulés et réels. Le projet se divise en deux axes principaux :
1. Acquisition de données : Développer une méthode simple et versatile pour acquérir des données oculométriques. Cette méthode doit être applicable à tout type de simulations et
permettre l’utilisation du crowdsourcing pour obtenir rapidement des jeux de données conséquents et diversifiés.
2. Modélisation et évaluation : Créer un modèle d’évaluation du réalisme des stimuli et de localisation des détails attirant à tort l’attention. Ce modèle utilisera des techniques
d’apprentissage automatique (IA) pour prédire ce qui est perturbant dans une simulation et calculer une valeur de réalisme.

Pour atteindre ces objectifs, le projet repose sur quatre étapes clefs :
1. Simplification du processus d’acquisition de données : Développer des protocoles expérimentaux simples et versatiles pour collecter des données oculométriques. Cela inclut l’utilisation de la souris comme proxy de l’attention visuelle et la présentation de stimuli sur écran standard d’ordinateur [3].
2. Validation des passerelles expérimentales : Comparer les comportements du regard obtenus dans différentes conditions expérimentales, notamment entre la réalité virtuelle et
l’observation sur écran standard. Cela permet de vérifier que les comportements observés en réalité virtuelle sont bien réplicables dans des conditions plus simples permettant la collecte de données en masse [4, 5].
3. Identification des caractéristiques du regard : Identifier les caractéristiques du regard les plus utiles à l’identification des perturbations de l’attention visuelle. Cela inclut l’analyse des fixations, des saccades, des pupilles, voire d’autres variables physiologiques [6].
4. Modélisation et prédiction : Développer un modèle d’apprentissage automatique pour prédire le réalisme. Ce modèle permettra de calculer une valeur de réalisme globale et une plus fine permettant d’identifier précisément quelle(s) partie(s) d’une simulation sont problématiques. Ce modèle d’IA s’intégrera dans un processus itératif d’amélioration de simulations.

Profil attendu
Le/la candidat(e) doit présenter :
• un master en Informatique ou similaire ;
• de bonnes compétences en traitement du signal ;
• des compétences en apprentissage machine (deep learning) ;
• un bon niveau d’anglais (écrit et oral) ;
• de bonnes compétences rédactionnelles.

Modalités de recrutement
Sur dossier puis entretien.
Votre candidature doit être transmise par voie électronique à
erwan.david@univ-lemans.fr
ET sebastien.iksal@univ-lemans.fr

Votre candidature devra comporter :
• un CV ;
• une lettre de motivation ;
• le rapport du stage de Master 2 (si disponible) ;
• les résultats et classement en Master 1 et Master 2 (si disponible) ;
• tout autre pièce jointe que vous jugerez utile (lettre de recommandation conseillé)

Références
[1] Moro, C., Phelps, C., Redmond, P., & Stromberga, Z. (2021). HoloLens and mobile augmented reality in medical and health science education: A randomised controlled trial. British Journal of Educational Technology, 52(2), 680-694.
[2] Tun, J. K., Alinier, G., Tang, J., & Kneebone, R. L. (2015). Redefining simulation fidelity for healthcare education. Simulation & Gaming, 46(2), 159-174. [article]
[3] David, E., & Võ, M. L.-H. (March 2023). Mouse movements on-screen are an alternative to gaze in VR. 65th Tagung experimentell arbeitender Psycholog:innen (TeaP; Conference of
Experimental Psychologists). Trier, Germany.
[4] David, E., Beitner, J., & Võ, M. L.-H. (2020). Effects of transient loss of vision on head and eye movements during visual search in a virtual environment. Brain sciences, 10(11), 841.
[5] David, E., Lebranchu, P., Perreira Da Silva, M. & Le Callet, P. (2022). What are the visuo-motor tendencies of omnidirectional scene free-viewing in virtual reality?. Journal of Vision, 22(4), 12.
[6] David, E., Lebranchu, P., Perreira Da Silva, M. & Le Callet, P. (2019). Predicting artificial visual field losses: a gaze-based inference study. Journal of Vision, 19(14), 22.