Teaching Analytics : support à l’évaluation et l’assistance à la conception pédagogique par l’intelligence artificielle.

Débuté le : 01/10/2019
Doctorant : Ibtissem Bennacer
Directeur(s) de Thèse : Sébastien Iksal
Co-encadrant(s) de Thèse : Rémi Venant
Financement : Bourse Ministérielle

Le sujet de cette thèse s’inscrit dans le cadre de l’utilisation des Teaching Analytics pour analyser les comportements des enseignants et les assister dans l’utilisation des Learning Management System (LMS).
Les Teachings Analytics (TA) se réfèrent aux méthodes et aux outils pour aider les enseignants à analyser et à améliorer leurs conceptions pédagogiques, et plus récemment, à l’analyse de la manière dont ceux-ci dispensent leurs enseignements. Notre objectif est d’exploiter ce domaine des Teaching Analytics afin d’aider les enseignants à évaluer leurs comportements sur leur LMS institutionnel. In fine, nous souhaitons doter les enseignants d’outils d’awareness personnel et sociale, afin qu’ils s’engagent dans des situations d’apprentissage visant à améliorer leurs utilisations du LMS, et de soutenir ces situations par des feedbacks automatiques et un apprentissage par les pairs.
Nous avons conçu un modèle d’évaluation sur la base d’une analyse qualitative et d’une analyse quantitative. Ce modèle décrit les pratiques des enseignants sur les LMS à travers six axes majeurs : l’évaluation, la réflexion, la communication, la collaboration, les ressources ainsi que l’interactivité et la gamification. À partir de ce modèle, nous avons conçu 3 indicateurs de TA : tendance d’utilisation du LMS, score de curiosité et score de régularité.
Actuellement, nous développons une application web dédiée aux enseignants et aux ingénieurs pédagogiques pour (i) fournir aux premiers des fonctionnalités d’auto-évaluation et de recommandations, et (ii) permettre aux seconds de détecter les enseignants ayant des besoins spécifiques et les enseignants ayant un profil d’expert.

 

 

 

 

Thèse soutenue le 9 décembre 2022

Composition du jury :

  • Mme. Christine MICHEL, Professeur des Universités, Université de Poitiers, rapporteur
  • M. Thibault CARRON, Maître de Conférences (HDR), Université Savoie Mont Blanc, rapporteur
  • Mme. Vanda LUENGO, Professeure des Universités, Sorbonne Université, examinateur
  • M. Jean-Marie GILLIOT, Maître de Conférences, IMT Atlantique, examinateur
  • M. Sébastien IKSAL, Professeur des Universités, Le Mans Université, directeur
  • M. Rémi VENANT, Maître de Conférences, Le Mans Université, encadrant
  • Rémi VENANT, Maître de Conférences, Le Mans Université, encadrant
Mots-clés : teaching analytics, learning Management System, auto-évaluation, clustering, recommandation
Résumé :

Cette thèse s’inscrit dans le cadre de l’utilisation des Teaching Analytics pour analyser les comportements des enseignants et les assister dans l’utilisation des systèmes de gestion de l’apprentissage (LMS). Notre objectif est d’exploiter ce domaine afin d’aider les enseignants à évaluer leurs comportements sur leur LMS. In fine, nous souhaitons doter les enseignants d’outils leur permettant de s’engager eux-mêmes dans des situations d’apprentissage visant à améliorer leurs utilisations du LMS, et de soutenir ces situations par le biais de feedbacks et d’un support à l’apprentissage par les pairs. Afin d’atteindre cet objectif, nous avons investigué trois questions de recherche: (i) Comment aider les enseignants à prendre conscience de leur propre situation et à s’auto-évaluer sur l’utilisation de leurs LMS ?,  (ii) Comment aider les enseignants à enrichir leur utilisation du LMS institutionnel ? et enfin (iii) Comment fournir aux enseignants et aux ingénieurs pédagogiques un outil de soutien mieux adapté à leurs besoins ?

Pour répondre à nos questions de recherche, nous avons conçu un modèle d’évaluation sur la base (i) d’une analyse qualitative à partir d’entretiens que nous avons eus avec plusieurs ingénieurs pédagogiques et (ii) d’une analyse quantitative que nous avons réalisée sur trois années d’activités d’enseignants sur le LMS de l’Université. Ces deux études ont été exploitées conjointement pour concevoir un modèle explicable qui catégorise l’utilisation de la plateforme par les enseignants et ainsi permettre à ces derniers d’évaluer leurs pratiques selon plusieurs aspects (i.e., axes du modèle: évaluation, réflexion, communication, collaboration, ressources, interactivité et gamification). À partir de ce modèle, nous avons conçu un premier indicateur de TA, la tendance d’utilisation du LMS. Fondé sur une analyse en clustering afin d’identifier des groupes d’enseignants ayant une utilisation particulière selon chaque axe, celui-ci offre un moyen de fournir un support à l’awareness sociale. Dans une perspective d’un support à l’awareness individuelle, deux autres indicateurs viennent fournir un moyen simple d’évaluer sa pratique. Toujours dans le contexte des axes du modèle, nous avons donc proposé des scores pour exprimer (i) la curiosité de l’enseignant (la variété de l’utilisation de la plateforme indépendamment du temps) et (ii) l’homogénéité d’utilisation des différentes facette du LMS (la régularité de l’utilisation des différentes fonctionnalités relatives à un axe).

Nous avons par la suite proposé 3 systèmes de recommandation s’appuyant sur ce modèle et ces indicateurs visant à aider les enseignants à améliorer leurs pratiques dans le LMS de l’université. Un premier système de recommandation s’attache à proposer les fonctionnalités inexploitées par l’enseignant selon chaque axe afin de les motiver dans leur découverte et de les aider à améliorer la conception de leurs cours. Un second système de recommandation d’ingénieurs pédagogique simple a été mis en place pour faciliter la mise en place d’un dialogue entre l’enseignant et ces derniers. Enfin, un système de recommandation hybride a été élaboré pour permettre aux enseignants de recevoir des recommandations de pairs. Celui-ci sélectionne les collègues qui présentent de meilleures valeurs métriques selon l’axe du modèle choisi, qui ne sont pas déjà sur-recommandés, et qui sont les plus proches physiquement et thématiquement.

Nous avons ensuite adopté une approche centrée utilisateur afin de valider le modèle comportemental que nous avons conçu préalablement et de pouvoir l’instrumenter de la façon la plus appropriée à l’enseignant. Par conséquent, la première version fonctionnelle de notre application de soutien iTeachApp a été développée pour (i) fournir aux premiers des fonctionnalités d’auto-évaluation et de recommandations, et (ii) permettre aux seconds de détecter les enseignants ayant des besoins spécifiques et les enseignants ayant un profil d’expert.

 

Publications :
  1. iTeachApp, a teaching analytics tool for providing self-assessment and recommendations to teachers, ECTEL 2022, https://hal.archivesouvertes.fr/hal-03785590/document
  2. A behavioral model to support teachers’ self-assessment and improve their LMS mastery, ICALT 2022, https://hal.archives-ouvertes.fr/hal03762692/document
  3. iTeachApp, un outil d’auto-évaluation et de soutien pour les enseignants, RJC 2022, https://hal.archives-ouvertes.fr/hal03762690/document
  4. A Self-assessment Tool for Teachers to Improve Their LMS Skills based on Teaching Analytics, CSEDU 2022, https://hal.archivesouvertes.fr/hal-03706116/document
  5. Towards a self-assessment tool for teachers to improve LMS mastery based on Teaching Analytics, ECTEL 2021, https://hal.archivesouvertes.fr/hal-03349808/document
  6. Les Teaching Analytics pour l’auto-évaluation par analyse comportementale de l’enseignant sur un LMS, EIAH 2021, https://hal.archives-ouvertes.fr/hal-03290348/document
  7. Détection et évaluation des pratiques enseignantes dans un LMS par les Teaching Analytics, RJC 2020, https://hal.archivesouvertes.fr/hal-03349795/document