Learning Analytics-Based Formative Assessment Recommendations for Technology-Enhanced Learning Practices
Recommandations fondées sur les learning analytics pour les pratiques d'évaluation formative assistée par la technologie
Résumé
Formative assessment is a useful teaching method for improving learning and teaching. Providing teachers and learners with feedback designed to help them reach the learning objectives is at the core of every formative assessment processes. To conduct large scale formative assessment, technology-enhanced formative assessment systems emerged to support the usage of formative assessment processes. These systems generate data that can serve as a basis for improving these processes and services they provide. Consequently, we tackle the following research questions: which useful information can be inferred from the analysis of data gathered from a tool implementing formative assessment processes used in authentic contexts? How can such information contribute to improve formative assessment processes orchestration? Based on literature and using a dataset gathered from the use of a formative assessment tool named Elaastic, we use learning analytics to provide evidence-based knowledge about formative assessment practices. This knowledge led us to design (i) recommendations for system designers of formative assessment tools (ii) recommendations for teachers orchestration of formative assessment sequences (iii) an orchestration model to assist teachers decision-making during the sequence. Afterwards, we put this orchestration model to the test by implementing it within Elaastic through explainable recommendations and collecting data of its usage. The analysis of these data provides evidences that show that (1) teachers do not follow the recommendations and (2) if teachers had followed them, there would be significantly improved benefits for learners. Future works discuss the way our orchestration model could be improved and expanded to other contexts.
L'évaluation formative est un levier pour améliorer l'apprentissage et l'enseignement. La fourniture de feedback aux étudiants et aux enseignants dans le but d'atteindre les objectifs d'apprentissage est au cœur de tout processus d'évaluation formative. Dans les contextes d'enseignement de masse, des systèmes technologiques sont apparus pour soutenir la mise en œuvre de processus d'évaluation formative. Ces systèmes génèrent des données qui peuvent servir de base pour améliorer ces processus et les services qu'ils offrent. Par conséquent, nous adressons les questions de recherche suivantes : quelles informations utiles peut-on obtenir à partir de l'analyse d'un jeu de données collecté via l'utilisation en contexte réel d'un système d'évaluation formative ? Comment peut-on exploiter ces informations pour aider les enseignants à orchestrer leurs séquences d'évaluation formative ? À partir de la littérature et d'un jeu de données collecté via l'usage d'un système d'évaluation formative nommé Elaastic, nous mobilisons les learning analytics pour apporter des connaissances sur les pratiques d'évaluation formative. Ces connaissances nous ont permis de concevoir (i) des recommandations pour les concepteurs de systèmes d'évaluation formative (ii) des recommandations pour les enseignants qui orchestrent des séquences d'évaluation formative (iii) un modèle d'orchestration conçu pour aider les enseignants à prendre des décisions tout au long de la séquence. Par la suite, Nous testons ce modèle d'orchestration en l'implantant dans Elaastic par le moyen de recommandations explicables et en collectant des données de son utilisation. L'analyse de ces données montre (1) que les enseignants ne suivent pas les recommandations et (2) que si ces recommandations avaient été suivies, les séquences auraient été significativement plus bénéfiques pour les apprenants. Les travaux futurs proposent des améliorations et extensions possibles de ce modèle d'orchestration.
Origine : Version validée par le jury (STAR)