Syllabus du cours “Évaluer l’apprentissage par ordinateur” MEEF-PIF (2018-19)#
Informations
Auteurs : Philippe Dessus, Inspé & LaRAC, Univ. Grenoble Alpes et Nelly Tarbouriech, rectorat de l’académie de Grenoble.
Date de création : Septembre 2015, révisé en Sept. 2017.
Résumé : Ce Document décrit l’organisation du cours de l’UE 309 du Master 2 PIF MEEF, Univ. Grenoble Alpes jusqu’en 2018. La version actuelle de l’organisation de l’UE est disponible ici : Syllabus du cours “Évaluer l’apprentissage par ordinateur” MEEF-PIF (2023-24).
Objectifs du cours#
À l’issue de ce cours, les étudiants seront capables :
d’analyser un domaine de connaissances pour en dégager des concepts, pouvant faire l’objet d’une évaluation automatisée ;
de connaître les différents types de rétroactions et d’en concevoir qui soient appropriées au niveau de connaissances de l’élève ;
de réaliser un cours composé de questions évaluatives, avec un outil de création de QCM et/ou de cours interactifs.
Structure des cours#
La méthode pédagogique adoptée dans le cours est de type “pédagogie inversée”, où les étudiants doivent prendre connaissance du contenu du cours avant séance, pour travailler sur un projet en séance, de manière collaborative. Les étudiants ne pouvant être présents en cours doivent contacter l’enseignant pour convenir d’une organisation du travail spécifique.
Chaque séance a la structure générique suivante (il est utile d’amener son ordinateur personnel à chaque séance). Il est aussi utile qu’un étudiant volontaire prenne des notes à propos du cours, les soumette à l’enseignant pour vérification avant diffusion à tous, notamment aux étudiants travaillant à distance.
Discussion sur le cours lu auparavant. Chaque séance en présence est dédiée à un approfondissement du cours, qui devra être lu au préalable (voir les indications ci-après), et la réponse aux questions suivantes devra être réfléchie :
Qu’est-ce que j’ai compris du cours ?
Qu’est-ce qu’il me reste à comprendre ?
Y a-t-il dans le cours des choses à préciser, développer ? des inexactitudes ?
Approfondissement : Recherche et présentation rapide à l’assistance de l’un des points du cours (recherche de documents complémentaires, de références citées dans le cours, etc.).
Travail dirigé en binômes (le contenu de chaque TD est indiqué à l’item du cours), ce TD consiste en la réalisation de petits projets par binômes courant sur 1 ou plusieurs séance(s), donnant lieu à diffusion en cours et pouvant être porté au dossier final. Le domaine sur lesquels portent les TD est au libre choix des étudiants.
Descriptif des Séances#
Toutes les séances sont de 2 h et ont lieu les mercredis (8:00-10:00) du premier semestre 2017-18. Attention, les n° des salles peuvent être sujets à changement.
1. Introduction au cours (12/9/18)#
(Ph. Dessus, Bât. Veil S. 301) Vue d’ensemble du cours.
Objectifs du cours
Présentation rapide des étudiants
Présentation rapide de l’organisation du cours et de son contenu
Présentation du site support du cours
Première réflexion sur un possible projet
2. Tâches pour évaluer l’apprentissage (19/9/18)#
(Ph. Dessus, Bât. Veil S. 112). Nous discuterons les principaux types de tâches permettant d’évaluer ou faire pratiquer les apprenants dans un but d’apprentissage.
Avant la séance : Visionner la conférence de Ph. Dessus Les QCM font-ils apprendre ? et faire l’Atelier - Les activités cognitives engagées dans un QCM.
Pendant la séance - TD 1 : Par binôme, réaliser le Travail Dirigé Analyse de tâches.
3. Les types de rétroactions et leurs effets sur l’apprentissage (26/9/18)#
(Ph. Dessus, Bât. Veil S. 301). Cette séance sera l’occasion de prendre connaissance des différents types de rétroactions.
Avant la séance : Lire les documents Les rétroactions informatisées, Les rétroactions : définition et rôle dans l’apprentissage, et Les différentes formes de rétroactions.
Pendant la séance : Terminer le TD 1. En rendre compte en public.
4. Analyse de contenu (3/10/18)#
(Ph. Dessus, Bât. Veil S. 112). Cette séance permet de commencer à ébaucher l’analyse du contenu du cours qui fera l’objet du dossier. Le processus d’analyse de contenu étant long, il devra être poursuivi en parallèle avec le travail sur les séances suivantes.
Avant la séance : Lire le Document Un processus de conception de documents de cours avec QCM et choisir un contenu dans lequel vous êtes expert·e, ainsi qu’un niveau d’enseignement auquel l’enseigner. Il est possible d’amener, pour la séance, des préparations de cours, des manuels sur le contenu choisi.
Pendant la séance : Mettre en œuvre le processus décrit dans le document lu avant séance.
5. Conception d’un QCM sur papier, partie 1 (10/10/18)#
(Ph. Dessus, Bât. Veil S. 112). Cette séance permet de commencer, sur papier, la conception de quelques items de QCM (simples ou plus complexes), dans le domaine de son choix.
Avant la séance : Lire les documents Les QCM : Bref historique, Les questionnaires à choix multiple : définitions et critiques, Les différents formats de QCM. Poursuivre le travail sur l’analyse de contenu (Séance 4), voir Un processus de conception de documents de cours avec QCM.
Pendant la séance : TD 2 : Concevoir trois items de QCM. Partir d’un exemple tiré de ce cours ou du thème du projet pressenti. Et, seulement après, se reporter à la partie du cours Rédiger des items de QCM pour le modifier pas à pas, en précisant : quelle règle a été appliquée, les modifications réalisées, quelles rétroactions afficher en fonction des réponses. Rédiger pour chaque réponse les rétroactions nécessaires. Une fois ce travail bien avancé, poursuivre l’analyse de contenu (séance 4).
6. Exemples d’usages pédagogiques des QCM (17/10/18)#
(N. Tarbouriech, Bât. Veil S. 112). Cette séance est l’occasion d’étudier divers usages pédagogiques de QCM à différents niveaux scolaires. Elle donnera lieu également à l’exploration d’un outil d’interrogation et d’évaluation en instantané pendant la séance.
Avant la séance : Prendre connaissance d’usages pédagogiques de situations d’apprentissage incluant l’utilisation de QCM (Lire le Document Quelques usages pédagogiques des QCM) ; observer au moins trois pratiques et types d’activités parmi celles proposées (en vous aidant de la grille d’observation fournie en Annexe du document Quelques usages pédagogiques des QCM).
Pendant la séance : Réaliser l’exercice de construction de carte mentale détaillé dans ex-1-usages.
7. Conception d’un QCM sur papier, partie 2 (7/11/18)#
(Ph. Dessus, Bât. Veil S. 112). Même but que le cours de la séance 5.
Avant la séance : Lire le document Répondre à un QCM : Aspects cognitifs, poursuivre et terminer le travail sur l’analyse de contenu, voir Un processus de conception de documents de cours avec QCM.
Pendant la séance : Terminer la rédaction des 3 items de QCM en s’intéressant particulièrement à ce que les réponses soient non devinables. Terminer le travail sur l’analyse de contenu (séance 4). Dans la mesure du possible, il faudra s’intéresser à recueillir des productions d’élèves, bien que cela ne soit pas absolument requis dans le cadre de ce cours.
8. Conception du cours dans un générateur de cours interactifs-1 (14/11/18)#
(Ph. Dessus, Bât. Veil S. 301). Cette séance et les séances 10 et 11 concernent la conception et implémentation du cours, par binômes, dans un logiciel générateur de cours interactif, au choix des étudiants.
Avant le cours : Finaliser le contenu du cours à dispenser (intégrant des items de QCM) et s’approprier un des logiciels de générateurs de cours (p. ex., le logiciel exelearning, voir le Document Tutoriel – Utiliser le générateur de cours interactifs eXe Learning).
Pendant le cours : Finir la conception du cours et le réaliser dans cet environnement.
9. Les apports des générateurs de QCM (21/11/18)#
(N. Tarbouriech, Bât. Veil S. 112). Cette séance est l’occasion d’explorer la diversité des outils générateurs de cours interactifs et d’un utiliser un correspondant à ses besoins. Cette session fera l’objet également d’une présentation d’un service web dédié à la création de QCM.
Avant la séance : Réaliser l’exercice où vous compléterez une carte mentale présentant les principaux apports des outils de QCM, détaillé dans l’ex-2-completer.
Pendant la séance : Réaliser l’exercice où vous réfléchirez aux principales fonctionnalités des générateurs de cours, détaillé dans l’ex-3-fonctionnalites
10. Conception du cours dans un générateur de cours interactifs-2 (28/11/18)#
(N. Tarbouriech, Bât. Veil S. 301). Cette séance permet de poursuivre le travail entamé dans la séance 8. Elle fera l’objet en introduction d’une présentation d’une plateforme participative en ligne génératrice de QCM.
Avant la séance : Prendre connaissance du fonctionnement d’Oppia (voir Document Tutoriel – Présentation du générateur d’explorations interactives Oppia).
Pendant la séance : Selon l’avancée du travail de conception, soit réaliser une exploration d’Oppia, soit avancer le travail de conception du QCM.
11. Conception du cours dans un générateur de cours interactifs-3 (5/12/18)#
(N. Tarbouriech, Bât. Veil S. 301). Cette séance clôt le travail entamé dans les séances 8 et 10. Elle donnera lieu à la présentation et à l’utilisation de boîtiers électroniques de vote interactif dans le cadre de la finalisation de l’U.E.
Avant le cours : Point sur l’avancée de la réalisation du cours et dernières révisions.
Pendant le cours : Finaliser le cours (vérifier que les QCM ont bien été intégrés à des étapes-clés de l’apprentissage et que des rétroactions appropriées ont été prévues).
12. Présentation des projets (12/12/18)#
(Ph. Dessus & N. Tarbouriech, Bât. Veil S. 112). Cette séance sera l’occasion pour les étudiants de présenter leur projet au groupe. Une évaluation du cours sera également faite.
Date-butoir de livraison du travail : le lundi 14 janvier 2019 à 12:00.
Modalités d’évaluation du cours#
L’évaluation de l’U.E. se réalise à partir d’un document en format PDF et d’une version HTML zippée (si possible) du cours, envoyée par courriel aux formateurs. Il est possible de réaliser un document par binôme. Le document comprendra.
Le travail réalisé dans le TD 1 séances 2 et 3 (analyse d’une tâche d’apprentissage et des moyens de l’évaluer) (env. 1 page)
Le travail réalisé dans le TD 2 séance 4 (carte de concepts, “grains de connaissances”) (env. 3 pages).
Le travail réalisé dans le TD 3 séance 5 (items de questions) (env. 1 page).
La carte mentale réalisée en séance 6.
Un document décrivant une leçon, sur un domaine du choix, réalisé avec un logiciel générateur de cours (voir détails dans la section suivante).
Description du document de cours à produire#
Points préalables#
Par “document de cours” (ou de leçon), nous entendons un texte décrivant un contenu enseigné circonscrit, pouvant être présenté dans une leçon nécessitant environ 1 h de lecture, et destiné à un public clairement défini, à la fin de lui permettre une bonne compréhension des concepts ou compétences associées à ce contenu. Ce document sera bien sûr agrémenté de questions à choix multiple pour que l’apprenant puisse tester sa compréhension du contenu.
L’utilisation d’eXe Learning est conseillée car c’est un système complet et facile à utiliser, mais elle est non obligatoire. Si un étudiant est expert dans un autre système équivalent, il est tout à fait possible qu’il réalise son travail avec ce système. Il préviendra toutefois l’enseignant qui jugera de la pertinence du choix du système.
Sauf avis contraire de l’étudiant, mentionné clairement à l’enseignant le plus tôt possible, le cours produit sera placé sous licence Creative Commons BY-NC-SA (plus d’informations à http://creativecommons.org/licenses/by-nc-sa/3.0/fr/). Le logiciel eXe Learning permet d’ailleurs d’ajouter automatiquement une telle licence sur toutes les pages produites.
La production réalisée devra être exempte de contenu plagié. Il appartient donc à l’étudiant de référencer scrupuleusement le contenu provenant d’auteurs autre que lui ou elle-même. Ce contenu sera nécessairement :
court (proportionnellement au contenu écrit par l’étudiant) ;
mentionné entre guillemets ;
suivi ou précédé de sa référence (article, ouvrage). Tout manquement à ce point pourra faire l’objet de sanctions par l’instance universitaire appropriée. La consultation du site http://www.integrite.umontreal.ca/ pourra apporter d’utiles précisions.
La production réalisée pourra être utilisée dans la pratique professionnelle de l’étudiant.
Indications sur la conception du document de cours#
Le Document Un processus de conception de documents de cours avec QCM procurera d’utiles éléments pour concevoir le document de leçon. Voici ci-dessous quelques précisions formelles.
Choisir un domaine dans lequel vous êtes expert-e et pour lequel vous voulez transmettre un contenu.
Choisir un niveau de classe (le vôtre, ou un niveau qui vous intéresse) et définissez quelques objectifs d’apprentissage (ce que les personnes qui suivront ce cours devront être capables de faire à l’issue du cours).
Choisir un contenu à apprendre à propos du domaine choisi, pouvant être présenté au cours d’une leçon d’env. 1 h. Rédiger environ cinq pages A4 (soit environ 10 000 caractères, espaces compris) hiérarchisées à deux niveaux. Veiller à ce que le contenu soit également réparti dans les différentes sections du cours.
Illustrer cette présentation par des images, des tableaux, des vidéos (selon les possibilités du logiciel utilisé), dont la référence sera mentionnée dans le corps du texte de la leçon.
Concevoir au moins 5 questions interactives (de votre choix) qui utilisent les fonctionnalités d’eXe Learning. Parmi ces 5, l’une d’entre elles doit être une question Assertion-raison (ou à deux étapes). Ces questions doivent être correctement insérées dans la leçon et permettre une meilleure compréhension de cette dernière par le lecteur. Elles doivent, d’autre part, se conformer aux différentes prescriptions contenues dans ce cours (notamment en ce qui concerne le guidage). L’insertion des questions au sein du contenu est libre : soit en tant qu’évaluation diagnostique (début), formative (au long du cours), ou encore sommative (fin).
Pour être communiqué à l’enseignant à des fins d’évaluation, le fichier généré sous eXe Learning sera ensuite exporté en format HTML (si le logiciel le permet ; sous eXe Learning, via le menu Fichier>Exporter>Site Web>Fichier compressé ZIP). Le fichier correspondant peut être décompressé et placé sur un serveur web, ou utilisé en local en ouvrant les fichiers HTML avec un navigateur.