Syllabus du cours “Évaluer l’apprentissage par ordinateur” MEEF-PIF (2024-25)

Syllabus du cours “Évaluer l’apprentissage par ordinateur” MEEF-PIF (2024-25)#

Informations

Informations supplémentaires

  • Date de modification : 22 octobre 2024.

  • Durée de lecture : 15 minutes.

  • Statut du document : Terminé.

  • Citation : Pour citer ce document : Auteur·s (Date_de_création_ou_de_révision). Titre_du_document. Grenoble : Univ. Grenoble Alpes, Inspé, base de cours en sciences de l’éducation, accédé le date_d_accès, URL_du_document.

  • Licence : Document placé sous licence Creative Commons : BY-NC-SA.

Objectifs du cours#

À l’issue de ce cours, les étudiants seront capables :

  • d’analyser un domaine de connaissances pour en dégager des concepts, pouvant faire l’objet d’une évaluation automatisée ;

  • de connaître les différents types de rétroactions et d’en concevoir qui soient appropriées au niveau de connaissances de l’élève ;

  • de réaliser un cours composé de questions évaluatives, avec un outil de création de QCM et/ou de cours interactifs.

Structure du travail dans chaque cours#

Les étudiant·es doivent prendre connaissance du contenu du cours de chaque semaine, à distance, pour prendre connaissance du contenu théorique du cours et travailler sur un projet de manière individuelle. En plus de ce projet, des tâches de TD à réaliser chaque semaine, par binôme, et sont également déposés sur la plate-forme et donnent lieu à commentaires par les enseignants. Les forums de discussion permet également de discuter, en asynchrone, sur des points nécessitant des éclaircissements.

Trois séances sont menées en présence et auront lieu au début, milieu et fin du cours : la première (le 4 septembre 2024), pour présenter l’architecture de l’UE, une vers le milieu de l’UE (le 9 octobre), et la dernière séance (le 18 décembre), où les projets sont présentés.

L’agenda de chaque semaine de cours est le suivant :

  • Lundi : Les tâches de chaque semaine sont à commencer dès le lundi matin (aucune notification particulière sera faite). Les étudiants ont 3 jours pour lire les documents indiqués, et travailler sur le TD correspondant (attention : certains TD sont réalisés sur 2 semaines).

  • Jeudi : Les commentaires sur les documents théoriques sont postés sur le forum de discussion des cours. Ils peuvent faire l’objet de commentaires en retour des enseignant·es.

  • Vendredi : Au plus tard à 24:00, dépôt des TD.

Attention à ne pas passer trop de temps à travailler sur chaque séance de cours. Par séance, une durée de travail d’environ 1 h 15 (± 30 min) est conseillée, selon le niveau initial de chacun·e.

  • Travail dirigé en binômes (le contenu de chaque TD est indiqué à l’item du cours), ce TD consiste en la réalisation de petits projets par binômes courant sur 1 ou plusieurs séance(s), donnant lieu à diffusion en cours et pouvant être porté au dossier final. Le domaine (discipline scolaire ou universitaire) sur lesquels portent les TD est au libre choix des étudiant·es.

Utilisation de la plate-forme d’enseignement#

Comme ce cours est principalement à distance, un site sur la plate-forme d’enseignement de l’UGA sera disponible aux étudiant·es, principalement pour interagir à propos du contenu et pour livrer les travaux des TD Lien vers le site.

La structure de la plate-forme du cours est la suivante :

  • Annonces : Présente les notifications des enseignants à propos du cours.

  • Supports de cours : Présente les URL des supports de cours (en PDF et en HTML) et des présentations des cours en présence.

  • Forums de discussion : Deux forums thématiques sont disponibles. Il est préférable d’utiliser cette voie pour poser des questions aux enseignants plutôt que de les contacter par courriel. Voici les différents forums :

    • Forums de discussion du cours : Chaque étudiant·e doit poster, avant le jeudi midi de chaque semaine, une réflexion sur ce qu’il ou elle a compris à la lecture du cours (cliquer sur “Discuter sur ce sujet” puis “Répondre”). Le texte de réflexion doit être de taille raisonnable (20-30 lignes).

    • Forums techniques : Dans ces forums, les étudiant·es peuvent poser des questions, soit sur le contenu de leur projet, soit sur les fonctionnalités du logiciel qu’ils ou elles utilisent.

  • Livraison des travaux : Les étudiant·es peuvent déposer la version finale de leurs travaux, à faire évaluer par les enseignants du cours.

Liens avec d’autres U.E. du cursus#

Afin d’éviter une surcharge de travail, il a été convenu les arrangements suivants entre les enseignants de cette U.E. et celle de l’U.E. “Scénarisation et suivi des apprentissages” (Lucie Metz) :

  • il est possible de travailler au même cours interactif dans les deux U.E. ; en revanche, chacune des deux U.E. requiert un travail supplémentaire (dans cette U.E., le travail sur les 4 T.D., dans l’autre U.E., une intégration du cours interactif dans un scénario hybride plus large) ;

  • le travail sur le cours interactif dans cette U.E. est individuel, alors que le travail de scénarisation dans l’autre U.E. est collectif. Cela amènera les étudiant·es, dans l’autre U.E., soit à choisir l’un des deux cours qu’ils ont réalisés, soit à les intégrer dans un scénario plus large ;

  • lorsqu’un·e étudiant·e réalise les 2 U.E. dans deux années différentes, avec deux possibilités :

    1. cette U.E. année 1, puis l’U.E. scénarisation année 2 : le cours interactif sera livré tel quel, avec des possibilités d’amélioration, ainsi qu’une intégration dans un scénario hybride plus large ;

    2. l’U.E. scénarisation année 1, puis cette U.E. année 2 : le cours interactif sera livré tel quel, avec des possibilités d’amélioration, ainsi que le travail sur les 4 T.D.

Descriptif du flux de travail#

Comme déjà dit plus haut, le travail des étudiant·es se réalise essentiellement à distance. La Figure 1 ci-dessous en représente l’essentiel (cliquer dessus pour zoomer) et ce qui suit le détaille.

_images/synopsis-meef-pif.jpg

Figure 1-Synopsis des activités de l’UE.

Et le Tableau 1 ci-dessous récapitule le travail sur les T.D. et plus largement le travail requis pendant l’U.E.

Tableau 1 – Échéancier du travail requis pendant l’U.E. et format de chaque séance.

N° séance

Date

Prés./Dist.

Travail TD

Livraison

1

4 sept. 24

Présence

–

–

2

Semaine 37

Distance

TD 1

–

3

Semaine 38

Distance

TD 2

TD 1

4

Semaine 39

Distance

TD 3

TD 2

5

9 oct. 24

Présence

Usages péda QCM

TD 3

6

Semaine 42

Distance

Cours interactif

–

7

Semaine 43

Distance

TD 4

–

8

Semaine 45

Distance

TD 4

TD 4

–

7 semaines pour finaliser le cours interactif

9

18 déc. 24

Présence

Présentation cours

Livraison des TD et du cours interactif : mi-janvier

1. Introduction au cours (EN PRÉSENCE)#

(le 4/9/24 de 17:00 à 19:00)

(Ph. Dessus) Vue d’ensemble du cours.

  • Objectifs du cours

  • Présentation rapide des étudiants

  • Présentation rapide de l’organisation du cours et de son contenu

  • Présentation du site support du cours

  • Début de réflexion sur le thème du cours

2. Tâches pour évaluer l’apprentissage (À DISTANCE)#

(Semaine 37, du lundi 9 au vendredi 13 sept. 2024)

(Ph. Dessus). Nous discuterons les principaux types de tâches permettant d’évaluer ou faire pratiquer les apprenants dans un but d’apprentissage.

  • Visionner la conférence de Ph. Dessus Les QCM font-ils apprendre ? et faire l’Atelier - Les activités cognitives engagées dans un QCM.

  • TD 1 : Par binôme, commencer et avancer le Travail Dirigé (voir Document Des tâches pour évaluer les connaissances des élèves). Choisir, par binôme, une activité citée dans la section “Analyse de tâches” (donc, présentée dans une des lignes), lire attentivement l’article la concernant (disponible en fin de Document) et servez-vous des informations qu’il contient pour réfléchir et augmenter la ligne du Tab. 1 concernée. P. ex. en détaillant : - les buts d’enseignement liés - les contextes dans lesquels la tâche d’évaluation peut être utilisée, - ses avantages et inconvénients (du point de vue de l’enseignant et des apprenants), - ce que l’informatique peut apporter dans l’activité

Il est conseillé de spécifier un niveau d’enseignement et, si souhaité, une matière.

3. Analyse de contenu (À DISTANCE)#

(Semaine 38, du lundi 16 au vendredi 20 sept. 2024)

(Ph. Dessus). Cette semaine permet de commencer à ébaucher l’analyse du contenu du cours qui fera l’objet du dossier. Le processus d’analyse de contenu étant long, il devra être poursuivi en parallèle avec le travail sur les semaines suivantes.

4. Conception d’un QCM (À DISTANCE)#

(Semaine 39, du lundi 23 au vendredi 27 sept. 2024)

(Ph. Dessus). Cette semaine permet d’écrire quelques items de QCM (simples ou plus complexes), dans le domaine de son choix.

5. Exemples d’usages pédagogiques des QCM (EN PRESENCE)#

(le 9/10/24 de 8:00 à 10:00)

(N. Tarbouriech). Cette deuxième séance en présence est l’occasion d’étudier divers usages pédagogiques de QCM à différents niveaux scolaires. Elle donnera lieu également à l’exploration d’un outil d’interrogation et d’évaluation en instantané pendant la séance.

  • Avant la séance (activité pouvant être menée à plusieurs, 2 ou 3 max) : Prendre connaissance d’usages pédagogiques de situations d’apprentissage incluant l’utilisation de QCM (lire le document Quelques usages pédagogiques des QCM) ; observer quelques pratiques et types d’activités parmi celles proposées (dans la section Situations d’apprentissage proposées) et analyser une situation en vous aidant de la Grille d’observation de pratiques). Chaque groupe peut ensuite consigner son analyse générale / sa réflexion dans le pad collaboratif associé [lien vers le pad].

  • Pendant la séance : Retour réflexif sur les analyses en croisant les points de vue et projection dans les pratiques personnelles de classe en s’appuyant sur les travaux issus du pad collaboratif. Puis, coup de projecteur et exploration d’un outil de QCM participatif en temps réel.

  • À distance : Livrer le TD 3 (items de questions) dans l’espace de la plate-forme.

6. Réalisation du cours dans un générateur de cours interactifs-1 (À DISTANCE)#

(Semaine 42, du lundi 14 au vendredi 18 oct. 2024)

(Ph. Dessus). Cette semaine et la semaine 8 concernent la réalisation du cours dans un logiciel générateur de cours interactif, au choix des étudiants.

7. Les apports des générateurs de QCM (À DISTANCE)#

(Semaine 43, du lundi 21 au vendredi 25 oct. 2024)

(N. Tarbouriech). Cette semaine est l’occasion d’explorer la diversité des outils générateurs de cours interactifs et d’en utiliser un correspondant à ses besoins. Cela fera l’objet également d’une présentation d’un service web dédié à la création de QCM.

8. Réalisation du cours dans un générateur de cours interactifs-2 (À DISTANCE)#

(Semaine 45, du lundi 4 au vendredi 8 nov. 2024)

(Ph. Dessus). Cette semaine vise à terminer, ou à tout le moins bien avancer, le cours interactif.

TD 4 (fin)

  • Exercice 3 (voir Exercice 3 : Construction d’une carte mentale) Construction d’une carte mentale où vous réfléchirez aux principaux apports que peuvent constituer votre QCM dans le cours que vous développez. Vous pouvez reprendre la forme synthétique de la carte liée à l’Exercice 1 (voir Exercice 1 : Compléter une carte mentale). Cette carte constituera le TD 4, qui sera livré dans l’espace correspondant dans la plate-forme.

9. Présentation des projets (EN PRESENCE)#

(le mercredi 18 décembre 2024 de 10:00 à 12:00)

(Ph. Dessus)

Date-butoir de livraison du travail : le xx janvier 2025 à 12:00.

Modalités d’évaluation du cours#

L’évaluation de l’UE se réalise à partir d’un document en format PDF et d’une version HTML zippée (si possible) du cours, envoyée par courriel aux formateurs. Il est possible de réaliser un document par binôme. Le document comprendra.

  1. Le travail réalisé dans le TD 1 semaines 2 et 3 (analyse d’une tâche d’apprentissage et des moyens de l’évaluer) (env. 1 page)connaissances ») (env. 3

  2. Le travail réalisé dans le TD 2 semaine 4 (carte de concepts, « Unités/grains de pages).

  3. Le travail réalisé dans le TD 3 semaine 5 (items de questions) (env. 1 page).

  4. La carte mentale réalisée dans le travail à distance de la séance 7 (TD 4).

  5. Un Cours interactif d’une leçon, sur un domaine du choix de l’étudiant, réalisé avec un logiciel générateur de cours (voir détails dans la section suivante).

Note : Les dépôts des TD au cours de l’UE sont utilisés par les enseignant·es pour les annoter et commenter. Il est donc nécessaire de les déposer à nouveau dans leur version finale, en même temps que le cours interactif.

Critères d’évaluation : L’évaluation du cours interactif, dans cette UE, portera principalement sur le nombre et la qualité des rétroactions mises en œuvre dans les questionnaires à choix multiples et autres activités d’évaluation. La grille d’évaluation suivante sera utilisée :

  • TD 1 (tâche éval) : 2 points

  • TD 2 (carte grains) : 2 points

  • TD 3 Items (évalués dans le cours interactif)

  • TD 4 Carte mentale : 2 points

  • Qualité du cours : 4 points

  • Qualité des QCM : 5 points

  • Qualité des rétroactions : 4 points

  • Forme : 1 point

Description du document de cours à produire#

Points préalables#

  • À partir de l’année universitaire 2023-24, les étudiants travailleront, dans cette UE et dans l’UE “Scénarisation et suivi des apprentissages”, sur le même cours interactif ; cela de manière à réduire leur charge de travail.

  • Par “document de cours” (ou de leçon), nous entendons un texte décrivant un contenu enseigné circonscrit, pouvant être présenté dans une leçon nécessitant environ 1 h de lecture, et destiné à un public clairement défini, à la fin de lui permettre une bonne compréhension des concepts ou compétences associées à ce contenu. Ce document sera bien sûr agrémenté de questions à choix multiple pour que l’apprenant puisse tester sa compréhension du contenu.

  • L’utilisation d’eXe Learning est conseillée car c’est un système complet et facile à utiliser, mais elle est non obligatoire. Si un étudiant est expert dans un autre système équivalent, il est tout à fait possible qu’il réalise son travail avec ce système. Il préviendra toutefois l’enseignant qui jugera de la pertinence du choix du système.

  • Sauf avis contraire de l’étudiant, mentionné clairement à l’enseignant le plus tôt possible, le cours produit sera placé sous licence Creative Commons BY-NC-SA (plus d’informations à http://creativecommons.org/licenses/by-nc-sa/3.0/fr/). Le logiciel eXe Learning permet d’ailleurs d’ajouter automatiquement une telle licence sur toutes les pages produites.

  • La production réalisée devra être exempte de contenu plagié (mais l’usage de robots conversationnels est permis, voir dernière section de cette page). Il appartient donc à l’étudiant de référencer scrupuleusement le contenu provenant d’auteurs autre que lui ou elle-même. Ce contenu sera nécessairement :

    • court (proportionnellement au contenu écrit par l’étudiant·e) ;

    • mentionné entre guillemets ;

    • suivi ou précédé de sa référence (article, ouvrage). Tout manquement à ce point pourra faire l’objet de sanctions par l’instance universitaire appropriée. La consultation du site http://www.integrite.umontreal.ca/ pourra apporter d’utiles précisions.

  • La production réalisée pourra être utilisée dans la pratique professionnelle de l’étudiant.

Indications sur la conception du document de cours#

Le Document Un processus de conception de documents de cours avec QCM procurera d’utiles éléments pour concevoir le document de leçon. Voici ci-dessous quelques précisions formelles.

  • Choisir un domaine dans lequel vous êtes expert-e et pour lequel vous voulez transmettre un contenu.

  • Choisir un niveau de classe (le vôtre, ou un niveau qui vous intéresse) et définissez quelques objectifs d’apprentissage (ce que les personnes qui suivront ce cours devront être capables de faire à l’issue du cours), et le contexte du cours (niveau, matière, etc.). Ces informations seront également présentées en début de cours interactif. Voir section “4. Ecriture du cours” du Doc. Un processus de conception de documents de cours avec QCM.

  • Choisir un contenu à apprendre à propos du domaine choisi, pouvant être présenté au cours d’une leçon d’env. 1 h. Rédiger environ cinq pages A4 (soit environ 10 000 caractères, espaces compris) hiérarchisées à deux niveaux (hors images, tableaux et vidéos). Veiller à ce que le contenu soit également réparti dans les différentes sections du cours. De même, pour les cours de types “scénario de branchement” il est conseillé de représenter les différents parcours de l’apprenant sur une feuille de grand format. Ces documents n’ont pas vocation à être livrés pour évaluation : seul le cours interactif le sera.

  • Illustrer cette présentation par des images, des tableaux, des vidéos (selon les possibilités du logiciel utilisé), dont la référence sera mentionnée dans le corps du texte de la leçon.

  • Expliquer l’organisation du groupe-classe (ou du groupe d’apprenants) qu’il serait souhaitable de mettre en place lors de sa mise en œuvre - qui fait quoi, pendant combien de temps.

  • Concevoir au moins 5 questions interactives (de votre choix) qui utilisent les fonctionnalités d’eXe Learning. Parmi ces 5, l’une d’entre elles doit être une question Assertion-raison (ou à deux étapes). Ces questions doivent être correctement insérées dans la leçon et permettre une meilleure compréhension de cette dernière par le lecteur. Elles doivent, d’autre part, se conformer aux différentes prescriptions contenues dans ce cours (notamment en ce qui concerne le guidage). L’insertion des questions au sein du contenu est libre : soit en tant qu’évaluation diagnostique (début), formative (au long du cours), ou encore sommative (fin).

  • Pour être communiqué aux enseignants à des fins d’évaluation, le cours généré sous eXe Learning sera ensuite exporté en format HTML via le menu Fichier>Exporter>Site Web>Fichier compressé ZIP) ; le cours généré sous H5P-Lumi devra être exporté via le menu Fichier>Exporter>Un fichier HTML et plusieurs fichiers multimédia et ces différents fichiers seront ensuite zippés en un seul. Dans les deux cas, c’est ce fichier zippé qui livré aux enseignants. Pour information, le fichier correspondant peut être décompressé et placé sur un serveur web, ou utilisé en local en ouvrant les fichiers HTML avec un navigateur.

  • Attention : La limite de la plate-forme du cours est assez large (100 Mo), mais vous utiliserez (FileSender, si votre cours interactif dépasse cette limite (FileSender accepte les envois jusqu’à 100 Go). Notez qu’une limite raisonnable de taille d’envoi est de l’ordre de 300 Mo. Au-delà, veuillez, soit réduire la taille des vidéos, soit les stocker sur un site externe (p.ex., des sites de partage privé de fichiers comme DropBox ou autres permettent le stockage et l’insertion de vidéos).

Avertissement à propos de l’utilisation de robots conversationnels#

L’arrivée récente des robots conversationnels (ChatGPT et autres) ont simplifié la production de questionnaires à choix multiple (voir plus d’informations sur le Doc. generation-textes). Ce cours a été conçu pour vous aider à développer des connaissances et à acquérir de nouvelles compétences qui vous seront utiles en tant que professionnels. Les outils d’IA peuvent être utilisés comme une aide au processus créatif, mais il est entendu qu’ils doivent être accompagnés d’une pensée critique et d’une réflexion. Les étudiants qui choisissent d’utiliser ces outils sont responsables de toute erreur ou omission résultant de leur utilisation. Il leur sera également demandé de fournir en annexe du dossier le nom de l’outil utilisé, les “prompts utilisés”, l’historique des résultats générés, ainsi qu’une réflexion approfondie sur ces résultats (notamment sur leur validité). Le cas échéant, les étudiants peuvent également être invités à examiner les coûts environnementaux et sociaux de l’utilisation des outils. Voici un exemple de texte à insérer dans le dossier (source : Université Monash)

Je reconnais avoir utilisé [1] ChatGPT (https://chat.openai.com/) pour [2] générer des documents qui ont été [3] inclus dans mon évaluation finale sous une forme modifiée. J’ai entré les prompts suivants le 4 janvier 2023 :

  • Rédigez un résumé de 50 mots sur la création de l’université de Paris. Rédigez-le dans un style académique. Ajoutez des références et des citations de Philippe Auguste, son fondateur.

  • J’ai modifié le texte en ajoutant les informations suivantes [informations], car je trouvais que [analyse et critiques de la production de l’outil].

Contenu