Ctrl+K

Syllabus du cours “Évaluer l’apprentissage par ordinateur” MEEF-PIF (2023-24)

Syllabus du cours “Évaluer l’apprentissage par ordinateur” MEEF-PIF (2023-24)#

Informations

Informations supplémentaires

  • Date de modification : 28 mars 2024.

  • Durée de lecture : 12 minutes.

  • Statut du document : Terminé.

  • Citation : Pour citer ce document : Auteur·s (Date_de_création_ou_de_révision). Titre_du_document. Grenoble : Univ. Grenoble Alpes, Inspé, base de cours en sciences de l’éducation, accédé le date_d_accès, URL_du_document.

  • Licence : Document placé sous licence Creative Commons : BY-NC-SA.

Objectifs du cours#

À l’issue de ce cours, les étudiants seront capables :

  • d’analyser un domaine de connaissances pour en dégager des concepts, pouvant faire l’objet d’une évaluation automatisée ;

  • de connaître les différents types de rétroactions et d’en concevoir qui soient appropriées au niveau de connaissances de l’élève ;

  • de réaliser un cours composé de questions évaluatives, avec un outil de création de QCM et/ou de cours interactifs.

Structure des cours#

La méthode pédagogique adoptée dans le cours est de type “pédagogie inversée”, où les étudiants doivent prendre connaissance du contenu du cours avant séance, pour travailler sur un projet en séance, de manière collaborative. Les étudiants ne pouvant être présents en cours doivent contacter l’enseignant pour convenir d’une organisation du travail spécifique.

Chaque séance a la structure générique suivante (il est utile d’amener son ordinateur personnel à chaque séance). Il est aussi utile qu’un étudiant volontaire prenne des notes à propos du cours, les soumette à l’enseignant pour vérification avant diffusion à tous, notamment aux étudiants travaillant à distance.

  • Discussion sur le cours lu auparavant. Chaque séance en présence est dédiée à un approfondissement du cours, qui devra être lu au préalable (voir les indications ci-après), et la réponse aux questions suivantes devra être réfléchie :

    • Qu’est-ce que j’ai compris du cours ?

    • Qu’est-ce qu’il me reste à comprendre ?

    • Y a-t-il dans le cours des choses à préciser, développer ? des inexactitudes ?

    • Approfondissement : Recherche et présentation rapide à l’assistance de l’un des points du cours (recherche de documents complémentaires, de références citées dans le cours, etc.).

Attention toutefois à ne pas passer trop de temps à travailler sur chaque document de cours. Par séance, une durée de travail d’environ 1 h 15 (± 30 min) est conseillée, selon le niveau initial de chacun.

  • Travail dirigé en binômes (le contenu de chaque TD est indiqué à l’item du cours), ce TD consiste en la réalisation de petits projets par binômes courant sur 1 ou plusieurs séance(s), donnant lieu à diffusion en cours et pouvant être porté au dossier final. Le domaine sur lesquels portent les TD est au libre choix des étudiants.

Descriptif des Séances#

Toutes les séances sont de 2 h et ont lieu les mercredis (8:00-10:00) du premier semestre 2023-24. La Figure 1 ci-dessous en représente l’essentiel (cliquer dessus pour zoomer) et ce qui suit le détaille.

_images/synopsis-meef-pif.jpg

Figure 1-Synopsis des activités de l’UE.

1. Introduction au cours (13/9/23)#

(Ph. Dessus) Vue d’ensemble du cours.

  • Objectifs du cours

  • Présentation rapide des étudiants

  • Présentation rapide de l’organisation du cours et de son contenu

  • Présentation du site support du cours

  • Début de réflexion sur le thème du cours

2. Tâches pour évaluer l’apprentissage (20/9/23)#

(Ph. Dessus). Nous discuterons les principaux types de tâches permettant d’évaluer ou faire pratiquer les apprenants dans un but d’apprentissage.

3. Analyse de contenu (27/09/23)#

(Ph. Dessus). Cette séance permet de commencer à ébaucher l’analyse du contenu du cours qui fera l’objet du dossier. Le processus d’analyse de contenu étant long, il devra être poursuivi en parallèle avec le travail sur les séances suivantes.

4. Conception d’un QCM sur papier (4/10/23)#

(Ph. Dessus). Cette séance permet d’écrire, sur papier, quelques items de QCM (simples ou plus complexes), dans le domaine de son choix.

5. Exemples d’usages pédagogiques des QCM (11/10/23)#

(N. Tarbouriech). Cette séance est l’occasion d’étudier divers usages pédagogiques de QCM à différents niveaux scolaires. Elle donnera lieu également à l’exploration d’un outil d’interrogation et d’évaluation en instantané pendant la séance.

  • Avant la séance (activité pouvant être menée à plusieurs, 2 ou 3 max) : Prendre connaissance d’usages pédagogiques de situations d’apprentissage incluant l’utilisation de QCM (lire le document Quelques usages pédagogiques des QCM) ; observer quelques pratiques et types d’activités parmi celles proposées (dans la section Situations d’apprentissage proposées) et analyser une situation en vous aidant de la Grille d’observation de pratiques). Chaque groupe peut ensuite consigner son analyse générale / sa réflexion dans le pad collaboratif associé [lien vers le pad].

  • Pendant la séance : Retour réflexif sur les analyses en croisant les points de vue et projection dans les pratiques personnelles de classe en s’appuyant sur les travaux issus du pad collaboratif. Puis, coup de projecteur et exploration d’un outil de QCM participatif en temps réel.

6. Réalisation du cours dans un générateur de cours interactifs-1 (18/10/23)#

(Ph. Dessus). Cette séance et la séance 8 concernent la réalisation du cours dans un logiciel générateur de cours interactif, au choix des étudiants.

7. Les apports des générateurs de QCM (15/11/23)#

(N. Tarbouriech). Cette séance est l’occasion d’explorer la diversité des outils générateurs de cours interactifs et d’en utiliser un correspondant à ses besoins. Cette session fera l’objet également d’une présentation d’un service web dédié à la création de QCM.

8. Réalisation du cours dans un générateur de cours interactifs-2 (22/11/23)#

(Ph. Dessus). Cette séance vise à terminer, ou à tout le moins bien avancer, le cours interactif.

  • Avant la séance : Réaliser l’exercice 3 (voir Exercice 3 : Construction d’une carte mentale) Construction d’une carte mentale où vous réfléchirez aux principaux apports que peuvent constituer votre QCM dans le cours que vous développez. Vous pouvez reprendre la forme synthétique de la carte liée à l’Exercice 1 (voir Exercice 1 : Compléter une carte mentale). Cette carte constituera le TD4 à rendre.

  • Pendant le cours : Finir la conception du cours et le réaliser dans cet environnement.

9. Présentation des projets (29/11/23)#

Date-butoir de livraison du travail : le xx janvier 2024 à 12:00.

Modalités d’évaluation du cours#

L’évaluation de l’UE se réalise à partir d’un document en format PDF et d’une version HTML zippée (si possible) du cours, envoyée par courriel aux formateurs. Il est possible de réaliser un document par binôme. Le document comprendra.

  1. Le travail réalisé dans le TD 1 séances 2 et 3 (analyse d’une tâche d’apprentissage et des moyens de l’évaluer) (env. 1 page)connaissances ») (env. 3

  2. Le travail réalisé dans le TD 2 séance 4 (carte de concepts, « Unités/grains de pages).

  3. Le travail réalisé dans le TD 3 séance 5 (items de questions) (env. 1 page).

  4. La carte mentale réalisée dans le travail à distance de la séance 7 (TD4).

  5. Un Cours interactif d’une leçon, sur un domaine du choix de l’étudiant, réalisé avec un logiciel générateur de cours (voir détails dans la section suivante). Attention : Ce cours interactif sera identique à celui livré pour l’UE “Scénarisation et suivi des apprentissages” (en revanche, les 4 travaux mentionnés ci-dessus ne seront livrés que pour cette UE).

Pour information : L’évaluation du cours interactif, dans cette UE, portera principalement sur le nombre et la qualité des rétroactions mises en œuvre dans les questionnaires à choix multiples et autres activités d’évaluation.

Description du document de cours à produire#

Points préalables#

  • À partir de l’année universitaire 2023-24, les étudiants travailleront, dans cette UE et dans l’UE “Scénarisation et suivi des apprentissages”, sur le même cours interactif ; cela de manière à réduire leur charge de travail.

  • Par “document de cours” (ou de leçon), nous entendons un texte décrivant un contenu enseigné circonscrit, pouvant être présenté dans une leçon nécessitant environ 1 h de lecture, et destiné à un public clairement défini, à la fin de lui permettre une bonne compréhension des concepts ou compétences associées à ce contenu. Ce document sera bien sûr agrémenté de questions à choix multiple pour que l’apprenant puisse tester sa compréhension du contenu.

  • L’utilisation d’eXe Learning est conseillée car c’est un système complet et facile à utiliser, mais elle est non obligatoire. Si un étudiant est expert dans un autre système équivalent, il est tout à fait possible qu’il réalise son travail avec ce système. Il préviendra toutefois l’enseignant qui jugera de la pertinence du choix du système.

  • Sauf avis contraire de l’étudiant, mentionné clairement à l’enseignant le plus tôt possible, le cours produit sera placé sous licence Creative Commons BY-NC-SA (plus d’informations à http://creativecommons.org/licenses/by-nc-sa/3.0/fr/). Le logiciel eXe Learning permet d’ailleurs d’ajouter automatiquement une telle licence sur toutes les pages produites.

  • La production réalisée devra être exempte de contenu plagié (mais l’usage de robots conversationnels est permis, voir dernière section de cette page). Il appartient donc à l’étudiant de référencer scrupuleusement le contenu provenant d’auteurs autre que lui ou elle-même. Ce contenu sera nécessairement :

    • court (proportionnellement au contenu écrit par l’étudiant) ;

    • mentionné entre guillemets ;

    • suivi ou précédé de sa référence (article, ouvrage). Tout manquement à ce point pourra faire l’objet de sanctions par l’instance universitaire appropriée. La consultation du site http://www.integrite.umontreal.ca/ pourra apporter d’utiles précisions.

  • La production réalisée pourra être utilisée dans la pratique professionnelle de l’étudiant.

Indications sur la conception du document de cours#

Le Document Un processus de conception de documents de cours avec QCM procurera d’utiles éléments pour concevoir le document de leçon. Voici ci-dessous quelques précisions formelles.

  • Choisir un domaine dans lequel vous êtes expert-e et pour lequel vous voulez transmettre un contenu.

  • Choisir un niveau de classe (le vôtre, ou un niveau qui vous intéresse) et définissez quelques objectifs d’apprentissage (ce que les personnes qui suivront ce cours devront être capables de faire à l’issue du cours), et le contexte du cours (niveau, matière, etc.). Ces informations seront également présentées en début de cours interactif. Voir section “4. Ecriture du cours” du Doc. Un processus de conception de documents de cours avec QCM.

  • Choisir un contenu à apprendre à propos du domaine choisi, pouvant être présenté au cours d’une leçon d’env. 1 h. Rédiger environ cinq pages A4 (soit environ 10 000 caractères, espaces compris) hiérarchisées à deux niveaux. Veiller à ce que le contenu soit également réparti dans les différentes sections du cours. De même, pour les cours de types “scénario de branchement” il est conseillé de représenter les différents parcours de l’apprenant sur une feuille de grand format. Ces documents n’ont pas vocation à être livrés pour évaluation : seul le cours interactif le sera.

  • Illustrer cette présentation par des images, des tableaux, des vidéos (selon les possibilités du logiciel utilisé), dont la référence sera mentionnée dans le corps du texte de la leçon.

  • Expliquer l’organisation du groupe-classe (ou du groupe d’apprenants) qu’il serait souhaitable de mettre en place lors de sa mise en œuvre - qui fait quoi, pendant combien de temps.

  • Concevoir au moins 5 questions interactives (de votre choix) qui utilisent les fonctionnalités d’eXe Learning. Parmi ces 5, l’une d’entre elles doit être une question Assertion-raison (ou à deux étapes). Ces questions doivent être correctement insérées dans la leçon et permettre une meilleure compréhension de cette dernière par le lecteur. Elles doivent, d’autre part, se conformer aux différentes prescriptions contenues dans ce cours (notamment en ce qui concerne le guidage). L’insertion des questions au sein du contenu est libre : soit en tant qu’évaluation diagnostique (début), formative (au long du cours), ou encore sommative (fin).

  • Pour être communiqué à l’enseignant à des fins d’évaluation, le cours généré sous eXe Learning sera ensuite exporté en format HTML via le menu Fichier>Exporter>Site Web>Fichier compressé ZIP) ; le cours généré sous H5P-Lumi devra être exporté via le menu Fichier>Exporter>Un fichier HTML et plusieurs fichiers multimédia et ces différents fichiers seront ensuite zippés en un seul. Dans les deux cas, c’est ce fichier zippé qui sera envoyé à l’enseignant. Pour information, le fichier correspondant peut être décompressé et placé sur un serveur web, ou utilisé en local en ouvrant les fichiers HTML avec un navigateur.

  • Attention : Même si la limite des sites de partage de fichiers est large (FileSender, par exemple, accepte des envois jusqu’à 100 Go), une limite raisonnable de taille d’envoi est de l’ordre de 300 Mo. Au-delà, veuillez, soit réduire la taille des vidéos, soit les stocker sur un site externe (p.ex., des sites de partage privé de fichiers comme DropBox ou autres permettent le stockage et l’insertion de vidéos).

Avertissement à propos de l’utilisation de robots conversationnels#

L’arrivée récente des robots conversationnels (ChatGPT et autres) ont simplifié la production de questionnaires à choix multiple (voir plus d’informations sur le Doc. Utilisation de systèmes de génération automatique de textes). Ce cours a été conçu pour vous aider à développer des connaissances et à acquérir de nouvelles compétences qui vous seront utiles en tant que professionnels. Les outils d’IA peuvent être utilisés comme une aide au processus créatif, mais il est entendu qu’ils doivent être accompagnés d’une pensée critique et d’une réflexion. Les étudiants qui choisissent d’utiliser ces outils sont responsables de toute erreur ou omission résultant de leur utilisation. Il leur sera également demandé de fournir en annexe du dossier le nom de l’outil utilisé, les “prompts utilisés”, l’historique des résultats générés, ainsi qu’une réflexion approfondie sur ces résultats (notamment sur leur validité). Le cas échéant, les étudiants peuvent également être invités à examiner les coûts environnementaux et sociaux de l’utilisation des outils. Voici un exemple de texte à insérer dans le dossier (source : Université Monash)

Je reconnais avoir utilisé [1] ChatGPT (https://chat.openai.com/) pour [2] générer des documents qui ont été [3] inclus dans mon évaluation finale sous une forme modifiée. J’ai entré les prompts suivants le 4 janvier 2023 :

  • Rédigez un résumé de 50 mots sur la création de l’université de Paris. Rédigez-le dans un style académique. Ajoutez des références et des citations de Philippe Auguste, son fondateur.

  • J’ai modifié le texte en ajoutant les informations suivantes [informations], car je trouvais que [analyse et critiques de la production de l’outil].

Contenu