Ctrl+K

Écrire des questions d’examen à l’épreuve de la tricherie

Écrire des questions d’examen à l’épreuve de la tricherie#

Informations

Informations supplémentaires

  • Date de modification : 28 mars 2024.

  • Durée de lecture : 13 minutes.

  • Statut du document : Terminé.

  • Citation : Pour citer ce document : Auteur·s (Date_de_création_ou_de_révision). Titre_du_document. Grenoble : Univ. Grenoble Alpes, Inspé, base de cours en sciences de l’éducation, accédé le date_d_accès, URL_du_document.

  • Licence : Document placé sous licence Creative Commons : BY-NC-SA.

Introduction#

La pandémie de COVID-19 a fait changer les règles d’évaluation. Les examens en ligne et à distance vont sans doute durer, où les étudiants doivent répondre à des séries de questions, et devraient être pensés comme des exercices appliqués en temps limité. Avec une base d’informations gigantesque à portée de clic, qu’est-ce qui peut empêcher que la réponse soit cherchée sur internet et copiée ?

Une question d’examen à l’épreuve de la tricherie (“an unGoogleable exam question”) est une question à laquelle on ne peut aisément répondre par un simple clic sur un moteur de recherche internet. Si elle est bien écrite, elle suscite un défi intellectuel et requiert d’être interprétée et qu’on réalise une enquête [Ai-je cherché cette définition sur internet ?].

Écrire de telles questions n’est pas facile. Votre but, en tant qu’enseignant, est d’évaluer ce que les étudiants peuvent faire avec un ensemble de connaissances donné et il y a beaucoup plus de manière d’évaluer que ceux qui suivent (e.g., études de cas, analyse de données, scénario, opinions). Toutefois, leur principe commun est l’application de connaissances plutôt que leur rappel.

[NDT : Les exemples ci-dessous sont de niveau lycée, mais nous avons préféré utiliser le terme “étudiants” plutôt qu’“élèves ou étudiants” ; l’anglais utilisant indifféremment “students”.

Montrez-moi la connaissance#

Comment comptez-vous empêcher qu’une réponse soit trouvée sur internet ? En bref, en l’absence d’un logiciel de surveillance (proctoring, voir Document La surveillance numérique des étudiants lors des examens), vous ne le pouvez (et même ainsi les étudiants peuvent utiliser leur téléphone). Acceptez le changement, changez d’état d’esprit et ré-écrivez vos objectifs d’apprentissage.

Objectif 1 : Trouver des informations précises et fiables sur un sujet donné#

Être capable de chercher et trouver des informations pertinentes est une compétence en soi. Pour des étudiants de première (et peut-être deuxième) année, cela peut être un objectif d’apprentissage que d’être capable de rapporter une définition pertinente à une question. Cela implique des étudiants qu’ils comprennent que ce qu’ils lisent est pertinent pour répondre à la question posée. C’est un bon critère de réussite. On peut aussi, à la place, faire la recherche pour eux, et ensuite demander aux étudiants de travailler avec deux éléments d’informations aisément trouvables et de la traiter d’une certaine manière.

Question 1– En utilisant les deux définitions ci-dessous, donner la différence fondamentale entre un domaine globulaire et un domaine transmembranaire.

  1. ““Un domaine protéique est une région de la chaîne polypeptidique de la protéine qui est auto-stabilisée et qui se replie indépendamment du reste. Chaque domaine forme une structure tridimensionnelle compacte et pliée. De nombreuses protéines sont constituées de plusieurs domaines. Un domaine peut apparaître dans une variété de protéines différentes.””

  2. Un domaine transmembranaire désigne généralement un segment transmembranaire d’une seule hélice alpha d’une protéine transmembranaire. Plus largement, un domaine transmembranaire est un domaine protéique qui s’étend sur toute la membrane.“

Bases de questions#

Les QCM sont des outils intéressants. De plus, ils sont auto-correctifs si on les utilise dans un examen en ligne. Lorsqu’ils sont bien écrits, leurs questions peuvent susciter des processus de haut niveau et donner lieu à des réponses numériques.

Objectif 2 : Témoigner d’une compréhension de l’information-clé, analyser et appliquer cette information#

Les étudiants aiment échanger. Il existe une industrie mondiale entièrement dédiée à leur permettre de communiquer en temps réel et à grande échelle. Alors, comment pourriez vous empêcher l’échange de réponses sur un réseau social ? La réponse est la base de questions, disponible sur la plupart des plates-formes d’e-learning (BlackBoard, Moodle, etc.). Pour chaque item de QCM différentes variations sont écrites. La plate-forme peut être paramétré de manière à ce qu’une question est tirée aléatoirement de la base et présentée aux étudiants. Pour un test de 30 questions, chaque question ayant 4 variantes, cela fait 1,8 x 1019 feuilles d’examen différentes. On ne peut les empêcher de s’arrêter pour demander la réponse à un ami, mais par chance il sera trop occupé à donner sa propre réponse pour répondre.

Les questions peuvent être écrites de manière à ce que la base reste cohérente. Avoir des réponses possibles similaires assure que chaque question soit d’égale difficulté. On peut changer, par exemple, les facteurs de la Question 2 ci-dessous pour donner des réponses correctes différentes. Pour créer la base, il suffit de changer les valeurs numériques (pI et pH) ; le patron des réponses restant le même.

Question 2- Une protéine avec un pI of 5.2 et à un pH de 8.0 se lierait à quel type de colonne d’échange d’ions :

  1. Échange de cations parce que la protéine a une charge positive.

  2. Échange de cations parce que la protéine a une charge négative.

  3. Échange d’ions anioniques parce que la protéine a une charge positive.

  4. Échange d’ions anioniques parce que la protéine a une charge négative.

Trouvez et corrigez l’erreur#

Dans ce type de questions, l’idée est de prendre une définition, un passage ou une image décrivant un scénario donné ou un système et d’y ajouter des erreurs délibérées. Les étudiants doivent à la fois identifier et corriger ces erreurs. L’autre bonus de ce type de question est qu’ils peuvent être intégrés à des bases de questions (voir Section précédente) et que leur correction peut être automatisée. La question demande que les étudiants analysent le texte ou l’image et démontrent leur compréhension par leurs corrections. La plate-forme peut aussi être paramétrée avec des réponses attendues, ce qui rend les questions auto-corrigeables. Si l’on écrit le texte ou réalise les images soi-même, alors les réponses ne peuvent être trouvées aisément sur internet.

Ndt : il est préférable d’user de ce procédé avec précaution, car il expose les étudiants à des informations erronées, qui peuvent donc être apprises, voir Document Les questionnaires à choix multiple : définitions et critiques.

Objectif 3 - Être capable d’évaluer l’information importante sur un sujet donné#

Question 3 - Structure de peptide avec des erreurs délibérées.

_images/peptide-1.jpg

La réponse peut être du texte libre ou, si on veut automatiser le processus, les étudiants peuvent sélectionner l’erreur d’une liste de possibilités. Pour concevoir d’autres questions avec le même ensemble de réponses on peut simplement dessiner de nouvelles images qui correspondent aux autres erreurs :

  1. C-term et N-term sont étiquetés incorrectement. (réponse correcte)

  2. Charge incorrecte sur les résidus terminaux. (réponse correcte)

  3. La chaîne latérale de la glutamine ne peut être ionisée.

  4. Le squelette de l’acide aminé C-terminal a trop d’atomes de carbone.

  5. La chaîne latérale de l’Aspartate porte une charge incorrecte.

Résumé partiel#

En ligne ou non, les questions à l’épreuve de la tricherie testent l’application de connaissances plutôt que le rappel. Elle suscitent la créativité et offre l’opportunité d’évaluations authentiques. Les questions d’examen doivent être compréhensibles, reliées aux objectifs d’apprentissage, et discriminer les étudiants. À cette fin, on peut utiliser un mélange de questions dont certains sont plus aisées pour permettre d’atteindre le niveau minimal de passage. Il est utile de se mettre à la place des étudiants : essayer de passer votre examen pour voir combien de temps cela dure, et rechercher vos questions sur internet pour voir ce qui est retourné !

Les suggestions précédentes étaient centrées sur des questions ayant des réponses à sélectionner plutôt qu’à construire et rédiger. La suite de ce Document va s’intéresser à ce deuxième type de questions, toujours plus à l’épreuve de la tricherie.

Soyez créatifs#

Les plus hauts niveaux de l’apprentissage requièrent que les étudiants créent. On peut avoir passé un long moment à enseigner les idées et concepts centraux, maintenant il est temps de les laisser utiliser cette information. Pour cela, on peut créer des questions ouvertes (on oublie de pouvoir avoir une seule réponse correcte et on est flexible dans sa correction, en évaluant les idées et la faisibilité de ce qui est suggéré). Le défi pour le correcteur est qu’il n’y a pas de réponse prédéterminée et de nombreuses solutions possibles. Formuler des situations ou problèmes authentiques auxquels les étudiants pourraient avoir à faire face.

Objectif 4 - Appliquer ses connaissances pour trouver des solutions uniques#

L’exemple ci-dessous est tiré des paragraphes finaux d’un article de recherche (j’ai aussi tiré parti des intérêts de recherche de l’équipe d’enseignants). Typiquement, dans la littérature de recherche en sciences de la vie, ces paragraphes finaux suggèrent un champ de recherche ou une nouvelle direction de recherches. On demande aux étudiants de suggérer des expérimentations possibles pour résoudre le problème. Il y a dans ce cas un risque de collusion entre étudiants quand l’examen est en ligne, car ils peuvent discuter entre eux et produire des réponses similaires. Toutefois, on peut aussi penser qu’ils vont travailler ensemble pour élaborer leurs idées, ce qui rejoint ce que l’on fait dans le monde réel).

Question 4 - Dans la discussion de l’article suivant (Limatola et al. 2018), les auteurs commentent les effets des modifications post-traductionnelles sur le traitement protéolytique de l’α-synucléine. Ils établissent un plan expérimental détaillé pour déterminer si la phosphorylation de ces résidus Tyrosine est critique pour le traitement protéolytique de l’α-synucléine.

Critères d’évaluation sur 10 (Montrer les critères de manière à ce que les étudiants sachent ce qu’on attend d’eux). Ici, on évalue si la méthode choisie est réalisable, et si les étudiants montrent une compréhension de leur réalisation en pratique. Les notes les plus élevées sont données si la présentation est logique et si on explique les résultats attendus).

  • Passable – Essai de réponse, méthodes pertinentes avec une description qui contient des erreurs et atteste une compréhension erronée.

  • 5 – Essai de réponse, méthodes pertinentes avec une description qui contient des éléments corrects.

  • 6 – Réponse correcte, méthodes pertinentes avec une description détaillée qui contient des éléments corrects.

  • 7 – Réponse correcte, méthodes pertinentes avec une description détaillée et correcte, présentée de manière logique.

  • 8 – Excellente réponse, méthodes très bien intégrées avec une description détaillée, correcte, avec les résultats attendus.

  • 9 – Excellente réponse, méthodes très bien intégrées avec une description détaillée, correcte, présentée de manière logique, avec les résultats attendus.

  • 10 – Remarquable réponse, méthodes présentées très en détail, correctement, de manière logique et avec les résultats attendus.

Que pensez-vous ?#

Rechercher un terme dans un moteur de recherche va retourner un grand nombre de sources, mais laquelle est la meilleure et pourquoi ? Nous voulons que nos étudiants développent une compétence à évaluer l’information. Avec le type de questions ci-dessous la recherche a déjà été faite à leur place. Nous leur demandons de lire le texte, le critique, l’analyser et le commenter. Les deux définitions présentées sont bonnes mais aucune n’est complète. Pour le formuler les étudiants doivent recourir à leurs connaissances et donner des arguments.

Objectif 5 - Évaluer de manière critique l’exactitude, la clarté et profondeur des définitions#

Question 5 - Les deux énoncés ci-dessous ont été tirés de sources Internet en recherchant le terme “protéomique”. Comparez les deux ensembles d’informations et dites, en argumentant, lequel des deux donne la définition la plus complète du terme “protéomique”.

  • Definition 1 La protéomique est l’étude à grande échelle des protéines. Les protéines sont des éléments vitaux des organismes vivants, avec de nombreuses fonctions. Le protéome est l’ensemble des protéines produites ou modifiées par un organisme ou un système. La protéomique permet d’identifier un nombre toujours plus grand de protéines. La protéomique fait généralement référence à l’analyse expérimentale à grande échelle des protéines et des protéomes, mais se réfère souvent spécifiquement à la purification des protéines et à la spectrométrie de masse. (Source : Wikipedia)

  • Definition 2 La protéomique est une discipline rapide et puissante visant à étudier le protéome entier ou la somme de toutes les protéines d’un organisme, d’un tissu, d’une cellule ou d’un biofluide, ou d’une sous-fraction de ceux-ci, ce qui permet d’obtenir un paysage riche en informations des protéines exprimées et de leurs modulations dans des conditions spécifiques. À ce jour, la plupart des découvertes et des efforts en matière de protéomique ont été principalement orientés vers les domaines de la recherche sur le cancer, la découverte de médicaments et de cibles médicamenteuses et la recherche de biomarqueurs. (Source : Science Direct)

Expliquez simplement#

Soyez honnête : si vous trouviez l’information sur internet et que vous vouliez l’utiliser dans votre travail, feriez-vous juste une paraphrase ? Ce qui est encore plus effrayant du point de vue de l’évaluateur est qu’il y a des scripts qui feront ça pour vous. Inversez le problème et faites de la paraphrase un but de l’évaluation.

Les étudiants luttent souvent contre la langue complexe utilisée dans les travaux de recherche. Les articles sont écrits par des experts pour d’autres experts. Toutefois, il est important d’avoir les connaissances et le vocabulaire pour tirer le meilleur des recherches.

De plus, être capable d’expliquer quelque chose simplement montre que vous le comprenez vraiment. Si on s’intéresse à l’employabilité, être capable d’interagir avec le public et communiquer des résultats de recherche est une compétence-clé, pour, par exemple, réaliser des candidatures à des projets de recherche ou des communications dans des médias. Il suffit de considérer les nombreuses façons d’expliquer la vaccination pour la COVID-19 à différents publics.

Dans cet exemple, un article ou un résumé est donné aux étudiants et ils doivent écrire leur description pour un public non spécialiste. Réaliser cela nécessite une bonne compréhension du domaine et du public-cible.

Objectif 6 - Expliquer des informations complexes à des non-spécialistes#

Question 6 - L’article de Flint et al décrit comment l’imagerie MALDI a été utiliser pour étudier un modèle de tumeur cancéreuse. Lisez le résumé de l’article et écrivez une description grand-public, ayant une connaissance basique de la biologie.

Critères d’évaluation

Passable – Scientifiquement correct, mais pas aisément lisible pour le public-cible. Certains termes utilisés sont complexes ou n’ont pas de sens précis. La structure est correcte mais est présentée à la voix passive. Les buts et objectifs sont présentés correctement, mais ne pourraient pas être compris par le public tout-venant.

Distinction – Le contenu est scientifiquement correct et écrit de manière lisible pour le public-cible. Les termes ou phrases complexes ou sans sens précis sont évités. Le texte est cohérent, et est présenté à la voix active. Les buts et objectifs sont présentés correctement, et peuvent être compris par le public tout-venant.

Récupérez et traitez des informations sur de multiples sujets#

C’est toujours utile d’écouter vos étudiants et de comprendre ce qu’ils essaient de vous dire. Vous pourrez vous faire une idée de la question la plus géniale, mais ce sera à eux d’y répondre.

“Ce que j’ai trouvé le plus gratifiant, et impossible à trouver sur internet, sont les questions qui demandent des réponses d’un paragraphe et qui traitent de 3/4 sujets à la fois.” (Ancien étudiant)

Cet avis m’a été envoyé en réponse à la première partie de ce billet de blog et vient d’un ancien étudiant qui a été confronté à des examens en ligne. Ces questions - qui ont trait à plusieurs différents sujets - doivent être conçues de manière à ce que l’information est reliée et intégrée, pour que les étudiants aient à la traiter pour créer leurs réponses.

Toutefois, il faut noter que l’information contenue dans les questions et nécessaire pour la réponse doit provenir de plus d’une séance de cours ou même plus d’un module. Des connaissances fondamentales d’une série de sources devront être synthétisées et intégrées, soutenant l’avis qui est donné. Cela peut représenter aussi une question d’opinion dans laquelle chacune des options présentées devrait en théorie fonctionner ou être appropriée. Ce que je cherche est, selon la situation, pourquoi l’option choisie est la meilleure.

Objectif 7 - Décrire et appliquer des connaissances fondamentales#

Question 7 - L’édition de gènes, l’expression à partir de vecteurs plasmidiques ou la transfection directe sont autant de méthodes permettant d’introduire une nouvelle protéine dans une cellule. Dans la situation suivante, expliquez laquelle de ces méthodes ou d’autres vous utiliseriez et pourquoi vous considérez qu’elle est la plus appropriée pour ce scénario.

  1. David aimerait étudier l’effet de l’élimination d’une histidine du site de liaison métallique d’une protéine. L’expression de cette protéine est contrôlée de manière post transcriptionnelle par un élément de réponse au fer dans l’ARNm.

  2. Sue souhaite déterminer l’emplacement cellulaire de sa protéine dans les cellules vivantes. On pense que l’emplacement de cette protéine diffère dans des conditions de stress.

Résumé final#

L’éducation peut changer le monde. Mais éduquer, c’est plus qu’enseigner aux étudiants à chercher de l’information. Les moteurs de recherche font cela en une fraction de seconde.

Le monde a changé et les jours d’examen où “l’on s’assoit et on écrit tout ce dont on peut se souvenir” sont derrière nous. Nous avons à nous adapter et trouver différentes manières de faire des évaluations. Nous voulons que les étudiants soit capables d’utiliser des informations, d’exprimer clairement, précisément, leurs propres opinions et idées, et qu’ils les fondent sur des preuves. Pour cela, ils doivent vraiment comprendre leur domaine, chercher et trouver les informations pertinentes, critiquer de larges pans de connaissances qu’on leur présente, et ainsi créer les meilleures réponses possibles aux problèmes complexes du monde.

Références complémentaires#

Contenu