Les QCM : Bref historique#
Informations
Auteurs : Philippe Dessus, Inspé & LaRAC, Univ. Grenoble Alpes. Le quizz a été réalisé par Émilie Besse, projet ReFlexPro.
Date de création : Septembre 2015.
Résumé : Ce document décrit un bref historique des questionnaires à choix multiple, qui ont environ 100 ans.
Introduction#
Tout étudiant qui connaît sur le bout du doigt son système éducatif sait que, s’il est facile d’éviter un mauvais cours, il est en revanche plus difficile d’éviter une mauvaise évaluation [Kalz, 2009]. Très sommairement, lorsqu’on demande à un apprenant de répondre à une question de connaissance, deux possibilités s’offrent :
lui faire construire la réponse en lui permettant de la rédiger avec ses propres mots (réponse construite, ou RC) ;
lui faire sélectionner la réponse adéquate parmi un choix (choix multiple, ou CM).
Dans l’enseignement à distance, où le nombre d’étudiants est souvent très important, on évalue préférentiellement les connaissances par le biais de questionnaires CM (QCM) dont les retours évaluatifs sont rapides. C’est un moyen courant et maintenant bien géré par de nombreuses plates-formes d’enseignement à distance (e.g., Moodle). Il existe même des standards, permettant de transférer aisément d’une plate-forme à l’autre les questionnaires réalisés (comme SCORM : Shareable Content Object Reference Model, IMS QTI, Question and Test Interoperability, ou encore AICC, Aviation Industry CBT Committee). Cette pratique se réalise également dans l’enseignement en présence, lorsque le nombre d’étudiants est important et rend viable l’utilisation de tels questionnaires.
Tout enseignant passe beaucoup de temps à essayer de comprendre ce que ses élèves arrivent à comprendre à propos des cours qu’il conçoit et réalise. Une partie de cette activité se passe en direct, via l’observation des élèves, leur interrogation, la correction d’exercices. Cette charge de travail est très importante, et l’enseignant peut penser à recourir à des outils informatisés qui l’aident à fournir de telles informations.
Bien évidemment, ce type d’activités existait bien avant l’invention de l’ordinateur. On peut penser aux « boîtes enseignantes » de Freinet, où un élève pouvait sélectionner un ensemble de questions sur un domaine donné, l’insérer dans une boîte laissant successivement apparaître dans une fenêtre des questions et leurs réponses, le laissant ainsi s’auto-évaluer. De nombreux didacticiels informatisés qui sont ensuite apparus ne réalisent souvent pas autre chose (par exemple, lorsque les élèves utilisent un logiciel de traitement de textes et qu’ils sollicitent des suggestions lorsqu’un mot est indiqué comme mal orthographié), voir Document Les rétroactions informatisées.
Les questionnaires à choix multiple, ou encore les simples questions-réponses sont un moyen classique de vérifier si un apprenant a compris. Ce type de questionnaires existe depuis de nombreuses années et a déjà fait l’objet de publications nombreuses (voir [Haladyna, 2004] pour une synthèse). Pour autant, il est assez curieux de noter qu’il y a un engouement récent, dû à leur utilisation intensive dans l’enseignement à distance et plus, récemment, avec les boîtiers de vote. Toutefois, leurs effets sur l’apprentissage sont encore mal connus, et encore plus mal expliqués.
Comme le lecteur le découvrira plus loin, les deux méthodes, RC ou CM, ont des inconvénients. La recherche, au cours de ces 100 années d’existence des QCM, a consisté :
à faire que les réponses aux QCM ne soit pas une simple sélection au hasard, mais soient précédées d’une réflexion la plus riche possible des apprenants ;
à rendre les RC plus aisément analysables, notamment avec les moyens informatisés.
Exactement 100 ans après la création des QCM, ce cours s’emploie à explorer la première piste (on pourra reporter le lecteur à [Dessus & Lemaire, 2004] pour des informations sur la deuxième). Il permet d’étudier de plus près trois événements importants et leurs effets respectifs : l’apprentissage proprement dit, le rappel d’informations (dû, par exemple, à un questionnaire) et les rétroactions (de l’enseignant, d’une machine). Le sens commun signale que l’apprentissage a uniquement lieu pendant la phase d’exposition à l’information. Des recherches récentes (e.g., [Roediger & Butler, 2011]) montrent que l’apprentissage de notions est d’autant meilleur qu’il est suivi de feedback, non pas immédiats à la question, mais reportés quelques minutes après (feedback différé). Ce cours s’intéresse donc à ce que Mayer et Colvin Clark [Mayer & ColvinClark, 2010] nomment des « environnements d’apprentissage passifs », c’est-à-dire des dispositifs qui n’acceptent pas d’interactions ouvertes de la part de leurs utilisateurs. Comme le signale Reif [Reif, 2008] ce type d’environnement peut en partie guider l’apprenant à la place de l’enseignant (tuteur cognitif).
Historique de l’utilisation des QCM#
La première utilisation en vraie grandeur d’un QCM a eu lieu il y a exactement 100 ans. Madaus et O’Dwyer [Madaus & ODwyer, 1999] datent l’utilisation des premiers questionnaires à choix multiple (QCM) au tout début du XXe siècle, pour pallier à la fois la mauvaise validité des essais, couramment utilisés comme moyen d’évaluation et dont l’évaluation était jugée trop subjective [Leclercq, 2006, Davidson, 2011], mais aussi pour rendre la correction plus efficiente : cela prend beaucoup de temps de corriger un essai, mais aussi de l’écrire.
Les premiers tests QCM apparaissent en 1915, sous l’impulsion de Frederick J. Kelly, de l’Institut de formation des enseignants du Kansas [Davidson, 2011], qui crée le premier test de lecture silencieuse chronométré. L’essor est rapide : en 1921, 2 millions de soldats américains et 3 millions d’élèves passent un QCM [Monaham, 1998]. Un peu plus tard, en 1926, une version de ce test est introduite dans le SAT (Scholastic Aptitude Test, évaluation des connaissances des élèves, de l’école primaire au lycée, aux États-Unis d’Amérique), et les QCM ont fleuri dans le cadre de tests standardisés, quand ont crû la demande, et surtout le nombre d’étudiants et d’élèves.
La mécanisation de ces tests n’a ensuite pas tardé : dès 1924 Pressey présente à un congrès étatsunien une “machine à enseigner”, sorte de machine à écrire mécanique faisant dérouler deux feuilles : l’une présentant des questions successives, assorties chacune de 4 réponses possibles (5 dans certaines versions), l’autre consignant les réponses de l’élève. L’appui sur l’une des touches de la machine fait passer à la question suivante si la réponse et correcte, et reste sur la question sinon. Un système de comptage de points et même de délivrance d’une friandise à la fin du test existe. La première machine à enseigner (l’IBM 805) a été commercialisée en 1938. Électrique, elle détectait l’endroit des coches de l’élève sur une page et calculait le score résultant [Watters, 2021]. La lecture de [Leplat, 1969] donnera des informations précises sur les différents systèmes d’enseignement programmé.
En 1955, l’invention du scanneur optique a permis de corriger très rapidement ces formulaires, ce qui a accentué la popularité de ces outils, ensuite augmentée encore par l’arrivée de l’ordinateur, dans le courant des années 1970. Cela rendait l’évaluation très rapide et peu chère (résultats en 2 à 4 semaines, pour un coût de 2 à 3 dollars lorsque réalisée via scanneur). Les années 1980, comme l’expliquent Madaus et O’Dwyer [Madaus & ODwyer, 1999], ont vu arriver un regain de critiques envers les QCM, jugés (avec raison) comme insuffisamment authentiques, et/ou donnant des résultats non fiables.
Plus récemment encore, dans le cadre de l’e-learning, puis de l’utilisation de boîtiers de vote en classe, les QCM sont redevenus plus utilisés. Enfin, on les voit apparaître, notamment à l’université, dans les cours hybrides (comportant des cours en présence et à distance), et leurs effets sont positifs [Spanjers et al., 2015].
Notre opinion est qu’un test correctement construit et évalué peut donner des résultats aussi fiables que d’autres méthodes, et la facilité de la phase de correction autorise leur utilisation à large échelle (p. ex., évaluations nationales). Cet intérêt et besoin de tests a lancé une industrie très opulente, et il ne rentre pas dans le propos de ce cours de la relater plus avant (voir [Clarke et al., 2000]).
Quizz#
Voir plus loin#
Lire l’article de Leclercq [Leclercq, 2006], disponible à http://www.elearning.ulg.ac.be/evolution_qcm_in_figari_mottier.pdf.
Lire l’article de la Wikipédia sur le choix multiple.
Références#
- Clarke et al., 2000
Clarke, M. M., Madaus, G. F., Horn, C. L., & Ramos, M. A. (2000). Retrospective on educational testing and assessment in the 20th century. Journal of Curriculum Studies, 32(2), 159–181.
- Davidson, 2011(1,2)
Davidson, C. N. (2011). Now you see it. How the brain science of attention will transform the way we live, work, and learn. New York: Vicking.
- Dessus & Lemaire, 2004
Dessus, P., & Lemaire, B. (2004). Assistance informatique à la correction de copies. In E. Gentaz, & P. Dessus (Eds.), Comprendre les apprentissages : sciences cognitives et éducation (pp. 205–220). Paris: Dunod.
- Haladyna, 2004
Haladyna, T. M. (2004). Developing and validating multiple-choice test items. 3th ed. Mahwah: Erlbaum.
- Kalz, 2009
Kalz, M. (2009). Placement support for learners in learning networks. Heerlen: OUNL, unpublished PhD Thesis.
- Leclercq, 2006(1,2)
Leclercq, D. (2006). L'évolution des qcm. In G. Figari, & L. Mottier-Lopez (Eds.), Recherches sur l'évaluation en éducation (pp. 139–146). Paris: L'Harmattan.
- Leplat, 1969
Leplat, J. (1969). Introduction à l'enseignement programmé. Bulletin de Psychologie, 22(275), 470–506.
- Madaus & ODwyer, 1999(1,2)
Madaus, G. F., & O'Dwyer, L. M. (1999). A short history of performance assessment: lessons learned. Phi Delta Kappan, 80(9), 688–695.
- Mayer & ColvinClark, 2010
Mayer, R. E., & Colvin Clark, R. (2010). Instructional strategies for receptive learning environments. In K. H. Silber, & W. R. Foshay (Eds.), Handbook of improving performance in the workplace: Vol. 1, Instructional design and training delivery (pp. 298–328). San Francisco: Pfeiffer.
- Monaham, 1998
Monaham, T. (1998). The rise of standardized educational testing in the U.S.: A bibliographic overview. Report of the Rensselaer Polytechnic Institute.
- Reif, 2008
Reif, F. (2008). Applying cognitive science to education. Cambridge: MIT Press.
- Roediger & Butler, 2011
Roediger, H. L., 3rd, & Butler, A. C. (2011). The critical role of retrieval practice in long-term retention. Trends in Cognitive Sciences, 15(1), 20–7.
- Spanjers et al., 2015
Spanjers, I. A.E., Könings, K. D., Leppink, J., Verstegen, D. M.L., Jong, N. d., Czabanowska, K., & Merriënboer, J. J.G. v. (2015). The promised land of blended learning: quizzes as a moderator. Educational Research Review, 15, 59-74.
- Watters, 2021
Watters, A. (2021). Teaching machines. Cambridge: MIT Press.