Concevoir des usages du numérique par la scénarisation#

Informations

Auteurs : Philippe Dessus, Inspé & LaRAC, Univ. Grenoble Alpes. Le quizz a été réalisé par Émilie Besse, projet ReFlexPro.
Date de création : Novembre 2016.
Résumé : Ce document s’appuie sur le travail de Rosson et Carroll (2002), et détaille leur méthode de conception de logiciels éducatifs fondée sur les scénarios, en donnant quelques exemples.
Voir aussi : Les Documents gene:concevoir_enseignement et Le design centré sur les valeurs de systèmes pour l’éducation fondés sur l’IA.

Introduction#

Il existe de nombreuses méthodes de conception de systèmes informatisés. Certaines sont centrées sur les fonctionnalités procurées, d’autres sur les usages possibles. Nous présentons ici, pas à pas, la méthode de Rosson et Carroll (2002), en l’exemplifiant. L’utilisation de cette méthode peut être intéressante dans les contextes éducatifs. Elle est suffisamment générale pour s’adapter à la plupart des situations et des systèmes à créer.

L’intérêt premier de cette méthode est qu’elle s’appuie sur une analyse complète et concrète des pratiques réelles quotidiennes des acteurs, et de cette analyse découle la spécification du système qui serait utile à ces pratiques. Cela permet d’éviter, au moins en partie, les débauches de fonctionnalités qui ne sont présentes seulement parce qu’elles sont possibles – approche que Morozov qualifie de “solutionniste” [Morozov, 2014].

Le lecteur pourra trouver dans Villiot-Leclercq et al. (2011) [] un exemple complet de mise en œuvre de la méthode, à partir d’un système informatisé procurant des rétroactions suite à des résumés.

Le vocabulaire utilisé dans ce document est le suivant :

environnement : partie du contexte éducatif (dans notre cas, scolaire) dans lequel les différents acteurs (voir ce terme) interagissent, parfois avec l’aide d’artefacts (voir ce terme) ;
acteurs : les différentes personnes impliquées, à un titre ou à un autre, dans l’environnement, et dont l’activité peut être influée par l’arrivée de l’artefact (voir ce terme) ;
artefact : objet, matériel ou immatériel, conçu intentionnellement, à des fins précises, dont l’utilisation par les acteurs va avoir un certain impact (anticipé comme positif) sur les acteurs et leur activité.

Les principales étapes#

Comme dit dans l’introduction, cette méthode nécessite de questionner les répercussions de l’installation d’un nouveau système, non seulement pour les utilisateurs finaux (p. ex., les élèves), mais pour tous les principaux acteurs (incluant, p. ex., les enseignants, le chef d’établissement, les parents, les techniciens, …).

La vue générale du processus est la suivante :

Elaborer et analyser les scénarios-problème (SP).
Elaborer et analyser les scénarios-solution (SS).
Elaborer et analyser les scénarios d’information (SI).
Elaborer l’interaction utilisateur-système (cette étape étant très spécifique au type d’artefact choisi, nous ne l’expliquerons pas dans ce document).
Réaliser le prototype du système (non abordée dans ce document, pour la même raison que précédemment).

Analyser la pratique actuelle : les Scénarios-problème#

La première étape est de documenter, pour chacun des acteurs impliqués dans l’environnement, leur pratique actuelle, en mettant en évidence les possibles problèmes qui pourraient être réglés par l’installation de l’artefact dans l’environnement. Cela amène à écrire un document décrivant (cf. Rosson & Carroll, 2002, pp. 39 et sq.) la pratique courante des acteurs. À cette fin, une analyse des tâches peut être réalisée, qui détaillera :

les activités dans l’environnement ;
les artefacts (outils matériels) utilisés, et le flux de l’information à travers eux ;
le contexte social de l’environnement : comment le groupe est-il organisé ? quels sont les rôles définis, comment le travail de chacun dépend-il de celui des autres ?

Ainsi, un cas, écrit sous une forme narrative, est présenté par acteur de la situation, en mettant en avant les points précédents.

Analyser les caractéristiques pour-contre du scénario-problème#

La deuxième étape est d’extraire du descriptif des scénarios-problème ses principales caractéristiques, pour lesquelles leurs dimensions positives ou négatives vont être successivement examinées. Cela permet de juger, le plus objectivement possible, des tenants et aboutissants de l’introduction, dans un environnement, d’un nouvel artefact. Il est important de noter que ces deux premières phases ne concernent que la situation actuelle. Elle ne disent rien de ce que pourrait être (ou faire) le nouvel artefact.

Une fois cette phase d’analyse terminée (notons qu’une fois avancés dans l’une des phases ultérieure il est toujours possible de revenir spécifier des éléments de la phase d’analyse si nécessaire), la deuxième phase a pour but la conception.

Concevoir des scénarios-solution#

Dans cette troisième étape, le travail consiste à reprendre le scénario-problème et, pour chaque acteur, reformuler son activité dans le contexte d’utilisation du nouvel artefact, en mettant en avant les facettes de l’activité qui vont changer (pas nécessairement en mieux).

La justification de la présentation de telle ou telle solution peut s’appuyer sur la littérature de recherche sur le sujet et/ou l’expérience des concepteurs du scénario. La source des justifications peut être indiquée dans le scénario-solution.

Analyser les caractéristiques pour-contre des scénarios-solution#

La quatrième étape est attendue : elle est le pendant de la deuxième et permet d’analyser de la même manière les pour et les contre de l’introduction de l’artefact dans l’environnement.

Concevoir des scénarios d’information#

La cinquième étape va être l’occasion de raffiner les scénarios d’activités en indiquant, quand cela est nécessaire, le trajet de l’information tout au long du scénario, et la manière dont les différents acteurs récupèrent, saisissent, traitent, cette information et lui donnent sens avec le nouvel artefact.

Analyser les caractéristiques pour-contre des scénarios d’information#

La sixième étape est également attendue : il s’agit là encore de déterminer les principales caratéristiques de la manière dont l’information est traitée, et d’en peser les pour/contre.

Ce que l’on peut faire#

La méthode précédente est assez longue, et il n’est pas toujours utile de présenter extensivement tous les éléments écrits à chaque étape, notamment aux décideurs ou financeurs. Renseigner les éléments du Tableau 1 ci-dessous peut suffire.

Tableau 1 Grille de description d’un projet#
Caractéristique	Description
Nom	Donner un nom de cas court et explicite
Auteurs	Noms des auteurs, courrier électronique
Version	Numéro de version
Résumé	Courte description du but général du cas, incluant au moins le problème et la solution proposée à ce problème.
Situation problématique	Décrire les différents protagonistes (e.g., enseignants, étudiants, secrétaire, tuteurs, techniciens informatiques, responsable de la formation, etc.) de la situation et leurs problèmes respectifs. Qui a quel problème ? En quoi est-ce un problème ? Pourquoi est-ce important de résoudre ce problème ?
Contexte	Description du contexte dans lequel le problème survient. Cela inclut des informations sur les acteurs, les groupes d’étudiants concernés, l’organisation de la formation, le type de matériel et de ressources utilisés, etc.
But recherché	Description du but : quel est le but souhaitable (et atteignable) une fois que le problème aura été résolu ? Un but doit être réaliste, être rempli dans des conditions raisonnables, et non pas une situation idéale. Il est possible de reprendre la liste des différents protagonistes pour décrire leur vision de ce but.
Solution(s)	Description des solutions fonctionnelles (non spécifiquement techniques) à la situation problématique, afin de remplir le but désiré. Là aussi, la liste des différents acteurs peut être utilisée.
Conditions and pré-requis	Description des facteurs principaux de réussite pouvant influer sur la conception ou utilisation de la solution (e.g., rôles nécessaires, ressources, etc.), et qui sont des pré-requis pour résoudre le problème.
Indicateurs de performance	Indicateurs de performance pour tester si les buts recherchés ont été remplis une fois la solution mise en œuvre dans le contexte. Ces indicateurs sont formulés précisément et doivent être mesurables. Là encore, la liste des différents acteurs peut être utilisée.
Cas relatifs	Liste du/des cas relié(s) à ce cas.
Notes	Toute information/remarque utile pour comprendre le cas (suppositions, exceptions, recommandations)
Références	Articles/URLs/documentation en rapport avec ce cas.

Et en voici un exemple rempli, avec le projet décrit plus haut.

Tableau 2 Grille de description du projet LTfLL-Pensum#
Caractéristique	Description
Cas	Procurer un feedback sur les productions textuelles d’étudiants
Auteur(s)	Philippe Dessus, Benoît Lemaire, Sonia Mandin, Emmanuelle Villiot-Leclercq, Virginie Zampa (UPMF) {Philippe.Dessus, Sonia.Mandin}@upmf-grenoble.fr; {Benoit.Lemaire, Emmanuelle.Villiot-Leclercq}@imag.fr; Virginie.Zampa@gmail.com
Categorie	Délivrer des feedback sur les textes libres d’étudiants
Résumé	Tout étudiant suivant un cours doit en comprendre le contenu et ce faisant doit produire des textes libres (e.g., essays, résumés, notes) qui sont évalués par une tierce personne. Cette évaluation (i.e., pouvant comprendre une note, des commentaires et conseils) est importante pour que les étudiants comprennent la manière dont ils apprennent et progressent, mais demande beaucoup de ressources à l’enseignant. Les formes d’évaluation assistées par ordinateur existantes sont pour la plupart centrées sur des aspects de bas niveau (e.g., orthographe) ou bien sont des questionnaires à choix multiple qui demandent seulement une activité de reconnaissance de la part des étudiants. De plus, ces deux formes impliquent rarement des processus de métacognition, qui sont cruciaux pour la construction de connaissances tout au long de la vie. Ainsi, nous visons à développer un service informatique qui pourrait donner aux étudiants des feedback à volonté, et favoriserait leurs processus métacognitifs (autorégulation) en permettant aux étudiants de comparer leur propre évaluation à celle du service. Ce service donnerait des feedbacks les plus proches possible de ceux donnés par les enseignants humains.
Situation problématique	Procurer et obtenir des feedbacks (retours évaluatifs) sur le processus d’apprentissage et la performance est une étape importante de l’enseignement. Pour les enseignants, c’est un moyen de guider l’apprentissage de l’élève, de vérifier que le contenu est bien appris, et d’améliorer leur pratique. Pour les étudiants, c’est un moyen de comprendre leurs niveaux de travail et de progrès, comment ils ont réalisé leurs tâches ainsi que de savoir quoi faire ensuite. Par conséquent, tout feedback doit être conçu et donné avec soin (fréquence, qualité, contenu, etc.). Détaillons maintenant quelques sources possibles de problèmes. Un étudiant d’université passe couramment beaucoup de temps à travailler sur ordinateur, et est impliqué dans le flux de travail suivant. Dans chaque cours suivi, son enseignant prépare un ensemble de documents contenant 1) un cours détaillant les notions principales ; 2) une feuille de questions détaillant les principaux points du cours à acquérir (connaissances à construire en répondant aux questions, documents supplémentaires à rechercher pour y répondre). Les étudiants (en tant que groupe) doivent répondre de manière collaborative à ces questions après avoir lu le cours, et consulter diverses autres sources (internet, manuels, ouvrages, articles). Ensuite, ils écrivent une dissertation (résumé, synthèse) et/ou notent plus informellement ce qu’ils ont appris ou à apprendre pendant le cours. Ils peuvent également rechercher divers documents dans la bibliothèque ou internet pour enrichir leur production. Ensuite cette dernière est envoyée ou postée à l’enseignant à des fins de relecture ou d’évaluation (bien qu’ils soit à noter que les textes ont nécessairement subi une forme d’évaluation, électronique, par les traitements de textes : correction orthographique, parfois syntaxique). Ensuite l’enseignant lit le travail, l’annote et renvoie le résultat au groupe ou aux étudiants concerné(s). À un autre niveau, les tuteurs ont la tâche de faciliter le processus d’enseignement/apprentissage (e.g., en proposant des outils ou des procédures plus efficaces). L’administrateur a pour principal but de faire en sorte que les étudiants et enseignants puissent avoir un accès facilité et une utilisation la plus efficace du matériel (e.g., ordinateurs, logiciels, réseau). Enfin, le doyen de l’université est principalement responsable de la qualité globale de l’enseignement et est soucieux du taux de réussite des étudiants et de la satisfaction générale de tous les protagonistes.
Liste des problèmes rencontrés	Les problèmes suivants sont rencontrés. 1) Les enseignants se plaignent souvent que leurs étudiants font toujours le même type d’erreurs chaque année. 2) parallèlement, ils se plaignent qu’ils ont chaque année à reconsidérer leur système d’annotations 3) ils se plaignent également de passer trop de temps à corriger les copies de leurs étudiants sur des caractéristiques de bas niveau (orthographe, syntaxe). 4) ce flux de travail entier prend beaucoup de temps, et ce temps est proportionnel aux nombre d’étudiants que l’enseignant a (nombre qui peut être très important dans un contexte d’enseignement à distance), 5) en tant que conséquence de tous ces points précédents, ce dernier emploie diverses stratégies pour réduire sa charge cognitive (e.g., rechercher rapidement dans les textes des erreurs fatales, s’en tenir à sa première impression, ne se focaliser que sur quelques caractéristiques des textes) ; 6) ensuite, du point de vue des étudiants, ce flux de travail est aussi coûteux en temps, et ils préféreraient avoir la possibilité d’être évalués de manière plus continue, afin d’éviter de possibles écueils ; 7) ils se perdent dans les bibliothèques ou sur Internet, rencontrant de grandes difficultés à trouver les documents appropriés ; 8) Les relations enseignant-étudiants entre cours sont rares (sollicitation pour complément d’information, négociation sur les contrôles, feedback plus adapté, etc.) ; 9) comme l’enseignant est l’unique destinataire du travail des étudiants, ces derniers ne sont pas vraiment engagés dans des processus d’auto-évaluation collaborative ; 10) le matériel est souvent sous-utilisé, ce qui est un problème pour les tuteurs, les administrateurs et le doyen.
Conséquences des problèmes	Les conséquences de ces points sont les suivantes: les étudiants 1) bénéficient du feedback informatique à un niveau très bas ; 2) prennent beaucoup de temps à attendre des évaluations de leur enseignant ; 3) reçoivent des annotations souvent vagues et/ou rares, souvent sans référence aux erreurs que leurs pairs font ; 4) ne se questionnent pas eux-mêmes sur leur propre réussite ; 5) utilisent des stratégies rationnelles (bien que contre-productives à long terme) pour donner leur travail dans les délais (e.g, plagiat). De leur côté, les enseignants 1) passent beaucoup de temps à évaluer le travail de leurs étudiants du point de vue de la forme et du contenu ; 2) passent de plus du temps à attendre les réponses de leurs étudiants à des éventuelles questions supplémentaires ; 3) sont tentés d’utiliser des QCM (questionnaires à choix multiple), ce qui cantonne les révisions des étudiants à un trop bas niveau. Les tuteurs laissent en général les enseignants et leurs étudiants tenter d’utiliser des logiciels et du matériel sophistiqué, mais sous-utilisé. Les administrateurs et le doyen font dépenser beaucoup d’argent en assistance technique et stratégique qui est souvent peu sollicitée par leurs usagers. Ils sont de plus attentifs aux réclamations des enseignants et des étudiants à propos, respectivement, de plagiat et d’évaluations non pertinentes.
Contexte	Cette situation survient dans de nombreux contextes universitaires. Dans la plupart d’entre eux les étudiants ont à produire régulièrement des essais intermédiaires ou terminaux à propos des notions qu’ils ont apprises, et reçoivent un feedback à leur propos. A cette fin, ils utilisent leur propres ordinateurs portables connectés à un Intranet qui gère les différentes versions de leurs productions et permet des interactions collaboratives plus ou moins sophistiquées (e.g., chat, forum, référencement social, etc.). Plus précisément, les protagonistes sont les suivants : – Etudiants, engagés dans un cursus universitaire. Ils suivent des cours, lisent des notes de cours de leurs enseignants et des manuels et écrivent régulièrement des notes à propos de leurs cours, réalisent des travaux pour des contrôles continus, etc. – Les enseignants, qui gèrent et contrôlent le travail des étudiants et ont une vue globale de leurs progrès, ils lisent leurs productions écrites et donnent leur feedback ou leurs annotations. – Les tuteurs, qui aident les enseignants à gérer le flux global d’activités. Ils gèrent les différents comptes à différents niveaux (droits d’accès, qui évalue qui, etc.), pour assister les activités pédagogiques ; – Les administrateurs, qui conçoivent et rendent possibles le fonctionnement global du service. Ils procurent une assistance stratégique et technique, permettant aux utilisateurs d’avoir des outils efficaces et à jour. Ils gèrent aussis les liens entre les services techniques et pédagogiques de l’université et décident (en lien avec les tuteurs et enseignants) quel matériel et logiciels acheter).
But recherché	Notre but est de concevoir et implanter un système qui évalue automatiquement les productions des étudiants afin de laisser les enseignants se centrer sur des aspects de plus haut niveau de leur activité (e.g., conception de cours, guidage individuel des étudiants). Les productions des étudiants sont analysées par le service et plusieurs types d’indications sont fournis (sur le cours lui-même, sur les productions des étudiants ou bien sur les prochains textes à lire). Les enseignants sont impliqués dans le processus en supervisant soigneusement les différentes phases d’apprentissage.
Buts généraux	– Donner aux étudiants des textes à lire qui correspondent à leur niveau de compréhension des textes précédents (pas trop difficiles, pas trop faciles) ; – Permettre l’autoévaluation des étudiants de leur propre production (essais, résumés, notes de cours) 1) à la fois à un bas et haut niveau ; 2) en leur fournissant une vue intégrée des différentes évaluations ; 3) dans un délai approprié. – Permettre l’autorégulation de l’apprentissage des étudiants en leur permettant de comparer leur propre jugement sur leurs textes avec celui du service informatique. – Donner aux étudiants des questions courtes ou des avis leur permettant d’avancer dans leur compréhension des notions importantes ; – Donner aux enseignants des moyens de superviser le progrès des étudiants.
Buts plus spécifiques	permettre une analyse a priori des textes de cours (lisibilité, phrases les plus importantes) ; - procurer plusieurs types d’évaluations des textes des étudiants (niveau de cohérence, possible plan de cours suivi) ; - croiser les deux types d’évaluations afin de procurer des feedbacks plus efficaces (e.g., lorsqu’une phrase du cours est évaluée comme importante et n’apparaît pas dans le résumé de l’étudiant). - fournir aux enseignants une base de données des erreurs habituelles des étudiants et leurs annotations correspondantes. Toutes ces indications ont pour but d’améliorer à la fois la compréhension des étudiants à propos des notions enseignants et leur utilisation de stratégies d’écriture.
Solution(s)	Notre principal but est de procurer une evaluation textuelle à un niveau sémantique. A cette fin, nous avons choisi d’utiliser l’analyse sémantique latente et/ou l’un de ses dérivés (InfoMap, R-LSA) car cette méthode a donné de bons résultats dans des buts voisins des nôtres: simulation de la comprehension pendant la lecture (Landauer & Dumais, 1997 ; Lemaire et al., 2006) ; détection de ruptures de cohérence (Foltz et al., 1998 ; Miller, 2004), évaluation de connaissances (Wolfe et al., 1998) ; mesures de lisibilité centrées sémantique (Graesser et al., 2004) ; evaluation auto-régulée (McNamara & Scott, 1999); analyse des macro-règles pendant l’activité de résumé (Lemaire et al., 2005). Ce choix nous paraît meilleur que les possibles choix suivants: 1) meilleure division du travail entre enseignants et tuteurs. 2) proposer des QCM afin d’évaluer plus aisément les connaissances des étudiants ; 3) évaluation par les pairs (e.g., par forums interposés), qui depend fortement de la compétence des étudiants.
Conditions and pré-requis	Les conditions suivantes sont à remplir: – se procurer un moyen de calculer les proximités sémantiques entre mots/paragraphes/textes (LSA) ; – avoir un moyen d’analyser les inférences faites pendant la lecture d’un texte (e.g., CI/LSA) ; – Une taxonomie (ou un corpus) de types de feedbacks, questions, et types d’annotations (Thibaudeau, 2000 ; Graesser et al., 1992) ; – Un corpus de textes de cours du domaine étudié ; – un corpus moins spécialisé pour permettre l’analyse de l’usage de la langue (journaux, romans, nouvelles). – Des copies d’étudiants pour calibrer le service.
Indicateurs de validation	Evaluations proches de celles des humains. Les évaluations fournies doivent être aussi proches que possible de celles que des enseignants auraient pu fournir. Efficacité: L’utilisation de ce service va améliorer les résultats des étudiants (comparée à des solutions précédentes ou alternatives). • Efficience, facilité d’utilisation : l’utilisation de ce service permet aux étudiants d’être évalués aussi souvent qu’ils le désirent. La fréquence de son utilisation pourra être comparée à celle des services précédents. • Disponibilité des enseignants: Les enseignants deviennent plus disponibles pour des activités de haut niveau. • Acceptation par les étudiants/enseignants: comme ce service est nouveau, il faut étudier dans quelle mesure il pourra être accepté par ses utilisateurs potentiels. Des questionnaires d’opinion sur ce dernier pourront être realisés.
Références	Graesser, A. C., & Person, N. K. (1994). Question asking during tutoring. American Educational Research Journal, 31, 104-137. Graesser, A. C., McNamara, D. S., Louwerse, M., & Cai, Z. (2004). Coh-Metrix: Analysis of text on cohesion and language. Behavioral Research Methods, Instruments, and Computers, 36, 193-202. Landauer, T. K., & Dumais, S. T. (1997). A solution to Plato’s problem : the Latent Semantic Analysis theory of acquisition, induction and representation of knowledge. Psychological Review, 104(2), 211-240. Lemaire, B., Denhière, G., Bellissens, C., & Jhean-Larose, S. (2006). A computational model for simulating text comprehension. Behavior Research Methods, Instruments and Computers, 38(4), 628-637. Lemaire, B., Mandin, S., Dessus, P., & Denhière, G. (2005). Computational cognitive models of summarization assessment skills. In B. G. Bara, L. Barsalou & M. Bucciarelli (Eds.), Proceedings of the 27th Annual Conference of the Cognitive Science Society (CogSci” 2005) (pp. 1266-1271). Mahwah: Erlbaum. McNamara, D., & Scott, J. L. (1999). Training reading strategies. In 21th Annual Meeting of the Cognitive Science Society (pp. 387-392). Hillsdale: Erlbaum. Thibaudeau, V. (2000). 88 clefs pour identifier dans un texte un problème de logique ou d’expression de la pensée [88 keys to identify logical and thought-related problems within a text]. Laval (Canada): Université of Laval. Wolfe, M. B. W., Schreiner, M. E., Rehder, B., Laham, D., Foltz, P., Kintsch, W., et al. (1998). Learning from text: Matching readers and texts by Latent Semantic Analysis. Discourse Processes, 25(2-3), 309-336. Hensgens, Rusman, Spoelstra & van Bruggen (2008), pour le projet LTfLL. Cas fourni in Trausan-Matu, S. et al. (2008). Deliverable D5.1 - Support and Feedback Design. Heerlen: OUNL.

Quizz#

Références#

Morozov, 2014: Morozov, E. (2014). Pour tout résoudre cliquez ici. Limoges: Fyp.

Concevoir des usages du numérique par la scénarisation

Contenu