« Le robot m’a donné une mauvaise note… » (sous-traiter l’évaluation)

Article important du Chronicle of Higher Education à propos d’une pratique troublante consistant à sous-traiter l’évaluation des travaux étudiants à des « évaluateurs externes » et même à des logiciels spécialisés.  Pour le moment, on cite deux universités (Western Governors University et University of Central Florida) qui recourent à cette pratique, mais on mentionne que la tendance à l’inflation des notes [ou ici] décriée par certains pourraient en encourager d’autres à emboîter le pas.

Dans le cas de la Western Governors University, c’est plus de 300 « adjunct professors » qui sont embauchés pour corriger les travaux des étudiants, assurant ainsi l’anonymat et donc l’impartialité complète (du moins selon les administrateurs de l’institution).  Il faut préciser que cet établissement ne dispense pas de cours traditionnels, mais offre de la formation en ligne par des tuteurs qui aident les étudiants à accomplir divers travaux leur permettant de démontrer leurs compétences (ce qu’ils appellent « competency-based education »).  Les évaluateurs, qui disposent minimalement d’une maîtrise dans leur domaine de correction, reçoivent un mois de formation en ligne, doivent se soumettre à des exercices de « calibration » (pour s’assurer de noter les travaux de manière similaire) et sont tenus de commenter extensivement les travaux, expliquant pourquoi il y a eu réussite ou échec dans la démonstration des compétences.

Du côté de la University of Central Florida, on s’est tourné vers le logiciel SAGrader de la compagnie Idea Works.  Il semble que les dernières avancées de l’intelligence artificielle permettent d’aller au-delà de la vérification de questionnaires « vrai ou faux » et de corriger des rédactions longues.  Les avantages cités sont évidemment la constance dans la correction (alors que les assistants d’enseignement tendent à devenir fatigués et à faire des erreurs ou à être partiaux) et la rapidité d’exécution (un millier de travaux en quelques minutes – ce qui permet de donner rapidement de la rétroaction aux étudiants qui peuvent ainsi se réajuster).  D’autres « robots-correcteurs » existent : e-rater d’Educational Testing Service et Intelligent Essay Assessor de Pearson Education. D’après Jacqueline Leighton, professeure à l’Université de l’Alberta et éditrice du périodique Educational Measurement: Issues and Practice, la correction automatisée (robot grading) est un domaine de recherche florissant, mais l’adoption de ce type de produits par les institutions est plutôt lent. 

On s’en doute, un certain scepticisme accueille cette pratique, surtout chez ceux et celles qui mettent en doute la thèse de l’inflation des notes : « From my experience, faculty are very diligent about grading fairly and consistently » affirme Angela Linse, directrice générale du Schreyer Institute for Teaching Excellence, qui s’inquiète des conséquences de cette tendance : « The public already thinks that faculty have cushy jobs. I cannot imagine what would happen if we outsourced grading. »  On mentionne aussi l’importance de l’évaluation dans le développement d’une relation de reciprocité entre enseignant et étudiant.

Source : Young, Jeffrey R., « Professors Cede Grading Power to Outsiders—Even Computers », Chronicle of Higher Education, 7 août 2011

Le mentorat en questions
Google+, le petit nouveau des médias sociaux

Commentaires

  1. Catherine Vallières a écrit:

    Étudiante à la maîtrise (ailleurs qu’à l’UdeS devrais-je préciser), j’ai régulièrement été engagée comme assistante d’enseignement pour corriger travaux et examens. Y compris dans des domaines complètement extérieurs à mon champ d’études (vous seriez surpris!), pour lesquels j’avais évidemment été « coachée » et où j’avais des balises claires quant à ce que je devais vérifier. Ainsi que la possibilité de remettre les cas ambigüs au professeur. C’est ce qui m’amène à penser que ce phénomène des « adjunct professors » décrit dans l’article me semble déjà, dans une certaine mesure, une réalité ici.

    Par ailleurs, cette question d’évaluation automatisée en est une que j’ai explorée pendant mes études, dans la foulée des systèmes d’enseignement informatisés qui étaient à la mode à cette époque. L’article semble évoquer le traitement du langage naturel; j’ignore jusqu’à quel point ces systèmes peuvent être fiables. Mais j’ai retenu qu’il est possible de concevoir des questionnaires à correction automatique (du genre « choix de réponse ») qui permettent d’évaluer des habiletés/des notions complexes. Par contre, le travail de conception qu’ils requièrent (par exemple cibler les erreurs caractéristiques, développer les moyens de les déceler ainsi que mettre en place le feedback approprié) est important, pour ne pas dire colossal. Personnellement, j’ai des doutes que les institutions soient prêtes à investir ce qu’il faut, à moins que la masse critique fasse qu’il est possible de faire des économies d’échelle. En tous les cas, ce n’est sûrement pas quelque chose de réaliste – ni de souhaitable – à grande échelle.

    • Eric Chamberland a écrit:

      J’ai vécu quelque chose de semblable à quelques reprises avec des clients bien intentionnés qui ont dû réajuster leurs attentes quand ils ont pris conscience de la somme de travail impliquée dans la conception de questions à correction automatique avec une construction aussi sophistiquée. Un aspect particulier dont je peux témoigner est l’enchaînement conditionnel des question en fonction des réponses précédentes (souvent souhaité), dont la complexité est souvent plus importante qu’anticipée.

Exprimez-vous !

*