Dans le troisième et dernier article d’une série portant sur des pratiques éducatives fondées sur les données probantes (le premier sur l’entrelacement, le deuxième sur les effets des tests formatifs), Maryellen Weimer de Faculty Focus partage ses réflexions sur les limites de la recherche en éducation quand vient le temps de l’appliquer au contexte de l’enseignement dans « la vraie vie ». Sa réflexion part d’un article synthèse de Nguyen et McDaniel (2014) sur l’utilisation des tests pour l’apprentissage.
Elle rappelle que les études conduites en laboratoire ont les défauts de leurs qualités : en contrôlant le plus possible de variables, leurs conditions en deviennent souvent très différentes des celles de l’enseignement ou de l’évaluation tels qu’ils se pratiquent vraiment en situation réelle. Jusqu’à quel point les résultats obtenus en laboratoire sont-ils applicables à l’enseignement « réel »? Avant de tirer des conclusions hâtives, il serait sage d’attendre que d’autres recherches aient testé la validité écologique des phénomènes observés en laboratoires.
[…] the researchers need to control variables so that the results can be reliably tied to the treatment—something those collecting data in actual classrooms can’t always control. But as Nguyen and McDaniel point out, that has meant some of the testing conditions aren’t analogous to what happens in actual classrooms. For example, researchers don’t always use educationally relevant materials. They use things like word lists or paired associations, and they’ll often employ identical or very similar quiz and test questions—something most teachers don’t do. Plus, the time between studying and testing in the lab environment tends to be much shorter than it is in college courses.
Elle rapporte aussi des exemples cités par Nguyen et McDaniel de conditions qui permettent de faire apparaître ou disparaître le phénomène.
For example, Nguyen and McDaniel have looked at the relationship between questions on quizzes and questions on exams. They found that when the quiz and exam questions both addressed the same concept, the testing effect occurred. But when there was no coordination between quiz and test questions, the use of quizzes did not improve exam scores. “The take-home message is that when quiz and test items are haphazardly sampled, teachers must be cautious in assuming that testing will confer benefits for exam performance.” (p. 89)
Il s’agit d’une question très importante : il ne suffit pas d’identifier des pratiques éducatives efficaces, il faut aussi identifier le mieux possible dans quelles conditions elles le sont.
Weimer conclut en disant que bien qu’il soit souhaitable que l’enseignement s’appuie davantage sur les données probantes, l’étiquette des données probantes peut « cacher des couches de complexité ».
En effet, si on ne prend pas soin de s’attarder aux nuances que les recherches originales révèlent sur un phénomène donné, on peut extrapoler les effets à des situations où les conditions ne sont pas réunies, et l’étiquette « données probantes » peut alors devenir trompeuse.
Source – Weimer, Maryellen (2017) More on Evidence-Based Teaching. Faculty Focus.
