Comment John Hattie défend les chiffres de Visible Learning

Dans mon dernier billet, je rapportais la controverse autour des certaines mesures statistiques utilisées dans Visible Learning. J’y évoquais l’échange de réponses entre John Hattie et le professeur de statistiques norvégien Arne Kåre Topphol, qui avait soulevé des erreurs statistiques. Cet échange avait depuis disparu d’Internet, mais en communiquant avec l’auteur du blogue (tenu par Eivind Solfjell, à l’époque un étudiant en éducation de la même université que le professeur Topphol) où cet échange avait été rapporté, ce dernier m’a gentiment offert deux liens vers une archive de la discussion.

La réponse de Hattie

Le premier lien mène vers une archive de la page où l’on peut lire ce qu’un groupe d’étudiants a écrit à John Hattie pour avoir ses commentaires sur l’article du professeur Topphol, ainsi que la réponse de Hattie. En gros, les étudiants l’interrogent sur le problème avec ses calculs de la mesure CLE (voir mon billet précédent pour l’explication). Il reconnait qu’il a utilisé une variante de la CLE plutôt que la formule telle que définie par son inventeur (sans le dire explicitement), mais qu’au fond la taille d’effet est celle qui compte vraiment et que c’est presque toujours la taille d’effet qui est rapportée et utilisée par les gens qui citent Visible Learning. Il a même abandonné la CLE pour les livres suivants puisqu’elle n’apportait rien.

La réplique de Topphol et la deuxième réponse de Hattie

Le deuxième lien mène à l’archive d’une page où le professeur Topphol réplique, suivi d’une autre réponse de John Hattie. Topphol réitère qu’il reconnait que la CLE n’est pas la mesure déterminante dans Visible Learning et que les erreurs dans son calcul ne changent probablement rien aux conclusions que l’on peut tirer, puisque les tailles d’effet sont au coeur du livre : « I point out that it is the d that is the important effect-size in the book, and that CLE is used as an alternative. I also write that my detection of errors probably does not affect Hattie’s conclusions, but it cast doubt on his use of statistics. ».

Bref, ça ne change rien à ses mises en garde :

However, my point is, it undermines the credibility of the calculations and it supports my conclusion and the appeal I give at the end of my article; when using statistics one should be accurate, honest, thorough in quality control and not go beyond ones qualifications.

My main concern in this article is thus to call for care and thoroughness when using statistics. The credibility of educational research relies heavily on the fact that we can trust its use of statistics. In my opinion, Hattie’s book is an example that shows that we unfortunately cannot always have this trust.
[…]
In my opinion his answer reinforces my concern and my appeal, as explained above. One cannot afterwards, when someone discovers errors, say that I did not really do what I wrote, but rather something else. That may correct a specific error, but it will not strengthen the confidence, rather the contrary.
[…]
I point out that it is the d that is the important effect-size in the book, and that CLE is used as an alternative. I also write that my detection of errors probably does not affect Hattie’s conclusions, but it cast doubt on his use of statistics.

Towards the end of my article I point out that Hattie in his book seems to confuse the effect size at the individual level and the class level. He seems to imply that an effect size at the individual level can be directly transferred to the class level. If this confusion is carried out throughout the book, it is in fact quite serious. It is difficult to make out from the book if this is so, but in me the seed of suspicion is sown. [nos emphases]

Hattie répond en admettant finalement une erreur dans son programme de calcul de la CLE, répète que ça ne change rien à ses conclusions (ce que Topphol lui a toujours concédé) mais offre de fournir les bons chiffres de CLE recalculés correctement à quiconque les lui demandera d’ici à ce qu’il puisse faire la correction dans une prochaine édition de Visible Learning. Il conclut gracieusement : « I am grateful to Topphol for noting this error, and for your team in contacting me so I could clarify. ».

Conclusion

En somme, Topphol ne démolit pas les conclusions de Visible Learning, puisqu’elles sont fondées sur les statistiques qui sont correctes, celles de taille d’effet, et que celles qui sont incorrectes sont facultatives. Il soulève cependant un autre doute quant à la possibilité d’avoir confondu taille d’effet au niveau individuel et au niveau d’un groupe.

Mais au fond, il faut comprendre que sa critique principale s’adresse à tous les chercheurs en sciences sociales, pour lesquels John Hattie n’était qu’un exemple de grande notoriété : soyez extrêmement rigoureux avec les statistiques, de crainte de perdre de la crédibilité. Les mathématiciens vous surveillent.