Aucun logiciel de détection de similitudes ne pourra jamais remplacer le jugement d’une personne

Nombreux sont les professeurs, les institutions, les comités éditoriaux de revues scientifiques et les comités organisateurs de conférences scientifiques qui, dépassés, pressés et, ou débordés, sont charmés par le puissant chant des sirènes que sont les promesses des logiciels de détection de plagiat de pouvoir « optimiser » leur temps d’évaluation de l’intégrité des écrits qui leur sont soumis.

Pourtant, selon Debora Weber-Wulff* (professeure de média et informatique à l’Université des sciences appliquées de HTW Berlin, créatrice du blogue Copy, Shake, and Paste), ces logiciels sont loin de livrer des résultats fiables et utilisables tels quels, car ils produisent des faux positifs (en indiquant comme plagiat des citations directes, du jargon disciplinaire et des noms propres très longs, comme dans le cas de noms d’institutions, de facultés, de départements) et des faux négatifs (parce que le texte d’origine contient des erreurs, des espaces blancs, qu’il a été traduit trois fois dans des langues différentes avant de revenir à sa langue d’origine ou qu’il n’est pas disponible sur le web ou dans la base de données du logiciel…).

Pour contrer cette « inexactitude » des résultats, éditeurs, enseignants et administrateurs choisissent de déterminer un seuil de similitudes acceptable qui leur permettra de prendre une décision, qui n’est pas toujours une bonne décision.

“If the software reports a high number, editors or professors might unjustly consider a submission as unequivocal plagiarism. Universities formally define ‘acceptable’ levels of plagiarism, evaluated by the software, for various degree levels. Teachers want the software to flag up the ‘bad’ papers, so they don’t have to read them. But students, afraid of having accidentally plagiarized, use the same systems to rewrite their work, swapping words with synonyms and rearranging sentences until the number looks good, to the detriment of readability.”

Il n’y a pas que les étudiants qui craignent d’être accusés de plagiat et qui désirent « retoucher » leurs écrits.  En effet, dernièrement, une équipe de chercheurs a vu son article être rejeté par une revue prestigieuse parce qu’il contenait un taux de similitudes jugé trop haut et ce, sans aucune analyse approfondie.  Conséquence du traumatisme (car il s’agit bien d’un traumatisme) : l’équipe souhaite que l’Université se dote d’un logiciel de détection de similitudes.

Les éditeurs souhaitent éviter le plagiat mais le confondent avec l’autoplagiat, un phénomène en forte croissance.  En guise d’exemple, elle raconte que les 449 « abstracts » soumis pour la World Conference on Research Integrity ont tous été analysés par un logiciel de détection de similitudes avec un seuil de similitudes acceptables fixé à 30%.  Eh bien, 38 ont dépassé ce seuil et ont fait l’objet d’une examen approfondi.

“After investigating, 15 were considered to be plagiarism and 23 contained text from the author’s previously published research. Most of the abstracts were rejected; in some of the instances in which authors had recycled their own text, the abstracts were demoted to posters. This amount of plagiarism and duplication is shocking, especially for a conference on academic integrity; it is also probably an underestimate.”

Pour Weber-Wulff, les logiciels de détection de similitudes permettent de pointer les cas problèmes mais ne peuvent pas discriminer s’il s’agit de plagiat ou d’autoplagiat.  Seul le jugement d’une personne peut déterminer s’il s’agit bien de plagiat et ce jugement repose sur une lecture attentive du texte en étudiant les références pour des incohérences, en étant attentif aux changements de styles de rédaction, en faisant une vérification ponctuelle à l’aide de Google, par exemple, d’un bout de phrase ou de quelques phrases qui ont soulevé un doute.

Conclusion?  “Academic integrity is a social problem; due diligence cannot be left to unknown algorithms. Keeping science honest depends on scientists willing to work hard to protect the literature.”

On se s’en sort pas : l’intégrité reste dans les mains, la tête et le coeur des humains.

* Debora Weber-Wulff has been researching about plagiarism since 2002. She runs a German-language « Portal Plagiat » that regularly tests plagiarism detection software. She is also a member of the « Computing and Ethics » group of the German computing society, GI, and active in the VroniPlag Wiki.

 

Source: Weber-Wulff, Debora.  Plagiarism detectors are un crutch, and a problemNature.  Vol. 567.  28 mars 2019

(Merci à mon collègue le professeur Claude Asselin pour m’avoir fait parvenir cet article)

Entrée en vigueur de la Politique de diffusion en libre accès des Fonds de recherche du Québec (FRQ)
Pour que la révision reste un exercice d’amélioration des compétences rédactionnelles

Commentaires

  1. Marc Couture a écrit:

    Intéressant point de vue, à voir si la situation résistera effectivement au passage du temps, car jamais, c’est pour très longtemps…

  2. Marie-France Noël a écrit:

    Bien intéressant! C’est une question qu’on reçoit souvent, à savoir si l’UdeS utilise un tel logiciel, et ça me donne des arguments pour expliquer notre choix de ne pas le faire.

Exprimez-vous !

*