Je découvre le blogue de Cathy O’Neill, auteure d’un ouvrage paru plus tôt cette année intitulé Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Celle-ci y présente une vision critique de l’exploitation des données massives (“Big Data“) ainsi que du développement d’algorithmes de plus en plus sophistiqués qui sont utilisés afin d’automatiser la prise de décision, autrefois réservée à l’humain. Il est à noter qu’O’Neill était aux premières loges de la crise financière de 2008 (alors qu’elle travaillait pour le groupe d’investissements D.E Shaw), qu’elle évoque comme étant du moins partiellement causée par l’usage abusif de modèles prédictifs déficients par les financiers de grandes entreprises de courtage et de gestion de porte-feuilles boursiers.
Comme nous l’avons déjà évoqué, l’objectif initial de ces modèles veut que l’on puisse enfin éliminer les biais décisionnels par l’utilisation d’algorithmes soi-disant “impartiaux”. Sans régulation appropriée, cet objectif peut avoir pour effet de punir les moins nantis et peut mener à des décisions qui vont à l’encontre du bien commun:
We live in the age of the algorithm. Increasingly, the decisions that affect our lives—where we go to school, whether we get a car loan, how much we pay for health insurance—are being made not by humans, but by mathematical models. In theory, this should lead to greater fairness: Everyone is judged according to the same rules, and bias is eliminated.
But as Cathy O’Neil reveals in this urgent and necessary book, the opposite is true. The models being used today are opaque, unregulated, and uncontestable, even when they’re wrong. Most troubling, they reinforce discrimination: If a poor student can’t get a loan because a lending model deems him too risky (by virtue of his zip code), he’s then cut off from the kind of education that could pull him out of poverty, and a vicious spiral ensues. Models are propping up the lucky and punishing the downtrodden, creating a “toxic cocktail for democracy.” Welcome to the dark side of Big Data.
Le rôle croissant de l’utilisation des algorithmes est encouragé notamment par le milieu des affaires, qui réussit prédire de plus en plus précisément les comportements des consommateurs et mieux cibler son offre de services. Mais c’est aussi le cas de grandes universités américaines qui réussissent à manipuler les algorithmes et ainsi mieux positionner leur institution dans certains palmarès. L’auteure évoque même des pratiques chez ces dernières voulant que certaines évaluations automatisées aient pour effet d’exclure de bons enseignants, ce qui est certainement inquiétant pour l’avenir…
À lire!
Source: O’Neill, Cathy. Weapons of Math Destruction: How big data increases inequality and threatens democracy. Random House, Septembre 2016.
