Manque de transparence dans le développement d’intelligences artificielles

Un article publié par la CBC cite un rapport qui vient de paraître en lien avec le sujet en titre.  Suite à un symposium organisé par l’institut AI Now rattaché à la New York University, une série de recommandations concernant les différents acteurs impliqués dans le développement de l’intelligence artificielle (incluant les différentes instances gouvernementales responsables de la justice, de la santé et de l’éducation) y sont présentées.

La principale recommandation suggère que ces instances se penchent sur la problématique du manque de transparence dans le développement des algorithmes parce que, de plus en plus, elles sont amenées à prendre des décisions ayant des implications importantes pour les citoyens :

Core public agencies, such as those responsible for criminal justice, healthcare, welfare, and education (e.g “high stakes” domains) should no longer use “black box” AI and algorithmic systems. This includes the unreviewed or unvalidated use of pre-trained models, AI systems licensed from third party vendors, and algorithmic processes created in-house. The use of such systems by public agencies raises serious due process concerns, and at a minimum they should be available for public auditing, testing, and review, and subject to accountability standards.

Nous avions déjà présenté ce problème dans le développement de l’IA sous différents angles, notamment en lien avec des biais introduits par leurs concepteurs et les valeurs sociétales.  Le rapport souligne d’ailleurs l’importance de mettre en place un cadre réglementaire et éthique rigoureux pour en faciliter le suivi:

« The way that these systems work can lead to bias or replica the biases in the status quo, and without critical attention they can do as much harm if not more harm in trying to be, supposedly, objective, » says Fenwick McKelvey, an assistant professor at Concordia University in Montreal who researches how algorithms influence what people see online.

À lire!

Sources:

Braga, Matthew. Researchers say it’s time to crack open AI ‘black boxes’ and look for the biases inside. CBC News, 18 octobre 2017.

AI Now 2017 Report. (format PDF, 37 pages, 800Ko). AI Now Institute. Site consulté le 18 octobre 2017.

Comment le numérique a transformé la réalisation de travaux universitaires
Un robot intelligent pour apprendre à lire ?

Exprimez-vous !

*