Face à la prolifération de solutions logicielles promettant de “révolutionner” l’éducation grâce aux plus récents travaux en intelligence artificielle (rien de moins!), les décideurs responsables des achats dans les écoles, commissions scolaires, collèges et universités seront tôt ou tard confrontés à une série de fournisseurs qui vont leur en mettre plein la vue afin de vendre leurs produits et services: ceux-ci doivent donc conséquemment bien se préparer à évaluer les solutions proposées en posant de bonnes questions !
À cet effet, un article d’Edweek présente justement une série de questions que les décideurs devraient poser aux fournisseurs avant de considérer l’achat et l’implantation de solutions intégrant l’IA dans leurs outils et plateformes, notamment ceux qui aident à soutenir la gestion du déroulement des formations.
Les questions sont divisées en 3 catégories distinctes mais interreliées.
Données et IA
- Quelles données sous-tendent le modèle proposé par le fournisseur ? Quelle quantité de données est disponible ?
- Dans quelle mesure cet échantillon de données se compare à la réalité de ma population étudiante ?
- Dans quelles circonstances les données ont-elles été recueillies ?
- Dans quelle mesure le modèle est-il le résultat d’optimisations effectuées par des experts plutôt que de l’entraînement automatisé à partir des données ? Dans quelles proportions les opinions, la recherche et les données s’y retrouvent ?
- Comment a-t-on validé la qualité des données? Est-ce que ces données étaient bien adaptées à l’usage prévu ?
Algorithmes
- Quelles ont été les étapes clés dans l’élaboration de l’algorithme ?
- Quelles sont les principales décisions prises par l’algorithme ?
- À quels moments devrait-on intervenir pour modifier ou contribuer aux décisions de l’algorithme ?
- Quelles sont les conséquences possibles de mauvaises décisions prises par l’algorithme sans intervention humaine ?
Efficacité
- Comment l’efficacité de la solution a-t-elle été étudiée ? A-t-elle été effectuée avec intégrité et vérifiée par un tiers ? Posez des questions sur les hypothèses, les paramètres et les données et demandez si le produit a fait l’objet d’une évaluation indépendante.
- Quelles sont les affirmations explicites relatives aux fonctionnalités proposées ?
- Quelles sont les limites de l’outil ? Qu’est-ce que le vendeur prétend que son produit ne peut pas faire ?
- Est-ce que l’évaluation en continue du produit est prévue ?
À conserver lorsque les vendeurs viendront inévitablement cogner à nos portes pour nous interpeller…
Source: Molnar, Michele. 14 Questions Educators Should Ask About AI-Based Products. Edweek Market Brief, 4 juillet 2019.
