Le Nesta (@nesta_uk), la fondation pour l’innovation britannique, sous la plume de Eddie Copeland (@eddieacopeland), directeur de l’innovation gouvernementale, vient de publier un projet de 10 recommandations pour encadrer la prise de décision algorithmique dans le secteur public. Face à la montée des outils et techniques d’intelligence artificielle dans le secteur public pour automatiser ou aider à la prise de décision, le Nesta a publié un ensemble de principes (un Google Doc ouvert aux commentaires a été mis en ligne pour discuter de ces propositions) qui font suite au cadre éthique pour la science des données du gouvernement britannique et au « droit à l’explication des décisions algorithmiques » qu’introduit le GDPR (Réglement général sur la protection des données).

Le projet repose sur 10 points :

• 1. Tout algorithme utilisé par une organisation du secteur public devrait être accompagnée d’une description de ses fonctions, objectifs et impacts attendus, mis à disposition de ceux qui l’utilisent.
• 2. Les organisations du secteur public devraient publier les détails décrivant les données avec lesquels l’algorithme a été entraîné et les hypothèses utilisées à sa création ainsi qu’une évaluation des risques pour atténuer ses biais potentiels.
• 3. Les algorithmes devraient être catégorisés sur une échelle de risque (de 1 à 5) pour distinguer leur impact sur les individus.
• 4. La liste de toutes les données d’entrées utilisées par l’algorithme pour prendre une décision devrait être publiée.
• 5. Les citoyens doivent être informés lorsque leur traitement a été en partie ou entièrement décidé par un algorithme.
• 6. Tout algorithme doit être disponible en version de test, afin que les auditeurs puissent tester leur impact (et confirmer qu’il fait ce qu’il prétend notamment pour ceux qui ne peuvent pas être ouverts par défaut).
• 7. Lorsque les services publics ont recours à des tiers pour créer ou exécuter des algorithmes en leur nom, ils devraient s’assurer que ces tiers respectent ces principes.
• 8. Une personne de la direction doit être tenue responsable de toute mesure prise à la suite d’une décision algorithmique.
• 9. Les organisations du secteur public qui souhaitent adopter des procédures de prise de décision algorithmique à haut risque devraient souscrire une assurance capable d’offrir des compensations aux personnes négativement touchées par une décision algorithmique erronée.
• 10. Les organisations du secteur public devraient s’engager à évaluer l’impact de leurs algorithmes et à publier les résultats de ces études.

Des pistes intéressantes… qui visent surtout à favoriser l’explicabilité et la responsabilité des systèmes. Et qui forment une base intéressante pour responsabiliser les traitements automatisés certainement au-delà du seul secteur public.

MAJ : Citylab revient sur une proposition d’un conseiller municipal de New York pour assurer la transparence proactive des décisions algorithmiques. Cette proposition estime que les développeurs de solutions algorithmiques doivent expliquer les intentions d’une solution algorithmique ; détailler quelles données sont prises en compte ; décrire comment les développeurs ont analysé les données ; et surtout, publier des données de performance, c’est-à-dire publier des évaluation des résultats pour voir si les solutions vont dans le sens des objectifs initiaux.