Document public
Titre : | Algorithmes, systèmes d'IA et services publics : quels droits pour les usagers ? Points de vigilance et recommandations |
Auteurs : | Défenseur des droits, Auteur |
Type de document : | Rapports et études |
Année de publication : | 13/11/2024 |
Numéro de décision ou d'affaire : | 978-2-11-179152-7;978-2-11-179153-4 |
Format : | 48 p. |
Langues: | Français |
Mots-clés : |
[Mots-clés] Intelligence artificielle [Mots-clés] Algorithme [Mots-clés] Technologies du numérique [Mots-clés] Plateforme numérique [Mots-clés] Relation des usagers avec les services publics [Mots-clés] Décision administrative |
Mots-clés: | Affelnet ; Parcoursup ; Devoir d'information |
Résumé : |
Face au nombre croissant de décisions administratives individuelles prises sur la base de résultats livrés par des algorithmes ou systèmes d’intelligence artificielle (IA), la Défenseure des droits s’inquiète des risques qu’induit cette algorithmisation des services publics pour les droits des usagers. Elle présente plusieurs recommandations afin que les garanties prévues par la loi soient pleinement concrétisées.
Une algorithmisation massive des services publics et des garanties prévues par la loi Dans son rapport « Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ? », la Défenseure des droits, en charge de la défense des droits et libertés des usagers des services publics, examine l’effectivité de deux garanties particulièrement importantes pour assurer le respect de ces droits : l’intervention humaine dans la prise de décision et la maîtrise des systèmes, et l’exigence de transparence à l’égard des usagers. Afin d’automatiser, d’améliorer ou d’accélérer certaines procédures, l’administration a recours de manière croissante à des algorithmes ou à des systèmes d’IA. Les décisions administratives individuelles, prises par les administrations, peuvent ainsi être partiellement automatisées - si une intervention humaine est prévue - ou entièrement automatisées. En contrepartie, les législations européenne (RGPD) et nationale (loi Informatique et Libertés et code des relations entre le public et l’administration, CRPA) prévoient des garanties pour que soient respectés les droits des usagers des services publics. Décisions « partiellement automatisées » : l’intervention humaine comme garantie du respect des droits des usagers Lorsqu’une décision administrative est dite « partiellement automatisée », un agent public doit effectuer une action positive, concrète et significative à partir ou à côté du résultat généré par l’algorithme, dans la prise de décision. La Défenseure des droits relève, notamment sur le fondement des réclamations qu’elle reçoit, que cette intervention se révèle parfois inexistante – comme c’est le cas pour la procédure d’affectation en lycée Affelnet, ou encore de Parcoursup – et parfois inconsistante ou biaisée, lorsque les personnes qui interviennent dans la prise de décision individuelle ont tendance à avaliser les résultats produits par le système sans les questionner. Face à ces limites, et à leurs effets sur les droits des usagers des services publics, la Défenseure des droits recommande d’édicter des critères et des modes opératoires obligatoires pour qualifier plus précisément la nature de l’intervention humaine requise. Le devoir de transparence : répondre aux exigences d’information et au besoin d’explication à l’égard de l’usager Quand il a pris une décision fondée sur un traitement algorithmique, un service public doit fournir un certain nombre d’informations à l’usager concerné mais également au public. Cette exigence légale de transparence qui découle d’un principe constitutionnel, doit permettre de comprendre certaines décisions pour pouvoir en débattre, voire les contester utilement. La Défenseure des droits constate que les obligations d’information, pourtant essentielles, sont parfois peu ou mal respectées et formule plusieurs recommandations, notamment : • consacrer un droit à l’explication des décisions administratives individuelles entièrement ou partiellement automatisées ; • introduire une sanction en cas de non-respect de l’obligation de publication en ligne des informations relatives aux systèmes utilisés ; • déterminer si les systèmes d’apprentissage automatique peuvent être utilisés lorsqu’ils fondent une décision administrative individuelle au regard des obligations du CRPA sur la transparence ; • associer les usagers du service public à tous les niveaux ; • soutenir la recherche dans ce domaine ainsi que les projets associatifs et collectifs visant à favoriser la compréhension et le débat public autour de ces sujets. |
Thématique Bulletin documentaire PDF : | Technologies du numérique |
Documents numériques (1)
DDD_rapport_algorithmes-systemes-d-IA-et-services-publics_2024_20241025 Adobe Acrobat PDF |