Services publics et intelligence artificielle

Alors que l’intelligence artificielle (IA) prend place au sein des services publics, il est important d’anticiper ses bons et mauvais usages, ses bonnes et mauvaises mises en œuvre. L’IA, comme toute technologie, reste avant tout un moyen à mettre au service des usagers et des administrations.

Ça ne vous aura pas échappé, il est beaucoup question d’IA dernièrement. Les services publics sont évidemment concernés. Lors de nos accompagnements auprès des administrations, une question revient fréquemment : quelle place peut prendre l’IA dans les services aux usagers, dans les usages professionnels des agents, dans le traitement de dossiers, dans les outils ?

Les annonces et les promesses au sujet de l’IA sont alléchantes, mirobolantes, dithyrambiques. Mais œuvrer pour les services publics, c’est savoir faire preuve de responsabilité, de méthode et garder un cap : le service aux utilisateurs. L’IA peut être une avancée majeure pour ce dessein, ou peut ne pas l’être. Tout est fonction de la posture de celle et ceux qui la mettront en œuvre.

L’IA est en mesure d’apporter une véritable simplification dans le parcours des usagers ou dans les missions des agents. Bien mise en œuvre, elle peut avoir des avantages et limiter ses inconvénients. Mais attention : une utilisation de l’IA pour elle-même, sans réflexion préalable et sans recherche auprès des utilisateurs, pose problème.

Les opportunités

L’IA est une technologie. Comme toute technologie, elle ouvre des perspectives, des opportunités. Comme toute technologie, elle produit des effets, attendus ou inattendus, dans l’environnement où elle est déployée. Comme toute technologie, elle nécessite donc un travail rigoureux de mise en œuvre, afin d’anticiper, de mesurer et de maîtriser ses effets.

Dans le cadre de la création de services publics, les opportunités existent :

• L’IA pourrait aider la simplification – par exemple en laissant les usagers s’adresser à l’administration avec leurs propres mots et leurs propres besoins.
• L’IA pourrait aider l’inclusion – par exemple en permettant la prise en compte des situations particulière de chacun et chacune, en rompant la rigidité administrative.
• L’IA pourrait aider le travail des agents – par exemple en automatisant les tâches répétitives et rébarbatives, libérant du temps pour des tâches à plus forte valeur.

Pour transformer ces opportunités en succès, il nous revient d’être à la fois lucide – ne pas considérer uniquement les effets potentiellement positifs d’une technologie, quelle qu’elle soit – et acteur - œuvrer à identifier et limiter ses effets négatifs.

Les risques

Lors de nos échanges avec des administrations qui mettent en œuvre des services basés sur l’IA, nous avons identifié des risques : des modalités de mise en œuvre de l’IA peuvent avoir un fort impact négatif pour les personnes amenées à l’utiliser.

Il nous semble important de mentionner :

• Le risque pour certains usagers (peu à l’aise avec les outils numériques, mal équipées, réticent à l’utilisation de l’IA, etc.) de se retrouver exclus de l’accès à certains services publics et privés de leurs droits.
• Le risque pour les usagers que l’IA soit employée pour prendre des décisions importantes (accès à un droit, tri de candidatures…) sous le prétexte de l’efficacité, au détriment de la qualité des décisions et de l’accompagnement.
• Le risque pour les usagers que l’IA masque les critères de choix et de prise de décision, au détriment de la transparence, des principes d’égalité et de la confiance qu’ils portent aux services publics.
• Le risque pour les agents que l’IA entraîne une perte de compétences et de capacité à traiter la complexité des situations, à force de laisser l’IA rédiger, analyser, résumer, recommander à leur place.
• Le risque pour les administrations que l’IA ne soit pas mise en œuvre selon les exigences du service public mais, dans la précipitation, selon celles des modèles commerciaux basés sur l’humanisation, la captation et l’opacité.

Les précautions

Pour garantir une mise en œuvre de l’IA qui maximise les opportunités et minimise les risques, nous proposons un certain nombre de précautions essentielles à appliquer dans tout projet souhaitant intégrer l’IA.

1. Toujours partir des besoins utilisateurs. Évaluer les besoins des utilisateurs, grâce à la recherche utilisateur, avant d’imaginer les solutions adaptées, grâce au design, puis les briques techniques qui peuvent les réaliser, IA ou non.
2. Questionner la pertinence de l’usage de l’IA. En évaluant toutes les solutions, numérique ou non, envisageables et en tenant compte de leur capacité à répondre aux besoins, leur fiabilité, leur coût, leur impact environnemental, etc.
3. Assurer le respect des droits fondamentaux. Démontrer que l’usage de l’IA qui est fait est de nature à garantir les droits fondamentaux, et en particulier ne provoque pas de discrimination ou de situation d’exclusion.
4. Ne pas simuler l’humain. L’IA est un processus algorithmique basé sur des règles (probabilistes ou non). Elle n’est ni humaine, ni empathique. Les utilisateurs ne doivent pas être trompés par l’humanisation de processus informatiques.
5. Expérimenter auprès des utilisateurs afin de mesurer et garder la maîtrise des effets produits : positifs et négatifs, directs et indirects. Décider alors des ajustements nécessaires, ou de l’abandon de l’usage de l’IA.
6. Laisser l’humain décider. L’IA est au service de la décision, mais ne prend pas elle-même des décisions sans qu’elles soient approuvées par des humains. L’humain est toujours en mesure d’expliquer les décisions prises.
7. Faire preuve de transparence. Les utilisateurs savent quand et comment une IA est utilisée au sein d’un service numérique. Ils peuvent en toute situation demander les justifications et contester les décisions prises à leur égard.
8. Proposer un recours humain. Pour les personnes ne souhaitant pas ou ne pouvant pas utiliser un service basé sur une IA, il existe toujours une manière pour elles de réaliser leurs tâches auprès d’un humain et d’être accompagnées.

Se lancer

Chaque administration est responsable des effets des technologies qu’elle utilise : elle doit systématiquement mener une réflexion sur leur usage et sur leur mise en œuvre.

Pour cela, elle saura s’appuyer :

• Sur l’humain, afin de garder la maîtrise de ses capacités et d’assurer l’accompagnement de celle et ceux qui en ont besoin.
• Sur les pratiques du design, afin d’inclure les utilisateurs dans la conception, d’identifier leurs besoins et de produire en réponse des solutions pertinentes.
• Sur l’expérimentation, afin d’évaluer les solutions proposées, d’en mesurer et d’en maîtriser l’ensemble des effets.

C’est dans ce cadre qu’il nous parait possible d’œuvrer à la réalisation de services publics numérique pertinents, simples et inclusifs, qu’ils utilisent l’IA, ou non.

Post-scriptum

Vous l’aurez compris, nous nous focalisons exclusivement sur les enjeux liés à la numérisation, à l’inclusion, à l’accès aux droits. Bien d’autres enjeux sont à prendre en compte (environnement, souveraineté, sécurité, données personnelles, etc.), et nous laissons le soin aux personnes mieux placées que nous sur ces sujets de les aborder. Vous trouverez de plus amples informations à ce sujet sur le site d’ALLiaNCE, l’incubateur et la communauté IA publiques de l’État.

Ressources utiles à la réflexion

• Le guide publié par la Commission nationale de l'informatique et des libertés (CNIL) pour permettre aux organismes d'évaluer par eux-mêmes la maturité de leurs systèmes d'intelligence artificielle au regard du RGPD, qui proposent également des bonnes pratiques : Guide d'auto-évaluation pour les systèmes d'intelligence artificielle (IA)
• Un communiqué de presse de la Défenseure des droits sur les enjeux autour du droit à la non-discrimination des personnes amenées à utiliser des services numériques basés sur l’IA : Intelligence artificielle : la Défenseure des droits appelle à garantir le droit de la non-discrimination.
• Un rapport de la même Défenseure des droits, étayant ces enjeux : Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ?
• L’avis de la Commission nationale consultative des droits de l’homme (CNCDH), concernant l’usage de l’IA et la garantie des droits fondamentaux : Avis relatif à l’impact de l’intelligence artificielle sur les droits fondamentaux (A-2022-6)
• L’interview de Lucie Cluzel-Metayer, professeure de droit public à l’université Paris-Nanterre, par ailleurs auteure d’une publication, au sujet des opportunité et risque de l’IA pour les services publics : IA : quel potentiel et quels risques dans les services publics ?
• Une étude de l’Agence nationale de la cohésion des territoires (ANCT) qui a permis de mettre en évidence 4 postures types parmi la population vis-à-vis de l’usage du numérique. Chaque posture entretien à rapport à l’IA, quant à son accès et son usage, bien différent et montre ainsi la diversité des attentes sur le sujet : La société numérique française : comprendre les freins psychosociaux à l’usage du numérique.
• Une publication sur les enjeux de la mise en place d’outils basés sur l’IA pour un usage au travail, qui pointe en particulier la nécessiter de construire ces outils avec les personnes qui seront amenées à les utiliser et selon leurs besoins : Déploiement de l’IA en situation de travail : une trop faible considération de l’expérience des employé·es ?
• Un article revenant sur les expérimentations de l’IA au sein de France Travail, ayant donné lieu à un rapport et des recommandations de la Cour des comptes : France Travail : l’impact de l’IA sur l’accompagnement des usagers.
• Un rappel indispensable portant sur les ressentis des usagers à l’égard des démarches administratives, appuyé par une étude de la Défenseure des droits et qui nous rappelle que la technologie n’apporte pas d’elle-même la simplification : Les démarches administratives : une épreuve pour 6 usagers sur 10.
• Une vidéo et un article en anglais revenant sur une évidence bonne à rappeler : aucune technologie n’est un produit en elle-même. L’IA n’y déroge pas, elle n’apporte en elle-même aucune valeur aux utilisateurs, la valeur résidant dans la résolution de leurs besoins : Don’t Start with AI, Start with the Problem et “Powered By AI” Is Not a Value Proposition.
• Un article en anglais faisant le tour des risques, pour la qualité des produits et pour les utilisateurs, liés à l’humanisation au sein des services mettant en œuvre de l’IA : Humanizing AI Is a Trap.
• Si vous aimez les risques, le Massachusetts Institute of Technology (MIT) a publié un répertoire des risques liés à l’usage de l’IA, en anglais, et qui pourra donner matière à réflexion : The AI Risk Repository.