Transparence algorithmique : expliquer une décision IA à un collaborateur

En 2023, l’AI Index publié par le Stanford Human-Centered AI Institute recensait plus de 70 pays ayant engagé des travaux législatifs ou réglementaires sur la responsabilité des systèmes algorithmiques. Dans le même temps, une enquête menée par l’OCDE auprès de 5 300 travailleurs dans 7 pays révélait que 60 % d’entre eux déclaraient ne pas comprendre comment les outils numériques de leur employeur influençaient leur travail quotidien. Ces deux données, lues ensemble, dessinent une fracture : d’un côté, les régulateurs avancent ; de l’autre, les collaborateurs attendent encore qu’on leur parle.

La question de l’explicabilité algorithmique n’est pas abstraite. Elle se pose le lundi matin, quand Karim, technicien dans une entreprise de services industriels, apprend que son profil a été écarté d’une formation certifiante par le système de recommandation RH sans que personne ne lui ait dit pourquoi. Elle se pose quand Nadia, responsable de zone logistique, reçoit un rapport de performance généré automatiquement qui pointe des « anomalies de productivité » sans que l’algorithme précise lesquelles, ni sur quelle base. Ces situations ne relèvent pas d’une mauvaise volonté managériale. Elles révèlent une dette de conception : l’explicabilité n’a pas été pensée dès le départ comme une fonction nécessaire du système.

L’explicabilité algorithmique : un droit exigible, pas une option pédagogique

Le Règlement général sur la protection des données, applicable depuis 2018, pose un principe que les organisations ont souvent sous-estimé : toute personne soumise à une décision automatisée significative dispose d’un droit à l’explication. L’article 22 du RGPD encadre les décisions fondées exclusivement sur un traitement automatisé, mais la portée réelle du texte dépasse le seul cas de la décision « 100 % automatique ». La CNIL, dans ses lignes directrices sur l’IA, a précisé que dès lors qu’un système algorithmique pèse substantiellement sur une décision touchant un salarié, l’obligation d’information s’applique.

L’AI Act européen, dont les premières obligations entrent en vigueur entre 2025 et 2027, va plus loin encore. Les systèmes qualifiés de « haut risque » dans le domaine de l’emploi, recrutement, gestion des performances, affectation de tâches, devront satisfaire à des exigences de transparence documentées et auditables. Pour les directions des ressources humaines et les DSI, cela signifie concrètement : tenir un registre des décisions algorithmiques à impact personnel, produire des explications intelligibles pour les personnes concernées, et former les managers à relayer ces explications sans les dénaturer.

Le philosophe Bernard Stiegler avait formulé, dans ses derniers travaux sur les pharmacologies numériques, une mise en garde que les praticiens ont parfois du mal à opérationnaliser : déléguer une décision à un système sans maintenir la capacité humaine d’en rendre compte revient à externaliser la responsabilité sans en externaliser la conséquence. Le salarié subit la décision. L’organisation en porte la responsabilité. L’algorithme, lui, ne répond devant personne.

Ce que « expliquer » veut dire concrètement pour une équipe terrain

Les équipes techniques distinguent généralement deux familles de méthodes d’explicabilité. Les méthodes dites « globales » décrivent comment un modèle fonctionne en moyenne, quelles variables il pondère structurellement. Les méthodes dites « locales » expliquent pourquoi ce modèle a produit cette décision précise, pour cette personne précise, à cet instant précis. Pour un collaborateur, seule la seconde famille a du sens. Lui expliquer que « le modèle accorde en général plus de poids à l’ancienneté » ne répond pas à sa question : pourquoi moi, pourquoi maintenant, pourquoi non.

Des outils comme SHAP (SHapley Additive exPlanations) ou LIME (Local Interpretable Model-agnostic Explanations) permettent, dans certaines architectures de modèles, de produire ce type d’explications locales. Ils identifient les variables qui ont pesé le plus dans la décision individuelle et quantifient leur contribution relative. Un data scientist de la DSI d’un groupe hôtelier, Thomas, décrit ainsi l’usage qu’il en fait : « On a intégré SHAP dans notre pipeline de recommandation de planning. Quand un manager questionne l’affectation d’un collaborateur sur un site plutôt qu’un autre, on peut lui montrer les trois ou quatre facteurs déterminants. Ce n’est pas une réponse parfaite, mais c’est une réponse honnête. »

L’honnêteté, précisément, est le critère que la chercheuse Timnit Gebru place au centre de son travail sur la documentation des modèles. Les « Model Cards » qu’elle a contribué à théoriser chez Google avant d’en partir sont des fiches standardisées qui obligent à documenter non seulement ce qu’un modèle fait bien, mais ce qu’il fait mal, dans quels contextes il est moins fiable, pour quelles populations ses résultats sont moins stables. Appliquer cette logique aux systèmes RH ou opérationnels déployés en entreprise impliquerait que chaque collaborateur puisse savoir, au moins dans les grandes lignes, dans quel régime d’incertitude se trouve la décision qui le concerne.

La chaîne d’explication : du modèle au manager, sans perte de sens

L’un des angles morts les plus fréquents dans les déploiements d’IA en entreprise est ce qu’on peut appeler la rupture de traduction. L’équipe data produit une explication technique : une liste de features avec leurs scores SHAP, un intervalle de confiance, un seuil de décision. Le manager de proximité reçoit cette explication, ne la comprend pas, et transmet au collaborateur une reformulation approximative ou, plus souvent, rien du tout. À l’arrivée, le salarié ne sait toujours pas pourquoi.

Résoudre cette rupture exige un travail de conception que Gary Marcus, chercheur en sciences cognitives et critique régulier des limites des grands modèles, qualifie d’« ingénierie de l’intelligibilité » : l’effort délibéré de rendre un système compréhensible par les humains qui doivent l’utiliser ou en subir les effets, et pas seulement par ceux qui l’ont construit. Cela suppose plusieurs choses pratiques.

D’abord, des interfaces de décision conçues pour les managers intermédiaires, pas pour les data scientists. Laurence Devillers, professeure au CNRS et spécialiste des interactions homme-machine, insiste sur le fait que l’explicabilité n’est pas qu’un problème technique : c’est un problème de dialogue. Un système qui produit une explication incompréhensible pour son destinataire n’est pas explicable ; il est opaque avec une façade de transparence.

Ensuite, des protocoles de conversation. Isabelle, DRH d’une PME industrielle de 380 salariés, a mis en place ce qu’elle appelle un « entretien de décision algorithmique » : chaque fois qu’un collaborateur est affecté par une décision assistée par outil numérique, évaluation, réaffectation, détection d’alerte comportementale, un responsable RH lui propose un rendez-vous de 20 minutes pour parcourir ensemble les facteurs qui ont joué. « Ce n’est pas toujours confortable, reconnaît-elle. Mais ça évite l’effet boîte noire, et les collaborateurs le vivent très différemment d’une décision tombée du ciel. »

Quand l’opacité devient un risque organisationnel mesurable

L’opacité algorithmique n’est pas qu’une question éthique. Elle génère des risques organisationnels quantifiables. Les équipes dirigeantes qui ont déployé des outils d’IA sans prévoir de dispositif d’explication s’exposent à trois catégories de risques distincts.

Le premier est juridique. Le non-respect des obligations d’information prévues par le RGPD et, à terme, par l’AI Act, expose à des sanctions administratives. L’AI Now Institute, dans son rapport annuel 2023, documentait plusieurs cas européens où des systèmes de scoring RH avaient été contestés devant des tribunaux du travail, avec, dans deux cas, des injonctions de cessation d’usage jusqu’à mise en conformité.

Le second est social. La défiance envers un système que l’on ne comprend pas est un facteur documenté de désengagement. Quand les collaborateurs perçoivent que des décisions les concernant échappent à toute explication accessible, leur rapport à l’organisation se détériore. Les études sur la justice procédurale, un champ de recherche en psychologie organisationnelle actif depuis les années 1980, montrent de manière convergente qu’une décision défavorable mais expliquée est mieux acceptée qu’une décision neutre mais opaque.

Le troisième est stratégique. Un système opaque est un système dont les biais restent invisibles jusqu’à ce qu’ils produisent un incident. La chercheuse Asma Mhalla, dans ses travaux sur la gouvernance des infrastructures numériques, souligne que les organisations qui ne s’outillent pas pour lire leurs propres algorithmes de l’intérieur se privent de la capacité à corriger les dérives avant qu’elles deviennent publiques. L’explicabilité, dans cette lecture, est un mécanisme de détection précoce autant qu’un droit des personnes.

Vers une culture de l’explication intégrée dès la conception

Les organisations les plus avancées sur ce sujet ne traitent pas l’explicabilité comme une étape ajoutée après coup, un panneau de signalisation collé sur un bâtiment déjà construit. Elles l’intègrent comme une contrainte de conception à part entière, au même titre que la performance ou la sécurité.

Cela passe par des exigences formalisées dans les cahiers des charges des systèmes achetés ou développés en interne : tout modèle déployé sur des décisions à impact individuel doit produire, pour chaque décision, une explication lisible par un non-spécialiste. Cela passe aussi par des revues régulières associant des représentants des salariés, pour tester si les explications fournies sont réellement comprises ou si elles ne font que circuler dans un registre technique inaccessible.

Cela passe enfin par une clarification des responsabilités. Qui, dans l’organisation, est garant de la qualité des explications produites ? Le data scientist qui a construit le modèle ? Le manager qui l’utilise ? Le DRH qui en intègre les résultats ? Dans la plupart des organisations, personne ne se reconnaît clairement dans ce rôle. L’explicabilité devient alors une responsabilité flottante, revendiquée par personne et assumée par personne.

« La transparence algorithmique ne consiste pas à rendre les modèles simples : elle consiste à rendre les organisations capables d’expliquer leurs choix à ceux qui les vivent. Faire croître ce qui compte vraiment, c’est commencer par ce droit-là. » La rédaction Afervescence

Le NIST, dans son cadre de gestion des risques IA publié en 2023, identifie la transparence et l’explicabilité comme deux piliers distincts mais complémentaires d’un système IA digne de confiance. La transparence porte sur la divulgation : que fait ce système, sur quelle base, avec quelles données. L’explicabilité porte sur la compréhension : pourquoi cette décision, pour cette personne. Les organisations ont souvent travaillé la première en négligeant la seconde. L’effort est maintenant de les tenir ensemble.

Pour aller plus loin, decouvrez notre accompagnement des organisations et notre approche.

Et si le premier indicateur de maturité IA d’une organisation n’était pas le nombre de modèles déployés, mais la proportion de collaborateurs capables d’expliquer pourquoi une décision les a concernés ?