Gouverner la diversité à l’ère de l’IA

En 2023, l’AI Now Institute a documenté comment plusieurs outils de tri de CV déployés par des grandes entreprises reproduisaient, voire amplifiaient, les inégalités de recrutement existantes, non par malveillance, mais par conception. Les données d’entraînement reflétaient dix ans de décisions prises par des équipes peu diversifiées. Le résultat était arithmétique. Ce constat oblige à reformuler la question : la diversité n’est plus seulement un sujet confié aux équipes RH ou inscrit dans une charte signée en fanfare. À l’ère où des systèmes automatisés orientent des décisions d’embauche, de promotion et d’accès à la formation, elle devient un objet de gouvernance à part entière, avec des responsabilités, des indicateurs et des mécanismes de contrôle qui relèvent du ComEx autant que de la DRH.

Les algorithmes comme révélateurs : quand le biais devient systémique

Laurence Devillers, chercheuse au CNRS et l’une des voix françaises les plus rigoureuses sur les limites de l’IA, le formule ainsi dans ses travaux : les systèmes apprenants ne créent pas les discriminations, ils les consolident à grande échelle et à grande vitesse. Ce déplacement d’échelle change tout pour les dirigeants. Un responsable RH qui applique un biais dans sa sélection affecte quelques dizaines de candidatures par an. Un algorithme déployé sur un système de recrutement mondial affecte des millions de profils.

Thomas, directeur des opérations dans un groupe industriel de 8 000 collaborateurs, l’a mesuré concrètement : après deux ans d’utilisation d’un outil de matching automatisé pour les postes de cadres, son équipe a constaté que le taux de femmes dans les listes courtes avait reculé de six points, alors que la direction affichait un objectif de parité. « Nous pensions avoir neutralisé le problème en supprimant les noms des candidats. Nous n’avions fait que décaler le moment où le biais intervenait. » L’outil avait appris à valoriser des critères de mobilité géographique et de disponibilité horaire qui pénalisaient structurellement les parcours féminins.

Timnit Gebru, chercheuse en éthique de l’IA dont les travaux ont influencé les standards d’audit des modèles, insiste sur ce point dans ses publications : l’auditabilité des systèmes d’IA utilisés dans les décisions RH n’est pas une option technique, c’est une condition de la responsabilité managériale. Ce que cela implique pour une direction générale : savoir précisément quelles données ont servi à entraîner les outils déployés, et pouvoir en répondre devant un conseil d’administration ou un juge.

Le conseil d’administration face à un angle mort structurel

La gouvernance de la diversité achoppe sur un paradoxe que peu d’organisations verbalisent clairement : les instances chargées de la superviser sont souvent les moins diversifiées de toute l’organisation. Selon les données publiées par l’OCDE dans son rapport 2023 sur la gouvernance d’entreprise, les femmes représentent en moyenne 35 % des membres de conseils d’administration dans les pays de l’OCDE, avec des écarts considérables selon les secteurs. Dans la tech et l’industrie lourde, ce taux descend régulièrement sous 20 %.

Ce n’est pas une question esthétique. Les travaux de Gary Marcus sur les angles morts cognitifs collectifs montrent que l’homogénéité des équipes dirigeantes produit des schémas d’attention sélective : certains risques ne sont tout simplement pas perçus parce que personne autour de la table n’a l’expérience de les vivre. Appliqué à la gouvernance de l’IA, cela signifie que les biais introduits dans les systèmes automatisés peuvent circuler pendant des mois sans déclencher d’alerte interne.

Isabelle, présidente d’une fondation d’entreprise dans le secteur financier, décrit la situation avec une franchise peu commune : « Pendant trois ans, nous avons publié des rapports annuels sur la diversité qui montraient des progrès. Quand nous avons commencé à auditer les décisions effectivement prises par nos outils RH numériques, nous avons réalisé que nos indicateurs de façade ne mesuraient pas ce qui se passait réellement. Le conseil voyait des courbes qui montaient. Le terrain voyait autre chose. » Elle a depuis intégré un audit annuel des systèmes algorithmiques au rapport du comité d’audit, aux côtés des risques financiers et des risques cyber.

Faire de la diversité un indicateur de pilotage, pas une déclaration d’intention

L’enjeu pour les directions générales est de sortir la diversité du régime déclaratif pour l’inscrire dans les tableaux de bord de direction. Ce déplacement suppose trois choix concrets que les organisations les plus avancées ont déjà opérés.

Le premier est la désignation d’un responsable avec un mandat clair et un accès aux données. Pas un « Chief Diversity Officer » isolé dans une fonction support sans budget, mais un interlocuteur qui siège aux revues de direction et qui peut interroger les choix technologiques. Aux États-Unis, plusieurs entreprises du Fortune 500 ont rattaché cette fonction directement au CEO après que des audits ont révélé des biais systémiques dans leurs plateformes RH, une décision de structure qui signale l’importance réelle du sujet.

Le deuxième est l’audit des systèmes algorithmiques avant leur déploiement et à intervalles réguliers. La CNIL a publié des recommandations spécifiques sur les systèmes d’aide à la décision RH, rappelant l’obligation de garantir la non-discrimination dans les traitements automatisés. Ces recommandations ne sont pas des options : elles encadrent une responsabilité légale. Les DSI et CDO qui déploient ces outils sans protocole d’audit s’exposent à un risque réglementaire autant qu’à un risque de réputation.

Le troisième est la définition d’indicateurs de résultat sur les décisions effectivement prises, pas seulement sur les intentions affichées. Non pas « nous avons formé 85 % de nos managers à la lutte contre les discriminations » mais « le taux de promotion des femmes et des minorités visibles a progressé de X points sur les postes de niveau N et N+1 ». L’AI Index de Stanford, dans son édition 2024, souligne que les organisations qui mesurent les résultats de leurs systèmes automatisés sur les populations protégées détectent les dérives en moyenne sept mois plus tôt que celles qui s’en remettent aux déclarations d’usage.

Le rôle des DSI et CDO : gouverner les données avant de gouverner les usages

Les directeurs des systèmes d’information et les Chief Data Officers occupent une position inconfortable dans ce débat : ils déploient des outils dont les implications en matière de diversité dépassent souvent leur périmètre de décision, mais dont les biais techniques relèvent de leur responsabilité directe.

Marc, CDO d’un groupe de services de 12 000 collaborateurs, a reconfiguré son approche après un incident révélateur : un outil de scoring des performances déployé pendant la crise sanitaire avait systématiquement sous-évalué les collaborateurs en situation de handicap travaillant à domicile, parce que le modèle avait été calibré sur des critères de présentiel. « Personne n’avait demandé à l’outil d’être discriminant. Personne n’avait non plus demandé comment il traiterait les populations qui ne ressemblaient pas au profil moyen de nos données d’entraînement. » Il a depuis intégré une revue de diversité des données d’entraînement dans le processus de validation de tout nouveau système de décision automatisée.

Eric Sadin, dans sa critique des architectures numériques contemporaines, pointe la tendance des organisations à déléguer aux machines des décisions qui engagent leur responsabilité morale, tout en conservant le discours de la maîtrise humaine. Pour les DSI, cela se traduit par une exigence précise : documenter quelles décisions restent humaines, lesquelles sont assistées et lesquelles sont automatisées, et s’assurer que la chaîne de responsabilité reste traçable à chaque niveau.

« La diversité gouvernée, ce n’est pas la diversité comptée. C’est celle dont on peut expliquer les mécanismes, corriger les angles morts et rendre compte devant ceux qu’elle concerne. » La rédaction Afervescence

Vers une gouvernance de la diversité à la hauteur des enjeux algorithmiques

Ce que l’ère de l’IA impose aux organisations, c’est une montée en compétence collective sur un sujet que beaucoup considéraient réglé par les politiques RH des années 2010. Ces politiques avaient leur utilité. Elles ne couvrent pas les risques nouveaux portés par des systèmes qui décident vite, à grande échelle, sur des bases opaques.

Faire croître ce qui compte vraiment, pour reprendre la formule qui structure la vision d’Afervescence, suppose ici de définir ce que l’on veut que les organisations deviennent, pas seulement ce qu’elles veulent afficher. Une gouvernance de la diversité sérieuse en 2024 intègre des protocoles d’audit des algorithmes, des indicateurs de résultat sur les décisions effectivement prises, et des structures de responsabilité qui remontent jusqu’au ComEx et au conseil.

Les organisations qui traitent encore la diversité comme un rapport annuel à publier et une formation à déployer s’exposent à deux risques simultanés : un risque légal croissant, à mesure que les cadres réglementaires européens sur l’IA se précisent, et un risque de confiance, à mesure que les collaborateurs et les candidats disposent d’outils pour documenter et comparer les pratiques réelles.

Les dirigeants qui ont commencé ce travail, Thomas, Isabelle, Marc, et d’autres dont les expériences alimentent les travaux des chercheurs cités ici, partagent un constat : la difficulté n’est pas technique. Elle est organisationnelle. Il s’agit de décider que la diversité relève de la gouvernance, puis d’allouer les ressources, les mandats et les indicateurs qui rendent cette décision réelle.

Pour aller plus loin, decouvrez notre accompagnement des organisations et notre approche.

Et si la véritable mesure de la maturité d’une organisation sur la diversité était sa capacité à répondre, données à l’appui, de ce que ses algorithmes décident chaque jour à la place de ses managers ?