Auditer l’impact social de ses systèmes IA avant la mise à l’échelle

En 2023, l’AI Now Institute publiait un constat sans ambiguïté : la majorité des incidents documentés liés à des systèmes IA en production résultent non pas d’un défaut technique initial, mais d’un défaut d’évaluation des effets sur les personnes avant le passage à grande échelle. Autrement dit, le modèle fonctionnait. Ce sont ses conséquences qui n’avaient pas été anticipées. Pour les directions générales et les équipes techniques qui pilotent des projets IA en phase de montée en charge, cette donnée repose la question dans les bons termes : l’audit d’impact social n’est pas un exercice de conformité rétrospectif. Il conditionne la viabilité même du déploiement.

L’impact social de l’IA : un angle mort persistant dans les roadmaps techniques

Quand une équipe data valide un modèle, elle mesure ses performances sur des métriques quantitatives : précision, rappel, F1-score, latence. Ces indicateurs sont nécessaires. Ils sont insuffisants. Ce qu’ils ne capturent pas, c’est la manière dont le système va modifier les conditions de travail d’un agent de crédit, les opportunités d’embauche d’une candidate dont le CV passe par un filtre algorithmique, ou l’accès aux soins d’un patient dont le dossier alimente un outil de triage automatisé.

Laurence Devillers, chercheuse à l’INSERM et au LIMSI-CNRS, l’a formulé dans plusieurs de ses travaux sur les interactions humain-machine : les biais les plus durables ne sont pas ceux que l’on trouve dans les données d’entraînement, mais ceux que l’on ne cherche pas parce qu’ils ne figurent dans aucun cahier des charges. Le problème n’est donc pas technique au sens strict. Il est organisationnel : qui, dans la chaîne de validation, porte la responsabilité de poser la question des effets sur les personnes ?

Marion, directrice des systèmes d’information dans un groupe de services financiers de taille intermédiaire, a vécu cette lacune de l’intérieur. Son équipe avait déployé un outil d’aide à la décision pour les conseillers clientèle, validé en interne sur des données historiques couvrant cinq ans d’activité. Trois mois après le déploiement étendu, les responsables RH remontaient une tension inattendue : les conseillers les plus expérimentés refusaient de s’appuyer sur les recommandations, tandis que les plus récents les suivaient sans exercer leur propre jugement. Résultat : deux populations de conseillers avec des comportements opposés, et des décisions client de moins en moins cohérentes. L’outil n’était pas défaillant techniquement. Son impact sur les pratiques professionnelles n’avait jamais été modélisé.

Ce que l’AI Act impose, et ce qu’il ne règle pas

Depuis son entrée en vigueur progressive en 2024, le règlement européen sur l’intelligence artificielle structure une obligation d’évaluation des risques pour les systèmes dits à haut risque. Les secteurs concernés sont explicitement listés : emploi, éducation, services essentiels, justice, sécurité des personnes. Pour ces catégories, une évaluation de conformité préalable au déploiement est requise, accompagnée d’une documentation technique et d’un suivi post-marché.

C’est un cadre utile. Ses limites sont réelles. L’AI Act définit le risque essentiellement en termes de sécurité et de droits fondamentaux au sens juridique. Il ne couvre pas les effets diffus sur l’organisation du travail, les dynamiques de pouvoir interne, la transformation des compétences ou la dépendance progressive à des systèmes opaques. L’OCDE, dans ses Principes sur l’IA révisés en 2023, pousse plus loin en insistant sur la notion de bien-être des individus et de durabilité sociale, mais sans mécanisme contraignant. Le Stanford HAI, dans ses publications annuelles sur l’état de l’IA, documente chaque année le décalage entre la sophistication des modèles et la pauvreté des cadres d’évaluation sociale effectivement appliqués en entreprise.

En d’autres termes : respecter l’AI Act est nécessaire et insuffisant pour conduire un audit d’impact social rigoureux. Le règlement fixe un plancher. L’audit sérieux commence là où le texte s’arrête.

Conduire un audit d’impact social : méthode, acteurs, calendrier

Un audit d’impact social ne s’improvise pas en deux semaines dans la continuité d’un sprint technique. Il requiert une méthodologie propre, des acteurs identifiés et un calendrier qui précède, et non accompagne, la décision de scaling.

Sur la méthode, trois axes structurent un audit solide. Le premier est la cartographie des parties prenantes directement et indirectement affectées par le système : utilisateurs internes, clients finals, populations représentées dans les données, personnels dont les tâches seront modifiées. Le deuxième est l’analyse des scénarios d’échec silencieux, c’est-à-dire les situations où le système fonctionne correctement selon ses métriques mais produit des effets indésirables sur certains groupes. Le troisième est l’évaluation de la réversibilité : si l’impact mesuré s’avère négatif après déploiement partiel, dans quel délai et à quel coût l’organisation peut-elle corriger ou retirer le système ?

Sur les acteurs, l’audit ne peut pas rester confiné à l’équipe data ni à la direction juridique. Timnit Gebru, cofondatrice du Distributed AI Research Institute (DAIR), a documenté dans plusieurs études comment l’homogénéité des équipes qui évaluent les systèmes IA génère des angles morts systématiques. Un comité d’audit crédible associe des représentants des métiers impactés, des responsables RH, des interlocuteurs des instances représentatives du personnel dans les contextes où le droit du travail le requiert, et idéalement des personnes extérieures à l’organisation capables d’un regard non capturé par les intérêts du projet.

Sur le calendrier, la règle opérationnelle est simple : l’audit commence quand le modèle entre en phase pilote sur population réelle, et ses conclusions conditionnent, pas accompagnent, la décision de passage à l’échelle. Karim, data scientist dans une organisation de protection sociale, résume la tension qu’il observe régulièrement dans les projets qu’il pilote : « On nous demande de livrer l’audit en même temps que la mise en production étendue. À ce stade, la décision de scaler est déjà prise. L’audit devient un document de couverture, pas un outil de pilotage. » Ce glissement transforme l’exercice en formalité.

Les erreurs d’organisation qui rendent l’audit inopérant

Au-delà de la méthode, plusieurs erreurs récurrentes d’organisation réduisent l’audit d’impact social à un artefact sans effet sur les décisions réelles.

La première est la confusion entre audit de biais algorithmique et audit d’impact social. Détecter un biais dans les prédictions d’un modèle est une opération technique importante. Ce n’est pas la même chose qu’évaluer ce que le déploiement du modèle fait aux personnes qui vivent avec ses décisions au quotidien. Les deux exercices se complètent ; le premier ne remplace pas le second.

La deuxième erreur est de confier l’audit exclusivement à l’équipe qui a conçu le système. Gary Marcus, chercheur en sciences cognitives et critique documenté des limites des systèmes d’apprentissage profond, le formule avec une précision utile : les équipes qui construisent des systèmes IA développent une forme d’attachement fonctionnel à leur modèle qui biaise leur perception des risques. L’audit interne non structuré tend à valider ce qui est déjà construit plutôt qu’à identifier ce qui mérite d’être revu.

La troisième erreur, peut-être la plus fréquente dans les organisations en forte accélération, est de traiter l’audit comme un coût de friction à minimiser plutôt que comme un investissement en résilience. Les incidents documentés par l’AI Now Institute montrent que le coût de correction d’un impact social négatif détecté après scaling est en moyenne quatre à six fois supérieur au coût d’un audit conduit avant la décision de déploiement étendu.

« Faire croître ce qui compte vraiment, c’est d’abord savoir ce que l’on fait croître, et pour qui. L’audit d’impact social est la condition pour que la mise à l’échelle serve les personnes plutôt qu’elle ne les expose. », La rédaction Afervescence

Vers un audit d’impact social qui devient un levier de confiance durable

Les organisations qui ont intégré l’audit d’impact social comme étape structurante de leur cycle de déploiement IA n’en parlent plus comme d’une contrainte. Elles en parlent comme d’un avantage opérationnel. La raison est pragmatique : un système déployé sans surprise sociale majeure rencontre moins de résistance interne, génère moins de contentieux, et construit une crédibilité qui facilite les déploiements suivants.

La CNIL, dans ses recommandations sur les systèmes d’IA au travail publiées en 2023, insiste sur la nécessité d’une transparence active auprès des personnes concernées. Cette transparence n’est pas seulement une obligation légale : elle est un signal organisationnel fort que l’organisation prend au sérieux les effets réels de ses choix technologiques sur ceux qui les vivent.

Pour les directions générales qui engagent aujourd’hui des programmes IA significatifs, la question n’est plus de savoir si elles doivent conduire des audits d’impact social. L’AI Act, les attentes des parties prenantes et la documentation des incidents disponibles dans le domaine public rendent cette étape incontournable. La question est de savoir comment la conduire avec assez de rigueur pour qu’elle produise des décisions, pas des documents.

Cela suppose de désigner clairement les personnes responsables de l’audit au sein de l’organisation, de leur allouer les ressources et le mandat pour ralentir un déploiement si les conclusions le justifient, et d’intégrer les résultats de l’audit dans les critères formels de décision du comité de validation. Pas en parallèle. Pas en aval. En amont.

Pour aller plus loin, decouvrez notre accompagnement des organisations et notre approche.

Et si l’audit d’impact social devenait le premier livrable de tout projet IA, avant même le choix du modèle ?

#GouvernanceIA #AuditIA #ResponsableIA #AIAct #DeploiementIA