IA et esprit critique : préserver le discernement en entreprise

En 2023, le Stanford HAI publiait son AI Index annuel avec un constat sobre : les organisations qui déploient des systèmes d’IA sans protocole d’audit humain intermédiaire multiplient par trois le risque d’erreur non détectée dans leurs prises de décision stratégiques. Trois fois. Pas parce que les modèles sont défaillants dans l’absolu, mais parce que les équipes ont progressivement cessé de les interroger. C’est ce glissement silencieux, de l’outil vers l’oracle, qui mérite attention. L’enjeu n’est pas de ralentir l’automatisation. C’est de s’assurer que les femmes et les hommes qui en dépendent gardent la capacité de la mettre en question.

L’automatisation du jugement : un transfert qui ne dit pas son nom

Quand un système de scoring RH classe des candidatures, quand un outil de prévision budgétaire recommande une allocation de ressources, quand une plateforme de veille réglementaire signale un risque de conformité, une décision a déjà été prise, algorithmiquement. Ce que les équipes reçoivent, c’est une conclusion. Rarement les prémisses.

La philosophe et chercheuse Laurence Devillers, spécialiste des interactions humain-machine, nomme ce phénomène avec précision : nous sommes en train de déléguer non pas des tâches, mais des raisonnements. La nuance est décisive. Une tâche déléguée peut être reprise. Un raisonnement délégué, lui, s’atrophie si on ne l’exerce plus. Ce que Devillers souligne également, c’est que cette délégation s’opère souvent sans intention délibérée : les équipes ne choisissent pas de cesser de raisonner, elles s’adaptent à un environnement où le raisonnement semble déjà fait. L’outil crée la convention, la convention crée l’habitude, l’habitude crée la dépendance.

Élise, directrice des opérations dans un groupe industriel de taille intermédiaire, l’a mesuré concrètement lors d’un audit interne : « Nos managers de proximité savaient parfaitement lire les recommandations de notre outil de planification. Ils ne savaient plus les contredire. Quand on leur demandait pourquoi ils validaient telle décision, la réponse était : le système l’a indiqué. Ce n’est pas une question de compétence. C’est une question d’habitude perdue. »

Cette érosion progressive du jugement autonome ne résulte pas d’une mauvaise volonté organisationnelle. Elle suit une logique d’optimisation : si le système a raison dans 94 % des cas, contester sa recommandation semble coûteux et peu rationnel. Sauf que les 6 % restants sont précisément là où le discernement humain est irremplaçable, et souvent là où les enjeux sont les plus élevés. Un recrutement raté, une allocation budgétaire mal orientée en période de tension, une alerte réglementaire sous-estimée dans un contexte géopolitique changeant : ces situations ne se signalent pas elles-mêmes comme appartenant aux 6 %. Elles ressemblent, en surface, aux 94 % routiniers.

Le biais d’automation : quand la confiance devient abdication

Le biais d’automation est documenté depuis les années 1980 dans l’aviation civile. Des pilotes formés à des standards exigeants validaient sans vérification des données instrumentales erronées dès lors que le système automatique les avait générées. L’industrie aéronautique a mis trente ans à construire des protocoles de remise en question systématique des alertes automatiques. Les organisations qui déploient aujourd’hui des systèmes d’IA en contexte de décision critique partent rarement de cette expérience accumulée.

L’AI Now Institute, dans ses travaux sur la responsabilité algorithmique, souligne que ce biais s’intensifie avec la montée en charge des outils : plus un système est utilisé, plus ses utilisateurs tendent à lui attribuer une forme d’autorité épistémique. La recommandation devient norme. L’alerte devient certitude. La probabilité devient fait. Ce mécanisme est d’autant plus puissant que les systèmes modernes produisent des outputs présentés avec une précision apparente, deux décimales après la virgule, une couleur verte ou rouge, un score sur cent, autant de signaux visuels qui communiquent la certitude là où il n’y a que du calcul probabiliste.

Pour les DSI et CDO qui supervisent ces déploiements, la tension est réelle. Karim, responsable de la transformation digitale dans un groupe de services financiers, le formule ainsi : « On nous demande d’accélérer l’adoption et en même temps de maintenir un regard critique sur les outputs. Ces deux injonctions ne se réconcilient pas naturellement. La vitesse de déploiement pousse à réduire les frictions, or le désaccord qualifié avec une recommandation algorithmique est précisément une friction utile. » Cette tension que décrit Karim n’est pas propre à son secteur. Elle traverse les organisations de santé qui déploient des outils d’aide au diagnostic, les directions juridiques qui s’appuient sur des plateformes d’analyse contractuelle, les équipes commerciales qui pilotent leurs priorités à partir de scores de propension générés automatiquement.

Gary Marcus, chercheur en sciences cognitives et critique informé des limites actuelles des grands modèles de langage, insiste sur ce point : les systèmes d’IA générative excellent à produire des réponses plausibles, pas des réponses vraies. La plausibilité est convaincante. Elle se confond aisément avec la fiabilité pour un utilisateur en situation de charge cognitive élevée. Marcus souligne par ailleurs que cette confusion est structurelle, non accidentelle : ces systèmes sont précisément entraînés à maximiser la cohérence apparente de leurs sorties, ce qui les rend difficiles à contester sur la seule base du sentiment d’inconfort ou d’étrangeté.

Gouvernance du discernement : ce que les DRH ont à construire

Préserver la capacité de juger ne se décrète pas en réunion de direction. Cela s’organise, se pratique, s’évalue. Plusieurs organisations pionnières ont commencé à formaliser ce que l’OCDE, dans ses Principes sur l’IA, appelle la « supervision humaine significative », à distinguer d’une supervision purement formelle où un humain valide ce qu’il ne comprend pas.

Trois leviers se dégagent des pratiques les plus solides. Le premier est la formation au désaccord qualifié : apprendre aux équipes non pas à rejeter les recommandations algorithmiques, mais à formuler précisément pourquoi elles les contestent. Un désaccord sans argumentation n’est pas du discernement, c’est de la résistance au changement. Un désaccord argumenté sur la base d’un contexte que le modèle ne pouvait pas intégrer, en revanche, est une information organisationnelle précieuse. Certaines directions RH ont commencé à intégrer cet exercice dans leurs programmes de développement managérial : on soumet un groupe de managers à une recommandation algorithmique fictive sur un cas d’arbitrage budgétaire ou de mobilité interne, et on leur demande de produire collectivement une analyse critique structurée. L’objectif n’est pas de rejeter la recommandation mais de la situer : quelles variables a-t-elle pondérées, lesquelles a-t-elle ignorées, quel contexte organisationnel elle ne pouvait pas lire ?

Le deuxième levier est la documentation systématique des moments de divergence. Quand un manager humain s’écarte d’une recommandation algorithmique et que la décision s’avère meilleure, cette information doit remonter. Pas pour discréditer le système, mais pour affiner la compréhension collective de ses zones d’aveuglement. Plusieurs organisations ont mis en place des journaux de divergence, simples formulaires structurés où le manager documente en trois champs la recommandation reçue, sa décision effective et le raisonnement qui l’a conduit à s’en écarter. Ces données, agrégées trimestriellement, constituent une cartographie vivante des limites opérationnelles des outils déployés, bien plus utile qu’un audit externe annuel.

Le troisième levier, le plus structurant, est la redéfinition des critères de performance managériale. Sandrine, DRH d’un groupe retail en pleine transformation, a introduit dans les entretiens annuels de ses managers une rubrique explicite : « Citez deux décisions où vous avez contesté une recommandation outil cette année, et expliquez votre raisonnement. » Elle observe : « Au début, les managers ne savaient pas quoi répondre. Soit ils n’avaient pas contesté, soit ils ne savaient pas expliquer pourquoi ils l’avaient fait. Aujourd’hui, deux ans après, cette rubrique est souvent la plus riche de l’entretien. » Ce que Sandrine mesure à travers cet exercice dépasse la seule question de l’IA : elle évalue la vitalité du raisonnement managérial dans son ensemble, la capacité à assumer une décision en son nom propre plutôt qu’au nom d’un outil.

« Faire croître ce qui compte vraiment, en matière de discernement organisationnel, c’est cultiver la capacité collective à nommer ce qu’un algorithme ne peut pas voir : le contexte singulier, la relation de confiance, l’intention derrière le chiffre. » La rédaction Afervescence

Éthique opérationnelle : des principes aux pratiques vérifiables

La chercheuse Timnit Gebru, cofondatrice du Distributed AI Research Institute, a documenté avec rigueur comment les chartes éthiques restent sans effet lorsqu’elles ne sont pas traduites en procédures opérationnelles auditables. Un principe comme « l’humain reste décisionnaire final » n’a de sens que si l’on peut vérifier, sur un échantillon de décisions réelles, que ce principe a été appliqué avec substance, et pas seulement avec forme. Gebru insiste sur un point souvent négligé : les organisations qui produisent des chartes éthiques détaillées sans mécanisme de vérification interne créent en réalité un risque supplémentaire, celui de la bonne conscience institutionnelle. L’existence du document devient la preuve de l’engagement, indépendamment de ce qui se passe dans les processus réels.

Pour les comités exécutifs et les boards qui supervisent la gouvernance IA, la CNIL en France et le NIST aux États-Unis proposent des cadres d’évaluation convergents : toute décision à impact significatif sur des personnes physiques doit pouvoir faire l’objet d’une explication humaine, produite par quelqu’un qui comprend les variables mobilisées, pas seulement par quelqu’un capable de lire un tableau de bord. Le NIST AI Risk Management Framework, publié en 2023, introduit à ce titre la notion de « meaningful human oversight » en la distinguant explicitement de la supervision formelle : un responsable qui approuve cent décisions algorithmiques en dix minutes n’exerce pas de supervision, il exerce une validation nominale.

Le philosophe Eric Sadin, dans ses analyses des technologies de conduite de vie, pose la question de manière plus radicale : à force de déléguer le jugement à des systèmes qui optimisent selon des critères prédéfinis, les organisations ne risquent-elles pas de perdre la capacité à redéfinir ces critères eux-mêmes ? C’est la question de l’autonomie stratégique, pas seulement opérationnelle. Une organisation qui ne sait plus contester ses propres métriques d’optimisation est une organisation qui a externalisé sa vision. Sadin nomme ce phénomène une forme de déliaison : le lien entre les valeurs déclarées d’une organisation et les critères effectifs selon lesquels ses outils optimisent se distend progressivement, sans que personne n’ait décidé de le rompre.

Cette dimension touche directement les fondations et les boards engagés dans des missions à finalité sociale ou environnementale : l’IA peut optimiser remarquablement l’atteinte d’objectifs définis. Elle ne peut pas décider que ces objectifs méritent d’être remis en question. Ce travail reste humain, collectif, délibératif. Un fonds à impact qui automatise la sélection de ses bénéficiaires selon des critères fixés il y a trois ans doit se demander régulièrement si ces critères capturent encore ce qu’il cherche à produire dans le monde. Aucun algorithme ne posera cette question à sa place.

Vers un discernement organisationnel cultivé comme compétence stratégique

Les organisations les plus avancées sur ce sujet ne traitent plus le discernement critique comme une résistance à gérer, ni comme un garde-fou ponctuel. Elles le cultivent comme une compétence stratégique à part entière, au même titre que la maîtrise des données ou la sécurité des systèmes. Cette évolution de posture a des implications concrètes sur les structures organisationnelles : certaines directions générales ont créé des fonctions dédiées à ce que leurs titulaires appellent l’intégrité décisionnelle, chargées de s’assurer que les processus de décision assistés par IA conservent une substance humaine réelle, documentée et auditable.

Concrètement, cela passe par des espaces délibératifs réguliers où les équipes examinent collectivement des décisions prises avec assistance algorithmique, non pour les remettre en cause systématiquement, mais pour maintenir vivante la pratique du raisonnement explicite. Ces séances, que certaines organisations ont formalisées sous le nom de revues de jugement ou de comités d’arbitrage augmenté, durent rarement plus de deux heures par mois. Leur effet sur la culture organisationnelle est pourtant documenté : les équipes qui les pratiquent régulièrement formulent des objections mieux argumentées, identifient plus rapidement les angles morts des systèmes qu’elles utilisent, et rapportent un sentiment plus élevé de responsabilité sur les décisions prises.

Cela passe aussi par une politique de recrutement et de promotion qui valorise la capacité à formuler des objections fondées, pas seulement la capacité à exécuter efficacement. La plupart des référentiels de compétences managériales actuels mesurent l’efficience décisionnelle : rapidité, taux de bon choix, alignement avec les objectifs. Peu d’entre eux mesurent la qualité du raisonnement qui précède la décision, et encore moins la capacité à nommer publiquement les limites d’un outil dont l’organisation dépend. Ce déséquilibre dans les critères d’évaluation reproduit exactement le problème qu’il faudrait résoudre.

Bernard Stiegler, dont les travaux sur la pharmacologie des techniques restent une référence pour penser les effets ambivalents des outils sur les capacités humaines, posait cette tension en termes nets : toute technique qui automatise une fonction cognitive peut soit atrophier cette fonction chez ceux qui s’en remettent à elle, soit la libérer pour des usages plus complexes. Le résultat dépend moins de la technique elle-même que des choix organisationnels qui encadrent son usage. Stiegler parlait de soin, au sens fort : prendre soin des capacités cognitives collectives avec autant d’attention que l’on prend soin des systèmes qui les assistent. Ce soin ne se délègue pas à un département. Il engage la gouvernance dans son ensemble.

La mesure la plus révélatrice de la maturité IA d’une organisation n’est pas le nombre d’outils déployés. C’est la qualité des désaccords que ses équipes savent encore formuler face à leurs recommandations. Cette qualité se construit. Elle se mesure. Elle se perd aussi, si personne n’en prend la responsabilité explicite.

Pour aller plus loin, découvrez notre accompagnement des organisations et notre approche.

Pour aller plus loin, decouvrez notre accompagnement des organisations et notre approche.

Et si le vrai marqueur de maturité IA dans votre organisation était la richesse des désaccords argumentés que vos équipes savent encore formuler face aux recommandations algorithmiques ?