L’IA au service de l’intérêt général : ce que les fondations peuvent exiger

En 2024, l’AI Index publié par Stanford HAI recensait plus de 67 régulations nationales relatives à l’intelligence artificielle adoptées ou en cours d’adoption dans le monde. Pourtant, sur la même période, moins de 12 % des appels à projets des grandes fondations philanthropiques européennes intégraient des critères explicites de gouvernance algorithmique parmi leurs conditions de financement. L’écart entre l’agitation normative et l’inertie des acteurs de l’intérêt général est documenté, mesurable, et coûteux. Les organisations qui déploient des systèmes d’IA pour cibler des populations vulnérables, optimiser des allocations de ressources rares ou automatiser des décisions d’accès à des services essentiels le font souvent sans que leurs financeurs aient posé la moindre question sur les biais intégrés, les données d’entraînement utilisées ou les mécanismes de recours disponibles.

Ce vide n’est pas une fatalité. Les fondations et les boards d’organisations à mission disposent d’un levier structurel que ni les régulateurs ni les chercheurs ne possèdent au même degré : la condition financière. Avant le premier virement, avant la signature de convention, ils peuvent exiger. Cet article explore ce que cette exigence devrait contenir, à quelles conditions elle produit des effets réels, et ce que des dirigeants et responsables de terrain ont commencé à mettre en place.

La philanthropie algorithmique : un angle mort qui coûte cher

Mathieu dirige depuis sept ans le pôle numérique d’une fondation familiale active dans l’éducation prioritaire. En 2022, sa fondation a financé à hauteur de 400 000 euros un outil de détection précoce du décrochage scolaire développé par une start-up d’edtech. Dix-huit mois après le déploiement, un audit interne a révélé que l’algorithme sur-signalait systématiquement les élèves issus de familles monoparentales et sous-représentait les difficultés dans les établissements ruraux peu dotés en données numériques. « On avait vérifié les intentions, le modèle pédagogique, l’expérience de l’équipe. On n’avait pas demandé à voir les données d’entraînement ni les métriques d’équité. On ne savait pas exactement ce qu’il fallait demander. »

Cette lacune est systémique. La chercheuse Timnit Gebru, cofondatrice du Distributed AI Research Institute, documente depuis plusieurs années comment les biais encodés dans les systèmes d’IA reproduisent et amplifient les inégalités existantes, précisément parce que les commanditaires n’ont pas les outils conceptuels pour les identifier avant déploiement. Les fondations qui financent des acteurs de terrain sans exiger de documentation sur les données, les métriques d’équité et les procédures de révision ne financent pas l’innovation sociale : elles financent le risque opaque.

L’AI Now Institute, basé à New York, a publié en 2023 un cadre d’analyse des systèmes à impact social qui distingue trois niveaux de risque : les systèmes qui traitent des données sensibles sur des populations vulnérables, ceux qui produisent des décisions individualisées sans recours humain, et ceux qui opèrent dans des environnements réglementaires faibles. Les trois cas correspondent à des déploiements courants dans le secteur associatif et philanthropique. L’absence de grille d’évaluation adaptée chez les financeurs laisse ces risques sans contre-pouvoir effectif.

L’exigence de traçabilité : ce que le board doit pouvoir lire

Exiger ne signifie pas maîtriser techniquement. Les membres d’un board de fondation n’ont pas à savoir lire du code Python ni à auditer des pipelines de données. En revanche, ils doivent pouvoir obtenir et comprendre trois documents avant tout financement d’un projet intégrant de l’IA : une description des données d’entraînement et de leurs sources, une présentation des métriques de performance ventilées par sous-groupe démographique, et une procédure documentée de révision ou de désactivation du système.

Sophie est directrice des opérations d’une grande fondation opératrice spécialisée dans l’accès aux soins dans les déserts médicaux. En 2023, son organisation a déployé un outil de priorisation des consultations à distance pour les infirmières de pratique avancée. Avant de valider le déploiement, elle a imposé à l’éditeur la remise d’un « carnet de bord algorithmique » : un document de huit pages décrivant les données utilisées, les populations exclues du corpus d’entraînement, les cas de figure où l’algorithme devait être mis en pause et la personne responsable de ce déclenchement. « Ce document n’était pas parfait. Mais le fait de l’exiger a changé la conversation avec l’éditeur. Ils ont dû nommer des choses qu’ils n’avaient pas encore formalisées. »

La philosophe et chercheuse Laurence Devillers, spécialiste des interactions humain-machine et professeure à Sorbonne Université, formule cette exigence en termes de confiance vérifiable : un système d’IA déployé dans un contexte d’intérêt général doit pouvoir être expliqué à la personne qu’il affecte. Si l’organisation qui le déploie ne peut pas produire cette explication, c’est que le système n’est pas prêt pour ce contexte. Ce critère, applicable sans compétence technique avancée, constitue un premier filtre opérationnel que tout board peut intégrer à ses grilles de due diligence.

Gouvernance d’impact : nommer les responsables avant les résultats

Un des angles morts les plus persistants dans la gouvernance des projets IA financés par des fondations est l’absence de désignation claire d’un responsable de l’impact algorithmique au sein de l’organisation bénéficiaire. Les conventions de financement précisent habituellement un responsable de projet, un responsable financier, parfois un responsable de la communication. La question de savoir qui, dans l’organisation, est habilité à décider d’arrêter un système automatisé si ses effets s’avèrent contraires à la mission reste sans réponse dans la majorité des contrats examinés.

Cette lacune n’est pas anecdotique. Gary Marcus, chercheur en sciences cognitives et critique régulier des surenchères autour de l’IA, rappelle que les systèmes d’IA en production dérivent dans le temps : les données changent, les contextes évoluent, les populations cibles se modifient. Un système calibré correctement au moment du déploiement peut produire des effets non désirés deux ans plus tard si personne n’a pour mission explicite de le surveiller. La gouvernance algorithmique n’est pas un état, c’est une pratique continue.

Les fondations qui souhaitent ancrer cette pratique dans leurs exigences contractuelles peuvent s’appuyer sur le cadre développé par l’OCDE dans ses Principes sur l’IA, qui identifie explicitement la responsabilité humaine comme condition de déploiement éthique. Concrètement, cela se traduit par deux clauses contractuelles simples : la désignation nominative d’un référent IA au sein de l’organisation bénéficiaire, et l’obligation de rapport semestriel sur les indicateurs d’équité et d’usage effectif du système. Ces clauses ne ralentissent pas les projets. Elles créent les conditions pour que les résultats soient attribuables à des personnes, et non dissous dans la complexité technique.

Ce que les fondations peuvent apprendre des régulateurs qu’elles précèdent

L’Acte européen sur l’IA, entré en application progressivement depuis 2024, classe les systèmes d’IA selon leur niveau de risque et impose aux systèmes à haut risque, notamment ceux utilisés dans l’éducation, l’emploi, les services sociaux essentiels et la gestion des migrations, des obligations de documentation, d’audit et de supervision humaine. Les organisations d’intérêt général qui opèrent dans ces secteurs seront directement concernées par ces obligations d’ici 2026 pour les systèmes les plus sensibles.

Les fondations qui intègrent dès maintenant ces critères dans leurs grilles de financement accomplissent deux choses simultanément : elles préparent leurs bénéficiaires à la conformité réglementaire à venir, et elles construisent une doctrine d’impact qui précède et influence les pratiques du secteur. La CNIL, de son côté, a publié en 2023 des recommandations sur les systèmes d’IA dans les services publics et para-publics qui fournissent un vocabulaire opérationnel directement transposable dans les appels à projets philanthropiques.

La philosophe et politologue Asma Mhalla, spécialiste des rapports entre technologie et puissance, formule un avertissement qui mérite d’être entendu par les conseils d’administration de fondations : les acteurs privés qui développent des systèmes d’IA à grande échelle ne sont pas neutres vis-à-vis de l’intérêt général. Ils ont des modèles économiques, des actionnaires, des stratégies de données. Lorsque le secteur philanthropique adopte leurs outils sans poser de conditions, il sous-traite une part de sa mission à des entités dont les incitations divergent structurellement de la sienne. L’exigence n’est pas une posture méfiante. C’est une condition de cohérence avec la raison d’être de la fondation.

« Exiger de la traçabilité sur un système d’IA, ce n’est pas ralentir l’innovation. C’est décider que l’innovation doit rendre compte à ceux qu’elle prétend servir. Faire croître ce qui compte vraiment suppose d’abord de savoir mesurer ce qu’on fait pousser. », La rédaction Afervescence

Vers une doctrine philanthropique de l’IA responsable

Les fondations et boards qui souhaitent construire une doctrine cohérente peuvent articuler leur exigence autour de quatre engagements concrets, applicables dès le prochain cycle d’appels à projets.

Le premier est l’intégration systématique d’une section IA dans les dossiers de candidature pour tout projet impliquant le traitement automatisé de données sur des bénéficiaires. Cette section doit décrire le type de système utilisé, les données mobilisées, les métriques de performance et le nom du responsable interne. Le deuxième engagement est la conditionnalité de renouvellement : un financement pluriannuel d’un projet IA doit être conditionné à la remise d’un rapport d’impact algorithmique à mi-parcours, distinct du rapport financier et du rapport d’activité.

Le troisième engagement concerne la formation des membres du board. Pas une formation technique, mais une formation aux questions à poser : sur quelles données ce système a-t-il été entraîné ? Quelles populations sont sous-représentées dans ces données ? Qui décide de désactiver le système si les résultats dérivent ? Des organisations comme l’AI Now Institute ou des chercheurs indépendants proposent des formats de sensibilisation adaptés aux gouvernances non techniques. Le quatrième engagement est la mutualisation : les fondations qui financent des acteurs dans un même secteur ont intérêt à construire ensemble des grilles de due diligence algorithmique communes, pour éviter que chaque organisation réinvente ses critères en solitaire et pour créer une norme de marché qui oriente les développeurs vers les pratiques attendues.

David est président du board d’une fondation opératrice dans l’insertion professionnelle. Son organisation a commencé à travailler avec un prestataire IA pour matcher des profils de chercheurs d’emploi avec des offres de formation. « On a passé beaucoup de temps à évaluer la promesse de l’outil. On a passé beaucoup moins de temps à évaluer ce qui se passe quand l’outil se trompe. Qui le voit en premier ? Qui a le droit de le dire ? Qui peut décider d’arrêter ? Ces questions, on n’avait pas de réponse. Maintenant on les pose avant de signer. »

Ce déplacement, du résultat promis vers le processus garanti, est précisément ce que la gouvernance philanthropique de l’IA responsable demande. Il ne ralentit pas les projets ambitieux. Il les rend défendables dans la durée, auprès des bénéficiaires, des régulateurs et des donateurs qui attendent que l’argent confié serve ce pourquoi il a été donné.

FAQ, L’IA et les fondations : les questions que les boards posent

Les fondations sont-elles concernées par l’Acte européen sur l’IA ?
Oui, dès lors qu’elles financent ou opèrent des systèmes d’IA dans des domaines classés à haut risque par le règlement : éducation, emploi, accès aux services sociaux essentiels, gestion des migrations. Les obligations s’appliquent aux déployeurs, pas seulement aux développeurs. Une fondation opératrice qui met en service un outil IA pour cibler ou prioriser des bénéficiaires est un déployeur au sens du règlement.

Que contient concrètement un rapport d’impact algorithmique ?
Au minimum : une description des données utilisées par le système et de leurs limites connues, les métriques de performance ventilées par sous-groupe (genre, territoire, situation sociale si pertinent), le nombre de décisions automatisées sans révision humaine sur la période, et les incidents ou dérives constatés avec les mesures correctives appliquées. Ce document n’exige pas de compétences techniques pour être lu. Il exige que quelqu’un dans l’organisation l’ait rédigé, ce qui suppose que quelqu’un en soit responsable.

Comment évaluer la fiabilité d’un prestataire IA sans compétence technique ?
Trois questions suffisent pour un premier tri. Premièrement : pouvez-vous nous montrer les métriques de performance de votre système sur des populations similaires aux nôtres ? Un prestataire sérieux dispose de ces données. Deuxièmement : quelle est votre procédure si le système produit des résultats contraires à notre mission ? Un prestataire mature a une réponse documentée. Troisièmement : qui, dans votre organisation, est responsable de la supervision continue du système après déploiement ? L’absence de nom propre en réponse à cette question est un signal d’alerte.

L’exigence de gouvernance algorithmique décourage-t-elle les porteurs de projets innovants ?
Les retours de fondations ayant intégré ces critères depuis 2022 suggèrent l’inverse. Les porteurs de projets techniquement sérieux accueillent favorablement des financeurs qui comprennent les enjeux de gouvernance. Ceux que ces questions découragent portent souvent des projets dont la robustesse n’a pas été testée. La gouvernance algorithmique fonctionne comme un filtre de qualité, pas comme un frein à l’innovation.

Par où commencer si le board ne s’est jamais saisi de ce sujet ?
Par une session de travail d’une demi-journée avec deux objectifs précis : identifier dans le portefeuille existant les projets qui utilisent déjà de l’IA (souvent plus nombreux qu’anticipé), et adopter trois questions minimales à intégrer dans le prochain cycle d’appels à projets. Les ressources publiques disponibles, recommandations CNIL, cadre OCDE, publications AI Now Institute, fournissent un vocabulaire commun qui permet de démarrer sans expertise interne préalable.

Pour aller plus loin, decouvrez notre accompagnement des organisations et notre approche.

Et si la condition posée avant le premier virement devenait le levier le plus structurant dont dispose la philanthropie pour faire de l’IA un instrument au service de ce pour quoi les fondations existent ?

#GouvernanceIA #IntérêtGénéral #ÉthiqueIA #Fondations #ImpactTech