Gouvernance IA : le guide pour structurer et sécuriser vos projets d’Intelligence Artificielle

Les cas d’usage de l’Intelligence Artificielle se multiplient, gagnent en maturité et les gains de productivité sont réels, ce qui pousse les directions générales à accélérer. Mais force est de constater que beaucoup d’entreprises déploient l’IA sans cadre, sans méthode, parfois même sans réelle visibilité sur ce qui est utilisé en interne.

C’est problématique et c’est même l’une des raisons d’échec des Projets IA.

Selon une étude Accenture/WEF, seulement 2% des entreprises déclarent avoir pleinement déployé une démarche d’IA responsable à l’échelle de leur organisation. Autrement dit, la quasi-totalité des entreprises avancent sans filet de sécurité.

C’est tout l’enjeu de la Gouvernance IA : poser un cadre clair pour sécuriser vos projets, sans pour autant freiner l’innovation. Un cadre qui permet de savoir ce que l’IA peut faire, doit faire, ne doit pas faire. Un cadre qui clarifie aussi les responsabilités, structure la supervision humaine et garantit la conformité réglementaire.

Pourquoi la Gouvernance IA devient indispensable (et urgente)

La pression réglementaire s’intensifie

Commençons par l’évidence : l’Europe a décidé de réguler l’IA. L’AI Act (Règlement européen sur l’Intelligence Artificielle), entré en vigueur progressivement depuis 2024, impose un cadre contraignant pour la conception et le déploiement des systèmes d’IA. Ce n’est plus une option, c’est une obligation légale.

Concrètement, l’AI Act classe les systèmes d’IA selon leur niveau de risque (minimal, limité, élevé, inacceptable) et impose des exigences proportionnées : documentation technique, gestion des risques, supervision humaine, transparence vis-à-vis des utilisateurs. Les systèmes à haut risque (ceux qui touchent au recrutement, au crédit, à la santé, à la sécurité) sont soumis à des obligations particulièrement strictes.

Un point souvent méconnu : l’AI Act distingue deux rôles clés :

• Les fournisseurs : ceux qui développent des systèmes d’IA.
• Les déployeurs : ceux qui les utilisent dans leur organisation).

Si vous intégrez par exemple un module d’IA Salesforce ou si vos équipes utilisent Copilot, vous êtes un déployeur et les obligations qui vous incombent ne sont pas les mêmes que celles d’un éditeur. Savoir où vous vous situez est la première étape pour évaluer vos obligations.

Mais l’AI Act n’est pas un texte isolé. Il s’articule avec d’autres réglementations que vous connaissez sans doute déjà :

• Le RGPD, incontournable dès lors que vos systèmes d’IA manipulent des données personnelles (et c’est le cas dans les univers du CRM, du marketing ou des RH).
• Les réglementations sectorielles existantes (finance, santé, assurance) qui s’appliquent également aux systèmes d’IA déployés dans ces domaines.
• Les exigences de cybersécurité, renforcées par la directive NIS2.

Point important : depuis février 2025, l’article 4 de l’AI Act impose à toutes les organisations de garantir un niveau suffisant de maîtrise de l’IA à leurs collaborateurs. Former vos équipes aux fondamentaux de l’IA et à ses risques n’est plus un nice-to-have, c’est une obligation réglementaire.

Notons enfin que cette dynamique réglementaire n’est pas uniquement européenne. Le NIST aux États-Unis a publié son propre cadre de gestion des risques IA (AI RMF), et la norme internationale ISO 42001 pose des exigences convergentes en matière de transparence, d’éthique et de supervision. La pression réglementaire est globale, croissante, et elle concerne toutes les entreprises (pas seulement les géants de la tech).

Au niveau des entreprises, un besoin de cadrage de plus en plus pressant

Au-delà de la réglementation, c’est sur le terrain que le besoin de gouvernance se fait sentir. Chez Cartelis, nous le constatons dans la quasi-totalité de nos missions : les entreprises ont multiplié les initiatives IA ces dernières années, souvent dans l’urgence et sans structurer la démarche.

Les chiffres confirment cette accélération. Selon une étude Deloitte de 2024, 52% des organisations déclarent aller « vite » dans leur adoption de l’IA générative et 78% prévoient d’augmenter leurs investissements IA dans l’année à venir. Mais cette rapidité a un revers : le manque de structuration.

On peut schématiser l’évolution en trois phases :

• 2023 : la phase d’expérimentation. Les PoCs se multiplient, les métiers s’emparent des outils (ChatGPT, Copilot, etc.), les collaborateurs expérimentent en autonomie, parfois en dehors de tout cadre officiel. C’est l’émergence du « Shadow AI », l’équivalent du Shadow IT appliqué à l’intelligence artificielle.
• 2024 : le test de la preuve de valeur. Les organisations commencent à trier : quels cas d’usage créent réellement de la valeur ? Quels outils conserver, lesquels abandonner ? On cherche à stabiliser les briques technologiques.
• 2025 – 2026 : la rationalisation. L’objectif devient l’intégration de l’IA dans les processus métiers et les systèmes d’information, en maîtrisant les risques et les coûts. C’est là que la gouvernance devient incontournable.

Car sans gouvernance, difficile d’industrialiser. Difficile de passer de l’expérimentation à la production. Difficile de contrôler ce qui se passe réellement dans l’organisation.

Le problème du Shadow AI est particulièrement préoccupant. Vos collaborateurs utilisent probablement déjà des outils d’IA non autorisés : ChatGPT en accès libre, des extensions Chrome dopées à l’IA, des modules IA intégrés dans des logiciels SaaS souscrits par les métiers en dehors des circuits IT. Ces usages posent des risques concrets : fuites de données confidentielles, non-conformité RGPD, résultats non vérifiés utilisés pour prendre des décisions business, etc. L’intégration croissante de l’IA dans les outils SaaS marketing amplifie d’ailleurs ce phénomène : l’IA entre dans vos processus sans que vous l’ayez décidé.

Pour donner une idée de l’ampleur des risques potentiels, le MIT a développé une taxonomie qui recense plus de 700 risques spécifiques à l’IA (rien que ça…), classifiés en 7 domaines, de la discrimination et la toxicité aux enjeux socio-économiques, en passant par la désinformation et la cybersécurité. Le sujet n’est pas anecdotique.

La gouvernance IA n’est pas un frein à l’innovation, c’est la condition pour industrialiser l’IA sans perdre la maîtrise. C’est ce qui fait la différence entre une organisation qui subit l’IA et une organisation qui la pilote.

Les risques concrets auxquels s’expose votre entreprise sans gouvernance IA

La gouvernance IA n’est pas un sujet théorique réservé aux juristes et aux DSI, mais un enjeu à la fois business, opérationnel et financier.

#1 Les risques sur la qualité des décisions

Les systèmes d’IA (et particulièrement l’IA générative) produisent des résultats qui ont l’apparence de la fiabilité. Le texte est bien rédigé, la réponse semble cohérente, le chiffre paraît crédible. Sauf que derrière cette façade, les erreurs sont fréquentes : hallucinations (l’IA invente des informations), biais dans les données d’entraînement, résultats non actualisés ou sortis de leur contexte.

Le problème survient quand vos équipes font une confiance excessive à ces résultats sans les vérifier.

L’exemple d’Amazon est devenu un cas d’école. En 2014 (oui, l’IA ne date pas de 2022…), l’entreprise avait développé un système d’IA pour présélectionner les CV. L’algorithme avait appris sur les recrutements passés, majoritairement masculins et discriminait systématiquement les candidatures féminines pour les postes techniques. Amazon a travaillé trois ans pour tenter de corriger le biais…sans succès. Le projet a finalement été abandonné. Trois ans d’investissement perdus, sans compter le risque réputationnel.

Sans gouvernance, vous n’avez pas de processus pour détecter ces dérives avant qu’elles ne produisent des dégâts.

#2 Les risques sur les données

Pas d’IA sans données. Cette dépendance a des implications majeures en termes de risques :

• Premier risque : la fuite de données sensibles. Quand vos collaborateurs utilisent des outils d’IA générative publics (ChatGPT, Claude, Gemini en version gratuite), ils partagent potentiellement des informations confidentielles avec des serveurs externes. Tout ce qui est saisi dans le prompt peut être exploité pour entraîner les modèles ou, dans certaines configurations, être accessible à d’autres utilisateurs. C’est l’une des raisons pour lesquelles les réflexions autour de l’IA souveraine gagnent en importance dans les organisations qui manipulent des données sensibles.
• Deuxième risque : la qualité des données d’entraînement. Si vous développez ou personnalisez des modèles d’IA en interne, la qualité de vos données d’entrée conditionne directement la qualité des résultats. Des données incomplètes, obsolètes, biaisées ou mal structurées produiront des modèles défaillants. Ces défaillances se propageront à chaque décision prise sur la base de ces modèles.
• Troisième risque : l’empoisonnement des données. Un risque de cybersécurité spécifique à l’IA : un attaquant peut injecter des données malveillantes dans votre corpus d’entraînement pour fausser le comportement de vos modèles. Le système semble fonctionner normalement, mais il produit des résultats corrompus et vous ne le détectez pas.

#3 Les risques réglementaires et réputationnels

Nous l’avons vu, l’AI Act impose des obligations strictes, mais au-delà de la conformité réglementaire, c’est votre réputation qui est en jeu.

Les incidents liés à l’IA font désormais régulièrement la une des médias. Selon l’OCDE, le nombre d’incidents IA rapportés par la presse a explosé depuis début 2023.

Que ce soit un chatbot qui dérape et tient des propos inappropriés à vos clients, un algorithme de pricing qui discrimine certaines populations, un système de recommandation qui pousse du contenu problématique, tous ces incidents peuvent détruire en quelques heures une réputation construite pendant des années.

Et les sanctions réglementaires sont lourdes. L’AI Act prévoit des amendes pouvant atteindre 35 millions d’euros ou 7% du chiffre d’affaires mondial pour les infractions les plus graves. Sans compter les sanctions RGPD qui s’ajoutent si des données personnelles sont concernées.

#4 Les risques opérationnels et budgétaires

Dernier volet, souvent sous-estimé : les risques opérationnels et financiers liés à une adoption non maîtrisée de l’IA :

• Les coûts, d’abord. Les API d’IA générative facturent à l’usage (tokens consommés, requêtes effectuées, modèles sollicités…). Sans suivi ni contrôle, la facture dérape vite. Nous avons vu des entreprises découvrir avec stupeur des factures mensuelles de plusieurs dizaines de milliers d’euros pour des usages non anticipés (des tests lancés par des équipes et jamais arrêtés, des automatisations mal calibrées qui tournaient en boucle). Sans visibilité sur la consommation réelle, vous perdez le contrôle de votre budget IA.
• La duplication des outils, ensuite. Sans vision consolidée à l’échelle de l’organisation, chaque département finit par souscrire ses propres solutions. Le marketing adopte un assistant IA pour la rédaction, les commerciaux un autre pour la préparation des rendez-vous, le support client un troisième pour automatiser les réponses. On se retrouve avec des fonctionnalités redondantes, des données qui ne communiquent pas entre elles, des coûts de licence multipliés et aucune synergie. C’est exactement le phénomène observé avec la prolifération des outils SaaS ces dernières années, mais amplifié par la rapidité d’adoption de l’IA.
• Et les projets qui n’aboutissent pas. Un système d’IA développé sans gouvernance claire a toutes les chances de rester au stade du PoC. Ou pire, d’être déployé en production et de produire des résultats que personne n’utilise, faute de confiance ou d’intégration dans les processus métiers. Ces échecs érodent la crédibilité des initiatives IA dans l’organisation et rendent les prochains projets plus difficiles à faire accepter.

La gouvernance IA n’est pas qu’un enjeu juridique ou sécuritaire, c’est un enjeu de performance business. Sans gouvernance, l’IA peut coûter plus cher qu’elle ne rapporte.

Les 4 piliers de la Gouvernance IA

Poser une gouvernance IA consiste à se doter d’un cadre clair, adapté à votre contexte, qui permet d’industrialiser l’Intelligence Artificielle en confiance. Chez Cartelis, nous structurons cette gouvernance autour de quatre piliers complémentaires.

Pilier #1 : Mettre en place une gouvernance des données

Il n’y a pas d’IA sans données. La qualité de vos systèmes d’IA dépend directement de la qualité des données qui les alimentent. C’est pourquoi la gouvernance des données constitue le socle de toute gouvernance IA.

Concrètement, cela implique de travailler sur trois dimensions :

• La première concerne la collecte des données. Avant d’alimenter un système d’IA, vous devez vous assurer que la collecte est licite, que les consentements nécessaires ont été obtenus et que vous avez le droit d’utiliser ces données pour l’usage prévu. Ce n’est pas qu’une question juridique, c’est aussi une question de confiance vis-à-vis de vos clients et partenaires. L’AI Act impose d’ailleurs aux systèmes à haut risque de documenter précisément la provenance et les caractéristiques des jeux de données utilisés.
• La deuxième dimension porte sur la connaissance des données. Savez-vous réellement quelles données vous possédez, où elles se trouvent, quelle est leur qualité ? Disposez-vous d’un catalogue de données à jour, avec des définitions partagées et des responsables identifiés ? L’enjeu est concret : mettre en place un dictionnaire de données, des outils de traçabilité (data lineage) qui permettent de suivre le parcours de chaque donnée depuis sa source jusqu’à son utilisation par un modèle IA. Sans cette connaissance, vous ne pouvez pas évaluer si vos données sont pertinentes, représentatives et exemptes de biais. Construire une stratégie data solide est un prérequis à tout projet IA ambitieux.
• La troisième dimension concerne la préparation des données. Les données brutes sont rarement exploitables telles quelles par les systèmes d’IA. Il faut les nettoyer, les structurer, les enrichir, parfois les anonymiser ou les agréger. Ces opérations de prétraitement doivent être documentées et traçables. C’est aussi à cette étape qu’on détecte et qu’on corrige les éventuels biais présents dans les données, en s’appuyant sur des outils de détection de biais qui permettent de vérifier la représentativité et l’absence de discrimination dans vos jeux de données.

Si vous avez déjà engagé des chantiers de data management dans votre organisation, vous partez avec une longueur d’avance. La gouvernance IA vient s’appuyer sur ces fondations et les compléter avec des exigences spécifiques aux usages IA.

Pilier #2 : Clarifier et documenter le cadre d’usage de l’IA

Une fois le socle données en place, il faut définir ce que l’IA peut faire, doit faire et ne doit pas faire dans votre organisation. C’est l’objet du cadre d’usage.

Ce cadre commence par une définition claire de ce qu’on entend par « IA » dans votre contexte. La question peut sembler triviale, mais elle ne l’est pas. Vos collaborateurs doivent pouvoir identifier quand ils utilisent un système d’IA (ce qui n’est pas toujours évident quand l’IA est embarquée dans des outils du quotidien). Sans définition partagée, impossible de recenser les usages ni d’appliquer les règles de gouvernance.

Le cadre d’usage doit ensuite délimiter les périmètres de décision. Certaines décisions peuvent être entièrement automatisées par l’IA. D’autres nécessitent une validation humaine systématique : c’est typiquement le cas des décisions qui impactent directement vos clients ou vos collaborateurs (scoring crédit, recommandations produit, présélection de candidatures, attribution de ressources). D’autres, enfin, doivent être totalement exclues du champ de l’IA. Formaliser ces périmètres est indispensable.

La supervision humaine est un élément central de ce cadre. L’AI Act impose d’ailleurs, pour les systèmes à haut risque, que des mesures permettent aux opérateurs humains de comprendre les capacités et limites du système, de détecter les anomalies et d’intervenir ou d’arrêter le système si nécessaire. Mais au-delà de l’obligation réglementaire, c’est une question de bon sens : l’humain doit rester dans la boucle, en capacité de contrôler et de corriger.

Un livrable clé de ce pilier : le registre des systèmes d’IA.

L’AI Act impose aux organisations de tenir un inventaire de leurs systèmes d’IA, mais c’est avant tout une bonne pratique de gouvernance. Ce registre recense l’ensemble des SIA présents dans l’organisation, qu’ils aient été développés en interne, intégrés dans des solutions du marché ou utilisés de manière informelle (le fameux Shadow AI). Pour chaque système, on documente les sources de données, l’architecture technique, le cas d’usage métier, le contexte de déploiement et le niveau de risque AI Act. Ce registre est votre point d’entrée pour piloter les risques et assurer la conformité.

Enfin, le cadre d’usage intègre les règles de sécurité spécifiques à l’IA : quels outils sont autorisés, quelles données peuvent être partagées avec des systèmes d’IA externes, quelles précautions prendre pour les usages d’IA générative. Ces règles doivent être formalisées, communiquées et régulièrement mises à jour.

Les livrables typiques de ce pilier ?

• Une politique d’usage de l’IA.
• Un registre des systèmes d’IA.
• Eventuellement une charte éthique qui formalise les engagements de l’organisation en matière de transparence, d’équité et de responsabilité.

Pilier #3 : Définir les rôles et responsabilités

La gouvernance IA ne fonctionne que si les responsabilités sont clairement attribuées : qui décide quoi ? Qui contrôle quoi ? Qui est responsable en cas de problème ?

La première étape consiste à identifier ou créer les rôles clés. Selon la taille et la maturité de votre organisation, cela peut prendre différentes formes :

• Dans une structure centralisée, on désignera des référents IA de confiance, garants de l’application du cadre de gouvernance.
• Dans une organisation plus décentralisée, on s’appuiera sur des relais au sein des différentes équipes (ce que le Hub France IA appelle des « Trustworthy AI champions »). L’essentiel est que ces rôles soient clairement définis, avec des périmètres et des mandats explicites.

Un autre rôle important est celui de « traducteur » entre les métiers et la technique. Les projets IA impliquent des compétences variées (data scientists, développeurs, juristes, métiers, direction) qui ne parlent pas toujours le même langage. Le fait de disposer d’une personne ou d’une équipe capable de faire le pont entre ces mondes est souvent un facteur clé de succès. C’est d’ailleurs un rôle que nous jouons fréquemment chez Cartelis dans nos missions d’accompagnement.

Un acteur souvent oublié dans la gouvernance IA : les Ressources Humaines. LCe sont les garants de la transformation culturelle de l’organisation. Leur rôle ?

• Sructurer les dispositifs de formation IA.
• Prévenir les fractures internes entre les « enthousiastes » et les « inquiets » de l’IA.
• Rassurer face aux craintes de remplacement, piloter les chartes éthiques aux côtés de la DSI et du juridique.

L’IA ne transforme pas que des processus. Elle reconfigure les rapports au travail et à la décision. Clairement, ignorer cette dimension humaine c’est s’exposer à des résistances qui peuvent bloquer les meilleures initiatives.

Au-delà des rôles individuels, il faut mettre en place des instances de gouvernance. Un comité IA qui se réunit régulièrement pour valider les projets, arbitrer les cas complexes, suivre les indicateurs de risque et piloter la feuille de route. La composition de ce comité est importante : il doit réunir les parties prenantes clés (IT, data, métiers, juridique, sécurité, RH, RSE) et disposer d’un sponsorship au niveau direction générale. Sans portage au plus haut niveau, la gouvernance IA reste un vœu pieux.

La fréquence et le format de ces instances s’adaptent au contexte. Une organisation mature pourra structurer plusieurs niveaux : un comité stratégique (trimestriel, avec le COMEX), un comité opérationnel (mensuel, parties prenantes transverses), et un suivi projet (bimensuel, entre métiers et référents IA). L’important est que le dispositif soit suffisamment léger pour ne pas freiner l’innovation, mais suffisamment robuste pour garantir que les risques sont évalués avant tout déploiement.

Enfin, les processus de validation et d’arbitrage doivent être clarifiés. Qui valide le lancement d’un nouveau cas d’usage IA ? Selon quels critères ? Quel circuit de décision en cas de désaccord ? L’organisation des équipes et la clarté des processus de décision sont des facteurs de succès déterminants.

Pilier #4 : Piloter en continu le cycle de vie de l’IA

La gouvernance IA est un processus continu qui accompagne vos systèmes d’IA tout au long de leur cycle de vie, de l’idéation à l’exploitation, en passant par le développement et la validation.

Cela commence par le monitoring en production. Une fois déployé, un système d’IA doit être surveillé en permanence. Concrètement, cela signifie mettre en place des dashboards de suivi en temps réel, des scores de « santé » des modèles, des alertes automatisées qui se déclenchent quand un indicateur dépasse un seuil critique. Le suivi doit combiner :

• Des indicateurs business : taux de conversion, satisfaction client, temps de traitement…
• Des indicateurs techniques : latence, taux d’erreur, taux d’adoption par les utilisateurs…

Le monitoring permet de détecter un phénomène bien connu des data scientists : la dérive des modèles. Un modèle d’IA entraîné sur des données historiques peut voir ses performances se dégrader progressivement si le contexte évolue : changement de comportement des clients, évolution du marché, modification des processus internes. Sans surveillance, vous ne détectez cette dérive que lorsqu’elle produit des effets visibles…c’est-à-dire trop tard.

L’évaluation des risques n’est pas non plus un exercice à mener une seule fois. Les risques peuvent apparaître à chaque étape du cycle de vie d’un système d’IA : un biais non détecté en phase de conception, une vulnérabilité de sécurité introduite lors d’un réentraînement, une dérive éthique en production. Le processus d’identification, d’évaluation et de mitigation des risques doit être itéré à chaque étape, c’est ce que le Hub France IA décrit comme une gestion des risques « par design » intégrée au cycle de vie des projets.

Dernier point, souvent négligé : la documentation. Chaque système d’IA devrait disposer d’une documentation à jour qui décrit son fonctionnement, ses limites, ses données d’entrée, ses conditions d’utilisation. C’est indispensable pour la maintenance, pour l’audit, pour la conformité réglementaire et tout simplement pour que les équipes qui reprennent le système puissent comprendre ce qu’il fait et comment il le fait.

L’AI Act impose d’ailleurs une documentation technique détaillée pour les systèmes à haut risque, et le maintien d’audit trails (journaux de traçabilité) accessibles pour les contrôles.

3 exemples de Gouvernance IA en entreprise

La gouvernance IA n’a pas de modèle unique. Le bon dispositif dépend de votre taille, de votre secteur, de votre maturité IA et du niveau de risque de vos usages. Pour vous aider à vous projeter, voici 3 exemples de gouvernance IA adaptés à des contextes d’entreprise très différents.

Exemple #1 : Une ETI B2B qui structure sa gouvernance IA en partant de zéro

Le profil : une ETI industrielle ou de services B2B, 300 à 1 500 salariés. Pas de CDO ni de Chief AI Officer. Le sujet IA est porté de manière diffuse : la DSI s’en préoccupe un peu, la direction marketing y voit des opportunités, mais personne n’a de mandat clair.

L’IA est entrée par la petite porte : des collaborateurs utilisent ChatGPT pour rédiger des emails ou préparer des présentations, d’autres ont testé Copilot, quelques outils SaaS métiers ont activé des modules IA sans que personne n’ait été consulté. Il n’existe ni politique d’usage, ni visibilité sur les outils utilisés. Le Shadow AI est la norme.

Les enjeux : reprendre le contrôle sur les usages existants avant que les risques ne se matérialisent (fuites de données, non-conformité RGPD, décisions prises sur des bases fausses). Se mettre en conformité avec l’article 4 de l’AI Act (obligation de littératie IA pour tous les collaborateurs). Et surtout, poser un cadre proportionné : suffisamment structurant pour sécuriser, suffisamment léger pour ne pas étouffer l’innovation dans une structure de cette taille.

Un exemple de gouvernance IA adaptée > À ce stade de maturité, la gouvernance est avant tout un exercice de cadrage et de sensibilisation. Le dispositif s’articule autour de cinq éléments :

• Une charte d’usage de l’IA : un document de 5 à 10 pages, co-construit avec les métiers et la DSI, qui définit ce qu’est l’IA dans le contexte de l’entreprise, quels outils sont autorisés, quels types de données ne doivent jamais être partagées avec des outils d’IA externes, quelles précautions prendre. Diffusée à tous les collaborateurs, intégrée à l’onboarding.
• Un registre simplifié des usages IA : un tableau partagé qui recense les outils et usages IA existants dans chaque département. Première étape concrète pour sortir du Shadow AI et obtenir une vision consolidée.
• Un référent IA : une personne identifiée (pas nécessairement à temps plein) qui porte le sujet, centralise les questions, assure la veille réglementaire et fait le lien entre les métiers et la DSI. Souvent, c’est un profil hybride tech/métier.
• Un comité IA trimestriel léger : DSI + direction marketing + DRH + direction générale. Objectif : arbitrer les nouveaux usages, suivre les risques identifiés, prioriser les investissements.
• Un plan de sensibilisation : sessions courtes (1 à 2h) pour tous les collaborateurs sur les fondamentaux de l’IA, les risques et les bonnes pratiques. Le DRH joue ici un rôle central dans le déploiement et le portage du plan.

L’objectif n’est pas de tout contrôler, mais de poser les bases d’une culture IA responsable. Le dispositif pourra évidemment évoluer à mesure que les usages se structurent.

Exemple #2 : Un groupe retail multi-BU qui industrialise ses usages IA

Le profil : un groupe retail ou e-commerce, plusieurs Business Units, 2 000 à 10 000 salariés. Une direction data ou un CDO existe, avec des data scientists et des data engineers.

L’IA est déjà en production sur plusieurs cas d’usage :

• Segmentation et scoring client.
• Recommandation produit.
• Personnalisation des parcours clients.
• Marketing automation alimentée par des modèles prédictifs.

Le problème, c’est que plusieurs BU ont développé leurs propres solutions, avec des niveaux de maturité hétérogènes. Certaines initiatives ont été lancées par les métiers en dehors des circuits IT. L’ensemble manque cruellement de cohérence.

Les enjeux :

• Passer de l’expérimentation à l’industrialisation en maîtrisant les risques et les coûts à l’échelle du groupe.
• Harmoniser les pratiques entre les BU (éviter la duplication, mutualiser les investissements).
• Assurer la conformité RGPD sur l’ensemble des systèmes d’IA manipulant des données clients.
• Mettre en place un monitoring des modèles en production pour détecter les dérives et maintenir la performance.

Un exemple de gouvernance IA adaptée > La gouvernance prend ici une dimension structurelle, avec un modèle hybride combinant pilotage centralisé et exécution décentralisée :

• Une politique IA groupe formalisée : un document structuré qui couvre les règles d’usage, les processus de validation des cas d’usage, les exigences de documentation, les critères d’évaluation des risques. Validée au niveau direction générale, déclinée par BU avec des marges d’adaptation.
• Un registre centralisé des SIA : une cartographie exhaustive de tous les systèmes d’IA du groupe, développés en interne, intégrés dans les solutions SaaS ou fournis par des tiers. Pour chaque SIA : cas d’usage, données utilisées, niveau de risque AI Act, responsable identifié.
• Un modèle hybride de gouvernance : un comité IA groupe (mensuel) qui fixe les orientations, arbitre les cas complexes et consolide le suivi des risques. Des référents IA dans chaque BU qui assurent l’application de la politique et remontent les usages au registre. Un lien fort avec le DPO sur tous les sujets données personnelles.
• Un processus de validation des nouveaux cas d’usage : avant tout déploiement, chaque projet IA passe par une préqualification rapide (un questionnaire de 10 à 15 questions) qui évalue le niveau de risque et déclenche le circuit de validation adapté (léger pour les usages à risque minimal, renforcé pour les usages impactant directement les clients).
• Un monitoring des modèles en production : indicateurs de performance (taux de conversion, précision des recommandations) et indicateurs techniques (dérive, taux d’erreur, latence). Dashboards partagés avec des alertes automatisées en cas de dépassement des seuils.
• Un programme de formation différencié : sensibilisation de base pour tous les collaborateurs, formation approfondie pour les métiers « augmentés » (marketing, commerce, service client), montée en compétence technique pour les équipes data.

À ce stade de maturité, la gouvernance est un outil de pilotage stratégique. L’enjeu n’est plus de cadrer les premiers usages, mais de rationaliser un parc IA existant, de mutualiser les investissements et de garantir que chaque système déployé reste performant et conforme dans le temps.

Exemple #3 : Une entreprise de services financiers confrontée aux exigences de l’AI Act

Le profil : banque, assurance ou société de crédit, soumise à des réglementations sectorielles fortes. L’IA est utilisée dans des processus de décision impactant directement les clients : scoring crédit, détection de fraude, tarification dynamique, automatisation de certaines décisions d’octroi ou de couverture.

Ces systèmes sont classés « haut risque » au sens de l’AI Act, ce qui déclenche des obligations renforcées. S’y ajoutent des usages plus récents d’IA générative (assistants internes, analyse documentaire, synthèse de dossiers) qui coexistent avec un historique de modèles prédictifs « classiques » parfois en production depuis des années.

Les enjeux :

• Se mettre en conformité AI Act sur les systèmes à haut risque, ce qui implique une documentation technique conforme à l’annexe IV, une supervision humaine formalisée et une gestion des risques structurée.
• Auditer les systèmes existants : certains modèles n’ont jamais fait l’objet d’une évaluation formelle des biais ou d’une documentation conforme.
• Articuler la gouvernance IA avec les cadres de conformité existants (réglementation bancaire/assurantielle, RGPD, NIS2).
• Garantir l’explicabilité des décisions algorithmiques vis-à-vis des clients et des régulateurs.

Un exemple de gouvernance IA adaptée > Le dispositif est plus lourd, mais il s’adosse souvent à des pratiques de gestion des risques déjà en place dans les secteurs réglementés :

• Une cartographie des SIA par niveau de risque AI Act : chaque système est classé (inacceptable, haut risque, risque limité, risque minimal) et le registre est enrichi de la documentation technique requise (données d’entraînement, architecture, conditions d’utilisation, limites connues).
• Une évaluation systématique des risques en 3 temps : (1) préqualification rapide via un questionnaire structuré, (2) évaluation détaillée des risques (biais, sécurité, droits fondamentaux), (3) plan de mitigation et contrôles. Le processus est itéré à chaque étape du cycle de vie du système.
• Un comité IA de confiance renforcé : intégrant la conformité, le juridique, la sécurité, les métiers, la RSE et potentiellement des experts externes (éthiciens, universitaires). Ce comité dispose d’une fonction d’arbitrage sur les cas éthiques et d’une connexion directe avec le COMEX.
• Une supervision humaine formalisée : pour chaque SIA à haut risque, une procédure documentée qui précise qui supervise, comment, à quelle fréquence, et avec quel mandat d’intervention (correction, suspension, désactivation du système).
• Un audit des biais régulier sur les modèles en production : vérification de la non-discrimination sur les variables protégées (genre, âge, origine), avec des métriques formalisées et des seuils d’alerte.
• Une traçabilité complète : logs automatiques des décisions du système, audit trails accessibles pour les contrôles internes et les régulateurs. Documentation maintenue à jour conformément à l’annexe IV de l’AI Act.

Pour les organisations opérant des systèmes d’IA à haut risque, la gouvernance n’est pas une option — c’est une obligation réglementaire avec des sanctions significatives. Mais au-delà de la conformité, c’est aussi un levier de confiance vis-à-vis des clients et des régulateurs.

Par où commencer ? Les premières étapes concrètes

Vous êtes convaincu de la nécessité de structurer votre gouvernance IA. La question qui se pose maintenant est : par où commencer ? Voici les cinq premières étapes que nous recommandons chez Cartelis, quel que soit votre niveau de maturité.

Étape 1 : Évaluez votre situation actuelle

Avant de construire quoi que ce soit, vous devez savoir d’où vous partez.

Trois diagnostics sont à mener :

• Votre gouvernance IA actuelle : existe-t-il des rôles, des instances, des processus, même informels ?
• Vos pratiques projet : comment les équipes gèrent-elles les projets IA aujourd’hui ?
• Le niveau de maîtrise IA de vos collaborateurs.

Sur ce dernier point, un questionnaire interne simple permet de mesurer à la fois le ressenti des personnes (« De 1 à 10, comment évaluez-vous votre compréhension de l’IA ? ») et leurs connaissances réelles (« Parmi ces outils, lesquels contiennent de l’IA ? »).

L’écart entre les deux est souvent révélateur…

Étape 2 : Posez le cadre  (définition, principes & registre)

Commencez par partager une définition claire de ce qu’est l’IA dans votre contexte. Ça paraît basique, mais c’est un prérequis pour que tout le monde parle de la même chose.

Formalisez ensuite vos principes directeurs (ce que vous attendez de l’IA, vos engagements en matière de transparence et de responsabilité).

Lancez enfin le recensement de vos systèmes d’IA, en interrogeant l’ensemble des départements (pas seulement la DSI).

Ce registre est votre point d’entrée pour tout le reste.

Étape 3 : Structurez la gouvernance (rôles et instances)

Identifiez les rôles clés (référent IA, comité), clarifiez les mandats, obtenez le sponsorship de la direction.

Adaptez le dispositif à votre taille. A ce titre, les trois exemples présentés plus haut peuvent vous servir de repère.

Étape 4 : Sensibilisez et formez vos équipes

C’est une obligation AI Act (article 4), mais c’est surtout un facteur clé de succès.

Priorisez deux axes :

• La compréhension de ce qu’est l’IA et de ce qu’elle n’est pas.
• La sensibilisation aux risques.

Adaptez évidemment le niveau de formation au degré d’exposition des métiers : un data scientist n’a pas les mêmes besoins qu’un responsable marketing.

Étape 5 : Intégrez la gouvernance dans vos projets IA

Faites de l’évaluation des risques un réflexe dès l’idéation de chaque nouveau projet. Intégrez les critères de confiance dans vos processus de validation. L’objectif est que la gouvernance devienne un réflexe, pas une couche administrative supplémentaire.

CRM / Data - Plus de 15 ressources & templates gratuits à télécharger.

Découvrir