Si la machine participe à la prise de décision, qui en assume la responsabilité ?

Ethics and Compliance Switzerland vous invite à sa conférence qui se tiendra à Zurich les 21 et 22 octobre 2026. Après les risques liés aux tiers en 2022 et les […]


Selon Patrick Wellens, un conseil d'administration doit être prêt à fixer les limites de ce que l'IA est autorisée à décider en notre nom et de ce qu'elle ne l'est pas.

Selon Patrick Wellens, un conseil d'administration doit être prêt à fixer les limites de ce que l'IA est autorisée à décider en notre nom et de ce qu'elle ne l'est pas.

Selon Patrick Wellens, un conseil d'administration doit être prêt à fixer les limites de ce que l'IA est autorisée à décider en notre nom et de ce qu'elle ne l'est pas.

Ethics and Compliance Switzerland vous invite à sa conférence qui se tiendra à Zurich les 21 et 22 octobre 2026. Après les risques liés aux tiers en 2022 et les tendances futures en 2024, le thème abordé cette fois-ci portera sur l’éthique et l’intelligence artificielle. Patrick Wellens, président d’ECS, explique pourquoi la conformité ne peut pas être déléguée à des algorithmes.

Depuis 2014, Ethics and Compliance Switzerland (ECS) met en place une communauté intersectorielle dédiée à la conformité en Suisse. Cette association à but non lucratif, dont le siège se trouve à Bâle, privilégie les groupes de travail, les tables rondes et les échanges entre professionnels plutôt que les brochures sur papier glacé. Ses membres proviennent de l’industrie, du monde universitaire, du secteur du conseil et des cabinets d’avocats, ainsi que, dans une moindre mesure, du secteur des services financiers. Son événement phare est la conférence biennale organisée à Zurich, qui se tient à l’hôtel Sheraton Zurich.

Patrick Wellens apporte plus de 30 ans d’expérience dans les domaines de la gouvernance, des risques et de la conformité, notamment dans les secteurs pharmaceutique, des biens de consommation et de l’industrie. Il a occupé les fonctions de responsable de la conformité national, de délégué à la protection des données et de responsable mondial de la conformité divisionnaire au sein d’une entreprise pharmaceutique à Bâle. Il a également occupé le poste de responsable senior au sein du département d’expertise judiciaire de l’un des « Big Four » et a apporté son soutien à des membres de conseils d’administration, ainsi qu’à des directeurs juridiques et responsables de la conformité, dans le cadre de prestations liées à la conformité, à la prévention, à la détection et aux enquêtes en matière de fraude. Il est membre du comité de rédaction de la Society for Corporate Compliance and Ethics ainsi que du comité de rédaction du magazine « Risk & Compliance », membre du conseil d’administration de l’Association of Corporate Investigators, conférencier invité dans de nombreuses universités et président du conseil d’administration d’Ethics & Compliance Switzerland.

Pourquoi ce sujet intéresse-t-il également le secteur des assurances ?

Bien que la plupart des membres soient issus du secteur industriel, les questions relatives à l’équité, à la transparence et à la responsabilité des assureurs passent désormais de la salle de séminaire à la pratique quotidienne. C’est précisément là qu’intervient cette conférence.

Monsieur Wellens, après les risques liés aux tiers en 2022 et les tendances pour 2024, l’accent est désormais mis sur l’éthique et l’IA. Pourquoi précisément maintenant ?

L’IA est omniprésente et transforme en profondeur des secteurs entiers – et le domaine de la conformité ne fait pas exception à la règle. Mais les opportunités offertes par l’IA s’accompagnent de défis éthiques et de gouvernance profonds : comment garantir la responsabilité, la transparence, l’équité, la protection des données et une prise de décision responsable alors que des décisions de plus en plus importantes sont soutenues, voire prises, par des algorithmes ?

Les pouvoirs publics et les autorités de régulation imposent aux entreprises un nombre sans cesse croissant de réglementations. Pour se conformer à ces nouvelles réglementations, il est nécessaire de renforcer les ressources allouées à la conformité. Dans le même temps, de nombreux membres de conseils d’administration et dirigeants estiment que l’augmentation constante des coûts liés à la conformité ne constitue pas la solution. Leur réponse consiste à mettre l’accent sur l’intégrité, l’éthique et la responsabilité individuelle, plutôt que de miser sur un renforcement supplémentaire des ressources dédiées à la conformité. Quant à savoir si cette approche est efficace pour garantir le respect des réglementations, c’est une autre question.

En quoi la vision des participants devrait-elle être différente le soir du deuxième jour par rapport au matin du premier ?

À l’issue de la conférence, les participants devraient mieux comprendre comment la fonction de conformité reste efficace malgré les bouleversements géopolitiques et technologiques (IA), comment l’IA peut être mieux mise à profit pour soutenir cette fonction, et quels sont les facteurs et éléments à prendre en compte dans la gouvernance de l’IA – mais aussi comment les entreprises peuvent créer un environnement dans lequel l’intégrité est un choix libre et non une imposition extérieure.

Quelle table ronde ou quelle intervention ne faut-il surtout pas manquer, et pourquoi ?

Les entreprises présentent des niveaux de maturité variés en matière de conformité, disposent de ressources différentes et ont des degrés d’intégration de l’IA qui varient : c’est pourquoi je ne souhaite pas privilégier une intervention ou une table ronde en particulier. Bon nombre de ces interventions ou tables rondes sont d’une grande pertinence.

De nombreuses entreprises utilisent l’IA avant même d’avoir établi des règles en la matière. La conformité est-elle dans ce cas un frein ou un airbag ?

Lorsque les entreprises mettent en place l’IA sans règles, c’est comme si elles conduisaient une voiture sans ceintures de sécurité ni freins sur une autoroute embrumée. Cela donne l’impression d’aller vite au premier abord, mais conduit à un accident total dès le premier obstacle imprévu (par exemple, des violations de la protection des données, des poursuites pour violation du droit d’auteur ou des atteintes à la réputation). La conformité fait office d’airbag, car elle amortit les risques et garantit la sécurité juridique, la protection de la réputation et la protection de la propriété intellectuelle.

Les réglementations relatives à l’IA (telles que la loi européenne sur l’IA) ne constituent pas une mesure vexatoire, mais une réalité juridique. La conformité protège contre les amendes susceptibles de menacer la survie de l’entreprise. Lorsqu’une IA prend des décisions racistes ou erronées, une bonne structure de gouvernance amortit les dégâts avant qu’ils ne détruisent la marque. La conformité est l’airbag qui préserve l’entreprise de la ruine en cas d’erreurs. La conformité ne freine pas l’innovation, mais le risque.

Lorsqu’un algorithme rejette une déclaration de sinistre ou classe un client dans une catégorie erronée : qui en assume la responsabilité éthique et juridique ?

En cas de décisions erronées prises par un algorithme – telles que le rejet injustifié d’une déclaration de sinistre ou une classification erronée d’un client –, la responsabilité éthique et juridique incombe à l’entreprise qui utilise l’IA, et non à l’algorithme lui-même.

Le droit s’adresse toujours à une personne physique ou morale. Un algorithme n’est pas une personne morale et ne peut donc pas être poursuivi en justice. L’entreprise qui l’utilise est responsable vis-à-vis du client. Les dirigeants ont un devoir de diligence et de surveillance. S’ils mettent des systèmes d’IA à la disposition des clients sans contrôle de qualité suffisant ni surveillance humaine (« Human-in-the-Loop »), ils peuvent, dans certaines circonstances, faire preuve de négligence organisationnelle.

Si l’algorithme discrimine systématiquement certains groupes de clients (par exemple en fonction de leur lieu de résidence, de leur âge ou de leur sexe), l’entreprise a le devoir éthique de corriger les données d’apprentissage. Les entreprises ont l’obligation, tant sur le plan éthique que, de plus en plus, sur le plan juridique, d’expliquer pourquoi une IA a pris une telle décision. Un « système de type boîte noire » opaque, dans lequel personne ne comprend plus comment un refus a été prononcé, n’est pas acceptable sur le plan éthique.

L’IA peut mettre au jour la corruption et les risques de collusion, mais elle peut également les dissimuler. Où voyez-vous les plus grandes opportunités, et où se situent les angles morts ?

En matière de détection des irrégularités, l’IA offre des avantages inestimables grâce à l’analyse en temps réel de volumes colossaux de données. Par exemple, dans le cadre de la détection des ententes sur les appels d’offres (ententes dans le cadre de projets de construction publics ou de marchés publics), l’IA passe au crible les données historiques et détecte immédiatement lorsque les offres d’entreprises censées être concurrentes présentent des similitudes suspectes dans leur calcul ou se relaient systématiquement pour remporter les marchés. Analyse forensic des données : les systèmes d’IA analysent des millions d’e-mails, de historiques de discussion et de notes de frais au sein de l’entreprise. Ils ne se contentent plus de rechercher des mots-clés figés tels que «pot-de-vin», mais comprennent le contexte. Ils donnent l’alerte lorsque le ton, les schémas de communication ou les flux de paiement s’écartent de la norme.

Le point aveugle le plus dangereux survient lorsque deux e-commerçants concurrents utilisent des algorithmes de tarification sophistiqués et auto-apprenants. Bien que les responsables ne communiquent pas entre eux, les algorithmes « apprennent » de manière autonome, grâce à leur interaction constante, qu’il est plus rentable pour les deux parties de maintenir des prix élevés plutôt que de se livrer à une guerre des prix. Lorsque de nombreux concurrents d’un même secteur utilisent le même logiciel de tarification ou d’optimisation basé sur l’IA, ils alimentent le même algorithme avec des données, souvent confidentielles. Le logiciel agit alors comme un nœud central ( hub) qui détermine les prix pour tous les acteurs ( spokes) s’aligne discrètement sur le marché, sans que les concurrents aient eu besoin de communiquer directement entre eux. Il est également dangereux que les décisions se cachent derrière la complexité d’un algorithme (boîte noire). Lorsque le service de conformité demande pourquoi la commande X a été attribuée à l’entreprise Y, la réponse est : « C’est ce que le système (IA) a calculé. »

La loi européenne sur l’IA est entrée en vigueur ; la Suisse mise quant à elle sur une approche sectorielle. Comment les entreprises suisses ayant des activités dans l’Union européenne doivent-elles s’y adapter ?

Je ne recommanderais pas aux entreprises suisses exerçant des activités au sein de l’UE d’attendre la mise en place d’une réglementation suisse spécifique en matière d’IA (prévue pour 2027). La réponse pragmatique est la suivante : considérer la loi européenne sur l’IA (EU AI Act) comme la norme de conformité applicable, même si l’entreprise est implantée en Suisse. La raison en est la portée extraterritoriale de cette loi : la loi européenne sur l’IA s’applique notamment aux prestataires situés en dehors de l’UE lorsqu’ils mettent à disposition des systèmes d’IA sur le marché européen, ainsi qu’aux prestataires ou opérateurs situés en dehors de l’UE lorsque les résultats de leur système d’IA sont utilisés dans l’UE. C’est pourquoi je conseillerais aux entreprises suisses de procéder à une « évaluation de leur exposition à l’UE ».

Où utilisons-nous ou fournissons-nous l’IA ? Quels systèmes d’IA sont utilisés par nos collaborateurs suisses ? Lesquels sont proposés à nos clients dans l’UE ? Et où les résultats générés par l’IA sont-ils utilisés dans l’UE ? À quelle catégorie de risque appartenons-nous ?

Il convient d’examiner attentivement les pratiques interdites en matière d’IA, les applications d’IA à haut risque, les obligations de transparence, les obligations en matière de documentation, de gouvernance et de contrôle, etc. Quels systèmes de conformité existants (protection des données, sécurité informatique, gestion des risques) pouvons-nous utiliser ? Une entreprise suisse n’a pas nécessairement besoin d’un « programme de conformité en matière d’IA » totalement distinct.

Vous décrivez une approche résiliente du programme de conformité comme étant prospective, fondée sur les données et intégrée au quotidien. Comment y parvenir sans que la conformité ne devienne une machine bureaucratique ?

Le véritable art d’un bon programme de conformité : il doit réduire la complexité, et non en créer davantage.

Le risque plutôt que la multitude de règles : ne pas créer un nouveau processus pour chaque risque théorique. Commencez par identifier les risques réellement pertinents, puis concentrez vos ressources sur ceux-ci.

Intégration dans les processus existants : la conformité doit, dans la mesure du possible, s’appliquer là où les décisions sont de toute façon prises – par exemple dans le domaine des achats, des voyages d’affaires, de la gestion des tiers ou lors du lancement de produits. Le collaborateur ne devrait pas avoir à lancer une « procédure de conformité » distincte pour chaque décision.

Utiliser les données à des fins de prévention : les taux de formation ou le nombre de contrôles effectués ne renseignent que très peu sur la conformité réelle. Il est par exemple plus intéressant de s’intéresser aux thèmes récurrents soulevés dans le cadre des signalements, aux tendances observées lors des enquêtes, aux constatations d’audit, aux exceptions ou aux transactions inhabituelles. Le service de conformité peut ainsi identifier les risques naissants avant qu’ils ne se transforment en incidents.

Remettre régulièrement en question les contrôles : chaque mesure de conformité devrait en réalité pouvoir résister à la question suivante : quel risque traite-t-elle – et que se passerait-il si nous la supprimions ? Si aucune réponse convaincante n’est apportée, il convient de la simplifier ou de la supprimer.

Quel rôle joue la culture du « speak-up » lorsque les mauvaises décisions seront à l’avenir inscrites dans le code plutôt que dans les esprits ?

Lorsque les mauvaises décisions ne résultent plus d’une erreur humaine, mais d’une logique défaillante ou de données faussées dans le code, le rôle de la culture du « speak-up » s’en trouve fondamentalement modifié.

Elle passe d’une instance de contrôle éthique à une assurance-vie technologique d’alerte précoce pour l’entreprise. À l’ère de l’IA, la culture du « speak-up » doit adopter une dynamique entièrement nouvelle, car la manière dont les erreurs surviennent et sont dissimulées change radicalement :

Une culture forte de la prise de parole encourage les collaborateurs à remettre explicitement en question les résultats d’un algorithme. Si l’IA rejette une déclaration de sinistre ou si un professionnel a le sentiment que le système désavantage systématiquement certains groupes de clients, il doit surmonter sa crainte d’être considéré comme « hostile à la technologie » ou « incompétent ». Aujourd’hui, « speak-up » signifie : exprimer haut et fort la contradiction entre l’intuition humaine et les résultats générés par la machine.

Les erreurs mentales se produisent souvent de manière ponctuelle et bruyante. Les erreurs dans le code apparaissent discrètement et insidieusement : un algorithme perd peu à peu de sa précision ou devient plus discriminatoire au fil des mois, sans que l’on s’en aperçoive, car le monde réel évolue tandis que les données d’apprentissage sont obsolètes. Les collaborateurs en première ligne (par exemple au service client) sont les premiers à remarquer ces subtiles anomalies, bien avant que le service informatique ne les détecte dans les tableaux de bord. Une culture de la parole libre bien établie garantit que ces observations subtiles soient immédiatement signalées aux responsables techniques et de la conformité, sans obstacle bureaucratique.

Les programmeurs et les data scientists subissent une pression énorme pour mettre rapidement les projets en production. Lorsqu’ils se rendent compte qu’un modèle d’IA est mathématiquement instable ou présente des lacunes sur le plan éthique, il faut du courage pour tirer la sonnette d’alarme à la veille de la mise en production. La culture de la prise de parole doit être ancrée au sein de l’équipe informatique comme une sécurité psychologique absolue. Les développeurs ne doivent pas craindre de représailles ou de retards dans le projet lorsqu’ils signalent des risques dans le code.

Jusqu’à présent, les signalements concernaient le plus souvent un dirigeant versant des pots-de-vin ou une réunion d’entente illicite dans un hôtel. À l’avenir, ils porteront sur le fait de fermer délibérément les yeux sur la qualité des données (par exemple, lorsque la direction valide des données de mauvaise qualité ou biaisées afin de réduire les coûts). Les canaux de signalement et les systèmes de dénonciation doivent faire l’objet d’une compréhension et d’une formation techniques suffisantes pour pouvoir également être utilisés pour signaler des manipulations de données et des violations de la réglementation (par exemple, le non-respect délibéré de la loi européenne sur l’IA).

Le rôle du responsable de la conformité évolue. De quelles compétences aura-t-il besoin dans cinq ans qu’il ne possède pas encore aujourd’hui ?

Le CCO de demain aura moins besoin de connaissances réglementaires supplémentaires qu’aujourd’hui, mais devra posséder nettement plus de compréhension des technologies, de compétences en matière de données, de sens des affaires, de réflexion stratégique et de sens de l’éthique. Certaines compétences prendront ainsi une importance considérable :

Compétences en matière de données et de technologies : un CCO n’a pas besoin de savoir programmer. Mais il doit comprendre comment l’IA, l’analyse des données et l’automatisation identifient les risques, influencent les décisions et transforment les processus de conformité. Ceux qui ne savent pas interpréter les données dépendront de plus en plus des autres.

Gouvernance de l’IA et réflexion algorithmique : le CCO doit être en mesure d’évaluer dans quelle mesure un système d’IA peut constituer un risque en matière de conformité ou d’éthique, par exemple en raison de biais, d’un manque de transparence, de problèmes liés à la protection des données, de manipulation ou de décisions autonomes – et de déterminer comment traduire ces risques en termes de gouvernance et de processus.

Approche systémique: les risques liés à la conformité se présenteront de moins en moins de manière isolée. La cybersécurité, la protection des données, les chaînes d’approvisionnement, les droits de l’homme, l’IA, la corruption et la réputation peuvent être étroitement liés. Le CCO doit comprendre ces interactions, plutôt que de se contenter de gérer des domaines juridiques pris isolément.

Compétences en matière d’activité et de transformation : le service de conformité doit comprendre comment l’entreprise génère des revenus, comment les décisions sont réellement prises et où s’opèrent les processus de changement. Ce n’est qu’ainsi que le service de conformité pourra s’intégrer aux processus métier, au lieu de rester en marge.

La capacité à gérer l’incertitude : l’évolution réglementaire ne suivra pas partout une trajectoire linéaire. Le CCO doit élaborer des scénarios et permettre la prise de décisions même lorsque toutes les questions n’ont pas encore été définitivement tranchées sur le plan juridique.

Capacité de jugement éthique. Le CCO de demain doit donc non seulement savoir ce qui est autorisé, mais aussi aider la direction à déterminer ce qui est responsable.

Que peuvent apprendre les différents secteurs de la conformité pharmaceutique, l’un des secteurs les plus réglementés qui soient ?

L’industrie pharmaceutique évolue depuis des décennies dans un environnement réglementaire très contraignant. D’autres secteurs peuvent tirer deux enseignements fondamentaux de la conformité pharmaceutique.

La « validation » plutôt que la confiance aveugle. Avant qu’un logiciel ne soit mis en production, il doit être « validé ». Cela signifie qu’il est démontré de manière scientifique et sans faille que le système fonctionne exactement comme prévu dans toutes les situations.

Une culture de la documentation sans compromis (« Si cela n’a pas été documenté, cela ne s’est pas produit »). Dans le domaine de la conformité pharmaceutique, il n’y a ni accords verbaux ni validations informelles. Toute modification apportée à un processus, tout écart par rapport à une norme (gestion des écarts) et toute mesure corrective (CAPA – Corrective and Preventive Action) doivent être documentés avec précision, justifiés et signés par les responsables. La leçon à retenir pour les autres secteurs : en cas de questions de responsabilité (par exemple, à la suite d’une erreur de décision d’un algorithme ou d’une fuite de données), un historique de documentation rigoureux sauve l’entreprise de la ruine. Il prouve aux autorités de régulation et aux tribunaux que la direction n’a pas manqué à son devoir de diligence.

Que conseillez-vous aux PME qui ne disposent ni d’un service dédié à la conformité ni d’un budget consacré à la gouvernance de l’IA ?

Ne pas disposer des moyens financiers nécessaires pour créer son propre service de conformité constitue une contrainte légitime. En revanche, ne pas disposer des moyens financiers nécessaires pour assurer la conformité en soi ne l’est pas. Les petites entreprises n’ont pas besoin d’un engagement moindre en matière de conformité, mais d’une structure de conformité plus simple. Elles doivent connaître les règles qui s’appliquent à elles et disposer d’une méthode fiable pour gérer leurs risques majeurs. La conformité doit être axée sur le risque, et non sur la taille de l’entreprise.

Le principe déterminant devrait être l’adéquation au risque, et non l’adéquation aux ressources. L’absence d’un service chargé de la conformité ne supprime pas pour autant les obligations juridiques ou éthiques sous-jacentes. Je décomposerais ce message en cinq étapes :

Premièrement : comprendre les risques – Réaliser une évaluation pragmatique des risques liés à la conformité, axée sur les lois et les risques qui concernent réellement l’entreprise.

Deuxièmement : attribuer les responsabilités – Quelqu’un doit assumer explicitement la responsabilité de la conformité, même en l’absence d’un responsable de la conformité ou d’un service dédié.

Troisièmement : mettre en place des contrôles fondamentaux – un nombre raisonnable de directives, de procédures, de processus d’autorisation, de canaux de signalement et de mécanismes d’escalade clairs, axés sur les risques les plus importants.

Quatrièmement : sensibiliser le personnel – former les collaborateurs aux règles applicables à leur activité et, ce qui est particulièrement important, leur expliquer pourquoi ces règles sont essentielles.

Cinquièmement : réévaluer et adapter – Un programme de conformité ne doit pas nécessairement être extrêmement complexe, mais il doit évoluer à mesure que l’entreprise, ses marchés, son personnel, ses clients ou les risques changent.

Une PME n’a pas nécessairement besoin d’un service dédié à la gouvernance de l’IA simplement parce qu’elle utilise cette technologie. Elle doit toutefois savoir quelle IA elle utilise, quels risques y sont associés, qui en assume la responsabilité et quelles mesures de contrôle sont nécessaires.

L’ECS se nourrit des échanges entre professionnels. Pourquoi l’adhésion est-elle également intéressante pour les assureurs et les courtiers ?

Moyennant une cotisation annuelle de 200 francs suisses, l’ECS propose chaque année plus de 30 événements dans le cadre de dix groupes de travail différents (portant notamment sur les thèmes suivants : lutte contre la corruption, droit de la concurrence, IA et conformité, gestion des risques liés aux tiers). Outre le réseautage professionnel, cela offre également la possibilité d’échanger avec des collègues spécialisés sur la manière dont ceux-ci abordent certaines questions de conformité. De plus, l’adhésion donne droit à des réductions sur les formations continues proposées par les universités. Pour les assureurs et les courtiers, l’adhésion à Ethics and Compliance Switzerland est particulièrement intéressante, précisément parce qu’elle permet de voir au-delà des limites de leur propre secteur, fortement réglementé.

Si vous ne deviez poser qu’une seule question à un membre du conseil d’administration concernant son utilisation de l’IA, quelle serait-elle ?

Où sommes-nous prêts à fixer la limite de ce que l’IA est autorisée à décider en notre nom – et de ce qu’elle ne l’est pas ? Cette question oblige le conseil d’administration à se pencher simultanément sur plusieurs questions fondamentales :

Responsabilité : qui assume la responsabilité finale lorsqu’une décision prise à l’aide de l’IA cause un préjudice ? Éthique : existe-t-il des décisions qui ne devraient jamais être déléguées à une IA ? Supervision humaine : dans quels domaines faut-il préserver un jugement humain éclairé ? Confiance : serions-nous prêts à expliquer le rôle de l’IA à nos collaborateurs, à nos clients, aux autorités de contrôle et au grand public ? Gouvernance : nos mécanismes de contrôle suivent-ils le rythme du déploiement de l’IA ?

Quelle décision une machine ne devrait-elle jamais prendre ?

La loi européenne sur l’IA définit toute une liste d’utilisations pour lesquelles l’IA ne doit pas être employée.

Ces questions ont été posées par Binci Heeb.

À lire également : Le point aveugle des opérations de rachat : comment l’absence de GRC complique la vie


Tags: #AI #Airbag #Algorithme #Association à but non lucratif #Corruption #Corruption #Culture de la prise de parole #Directeur des opérations (COO) #Donnez votre avis #Frein #Loi sur l'AI de l'UE #Machine #Resilience #Responsabilité #Risques en matière de droit de la concurrence #Secteur des assurances