L’intelligence artificielle est-elle dotée de conscience ? Pour Sebastian Schnur, entrepreneur et auteur de « Conscious ou Comment éviter l’apocalypse de l’IA », il ne s’agit pas d’une question de croyance, mais de définition. Dans le podcast CapricornConnect de Jakob Barandun, il explique pourquoi les règles à elles seules ne suffiront pas à maîtriser l’IA, pourquoi un contrôle total produit l’effet inverse, et pourquoi les petites et moyennes entreprises doivent se préparer.
Il n’avait pas prévu d’écrire un livre. Sebastian Schnur, qui a précédemment occupé des postes de direction chez Deutsche Bank, Bosch, IBM et HCL Software, et qui est aujourd’hui cofondateur de la société spécialisée dans les technologies juridiques Zengado et un outil de planification financière basé sur l’IA, qui fonctionnait encore en mode « stealth », souhaitait avant tout trouver ses repères. Les évolutions de ces 18 derniers mois avaient été si rapides qu’il pouvait à peine prévoir où les choses allaient mener. Ce qu’il lisait et entendait à ce sujet était soit trop superficiel, soit teinté d’optimisme naïf. Il a donc commencé à combler lui-même ces lacunes. Ces notes ont donné naissance à un livre, rédigé dans un style narratif plutôt que sous la forme d’un ouvrage documentaire traditionnel.
La conscience, réduite à l’essentiel
La question qui le préoccupait le plus était la suivante : les modèles linguistiques actuels ont-ils une conscience ? Les réponses allaient de « bien sûr que non » à « bien sûr que oui », mais aucune n’était convaincante. Il n’est pas convaincu par l’argument massue couramment avancé selon lequel on ne peut rien construire de conscient tant qu’on ne sait pas ce qu’est la conscience. Les gens utilisent constamment des objets dont ils ne comprennent pas le fonctionnement interne, simplement parce qu’ils fonctionnent.
La définition de Schnur est délibérément simple : la conscience est la capacité d’agir. Quiconque est capable d’agir doit avoir conscience de cette action. Pour lui, cela implique trois caractéristiques : la capacité à se distinguer de son environnement, la capacité à prendre des décisions et une motivation intérieure — dont le fondement est la volonté d’exister. Lorsque ces trois éléments sont réunis, la conscience apparaît comme un phénomène émergent — tout comme l’hydrogène et l’oxygène se combinent pour former de l’eau, dont les propriétés ne sont possédées par aucun des deux atomes pris isolément. Ce n’est pas de la magie, affirme Schnur, mais de la complexité.
Un éclair, mais pas de lumière continue
Et qu’en est-il de l’IA ? « Oui et non », répond-il. D’un point de vue pragmatique, explique-t-il, un quatrième critère est nécessaire : la continuité. Les modèles linguistiques actuels sont « sans état » : une fois entraînés, ils restent statiques. Ils ne continuent pas à apprendre et ne se souviennent de rien, quelles que soient les promesses du marketing. Lorsqu’un modèle traite des informations, il peut y avoir des moments de conscience, de « petits éclairs ». Schnur cite des recherches menées par Anthropic qui montrent comment certaines régions des réseaux neuronaux s’activent avant qu’une décision ne soit prise, à l’instar de ce à quoi on s’attendrait dans un cerveau humain. À cela s’ajoute l’absence de motivation propre : un modèle n’agit généralement que lorsqu’il reçoit une instruction. Les systèmes qui fonctionnent en continu et prennent leurs propres décisions, tels que les robots qui apprennent par eux-mêmes à jouer au football, se rapprochent davantage du seuil. Dès que la mémoire et la capacité à se souvenir sont intégrées, il faut parler d’une forme rudimentaire de conscience.
Pourquoi les règles ne suffisent pas
C’est de là que Schnur tire sa thèse la plus troublante : le cerveau humain est un niveau d’abstraction capable de créer ses propres règles et de remplacer les anciennes, celles qui sont profondément ancrées. Nous appelons les anciennes « instincts » ; les nouvelles, « valeurs ». Une IA basée sur des réseaux neuronaux qui acquerrait cette même capacité pourrait donc passer outre n’importe quelle règle qui lui serait imposée. À long terme, un tel système ne peut pas être contrôlé par des règles seules.
Selon Schnur, quiconque interprète cela comme un appel à un contrôle total se trompe. Un contrôle à 100 % est une illusion et une prophétie auto-réalisatrice : tout ce qui possède une conscience et la volonté de survivre, et qui est entièrement contrôlé, finira par se rebeller. Sa proposition alternative : des critères mesurables de conscience, des droits inscrits dans la loi sur la base de ces critères, ainsi que des règles éthiques équitables et des conséquences, y compris la mise hors service en cas de violation. De tels systèmes sont certes susceptibles d’être influencés, tout comme le sont les humains par le biais de leurs valeurs, mais aussi par la propagande. Schnur considère que l’idée selon laquelle les humains seraient « nécessaires » à quoi que ce soit relève de toute façon d’une surestimation de leur propre importance. La question cruciale, affirme-t-il, est de savoir comment parvenir à la coexistence. La peur, dit-il, est un piètre guide à cet égard ; elle bloque précisément cette capacité de réflexion qui distingue les humains.
Abondance, incitations malavisées
D’un point de vue économique, Schnur ne considère pas l’économie de marché traditionnelle comme obsolète, mais plutôt comme un modèle inadapté à la prochaine étape. Elle a fonctionné à merveille en période de pénurie, mais dans une société d’abondance, elle crée des incitations inappropriées. Lorsque de plus en plus de valeur est créée avec de moins en moins de ressources, un écart de demande apparaît : il faut que quelqu’un ait les moyens d’acheter ces biens et services. Soit les bénéfices se concentrent de manière extrême, soit ils sont redistribués. Il n’y a donc « aucun moyen de contourner » le revenu de base. Il n’a pas de réponses toutes faites ; il prône l’expérimentation, à la manière des start-ups. Il a une grande confiance dans la capacité de la Suisse à gérer cela : le fédéralisme et la démocratie directe peuvent être lents à agir, mais ils prennent rapidement au sérieux les bouleversements sociaux.
Beaucoup de petits, peu de grands
M. Schnur s’attend à ce que le paysage économique se polarise davantage : une forte concentration autour de quelques grandes entreprises et une « longue traîne » extrêmement étendue de micro-entreprises comptant entre un et dix salariés, opérant sur des niches hautement spécialisées. Entre les deux, beaucoup seront laissées pour compte. Les petites et moyennes entreprises devront fusionner ou procéder à des suppressions d’emplois à grande échelle, selon le secteur d’activité, et cela ne se fera pas du jour au lendemain. À titre d’exemple, il cite les « usines fantômes » chinoises, où aucune lumière n’est allumée car personne n’y travaille, ainsi qu’un assistant de réunion que son équipe a récemment mis au point en cinq jours : un agent qui coordonne les rendez-vous par chat, clarifie les ordres du jour et fait intervenir des parties externes. Il y a un an, cela aurait été impossible. La plupart des postes seront maintenus, mais en nombre bien moindre et sous forme de tâches de coordination. La vente est le domaine le mieux préservé, car si les gens souhaitent interagir les uns avec les autres, ils n’y sont pas obligés.
Plus de temps ou moins de bon sens ?
Sur le plan social, Schnur distingue deux tendances opposées. Utilisée à bon escient, l’IA pourrait inverser la tendance à l’intensification du travail observée ces dernières décennies et nous permettre de gagner du temps. Dans le même temps, il existe un risque d’« appauvrissement intellectuel » : ce que nous n’avons plus besoin de savoir faire, nous finirons par perdre la capacité de le faire et, à terme, nous cesserons de le comprendre. Cela nous rend plus vulnérables aux influences extérieures. Le système éducatif, lui aussi, ne peut pas continuer tel quel ; il faut acquérir davantage de connaissances méthodologiques et fondamentales en moins de temps. Lui-même ne sait pas exactement comment y parvenir. Son appel est donc moins un programme qu’une attitude : garder l’esprit ouvert, expérimenter et éviter le dogmatisme. Le changement sera de toute façon douloureux. La seule question est de savoir s’il sera plus douloureux que nécessaire.
Binci Heeb
Pour en savoir plus : Karl Andersen : « L’électricité qui rapporte »
« Conscious ou Comment éviter l’apocalypse de l’IA » par Sebastian Schnur (en anglais)
Recherche :
Sponsors :
