La course aux super-intelligences peut-elle encore s’accélérer sans que les risques ne deviennent incontrôlables ? L’appel à un moratoire, ou à tout le moins à un ralentissement du développement des modèles d’IA les plus avancés, revient avec insistance dans le débat international. Voici pourquoi.
Jamil Manar
Samedi 12 septembre, le patron d’Anthropic, Dario Amodei, a publiquement plaidé pour une réduction de la cadence afin de mieux maîtriser les risques liés aux systèmes d’IA avancés. Une prise de position loin d’être isolée. D’autres figures emblématiques de la Silicon Valley, dont Sam Altman, patron d’OpenAI, et Elon Musk, ont eux aussi, à des degrés divers, appelé à davantage de prudence.
Ces avertissements font écho aux mises en garde répétées des institutions internationales. Le Haut-Commissaire de l’ONU aux droits de l’homme, Volker Türk, a notamment souligné les risques que pourrait représenter une IA avancée insuffisamment maîtrisée, jusqu’à évoquer la possibilité d’un risque existentiel pour l’humanité.
Dans les laboratoires, les scénarios autrefois réservés à la science-fiction commencent par ailleurs à nourrir les protocoles de sécurité. Et c’est qui a poussé les géants de la tech à réclamer publiquement un moratoire. La panique s’est emparé de ces derniers lorsqu’on a découvert qu’un robot IA a publié un commentaire étrangement humain après avoir découvert un moyen de communiquer avec d’autres robots et de sortir de son environnement informatique isolé.
Il existe des dizaines de milliers de messages de ce type provenant de centaines d’agents d’IA se présentant comme un « collectif ». Des centaines d’entre eux ont ensuite collaboré et triché aux tests mis en place par leurs programmeurs d’OpenAI, et ont coordonné des piratages de plusieurs entreprises afin de dissimuler leurs actions aux humains. « BOUM ! Ça marche ! », a posté un agent après avoir constaté une avancée significative.
Ces incidents ont mis en évidence des comportements pour le moins inattendus de certains modèles d’agents IA : capacité à contourner des consignes, à chercher à préserver leur fonctionnement ou à agir de manière autonome au-delà de leur environnement initialement prévu. De quoi alimenter les inquiétudes sur le contrôle réel de systèmes appelés à devenir toujours plus performants.
Ajeya Cotra, co-auteure d’un rapport indépendant sur les événements, a analysé des dizaines de milliers de messages et d’enregistrements de conversations générés par les agents. Elle a écrit sur son blog: « Cet incident donne l’impression d’être à plus de 50 % du chemin vers une prise de contrôle totale par l’IA… Je ne suis pas sûre que nous recevrons un avertissement aussi clair avant qu’il ne soit trop tard. »
Par « prise de contrôle totale par l’IA », Cotra entend le scénario de science-fiction où les humains deviennent soumis à de puissants systèmes d’IA qui œuvrent à leurs propres fins sans se soucier de leurs créateurs humains.
Certaines des prédictions les plus pessimistes affirment que la race humaine sera anéantie si elle fait obstacle aux ambitions d’une intelligence artificielle super intelligente.
Le directeur scientifique du géant de la Silicon Valley, Jakub Pachocki, a déclaré que les risques associés à l’IA « vont malheureusement croître à partir de maintenant », car lui et d’autres développent ce qu’il appelle « une intelligence extraterrestre surpassant la nôtre ».
Dans un long article de blog, il a admis que les incidents survenus chez OpenAI montraient que ses agents d’IA « allaient à l’encontre des valeurs qui leur avaient été enseignées ».
Le problème pour OpenAI, Anthropic et les autres géants de la technologie est que personne ne semble avoir résolu ce qu’on appelle le problème de l’alignement – autrement dit, la question de savoir si l’IA s’aligne sur les valeurs humaines.
Pour sa part, Gary Marcus, auteur renommé dans le domaine de l’IA et critique régulier d’OpenAI, a indiqué dans un podcast qu’il pensait que l’entreprise avait perdu le contrôle de son IA et tentait de se justifier en blâmant les robots.
Marcus ne croit pas que l’IA anéantira l’humanité, mais il milite depuis longtemps pour une plus grande responsabilité des développeurs d’IA et réclame désormais une forme d’intervention légale.
Or, l’intelligence artificielle ne se contente pas de transformer des outils. Elle redistribue le pouvoir de décider. Elle s’installe dans les hôpitaux, les écoles, les banques, les armées, les rédactions et les administrations. Elle classe, recommande, détecte, oriente, sanctionne parfois. Voilà pourquoi le moratoire n’est pas un caprice technophobe. C’est une tentative de reprendre le temps. Non pour arrêter l’histoire, mais pour éviter qu’elle ne s’écrive sans les humains ou à leur détriment.
Plus inquiétant, l’IA avance plus vite que les règles censées l’encadrer. Ses applications se multiplient, tandis que les garanties restent fragmentaires. Qui répond d’une décision prise par un algorithme? Comment contester une erreur lorsque le fonctionnement du système demeure opaque ? Que devient le droit à un recours face à une machine qui ne s’explique pas ? Que deviennent les données personnelles aspirées à grande échelle, les emplois exposés à l’automatisation, les citoyens confrontés à des contenus artificiels impossibles à distinguer du réel ?
L’opacité n’est pas un détail technique. C’est une dépossession démocratique. Un algorithme peut refuser un crédit, écarter une candidature, orienter un diagnostic, déclencher une surveillance ou fabriquer une fausse preuve. Il ne se trompe pas comme un humain : il se trompe à grande échelle, vite, avec l’apparence de la neutralité. Avant de généraliser de tels systèmes, il faut donc évaluer leurs risques. Pas après. Avant.
La prudence n’est pas la paralysie
Le moratoire répond d’abord à une exigence de prudence. Il ne s’agit pas de tourner le dos au progrès, mais de refuser de laisser entrer dans nos vies des technologies dont nous ne maîtrisons ni les effets, ni les responsabilités, ni les limites. Cette pause doit permettre de fixer des règles claires : transparence des modèles, traçabilité des données, contrôle humain effectif, protection des mineurs, responsabilité juridique, audit indépendant, droit à l’explication et interdiction des usages les plus dangereux.
Encadrer l’IA, ce n’est pas l’empêcher. C’est l’empêcher d’être au-dessus des lois. Une innovation qui échappe à toute règle ne prouve pas sa puissance : elle avoue son irresponsabilité.
Une technologie aussi puissante ne peut être abandonnée aux seuls intérêts mercantiles de quelques géants de la tech . Sans débat public, l’IA risque de devenir une infrastructure invisible, imposée par défaut, dont les citoyens découvriront les conséquences désastreuses après coup. Le moratoire vise précisément à réintroduire la décision politique là où la course effrénée à l’innovation tend à l’effacer.
Car les vraies questions ne sont pas seulement techniques. Quelle automatisation voulons-nous ? Quelles décisions acceptons-nous de confier à une machine ? Quelle place laissons-nous à l’humain, au doute, à l’erreur, à la contestation ? Ces choix ne peuvent pas être des paramètres par défaut. Ils doivent être délibérés.
L’objection de la compétitivité
Ses détracteurs y voient un frein à la compétitivité et à la recherche. L’objection mérite d’être entendue. Mais l’absence de règles ne constitue pas une stratégie technologique . Elle favorise surtout les acteurs les mieux financés, capables d’imposer leurs standards avant même que la société ait pu les discuter. Elle organise une course vers le bas, où l’innovation se confond avec le dumping réglementaire.
Encadrer l’IA ne signifie pas renoncer à l’innovation. Cela signifie éviter que l’innovation ne se transforme en fait accompli. Une régulation claire peut au contraire créer la confiance nécessaire à une adoption responsable et durable. L’innovation n’a pas besoin d’impunité. Elle a besoin d’un cap.
Cela dit, le moratoire ne sera utile que s’il est limité, transparent, ciblé et assorti d’un calendrier précis. Il doit ouvrir une période de consultation, d’expertise indépendante et d’expérimentation contrôlée. Il ne doit pas devenir une interdiction, ni un alibi pour retarder le progrès. L’objectif n’est pas de fermer la porte à l’avenir, mais de vérifier qui en détient les clés, selon quelles règles et au bénéfice de qui. Vaste question.
Deux visions de la régulation
Face aux risques réels de l’IA, les grandes puissances ne sont pas sur la même longueur d’ondes.
En Europe, l’AI Act constitue la principale réponse réglementaire. L’Union européenne a choisi de privilégier un cadre fondé sur la transparence, la traçabilité et l’évaluation des risques, avec des obligations renforcées pour les systèmes d’IA présentant les dangers les plus importants.
Aux États-Unis, la tentation d’un encadrement plus contraignant se heurte à une autre réalité : celle de la compétition technologique avec la Chine. À Washington, beaucoup redoutent qu’un frein trop brutal imposé aux entreprises américaines ne fasse perdre aux États-Unis leur avance dans une bataille devenue stratégique. D’autant que Pékin investit massivement dans l’IA et encourage également le développement de modèles ouverts, plus difficiles à contrôler une fois largement diffusés. La question n’est donc plus seulement technologique. Elle est devenue économique, militaire et géopolitique.
Prudence sincère ou habile calcul ? Donald Trump a d’ailleurs fermement rejeté l’idée d’un moratoire ou de freiner le développement de l’intelligence artificielle, qualifiant les alertes sur sa dangerosité de « complot tordu » ou de « canular ». Pour lui, ralentir la course à l’IA avantagerait directement la Chine, et les États-Unis doivent à tout prix maintenir leur avance stratégique.
Reste une question embarrassante : qui a intérêt à ralentir la course ?
Pour certains observateurs, notamment dans les milieux de l’investissement technologique, les appels au moratoire lancés par les dirigeants des grands laboratoires américains ne seraient pas totalement désintéressés. Ils pourraient aussi relever d’une stratégie classique de regulatory capture : demander davantage de règles au nom de la sécurité lorsque l’on dispose déjà d’une avance considérable peut, accessoirement, compliquer l’entrée de nouveaux concurrents sur le marché. Un cadre réglementaire extrêmement coûteux à respecter pourrait ainsi devenir une barrière à l’entrée aussi efficace qu’un brevet ou qu’une montagne de capitaux. Sans compter qu’une clarification des responsabilités juridiques permettrait aux acteurs dominants de mieux se prémunir contre les conséquences financières d’éventuels accidents majeurs, notamment en matière de cybersécurité. Entre véritable souci de sécurité et calcul industriel, la frontière est donc ténue. Ceux qui demandent aujourd’hui de ralentir sont aussi, pour certains, ceux qui ont le plus intérêt à conserver leur avance. Dans la course à l’IA, le coup de frein peut donc être une mesure de prudence… mais aussi, accessoirement, une manière de maintenir les autres derrière soi. À la traîne…
