Depuis 2013, les discussions intergouvernementales menées au sein de la Convention sur certaines armes classiques (Convention on Certain Conventional Weapons, CCW) sur les questions liées aux technologies émergentes dans le domaine des systèmes d’armes létaux autonomes ont fait entrer l’image du « robot tueur » dans l’espace public. Perspective terrifiante appelant à un traité d’interdiction pour certains, fantasme pour d’autres, ou bien même alternative à la mise en danger des soldats, les désaccords sur le sort à réserver aux robots tueurs et au développement des capacités qui y sont liées sont nombreux[1]. En plus des considérations techniques, une question politique fondamentale structure le débat : faut-il déléguer l’usage de la violence politique létale à une intelligence artificielle ?
Selon une définition sommaire comme celle que l’on peut trouver dans Le Robert, l’intelligence artificielle qualifie l’« ensemble des théories et des techniques développant des programmes informatiques complexes capables de simuler certains traits de l’intelligence humaine (raisonnement, apprentissage…) »[2]. Selon une approche plus élaborée du concept, l’intelligence artificielle regroupe l’ensemble des technologies permettant à un système de simuler cinq catégories de fonctions cognitives[3] :
- la perception (le stockage en mémoire d’une information sensorielle),
- la représentation des connaissances et l’apprentissage (respectivement, l’organisation des informations initialement perçues et la construction de nouvelles connaissances à partir de celles-ci),
- le raisonnement (le calcul sur la base des nouvelles connaissances),
- la communication et l’expression (respectivement, l’échange et le dialogue) et
- la mise en œuvre des décisions (les facultés exécutives).
Concernant plus spécifiquement encore les robots tueurs, on parle de systèmes d’armes autonomes « qui intégreraient une forte intelligence artificielle et seraient capables de choisir leur propre ligne d’action pour atteindre un objectif souhaité »[4]. Le Comité international de la Croix-Rouge précise : « Après son activation initiale ou son lancement par une personne, un système d’armes autonome s’auto-déclenche et fait feu en réponse aux informations collectées par ses capteurs dans son environnement, sur la base d’un “profil de cible” généralisé. »[5]
En confiant l’utilisation de la force au seul calcul algorithmique des informations récoltées par leurs capteurs, les armes autonomes changent profondément la relation entre l’humain et la technologie pour deux raisons principales. D’un côté, le déploiement de robots tueurs est susceptible d’écarter tout contrôle humain sur l’usage de la force létale. De l’autre, ces systèmes d’armes réduisent les personnes, qui constituent des cibles potentielles, à de simples données algorithmiques. Cette double déshumanisation du recours à la violence politique pose ainsi de sérieux problèmes juridico-éthiques (notamment quant au respect du droit international humanitaire).
Le présent Éclairage aborde ce processus de déshumanisation en s’intéressant à la manière dont le développement d’armements basés sur l’intelligence artificielle impacte la relation entre l’humain et la technologie. Il procède en trois étapes. La première est consacrée à la distanciation de l’homme dans l’exercice de la violence. La seconde s’intéresse aux enjeux de l’absence de prise de décision humaine immédiate sur l’usage de la force. Enfin, la dernière partie analyse le poids des développements technologiques sur les débats politiques visant à réglementer les armes autonomes. Ensemble, ces différentes sections soulignent qu’il ne faut pas attendre l’avènement des robots tueurs pour prendre conscience des implications potentielles de la perte progressive du contrôle humain sur l’emploi de la force.
Enjeux des processus de distanciation de l’homme
À terme, que ce soit dans le monde du travail ou sur le champ de bataille, le déploiement des intelligences artificielles est appelé à jouer un rôle toujours plus prépondérant. Il faut dire que les avantages qu’elles offrent sont nombreux, que ce soit au niveau de la rapidité du traitement de l’information et donc de la réactivité, ou des communications et de la coordination des actions. Il est aussi régulièrement avancé que l’intelligence artificielle sur laquelle se fonde la robotique militaire permet de limiter les pertes humaines en réduisant l’engagement de soldats sur le terrain[6].
Pourtant, comme le souligne le colonel Lionel Meny, cette « machinisation de la guerre » pose un réel défi pour la notion d’humanité[7]. Un robot tueur instaure en effet une distance physique et émotionnelle entre le groupe d’humains qui va exercer une violence politique et le théâtre des affrontements.
Le phénomène n’est pas nouveau. La technologie des missiles ou encore celle de drones armés ont déjà marqué des évolutions dans ce sens. Toutefois, l’avènement des robots tueurs changerait drastiquement la donne et « pourrait avoir des conséquences sur les tabous qui cadrent aujourd’hui le recours à la violence »[8].
Par exemple, on peut craindre un abaissement du seuil à partir duquel des parties s’engageraient dans un conflit armé si les acteurs ont la certitude de ne pas exposer leurs soldats[9]. De plus, une machine intégrant de l’intelligence artificielle reste limitée par sa programmation initiale et ne peut pas, dans un environnement changeant, offrir d’informations alternatives à l’opérateur humain. En effet, les résultats des calculs algorithmiques opérés par les technologies de l’intelligence artificielle ont un caractère définitif qui peut accentuer la distanciation cognitive par rapport aux préconisations de l’intelligence artificielle, c’est-à-dire la capacité humaine à mettre en doute la machine[10]. Ce phénomène risque de s’accentuer, « alors que les actions militaires sont de plus en plus décryptées et judiciarisées »[11]. En cas d’erreur, les militaires pourraient ainsi être de plus en plus tentés de se « cacher » derrière les données fournies par l’intelligence artificielle. Une perspective qui renforcerait le dilemme quant à savoir qui serait tenu pour légalement responsable.
De la distanciation à l’absence de l’humain dans l’exercice
de la violence armée
Les systèmes pilotés par l’intelligence artificielle soulèvent la question de la perte croissante du « contrôle humain significatif » (CHS). Le concept de CHS, créé à l’origine par l’organisation non gouvernementale Article 36, est devenu un point central du débat intergouvernemental au sein de la Convention sur certaines armes classiques (CCW). À cet égard, de nombreux États considèrent qu’un CHS doit obligatoirement être préservé sur l’usage de la force létale[12].
S’agissant des interactions humain-machine, les systèmes d’armes létaux autonomes ont amplifié les problèmes de définition inhérents au concept de CHS quant à l’ampleur et la nature du contrôle humain pour que celui-ci soit réellement significatif. Les désaccords en la matière nourrissent les débats : les puissances militaires les plus technologiquement avancées, comme les États-Unis ou la Russie, sont ainsi opposées à toute forme d’interdiction internationale. Les arguments avancés vont de la prématurité supposée d’un instrument international juridiquement contraignant à celui stipulant que les armes létales autonomes pourraient réduire les risques pour les civils lors d’opérations militaires[13].
À côté de ces considérations, le développement effectif de systèmes d’armes (létaux) autonomes peut éventuellement modifier ce qui est acceptable en matière d’utilisation de la force. Suivant les chercheurs Ingvild Bode et Hendrik Huelss :
Nous assistons actuellement […] à un effort pour potentiellement établir de nouvelles normes concernant les technologies d’armes basées sur l’[intelligence artificielle] à la CCW via des pratiques délibératives. Mais en même temps, des pratiques non délibératives et non verbalisées sont constamment mises en œuvre et façonnent simultanément de nouvelles compréhensions de ce qui est approprié[14].
Autrement dit, il existe une dynamique qui tend à limiter les discussions diplomatiques par l’imposition d’un cadre reflétant les développements technologiques. L’établissement de normes internationales régissant les systèmes d’armes pilotés par l’intelligence artificielle et l’emploi de la force létale risque donc de se heurter à une stratégie du fait accompli.
Des débats juridico-éthiques confrontés au risque de la stratégie
du fait accompli
Les enjeux juridiques, éthiques et militaires des systèmes d’armes autonomes font l’objet de discussions interétatiques depuis bientôt dix ans. Le débat, initié en 2013 dans le cadre de la CCW, est mené depuis 2017 par le Groupe d’experts gouvernementaux (Group of Governmental Experts, GGE), mandaté pour adopter des recommandations consensuelles concernant la clarification, l’examen et le développement d’un cadre normatif et opérationnel sur les technologies émergentes dans le domaine des systèmes d’armes létaux autonomes[15].
Le GGE a affirmé que le droit international humanitaire continue de s’appliquer pleinement à tous les systèmes d’armes, y compris lorsqu’il s’agit de la mise au point et de l’utilisation potentielle de systèmes d’armes létaux autonomes. Selon le GGE, la responsabilité́ humaine dans les décisions relatives à l’emploi de systèmes d’armes doit être maintenue, car l’obligation de rendre des comptes ne peut pas être transférée à des machines[16].
Cependant, la complexité des interactions humain-machine est favorable aux divergences, notamment quant au niveau d’implication humaine nécessaire pour être en conformité avec le droit international humanitaire. Dès lors, la question du type et du degré de contrôle humain requis demeure. Autrement dit, « comment, et sur quelle base, un État identifierait-il la qualité et l’étendue de l’interaction homme-machine nécessaire dans une situation donnée »[17] ?
À cet égard, les pratiques non délibératives (c’est-à-dire les pratiques opérationnelles et généralement non verbalisées menées dans le processus de développement des technologies) ont déjà eu un impact. Puisque des systèmes dotés de capacités plus limitées en matière d’intelligence artificielle ont déjà été utilisés au cours des deux à trois dernières décennies, tels les missiles de croisière ou les systèmes de défense aérienne : « Il existe donc déjà une norme, au sens d’une compréhension émergente de ce qui est approprié, émanant de ces pratiques qui n’a pas été verbalement édictée ou réfléchie. »[18]
Il est probable que ces pratiques non délibératives influeront de la même manière sur des systèmes plus sophistiqués, tels les robots tueurs.
Cette probabilité est d’autant plus élevée que des premiers cas d’utilisation d’armes autonomes ont déjà été rapportés au Haut-Karabakh (munitions rôdeuses), en Libye (munitions rôdeuses) et à Gaza (essaim de drones)[19]. À l’image de la Campaign to Stop Killer Robots, plusieurs organisations de la société civile n’ont pas attendu ces premiers cas d’utilisation pour appeler à un contrôle international sur ce type d’armements. Ce qui semble encore faire défaut aujourd’hui, c’est la prise de conscience par l’ensemble des acteurs politiques des dangers encourus avant que ceux-ci ne se soient concrétisés. L’utilisation de ces armes, sans aucune limite précise quant à leur fonctionnement ou à leur mode d’utilisation, illustre à quel point il est maintenant urgent d’adopter un cadre législatif adéquat.
Conclusion : un enjeu politique et sociétal
Pour comprendre les débats actuels sur les robots tueurs, il faut les placer dans le cadre plus large des interactions homme-machine qui sont continuellement façonnées par la production et le déploiement de nouveaux équipements militaires, particulièrement à travers les technologies de l’intelligence artificielle. Les discussions politiques en vue de réguler ou d’interdire les robots tueurs sont conditionnées par un ensemble de normes coutumières issues de l’histoire des opérations militaires et de ce qui est jugé comme acceptable ou non comme moyen et cadre d’emploi de la violence armée.
Les défis posés par les robots tueurs sont une illustration d’enjeux plus anciens liés au type et au sens du contrôle humain sur l’usage de la force. Au-delà des questions techniques quant au niveau d’autonomie à partir duquel un système d’armes devrait être qualifié d’autonome ou de « robot tueur », il importe de garder à l’esprit qu’il s’agit d’abord d’un enjeu politique et sociétal. La question centrale que pose le fait de déléguer l’usage de la violence à une intelligence artificielle est celle de la place de l’humain dans le militaire. Une question dont les réponses dépendent de choix politiques.
Auteur
Jonathan Bannenberg est chercheur au GRIP. Diplômé de l’Université de Lausanne (Suisse), il est titulaire d’un master en science politique de l’Université libre de Bruxelles (ULB).
[1]. Voir, par exemple, PAPY Gérald, « Faut-il interdire les “robots tueurs” ? », Le Vif, 10 janvier 2021.
[2]. Définition de l’« intelligence artificielle » selon le dictionnaire Le Robert en ligne.
[3]. Voir GANASCIA Jean-Gabriel, « Définition et empan de l’intelligence artificielle », DSI, hors-série n° 65, 2019, p. 9-10.
[4]. GRUT Chantal, « The Challenge of Autonomous Lethal Robotics to International Humanitarian Law », Journal of Conflict & Security Law, vol. 18, n° 1, 2013, p. 6 (traduction libre).
[5]. Comité international de la Croix-Rouge, « Position du CICR sur les systèmes d’armes autonomes », Énoncé de position et document de référence du CICR, 12 mai 2021, p. 2, cité par BRABANT Stan, « Robots tueurs : le début de la fin ? », Les Rapports du GRIP, n° 6, 2021, p. 5.
[6]. Voir, par exemple, DE BOISBOISSEL Gérard et DANET Didier, « Les enjeux de l’autonomie pour les systèmes d’armes létaux », DSI, n° 157, janvier-février 2022, p. 100-101.
[7]. MENY Lionel, « L’art de la guerre dans un monde hyperconnecté », Revue Défense Nationale, hors-série n° 4, 2021, p. 165.
[8]. Ibid., p. 166.
[9]. Il s’agit d’un des arguments de la coalition internationale Campaign to Stop Killer Robots, formée en octobre 2012 et rassemblant plus de 180 organisations membres, qui s’efforce d’assurer le contrôle humain de l’usage de la force et appelle à une nouvelle loi internationale sur l’autonomie des systèmes d’armes ; voir Campaign to Stop Killer Robots, « Problems with autonomous weapons », 2021.
[10]. Un phénomène lié au « problème de la boîte noire », c’est-à-dire au fait que lorsque les systèmes d’intelligence artificielle font des erreurs, leurs fabricants ne savent souvent pas pourquoi et, par conséquent, comment les corriger ; voir DAWES James, « An autonomous robot may have already killed people – here’s how the weapons could be more destabilizing than nukes », The Conversation, 29 septembre 2021.
[11]. MENY Lionel, loc. cit., p. 166.
[12]. Voir BRABANT Stan, op. cit., p. 27.
[13]. Voir ibid., p. 25.
[14]. BODE Ingvild et HUELSS Hendrik, « The Future of Remote Warfare? Artificial Intelligence, Weapons Systems and Human Control », dans Alasdair MCKAY et al. (dir.), Remote Warfare: Interdisciplinary Perspectives, Bristol, E-International Relations, 2021, p. 225 (traduction libre).
[15]. Voir BRUNN Laura, « Autonomous weapon systems: what the law says – and does not say – about the human role in the use of force », Humanitarian Law & Policy, 11 novembre 2021.
[16]. Voir Organisation des Nations unies, Rapport du Groupe d’experts gouvernementaux sur les technologies émergentes dans le domaine des systèmes d’armes létaux autonomes sur sa session de 2019, Genève, 25 septembre 2019, CCW/GGE.1/2019/3, p. 15.
[17]. BRUNN Laura, op. cit. (traduction libre).
[18]. BODE Ingvild et HUELSS Hendrik, op. cit., p. 225 (traduction libre).
[19]. Voir BRABANT Stan, op. cit., p. 16-18.