Débat sur les armes autonomes : la liste de tous les arguments pour et contre

• Qu'est-ce qu'une arme autonome ?
• Faut-il les interdire ? Pourquoi ?
• Et si oui, est-ce même possible ?

• Sans interdiction, ces armes finiront tôt ou tard par être produites en quantité industrielle. Certaines d'entre elles, telles les microdrones tueurs de la vidéo plus haut, seront bien plus compactes, bien moins chères et bien plus simples à utiliser que des kalachnikovs, si bien qu'elles finiraient nécessairement par arriver d'une façon ou d'une autre, en grande quantité, dans les mains d'entités malfaisantes, qui seront en mesure de lancer des attaques meurtrières et surprises de grande ampleur. C'est à ce titre qu'elles constituent des armes de destruction massive et doivent être interdites.
• Les armes autonomes, et notamment les microdrones tueurs, parce qu'ils peuvent être déployés en masse par un très petit groupe de personnes, donnent lieu au casse-tête de l'imputabilité, on prendrait le risque d'assister à des massacres de grande ampleur sans qu'on puisse savoir clairement qui est derrière, ce qui peut ensuite aussi servir de prétexte à des représailles contre des ennemis bien pratiques mais innocents (on se souvient de l'invasion de l'Iraq par les Etats-Unis après le 11 Septembre). On imagine déjà les opérations sous faux drapeau en tout genre menées pour déstabiliser une région, un pays, ou provoquer une guerre entre deux grandes puissances par un tiers tapi dans l'ombre. Il faudrait donc absolument éviter de développer des armes capables de destruction massive et dont l'usage serait difficilement imputable. Et même sans aller jusqu'aux tueries de masse, ces armes permettraient comme jamais les assassinats ciblés intraçables. Rappelons que c'est un assassinat qui a déclenché la Première Guerre Mondiale.
  • Objection : le problème de la difficile imputabilité n'est toutefois pas du même ordre que pour la cyberguerre, il faudra tout de même qu'un petit groupe de personnes a minima passent à l'action pour déclencher une attaque, et on voit bien que les services de renseignement arrivent le plus souvent à remonter les filières, même si ils peuvent, c'est vrai, en profiter pour désigner au passage d'autres coupables. Le problème reste donc ici margninal à côté de celui bien plus large de la cyberguerre.
• En permettant de tuer et détruire de façon ultra sélective et sans avoir à engager de troupes, ces armes pourraient paradoxalement abaisser le seuil à atteindre pour que se déclenche une guerre. Si un pays n'a plus à payer le prix du sang pour aller intervenir sur un théatre d'opération, peut-être qu'il hésitera moins à le faire, ce qui pourrait causer plus de guerres qu'avant. On peut citer ici Yuval Noah Harari : "If the USA had had killer robots in the Vietnam War, the My Lai massacre might have been prevented, but the war itself could have dragged on for many more years, because the American government would have had fewer worries about demoralised soldiers, massive anti-war demonstrations, or a movement of ‘veteran robots against the war’ (some American citizens might still have objected to the war, but without the fear of being drafted themselves, the memory of personally committing atrocities, or the painful loss of a dear relative, the protesters would probably have been both less numerous and less committed)."
  • Objection : le coût en vies humaines serait peut-être moindre pour la puissance qui attaque avec ses armes autonomes, mais si en face les victimes humaines devaient être trop nombreuses, et c'est bien ce que craignent les avocats de l'interdiction, il y a aussi fort à parier que dans un monde globalisé cela se saurait très vite et qu'on aurait les images pour le voir, ce qui ne manquerait pas d'émouvoir la communauté internationale et de faire culpabiliser les opinions publiques, celle du pays agresseur, ou du moins celle des autres pays. On peut donc sans doute relativiser cette motivation. On peut citer ici Yann Le Cun : "Les guerres modernes sont sensibles à l'opinion publique et le caractère meurtrier d'une guerre la rend, au minimum, suspecte. ce sont les opinions publiques intérieures et internationales qui ont poussé les Etats-Unis à se désengager du Vietnam. Militairement ils étaient supérieurs, mais l'accumulation de victime s'est retournée contre eux."
• Les armes autonomes, car elles seront bourrées d'électronique embarqué et ultra connectées, seront vulnérables au piratage informatique. Si une puissance hostile pouvait prendre le contrôle de telles armes et les retourner contre leurs propriétaires intitiaux ou autres cibles, les conséquences pourraient être dramatiques.
  • Objection : ce problème concerne en fait plus largement tous les engins téléguidés avec beaucoup d'électronique, pas seulement les armes autonomes, et comme il n'est pas question d'interdire ces armes et équipements militaires téléguidés, ajouter à cela les armes autonomes ne change pas grand chose à cette menace bien réelle. Certains disent d'ailleurs que les voitures autonomes constitueront demain la menace majeure à la sécurité avant les armes autonomes: vu qu'elles seront très nombreuses et évolueront à proximité de civils dans les villes, un piratage généralisé qui les transformeraient en voitures béliers serait des plus dévastateurs.
• Interdire ces armes ne réglera pas tous les problèmes, mais il vaut mieux une interdiction imparfaitement respectée que pas d'interdiction du tout. L'encadrement de la prolifération nucléaire, l'interdiction des armes bactériologiques et chimiques, des mines antipersonnel et des lasers aveuglants sont des exemples révélateurs: ce n'est pas parfait, mais on se porte sans doute bien mieux avec que sans ces interdictions. Comme dit Yoshua Bengio, un des pères fondateurs du Deep Learning : "I think we need to make it immoral to have killer robots. We need to change the culture, and that includes changing laws and treaties. That can go a long way. Of course, you’ll never completely prevent it, and people say, “Some rogue country will develop these things.” My answer is that one, we want to make them feel guilty for doing it"
  • Objection : le cas du nucléaire est à part compte tenu de la difficulté de le développer couplée à son caractère destructeur absolu, c'est ce qui a amené à un certain équilibre du fait du risque de Destruction Mutuelle Assurée. Pour les autres interdictions, elles tiendraient car le ratio [(efficacité)/(stigmate associé à leur usage)] est jugé trop faible par les militaires : elles ne sont pas assez efficaces, moins efficaces qu'anticipées au départ en tout cas, pour justifier leur usage au vu de l'horreur qu'elles inspirent. Mais les armes autonomes constituent un tout autre enjeu : on voudrait demander aux nations d'y renoncer alors qu'on mesure encore mal leur potentielle efficacité et qu'on la soupçonne immense, c'est trop leur demander. Surtout quand le coût de production, une fois la conception terminée, est jugé modeste. Dans le même esprit, les tentatives d'interdiction des sous-marins et des missiles lancés par avion ont échoué lamentablement au XXème siècle par exemple ! Il paraît impensable que des nations puissent renoncer à développer de telles armes si toutes ne devaient pas s'associer à l'entreprise. Et à ce titre, les discussions à l'ONU sont bloquées pour l'instant, entre autres par les Etats-Unis et la Russie. C'est sans doute pour ces raisons que le Royaume-Uni semble avoir changé de position entre septembre 2017 (UK bans fully autonomous weapons after Elon Musk letter) et novembre 2018 (Britain funds research into drones that decide who they kill, says report). Enfin, quand bien même tout le monde se mettrait d'accord pour interdire les armes autonomes, faudrait-il pour autant croire la Chine sur parole, entre autres ? Xi Jinping avait promis à Barack Obama en 2015 de ne jamais militariser les petits îlots de la Mer de Chine, promesse trahie ensuite comme on sait. Qui peut croire que la Chine laisserait des inspecteurs aller fouiller des installations sur son territoire ? La technologie est jugée très prometteuse, et pas si chère à industrialiser, avec beaucoup des briques nécessaires à la conception disponibles dans le domaine public, on imagine mal que personne ne trichera jamais ! Pourquoi prendre le risque d'être le dindon de la farce en respectant un accord que d'autres pourraient violer facilement ?

• Il y a de fortes raisons de penser que les armes autonomes rendront les conflits moins sanglants.
  • Des armes plus obéissantes et compétentes : en effet, les armes autonomes sont en fait plus fiables que les humains car elles ne font que ce qu'on leur dit (pour encore longtemps , en laissant de côté les bugs) et le font mieux. Les humains, victimes de leurs émotions voire de leur perversité et sadisme, n'obéissent pas toujours, et quand ils font ce qu'on leur demande, ils ne sont pas aussi compétents que certaines machines qu'on peut doter d'aptitudes surhumaines: plus endurantes et rapides, visant mieux, etc. Les armes autonomes permettront de cibler chirurgicalement comme jamais les ennemis à abattre et les infrastructures à détruire, en laissant le reste indemne. Citons ici à nouveau Y. N. Harari : "On 16 March 1968 a company of American soldiers went berserk in the South Vietnamese village of My Lai, and massacred about 400 civilians. This war crime resulted from the local initiative of men who had been involved in jungle guerrilla warfare for several months. It did not serve any strategic purpose, and contravened both the legal code and the military policy of the USA. It was the fault of human emotions. If the USA had deployed killer robots in Vietnam, the massacre of My Lai would never have occurred."
  • Moindre violence car moindre besoin de se préserver : une bonne partie de la violence des conflits vient du besoin pour les soldats de se protéger, de prendre le moins de risques pour leur vie. Cela amène les troupes engagées sur le front, dans le doute, à faire usage de leurs armes pour neutraliser l'adversaire, dans la logique "on tire d'abord et on voit ce qu'il se passe". Les armes autonomes pourront être programmées pour être plus attentives, plus réactives que proactives dans l'usage du feu, car les perdre sera plus acceptable que de sacrifier des vies humaines. Rodney Brooks, ancien directeur du MIT Computer Science and Artificial Intelligence Laboratory et fondateur de iRobot explique : "It always seemed to me that a robot could afford to shoot second. A 19-year-old kid just out of high school in a foreign country in the dark of night with guns going off around them can’t afford to shoot second."
• Une interdiction est vaine, car des agents malfaisants pourront toujours assembler des outils et matériels existants autorisés et/ou déjà disponibles sur le marché noir, pour créer eux-mêmes de armes autonomes tueuses. Par exemple en associant un drone civil, une charge explosive/une arme à feu, et un logiciel de reconnaisance facial.
  • Objection : oui c'est possible, mais contourner l'interdiction de la production industrielle d'armes autonomes tueuses en recourant au bricolage ne permettra pas de produire ces armes en quantité suffisante, on éviterait donc ainsi qu'elles deviennent des armes de destruction massive. Comme dit Stuart Russel, un expert en intelligence artificiel (co-auteur du manuel sur l'IA de référence dans les universités et un des instigateurs de l'appel à l'interdiction : "It could be that under a treaty, there would be a verification mechanism that would require the cooperation of drone manufacturers and the people who make chips for self-driving cars and so on, so that anyone ordering large quantities would be noticed—in the same way that anyone ordering large quantities of precursor chemicals for chemical weapons is not going to get away with it because the corporation is required, by the chemical weapons treaty, to know its customer and to report any unusual attempts that are made to purchase large quantities of certain dangerous products. I think it will be possible to have a fairly effective regime that could prevent very large diversions of civilian technology to create autonomous weapons. (...) In small numbers, though, autonomous weapons don’t have a huge advantage over a piloted weapon. If you’re going to launch an attack with ten or twenty weapons, you might as well pilot them because you can probably find ten or twenty people to do that."
• Une interdiction n'est pas utile, car des moyens de défense apparaîtront en réponse aux armes autonomes. Pour les drones par exemple, les chercheurs s'affairent à perfectionner comment brouiller les signaux qu'ils reçoivent afin de les désorienter, comment griller leur électronique à distance avec des ondes, comment en prendre le contrôle en les piratant, comment les capturer ou les stopper avec des filets par exemple, comment les détruire avec des lasers ou des projectiles. Bref, les idées ne manquent pas, "la nécessité est la mère de l'invention" comme on dit.
  • Objection : le problème des microdrones tueurs est bien plus coriace qu'il n'y paraît. La conclusion d'un exercice mené en 2017 par le Pentagone pour mesurer différents moyens de défense, et qui couronne 15 ans de recherche sur le sujet, est inquiétante : "résultats résolument mitigés", "le casse-tête de contre-terrorisme le plus épineux", "la plupart des technologies testées sont encore immatures". Il est tout à fait possible que ces microdrones continuent de garder une longueur d'avance sur les moyens défensifs, sachant que le besoin sera de se protéger partout, tout le temps. Il suffira d'une faille pour permettre un massacre. Il faut aussi voir que le tout n'est pas de trouver un moyen de neutraliser ces microdrones, mais de le faire d'une façon plus économique que ce qu'il en coûte de les produire, sinon c'est la défaite assurée à l'usure : neutraliser un drone à 1000$ avec un missile à 1 million de $ n'a pas de sens !
• Une interdiction est vaine, elle n'est pas possible car les termes sont trop vagues et seront trop aisément contournés, il sera impossible de la mettre en application. Elle pourra tenir en temps de paix, c'est-à-dire quand elle n'est pas nécessaire, mais volerait en éclat dès le début des hostilités. Par exemple :
  • Si on n'interdit que les armes autonomes offensives : Yoshua Bengio pense que "there’s nothing to stop us from building defensive technology. There’s a big difference between defensive weapons that will kill off drones, and offensive weapons that are targeting humans. Both can use AI." Les armes autonomes défensives seraient autorisées, admettons, mais la diférence est-elle vraiment marquée ? Le hardware, l'équipement matériel dans les deux cas pourrait être le même, et la seule différence se faire au niveau software, quelques lignes de code pour schématiser. Une arme autonome défensive pourra ainsi être reprogrammée très facilement et rapidement pour partir à l'attaque. Idem pour les drones autonomes à seule fin affichée de reconnaissance et ne disposant pas d'armement embarqué : vu qu'ils ne sont pas pilotés par des humains, et peuvent coûter très peu cher à l'unité, ils peuvent aussi être reprogrammés pour se transformer en kamikazes et se jeter sur une cible. Ainsi début 2017, l'armée de l'air américaine annonçait avoir testé avec succès le déploiement d'une centaine de microdrones depuis un avion de chasse en vol. "Ces drones ne sont pas préprogrammés individuellement, ils forment un organisme collectif piloté par un cerveau artificiel partagé leur permettant d'adapter leur vol les uns aux autres comme un banc de poisson". Ces drones sont soi-disant développés à des fins de reconnaissance, mais on voit mal alors le besoin de les faire voler en formation serrée, l'usage offensif potentiel est à peine voilé.
  • Si on interdit les armes autonomes ne ciblant que les ennemis en uniforme ou que d'autres robots : idem, les armes peuvent être reprogrammées sans problème pour cibler les civils
  • Si on n'interdit que les armes complètement autonomes ne nécessitant aucune intervention humaine : on pourra très bien développer des armes semi-autonomes (cela existe déjà) qui supposent toujours qu'un humain valide une décision de tuer ou de frapper, "histoire de" comme on dit, mais elles pourront aussi être reprogrammées aisément pour faire sans, comment l'empêcher ?

Au vu de ce qui précède, il semble que l'essor des armes autonomes tueuses est inéluctable. Qu'en pensez-vous ? Voyez-vous d'autres arguments pour ou contre ? Dites-le moi sur twitter.