FN-chefen António Guterres och Internationella Röda Korset kräver ett juridiskt bindande internationellt regelverk för autonoma vapen. Varningen är tydlig: världen är nära en punkt där maskiner själva kan identifiera människor som mål och använda dödligt våld utan ett mänskligt beslut. Samtidigt används redan AI-stödda vapensystem i flera av världens krig.

Det gemensamma utspelet den 25 augusti kommer bara dagar före nya FN-förhandlingar i Genève om autonoma vapensystem.

Guterres och Internationella Röda Korsets president Mirjana Spoljaric vill att vissa typer av autonoma vapen förbjuds helt. Framför allt gäller det system som själva väljer människor som mål och system vars agerande inte går att förutse eller kontrollera tillräckligt.

Kravet innebär däremot inte ett generellt förbud mot AI inom militären.

Frågan är snarare var gränsen ska gå mellan en maskin som hjälper en soldat att hitta ett mål och en maskin som själv bestämmer vem som ska dö.

Så nära är fullt autonoma vapen

De tekniska delarna som krävs för ett autonomt dödligt vapen finns till stor del redan.

Dagens militära system kan använda kameror, radar och andra sensorer för att upptäcka objekt. AI kan analysera bilder, skilja mellan olika typer av fordon och föreslå möjliga mål. Drönare kan navigera utan kontinuerlig styrning och vissa försvarssystem kan själva bekämpa inkommande robotar eller andra hot.

Den avgörande gränsen handlar om vem som fattar det slutliga beslutet om ett angrepp.

Typ av system	Vad systemet gör
AI-stöd	AI analyserar information och föreslår möjliga mål. En människa beslutar om angreppet.
Halvautonomt	Systemet kan själv navigera, följa och spåra mål efter att en människa gett uppdraget.
Avgränsat autonomt	Systemet kan själv upptäcka och bekämpa vissa typer av mål inom bestämda ramar, exempelvis inkommande robotar.
Fullt autonomt mot människor	Systemet identifierar, väljer och angriper en människa utan att någon människa godkänner just det angreppet.

Det finns redan fullt automatiserade eller autonoma försvarssystem som måste reagera snabbare än en människa hinner göra.

De kan exempelvis försvara ett fartyg mot inkommande robotar.

Men det finns fortfarande ingen etablerad och verifierad användning där ett vapensystem självständigt väljer ut en människa och dödar personen utan mänskligt godkännande.

Det är den gränsen FN och Röda Korset nu försöker stoppa innan den blir normaliserad.

Ukraina visar hur snabbt utvecklingen går

Kriget i Ukraina har blivit ett av de tydligaste exemplen på hur snabbt AI flyttar in i den militära beslutskedjan.

Ukraina använder AI för att analysera enorma mängder material från drönare och sensorer. Landets system kan automatiskt hitta misstänkta mål i videoströmmar och hjälpa soldater att snabbare identifiera ryska positioner, fordon och annan militär aktivitet.

Ukrainas Avengers AI Labs har byggt upp ett material på omkring fem miljoner annoterade bilder från slagfältet.

System kopplade till tekniken analyserar mer än 100 000 drönarvideoströmmar i månaden. Enligt Ukrainas försvarsdepartement kan AI-systemen identifiera omkring 70 procent av fiendemålen i realtid.

Men människan finns fortfarande kvar i den slutliga beslutskedjan.

Ukrainas AI-chef Danylo Tsvok har beskrivit principen som ”human in the loop”, alltså att en människa fortfarande ska fatta eller godkänna det avgörande beslutet.

Det intressanta är vad som händer när maskinen blir betydligt snabbare än människan.

I ett modernt krig kan några sekunders fördröjning avgöra om ett mål hinner försvinna. Ju bättre AI-systemen blir på att hitta och följa mål, desto starkare blir det militära incitamentet att låta maskinen fatta fler beslut själv.

Det är också därför frågan blivit akut.

Den som vill läsa mer om hur drönarkriget förändrat fronten kan läsa Hurbra:s större analys av kriget i Ukraina.

Gaza, Sudan och andra krig använder redan AI

AI-stödda och halvautonoma system används redan i flera pågående konflikter.

Ukraina är det tydligaste exemplet, men tekniken har också uppmärksammats i bland annat Gaza, Sudan och krig i Mellanöstern.

Det betyder däremot inte automatiskt att vapnen själva väljer vilka människor som ska dö.

I Gaza har exempelvis det israeliska systemet Lavender uppmärksammats som ett AI-baserat verktyg som kan hjälpa till att identifiera möjliga mål.

Israels militär har bestridit beskrivningar där systemet framställts som en maskin som själv fattar beslut om vilka personer som ska attackeras och har sagt att informationen fortfarande granskas av människor.

Skillnaden är central.

Ett system som föreslår ett mål är juridiskt och tekniskt något annat än ett system som självt får trycka på den virtuella avtryckaren.

Det här vill FN och Röda Korset förbjuda

Internationella Röda Korset förespråkar en modell med både direkta förbud och hårda begränsningar.

Två typer av vapen ska enligt organisationen förbjudas helt.

Den första är autonoma vapensystem vars beteende inte går att förutse eller förstå tillräckligt väl.

Den andra är system som är konstruerade eller används för att själva välja människor som mål.

Andra autonoma vapensystem skulle fortfarande kunna tillåtas, men bara inom tydliga ramar.

Begränsningar kan bland annat gälla:

• vilka typer av mål vapnet får angripa
• hur stort geografiskt område systemet får operera inom
• hur länge systemet får vara aktivt
• hur många angrepp det får genomföra
• i vilka miljöer det får användas
• möjlighet för människor att övervaka, avbryta och stänga av systemet

Det skulle alltså fortfarande kunna vara tillåtet att använda exempelvis ett autonomt luftvärnssystem som bekämpar inkommande robotar.

Skillnaden är att systemet arbetar mot en tydligt definierad måltyp under bestämda förutsättningar.

Internationella Röda Korsets och FN-chefens gemensamma uttalande beskriver kravet närmare.

Varför räcker inte dagens krigslagar?

Internationell humanitär rätt gäller redan för alla vapensystem.

Militära angrepp måste följa grundläggande regler om bland annat distinktion mellan civila och stridande, proportionalitet och försiktighetsåtgärder.

Det svåra är om en maskin kan göra sådana bedömningar.

Att känna igen en människa på en kamera är en sak.

Att förstå om personen är civil, soldat, sårad, på väg att kapitulera eller tillfälligt deltar i strid är betydligt svårare.

Sådana bedömningar kan bero på sammanhang, beteende och information som förändras på några sekunder.

Det är därför FN och Röda Korset anser att dagens allmänna regler inte räcker.

USA och Ryssland hör till de länder som har motsatt sig ett nytt bindande regelverk och argumenterat för att befintlig internationell rätt redan reglerar användningen av vapnen.

Frågan har diskuterats inom FN sedan 2014 utan att staterna lyckats enas om ett nytt avtal.

Nya förhandlingar börjar i Genève

FN:s expertgrupp om dödliga autonoma vapensystem samlas i Genève mellan den 31 augusti och 4 september.

Målet är att komma närmare gemensamma regler för vilka vapensystem som ska förbjudas eller begränsas.

Senare under året hålls en större översynskonferens för konventionen om vissa konventionella vapen.

Där kan staterna besluta att ta nästa steg mot faktiska förhandlingar om ett nytt internationellt protokoll.

Problemet är att systemet kräver konsensus.

Det innebär att ett fåtal stora militärmakter i praktiken kan blockera utvecklingen trots att stödet för reglering är mycket brett inom FN.

När FN:s generalförsamling senast röstade om autonoma vapen stödde 164 länder resolutionen. Sverige var ett av dem.

Sverige bygger samtidigt ett snabbare AI-försvar

Frågan är direkt relevant för Sverige.

Försvarsmakten och regeringen satsar redan stora pengar på AI, 5G, molnteknik och digitala ledningssystem.

En satsning på fem miljarder kronor ska bland annat göra det möjligt att snabbt samla in information, identifiera hot och dela lägesbilder med andra svenska och Nato-förband.

Målet är bland annat att förkorta tiden från upptäckt till bekämpning från timmar till minuter.

Det är samma utveckling som internationellt gör gränsen kring autonomi allt viktigare.

Sverige och Nato vill kunna använda AI för att hitta hot och fatta beslut snabbare, men Nato har samtidigt slagit fast att mänskligt omdöme ska vara den yttersta beslutande instansen.

Ett framtida internationellt avtal skulle därför inte betyda att Sverige tvingas välja mellan AI eller inget AI-försvar.

Det kan däremot påverka hur systemen byggs och vilka spärrar som måste finnas.

Det kan handla om krav på mänskligt godkännande, begränsningar av vilka mål ett system får angripa, möjlighet att avbryta ett uppdrag och tydlig loggning av hur beslut fattats.

Den svåra frågan blir vem som får sista ordet

Utvecklingen pekar mot att AI kommer att få en allt större roll i framtidens krig.

Det betyder inte automatiskt att autonoma vapen som själva väljer människor som mål kommer att bli norm.

Men den tekniska möjligheten är inte längre avlägsen.

Sensorer kan hitta mål. AI kan klassificera dem. Drönare kan navigera och följa dem. Vapen kan avfyras automatiskt.

Det som fortfarande skiljer många av dagens system från de vapen FN vill stoppa är människan mellan upptäckt och dödligt våld.

När systemen blir snabbare kommer pressen att öka på att ta bort även den länken.

Det är den utvecklingen Guterres och Röda Korset nu vill hinna reglera innan maskinen får sista ordet.