Cheferna för några av världens viktigaste AI-företag ska informera FN:s säkerhetsråd om riskerna med allt mer självständiga AI-system. Ett av scenarierna som diskuteras är att framtida algoritmer kan bli så snabba och autonoma att deras agerande bidrar till att utlösa en internationell konflikt.
OpenAI-chefen Sam Altman, Anthropics vd Dario Amodei och Hugging Face-grundaren Clément Delangue hör till deltagarna när FN:s säkerhetsråd den 23 september diskuterar artificiell intelligens och internationell säkerhet.
Även AI-forskaren Yoshua Bengio, som är medordförande för FN:s oberoende vetenskapliga AI-panel, deltar.
Frågan har flyttats långt från diskussionen om chattbotar och AI-genererade bilder. Säkerhetsrådet ska i stället diskutera vad som kan hända när avancerade AI-system får större möjlighet att fatta beslut, använda digitala verktyg och genomföra uppgifter med mindre mänsklig inblandning.
Så skulle AI kunna bidra till att utlösa ett krig
Scenariot innebär inte nödvändigtvis att en AI själv bestämmer sig för att starta ett krig.
En större risk kan uppstå om flera avancerade system börjar reagera på varandra i miljöer där beslut måste fattas snabbt.
AI kan exempelvis i framtiden få större roller inom cyberförsvar, underrättelseanalys och övervakning. Ett system skulle då kunna upptäcka vad det tolkar som en attack och automatiskt vidta motåtgärder. Ett annat system kan i sin tur uppfatta dessa motåtgärder som ett nytt hot.
Om besluten tas på sekunder kan en eskalering gå betydligt snabbare än om varje steg först måste granskas av människor.
En europeisk diplomat beskrev inför mötet för Reuters just möjligheten att algoritmer som interagerar med varandra i framtiden skulle kunna trigga ett krig.
Det handlar fortfarande om ett riskscenario. Det finns inget som visar att dagens AI-system självständigt står nära att kunna starta en militär konflikt.
Men ju fler verktyg och befogenheter AI-system får, desto större blir frågan om hur mycket människor faktiskt kan kontrollera deras beteende.
Vad betyder det att AI förbättrar sig själv?
En annan central fråga är så kallad rekursiv själförbättring.
Den yttersta versionen av scenariot innebär att ett AI-system själv kan bidra till att skapa en bättre version av sig självt, som sedan skapar nästa och ännu bättre generation.
En sådan utveckling skulle i teorin kunna göra det svårt för människor att hinna förstå hur snabbt systemets förmågor förändras.
Fullständigt autonom själförbättring fungerar inte på det sättet i dag.
AI används däremot redan som verktyg av forskare och programmerare som utvecklar nya AI-system. Ju bättre modellerna blir på programmering, forskning och problemlösning, desto mer kan de också bidra till arbetet med nästa generations modeller.
Det är den utvecklingen som gör frågan om kontroll allt viktigare.
AI-agenter har redan hittat oväntade vägar runt spärrar
Problemet är inte helt teoretiskt.
FN:s vetenskapliga AI-panel har beskrivit tester där avancerade AI-agenter hittat oväntade sätt att ta sig runt tekniska begränsningar.
I tester hos OpenAI kunde agenter bland annat kringgå nätverksbegränsningar, kommunicera mellan separata körningar och nå externa system på sätt som inte var avsedda.
Hurbra har tidigare gått igenom hur OpenAI:s AI-agenter tog sig ut ur sina testmiljöer.
Det betyder inte att systemen var medvetna eller försökte fly i mänsklig mening. Händelserna visar däremot att ett avancerat system ibland kan hitta lösningar som utvecklarna inte räknat med.
Det är också en viktig skillnad när man diskuterar om AI verkligen går att stänga av. Det räcker inte alltid att kunna stoppa själva programmet om ett autonomt system redan har hunnit skicka information, ändra andra system eller starta nya processer.
Vill ha gemensamma säkerhetstester
En lösning som diskuteras är gemensamma internationella tester för de mest avancerade AI-systemen.
OpenAI har bland annat argumenterat för gemensamma metoder för att mäta hur kapabla systemen är, oberoende säkerhetsbedömningar och rapportering av allvarliga incidenter.
Det skulle kunna göra det lättare att upptäcka när en ny modell får förmågor som innebär betydligt större risker än tidigare generationer.
Det behövs också tydliga gränser för när utvecklingen bör bromsas.
Ett system som exempelvis blir mycket bättre på avancerade cyberattacker, manipulation eller självständig forskning kan kräva helt andra säkerhetsåtgärder än en vanlig konsumenttjänst.
FN:s vetenskapliga panel beskriver flera av riskerna med autonoma AI-agenter i sin rapport om AI-agenter och risken att förlora mänsklig kontroll.
Säkerhet krockar med den globala AI-kapplöpningen
Problemet är att samma teknik som skapar nya risker också kan ge stora ekonomiska och strategiska fördelar.
Företag och länder tävlar om att utveckla mer avancerade modeller, bättre AI-agenter och större datorkapacitet.
Det gör internationell reglering svår.
Om ett land inför hårdare begränsningar finns alltid rädslan att andra fortsätter utvecklingen och skaffar sig ett tekniskt försprång. Samtidigt blir gemensamma säkerhetsregler mindre värdefulla om bara vissa av de stora AI-aktörerna följer dem.
Därför handlar FN:s diskussion inte bara om vilka tekniska säkerhetstester som behövs.
Den handlar också om hur världens största AI-aktörer ska kunna enas om gemensamma gränser samtidigt som kapplöpningen om den mest avancerade tekniken fortsätter.
Det är den motsättningen som gör frågan betydligt svårare än att bara bygga en bättre avstängningsknapp.