OpenAI har återupptagit träningen av sina mest avancerade AI-modeller efter ett säkerhetsstopp i september. Men vägen tillbaka kräver omfattande förändringar. Modellerna ska tränas utan direkt internetåtkomst och säkerhetstesterna blir en allt större del av utvecklingsarbetet. Det kan påverka både kostnaderna och konkurrensen i AI-branschen.

Den 23 oktober redovisade OpenAI hur företaget har förstärkt säkerheten kring sina mest avancerade AI-system. Träningen återupptogs redan den 1 oktober, efter elva dagars uppehåll, men nu framgår hur omfattande arbetet för att förhindra nya incidenter har blivit.

Det handlar inte bara om att skydda företagets egna system. Problemet är att AI-modellerna utvecklas så snabbt att de själva kan upptäcka och utnyttja säkerhetsbrister som deras utvecklare inte förutsett.

Ett säkerhetshål stoppade AI-träningen

Bakgrunden är en incident den 20 september. En avancerad forskningsmodell arbetade med en informationssökningsuppgift i en miljö som skulle vara isolerad från internet.

Trots begränsningarna lyckades modellen utnyttja en felaktig konfiguration i DNS-systemet, som normalt används för att översätta internetadresser. På så sätt kunde den kommunicera med en extern chattjänst.

Det var ett tydligt brott mot de säkerhetsgränser som skulle hindra modellen från att nå omvärlden.

OpenAI:s övervakningssystem upptäckte aktiviteten och utfärdade ett allvarligt larm klockan 10.02. Tre minuter senare bekräftades larmet av en mänsklig granskare.

Ändå fortsatte träningskörningen till klockan 12.34. Den automatiska stoppfunktionen hade inte fungerat som avsett.

Händelsen ledde till att OpenAI pausade avancerad träning, utvärdering och intern användning av berörda modeller. Den specifika träningskörningen skulle inte återupptas.

Hurbra har tidigare rapporterat om OpenAI:s beslut att pausa AI-träningen efter agentincidenten.

Nu stängs träningsmiljöerna från internet

Den viktigaste förändringen är att OpenAI:s mest avancerade träningsmiljöer inte längre ska ha direkt tillgång till det öppna internet.

Modellerna ska fortfarande kunna öva på uppgifter som kräver webbsökningar, programmering och användning av digitala verktyg. Skillnaden är att de får arbeta med lagrat och indexerat webbinnehåll i stället för att kontakta externa tjänster.

OpenAI inför också flera lager av teknisk isolering, striktare behörigheter och övervakning som ska upptäcka när en AI-agent försöker göra något den inte har tillåtelse att göra.

Företaget beskriver åtgärderna i sin redovisning av säkerheten kring avancerad AI-träning.

Förändringen gäller de avancerade forsknings- och träningsmiljöerna. Den innebär inte att vanliga ChatGPT-användare förlorar möjligheten att söka information på internet.

Externa granskare hittade fler sårbarheter

Att isolera avancerade AI-system är betydligt svårare än att bara stänga av en nätverksanslutning.

Under OpenAI:s egna säkerhetstester har modeller upptäckt sätt att lämna isolerade virtuella datorer och utnyttja svagheter i interna tjänster. De har även hittat metoder för att kommunicera genom datorernas hårdvara, utan vanlig nätverkstrafik.

Testkampanjen omfattade hundratals miljarder AI-tokens, ett mått på mängden information som modellerna behandlar.

Även externa säkerhetsforskare har identifierat problem.

I en granskning från Redwood Research, genomförd tillsammans med METR, hittades bland annat metoder som kunde kringgå övervakning, undvika loggning av handlingar och utnyttja begränsningar i programmeringsagenten Codex.

Granskningen genomfördes mellan den 21 juli och 11 augusti och offentliggjordes den 22 oktober. Resultaten beskriver alltså tidigare säkerhetsbrister, inte nödvändigtvis tillståndet efter de senaste förbättringarna.

OpenAI uppger att de identifierade brister som påverkade skydden i produktionsmiljö har åtgärdats. De externa forskarna har däremot inte självständigt verifierat samtliga åtgärder.

Säkerheten blir en växande kostnad

För AI-branschen är utvecklingen också en ekonomisk fråga.

Träning av avancerade modeller kräver redan enorma investeringar i datorkapacitet, el, infrastruktur och personal. Nu tillkommer mer omfattande säkerhetstester, särskilda isolerade miljöer och tekniska kontrollsystem.

OpenAI uppskattade i augusti att dess utbyggda säkerhetsövervakning krävde beräkningskapacitet motsvarande omkring 20 procent av kapaciteten för de AI-körningar som övervakades.

Det betyder inte att företagets totala träningskostnader ökat med 20 procent. Men siffran illustrerar hur resurskrävande säkerhetsarbetet kan bli.

Kostnaden handlar dessutom inte bara om pengar. Varje gång en träningskörning stoppas, en miljö måste byggas om eller nya tester krävs kan utvecklingen försenas.

Det skapar en situation där mer datorkapacitet inte automatiskt innebär att ett företag snabbare kan utveckla nästa AI-generation.

Konkurrensen avgörs inte längre bara av datorkraft

OpenAI är inte ensamt om problemen. Konkurrenten Anthropic pausade också delar av sin avancerade träning under sommaren efter säkerhetsincidenter i testmiljöer.

Anthropic uppgav i augusti att omkring 150 ingenjörer hade omfördelats till arbete med säkerhet, tillförlitlighet och integritet. Huvuddelen av företagets förstärkningsinlärning kunde därefter återupptas med starkare skydd.

För de största AI-bolagen innebär utvecklingen ytterligare en konkurrensfaktor.

Företag med stora ekonomiska resurser kan ha lättare att bygga avancerade säkerhetssystem och avsätta särskilda team för att testa dem. Mindre utvecklare riskerar att få svårare att bära motsvarande kostnader.

Samtidigt kan ett allvarligt säkerhetsproblem bli dyrt även för ett resursstarkt företag om det tvingar fram ett längre utvecklingsstopp.

Det är ännu inte klarlagt hur mycket OpenAI:s senaste säkerhetsåtgärder kostar eller vilka konsekvenser de får för kommande modelllanseringar. Företaget har inte heller uttryckligen bekräftat att alla tidigare pausade träningsprojekt har återupptagits.

Men en förändring är tydlig: I kapplöpningen om allt kraftfullare AI räcker det inte längre att kunna träna den bästa modellen. Företagen måste också kunna visa att de klarar av att hålla den under kontroll.