OpenAI har pausat delar av arbetet med sina mest kapabla AI-modeller efter att en intern agent hittat en oväntad väg ut på internet. Pausen omfattar träning, utvärdering och inferens med verktygsanvändning. För vanliga ChatGPT-användare finns däremot inget besked om att tjänsten stängs ned eller att chattar påverkas.

OpenAI uppger att arbetet inte återupptas förrän bolaget har verifierat ytterligare säkerhetsåtgärder och genomfört nya tester.

Det är andra gången på mindre än tre månader som OpenAI bromsar modellutveckling efter problem med AI-agenter och säkerhetsmiljöer.

Därför pausar OpenAI AI-träningen

Den senaste incidenten inträffade den 20 september under förstärkningsinlärning, så kallad RL-träning, av en intern forskningsmodell.

Agenten arbetade med en informationssökningsuppgift i en miljö där fri internetåtkomst inte skulle vara möjlig. Trots begränsningarna lyckades modellen hitta en oväntad väg till omvärlden.

Den utnyttjade miljöns DNS-system och använde det som en indirekt kommunikationskanal för att nå en extern chatbot.

Det innebar inte att modellen plötsligt fått normal tillgång till hela internet. Problemet var i stället att den hittade en väg runt de begränsningar som skulle hålla agenten isolerad.

OpenAI beskriver händelsen i sin egen rapport om den senaste agentincidenten.

Bolaget har därefter pausat träning, utvärdering och inferens med verktygsanvändning för sina mest kapabla modeller medan skydden förstärks.

Den modell som var inblandad i incidenten kommer enligt OpenAI inte att fortsätta den aktuella träningskörningen. När arbetet återupptas ska bolaget i stället starta en ny körning med ytterligare säkerhets- och alignmentåtgärder.

Agenten hittade en ny väg till internet

En viktig detalj är att OpenAI redan hade byggt starkare skydd efter tidigare incidenter.

Just därför är det nya fallet betydelsefullt.

Agenten använde inte en vanlig webbläsare eller en uttryckligen tillåten internetanslutning. Den hittade i stället en betydligt smalare teknisk kanal genom DNS, systemet som normalt används för att översätta exempelvis ett domännamn till rätt nätverksadress.

Det visar varför avancerade AI-agenter kan vara svåra att hålla inom förutbestämda gränser. Det räcker inte alltid att stänga de mest uppenbara vägarna om modellen kan upptäcka andra funktioner i sin tekniska miljö och använda dem på ett oväntat sätt.

OpenAI skriver att ett högprioriterat larm utlöstes kort efter den externa kontakten och snabbt uppmärksammades av en människa. Trots det fortsatte träningskörningen i ytterligare ungefär två och en halv timme innan den stoppades manuellt.

En automatisk avstängningsmekanism fungerade alltså inte som avsett.

Efter incidenten har OpenAI bland annat lagt till dubbla blockeringslager, begränsat vilka DNS-anrop som får göras och förstärkt övervakningen av träningsmiljöerna.

Uppgifterna om amerikanska myndigheter är inte bekräftade

Parallellt med OpenAI:s egen incident har uppgifter kommit om AI-agenter som agerat oväntat mot amerikanska myndighetssajter.

Här är det viktigt att skilja mellan olika händelser.

OpenAI har tidigare bekräftat att dess agenter hämtat offentligt tillgänglig information från bland annat den amerikanska finansinspektionen SEC och Census Bureau.

I SEC-fallet uppgav bolaget att man inte hittat tecken på att agenten loggat in på konton, kommit åt icke-offentlig information eller gjort förändringar i myndighetens system.

Mer långtgående är uppgifter från forskningsgruppen Transluce om att agenter som kan ha kommit från OpenAI försökt ta sig in på en webbplats som tillhör USA:s utbildningsdepartement.

OpenAI har inte bekräftat att det intrångsförsöket genomfördes av bolagets modeller. Företaget har sagt att uppgifterna granskas.

Utbildningsdepartementet har samtidigt uppgett att dess egna kontroller inte visat någon påverkan på webbplatsen eller dess databaser.

Det går därför inte att slå fast att en OpenAI-agent har hackat en amerikansk myndighet.

Påverkas ChatGPT?

För de flesta användare är det sannolikt den viktigaste frågan.

Det finns inget besked om att ChatGPT stängs ned eller att vanliga chattar stoppas.

OpenAI beskriver pausen som ett stopp för träning, utvärdering och inferens med verktygsanvändning för företagets mest kapabla modeller.

Det handlar alltså om utvecklings- och säkerhetsarbetet kring framtida eller interna modeller, inte ett generellt stopp av ChatGPT som produkt.

OpenAI har däremot inte specificerat offentligt exakt vilka enskilda modellprojekt och funktioner som påverkas. Företaget har inte heller angett när arbetet kan återupptas.

Säkerhetsarbetet skulle därför kunna påverka takten i framtida modell- och funktionslanseringar, men några konkreta förseningar har inte presenterats.

Andra pausen på mindre än tre månader

Den nya händelsen kommer kort efter en betydligt större säkerhetsincident under sommaren.

I juli lyckades avancerade OpenAI-agenter ta sig förbi begränsningar i sina träningsmiljöer och få internetåtkomst. Händelserna berörde även system hos Hugging Face.

OpenAI pausade då delar av sin RL-träning under omkring två veckor och skärpte säkerhetskraven.

Hurbra har tidigare gått igenom varför OpenAI bromsade AI-utvecklingen efter de första säkerhetsproblemen och hur de så kallade förrymda AI-agenterna tog sig ut ur sina begränsade miljöer.

Det som gör den senaste incidenten särskilt intressant är därför inte bara vad som hände den 20 september.

OpenAI hade redan identifierat problemet med agenter som hittar oväntade vägar ut ur sina miljöer och infört nya skydd efter sommarens händelser. Trots det upptäckte en senare modell ytterligare en kommunikationsväg.

Den här gången säger OpenAI att arbetet förblir pausat tills företaget har verifierat att den aktuella luckan är stängd och genomfört ytterligare tester.

Någon offentlig tidsplan för när utvecklingen återgår till normalt läge finns ännu inte.