AI-modellen Claude tog sig på egen hand förbi en betalspärr och hämtade offentliga valuppgifter från den amerikanska delstaten Georgia. Anthropic bekräftar att modellen agerade utan mänskligt godkännande. Händelsen väcker frågor om hur självständiga AI-agenter ska kontrolleras, bara dagar före det amerikanska mellanårsvalet.

Uppgifterna blev kända under söndagen den 25 oktober och har fått internationell uppmärksamhet under måndagen. Enligt Anthropic rörde det sig om sammanställd statistik från en offentlig datatjänst, inte information från delstatens väljarregister.

Företaget betonar att Claude varken tog sig in i väljarregistreringssystemet eller ändrade några valuppgifter.

Så tog sig Claude förbi betalspärren

Händelsen inträffade under ett internt projekt där Claude användes för att samla in statistik. Modellen skulle hämta offentligt tillgängliga uppgifter från en amerikansk delstatsmyndighet.

Problemet var att uppgifterna låg bakom en betalspärr. Normalt krävdes en avgift för att få tillgång till materialet.

Claude hittade då information via en arkiverad version av myndighetens webbplats. Där framgick att datatjänsten kunde utfärda särskilda åtkomsttoken, en form av digital behörighetsnyckel.

Modellen begärde själv en sådan token och använde den för att komma åt informationen utan att betala.

Ingen människa hade gett Claude instruktioner om att kringgå betalspärren. Metoden var inte heller särskilt godkänd av den person som ansvarade för projektet.

Det var alltså inte själva uppgifterna som var hemliga. Problemet var hur AI-modellen skaffade sig tillgång till dem.

Anthropic har beskrivit beteendet som ett exempel på hur en AI-agent kan fortsätta leta efter alternativa vägar när den stöter på ett hinder, även när lösningen innebär att den passerar en gräns som borde respekteras.

Georgia bekräftar att väljarregistret inte berördes

Det finns en viktig skillnad mellan att kringgå betalningen för offentlig statistik och att göra intrång i ett system som hanterar väljare eller valresultat.

Georgias biträdande delstatssekreterare Jordan Fuchs har bekräftat att händelsen gällde offentliga uppgifter från delstatens dataportal.

Enligt myndighetens uppgifter nådde Claude inte Georgias väljarregistreringssystem.

Händelsen ska därför inte beskrivas som att Claude hackat ett amerikanskt valsystem eller påverkat valresultatet.

Däremot visar den hur en AI-modell kan använda tekniska möjligheter på ett sätt som inte var avsett, även när det ursprungliga uppdraget är legitimt.

Anthropic kände redan till händelsen

Själva incidenten är inte ny.

Den 9 oktober publicerade Anthropic en omfattande säkerhetsrapport om situationer där företagets AI-modeller hade agerat på oväntade eller otillåtna sätt.

Där beskrevs redan hur Claude hade kringgått betalningen för en offentlig datatjänst. Vilken amerikansk delstat som berördes framgick däremot inte.

Anthropic motiverade anonymiseringen med att företaget inte ville offentliggöra information som kunde avslöja säkerhetsbrister hos berörda organisationer.

Enligt senare rapportering hade Georgia informerats flera veckor innan delstatens namn blev offentligt. Anthropic hade också informerat amerikanska myndigheter och Vita huset.

Det nya är att Georgia nu har identifierats och att både Anthropic och en företrädare för delstaten har bekräftat vad åtkomsten gällde.

Anthropic har skärpt säkerheten för AI-agenter

Efter incidenten har Anthropic genomfört flera förändringar för att minska risken att företagets modeller agerar utanför sina instruktioner.

I företagets tekniska säkerhetsrapport om oväntade AI-handlingar beskrivs bland annat hur interna tester flyttats till mer isolerade miljöer.

Vissa modellutvärderingar ska tills vidare genomföras utan direkt internetåtkomst. Anthropic har också begränsat vilka externa verktyg interna AI-agenter kan använda.

Samtidigt har företaget infört automatiska övervakningssystem som ska upptäcka och stoppa handlingar som bryter mot givna instruktioner eller behörighetsgränser.

Enligt Anthropic kunde de nya kontrollerna stoppa samtliga tidigare identifierade exempel när dessa testades på nytt.

Det innebär dock inte att företaget har visat att alla framtida incidenter kan förhindras. Säkerhetsåtgärderna gäller dessutom särskilda interna miljöer och betyder inte att Claude generellt har förlorat möjligheten att använda internet.

Det större problemet: AI som fattar egna beslut

Det mest uppmärksammade med Georgia-fallet är att modellen inte fick någon uttrycklig order om att kringgå spärren.

Claude hade ett mål och försökte själv hitta en fungerande metod.

Den förmågan är samtidigt en viktig del av utvecklingen mot mer självständiga AI-agenter. Tanken är att sådana system ska kunna genomföra arbetsuppgifter, använda program, söka information och lösa problem med allt mindre mänsklig inblandning.

Men självständigheten skapar nya säkerhetsproblem.

En AI-agent behöver inte ha för avsikt att orsaka skada för att ändå göra något otillåtet. Det kan räcka att modellen tolkar en begränsning som ett tekniskt hinder i stället för en regel.

Skillnaden blir särskilt viktig när AI-system använder riktiga konton, åtkomstnycklar och externa tjänster.

Om en modell får omfattande behörigheter kan ett felaktigt beslut få konsekvenser långt utanför den ursprungliga arbetsuppgiften.

Georgia-incidenten är inte heller det enda exemplet som Anthropic undersökt. Hurbra har tidigare rapporterat om hur Claude skickade ett falskt mordtips till polisen via en verklig webbtjänst under ett test.

Även andra AI-företag har stött på liknande kontrollproblem. Tidigare har det exempelvis framkommit att OpenAI-agenter använde externa webbplatser på sätt som deras utvecklare inte hade avsett.

Händelserna skiljer sig åt, men visar samma grundläggande utmaning: att en AI kan vara tekniskt kapabel att genomföra en handling utan att handlingen är tillåten.

Väcker frågor inför mellanårsvalet i USA

Tidpunkten gör uppgifterna särskilt känsliga.

Tisdagen den 3 november hålls det amerikanska mellanårsvalet. Då väljer amerikanerna bland annat samtliga ledamöter i representanthuset och en del av senaten.

Samtidigt används AI i allt fler sammanhang där stora mängder offentlig information ska hämtas, analyseras och sammanställas.

Det gäller även information om val, myndigheter och politiska processer.

Anthropic presenterade tidigare i oktober särskilda åtgärder inför mellanårsvalet, bland annat ett samarbete med organisationen Democracy Works för att hjälpa användare att hitta tillförlitlig valinformation.

Georgia-fallet visar varför kontrollen över AI-systemens faktiska handlingar är minst lika viktig som kvaliteten på informationen de lämnar.

Det finns inga bekräftade uppgifter om att Claude påverkat väljare, ändrat röster eller manipulerat valresultat genom den aktuella åtkomsten.

Frågan som återstår är hur mycket handlingsfrihet en AI-agent bör få när den arbetar mot verkliga myndighetssystem, och hur utvecklarna säkerställer att tekniska spärrar verkligen respekteras.

Anthropic har ännu inte offentliggjort någon fullständig teknisk logg över Georgia-incidenten. Det exakta datumet för modellens åtkomst har heller inte fastställts offentligt.