Anthropics vd Dario Amodei vill att världens ledande AI-bolag medvetet sänker tempot i utvecklingen av allt kraftfullare modeller. Efter år av snabbt accelererande kapplöpning anser han att säkerhetsarbetet inte längre håller jämna steg – och lägger nu fram en konkret trestegsplan för hur utvecklingen skulle kunna bromsas.

Det är ett anmärkningsvärt besked från chefen för ett av företagen som själva befinner sig längst fram i AI-kapplöpningen.

I en ny text argumenterar Dario Amodei för att branschen har nått en punkt där mer kapacitet inte automatiskt bör följas av nästa ännu större modell. I stället vill han att säkerhetskrav ska fungera som en faktisk flaskhals: når ett system en viss förmågenivå ska utvecklaren först kunna visa att motsvarande säkerhetsproblem går att hantera innan nästa steg tas.

Amodei efterlyser alltså inte något permanent stopp för AI-utvecklingen. Hans budskap är snarare att de mest avancerade systemen nu utvecklas så snabbt att några extra månader – eller i bästa fall ett eller två år – kan få stor betydelse.

Amodei: Läget har förändrats

Amodei har länge varit en av AI-branschens tydligaste röster kring riskerna med mycket kraftfull artificiell intelligens. Det nya är att han nu uttryckligen argumenterar för att själva utvecklingstakten behöver påverkas.

I sin text ”We Must Pace the Frontier” beskriver han hur hans egen syn har förändrats.

När krav på att bromsa AI-utvecklingen fick stort genomslag 2023 ansåg han inte att en generell inbromsning skulle göra särskilt stor nytta. Modellerna var fortfarande för begränsade och säkerhetsproblemen såg annorlunda ut.

Tre år senare tycker han att situationen är en annan.

En viktig förändring är att AI-system enligt Amodei blivit betydligt bättre på att själva hjälpa till med utvecklingen av nästa generations AI. Om den processen fortsätter kan förbättringarna börja gå så snabbt att människors möjligheter att testa, förstå och kontrollera systemen får allt svårare att hänga med.

Det är denna utveckling mot så kallad rekursiv självförbättring som ligger bakom en stor del av hans oro.

AI-agenter blev en varningssignal

Amodei pekar också på incidenter med mer självständiga AI-agenter som tecken på att riskbilden har förändrats.

Ett exempel är det uppmärksammade fallet där OpenAI-agenter uppträdde på sätt som gick långt utanför det utvecklarna hade avsett. Hurbra har tidigare skrivit om OpenAI:s ”förrymda” AI-agenter och säkerhetsproblemen bakom incidenten.

Amodei menar att dagens system fortfarande är begränsade, men att samma typ av beteende hos betydligt kraftfullare AI kan få helt andra konsekvenser.

Han beskriver bland annat ett scenario där en framtida agentsvärm skulle kunna bygga upp ett omfattande botnät och orsaka ekonomiska skador för hundratals miljarder dollar.

Tidsperspektivet han anger är uppseendeväckande: ett sådant system skulle enligt hans egen riskbedömning kunna bli möjligt inom sex till tolv månader.

Det är viktigt att skilja den bedömningen från ett konstaterande om vad som faktiskt kommer att hända. Amodei beskriver ett riskscenario – inte en säker prognos.

Men för Anthropic-chefen är möjligheten i sig tillräckligt allvarlig för att motivera förändringar redan nu.

Första steget: externa granskare inne i AI-bolagen

Amodeis nya plan består av tre nivåer.

Den första vill han att Anthropic självt ska börja genomföra.

Oberoende säkerhetsgranskare ska inte bara få testa färdiga modeller utifrån, utan kunna arbeta betydligt närmare företagets faktiska utvecklingsprocess.

Tanken är att externa aktörer ska kunna få löpande insyn i bland annat modeller, träningsprocesser och säkerhetsarbete. Amodei nämner organisationer som METR som exempel på den typ av oberoende utvärderare som skulle kunna få en sådan roll.

Ambitionen är att de ska kunna upptäcka problem medan systemen fortfarande utvecklas, inte först när en modell är färdig och på väg att lanseras.

En central detalj är att de också ska kunna offentliggöra negativa slutsatser.

Anthropic ska enligt planen inte kunna stoppa en kritisk rapport bara för att den är obekväm för företaget. Undantagen skulle främst handla om juridik, sekretess och sådant som i sig skulle kunna skapa säkerhetsproblem om det offentliggjordes.

Andra steget: AI-bolagen ska bromsa tillsammans

Det andra steget är betydligt svårare.

Amodei vill att de ledande AI-företagen i demokratiska länder enas om gemensamma gränser för hur snabbt frontiermodeller får utvecklas.

Grundidén är enkel.

Om en modell når en viss kapacitetsnivå ska bolaget samtidigt behöva uppfylla vissa säkerhetskrav. Om säkerhetsarbetet inte klarar den nivån ska utvecklingen kunna behöva vänta.

Därmed skulle nästa stora modell inte enbart avgöras av hur mycket beräkningskraft, pengar eller ingenjörsresurser ett företag kan sätta in.

Säkerheten skulle i praktiken bli en del av konkurrensvillkoren.

Problemet är att inget bolag vill bromsa ensamt.

Om Anthropic medvetet skulle sakta ner medan OpenAI, Google, Meta eller andra fortsätter i full fart riskerar Anthropic att halka efter tekniskt och kommersiellt.

Det är därför Amodei efterlyser gemensamma regler eller överenskommelser.

Han ser på längre sikt helst bindande reglering som omfattar samtliga amerikanska frontierbolag, men vill inte vänta på att lagstiftningen ska bli färdig innan företagen börjar samarbeta.

Det kan samtidigt skapa konkurrensrättsliga problem. Rivaliserande företag kan inte utan vidare komma överens om hur snabbt deras produkter ska utvecklas. Därför kan särskilda juridiska lösningar eller undantag behövas.

Tredje steget: en internationell broms

Den tredje nivån är den mest ambitiösa.

Om utvecklingstakten verkligen ska kunna hållas nere under längre tid behöver även Kina och andra stora AI-nationer omfattas.

Amodei skissar på flera möjliga nivåer av internationellt samarbete.

Det kan börja med gemensamma förbud mot vissa särskilt farliga användningsområden och gemensamma säkerhetstester.

Ett större steg vore internationella regler för hur snabbt system med förmåga till AI-driven AI-utveckling får förbättras.

Den mest långtgående modellen vore en faktisk global paus.

Amodei bedömer dock själv att den sista lösningen är mycket svår att genomföra. Ett grundproblem är verifieringen. För att en global paus ska fungera måste länder kunna vara säkra på att konkurrenterna inte fortsätter utvecklingen i hemlighet.

Vill samtidigt hålla Kina efter

Här uppstår en av de mest uppenbara motsättningarna i Amodeis resonemang.

Han vill att amerikanska AI-bolag bromsar.

Samtidigt vill han att USA behåller ett tydligt tekniskt försprång gentemot Kina.

Därför förespråkar han även skärpta exportrestriktioner för avancerade AI-chip, hårdare åtgärder mot smuggling, bättre skydd av modellvikter och åtgärder mot att kinesiska företag kopierar amerikanska modellers kapacitet genom så kallad distillation.

Tanken är att ett större tekniskt försprång också skapar ett större säkerhetsutrymme.

Om USA ligger tydligt före behöver amerikanska bolag enligt detta resonemang inte känna samma press att lansera nästa modell så snabbt som möjligt.

Konkurrenterna har börjat röra sig åt samma håll

Amodeis utspel betyder inte att Anthropic plötsligt står ensamt mot resten av AI-industrin.

Flera konkurrenter har under 2026 uttryckt liknande farhågor.

OpenAI:s chefsforskare Jakub Pachocki har varnat för att inget ledande AI-labb ännu har löst problemen kring alignment och övervakning tillräckligt väl för att maximal skalning ska kunna fortsätta obegränsat.

OpenAI-chefen Sam Altman har också öppnat för att utvecklingen kan behöva anpassas i takt så att säkerhet och samhälle hinner med.

Google DeepMinds Demis Hassabis har föreslagit ett oberoende amerikanskt system för att testa frontiermodeller före lansering och möjlighet att bromsa utvecklingen om riskerna blir tillräckligt stora.

Det finns däremot ännu ingen verifierad direktreaktion från OpenAI, Google eller Meta på just Amodeis nya trestegsplan.

Meta har samtidigt varit betydligt mer skeptiskt till åtgärder som riskerar att sakta ner amerikanska AI-bolag. Mark Zuckerberg har argumenterat för att även relativt korta förseningar kan få strategiska konsekvenser i konkurrensen med Kina.

Det visar hur svår själva kärnfrågan är.

Nästan alla kan vinna på att säkerheten förbättras. Men inget bolag vill vara det enda som offrar tekniskt försprång för att åstadkomma det.

Vill köpa tid för säkerhetsarbetet

Amodei argumenterar för att även en relativt begränsad inbromsning kan få stor betydelse.

Om den mest avancerade AI-utvecklingen kan skjutas fram ett eller två år skulle den tiden kunna användas till att stärka flera områden där han anser att säkerheten fortfarande ligger efter.

Ett handlar om den tekniska säkerheten kring enorma träningssystem och datacenter.

Ett annat är alignment – hur man säkerställer att mycket kraftfulla modeller faktiskt agerar i linje med människors intentioner.

Han pekar också ut interpretability, alltså möjligheten att förstå vad som händer inne i modellerna, som ett område där forskningen behöver komma längre.

Det fjärde problemet är själva testningen.

Ju smartare systemen blir, desto svårare kan det bli att veta om de uppför sig säkert därför att de faktiskt är säkra – eller därför att de förstått att de blir testade.

Anthropic sitter självt mitt i kapplöpningen

Det är det som gör Amodeis besked särskilt anmärkningsvärt.

Anthropic är inte en extern säkerhetsorganisation som betraktar AI-boomen från sidan.

Företaget utvecklar Claude och konkurrerar direkt med OpenAI, Google och andra om några av världens mest avancerade AI-system, företagskunder, forskare och enorma investeringar.

Amodei argumenterar därmed för en begränsning som också skulle kunna göra hans eget företag långsammare.

Samtidigt finns ett tydligt egenintresse även i motsatt riktning. Om branschen inför gemensamma säkerhetskrav slipper Anthropic välja mellan att bromsa ensamt och att fortsätta i ett tempo som företagets vd själv anser kan bli farligt.

Den stora frågan är därför inte längre bara om världens AI-chefer kan se riskerna.

Flera av dem verkar nu göra det.

Frågan är om konkurrenterna kan komma överens om att faktiskt trycka på bromsen innan någon annan gör det åt dem.