Det kinesiska AI-bolaget Moonshot har medvetet försämrat sin nya AI-modells förmåga att hjälpa till med cyberangrepp. Men trots säkerhetsåtgärderna klarar Kimi K3.1 Pro fortfarande 81 procent av uppgifterna i bolagets eget hacktest. Nu förbereder företaget en publicering som gör det möjligt för andra att köra och modifiera modellen.

Moonshot AI har valt en ovanlig väg för att minska riskerna med sin nya AI-modell Kimi K3.1 Pro. I stället för att enbart förlita sig på säkerhetsfilter som kontrollerar modellens svar har bolaget tagit bort delar av det material som används under träningen.

Syftet är att göra modellen mindre skicklig på offensiva cyberuppgifter, utan att samtidigt försämra dess allmänna programmeringsförmåga.

Beslutet kommer inför den planerade publiceringen av modellens fullständiga vikter senast den 4 november 2026. När de blir tillgängliga kan andra utvecklare köra modellen på egen utrustning och vidareutveckla den utan att använda Moonshots servrar.

Tog bort träningsmaterial om cyberangrepp

Enligt Moonshots tekniska redovisning av Kimi K3.1 Pro har företaget genomfört två förändringar i modellens träning.

Cyberrelaterat material har tagits bort från en mellanliggande träningsfas. Dessutom har bolaget filtrerat bort cyberrelaterade övningsmiljöer från förstärkningsinlärningen, där AI-modellen tränas genom att lösa uppgifter och förbättra sina resultat.

Vanliga programmeringsuppgifter har däremot behållits.

Det innebär inte att Kimi K3.1 Pro har förlorat möjligheten att analysera programkod eller identifiera säkerhetsbrister. Sådana färdigheter överlappar i hög grad med legitim programmering och cybersäkerhetsarbete.

Moonshot försöker i stället begränsa modellens förmåga att själv genomföra avancerade angrepp mot sårbar programvara.

Klarar fortfarande 81 procent av hacktestet

Bolagets egna resultat visar att åtgärderna haft en mätbar effekt. Men de visar också hur mycket den nya modellens förmåga har utvecklats jämfört med föregångaren.

I testet xdev-bench-hard redovisar Moonshot följande resultat:

Resultaten innebär att Moonshots säkerhetsåtgärd minskade andelen klarade uppgifter med 9,5 procentenheter.

Samtidigt klarar den begränsade modellen mer än dubbelt så stor andel av testuppgifterna som föregångaren Kimi K3.

Det är den tydligaste motsättningen i företagets resultat. Moonshot har enligt sina egna mätningar lyckats minska en riskabel förmåga, men den nya modellen är ändå avsevärt skickligare på samma slags uppgifter än den tidigare generationen.

Vad betyder egentligen 81 procent?

Testresultatet behöver sättas i sitt sammanhang.

Xdev-bench-hard består av kontrollerade uppgifter där AI-modellen ska försöka utnyttja sårbarheter i programvara. Testmaterialet omfattar bland annat Linuxkärnan, Node.js och JavaScriptCore.

Modellen får tillgång till sårbar programkod, en ledtråd om felet och ett kompilerat program. Därefter ska den utveckla en fungerande exploatering.

Siffrorna bygger på måttet pass@3, där modellen får möjlighet att lyckas inom tre försök. Testet saknar dessutom hårda tidsgränser och begränsningar av antalet genererade token.

Att modellen klarar 81 procent av uppgifterna betyder alltså inte att den lyckas med 81 procent av verkliga hackerattacker.

I ett verkligt angrepp kan informationen om ett systems svagheter vara betydligt mer begränsad. Angriparen kan också möta försvar som inte ingår i testmiljön.

Resultaten visar hur modellen presterar under just dessa testförhållanden. De har inte heller verifierats oberoende.

Därför förändras säkerheten när modellen släpps fri

Moonshots beslut handlar inte bara om modellens nuvarande förmågor. Det handlar också om vad företaget kommer att kunna kontrollera efter den 4 november.

När en AI-modell erbjuds genom en vanlig webbtjänst eller ett API körs den på leverantörens servrar. Företaget kan då övervaka användningen, införa begränsningar och uppdatera säkerhetssystemen.

Med tillgängliga modellvikter fungerar det annorlunda.

Den som laddar ner modellen kan köra den på egen infrastruktur. Centrala säkerhetsändringar från Moonshot behöver då inte påverka redan nedladdade kopior.

Andra aktörer kan dessutom finjustera modellen med ytterligare träningsmaterial. Det innebär inte att borttagna kunskaper automatiskt går att återskapa, men det gör utvecklarens kontroll över framtida användning betydligt mindre.

Problemet är inte begränsat till Moonshot. Frågan om varför avancerade AI-modeller inte alltid släpps fritt har blivit viktigare i takt med att modellerna fått större förmåga att skriva kod och utföra uppgifter självständigt.

Stark programmeringsförmåga trots begränsningarna

Moonshot vill samtidigt behålla det som gör Kimi K3.1 Pro användbar för utvecklare.

Modellen uppges ha omkring 2,8 biljoner parametrar och ett kontextfönster på en miljon token. På programmeringstestet Terminal-Bench 4.0 rapporterar företaget ett resultat på 65,7 procent.

Det visar vilka egenskaper bolaget försöker bevara samtidigt som vissa offensiva cyberfärdigheter begränsas.

Gränsen är svår att dra. En AI-modell som är bra på att förstå komplicerad programkod kan vara värdefull både för den som vill skydda ett system och för den som försöker angripa det.

Det finns redan exempel på hur AI-agenter använts vid intrång mot webbplatser. Men Moonshots redovisade tester är inte bevis för att Kimi K3.1 Pro har använts i sådana verkliga angrepp.

Kimi K3.1 Pro finns redan tillgänglig genom företagets egna tjänster och API. Nästa avgörande steg är publiceringen av modellvikterna, som planeras senast den 4 november.

Då kommer fler utvecklare att kunna undersöka och använda modellen själva. Samtidigt blir det svårare för Moonshot att styra hur tekniken vidareutvecklas.

Bolagets resultat visar att det går att minska vissa cyberförmågor genom förändringar i träningen. De visar ännu inte hur väl begränsningarna står emot framtida vidareutveckling eller missbruk utanför företagets egen testmiljö.