HemNyheterApple vill kapa AI-notan – Mac-kluster kör biljonmodell lokalt

Apple vill kapa AI-notan – Mac-kluster kör biljonmodell lokalt

Publicerad

Apple vill flytta avancerad AI från hyrda datacenter till datorer som företagen själva äger. Med nya Mac Studio, Thunderbolt 5 och möjligheten att koppla samman flera Macar har bolaget demonstrerat en AI-modell med en biljon parametrar på ett kluster med fyra datorer. För företag med hög och återkommande AI-användning kan kalkylen bli intressant – men Mac-klustret är långt ifrån en universell ersättare för Nvidia och molnet.

Apples argument är enkelt. Företag som använder stora AI-modeller i molnet betalar löpande för GPU-tid eller för varje mängd data som modellen behandlar. En lokal Mac köps i stället en gång och kan sedan användas utan någon separat tokenavgift för varje AI-körning.

Med de nya generationerna Mac Studio och Mac mini försöker Apple göra den modellen relevant även för betydligt tyngre AI än vad en vanlig arbetsstation tidigare klarat.

Fyra Macar körde en modell med en biljon parametrar

Det mest uppseendeväckande exemplet är Apples demonstration av en modell med omkring en biljon parametrar som kördes över fyra sammankopplade Macar.

Det handlar inte om att varje dator ensam klarar hela modellen. Arbetsbördan delas mellan datorerna, som kommunicerar över Thunderbolt 5 med RDMA-teknik. Det gör att data kan överföras mellan maskinerna med lägre fördröjning och mindre belastning på processorerna.

Apple har byggt stödet runt MLX, företagets ramverk för maskininlärning på Apple Silicon. Det går bland annat att fördela inferens – själva körningen av en färdig AI-modell – mellan flera datorer.

I en demonstration användes fyra Mac Studio för att köra Kimi 2.6, en modell i biljonklassen. Modellen fick bland annat arbeta som kodagent och analysera och korrigera kod.

Det förändrar vilka typer av AI-arbetsbelastningar en lokal Mac-installation kan användas till. Det som tidigare i praktiken krävde ett eller flera kraftfulla Nvidia-kort i en server kan i vissa fall flyttas till ett kluster av stationära datorer.

Svenska Mac-priser börjar under 12 000 kronor

Den nya Mac mini börjar på 11 995 kronor i Sverige, medan den kraftigare Mac mini med M5 Pro börjar på 22 495 kronor.

För AI-kluster är det M5 Pro-versionen som är den mer intressanta av de två. Den har Thunderbolt 5 och kan konfigureras med upp till 64 GB enhetligt minne.

Mac Studio tar steget betydligt längre.

ModellSvenskt startpris
Mac mini M611 995 kr
Mac mini M5 Pro22 495 kr
Mac Studio M5 Max32 995 kr
Mac Studio M5 Ultra72 995 kr

M5 Ultra-versionen av Mac Studio kan konfigureras med betydligt större minnesmängder. Det är viktigt eftersom stora språkmodeller ofta begränsas minst lika mycket av tillgängligt minne som av ren beräkningskraft.

En svensk konfiguration med M5 Ultra, 256 GB enhetligt minne och 4 TB lagring kostar omkring 161 000 kronor. Fyra sådana maskiner innebär en investering på ungefär 646 000 kronor.

Det är mycket pengar för en liten arbetsgrupp. För ett företag som redan spenderar stora belopp varje månad på hyrda GPU:er blir jämförelsen däremot en annan.

Apple erbjuder också en Mac Studio med upp till 512 GB minne, men den versionen börjar levereras först mot slutet av oktober.

Den som vill se hur Apples mindre stationära modeller fungerar i praktiken kan även läsa Hurbra:s test av Mac mini M6.

Därför kan lokalt bli billigare än AI i molnet

Molnet har en enorm fördel: företaget behöver inte köpa hårdvaran i förväg. Det går att hyra mycket kraft när den behövs och stänga av resurserna när jobbet är klart.

Problemet uppstår när GPU:erna används nästan hela tiden.

AWS tar exempelvis tiotals dollar i timmen för reserverad kapacitet med åtta Nvidia H100- eller H200-GPU:er i Stockholm. Vid kontinuerlig användning kan kostnaden snabbt nå hundratusentals kronor per månad.

Ett lokalt system innebär i stället en stor engångsinvestering.

Därefter återstår bland annat elektricitet, administration, lagring, nätverk och kostnaden för personal som underhåller AI-miljön. Men det finns ingen separat räkning för varje timme som datorerna arbetar eller varje token som en lokal öppen modell genererar.

Det är denna skillnad Apple försöker utnyttja.

För ett företag som använder samma AI-system åtta timmar om dagen, fem dagar i veckan och år efter år kan ägd hårdvara därför få en betydligt lägre kostnad per körning än molnkapacitet.

För ett företag som bara behöver extrem GPU-kraft några timmar i månaden blir kalkylen nästan den motsatta. Där är molnet fortfarande svårt att slå.

En Mac Studio motsvarar inte åtta Nvidia H100

Det är samtidigt lätt att dra jämförelsen för långt.

Att ett Mac-kluster kan köra samma typ av stora språkmodell som en GPU-server betyder inte att systemen levererar samma prestanda.

Nvidias H100 och H200 är specialiserade datacenter-GPU:er. De används i servrar som är byggda för massiv parallell AI-beräkning och backas upp av ett mycket etablerat ekosystem kring CUDA, TensorRT och andra Nvidia-verktyg.

Nvidia flyttar dessutom själv samma idé närmare skrivbordet.

DGX Spark har 128 GB koherent minne och är byggd som en liten personlig AI-dator. Den större DGX Station kan konfigureras med upp till 748 GB koherent minne och är uttryckligen konstruerad för modeller med upp till en biljon parametrar.

Apple är alltså inte ensamt om att försöka flytta stora AI-modeller bort från traditionella datacenter.

Skillnaden ligger framför allt i hur Apple angriper marknaden. Mac Studio är samtidigt en vanlig arbetsstation, använder samma Apple Silicon-arkitektur som andra moderna Macar och kan kopplas samman med Thunderbolt-kablar i stället för att kräva en traditionell GPU-servermiljö.

Apple har publicerat en teknisk genomgång av nya Mac Studio och dess AI- och klusterfunktioner för den som vill gå djupare i hårdvaran.

Kodföretag kan vara bland de stora vinnarna

Ett av de tydligaste användningsområdena är programmering.

AI-agenter som läser stora kodbaser, skriver kod, testar förändringar och letar fel kan kräva stora mängder beräkningar. Om utvecklarna använder verktygen varje arbetsdag kan löpande API- och GPU-kostnader bli betydande.

Ett lokalt AI-system ger dessutom en annan fördel: företagets källkod behöver inte skickas till en extern modelloperatör.

Ett utvecklingsföretag skulle därför kunna ha ett Mac-kluster som intern AI-server och låta flera utvecklare använda samma lokala modell.

Det betyder inte att ChatGPT, Claude eller andra molnmodeller automatiskt kan ersättas. Företaget måste använda en modell som går att köra lokalt, och den måste hålla tillräckligt hög kvalitet för jobbet.

Men för uppgifter där en öppen modell fungerar bra kan kalkylen bli intressant.

Känsliga dokument är ett annat starkt argument

Ekonomin är bara ena halvan av Apples erbjudande.

Den andra är data.

Advokatbyråer, forskningsföretag, industribolag och andra verksamheter kan sitta på dokument, produktinformation eller källkod som de helst inte skickar till externa AI-tjänster.

Med en helt lokal modell kan både informationen och själva AI-bearbetningen stanna på företagets egna datorer.

Det löser inte alla säkerhets- eller regulatoriska frågor. Företaget behöver fortfarande hantera åtkomsträttigheter, säkerhetskopiering, loggar och skydd mot intrång.

Men lokal AI ger en helt annan teknisk grund än en tjänst där dokumenten måste lämna företagets nätverk för att analyseras.

Kreativa företag kan använda samma dator till flera jobb

Mac Studio har redan en etablerad roll hos företag inom video, ljud, grafik och annan kreativ produktion.

Det gör Apples upplägg särskilt intressant där.

En produktionsstudio kan använda samma datorer för traditionellt kreativt arbete och för lokal AI. Hårdvaran behöver alltså inte köpas enbart för en språkmodell.

Det kan förbättra kalkylen ytterligare jämfört med en renodlad GPU-server som bara används för AI.

Samma resonemang kan gälla mindre forsknings- och analysteam som både behöver vanliga arbetsstationer och stora minnesmängder för modeller.

Molnet försvinner inte

Det finns samtidigt många företag där Mac-kluster är fel lösning.

Ett företag med stora variationer i belastningen kan fortfarande tjäna på att hyra datorkraft. Behövs hundratals GPU:er under några dagar är molnet betydligt lättare att skala.

Detsamma gäller tjänster som ska hantera tusentals samtidiga användare eller organisationer vars AI-mjukvara är djupt beroende av CUDA och Nvidias verktyg.

Träning av de allra största modellerna är ytterligare en helt annan klass av problem. Fyra Mac Studio som kan köra en färdig biljonparametersmodell ska inte förväxlas med datacentren som krävs för att träna motsvarande modell från grunden.

Det mest realistiska området för Apple är därför inferens, utveckling och finjustering av modeller som används återkommande inom ett företag.

Apples verkliga utmaning mot Nvidia handlar om AI-notan

Apple behöver inte slå Nvidia i rå GPU-prestanda för att Mac-klustren ska bli relevanta.

Det räcker att göra lokal AI tillräckligt snabb, tillräckligt enkel och tillräckligt billig för en viss grupp företag.

Där finns den verkliga utmaningen.

Ett bolag som varje månad betalar stora summor för GPU-timmar och API-anrop får nu ännu ett alternativ: köpa beräkningskraften, ställa den på kontoret och använda den så mycket det vill.

För sporadisk AI-användning kommer molnet fortfarande vara svårt att slå. Men ju mer kontinuerligt modellerna arbetar, desto mer intressant blir Apples argument.

Mac Studio är därför knappast början på slutet för Nvidia eller molnet. Däremot kan den vara början på en betydligt större marknad för lokal företags-AI – där frågan inte bara är vilken dator som är snabbast, utan vem som kan göra varje AI-körning billigast.

Senaste artiklar

PFOS och fertilitet – vad visar den nya svenska studien?

PFOS, en av de så kallade evighetskemikalierna, kan störa mycket tidiga utvecklingsprocesser i mänskliga...

Hur stora utsläpp har AI-datacenter? Det visar Harvardstudien

Stora amerikanska datacenter orsakar betydande koldioxidutsläpp genom sin elförbrukning. En ny Harvardledd studie uppskattar...

Så tas Sveriges längdåkare ut till Ruka – Bruksvallarna avgör inte allt

Sverigepremiären i Bruksvallarna den 20–22 november blir ett viktigt test inför världscupstarten i Ruka...

SverigeID får avtal för offentliga e-tjänster – det händer nu

SverigeID tar ett nytt steg mot lanseringen den 1 december. Polisen och Digg har...

liknande artiklar

PFOS och fertilitet – vad visar den nya svenska studien?

PFOS, en av de så kallade evighetskemikalierna, kan störa mycket tidiga utvecklingsprocesser i mänskliga...

Hur stora utsläpp har AI-datacenter? Det visar Harvardstudien

Stora amerikanska datacenter orsakar betydande koldioxidutsläpp genom sin elförbrukning. En ny Harvardledd studie uppskattar...

Så tas Sveriges längdåkare ut till Ruka – Bruksvallarna avgör inte allt

Sverigepremiären i Bruksvallarna den 20–22 november blir ett viktigt test inför världscupstarten i Ruka...