Spørsmålet kommer ofte midt i et prosjekt. Vi har bygget en arbeidsflyt rundt en AI-modell, alt fungerer, og så ringer noen fra juridisk og spør hvor dataene egentlig ligger. Den samtalen ender ofte med at vi flytter modellen fra en sky-leverandør og over på en maskin vi selv kontrollerer.
Det er ikke alltid riktig svar. Men det er heller ikke det skremmende, dyre prosjektet folk har lært å frykte. Her er det vi har lært av å gjøre det for en del norske bedrifter.
Når sky er det riktige valget
Vi sier sky først, fordi det er det riktige svaret for de fleste prosjekter de fleste ganger.
Hvis bruken er ujevn, eller hvis prosjektet er nytt og du fortsatt finner ut om det er liv laga, gir sky den fleksibiliteten du trenger. Du betaler for det du bruker. Du slipper å ansette noen til å drifte maskinvare. Du kan bytte modell uten å flytte hardware.
Hvis dataene ikke er sensitive, hvis prosjektet er kortlivet, eller hvis kostnaden ved nedetid er lav, er sky som regel raskest og billigst. Det er sjelden verdt å gå rundt det.
Når egen maskinvare begynner å gi mening
Det er tre forhold som kan tippe regnestykket.
Det første er data. Visse typer informasjon, helsejournaler, kommunale klientregistre, sensitiv finansiell informasjon, har enten regulatoriske eller kontraktuelle bindinger som gjør utlevering til en amerikansk skyleverandør komplisert. Selv EU-regioner løser ikke alt, fordi sub-prosessorene fortsatt kan ligge i USA på papiret. Når juridisk vil ha full kontroll over hvor en byte kan havne, har du fortsatt rom å manøvrere i, men det blir trangt.
Det andre er bruk. En modell som kjører jevnt og tungt hele døgnet er ofte billigere på egen maskinvare etter ni til tolv måneder. Sky-leverandørenes prismodell er bygget for at variabel bruk skal være billig og konstant bruk skal være dyrt. Hvis du bruker en GPU 90 prosent av tiden, betaler du en stor margin for fleksibilitet du ikke nyttiggjør deg av.
Det tredje er kontroll. Når du eier maskinen, eier du også oppetiden, oppgraderingstakten og hva som skjer den dagen leverandøren endrer prisingen. For noen prosjekter er det greit. For andre er det avgjørende.
Hva «egen maskinvare» faktisk betyr
Vi snakker ikke om å bygge et datasenter.
I praksis er det noen scenarier som dekker det meste vi ser hos norske kunder.
En enkelt server med en eller to GPU-er, leid av en norsk leverandør med driftsavtale. Dette dekker overraskende mye, særlig hvis modellen er liten eller mellomstor og bruken er forutsigbar. Kostnaden ligger ofte i området av en lønnet utvikler per år, samlet, og det erstatter sky-utgifter som lett kan gå mye høyere.
En maskin i bedriftens eget serverrom. Dette gir maksimal kontroll og er fornuftig der nettverket og kjølingen allerede er på plass. Vi har satt opp dette for kunder som hadde et fysisk rom, en strømkapasitet og noen som kunne bytte en disk når den feiler.
En blanding. Treningen kjøres på en leid GPU et eller annet sted i Europa, og inferensen kjøres på en mindre maskin lokalt. Det er en undervurdert kombinasjon for bedrifter som har sensitive bruksdata, men ikke sensitive treningsdata.
Hva det krever av bedriften
Egen drift krever to ting det er greit å være ærlig om.
Det krever at noen i organisasjonen kan ha en mening om vedlikehold. Det trenger ikke være en heltidsperson, men noen må bry seg om at GPU-driveren er oppdatert og at logger samles inn. Vi tar denne rollen for kunder som ikke har noen til det selv.
Det krever en plan for når noe går galt. En GPU dør i blant. En oppdatering bryter noe. Du må ha en avtale om bytte og en backup-strategi. Dette er ikke vanskelig, men det må eksistere før det trengs.
Hva det ikke krever
Egen drift krever ikke ekstrem teknisk kompetanse. De fleste åpne modellene kjører på standard verktøy. Vi setter typisk opp en server, installerer en kjørbar pakke, og lar bedriften interagere med den gjennom et helt vanlig API.
Det krever heller ikke at du eier modellen. Mange tror at «kjøre selv» og «trene fra grunnen av» er det samme. Det er det ikke. Du kan ta en åpen modell, finjustere den på dine egne data, og kjøre den på din egen maskin. Det er en helt vanlig konfigurasjon.
Hva vi pleier å anbefale
For en norsk bedrift som vurderer dette første gang, starter vi som regel med tre spørsmål.
Hva slags data driver dere modellen med, og kan de forlate Norge i klartekst? Hvis svaret er nei, har du en grunn til å se på egen drift fra dag én.
Hvor stabil er bruken? Hvis dere har et jevnt belastningsmønster og en bekreftet business case, kjøper egen maskinvare seg selv inn på rimelig kort tid.
Hvor mye vil dere koble dette til andre interne systemer? Jo mer integrasjon, jo mer betyr det å ha modellen på samme nettverk som resten av infrastrukturen.
Hvis to av tre svar peker i retning av egen drift, er det vanligvis verdt å sette opp et prøveoppsett. Det er sjelden et lukket valg, og det er sjelden vanskelig å bytte tilbake hvis det ikke fungerer.
Det viktigste
Den feilen vi ser oftest er ikke at noen velger feil mellom sky og egen maskinvare. Det er at de gjør valget før de har en oppfatning om hva som faktisk er sensitivt, hva som faktisk koster og hva som faktisk er kritisk for driften.
Få tatt den samtalen først. Beslutningen følger som regel av seg selv.