En skadevare-kampanje rettet mot AI-utviklere har skapt uro i miljøet rundt åpen AI-forskning. Et ondsinnet repository på modellplattformen Hugging Face fremstilte seg som en offisiell utgivelse fra OpenAI, men inneholdt i realiteten infostealer-programvare designet for å stjele informasjon fra Windows-maskiner. Det er sikkerhetsfirmaet HiddenLayer som har avdekket angrepet, ifølge AI News.

Kvart million nedlastinger før varsling

Før repoet ble oppdaget og fjernet, hadde det registrert rundt 244 000 nedlastinger. HiddenLayer understreker imidlertid at dette tallet trolig ikke reflekterer det faktiske antallet ofre. Angriperne kan ha kunstig blåst opp nedlastningstallet for å gi modellen et skinn av legitimitet og popularitet — et klassisk sosialt ingeniørtrekk som senker forsvarsviljen hos potensielle ofre.

Nedlastningstallet kan ha vært kunstig oppblåst av angriperne for å gjøre modellen fremstå mer populær og troverdig.

Om og i hvilken grad maskiner faktisk ble kompromittert, er foreløpig ikke verifisert i tilgjengelig kildemateriale. Omfanget av faktisk skade bør derfor behandles med forbehold inntil uavhengige analyser foreligger.

244 000 nedlastinger: Skadevare på Hugging Face utga seg for å være OpenAI - Bilde 1

Hugging Face: Mange lag med sikkerhet — men ikke vanntett

Hugging Face er i dag verdens største åpne plattform for AI-modeller og datasett. Plattformen har implementert en rekke sikkerhetstiltak for å fange opp ondsinnede opplastinger.

Til tross for disse lagene av beskyttelse har plattformen ved flere anledninger hatt problemer med å fange opp sofistikert skadevare. Allerede i februar og mars 2024 ble over 100 ondsinnede AI-modeller oppdaget på Hugging Face, ifølge forskningskilder. Angripere har utnyttet svakheter i Pickle-serialiseringsformatet — blant annet ved å komprimere modeller med 7z-format i stedet for standard ZIP, noe som tillater ondsinnet kode å kjøre før sikkerhetsscanneren Picklescan fullfører analysen.

Falsk autoritet som angrepsvektor

Det som skiller denne hendelsen fra tidligere tilfeller, er bruken av OpenAIs merkenavn som sosial manipulasjon. Ved å imitere en kjent og anerkjent aktør øker sjansen for at brukere laster ned uten å verifisere kilden grundig. Dette er en variant av klassisk merkevareforfalskining, men nå rettet mot AI-utviklersamfunnet.

Å utgi seg for å være OpenAI er ikke tilfeldig — det er en bevisst strategi for å omgå sunn skepsis hos teknisk erfarne brukere.

Eksperter fra New Jersey Cybersecurity and Communications Integration Cell (NJCCIC) anbefaler at AI-utviklere aktivt bruker verktøy som Huntr — en bug-bounty-plattform spesifikt utviklet for AI-modeller og -plattformer — og opprettholder oppdaterte sikkerhetspraksiser. I tillegg anbefales det å foretrekke sikrere serialiseringsformater som Safetensors fremfor Pickle der det er mulig.

Strukturell sårbarhet i åpent AI-økosystem

Hendelsen peker på en grunnleggende spenning i det åpne AI-økosystemet: Jo enklere det er å dele og laste ned modeller, desto lettere er det også å misbruke tilliten som er bygget opp rundt anerkjente aktører. Hugging Face har millioner av modeller tilgjengelig, og skaleringsutfordringen for sikkerhetskontroll er betydelig.

Sikkerhetstilbudet vokser — Responsible AI Labs (RAIL) hos Hugging Face utvikler blant annet agent-sikkerhetspipelines med forhåndsevaluering av verktøykall og deteksjon av prompt injection. Men denne saken viser at tekniske tiltak alene ikke er tilstrekkelig når angriperne bruker sosial manipulasjon like mye som tekniske smutthull.

Hugging Face har ikke offentlig kommentert den konkrete hendelsen i tilgjengelig kildemateriale per publiseringsdato.