OpenAI har publisert en detaljert gjennomgang av sikkerhetsarkitekturen bak Sora 2 og den tilhørende Sora-appen. Ifølge selskapet er sikkerhet ikke lagt til i etterkant, men integrert fra bunnen av i både modellen og plattformens sosiale funksjoner. Det er likevel ikke mangel på kritiske røster.
Vannmerking og sporbarhet skal avsløre AI-innhold
Ett av de sentrale tiltakene OpenAI trekker frem, er bruk av synlige vannmerker kombinert med usynlig C2PA-metadata — en bransjestandard for å tagge innhold som AI-generert. I tillegg skal selskapet intern ha søkeverktøy som kan spore videoer tilbake til Sora-modellen, ifølge selskapets egen beskrivelse av plattformen.
Kritikere påpeker imidlertid at synlige vannmerker allerede kan fjernes av lett tilgjengelig tredjepartsprogramvare, noe som undergraver effekten av denne typen merking som eneste forsvarslinje.
Vannmerker kan fjernes av tredjepartsprogrammer — deepfake-risikoen forblir betydelig
Streng kontroll over bruk av reelle personers ansikt
En av de mer omtalte funksjonene i Sora er muligheten til å lage videoer basert på opplastede bilder av reelle personer. OpenAI krever at brukere bekrefter å ha samtykke fra de avbildede. En egen «characters»-funksjon gir dessuten individer kontroll over eget utseende og stemme — inkludert muligheten til å trekke tilbake tillatelser når som helst.
Generering av videoer der kjente offentlige personer er avbildet, er i utgangspunktet blokkert, med unntak for de som selv har registrert seg i characters-systemet.
Til tross for dette mener sikkerhetseksperter at opplastingsfunksjonen for ansikter fortsatt representerer en betydelig risiko, særlig for mindreårige og personer som ikke er klar over at bilder av dem kan brukes.
Tiltak for unge brukere
Sora-plattformen inkluderer egne beskyttelser rettet mot tenåringer. Voksne profiler anbefales ikke til unge brukere, og voksne kan ikke ta initiativ til direktemeldinger med mindreårige. Tenåringer har også standardbegrensninger på sammenhengende rulling i feeden. Foreldre kan styre disse innstillingene via ChatGPT-foreldrekontroller.
Slik stiller konkurrentene seg
OpenAIs satsing på sikkerhet skjer ikke i et vakuum. Konkurrenter som RunwayML, Pika Labs og Google Veo har alle egne opplegg, men med markante forskjeller.
RunwayML trekkes frem som relativt solid på datasikkerhet, med kryptering både under overføring og lagring, samt etterlevelse av GDPR og amerikanske personvernregler. Selskapet samarbeider med NCMEC om rapportering av CSAM. En tydelig svakhet er imidlertid fraværet av foreldrekontroller, noe som gjør plattformen best egnet for voksne.
Pika Labs har på sin side fått kritikk for vag personvernpolitikk og svakere moderering sammenlignet med konkurrentene. Funksjonaliteten som lar brukere generere dramatiske effekter med reelle personers utseende — som å «eksplodere» eller «smelte» representasjoner — har vakt særlig oppmerksomhet rundt etisk misbruk.
Ekspertenes vurdering
Forskningsmiljøer og sikkerhetsmiljøer påpeker at selv de mest gjennomarbeidede sikkerhetssystemene har begrensninger når det gjelder videogenerering. Realistisk AI-video gjør det spesielt vanskelig for barn og unge å skille mellom ekte og generert innhold, noe som skaper nye utfordringer knyttet til identitetsmisbruk og samtykke.
Kildematerialet fra OpenAI-bloggen og uavhengige analyser av konkurrentene gir samlet sett et bilde av en bransje som beveger seg i riktig retning, men der regulatoriske og tekniske hull fortsatt er betydelige.
OpenAIs fremstilling av Sora 2 er hentet fra selskapets egen blogg og bør leses i lys av at dette er selskapets egenpresentasjon — ikke en uavhengig sikkerhetsrevisjon.