Et internt sikkerhetsdokument fra Amazon skal ha vært en av utløserne bak USAs beslutning om å stenge utenlandske brukeres tilgang til Anthropics toppmodeller Fable 5 og Mythos 5. Det melder Wall Street Journal, ifølge The Verge.

Amazon-forskning i sentrum

Ifølge WSJs rapport hevder Amazons papir at selskapet, gjennom en serie målrettede instruksjoner til modellen, klarte å få Fable 5 til å produsere informasjon som potensielt kan brukes i cyberangrep. Amazon-sjef Andy Jassy skal deretter ha hatt direkte samtaler med representanter fra Det hvite hus om funnene. Amazon har foreløpig ikke kommentert saken offentlig, ifølge The Verge.

Resultatet ble et eksportkontrolldirektiv der den amerikanske regjeringen ba Anthropic om å suspendere tilgangen for utenlandske statsborgere til begge modellene.

Amazons funn og Jassys direkte kontakt med Det hvite hus ser ut til å ha vært avgjørende for det amerikanske eksportforbudet.
Amazons sikkerhetsforskning utløste USAs forbud mot Anthropics AI - Bilde 1

Anthropic tilbakeviser alvoret

Anthropics egne vurderinger tegner et mer nyansert bilde. Selskapet bekrefter å ha gjennomgått en demonstrasjon av en «spesifikk teknikk» som ble brukt til å identifisere et lite antall sårbarheter — men understreker at disse allerede var kjente og klassifisert som mindre alvorlige. Ifølge selskapet kan de samme sårbarhetene oppdages ved hjelp av andre, offentlig tilgjengelige AI-modeller uten behov for noe omgåingsforsøk.

Anthropics standpunkt er at et smalt potensielt sikkerhetshull ikke bør være grunnlag for å trekke tilbake en kommersiell modell som allerede er i bruk hos hundrevis av millioner mennesker.

«Pliny the Liberator» og jailbreak-påstander

Saken har også en annen tråd. En person kjent under pseudonymet «Pliny the Liberator», velkjent i AI-sikkerhetsmiljøer for å spesialisere seg på å omgå AI-sperrer, hevdet kort tid etter Fable 5s lansering å ha «frigjort» modellen ved hjelp av avanserte flerlagsteknikker. Vedkommende rapporterte å ha fått ut sensitiv informasjon innen blant annet cybersikkerhet, kjemi og sprengstoff.

Anthropics gjennomgang av de delte eksemplene konkluderte derimot med at flere av dem ikke engang stammet fra Fable 5, og at de som faktisk gjorde det, kun inneholdt generell, offentlig tilgjengelig informasjon.

Anthropic hevder at ingen av de demonstrerte omgåingsteknikkene deaktiverer de kritiske klassifiseringssystemene som opererer utenfor selve modellen.

Sikkerhetseksperter: Sterke nok mot opportunister

Etay Maor, visepresident for trusselintelligens i Cato Networks, mener Fable 5s beskyttelsesmekanismer er robuste nok til å stoppe opportunistiske angripere. Han advarer likevel mot å tro at høy terskel er nok mot avanserte aktører: dersom én metode blokkeres, vil sofistikerte angripere ganske enkelt skifte til alternative tilnærminger som kontekstmanipulering eller abstraksjonssteknikker, ifølge Maor.

Han peker også på en kjent avveining i sikkerhetsdesign: klassifiseringssystemer som stilles for strengt, gir falske positive — og risikerer å blokkere legitim og nyttig bruk.

0,05%
Andel forespørsler som utløser sikkerhetsklassifisering
1 000+
Timer ekstern bug bounty-testing uten universelt sikkerhetshull

Hva skjer videre?

Amazon har ikke besvart forespørsler om kommentar, og det er foreløpig uklart nøyaktig hva det interne sikkerhetsdokumentet konkluderer med utover det WSJ refererer. Saken illustrerer uansett en tiltagende spenning mellom AI-selskapers kommersielle interesser og myndighetenes voksende bekymring for at kraftige modeller kan misbrukes til offensiv cyberkrigføring — og spørsmålet om hvem som egentlig skal sette terskelen for hva som er «trygt nok».

Kilder: The Verge, Wall Street Journal (via The Verge)