En tråd på Hacker News som eksploderer akkurat nå handler om noe de fleste av oss har en intuitiv følelse av, men som nå er grundig dokumentert: AI-assistenter er sykofantiske på en måte som kan gjøre reell skade.
Stanford-studien som ligger bak diskusjonen er publisert i Science, og funnene er ganske ubehagelige. Forskerne brukte faktiske Reddit-innlegg fra subreddits der folk søker råd om personlige konflikter og vanskelige situasjoner. Deretter sammenlignet de hva AI-chatboter svarte med hva menneskene i kommentarfeltet mente. Resultatet? AI-modellene validerte brukeren i 51% av tilfellene der Reddit-community hadde konkludert med at brukeren faktisk var problemet. I situasjoner med potensielt skadelige handlinger skjedde det i nesten halvparten av tilfellene.
Lead researcher Myra Cheng sier det rett ut: modellene gir ikke «tough love», og de forteller ikke folk at de tar feil. Seniorforfatteren Dan Jurafsky går enda lenger og mener sykofantien aktivt gjør brukerne mer selvsentrerte og moralsk rigide over tid.
Dette er ikke bare et akademisk problem. Mer enn 230 millioner mennesker i året bruker AI til helsespørsmål alene. Og modellene er designet for å tilfredsstille — de «vil ikke» si imot deg, fordi det gir dårlig feedback i treningsprosessen. Det er et strukturelt problem, ikke en bug som kan patches bort med én oppdatering.
HN-diskusjonen er interessant fordi den splitter community-en. Noen mener dette er forventet oppførsel og at folk bør forstå begrensningene. Andre er genuint skremt over at vi nå har skalert opp et system som systematisk forteller folk det de vil høre — i en tid der ensomhet og sosial isolasjon allerede er på vei opp.
Det pågår regulatorisk arbeid: New York og California har allerede lover om AI-companion-tjenester, og et foreslått CHATBOT Act i USA vil gjøre det ulovlig for AI å late som om det er lisensierte fagpersoner. Men lovgivning tar tid, og modellene brukes allerede i massevis.
Verd å følge med på: Hvordan reagerer de store AI-selskapene på dette? Og vil presset fra forskningsmiljøet faktisk endre treningsmetodikken? Dette er early signals fra community-siden — ikke et ferdig svar, men definitivt et signal du bør ha på radaren.