Ok, her er en du kanskje ikke har fått med deg ennå.

En tråd på Lobsters AI-seksjonen plukker opp Gwerns essay «Human-like Neural Nets by Catapulting» — og kommentarfeltet er faktisk verdt å lese. Gwern er mannen som forutså scaling-hypotesen lenge før det ble mainstream-snakk, så når han legger frem en teori, er det som regel grunn til å lytte.

Kjernetanken er dette: hva om vi trener en modell på et relativt begrenset datasett, men fortsetter treningsprosessen lenge etter at loss-kurven ser ut til å ha flatet ut? Teorien bygger på «grokking»-fenomenet — den observerte effekten der en modell tilsynelatende stagnerer, og så brått generaliserer på en helt annen måte. Gwern spekulerer i at store nok modeller, soumtsatt til kraftig weight decay for å unngå memorisering, kan tvinges til å internalisere mønstre på en måte som ligner mer på menneskelig generalisering enn vanlig statistisk interpolasjon.

Analogien han bruker er søvn: hjernen vår «glemmer» under REM-søvn, og dette ser ut til å styrke — ikke svekke — evnen til å generalisere. Kan overtrening med aggressiv regularisering gjøre det samme for nevrale nett?

Ingen har ennå publisert uavhengige benchmarks som bekrefter effekten i stor skala — men argumentet er ryddig nok til at folk tar det seriøst.
Gwerns 'katapult'-teori eksploderer på Lobsters: Grokking som vei til AGI? - Bilde 1

Det som er interessant akkurat nå, er timingen. Vi er i en periode der den konvensjonelle vissheten om at «bare skaler opp data og parametere» begynner å skrante. Flere aktører melder at rene scaling-gevinster flater ut. I den konteksten virker alternative treningsstrategier — inkludert denne typen intensiv overtrening — mer relevante enn de gjorde for to år siden.

Vær klar over begrensningene her: dette er community-spekulasjon rundt et essay, ikke en fagfellevurdert studie. Ingen har presentert reproduserbare resultater fra store modeller. Og «grokking» er primært demonstrert på relativt enkle oppgaver — om det skalerer til frontier-modeller er et åpent spørsmål.

Men det er nettopp den typen spørsmål som beveger seg fra undergrunnen til labene. Følg med på om noen begynner å publisere ablasjoner rundt overtraining-regimer de neste månedene — det kan være et tidlig signal på at noen tester dette mer systematisk.

Kilden er Lobsters og tilhørende HN-diskusjon. Early signal, ikke konklusjon.