Å sammenligne intelligens er vanskelig nok mellom mennesker. Å gjøre det mellom maskiner — på en måte som gir mening for ingeniører, ledere og brukere — er enda vanskeligere. AI-industrien har løst dette med benchmarks: standardiserte testbatterier der modeller løser tusenvis av oppgaver og skårene sammenlignes. Resultatet er rangeringslister som fyller teknologimedienes forsider, men bak tallene skjuler det seg metodiske utfordringer som industrien stadig kjemper med.

6M+
Menneskelige stemmer i LMArena (2026)
90 %+
Frontmodeller på MMLU og HumanEval — mettet
448
Spørsmål i GPQA, skrevet av eksperter med ph.d.

De klassiske benchmarkene

De fleste benchmark-diskusjoner starter med et knippe etablerte datasett som har blitt industristandard. Her er de viktigste:

MMLU og HumanEval: fra gullstandard til mettede kuriosum

Da MMLU ble lansert i 2021, var det en revolusjon: for første gang kunne man teste en modell på 57 fagdisipliner — fra medisin og jus til astronomi og statsvitenskap — i ett samlet datasett. For noen år siden var det få modeller som klarte over 50 prosent. I dag scorer de sterkeste frontmodellene over 90 prosent, og forskjellene mellom dem er knapt målbare innenfor benchmarkens statistiske margin.

Det samme gjelder HumanEval, OpenAIs kodegenereringsbenchmark med 164 Python-oppgaver. Toppmodeller løser nå mer enn 90 prosent av problemene. Benchmarken ble designet for modeller som var langt svakere enn dagens, og har mistet evnen til å skille det gode fra det eksepsjonelle.

Neste generasjon: GPQA, SWE-bench og AIME

Feltet har respondert med vanskeligere tester. GPQA Diamond er laget nettopp for å overleve AI-fremgangen: spørsmålene er skrevet av eksperter med ph.d. innen biologi, fysikk og kjemi, og er eksplisitt utformet slik at ikke-eksperter med fri internett-tilgang bare svarer riktig på rundt 34 prosent. Eksperter i fagfeltet selv klarer rundt 65 prosent. Tidlige toppmodeller lå under 40 prosent da benchmarken kom i 2023; nyere modeller ligger vesentlig høyere, men det er fremdeles stor spredning.

SWE-bench tar en fundamentalt annerledes tilnærming: i stedet for flervalgsspørsmål gir man modellen en ekte kodebase og en ekte feilrapport fra GitHub, og ber den generere en patch som faktisk løser feilen. SWE-bench Verified ble publisert i august 2024 i samarbeid med OpenAI og består av 500 menneskelig validerte problemer screenet av 93 programvareutviklere. Fordi oppgavene krever at modellen forstår store kodebaser og skriver kode som passerer automatiserte tester, anses benchmarken som mer nærstående til faktisk arbeidslivsrelevans enn flervalgstester.

AIME bruker problemer fra den prestisjetunge amerikanske matematikkolympiaden. Oppgavene dekker algebra, geometri, talteori og kombinatorikk, og svarene er heltall mellom 0 og 999 uten delpoeng. Scoringen krever korrekt svar — ikke bare tilnærmelse. Fremgangen har vært dramatisk: der toppmodeller for to år siden sleit med å løse mer enn et mindretall av oppgavene, overgår de i 2025–2026 klart de beste videregående matematikkonkurrentene på de samme problemene.

Når et mål blir et mål, slutter det å være et godt mål — Goodharts lov forklarer mye av det som er galt med benchmark-konkurransen i AI-industrien.

Menneskelig preferanserangering: LMArena

En fundamentalt annerledes evalueringsfilosofi ligger bak Chatbot Arena, lansert av LMSYS-gruppen ved UC Berkeley og publisert som ICML 2024-paper. Plattformen — omdøpt til LMArena og siden Arena AI i januar 2026 — lar brukere stille sine egne spørsmål til to anonyme modeller og stemme på den responsen de foretrekker. Resultatet aggregeres via Bradley-Terry-modellen, en statistisk metode for parvise sammenligninger som er kjent fra sjakk-ELO-systemer.

Styrken er at oppgavene er ekte: brukere tar med seg sine faktiske behov, ikke utvalgte testscenarier. Dette gir høyere økologisk validitet — resultatene speiler faktisk brukererfaring. Per 2026 har plattformen samlet over seks millioner stemmer og rangerer over 300 modeller på tvers av kategorier som koding, matematikk, kreativ skriving og flertursdialog. Arena Expert, lansert november 2025, er enda strengere: kun de 5,5 prosent mest komplekse spørsmålene regnet etter dybde og spesifisitet inngår i denne kategorien.

Uavhengig analyse: Artificial Analysis

Der LMArena måler brukerpreferanse, måler Artificial Analysis faktisk ytelse uavhengig av hva AI-laboratoriene selv rapporterer. Plattformen kjører alle evalueringer under identiske betingelser og publiserer resultater på fem dimensjoner: intelligens, utgangshastighet, latens, pris og kontekstvindu. Intelligence Index v4.0 kombinerer ti evalueringer, inkludert GPQA Diamond, Humanity's Last Exam, IFBench og Terminal-Bench Hard, i én samlet indeks.

Artificial Analysis er særlig nyttig for kjøpsbeslutninger: en modell som topper intelligensrankingen kan ha fem ganger høyere pris per million tokens enn et alternativ som scorer marginalt lavere. Plattformen dekker per 2026 over 500 språkmodeller fra mer enn 50 leverandører.

Ingen enkelt benchmark forteller hele sannheten. Serios AI-evaluering krever kombinasjon av oppgavebaserte tester, menneskelig preferanserangering og uavhengig måling av hastighet og kostnad — fordi en modell kan toppe én liste og komme til kort på en annen.

Kritikken: forurensning, Goodhart og manglende realisme

Benchmark-basert evaluering av AI-systemer er underlagt tre gjennomgående kritikker som feltet ennå ikke har løst:

Benchmark-forurensning

Benchmark-forurensning (contamination) oppstår når testoppgavene fra et kjent datasett lekker inn i treningsdataene til en modell. Fordi de fleste frontmodeller trenes på store deler av det offentlige internett, er dette en reell fare: benchmarkspørsmål publiseres på nettet, diskuteres i forum og havner i treningsskraping. Forskning har funnet overlapp på over 45 prosent i noen QA-datasett, og GPT-4 klarte å gjette maskerte MMLU-svar korrekt i 57 prosent av tilfellene — noe som tyder på at det spesifikke innholdet er kjent fra trening, ikke resonert frem. Nyere benchmarks som SWE-bench Verified har tatt grep ved å holde testsplittet privat.

Goodharts lov

Goodharts lov — når et mål blir et mål, slutter det å være et godt mål — forklarer et sentralt paradoks: jo mer ressurser AI-laboratoriene bruker på å forbedre skåren på et bestemt benchmark, jo raskere mister benchmarken sin evne til å si noe meningsfullt. Modeller kan finjusteres for å prestere spesielt godt på spørsmålsformat, valgmønstre eller typiske svarstrukturer i en test, uten at den underliggende kapasiteten øker tilsvarende. I 2025 kom det også frem at Chatbot Arena hadde vært gjenstand for udekket privat testing fra noen leverandører, noe som skapte debatt om integriteten til rangeringen.

Manglende økologisk validitet

Selv upåklagelig gjennomførte benchmarks lider under et grunnleggende problem: testoppgavene er ikke de samme som oppgavene brukere faktisk har. MMLU måler evne til å svare riktig på flervalgsspørsmål; de fleste profesjonelle oppgaver krever åpne svar, langsiktig kontekst og samarbeid. SWE-bench er et skritt i riktig retning, men dekker bare Python-repositories fra et bestemt utvalg. AIME måler matematikk på konkurranse-nivå, men de fleste brukere trenger ikke olympiade-matematikk — de trenger pålitelig hjelp med hverdagslige beregninger og forklaringer uten hallusinasjoner. Gapet mellom benchmark-skår og faktisk brukeropplevelse er fortsatt signifikant, og det er en av hovedgrunnene til at menneskelig preferanserangering via plattformer som Arena AI vinner terreng.