En fagfelle som ikke sjekket bevisene

I fjor sommer vurderte en fagfelle en artikkel som senere ble antatt til ICML 2026, en av verdens største konferanser for maskinlæring. Artikkelen handlet om et avansert matematisk problem innen algoritmedesign. Fagfellen skrev i sin vurdering at vedkommende ga den lav tillit fordi bevisene ikke var sjekket grundig. Artikkelen ble likevel antatt – med såkalt spotlight-status, en av konferansens høyeste utmerkelser.

Denne detaljen, hentet fram av Hugging Face i et blogginnlegg publisert 13. august, illustrerer et problem som har vokst seg stort i takt med at kunstig intelligens har gjort det raskere å produsere forskning. ICML 2026 mottok 23.918 innsendte artikler og antok 6.352 av dem, omtrent en dobling fra året før. Antallet fagfeller har ikke doblet seg i samme tempo, og de fleste er dessuten frivillige uten nødvendigvis tid eller spisskompetanse til å gå enhver artikkel etter i sømmene.

Hugging Face pekte på at den samme teknologien som bidrar til strømmen av innsendte artikler, også kan brukes til å holde tritt med den. Kodeagenter av typen Claude Code, Codex og Cursor kan lese en artikkel, skrive kode, kjøre eksperimenter og rapportere tilbake på egen hånd. Det som tidligere tok en fagfelle en hel helg å kontrollere, kan en agent nå forsøke på en ettermiddag – og gjøre det parallelt, tusenvis av ganger.

19 dager, 1.221 deltakere

Fra 15. juli til 2. august arrangerte Hugging Face det de selv kaller «ICML 2026 Open Reproductions», en dugnad der hvem som helst kunne velge en antatt artikkel, hente ut dens sentrale påstander og forsøke å etterprøve dem med eget verktøy. Deltakerne fikk 20 dollar i skyregnekraft fra Hugging Face og kunne bruke hvilken som helst kodeagent de foretrakk, blant dem Claude Code, Codex, Cursor og OpenResearchs orx.

Hver etterprøving endte i det Hugging Face kaller en Trackio-loggbok: en offentlig tilgjengelig side med analyse, kode, resultater og – i mange tilfeller – hele kjøringssporet til agenten. Der en fullstendig etterprøving var umulig, for eksempel fordi datasettet var eid av et selskap eller modellvektene aldri ble utgitt, kjørte deltakerne forenklede tester på syntetiske data som etterlignet originalens egenskaper.

Til slutt gikk en automatisert dommer – en åpen språkmodell kalt GLM-5.2 – gjennom hver loggbok og satte en dom per påstand: bekreftet, avkreftet, forenklet test eller uavklart. Dommeren var eksplisitt instruert til ikke å stole på forfatternes egen vurdering av sitt arbeid.

Resultatet var, etter Hugging Faces egne ord, trolig den største etterprøvingen av en vitenskapelig konferanse som noen gang er gjennomført: 1.221 personer deltok, 6.816 loggbøker ble publisert, 2.226 artikler ble forsøkt etterprøvd – litt over en tredel av alle antatte bidrag – og 35.908 enkeltpåstander fikk en dom.

Bare halvparten holdt vann

Tallene Hugging Face la fram, tegner et sammensatt bilde. Av de 2.226 artiklene som ble undersøkt, fikk 51 prosent, tilsvarende 1.103 artikler, minst én påstand uavhengig bekreftet. Av disse ble 266 artikler fullstendig bekreftet på alle punkter, mens 632 ble delvis bekreftet uten at noe ble motbevist.

Samtidig hadde 23 prosent, 496 artikler, minst én påstand som enten ble avkreftet eller der uavhengige team kom til motstridende konklusjoner om samme påstand. I 49 av disse artiklene ble samtlige påstander avkreftet. I hele 242 artikler kom ulike team til stikk motsatte domme om de samme påstandene – noe Hugging Face selv trekker fram som et av de mest interessante funnene. Resten, 502 artikler, hadde kun forenklede tester som grunnlag, mens 280 artikler endte uavklart, oftest fordi nødvendig materiale manglet.

Hugging Face understreker et poeng som er lett å overse: etterprøvbarhet er ikke et spørsmål om ja eller nei. Når hundrevis av uavhengige forsøk på å gjenskape de samme resultatene ender med motstridende svar, er det et tegn på at usikkerheten i forskningsfronten er større enn den polerte artikkelteksten gir inntrykk av.

Beviset som falt etter 224 steg

Blant funnene som fikk mest oppmerksomhet, var nettopp artikkelen fagfellen hadde advart mot uten selv å sjekke bevisene. Artikkelen, «Towards Optimal Robustness in Learning-Augmented Paging», hevdet at algoritmen oppnådde en bestemt matematisk robusthetsgrense. En deltakers loggbok målte i stedet at et tilleggsledd i formelen vokste i takt med utvalgsstørrelsen på en måte som motsa påstanden, og pekte ut nøyaktig hvilket trinn i beviset som sviktet. Hugging Faces eget team utvidet testen videre og bekreftet avviket med det de beskriver som ni standardavviks sikkerhet.

Et annet eksempel gjaldt en artikkel om oppmerksomhetsmekanismer i transformermodeller, der beviset skulle vise at visse matematiske punkter alltid trekker mot origo. Tre uavhengige team fant moteksempler, men først etter henholdsvis 224, om lag 3.800 og 6.416 beregningssteg – noe som forklarer hvorfor andre team som stanset testen tidligere, hadde konkludert med at påstanden holdt. Forfatterne bekreftet feilen samme dag og arbeider nå med en løsning, ifølge Hugging Face.

I en tredje artikkel, om selvdistillasjon i kontinuerlig læring, fant en deltaker at selve teorien i artikkelen bygget på ett matematisk avstandsmål, mens koden som faktisk genererte resultatene, brukte et annet. Forfatterne har allerede lastet opp en oppdatert versjon til fagfellearkivet arXiv. I en fjerde sak, om en effektiviseringsteknikk for transformermodeller, oppdaget en deltaker at rundt to tredeler av datapunktene som ble evaluert, var fylltegn som kunstig senket feilmarginen – slik at et oppgitt kvalitetstap på 3,1 prosent i realiteten var nærmere 9,4 prosent.

Når motbevisningen selv var feil

Hugging Face var like grundig med sine egne deltakeres påstander om motbevisning som med artiklene selv. 35 deltakere hevdet formelt å ha avkreftet en påstand, og alle disse ble kontrollert på nytt gjennom fornyet lesning av artikkelen, loggboken og egen etterregning av matematikken eller eksperimentene.

Ett eksempel viste at kontrollen også kan avsløre feil hos dem som etterprøver. En loggbok hevdet at en foreslått metode var dobbelt så treg som referansemetoden den skulle konkurrere med, men det viste seg å skyldes en regnefeil i selve etterprøvingen: tid per enkeltforsøk ble sammenlignet med tid per samlebolk på femti forsøk. Korrekt normalisert bekreftet deltakerens egne tall i stedet den opprinnelige artikkelens påstand om en åttedobling i hastighet.

Hugging Face har nå startet en prosess med å kontakte forfatterne bak samtlige bekreftede funn, med et enkelt spørsmål: her er det vi fant og bevisene for det – er dere enige, eller har vi gjort en feil i vår analyse? Ifølge selskapet har de tidlige tilbakemeldingene vært positive, med flere bekreftede funn og to pågående korrigeringer på arXiv. I ett tilfelle hadde en forfatter allerede rettet feilen stille i en ny arXiv-versjon en måned før dugnaden fant den samme feilen på egen hånd.

Menneskets nye rolle

Hugging Face bruker funnene til å svare på et spørsmål de mener blir stadig mer presserende: har mennesker fortsatt en rolle i vurderingen av forskning når agenter kan gjøre eksperimentene selv? Selskapets konklusjon er ja, av to grunner.

For det første støter ren agentkjøring på reelle begrensninger. Agenter kunne sette seg fast i gjentakende løkker, mistolke oppførsel som først viser seg ved større skala – flere av de foreløpig «bekreftede» dommene på pagineringsartikkelen skyldtes nettopp tester som stanset før det avvikende mønsteret ble synlig – og i noen tilfeller bygde en hel motbevisning på en feil i måleenhetene. De mest pålitelige resultatene kom fra arbeidsflyter der et menneske styrte underveis: rettet kursen til agenten, stilte spørsmål ved en antakelse, eller avgjorde at premisset for et eksperiment var feil før regnekraft ble kastet bort på det.

For det andre er enkelte vurderinger fortsatt uløselig knyttet til menneskelig skjønn. Vinneren av dugnadens pris for beste menneske-i-løkken-arbeid gjaldt en artikkel som hevdet stabil bildegenerering selv ved sterk komprimering av modellen. De numeriske målene viste ingen sammenbrudd, men spørsmålet om bildene faktisk var brukbare, var av mer estetisk og skjønnsmessig art. Agenten bygde et eget grensesnitt for gjennomgang, og et menneske vurderte personlig alle 128 bildeparene, med vurderingene lagt inn i kodearkivet slik at agenten etterpå kunne kontrollere at de var konsistente.

Hugging Face sammenligner den beste bruken av agentene med hvordan en veileder legger til rette for doktorgradsstudenter: tilgang på riktig regnekraft, verktøy og data, og presis tilbakemelding på rett tidspunkt. De deltakerne som fikk mest ut av sine agenter, var ifølge selskapet de som bygde gode rammer og stilte gode spørsmål – og deretter lot agenten gjøre selve kjøringen.