Ett ord om gangen

Skriv en setning i en chatbot og se nøye etter: teksten kommer ikke som en ferdig blokk, men dukker opp ord for ord, nesten som om noen skriver den foran øynene dine. Det er ikke en visuell effekt, men slik dagens ledende språkmodeller faktisk fungerer under panseret.

Teknikken kalles autoregressiv generering, forkortet ARM. Modellen forutsier ett token – omtrent et ord eller en orddel – om gangen, og hvert nytt token bestemmes ut fra alt som er skrevet før det. Denne fremgangsmåten ligger bak GPT-modellene fra OpenAI, språkdelen av Gemini fra Google og de fleste andre kommersielle chatboter i dag, ifølge Apples ML-forskningsavdeling.

Metoden fungerer godt, men har en innebygd flaskehals: fordi hvert ord avhenger av det forrige, må beregningene skje i rekkefølge. Det er litt som å bygge et murtårn stein for stein – du kan ikke legge stein nummer ti før stein nummer ni er på plass. Jo lengre teksten blir, desto flere sekvensielle steg må datamaskinen gjennom, selv om maskinvaren i prinsippet kunne gjort mye om gangen.

Alt på én gang

Diffusjonsmodeller, forkortet DLM, angriper problemet fra en annen vinkel. I stedet for å bygge teksten stein for stein, starter modellen med noe som ligner støy eller et utkast fullt av hull, og forbedrer så hele teksten i flere runder – litt som en fotograf som gradvis skjerper fokus på et helt bilde samtidig, i stedet for å fremkalle det piksel for piksel.

Fordi flere tokenposisjoner behandles parallelt i hver runde, kan diffusjonsmodeller i teorien utnytte datamaskinens regnekapasitet mer effektivt. Apples forskere bruker begrepet aritmetisk intensitet om nettopp dette: forholdet mellom hvor mye regnearbeid som gjøres og hvor mye data som må hentes fra minnet. Høyere aritmetisk intensitet betyr som regel at maskinvaren – typisk en GPU – jobber nærmere sin fulle kapasitet i stedet for å vente på dataoverføring.

Forskerne, som er tilknyttet Apple sammen med forskere fra Universitetet i Seoul, University of California, Berkeley og andre institusjoner, kombinerer teoretisk analyse med praktiske målinger for å tallfeste nettopp denne forskjellen mellom de to arkitekturene.

Fordelen forsvinner med lengre tekst

Studiens sentrale funn er mer nyansert enn en enkel seier for den nye teknologien. Diffusjonsmodeller oppnår riktignok høyere aritmetisk intensitet enn autoregressive modeller ved å utnytte parallellitet på tvers av tokenposisjoner. Men denne fordelen skalerer ikke godt når konteksten – altså mengden tekst modellen må forholde seg til – blir lengre, skriver forskerne.

Fordelen er med andre ord størst for korte tekster, og krymper etter hvert som dokumentene, samtalene eller kodebasene modellen jobber med vokser. For lange sammenhenger, som lengre dokumenter eller utvidede samtaler, mister diffusjonsmodellene mye av sitt teoretiske forsprang.

Forskerne foreslår en løsning: blokkvis dekoding, der teksten deles opp i mindre blokker som behandles hver for seg. Dette frikobler aritmetisk intensitet fra sekvenslengden, og gjør at diffusjonsmodeller kan skalere til lange kontekster på en måte som minner mer om autoregressive modeller, ifølge forskerne.

Når mange brukere spør samtidig

Studien tar også for seg et scenario som er avgjørende for enhver tjeneste som driftes i stor skala: batchvis inferens, altså når systemet behandler mange forespørsler samtidig fra ulike brukere – akkurat slik en chatbottjeneste i praksis må håndtere tusenvis av samtaler parallelt.

Her snur bildet seg til fordel for de etablerte modellene. Autoregressive modeller viser overlegen gjennomstrømning fordi de drar større nytte av parallellitet på tvers av forespørsler i en gruppe, konkluderer forskerne. Det diffusjonsmodellene vinner i parallellitet innad i én tekst, taper de altså når mange brukeres forespørsler skal kjøres side om side.

Veien til raskere diffusjon

Apples forskere peker likevel på et konkret sted der diffusjonsmodeller kan hente inn forspranget: antall samplingssteg. Diffusjonsmodeller genererer tekst gjennom flere runder med forbedring, og jo færre runder som trengs, desto raskere blir svaret. Å redusere antallet samplingssteg er nøkkelen for at åpne diffusjonsmodeller skal oppnå lavere ventetid enn autoregressive modeller, skriver forskerne.

Det er en påstand om potensial, ikke et ferdig resultat. Studien er et forskningsarbeid som kartlegger avveininger mellom to arkitekturer – den lanserer ikke et nytt Apple-produkt, og den hevder ikke at diffusjonsmodeller allerede er raskere i praktisk bruk i dag. Det forskerne har levert, er snarere et kart over hvor de to teknologiene har sine styrker og svakheter, og en tydelig retning for hvor videre forskningsinnsats bør rettes.

Hvorfor dette angår mer enn forskere

For norske virksomheter som bruker eller vurderer språkmodeller i sine produkter, krever ikke dette handling ennå – ingen kommersielle diffusjonsspråkmodeller fra store aktører er lansert som erstatning for dagens chatboter. Men studien er et signal om at arkitekturen bak KI-systemer fortsatt er i bevegelse, og at raskere og billigere KI ikke nødvendigvis kommer fra større modeller, men fra grunnleggende endringer i hvordan modellene regner.

Dette har også en side som angår kostnad og energibruk, tema som blir stadig viktigere i takt med at KI-tjenester skaleres opp i både offentlig og privat sektor i Norge. Om blokkvis dekoding og færre samplingssteg på sikt gjør diffusjonsmodeller konkurransedyktige på lange tekster og i stordrift, kan det bety billigere og mer energieffektiv KI-drift – men ifølge denne studien er det ennå et stykke frem dit.