Fjorten ganger raskere

OpenAI kunngjorde tirsdag at selskapet tester ut et nytt tjenestenivå i API-et sitt, kalt Ultrafast. Tjenesten kjører selskapets modell GPT-5.6 Sol med en hastighet på inntil 750 utdata-tokens per sekund, ifølge OpenAI. Det tilsvarer opptil 14 ganger raskere behandling enn dagens standardnivå.

Et token er den minste tekstbiten en språkmodell behandler, gjerne deler av et ord. Jo flere tokens per sekund en modell klarer å generere, desto raskere kommer svaret – noe som er avgjørende i sanntidsapplikasjoner som talebaserte assistenter, finansanalyser og hendelseshåndtering.

Ifølge OpenAI skal den økte hastigheten ikke gå på bekostning av kvaliteten. Selskapet hevder at Ultrafast-versjonen av GPT-5.6 Sol besvarer forespørsler med samme grad av intelligens som standardmodellen, bare langt raskere.

Cerebras leverer regnekraften

Fartsøkningen skyldes at OpenAI kjører modellen på spesialtilpasset maskinvare fra det amerikanske brikkeselskapet Cerebras, kjent for såkalte wafer-scale-brikker – enorme prosessorer bygget for å håndtere store datamengder parallelt. Cerebras bekrefter samarbeidet i en egen sak, der selskapet skriver at Ultrafast skal gjøre det mulig å akselerere kritiske arbeidsoppgaver der responstid er avgjørende.

OpenAI peker på at utviklere lenge har måttet velge mellom hastighet og intelligens: Jo større og mer avanserte modellene blir, desto mer regnekraft og dataflytting krever de, noe som normalt bremser svartiden. Ultrafast skal ifølge selskapet fjerne denne avveiningen for GPT-5.6 Sol.

Verken hastighetstallene eller påstandene om uendret kvalitet er uavhengig verifisert. Tallene stammer fra OpenAI og samarbeidspartneren Cerebras selv.

Foreløpig bare for et fåtall

Tjenesten er per nå kun tilgjengelig for en avgrenset gruppe kunder, og OpenAI har ikke offentliggjort pris eller dato for full lansering. Ifølge nettstedet Tech Times er det heller ikke publisert noen egen modell-ID for Ultrafast-versjonen ennå, noe som tyder på at tjenesten fortsatt er på et tidlig forsøksstadium.

For utviklere som allerede bruker OpenAIs API, skal overgangen til Ultrafast bli enkel den dagen tilgang gis, ifølge samme kilde. Det tekniske grensesnittet skal i stor grad forbli det samme som for standardnivået.

Aktuelt for norske AI-satsinger

For norske virksomheter som bygger applikasjoner med tung bruk av kunstig intelligens – for eksempel innen kundeservice, finansanalyse eller sanntids talestyring – kan langt kortere svartid bety at flere bruksområder blir praktisk mulige. I dag er ventetid ofte den største hindringen for å ta i bruk store språkmodeller i løsninger som krever umiddelbar respons.

Samtidig er det ingenting i kunngjøringen som tyder på at tilgangen til Ultrafast utvides til det brede markedet med det første. Så lenge tjenesten er begrenset til et fåtall utvalgte kunder i USA, må de fleste norske utviklere fortsette å bruke OpenAIs standardnivå inntil videre.