AWS beskriver på sin ML-blogg del to av en referanseløsning kalt QA Studio, bygget på Amazon Nova Act — lansert i allmenn tilgjengelighet i desember 2025. Der del én viste hvordan enkeltester kan defineres i naturlig språk og kjøres manuelt, handler del to om batchkjøring av regresjonssuiter og integrasjon i automatiserte leveringspipelines.

Hertz oppga at selskapet femdoblet leveringshastigheten etter å ha byttet ut manuell QA med Nova Act. Tallet stammer fra Amazon selv, ikke fra uavhengige målinger. Det peker likevel mot et strukturelt problem: konvensjonelle testskript er bygget rundt CSS-selektorer og element-IDer. Når en designer flytter en knapp eller en utvikler refaktorerer en komponent, brekker testene selv om funksjonaliteten er intakt — noe som over tid fortrenger faktisk produktutvikling.

Parallell kjøring kutter testtid

Kjernen i utvidelsen er testsuiter: samlinger av enkeltbrukstilfeller som kjøres samlet. Når en suite starter, spinnes hvert testtilfelle opp i sin egen isolerte container via Amazon ECS på AWS Fargate. En suite med 20 tester kan dermed kjøre samtidig i stedet for sekvensielt.

Suitene kan organiseres etter formål: røyktester som validerer kritiske stier ved hver deploy, regresjonssuiter som dekker hele applikasjonen, eller integrasjonstester som verifiserer kryssfeature-flyt før en release. QA Studio beholder en longitudinell eksekveringshistorikk per suite, slik at teamet kan skille mellom stabile funksjoner og de som viser tilbakevendende feil.

CLI kobler agenten til pipelinen

For at testresultater skal stoppe en deploy automatisk, trengs et kommandolinjegrensesnitt. QA Studio CLI (qa-studio) installeres som en Python-pakke, autentiserer seg via OAuth 2.0 client credentials uten interaktiv innlogging og returnerer exit-koder pipeline-verktøy forstår direkte: 0 betyr alle tester passerte, 1 betyr testfeil, 2 betyr infrastrukturfeil. Skillet mellom kode 1 og 2 gjør det mulig å konfigurere ulike varslings- eller gjenprøvingsstrategier avhengig av feiltype.

CLI-en støtter miljøoverstyrelser uten at testdefinisjonene må duplikeres. Flagget --base-url bytter ut domenet i start-URL-en mens stien bevares, slik at den samme testen kan kjøres mot utvikling, staging og produksjon. Variabler referert i teststeg med {{VariabelNavn}}-syntaks kan overstyres ved kjøretid via --var-flagget. Sensitive verdier som passord og API-nøkler lagres i AWS Secrets Manager, kryptert i ro, og skrives aldri til kjørelogger.

GitHub Actions, GitLab og Jenkins

AWS ML-bloggen publiserer konkrete pipeline-eksempler for tre CI/CD-plattformer. I GitHub Actions legges qa-studio run inn som et steg i en workflow-fil, og artefakter som skjermopptak og trajektorielogger lastes alltid opp — også når tester feiler — ved hjelp av if: always()-betingelsen. I GitLab CI skilles røyktester (kjøres ved hver push til main) fra regresjonstester (kjøres kun ved planlagte pipeline-kjøringer) ved hjelp av schedule-triggeren. I Jenkins brukes withCredentials-blokken til å injisere hemmeligheter i byggemiljøet uten at de eksponeres i konsolloggen.

Integrasjonens vesentlige trekk er at den er kodefri på testsiden. Amazon Nova Act navigerer applikasjonen visuelt, basert på utseende og kontekst, ikke på hardkodede selektorer. AWS hevder at tester dermed tilpasser seg automatisk når grensesnitt endres. Påstanden er ikke uavhengig verifisert i skala, men arkitekturen — der AI-modellen erstatter selector-avhengig kode — er teknisk veldokumentert i kildene.

Kostnad og rekkevidde

For team som allerede er på AWS, er terskelen lav: QA Studio er en referanseløsning tilgjengelig på GitHub, ikke et betalt tilleggsprodukt. Kostnaden ligger i bruken av Nova Act og Fargate-ressursene som spinnes opp per testkjøring. Testdefinisjonene skrives i naturlig språk, noe som også senker terskelen for produkteiere og testere uten programmeringsbakgrunn.

Bransjeforskning fra Forrester, referert av analysefirmaet CloudQA, antyder at organisasjoner som baserer seg på manuell skriptskriving typisk ikke klarer å automatisere mer enn 25 prosent av testdekningen. Nova Act ble lansert med en oppgitt pålitelighet på over 90 prosent for nettleserbaserte UI-arbeidsflyter, ifølge AWS. Uavhengig benchmarking av dette tallet er ikke publisert.

AWS varsler at en fremtidig del av bloggserien vil ta for seg agentic testautomatisering for mobilapplikasjoner. QA Studio-koden og distribusjonsguiden er tilgjengelig i prosjektets GitHub-repositorium.