Couchbase er et amerikansk teknologiselskap med en skybasert NoSQL-database kalt Capella. Inn i plattformen har de bygget Capella iQ – en AI-drevet kodingsassistent som hjelper utviklere å skrive SQL++-spørringer, foreslå databaseindekser og navigere flerstegs-samtaler med systemet. Arkitekturvalgene bak Capella iQ er et presist eksempel på en problemstilling mange virksomheter møter nå: hvordan bygge AI inn i et produkt uten å låse seg til én modell og én leverandør.

Løsningen Couchbase kom fram til, ifølge AWS sin ML-blogg, var et leverandørabstraksjonslag – et lag mellom applikasjonen og AI-modellene. Applikasjonslogikken snakker aldri direkte med en bestemt modell, men med et felles grensesnitt som avgjør hvilken modell som faktisk besvarer forespørselen. Når Anthropic lanserer en ny versjon av Claude, krever oppgraderingen én konfigurasjonslinje.

Én API, to regioner, automatisk failover

Løsningen er bygget på Amazon Bedrock – AWSs administrerte plattform for å kjøre store språkmodeller uten å håndtere underliggende infrastruktur. Capella iQ kjører i to AWS-regioner, us-east-1 og us-west-2, og benytter Cross-Region Inference (CRIS) – en funksjon som ble allment tilgjengelig i august 2024. CRIS ruter automatisk forespørsler til den optimale regionen innenfor en definert geografi og håndterer trafikktopper og regionale driftsavbrudd uten at Couchbases utviklere skriver egne failover-rutiner.

All trafikk mellom Couchbases Kubernetes-klynge og Bedrock går gjennom et privat nettverksendepunkt – et VPC interface endpoint – slik at verken spørringer eller modellsvar traverserer det åpne internett. Bedrock medfølger sertifiseringer for SOC, HIPAA og ISO, noe som er vesentlig for virksomheter som håndterer regulert data under GDPR.

Arkitekturen har tre mikrotjenester i kjernen: en hoved-API-pod som mottar utviklerforespørsler og orkestrerer inferens-kall, en intern API-pod som håndterer modellruting mellom tjenestene, og en konfigurasjonspod som lagrer innstillinger per leietaker – inkludert hvilken modell den aktuelle kunden skal bruke. Denne tredelingen gjør at én bedrift kan kjøre én modell mens en annen kjører en annen, uten separate kodebasar.

76 prosent nøyaktighet på intern benchmark

Før Couchbase valgte Anthropics Claude Sonnet 4.5 som produksjonsmodell, bygde teamet et benchmarksystem som dekket alle Capella iQs kjerneoppgaver: generering av SQL++-spørringer, indeksanbefalinger, spørringsforklaringer og flerstegs-samtaler. Modellene ble vurdert på fire dimensjoner: funksjonell korrekthet, determinisme, latens og formateringskonsistens.

Claude Sonnet 4.5 oppnådde om lag 76 prosents nøyaktighet på en intern evaluering basert på BIRD-metodikken – et etablert rammeverk for å måle tekst-til-SQL-ytelse. Tallene er Couchbases egne og ikke uavhengig verifisert. Det selskapet selv fremhever, er ikke prosentandelen, men at benchmarkrammeverket kan brukes til å kvalifisere fremtidige modeller uten å bygge testinfrastrukturen på nytt.

Teamet støtte på to konkrete utfordringer. Den første var cross-region failover-testing: å simulere at trafikk rutes korrekt mellom regioner under ulike feilscenarier krevde egenutviklede testverktøy og tett dialog med AWS. Den andre var normalisering av benchmarkresultater på tvers av modeller – ulike modeller håndterer tokenisering og kontekstvinduer forskjellig, noe som gjør direkte sammenligning krevende uten standardisering.

Mindre modeller for rutineoppgaver

Couchbase planlegger å gå fra én produksjonsmodell til en portefølje der oppgaven avgjør modellvalget. Selskapet utforsker finjusterte, mindre modeller for høyvolum og veldefinerte arbeidsoppgaver – som indeksanbefalinger og spørringsforklaringer – via Bedrocks Custom Model Import-funksjon. Målet er lavere kostnad per inferens-kall uten kvalitetsfall.

Store generalistmodeller er ikke nødvendigvis riktig verktøy for alle oppgaver. En spesialisert, lettere modell kan løse en avgrenset oppgave billigere og raskere, mens den større modellen reserveres for komplekse resonneringsoppgaver. For virksomheter som bygger AI-produkter, er det et arkitekturvalg med direkte konsekvenser for driftskostnadene.

Prinsipper som gjelder utenfor Couchbase

AWS-bloggen bærer naturlig nok AWSs og Couchbases interesser. Men de tekniske prinsippene er ikke eksklusive for disse to: leverandørabstraksjon, standardisert benchmarking og konfigurasjonsbasert modellbytte er arkitekturmønstre enhver virksomhet kan adoptere, uavhengig av skyplattform.

Modellmarkedet beveger seg raskt – Anthropic, OpenAI og Google lanserer nye versjoner hyppig. En virksomhet som kobler applikasjonslaget direkte mot én modell, vil enten binde seg til eldre ytelse eller påta seg gjentakende utviklingskostnader ved hvert bytte. Couchbase-modellen viser at det finnes et alternativ, men det krever investering i infrastruktur tidlig – ikke etter at systemet er satt i produksjon.

Neste steg for Couchbase er å kvalifisere Claude Sonnet 5 og kommende modellgenerasjoner inn i det samme rammeverket – uten kodeendringer, ifølge selskapet.