Tromsø kommunes arbeid med ny barnehage- og skolestruktur ble en nasjonal sak etter at det ble avdekket forskningskilder som ikke eksisterte. Kommunen publiserte senere en Lenke til et annet nettsted.ekstern evaluering av saksarbeidet og KI-bruken Lenke til et annet nettsted., og samtaleloggene med ChatGPT ble offentliggjort.
Saken viser hvordan flere lederoppgaver møtes når kvaliteten på grunnlaget må kontrolleres, bruken dokumenteres og virksomheten må forklare hvordan KI påvirket et arbeid med stor offentlig betydning.
Riksrevisjonen Lenke til et annet nettsted. har også pekt på at statlige virksomheter ikke arbeidet systematisk nok med forklarbarhet og åpenhet. God styring (governance) krever at forklaringsevnen planlegges før KI tas i bruk i viktige prosesser.
Hvis dere bare gjør én ting etter å ha lest dette
Velg én viktig prosess der KI påvirker en vurdering eller beslutning. Be den ansvarlige lederen rekonstruere en nylig sak ved å finne frem informasjonen som ble brukt, beskrive hva KI foreslo eller gjorde, og vise hvem som vurderte og godkjente resultatet. Hvis virksomheten ikke kan gi tydelige svar, bør bruken begrenses mens dokumentasjonen og ansvaret avklares.
Forklaringsevne er mer enn tekniske logger
Tekniske logger kan vise at et system kjørte på et bestemt tidspunkt, men lederens forklaring må også knytte systemets aktivitet til saken og beslutningen.
Virksomheten bør kunne finne igjen opplysningene og dokumentene som ble brukt, hvilken versjon eller tjeneste som leverte resultatet, og hva KI foreslo, prioriterte eller utførte. Dokumentasjonen må også vise om et menneske kontrollerte resultatet før handling, hvem som hadde ansvar for arbeidsområdet, og hvilke endringer som senere ble gjort. Dette kan kreve tekniske logger, saksdokumenter, godkjenninger og møtereferater. Samlet skal materialet gjøre det mulig å forklare hendelsesforløpet på et språk kunden, medarbeideren, revisoren eller styret forstår.
Tenk på en kunde som klager etter å ha fått avslag på kreditt. Saksbehandleren ser avslaget i systemet, men mangler opplysninger om hvilke kundedata som ble brukt, hvilken versjon av modellen som ga anbefalingen, og om noen vurderte resultatet før brevet ble sendt. Virksomheten kan da ha et ferdig vedtak uten å ha en sammenhengende forklaring. Eksempelet viser hvorfor dokumentasjonen må følge saken fra grunnlag til beslutning, og hvorfor ansvaret må være avklart før en klage eller kontroll oppstår.
Konsekvensen bestemmer hvor mye som må dokumenteres
En KI-assistent som hjelper en medarbeider med et internt utkast, trenger vanligvis enklere dokumentasjon enn et system som rangerer jobbsøkere eller påvirker økonomiske rettigheter.
Autonominivåene gir et praktisk utgangspunkt for dokumentasjonskravene. På A1 og A2, der KI brukes til støtte eller forslag, bør virksomheten kunne vise resultatet medarbeideren fikk, hvem som tok beslutningen, og hvilket grunnlag som ble brukt i viktige saker. På A3 bør dokumentasjonen i tillegg vise hvilke handlinger som ble gjennomført, når de skjedde, hvilke saker som ble berørt, og hvordan en medarbeider kunne gripe inn. Når KI handler selvstendig på A4, trenger virksomheten faste kontroller av kvalitet og avvik. Det må også være tydelig hvem som vurderer resultatene, og hvilke funn som skal føre til begrensning eller ny behandling.
Oppbevaringstid, tilgang til dokumentasjonen og teknisk løsning må vurderes ut fra formål, personvern, sektorregler og virksomhetens behov. En universell frist passer sjelden alle bruksområder.
Forklaringen må kunne hentes frem
Dokumentasjon har liten verdi dersom ingen vet hvor den finnes eller hvordan den skal brukes. For hvert viktig KI-område bør virksomheten avklare hvilke opplysninger som må bevares, hvor de skal lagres, hvem som skal ha tilgang, og hvor lenge de skal oppbevares. En navngitt person bør også teste at en sak faktisk kan rekonstrueres. Statusen kan registreres i autonomikartet som avklart, delvis avklart eller uavklart.
Et A3- eller A4-område med uavklart forklaringsevne bør behandles som høy prioritet. Virksomheten kan innføre menneskelig godkjenning mens den etablerer nødvendig dokumentasjon.
Skille mellom feil og hendelser
Et svakt KI-forslag kan være en kvalitetsfeil som brukes til læring og forbedring. Dersom personopplysninger kan være behandlet eller delt uten nødvendig grunnlag, må personvernombudet eller en annen ansvarlig funksjon involveres etter virksomhetens rutiner. Mistanke om at tilgang, data eller systemer er kompromittert, skal følges opp som en sikkerhetshendelse. Sektorregler, kontrakter eller annen lovgivning kan i tillegg utløse særskilte krav til rapportering. Virksomheten trenger derfor en enkel første vurdering som sender saken til riktig fagmiljø.
Ledergruppen bør vite hvem som gjør den første vurderingen, hvem som skal varsles, og når saken skal eskaleres.
Bruk en reell sak som test
Den raskeste måten å vurdere forklaringsevnen på er å velge en avsluttet sak og forsøke å følge den bakover.
Gjennomgangen begynner med saksgrunnlaget og KI-resultatet, før dere finner frem godkjenningen, eventuelle endringer og navnet på den som tok beslutningen. Til slutt kontrollerer dere at dokumentasjonen stemmer med det systemet faktisk gjorde.
Testen avdekker ofte praktiske mangler som en generell beskrivelse ikke viser. Det kan være at KI-resultatet ikke lagres, at versjonen er ukjent, eller at godkjenningen skjer muntlig uten spor.
Når testen er ferdig, bør ledergruppen spørre om forklaringen ville vært god nok for personen som ble berørt. Dette perspektivet flytter oppmerksomheten fra hvor mye data virksomheten har lagret, til om dokumentasjonen faktisk gjør beslutningen forståelig og mulig å kontrollere.
Avtal samtidig hvem som skal svare når forklaringen blir etterspurt, og hvor raskt nødvendig dokumentasjon skal kunne samles.
Dette bør dere gjøre nå
Velg en prosess der konsekvensene kan bli store, og bruk en faktisk sak til å teste om virksomheten kan forklare det som skjedde. Finn frem grunnlaget, KI-bidraget og godkjenningen, og bestem hvilken dokumentasjon som skal lagres, hvor den skal ligge, og hvem som har ansvar for den. Knytt mulige KI-feil til eksisterende rutiner for kvalitet, personvern og sikkerhet. Til slutt oppdaterer dere autonomikartet med status for forklaringsevnen, ansvarlig eier og frist for eventuelle tiltak.
Forklaringsevne bygger tillit
Tillit bygges når virksomheten kan oppdage, forklare og følge opp det som skjer dersom KI gjør feil. Denne evnen styrker også kvaliteten i arbeidet og gjør det lettere å ivareta menneskene som blir berørt.
Neste artikkel handler om hvordan ledergruppen holder kartet og kontrollene oppdatert når verktøy, leverandører og arbeidsprosesser endrer seg.
Silje har bakgrunn fra lederroller i byrå- og vekstmiljøer innen tech og kommunikasjon, og har jobbet tett på struktur, prosesser og utvikling i organisasjoner i vekst. I dag jobber hun i Fortytwo, der hun arbeider med kommunikasjon, generativ AI og spørsmålene teknologien reiser om ansvar, beslutninger og hvordan mennesker og virksomheter påvirkes.
