Nye retningslinjer for god praksis ved brug af superviseret machine learning

Finanstilsynet har den 10. juli 2019 offentliggjort et notat om superviseret machine learning. Baggrunden for notatet er blandt andet erfaringer med teknologien i Finanstilsynets "regulatoriske sandkasse" FT Lab.

Idet der er kommet større fokus på anvendelsen af kunstig intelligens, herunder machine learning, i både den finansielle sektor som helhed og i fintech-virksomheder, kan Finanstilsynets notat bruges som en rettesnor til at sikre, at finansielle virksomheder anvender teknologien i overensstemmelse med god praksis.

Vi stiller derfor skarpt på Finanstilsynets nye notat om superviseret machine learning i denne Plesner Insight. 

Baggrund

Notat er blevet til på baggrund af blandt andet Finanstilsynets erfaringer i FT Lab med selskabet e-nettet A/S, en virksomhed, der anvender superviseret machine learning ved hjælp af et neuralt netværk til at værdiansætte ejerboliger. Formålet med Finanstilsynets notat er at sætte fokus på nogle af de risici, som superviseret machine learning indebærer, samt at vejlede og inspirere virksomhederne til at anvende teknologien i overensstemmelse med det, som Finanstilsynet anser for god praksis på området.

Læs mere om FT Lab i Plesners tidligere udsendte Insight:
"Første fintech-iværksætter klar til FT Lab"

Hvad er superviseret machine learning?
I notatet definerer Finanstilsynet machine learning som en undergruppe af kunstig intelligens, der kan beskrives som algoritmer, der behandler data, lærer fra dette data og derefter bruger det lærte til at træffe velinformerede beslutninger.

Ved superviseret machine learning forstås ifølge Finanstilsynet en særlig form for machine learning, hvor man kender både variablerne for input og output. På baggrund af de kendte variable udledes den optimale kobling og vægtning mellem alle inputvariable og outputvariablen. Denne sammenhæng kan dernæst beskrive nye eksempler.

Finanstilsynets anbefalinger

Notatet indeholder i alt 9 overordnede anbefalinger for brugen af superviseret machine learning. Temaerne for disse anbefalinger er spredt ud på forskellige emner, herunder anbefalinger om governance, ansvarlighed, forklarlighed og dataetik. Nedenfor har vi berørt nogle af de væsentlige anbefalinger fra Finanstilsynets notat.

Governance
Finanstilsynet anbefaler, at finansielle virksomheder, som i forvejen er underlagt regulering og krav om udarbejdelse af eksempelvis politikker og forretningsgange, bør sikre, at machine learning indgår i de sædvanlige governance-strukturer, som allerede findes på de områder, hvor teknologien udnyttes. Endvidere anbefales det, at virksomheden tager stilling til de nye processer og potentielle risici, som anvendelsen af machine learning kan medføre, og tænker disse processer og risici ind i deres eksisterende politikker og forretningsgange.

I mange virksomheder vil der ske en løbende udvikling og optimering af machine learning-modeller. Som følge deraf anfører Finanstilsynet, at virksomheder løbende bør dokumentere og validere udviklingen af modellerne. Logningen af ændringer til modeller bør tillige foregå på systematisk vis. Virksomheden bør derfor kunne dokumentere valg og fravalg under udvikling, drift og opdatering af en konkret model.

Datahåndtering og dataetik
Et væsentligt punkt i den generelle debat omkring machine learning har været håndtering af data samt dataetik. Disse punkter er også indeholdt i Finanstilsynets notat. Finanstilsynet anbefaler blandt andet, at virksomhederne sikrer sig, at datakvaliteten og stabiliteten kan opretholdes på et tilfredsstillende niveau, og at virksomheden til enhver tid kan dokumentere sin datahåndteringsproces.

Derudover anbefaler Finanstilsynet, at virksomhederne forholder sig aktivt til bias (skævhed i data) i datasættet og til, hvordan uhensigtsmæssige udfald kan minimeres for på denne måde at sikre, at brugen af data sker på ansvarlig vis. Finanstilsynet anfører i den forbindelse, at den ansvarlige brug af data bygger på principperne i blandt andet persondatalovgivningen, hvorfor finansielle virksomheder i et vist omfang vil kunne skele til disse regelsæt ved en vurdering af, om de ved brugen af machine learning lever op til god dataetik.

Bemærkelsesværdigt anbefaler Finanstilsynet endvidere, at virksomheden forholder sig til rimelighed. Dette skal forstås som "den til enhver tid gældende forståelse i samfundet af, hvad der er rigtigt og forkert". Finanstilsynet anfører i denne sammenhæng, at selvom en model måtte være fri for bias fra både datakilder og modeludvikling, kan modellen alligevel lede til udfald, som vurderes ikke at være fair over for eksempelvis bestemte kundesegmenter. Af disse grunde påpeger Finanstilsynet, at det er god skik ved brug af superviseret machine learning, at virksomheden forholder sig aktivt til rimelighed og kan dokumentere dette.

Rimelighedsbegrebet må på baggrund af Finanstilsynets forståelse anses for at udgøre et ganske elastisk og subjektivt begreb, der dels kan være forskellige holdninger til og dels kan ændre sig markant over tid. Virksomheder bør derfor også inddrage sådanne overvejelser i forbindelse med udarbejdelse af nye modeller.

Performance og robusthed
Et andet punkt i Finanstilsynets anbefalinger til god praksis vedrører det, som Finanstilsynet kalder performance og robusthed. Ved performance forstås machine learning-modellers mulighed for at forbedre resultater og øge præcisionen i forhold til traditionelle statistiske modeller, herunder modellens evne til korrekt at estimere en ønsket parameter. Finanstilsynet anfører i den forbindelse, at det er nødvendigt at sikre, at modellen tillige er robust over for eksempelvis ændringer i data og andre udefrakommende påvirkninger, såsom at kunne modstå ondsindede aktørers forsøg på at påvirke modellens udfald.

Begrebet robusthed omfatter også modellens evne til at håndtere opdaterede data. Dette skal sikre, at modellen er tilstrækkeligt konsistent over tid, således at modellens output som udgangspunkt ikke væsentligt ændrer sig fra én modelversion til den næste. For at sikre at modellen er robust, anbefaler Finanstilsynet, at virksomheden sikrer sig, at versionering af konkrete modeller bliver dokumenteret og gemt for at kunne genskabe tidligere resultater og dermed undersøge, hvorfor en eventuel markant ændring i modellen er indtruffet.

Forklarlighed (explainability)
En af de potentielle risici ved anvendelsen af machine learning er, at modellernes processer og resultater kan være sværere at forklare end klassiske statistiske metoder. Finanstilsynet anfører på den baggrund, at det er god praksis for anvendelsen af superviseret machine learning, at virksomheden kan forklare, hvordan en model fungerer, og hvad der særligt ligger til grund for dens resultater.

Endvidere skal grundlaget for beslutninger truffet på baggrund af en models resultater kunne blive forklaret til enkeltpersoner i det omfang, at resultatet påvirker den pågældende person. Virksomheder bør i den forbindelse være opmærksomme på, at persondataforordningen indeholder regler, der regulerer anvendelsen af automatiserede afgørelser, som har en retsvirkning eller på tilsvarende vis betydeligt påvirker den, som er afgørelsens adressat. Disse typer af afgørelser, der alene baserer sig på automatisk sagsbehandling, kan dog ikke træffes uden adressatens samtykke.

FREMADRETTET BRUG AF SUPERVISERET MACHINE LEARNING

Med Finanstilsynets notat om superviseret machine learning har en tilsynsmyndighed for første gang i Danmark fremlagt en beskrivelse af og retningslinjer for anvendelsen af machine learning. I takt med at teknologien vinder indpas i finansielle virksomheders drift og dermed får større betydning i den finansielle sektor, er det ikke usandsynligt, at der vil komme et øget fokus fra lovgivers side på at fastlægge nærmere regler for brugen af machine learning. Finansielle virksomheder, der i dag gør brug af eller overvejer brugen af superviseret machine learning, kan således have en stor interesse i at sikre sig, at de opfylder Finanstilsynets retningslinjer for god praksis ved anvendelse af superviseret machine learning.

Seneste nyt om Bank og Finans

Bank og Finans