Varför gör AI:n på detta viset?

För ett par veckor sedan hade jag det stora nöjet att delta på konferensen ”Credit Scoring and Credit Control XVII”, som normalt hålls på Edinburghs universitet, men som nu hade flyttat in i datorn som de flesta evenemang. Här samlas en stor mängd kreditscoringintresserade från hela världen, varav ungefär hälften forskar på universitet och resten jobbar på banker, konsultbolag eller kreditupplysningsföretag.

Här diskuteras alla möjliga komplicerade metoder för att göra kreditscore mer precisa, stabilare och heltäckande. För varje år ser vi också att AI och Machine Learning tar allt större plats, alltså metoder för att med nya avancerade algoritmer utvinna ännu mer information ur tillgänglig data. Ett ganska vanlig ämne är också hur dessa nya kreditscore ska kunna granskas och förklaras, och lösningen är ofta att lägga till nya förklaringsalgoritmer, som hjälper oss att förstå vad som händer i systemen. Man förklarar alltså de komplicerade scoringalgoritmerna med andra komplicerade algoritmer.

En förklaring, många villkor

Något som sällan diskuteras är hur detta ska göras i praktiken, för de flesta förslagen är fortfarande ganska teoretiska. Det finns flera krav som en förklaring behöver ta hänsyn till, och ibland är det omöjligt att uppfylla alla samtidigt. Först har vi GDPR, som vi ännu inte vet exakt hur vi ska tolka i alla delar. Sedan vill vi värja oss från försök att överlista systemet, från personer som letar efter kryphål. Vi behöver hitta en genomtänkt design som gör förklaringen meningsfull och användbar för användaren, vilket kan kollidera med de andra kraven. Till sist kan det finnas lokala riktlinjer för hur vi ska använda AI.

Just AI-riktlinjer är något som har fått mer och mer uppmärksamhet de senaste åren. Fler och fler organisationer antar sådana policydokument. Några internationella exempel är Amnesty, Europarådet, EU-kommissionen, G7 och OECD. Även nationella myndigheter i många länder har sina egna riktlinjer, och alla större företag har sina varianter. Så vilket av alla dessa dokument ska man följa egentligen? Det finns nu så många publicerade AI-riktlinjer att detta har blivit ett eget forskningsfält, där man studerar trender i hur dessa skrivs.

Utgå från användaren

Ja, vilket dokument ska en AI-konstruktör använda? Ett förslag, för att komma lite enklare undan, är att börja i en annan ända: Börja skissa på en konkret, meningsfull design. Det kommer ofta tvinga oss att reflektera över precis de saker som rekommendationerna vill att vi tar hänsyn till. Vilka diagram, tabeller eller förklarande texter kan skapa störst mening för användaren? Man kommer att märka att den presentation som är mest begriplig, kanske inte är användbar i praktiken. Informationen måste ju hjälpa mig att agera på något sätt. Ett vanligt skäl till att informationen inte är användbar, är att den inte är helt sann. Vad nu, varför skulle vi alls visa något som inte är sant? Jo, de flesta av de förklaringsalgoritmer som används för att beskriva ett AI-beslut, är förenklingar som inte kan ge ett exakt rätt svar. Ibland är de tillräckligt nära sanningen, men ibland har det förklarande systemet missuppfattat något.

Ett studentprojekt hos oss tog fram prototyper för olika förklaringsmetoder, och lät ett antal försökspersoner utvärdera dem. Att testa AI-förklaringar på det här sättet och se vilka som faktiskt är begripliga, är förvånansvärt nog ett ganska tomt forskningsfält ännu. Resultatet av vårt projekt var lite nedslående: Det visade sig att den förklaringstyp som försökspersonerna uppskattade allra mest, var den som oftast hade fel. Men detta var tidiga steg och det finns fortfarande mycket att utforska i hur man bäst förklarar AI-beslut.

Begripa det obegripliga

Men måste AI-baserade beslut vara så ogenomträngliga över huvud taget? Ett helt separat forskningsfält försöker utmana komplicerade AI-system med enklare metoder och nästan lika bra precision. På sina håll ser det lovande ut, men hur väl de kommer lyckas får tiden utvisa. Till dess kan vi åtminstone vara säkra på en sak: Allt eftersom AI-beslut sprider sig, ökar också förväntningarna på att få dem förklarade på ett enkelt sätt. Varför tvärnitade plötsligt bilen av sig själv, trots att jag inte ser något hinder på vägen? Varför har Youtube börjat rekommendera mig filmer om låsdyrkning? Sådana enkla frågor behöver enkla och meningsfulla svar.

/Olle