Wat is er mis met Black Box AI, en hoe kunnen we dit oplossen?
Stel je voor: je solliciteert online voor een job, maar krijgt een automatisch bericht dat je niet geselecteerd bent. Je belt naar de recruiter omdat je graag feedback wil krijgen op je sollicitatie en hoe je het de volgende keer beter kan doen. De recruiter kan je daar echter geen antwoord op geven. “Dat is nu eenmaal het systeem.”
Of je gaat naar de bank om een kleinschalige lening aan te vragen, bijvoorbeeld voor de renovatie van je dak. De bankbediende zegt echter dat er een melding op zijn computer komt die zegt dat jij niet in aanmerking komt voor een lening. Wanneer je vraagt waarom, geeft de bediende aan je daar geen antwoord op te kunnen geven. “Dat is nu eenmaal het systeem.”
In beide voorbeelden is er sprake van Black Box AI. Een beslissing die wordt genomen door een machine en niet door een persoon. Op zich niets mis mee, want het bespaart tijd en energie die mensen ergens anders in kunnen investeren. Maar het loopt wel mis als er geen controle en geen inzicht in het beslissingsproces van de machine is, zoals in de twee voorgaande voorbeelden. En geloof het of niet, Black Box AI is bij veel (grote) AI-systemen de realiteit.
Wat is Black Box AI?
Black Box AI is het resultaat van unsupervised deep learning modellen, ofwel AI-systemen die volledig berusten op wat ze leren uit data. De zwarte doos is een metafoor voor systemen waarbij input en activiteiten niet zichtbaar zijn voor de gebruikers of andere partijen. De AI maakt beslissingen of voert acties uit, maar hoe het daartoe komt is niet geweten.
Welke problemen veroorzaakt Black Box AI?
Zo’n ondoordringbare doos zorgt er niet alleen voor dat het model moeilijk te doorgronden is voor programmeurs. Het maakt ook dat fouten lang onder de radar blijven. Denk bijvoorbeeld aan AI-discriminatie. Omdat sommige deep learning modellen (zoals GPT-3) het internet afschuimen op zoek naar kennis, komen ze ook veel foute, racistisch en seksistische data tegen. Daardoor zou een systeem dat op deze AI berust een job sneller aan mannen dan aan vrouwen kunnen toewijzen, of uitspraken formuleren die haatdragende taal bevatten.
Nog zo’n probleem dat ongezien blijft bij Black Box AI is leakage. Stel, er wordt een AI ontwikkeld voor de medische wereld die op basis van X-aantal abstracte factoren (zoals leeftijd, medische voorgeschiedenis en levensstijl) voorspelt wat de diagnose van een patiënt zal zijn. Terwijl men die AI test en traint, gebeurt er echter een leakage en komt de AI informatie te weten die eigenlijk niet bij de geprogrammeerde abstracte factoren horen. Maar die gelekte informatie geeft wel een sluitend antwoord op de vraag wat de diagnose zal zijn - denk aan de notities van de dokter of de patiënten-ID. De AI zal dan een perfect antwoord geven en het zal lijken alsof hij foutloos voorspellingen uitvoert zonder de extra informatie, maar eigenlijk is dit niet het geval. Dergelijke leakage ontstaat door een fout in de codering, maar die zit verstopt in de zwarte doos en zou dus AI-systemen als succesvol bestempelen terwijl ze dat niet echt zijn.
Kan het anders?
Ja, het kan anders. ‘No Black Box AI’ staat voor systemen die transparant, begrijpbaar en controleerbaar zijn. Waarbij we fouten wél detecteren en slechte prestaties vermijden. Maar waar de gebruiker ook inzicht krijgt in het beslissings- of uitvoeringsproces van de technologie.
Zo’n No Black Box AI-systeem kan verschillende vormen aannemen, zowel voor de developer als voor de gebruiker. Bij ons voorbeeld van de afgewezen leningaanvrager, zou het systeem kunnen aangeven wat er moet veranderen zodat de beslissing toch positief wordt. En dat in begrijpelijke mensentaal, niet in ingewikkelde codes, zodat de bankbediende dit meteen kan meedelen of oplossen.
‘Explainable AI should be able to communicate the outcome naturally to humans, but also the reasoning process that justifies the result.’
— Prof. Sénen Barro, professor of computer science and artificial intelligence at the University of Santiago de Compostela in Spain
Waarom bestaat Black Box AI dan nog?
Je zou je dan kunnen afvragen: als het anders kan, waarom doen we dat dan niet allemaal? Waarom verstoppen de grootste internationale AI-spelers hun systemen nog in zwarte dozen? Er gaat soms een idee de ronde dat No Black Box AI minder goed werkt en dat écht goede AI een onleesbaar mysterie moet zijn. Maar dat is alvast een mythe die van tafel geveegd mag worden.
Wat wél Black Box AI verklaart is dat sommige bedrijven snel en met zoveel mogelijk winst AI-modellen op de markt willen brengen. Zelfs wanneer er belangrijke beslissingen bij komen kijken, geven zij voorkeur aan winst en macht boven interpreteerbaarheid en transparantie. En niet te vergeten: menselijkheid. Daardoor heerst er een gedachtegang dat AI ingewikkeld moet zijn om nauwkeurig te kunnen zijn, terwijl er voor dezelfde taken interpreteerbare modellen bestaan.
Een kwestie van perception is reality, dus. Gelukkig ontwikkelen we bij Nalantis 100% No Black Box AI-modellen die volledig interpreteerbaar, controleerbaar en transparant zijn. Wij gaan voor AI you can trust. Jij ook? Contacteer ons voor een kennismaking.
