Kernprincipe V: Uitlegbaarheid | Hoe werkt het en wie is verantwoordelijk?

Ethische kaders Artificial Intelligence in creditmanagement

In eerdere artikelen in deze reeks, te vinden op www.syncasso.nl/aiethiek, bespraken we vier van de vijf ethische kernprincipes voor Artificial Intelligence in relatie tot creditmanagement: Goed doen, Geen kwaad doen, Autonomie en Gerechtigheid.  Dit is het vijfde en laatste artikel over AI en uitlegbaarheid in een serie van vijf kernprincipes voor Ethics by Design en de ontwikkeling en toepassing van AI in creditmanagement.

Kernprincipe V: Uitlegbaarheid | Hoe werkt het en wie is daar verantwoordelijk voor?

Uitlegbaarheid is de achilleshiel van AI. Hoe accurater de voorspelling, hoe moeilijker die uit te leggen is [1]. Door het gebruik van neurale netwerken en deep learning neemt de betrouwbaarheid en voorspelkracht toe. Maar de complexiteit eveneens, waardoor het bijna onmogelijk is om uit te leggen waarom de voorspelling zo is. En hoe groter de mogelijke impact van de voorspelling is, hoe dwingender de noodzaak om zicht te hebben op de overwegingen achter de voorspelling.

Verantwoordelijkheid en aansprakelijkheid

Wie is aansprakelijk als er schade ontstaat als gevolg van technologie die zelfstandig beslissingen neemt? Expliciete wetgeving ontbreekt vooralsnog. Vanuit juridisch perspectief kun je denken aan aansprakelijkheid  zoals die geldt voor de bezitter van een dier dat schade aanricht. Of een zelfstandige rechtspersoonlijkheid voor dienstverlening die gebruik maakt van AI. Een ander idee is een verplichte verzekering voor schade die door AI ontstaat. Vanuit een ethisch perspectief moet een organisatie verantwoordelijkheid nemen voor een AI-voorspelling die schade tot gevolg heeft en zich inzetten om herhaling te voorkomen.

Europese commissie

In het whitepaper ‘On Artificial Intelligence – A European approach to excellence and trust’ van de Europese Commissie [2] wordt (ook) aangeven dat door de ondoorzichtigheid van AI-modellen niet te controleren is of de Europese wet- en regelgeving op het gebied van privacy, grondrechten en aansprakelijkheden gerespecteerd worden door een AI-toepassing. De EC adviseert, bij gebrek aan beter, om de ontwikkeling van het model en de data die gebruikt wordt om het model te trainen, goed te documenteren en de geautomatiseerde beslissingen op een ‘voor mensen begrijpelijke manier’ uit te leggen. De EC verwijst daarbij naar DARPA in de USA, die daarvoor aan een oplossing werken.

DARPA uitlegmodellen en -interfaces

Het Defense Advanced Research Projects Agency (DARPA) ontwikkelde in de jaren ’60 en ’70 ARPANET – de voorloper van internet. In 2003 de eerste stem-gestuurde assistenten (zoals SIRI) en in 2004 het eerste platform voor zelfrijdende auto’s. Vanaf 2016 werkt DARPA aan een project Explainable Artificial Intelligence (XAI). Hiervoor worden nieuwe machine learning systemen – Uitleg modellen – ontwikkeld die hun eigen rationale kunnen uitleggen, inzicht geven in de sterktes en zwaktes van het model en een beeld geven hoe die zich in de toekomst zullen gaan gedragen. Daaraan worden vervolgens Uitleg-interfaces gekoppeld die dat op een menselijke, begrijpelijke manier vertalen voor de eindgebruiker.

Google Explainable AI voor ontwikkelaars en data-wetenschappers is een al beschikbaar pakket tools en frameworks waarmee begrijpelijke en inclusieve machinelearning-modellen kunnen worden ontwikkeld en geimplementeerd. Een score toont aan in hoeverre elke factor heeft bijgedragen aan het eindresultaat van de voorspellingen uit een model. Er zijn overigens meer ontwikkelingen die zich op ontwikkelaars en data-wetenschappers richten, waaronder een samenwerking tussen Harvard en IBM. Maar een geautomatiseerde oplossing die AI-modellen begrijpelijk aan consumenten uitlegt is nog niet beschikbaar.

Uitlegbaarheid en verantwoordelijkheid, specifiek voor creditmanagement AI

In een vorig artikel over AI en Gerechtigheid bespraken we drie toepassing van creditmanagement AI: voor handelsinformatie, credit checks/achteraf betalen en het voorspellen van betaalcapaciteit. In alle gevallen is het risico dat de voorspelling impact heeft gemiddeld tot groot. Niet tot zaken komen op basis van negatieve handelsinformatie heeft economische impact. Een afwijzing door een credit check voor achteraf betalen heeft minder impact, maar roept zeker vragen op. In het voorspellen van betaalcapaciteit is het risico besloten dat het voorspelmodel een niet-kunner niet als zodanig herkent, bijvoorbeeld vanwege een actuele levensgebeurtenis.

Informeren

In alle gevallen moet het doel van de AI-toepassing en de data-elementen [3] die hierbij gebruikt worden in relatie tot de voorspelling beschikbaar zijn voor de vrager. Daarbij moet de betrouwbaarheid van het algoritme en de toegestane afwijking worden overlegd. De berekende voorspelling moet begrijpelijk uitgelegd en logische onderbouwd worden met de gebruikte data. Voor het voorspellen van betaalcapaciteit worden Random Forest en Decision Tree technieken gebruikt die daaraan voldoen.

Aanpassen

Als een voorspelling onterecht negatieve gevolgen heeft voor een betrokkene, moet de mogelijkheid bestaan om op verzoek de data te actualiseren of corrigeren. Het moet voor de eindgebruiker duidelijk zijn waar hij/zij terecht kan als dat niet naar tevredenheid (kunnen) wordt opgelost.

Evalueren en certificeren

Een regelmatige en deskundige evaluatie van de (resultaten van de) AI-toepassing, met transparante, toegankelijke verslaglegging daarvan, die inzicht geeft in de aanpassingen die naar aanleiding van de evaluatie zijn aangebracht. Syncasso pleit ervoor om AI-toepassingen voor  creditmanagement te betrekken in de audits voor de ISO 27000 certificeringen.

Kent u andere voorbeelden van Uitlegbaarheid voor AI in creditmanagement? Deel ze met ons op www.syncasso.nl/aiethiek.

Wilt u reageren op dit artikel? Ga naar www.syncasso.nl/aiethiek

[1] DARPA Explainable Artificial Intelligence (XAI)
[2] EC Policy AI
[3] Ook ingevolgde de AVG