AI-technologie inbedden in de zorg vraagt om méér dan technische oplossingen, wet- en regelgeving en richtlijnen. Na onderzoek komen de auteurs tot het advies om meer aandacht te schenken aan de ontwikkeling van ‘veerkrachtige datapraktijken’.

Beeld: Shuo/stock.adobe.com

Artificial Intelligence (AI) is niet meer weg te denken uit de zorg. Allerhande applicaties vinden steeds meer hun weg in concrete toepassingen en experimenten. Te denken valt aan de ontwikkeling van voorspellende modellen voor het vroegtijdig opsporen van verschillende vormen van kanker, het bepalen van het optimale moment van ontslag van de intensive care, het voorspellen van de beste combinatie van geneesmiddelen bij chronische ziekten of het voorspellen van een toename in infectiegerelateerde opnames.

Uitdagingen voor de zorg

Met de exponentieel toegenomen mogelijkheden voor het verzamelen en analyseren van (zorg)data ontstaan ook uitdagingen voor de zorg. Datalekken zoals onlangs bij de twee GGD-systemen, laten zien dat regulering nodig is op een vakgebied waar nog relatief weinig experts zijn. Daarnaast is kritische reflectie nodig op dilemma’s die ontstaan op het terrein van ethiek en regulering bij de verdere inbedding van AI in de zorg. Thema’s als privacybescherming van patiënten, bias in data die de datamodellen beïnvloedt, informed consent voor het hergebruiken van data en het gebrek aan transparantie van door machine learning ontwikkelde beslismodellen vragen aandacht.

Opstellen richtlijnen

In de zoektocht naar oplossingen voor de juridische en ethische vraagstukken waar AI de zorgsector voor plaatst, lijken zowel de Europese Commissie als techbedrijven vooral heil te zien in het opstellen van richtlijnen en principes (zoals Trustworthy AI en Fair data principles). Ook het zoeken naar technische oplossingen (bijvoorbeeld de ontwikkeling van gedistribueerde data-analyses zoals de Personal Health Train) en de ontwikkeling van de juiste juridische kaders (zoals de White paper van de Europese Commissie) lijken bij te dragen aan de oplossing voor de vraagstukken. Hoe lovenswaardig en belangrijk dergelijke principes, richtlijnen en technieken ook zijn: het is een risico om te denken dat daarmee alle barrières voor een succesvolle toepassing van AI in de zorg zijn weggenomen.

Europees project

Op basis van een grootschalig Europees project, gericht op de ontwikkeling en implementatie van verschillende vormen van AI in de zorg, betogen we dat een aanvullend perspectief noodzakelijk is: de ontwikkeling van veerkrachtige datapraktijken.

In het Europese project volgden wij de ontwikkeling en implementatie van twaalf big data/AI-initiatieven in acht landen (www.bigmedilytics.eu). We observeerden hoe medisch onderzoekers, zorgprofessionals, datawetenschappers en zorgmanagers worstelden met complexe, abstracte, onduidelijke en ambigue wet- en regelgeving. Ieder professioneel domein betrokken bij AI-projecten is bezig eigen richtlijnen en eisen op te stellen. De wereld van de datawetenschapper en de wereld van de zorgprofessional ontmoeten elkaar daar niet altijd: ze identificeren bijvoorbeeld andere risico’s. Wat veilig en handig is voor het ene professionele domein, wordt in het andere domein gezien als een groot probleem. Een mooi voorbeeld is de implementatie van de GDPR in Europa. Deze wet (in Nederland de AVG) beoogt harmonisering van nationale wetgeving voor databescherming, maar wordt in verschillende landen op een andere wijze geïnterpreteerd. Gevolg is dat met name projecten waarin internationaal tussen organisaties wordt samengewerkt, geconfronteerd worden met verschillende eisen en richtlijnen en met de onduidelijkheid over de interpretatie van de wetgeving.

Risicomijdend gedrag

In ons onderzoek zagen we dat de ervaren onduidelijkheid bij zorgprofessionals en zorgmanagers leidde tot risicomijdend gedrag. De bestaande wetgeving wordt vervolgens zeer strikt geïnterpreteerd, omdat zorgorganisaties alle vormen van onzekerheid willen uitsluiten. Dat hangt enerzijds samen met de gepercipieerde dreiging die uitgaat van de GDPR. Anderzijds speelt de perceptie dat AI in de zorg een groot afbreukrisico heeft, mede door de vaak eenzijdige media-aandacht voor incidenten met datalekken en privacyschendingen.

Verstikkend effect AI-innovaties

Gevolg van dit risicomijdend gedrag is dat zorgorganisaties experts zoals juristen, privacy-specialisten en ethici vragen om uit te zoeken wat er (niet) mag. Deze experts maken strakkere procedures, die in veel gevallen een verstikkend effect op AI-innovaties hebben. Voorbeelden daarvan zijn uitgebreide medisch-ethische toetsingen en de verplichting tot het uitvoeren van security testen voor dataopslag. De zorgprofessionals ervaren deze strakke procedures als regeldruk en begrijpen niet waarom dingen zo ingewikkeld gemaakt worden. Gevolg is dat zij lang moeten wachten op de gewenste AI-toepassing of kennis, wat leidt tot afname van klinische relevantie van AI bij medici. Bovendien vergt het tijd, middelen en mankracht voor medici, juristen, technici en ethici om elkaars ‘taal’ en ‘werkwijze’ te leren. Voor datawetenschappers en medici kunnen wet- en regelgeving abstract en ongrijpbaar zijn, terwijl het voor juristen en ethici juist moeilijk kan zijn om grip te krijgen op de medische vragen en problemen die ten grondslag liggen aan de AI-projecten.

Veerkrachtige datapraktijken

Het verantwoord inbedden van AI-technologie in de zorg vraagt om méér dan technische oplossingen, formele wet- en regelgeving en richtlijnen over ethische vraagstukken, beveiliging en privacybescherming. Wij stellen voor om meer aandacht te schenken aan de ontwikkeling van ‘veerkrachtige datapraktijken’. Veerkracht (resilience) kan omschreven worden als het vermogen om met verandering te kunnen omgaan en nu nog niet bekende schokken te absorberen. Het biedt de mogelijkheid om met elkaar stil te staan bij hoe complexe en onzekere situaties zouden kunnen/moeten werken in de dagelijkse praktijk.

Veiligheid is voortdurend aanwezig

Vanuit het veerkrachtperspectief is veiligheid geen statische eigenschap, maar juist een dynamisch geheel van elkaar beïnvloedende zaken, die zich langzamerhand moeten gaan ontwikkelen tot impliciete routines. Met andere woorden: veiligheid is niet aan- of afwezig, maar wordt voortdurend geproduceerd door impliciete handelingen, afwegingen en routines van zorgprofessionals, datawetenschappers, burgers en alle andere actoren. Protocollen en richtlijnen zijn daarin handige kaders, maar dienen ook voldoende discretionaire ruimte te bieden om te kunnen afwijken, juist om verantwoorde en bij de specifieke context passende werkwijzen te kunnen ontwikkelen.

Imperfecties en risico’s

Vanuit de notie van veerkracht ontstaat het besef dat we nooit alle imperfecties en risico’s van complexe zaken zoals AI kunnen wegnemen. Ondanks alle wetten, eisen, regels, richtlijnen en protocollen, kunnen we nooit volledige veiligheid en privacy garanderen. Net als in andere sectoren zal de zorg helaas soms te maken krijgen met fouten, onbedoelde resultaten en mensen met verkeerde intenties. Door hiervan te leren wordt het mogelijk om betere werkroutines te ontwikkelen die tot een verantwoorde inzet van AI in specifieke zorgpraktijken kunnen leiden.

In dialoog in multidisciplinaire teams

Het bevorderen van veerkrachtige datapraktijken kan op verschillende manieren vorm krijgen. Door in multidisciplinaire teams met zorgprofessionals, datawetenschappers, ethici, juristen en privacydeskundigen dialoog te organiseren kunnen de juridische, technische en ethische dimensies van een AI-applicatie worden verkend. Dilemma’s kunnen besproken worden door waarden af te wegen, bijvoorbeeld door de medische inhoudelijke vraag en noodzaak voor goede zorg af te wegen tegen de waarde van patiënten autonomie. Dit soort dialogen kunnen helpen om elkaar beter te begrijpen en onderliggende redeneringen expliciet te maken. Op die manier wordt het mogelijk om gezamenlijk te zoeken naar manieren om AI-applicaties op een verantwoorde manier in te bedden in zorgpraktijken.

Door: Rik Wehrens (Universitair docent, Erasmus School of Health Policy & Management, EUR), Anne Marie Weggelaar (Universitair docent, Erasmus School of Health Policy & Management, EUR) en Antoinette de Bont (Hoogleraar, Erasmus School of Health Policy & Management, EUR).