Kan ‘Explainable AI’ het diagnoseproces verbeteren in de zorg?

In de zorg is steeds meer interesse in en vraag naar datagedreven applicaties. Maar die brengen ook grote uitdagingen met zich mee, met name als het AI betreft. Zelflerende algoritmes zijn vaak 'black boxes'; het is voor een leek niet uit te leggen hoe ze werken en hoe ze tot een beslissing of voorspelling komen. Maar wat nou als AI uitlegbaar wordt? Daar liggen kansen volgens Fontysonderzoeker Ralf Raumanns.

Ondersteunende technologie

Raumanns onderzocht hoe nauwkeurig machine learning algoritmen diverse typen huidlaesies (huidafwijkingen) kunnen herkennen. Potentieel kan zulke AI heel veel, maar al snel stuitte hij op een andere beperking: "Medici moeten hun diagnoses kunnen uitleggen aan collega's en patiënten. Met een algoritme ontbreekt die 'uitlegbaarheid' en daarom blijft die potentie liggen." Het is nadrukkelijk ook niet de bedoeling dat AI de taak van een medische expert overneemt: "AI kan heel veel routinewerk verzetten en daarmee de expert ondersteunen. Daarvoor moet de AI 'explainable' worden, en dat is een belangrijk doel [RR2] van mijn onderzoek."

Annotaties crowdsourcen

Hoe ziet die uitlegbaarheid er dan uit? In dit geval gaat het dan over hints: "Wat we gebruiken zijn hints, dat zijn visuele kenmerken die artsen in de praktijk ook gebruiken in een diagnose. Bij huidlaesies moet je dan denken aan de mate van asymmetrie, de vorm van de rand en de kleur van een laesie. Dit maakt het voor de arts uitlegbaar." Deze kenmerken heeft Raumanns ook gebruikt om het AI-model te trainen, zodat de performance verbetert, wat betekent dat het model nauwkeuriger wordt. Hiervoor is iets unieks gedaan: “Om het model te trainen gebruiken we beeldensets en die hebben we voorzien van annotaties gebaseerd op die visuele kenmerken. Niet door experts, maar via crowdsourcing. Duizenden beelden laten annoteren door artsen is niet haalbaar, dus hebben we crowdworkers en studenten ingezet om beelden van annotaties voorzien die bruikbaar zijn voor ons doel.”

Overfitting en valsspelen voorkomen

De medische beelden worden geanalyseerd met een deep learning toepassing, genaamd convolutional neural networks (CNN). Dat is een bekende, state-of-the-art technologie voor beeldanalyse. Additionele annotaties, in deze toepassing van machine of deep learning, betekent het scoren van beelden op asymmetrie, rand en kleur. Dat helpt om overfitting te voorkomen, legt Raumanns uit: “Overfitting betekent dat het model op basis van onjuiste kenmerken conclusies gaat trekken. Dat kan in het geval van deze trainingsset bijvoorbeeld de nabijheid van een notitie van de arts zijn op het beeld, waardoor het model aanneemt dat hier iets verdachts te zien is op de huid. Je wilt dat het model leert abstraheren en op basis van de juiste kenmerken conclusies trekt. Handmatige annotaties zijn dan essentieel om het model verder te trainen. Niet alleen helpen die annotaties om het model de juiste hints te laten geven, het maakt de analyse ook vele malen efficiënter.”

MELBA-award

Met de onderzoekspaper wonnen Raumanns en zijn coauteurs de MELBA (Machine Learning for Biomedial Imaging) lezersprijs. De originaliteit en het pionierswerk binnen het project worden dus gewaardeerd binnen het vakgebied. Raumanns: “Dit onderzoek geeft een nieuwe impuls aan het vakgebied en zet belangrijke stappen naar een ‘Explainable AI’ en dus weg van de black box. Natuurlijk zitten er haken en ogen aan de technologie in concrete toepassing, maar we zien het vooral als ‘assistant technologie’, geen maker van beslissingen. Het kan veel werk in de zorg opvangen, maar ook is het mooi dat het crowdsourcen ook werkgelegenheid oplevert.”

Vervolgstappen

Klaar is het project nog lang niet; in een volgende fase gaat het team kijken naar de toepassing op beelden van longen. Raumanns is ook erg geïnteresseerd in het onderzoeken van eventuele bias in de datasets: “We hebben natuurlijk een beperkte dataset gebruikt om het model te testen. Zit daar een bias in qua leeftijd en gender? En doet het model dan wat we denken wat het doet op een andere set? Er is nog genoeg te doen.”

Dit project is onderdeel van het promotieonderzoek van Ralf Raumanns , in samenwerking met (co)promotoren Josien Pluim (Technische Universiteit Eindhoven), Veronica Cheplygina (IT University  of Copenhagen) en Gerard Schouten (Fontys Hogescholen). Studenten van Fontys Hogeschool ICT, Fontys Paramedische Hogeschool, Fontys Venlo en de Technische Universiteit werkten mee aan het project. Raumanns is ook aangesloten bij Fontys Kenniscentrum Applied AI For Society.