Generatieve artificiële intelligentie als methode voor praktijkgericht onderzoek: een exploratieve studie.

Artificiële Intelligentie (AI) is een systeemtechnologie die de samenleving fundamenteel verandert. Ook in de gezondheidszorg en het onderwijs worden de gevolgen in rap tempo zichtbaar. Het gaat dan met name om generatieve AI (genAI), waarbij modellen op basis van waarschijnlijkheid teksten of beeldmateriaal kunnen produceren of aanpassen. Hoewel AI in specifieke gevallen aantoonbaar positieve effecten heeft in de gezondheidszorg en de mogelijkheden eindeloos lijken, moeten vele vragen worden beantwoord voordat het veilig kan worden ingezet.
Het Lectoraat Technologie voor Gezondheid van de Hogeschool van Arnhem Nijmegen (HAN) is continu op zoek naar nieuwe hulpmiddelen om de kwaliteit en efficiëntie van onderzoek te optimaliseren. Deze staan in het huidige tijdperk onder druk. Gedegen onderzoek kost veel tijd terwijl het moeilijk is om voldoende gekwalificeerde onderzoekers te vinden. Tegelijkertijd vraagt het snel veranderende zorglandschap om snelheid en een voortdurende beschikbaarheid van resultaten van hoge kwaliteit die continue verbetering mogelijk maken. Het MKB, zoals Space Innovation, probeert toepassingen te ontwikkelen om de praktijk te helpen met innovaties zoals genAI. Hoewel zij de expertise in huis hebben om AI-toepassingen af te stemmen op behoeften van onderzoekers schort het aan gezamenlijke validatie in de praktijk. Het laatste is een cruciale stap voor opschaling en marktontwikkeling.
Bovengenoemde en andere partners willen verkenning doen van de kansen van genAI voor praktijkgericht onderzoek. Hierbij richten we ons op kwalitatief onderzoek omdat dit een veel gebruikte onderzoeksmethode is die relatief tijdrovend is. Mogelijk kan tijdwinst kan worden behaald. In de voorgestelde studie brengen we in kaart in hoeverre genAI op een veilige manier kan ondersteunen bij het afnemen van interviews en het analyseren van kwalitatieve data. Hiermee draagt dit onderzoek bij aan de groeiende kennisbasis over de integratie van AI in het praktijkgericht onderzoek en kan het richting geven aan toekomstige implementaties en ontwikkelingen op dit gebied.

Eindrapportage

gekeken naar technische haalbaarheid, kwaliteit en risico’s. De centrale vraag luidde: ‘Wat zijn de noodzakelijke en mogelijke voorwaarden waarbij genAI effectief en betrouwbaar ingezet kan worden bij kwalitatief onderzoek?’.

De doelstellingen hierbij waren:
1. Inzicht in hoeverre genAI presteert vergeleken met menselijke onderzoekers, met een focus op kwaliteit en efficiëntie (gedeeltelijk behaald)
2. Inzicht in risico’s en beperkingen voor het veilig en effectief integreren van genAI bij kwalitatief onderzoek (gedeeltelijk behaald)
3. Proof of concept dat inzicht geeft in haalbaarheid, bijdraagt aan vraagarticulatie voor een vervolgproject, adviezen geeft t.a.v. technische, juridische en maatschappelijke aspecten (TRL Level 1 t/m 3). (behaald)

Toelichting:
De doelstellingen zijn gedeeltelijk behaald. Daarnaast leidde de studie tot nieuwe resultaten. Het gedeeltelijk behalen van de doelstellingen 1 en 2 heeft te maken met een interne discussie op de betrokken hogeschool over AI en in het bijzonder GenAI. Gelijktijdig met het uitvoeren van het huidige project merkte de hogeschool dat studenten, maar ook medewerkers en onderzoekers, in toenemende mate gebruik maakten van genAI. De mogelijkheden van genAI veranderden daarbij zo snel dat het nog ontbrak aan passende richtlijnen voor verantwoord gebruik. Hierdoor ontstond een verhoogd risico op datalekken en privacy issues, waardoor terughoudendheid werd betracht. Door uitvoering van het huidige onderzoek laaide de discussie over genAI verder op wat leidde tot vele gesprekken met experts (ethisch, juridisch, privacy, AI), procedures en wachttijd. Ook werd dit onderzoek als voorbeeldcasus gebruikt door betrokkenen bij AI-beleid voor de organisatie. Dit heeft mede geleid tot een versnelde ontwikkeling en aanscherping van nieuwe processen rondom het aanvragen, beoordelen en verantwoord gebruiken van AI-toepassingen, en tot de totstandkoming van aanvullend beleid. Hoewel het consortium dit beschouwt als een waardevolle uitkomst van het onderzoek, konden niet alle vooraf gestelde doelstellingen worden behaald. Zo werd op advies van experts, omwille van veiligheid en privacy, besloten om ChatGPT te evalueren met fictieve transcripten in plaats van de geplande echte (geanonimiseerde) interviewtranscripten. Daarnaast werden geen echte onderzoeksdeelnemers geïnterviewd door ChatGPT, maar deze functie werd onafhankelijk geëvalueerd door ervaren onderzoekers.