Methods and Design Principles for Evaluating Serious Games

Het doel van serious games is anders dan puur entertainment. Door gebruik te maken van gamificationelementen is het idee om gebruikers op een leuke en uitdagende manier nieuwe vaardigheden te leren of aan te zetten tot gedragsverandering. In veel sectoren is een leven lang leren en ontwikkelen inmiddels een integraal onderdeel geworden en serious games zijn dan ook bijna overal wel terug te vinden. Met deze brede toepassingen is de effectiviteit van serious games echter een veel besproken vraagstuk.
Ook binnen de gezondheidszorg zijn serious games sterk in opkomst en door nieuwe technologieën als virtual reality in te zetten kunnen levensechte situaties worden nagebootst en dienen als oefen- en trainingsomgeving voor zorgprofessionals. De kern van dit project draait dan ook om de vraag hoe serious games kunnen worden geëvalueerd in termen van opgedane kennis, vaardigheden of gedragsverandering van zorgprofessionals. In het verlengde hiervan ligt de vraag hoe tijdens het ontwikkelen van serious games al rekening gehouden kan worden met de toekomstige evaluatie ervan. Hoe zouden meetmethoden kunnen worden ingebouwd in de game zelf, welke data moet er worden verzameld, en hoe kan die verzameld worden?
Binnen dit project zal met een scoping review bestaande literatuur worden onderzocht op effectiviteitsstudies om zo een overzicht te maken van gebruikte methoden en technieken en te inventariseren welke data hierbij gebruikt worden. Resultaten hiervan zullen worden omgezet in methoden voor evaluatie van serious games voor zorgprofessionals en ontwerpcriteria ten behoeve van het evalueren van beoogde leereffecten hiervan. Uiteindelijk zullen de ontwerpcriteria als proof-of-concept in het ontwikkeltraject van een serious game worden toegepast. Dit project creëert hiermee inzicht in hoe serious games voor zorgprofessionals goed geëvalueerd kunnen worden op leereffecten en hoe hier tijdens het ontwikkelproces al rekening mee gehouden kan worden.

Eindrapportage

De kern van dit project draaide om de vraag: Hoe kunnen serious games voor zorgprofessionals geëvalueerd worden op beoogde leereffecten en hoe kan hier tijdens het ontwikkelproces al rekening mee worden gehouden? Het project was opgedeeld in twee fasen. Eerst werd bestaande literatuur onderzocht en resultaten werden meegenomen bij ontwikkeling van een serious game. In fase 1 werd tijdens een scoping review databanken doorzocht om inzichten te krijgen in hoe het meten van effectiviteit van serious games gedaan kon worden. Deze zoekactie leverde 4.050 artikelen op. Na screening werden in totaal 305 artikelen geïncludeerd voor verdere analyse. Wat opviel was dat ruim 75% van de artikelen gericht waren op het trainen van technische vaardigheden zoals minimaal invasieve ingrepen. Serious games gericht op het leren van kennis of gedrag kwamen minder aan bod en biedt dus kansen voor serious game ontwikkelaars. Voor het evalueren van serious games werd veelal gebruik gemaakt van video opnames van handelingen na trainingssessies met een serious game die dan achteraf werden beoordeeld door experts aan de hand van gestandaardiseerde meetinstrumenten of checklists. Serious game-ontwikkelaars zouden deze bestaande meetinstrumenten en checklists, maar ook de vele parameters die tijdens het gebruik van verschillende systemen verzameld worden, mee kunnen nemen als input voor het ontwikkelen van een serious game. Daarnaast is het belangrijk om tijdens ontwikkeling rekening te houden met observability (i.e. logging, traceability en metrics) van de serious game zodat (eventueel samen met) afnemers data verzameld kan worden om effectiviteit inzichtelijk te maken. Bij het ontwikkelen van een proof-of-concept voor een serious game over leren intuberen werden bovenstaande resultaten meegenomen. Bij evaluatie van het ontwikkelproces bleek dat deze toevoegingen ook een andere set aan vaardigheden vragen van ontwikkelaars waarbij een vertaalslag gemaakt moet worden van (in dit geval) fysieke handelingen, bestaande checklists en observability in de serious game.