Computer vision voor duurzaam en gezond aankoopadvies: Ontwikkeling van een situated analytics shopping assistent

Situated analytics shopping assistent (SASA) systemen voor klanten maken nieuwe diensteninnovaties in winkels mogelijk. Met behulp van computer vision (CV) en augmented reality (AR) kunnen deze smartphonetoepassingen achtereenvolgens winkelproducten identificeren, aangeven of die identificatie geslaagd was (bijvoorbeeld met kleuren), informatie over producteigenschappen visualiseren en productadvies geven. Door de transparantie over producteigenschappen te vergroten kunnen ze bewuster aankoopgedrag stimuleren. Dit is bijvoorbeeld relevant voor supermarkten vanwege hun belangrijke rol in de maatschappelijke duurzaamheids- en gezondheidstransities.
Hoewel er behoefte aan is, blijken SASA-systemen vooral qua productidentificatie-functionaliteit nog onvoldoende inzetbaar in de supermarktpraktijk. Dit biedt kansen voor mkb-bedrijven in de hightechsector, waaronder 360Fabriek. 360Fabriek wordt, net zoals veel andere bedrijven in de immersieve technologie-branche, bij de ontwikkeling van SASA-systemen voor supermarkten echter geconfronteerd met de beperkingen van beschikbare CV-oplossingen. Deze kunnen slechts een beperkt aantal producten op een supermarkt-rek real-time identificeren en hebben moeite met productidentificatie onder realistische supermarktomstandigheden. Tegelijkertijd beschikt 360Fabriek niet over de kennis om de vereiste CV-oplossingen zelf te ontwikkelen. Daarnaast heeft men behoefte aan aanvullende kennis over de inzet van AR in SASA-systemen.
360Fabriek zou daarom de volgende praktijkvraag graag beantwoord zien:
Hoe kunnen CV en AR-technieken in SASA-systemen ingezet worden voor een effectieve en positief ervaren productidentificatie en visualisatie van de identificatieresultaten, onder realistische supermarktomstandigheden?
Om deze vraag te beantwoorden, zullen de HvA en 360Fabriek dit project samen met Jumbo Bas Bobeldijk uitvoeren. Hiertoe zal een initieel SASA-prototype ontwikkeld worden, dat supermarktproducten identificeert, visualiseert of die identificatie geslaagd was, het merk en type van geïdentificeerde producten toont, en supermarktklanten instructies geeft voor het gebruik van de smartphonetoepassing. Dit prototype zal in een Jumbo-supermarktvestiging worden getest.
Het project zal naast het SASA-prototype resulteren in doorontwikkelde technologische CV-oplossingen en nieuwe technologische CV en AR-kennis. Deze zullen breed gedeeld worden met de beroepspraktijk in een eindpresentatie en in twee vakpublicaties.

Eindrapportage

Supermarkten spelen een grote rol in de maatschappelijke overgang naar duurzamere en gezondere consumptie. Ze zijn niet alleen een verkoopkanaal, maar ook een belangrijk informatiekanaal voor consumenten op het moment dat zij beslissen over een aankoop. Door producteigenschappen duidelijker te maken, kunnen supermarkten klanten helpen om bewuster te kiezen.

Zogenaamde situated analytics shopping assistenten (SASA) bieden hiervoor een technologische oplossing. Dit zijn smartphone-applicaties die klanten in de winkel ondersteunen bij aankoopbeslissingen. Met behulp van computer vision (CV) kunnen producten in het schap in één keer automatisch worden herkend. Via augmented reality (AR) kan de app vervolgens productinformatie en -aanbevelingen op een interactieve manier op het scherm tonen. Hoewel er behoefte aan is, bleken bestaande SASA-systemen in de supermarktpraktijk nog onvoldoende inzetbaar, vooral door beperkingen in de productherkenning.

Bestaande CV-oplossingen konden slechts een beperkt aantal producten tegelijk herkennen, terwijl consumenten juist meerdere producten in een schap willen vergelijken. Ook werkten deze oplossingen bijvoorbeeld nog niet effectief bij onscherpe of scheve camerabeelden, gedraaide producten in het schap en verpakkingen die sterk op elkaar lijken, hoewel die omstandigheden in supermarkten wel vaak voorkomen. Dit project leverde een bijdrage aan het wegnemen van dit soort beperkingen. Er werd onderzocht hoe CV en AR-technieken in de supermarktpraktijk gecombineerd kunnen worden om een effectieve en positief ervaren productherkenning mogelijk te maken en het tonen van de juiste productinformatie en -aanbevelingen te verbeteren.

In het project werkten de Hogeschool van Amsterdam, 360Fabriek en Jumbo Bas Bobeldijk samen. Het leverde een werkend SASA-prototype op, waarvan is aangetoond dat het praktisch toepasbaar is. Ook zijn CV-methoden doorontwikkeld voor effectievere productherkenning en is nieuwe kennis ontwikkeld op het snijvlak van CV en AR. Deze resultaten zijn beschreven in drie artikelen in de vakmedia, met daarin ontwerp- en ontwikkellessen voor CV-toepassingen, AR-toepassingen, slimme winkelapps en digitale keuzehulpen voor de retail.