XR remote support

In this project, a consortium of Fraunhofer Innovation Platform (FIP-AM@UT), Connec2 and Walraven will investigate the possibility of two-way communication between production machines and an XR (eXtended Reality) platform. This communication can benefit the installation, commissioning and maintenance of specialty machines by connecting remote experts to local technicians and the machine in a virtual environment. This can reduce the necessity for travelling of remote experts (machine builders, programmers, process engineers), which leads to faster respond times and improves the well-being of these experts.
Through the XR platform of Connec2, which is already used in the market for online meetings, presentations and collaboration, we can enable monitoring as well as (managed) control of a machine. For this we need to extend the production machine control with an interface that allows for remote connections.
Special attention will be given to the safety and security aspects of the system. At all times, the machine should be safe for its direct users and surrounding. Things like loss of connectivity or network latency may not lead to dangerous situations. Another thread to the safety of the machine might be unauthorized access to the system. A secure system design will have to prevent this.
The project not only aims to design such a system, but also to create a demonstrator of the development. Cooperation between local and remote users of a machine can be tested and validated at the shopfloor of the Advanced Manufacturing Center, a fieldlab for innovating digital production techniques.

Eindrapportage

Tijdens het KIEM project XR remote support zijn de mogelijkheden en technische beperkingen van het gebruik van AR/VR (Augmented Reality / Virtual Reality, hierna aangeduid als eXtendend Reality, XR) voor installatie, inbedrijfname en onderhoud onderzocht.
Het voornaamste doel van het project is een bi-drectionele koppeling te maken tussen een industriële machine en een XR omgeving. Met deze koppeling kan men dus niet alleen observeren wat er in de machine gebeurt, maar ook (delen van) de machine besturen. Dit kan onder andere nuttig zijn als machineontwerpers of experts hulp willen bieden aan minder ervaren monteurs ter plaatse.
Uit inventarisatie van de eisen kwam naar voren dat de gebruikerscontrole van de machine (precieze aansturing zonder fysieke feedback), een veilige overdracht van controle tussen de fysieke en virtuele locatie en virtuele locaties onderling alsmede de online veiligheid (cybersecurity) de belangrijkste aandachtspunten zijn.
Uit een onderzoek naar het besturen van fysieke objecten in het XR-domein kan worden geconcludeerd dat de perfecte XR-ervaring niet afhangt van het zo realistisch mogelijk maken van de virtuele ervaring. Belangrijker is het te compenseren voor tekortkomingen van XR en verbindingen, en tegelijkertijd de gebruiker te ondersteunen met extra functionaliteit die mogelijk wordt gemaakt door de virtuele link tussen de gebruiker en de machine.
De gerealiseerde demonstrator is opgebouwd als AR ervaring, omdat dit optimaal de principes van het project op één fysieke plek weergeeft. Met minimale inspanning kan deze echter omgebouwd worden naar een volledige VR omgeving. De bestaande beveiligde en versleutelde één-weg communicatie is uitgebreid tot een robuuste twee-weg communicatie met een configureerbare hand-over functionaliteit. In de machine zelf is gebruikt gemaakt van industriële standaarden om de communicatie met de XR-adapter tot stand te brengen. Een extra beveiligingslaag zorgt ervoor dat alleen bij lokale vrijgave de machine extern bediend kan worden.