Smart-Vision UAV

Dossier	2014-01-31M
Status	Afgerond
Startdatum	1 september 2014
Einddatum	26 oktober 2016
Regeling	RAAK-mkb
Thema's	ICT High Tech Systemen en Materialen (HTSM)

Smart Vision for UAV’s Slimme beeldverwerking voor onbemande luchtvaartuigen
Aanleiding De laatste jaren is er wereldwijd een enorme groei in het gebruik van unmanned aerial vehicles (UAV’s). Niet alleen voor militaire toepassingen maar vooral ook voor civiele toepassingen. UAV’s met camera’s worden bijvoorbeeld veel ingezet om film- en/of foto-opnamen te maken vanuit de lucht. Mkb’ers die UAV’s inzetten, maken gebruik van een grondpiloot en de gemaakte beelden worden handmatig verwerkt. Hier zitten echter beperkingen aan. Delen van missies zijn vaak niet goed door een grondpiloot uit te voeren en handmatig verwerken van de opgenomen beelden is arbeidsintensief. Dat moet sneller en beter kunnen.
Doelstelling Dit programma focust op het toevoegen van meerwaarde door geautomatiseerd intelligent gebruik van computer-visiontechnologie op UAV’s. Vanuit vier verschillende markten kwamen concrete vragen. Is het mogelijk om UAV’s op een kosteneffectieve manier in te zetten voor:

1. de inspectie van windmolenblade
2. de detectie en inspectie van brandhaarde
3. de inspectie van landbouwakkers, als goedkoper en/of nauwkeuriger alternatief voor beelden gemaakt vanuit satellieten en vliegtuin?
4. het schouwen van sloten?

In het programma wordt het volgende onderzocht.

1. Kunnen er kwalitatief goede opnames gemaakt worden, zodat inspectie mogelijk is?
2. Kan de beoordeling van de beelden worden geautomatiseerd en in welke mate?
3. Kan het vliegproces worden ondersteund en/of geautomatiseerd?
4. Kan worden voldaan aan de wettelijke regelgeving met betrekking tot het bedrijfsmatig gebruik van UAV’s?

De gebruikte onderzoeksmethode is gebaseerd op co-innovatie en rapid prototyping. Met een prototype worden via experimenteel onderzoek gegevens verzameld. Deze gegevens worden vervolgens geanalyseerd.
Beoogde resultaten De resultaten van het programma worden gepresenteerd in vier haalbaarheidsstudies. Deze dienen als proof of concept voor de verdere invulling van de commerciële ambities van de deelnemers. Daarnaast worden deze resultaten gebruikt om andere geïnteresseerde bedrijven en instellingen te laten zien hoe UAV’s kunnen bijdragen aan de ondersteuning van (nieuwe) diensten en processen. Tot slot wordt de kennis geborgd in het onderwijsmateriaal van het NHL Kennis Centrum Computer Vision. Dit onderwijsmateriaal is in gebruik bij 11 hogescholen en is online beschikbaar.

Eindrapportage

Het gebruik van drones (Unmanned Aerial Vehicles (UAVs)) in civiele toepassingen, is sterk in opmars. Er is onder andere binnen het MKB een sterke behoefte aan de inzet van kleine onbemande vliegende systemen die in staat zijn om op snelle en efficiënte wijze informatie te verzamelen, ook op voor mensen moeilijk te bereiken of gevaarlijke plekken.
In het onderzoeksproject Smart Vision for UAVs hebben 12 bedrijven en 3 kennisinstellingen in vier haalbaarheidsstudies onderzoek gedaan naar het toevoegen van meerwaarde door geautomatiseerd, waar nodig on-board, intelligent gebruik van computer vision technologie op drones. Hierdoor kunnen drones, grotendeels autonoom, beter en/of sneller hun taak uitvoeren en kan geautomatiseerd informatie uit de beelden worden geëxtraheerd op basis waarvan adviezen of beslissingen kunnen worden gegeven of genomen.
Binnen vier marktgebieden zijn haalbaarheidsstudies naar het gebruik van UAVs in combinatie met Computer Vision uitgevoerd. Per haalbaarheidsstudie de belangrijkste resultaten op een rij:
Windturbinebladen - binnen het onderzoek zijn de eerste stappen gezet voor het automatisch vliegen, volgen en inspecteren van windmolenbladen.
Aardappelteelt - een aantal belangrijke hyperspectrale kenmerken van aardappelziektes gevonden onder laboratoriumomstandigheden. Te weten, het hyperspectrale kleurverschil tussen de schimmelziekte Alternaria en schade als gevolg van Ozon.
Brandweer – er is kwalitatief aangetoond dat een SWIR camera (Shortwave Infrared Camera Technologie) in staat is beter door rook heen te kijken dan met de tot nu toe door de brandweer gebruikte camera’s.
Slotenschouw – binnen deze haalbaarheidsstudie zijn stappen gezet in het volgen en inspecteren van sloten. De scheiding tussen water en vegetatie in beeld te brengen en sloten te volgen.
Het project heef bovendien tot een tweetal technische innovaties geleid. Zo is er een prototype generieke camera payload module ontwikkeld. Hiermee kunnen onder verschillende omstandigheden, met verschillende camera’s opnames gemaakt worden. De module kan ingezet worden onder een drone, maar ook in andere toepassingen, bijvoorbeeld op een tractor. Daarnaast is de door het Kenniscentrum Computer Vision ontwikkelde TWIRRE architectuur doorontwikkeld. TWIRRE is een generieke architectuur voor slimme civiele drones. Met behulp van TWIRRE kunnen drones automatisch taken uitvoeren in veel verschillende toepassingen. Aan een commodity drone wordt een zelf ontworpen Local Position System (LPS) toegevoegd. Dit LPS bevat een breed scala aan sensoren, zoals camera’s, ultrasoon sonars, LIDAR’s, gyroscopen, acceleratiemeters, magnetisch kompas en RTK GPS. Alle berekeningen die moeten worden uitgevoerd om met het LPS systeem geautomatiseerd te kunnen vliegen, worden op een krachtig processorbord op de drone zelf uitgevoerd. Het kenniscentrum ontwikkelde hiervoor de software en heeft de TWIRRE architectuur getest op meerdere prototypes.