Avoiding the invisible

The utilization of drones in various industries, such as agriculture, infrastructure inspection, and surveillance, has significantly increased in recent years. However, navigating low-altitude environments poses a challenge due to potential collisions with “unseen” obstacles like power lines and poles, leading to safety concerns and equipment damage. Traditional obstacle avoidance systems often struggle with detecting thin and transparent obstacles, making them ill-suited for scenarios involving power lines, which are essential yet difficult to perceive visually.
Together with partners that are active in logistics and safety and security domains, this project proposal aims at conducting feasibility study on advanced obstacle detection and avoidance system for low-flying drones. To that end, the main research question is,
“How can AI-enabled, robust and module invisible obstacle avoidance technology can be developed for low-flying drones?
During this feasibility study, cutting-edge sensor technologies, such as LiDAR, radar, camera and advanced machine learning algorithms will be investigated to what extent they can be used be to accurately detect “Not easily seen” obstacles in real-time.
The successful conclusion of this project will lead to a bigger project that aims to contribute to the advancement of drone safety and operational capabilities in low-altitude environments, opening new possibilities for applications in industries where low-flying drones and obstacle avoidance are critical.

Eindrapportage

jaren aanzienlijk toegenomen. Het navigeren in omgevingen op lage hoogte vormt echter een uitdaging vanwege mogelijke botsingen met ‘onzichtbare’ obstakels zoals elektriciteitskabels, boomtakken, antennes en palen, wat kan leiden tot veiligheidsrisico's en schade aan apparatuur. Traditionele systemen voor het vermijden van obstakels hebben vaak moeite met het detecteren van dunne en transparante obstakels, waardoor ze niet geschikt zijn voor scenario's met elektriciteitskabels, die essentieel zijn maar visueel moeilijk waarneembaar.
In deze haalbaarheidsstudie werd gekeken naar de combinatie van camera's en machine learning-algoritmen om te bepalen hoe effectief deze zijn bij het in realtime detecteren en vermijden van ‘onzichtbare’ obstakels (in deze context obstakels die moeilijk te detecteren zijn).

Samen met de partners hebben we eerst een reeks gebruikers- en technische vereisten verzameld. Deze vereisten werden vervolgens gebruikt om de architectuur van het systeem te creëren. Twee afstuderende studenten schreven vervolgens hun scriptie over de detectie en afstandsmeting van kabels/hoogspanningsleidingen met behulp van een op een drone gemonteerde camera en deep learning, evenals reinforcement learning voor het vermijden van obstakels door drones in smalle stedelijke omgevingen. De detectie en afstandsmeting van elektriciteitskabels werd getest en gevalideerd in experimenten in de echte wereld, terwijl het vermijden van obstakels door drones werd getest en gevalideerd in verschillende gesimuleerde scenario's. Beide scripties lieten veelbelovende resultaten zien met betrekking tot de haalbaarheid van het detecteren en vermijden van “onzichtbare” obstakels met een drone. De voortgang van deze resultaten werd regelmatig gedeeld en besproken met de consortiumpartners.
In de toekomst zullen de resultaten van deze haalbaarheidsstudie de basis vormen voor een RAAK MKB of RAAK Publiek-project dat het consortium momenteel aan het opstellen is. Dit grotere project zal een nauwere samenwerking met de eerstehulpverleners inhouden en zich richten op de ontwikkeling van een kader voor autonome drones op het gebied van veiligheid en beveiliging. Toepassingen zijn onder meer de beveiliging van terreinen zoals in dit KIEM-project, en autonome eye-in-the-sky tijdens noodhulpoperaties.