VLA-Pick: Vision Language Action modellen voor flexibele pick and place in smart manufacturing

In de Brainportregio groeit in de high-mix, low-volume maakindustrie de behoefte aan flexibele automatisering, terwijl goed technisch personeel schaars is. Mkb-bedrijven willen robotarmen inzetten voor uiteenlopende pick-and-place-taken, maar lopen tegen hoge engineeringskosten en beperkte flexibiliteit van traditioneel geprogrammeerde robots aan.
Tegelijkertijd wordt in de AI-wereld een nieuwe technologie ontwikkeld die specifiek relevant is voor robotica: Vision-Language-Action (VLA)-modellen. In VLA-modellen worden visuele waarneming, taalbegrip en actieplanning in één model gecombineerd. Een VLA-model “ziet” de omgeving via camera’s, “leest” een opdracht in natuurlijke taal en genereert daaruit direct acties voor de robot. Recente overzichtsstudies laten zien dat VLA-modellen in onderzoeksomgevingen in staat zijn om op basis van taalcommando’s nieuwe manipulatietaken uit te voeren en over objectvarianten heen te generaliseren. De technologie is veelbelovend, maar de toepasbaarheid in industriële omgevingen met beperkte data en hardware is nog grotendeels onduidelijk.
In dit project onderzoekt het lectoraat System Design & Realisation van Fontys Hogescholen, samen met robotintegrator Concept Robotics en data- en AI-bedrijf Datory, of en hoe een bestaand VLA-model geselecteerd, geëvalueerd en aangepast kan worden voor een representatieve pick-and-place-use case in de mkb-maakindustrie. Het project omvat (1) het ophalen van praktijkrequirements en het uitvoeren van een gerichte literatuur- en modelstudie naar bestaande VLA-modellen, (2) het koppelen en testen van een gekozen VLA-model in een simulatieomgeving, inclusief verkenning van haalbare tuning-opties en databehoefte, en (3) een lab-based demonstrator op een fysieke robotarm, mits de simulatie-resultaten voldoende stabiel zijn.
Het project levert geen marktrijp product op, maar een eerste, praktijkgerichte aanpak voor de beoordeling van VLA-modellen in een mkb-context, een lab-demonstrator en een handreiking met concrete aanbevelingen voor mkb-bedrijven over kansen, beperkingen en randvoorwaarden van VLA-gebaseerde robotica. De opgedane kennis wordt ingebed in onderwijs via studentenprojecten en vormt de basis voor een RAAK-mkb-vervolgaanvraag gericht op implementatie in operationele omgevingen (TRL 5–6).