JASA ontwikkelt innovatieve verpakkingsoplossingen voor aardappelen, groenten en fruit. Doel van JASA is om nieuwe modulaire technologie-bouwstenen te ontwikkelen, waarmee hun bestaande productgamma (VVVS) met acht varianten omgezet kan worden naar één modulair en klant-configureerbaar ‘Technologieplatform’. Hiervoor werken ze aan ‘Next generation machines’, die modulair, IoT-enabled en autonoom zijn en duurzame verpakkingsmaterialen kunnen verwerken.
De doelstellingen van JASA zijn:
• Productieverhoging en meer flexibiliteit voor klanten
• Minder voedselverspilling tijdens verpakkingsproces
• Lager energie- en luchtverbruik
• Terugdringen plastic verpakkingen
• Ruim 100 extra FTE binnen 5 jaar na marktintroductie.
Project 1: Computer vision voor bin picking
Computer vision voor bin picking: een generiek, maar complex identificatie- en localisatie-probleem in de categorie bin picking. De op te pakken objecten (zakjes met bijvoorbeeld sla-dressing, kaasrasp of croutons) liggen los gestort in een doos, in een random oriëntatie, in meerdere lagen en elkaar deels overlappend. Waar ligt het volgende zakje en hoe kan ik dat het beste oppakken? Tot nu toe wordt bin picking in veel gevallen gedaan met menselijke arbeid. De korte cyclustijd (~1 seconde per zakje) maakt het handmatig toevoegen van zakjes een geestdodende taak.
Tegelijkertijd is het correct identificeren en localiseren van de zakjes verre van triviaal: de zakjes zijn gemaakt van doorzichtig en reflecterend plastic met daarin verschillende semi-transparante, glanzende kleuren sausjes en dressings. Daarnaast zijn er ook kleine plastic flesjes (met balsamicoazijn).
Werkzaamheden lectoraat Robotica
Een Inholland TI student heeft onder begeleiding van het lectoraat het praktijkonderzoek voor JASA uitgevoerd. Het probleem bleek lastiger dan gedacht. In dit geval vormt het correct herkennen en localiseren van de doorzichtige, reflecterende en overlappende zakjes een serieuze vision-uitdaging. Traditionele beeldbewerkingstechnieken op basis van OpenCV bleken niet toereikend, te vaak zat het algoritme ernaast. Met hulp vanuit het lectoraat DDSS is uiteindelijk gekozen voor een oplossing met neurale netwerken. Om voldoende nauwkeurigheid te halen is gekozen voor een RCC type netwerk.
Resultaat
Het belangrijkste resultaat is een werkend proof-of-concept voor het herkennen van doorzichtige zakjes dressing. Om de herkenning in real-time met voldoende beelden per seconde te laten plaatsvinden, is het getrainde netwerk geïmplementeerd op NVIDIA Jetson (Nano) hardware.
Lessen geleerd: een adequate oplossing voor vision problemen heeft vaak meerdere elementen. In industriële toepassingen is de belichting vaak een kritische succesfactor. Bij het herkennen en localiseren van doorzichtige zakjes bleek een optisch afgeschermde omgeving (een ‘zwarte doos’ om de zakjes) en diffuse belichting te helpen.
Toch bleek de variatie in de beelden te complex voor een klassieke vision-software oplossing, expliciet geprogrammeerd in OpenCV. Deze ‘traditionele’ vision oplossing werkte wel goed bij enkele (goed verenkelde) zakjes van éen type, maar bleek niet toereikend voor bin-picking met meerdere soorten en overlappende zakjes.
Uit kruisbestuiving met projecten in de Smart Farming hoek, waarin binnen het lectoraat wordt gewerkt aan het herkennen van broccoli en perenbomen, bleken neurale netwerken een oplossing te kunnen bieden. Er zijn diverse typen neurale netwerken, deels al voorgetraind met basis features. De verschillende type netwerken verschillen onderling in uitvoeringssnelheid en nauwkeurigheid. Neurale netwerken zijn goed in moeilijke vision problemen. Bij het trainen van neurale netwerken moet rekening gehouden worden met verificatie- en validatieaspecten. Het maken van goede trainingsets is niet triviaal en veel werk. Ook de hardware implementatie van een getraind neuraal netwerk speelt een belangrijke rol in de uiteindelijk te bereiken herkenningssnelheid.
Project 2: Computer Vision voor localisatie en uitlijning van patronen van doorzichtige verpakkingen
Het JASA-project over lokalisatie van doorzichtige verpakkingen m.b.v. deep learning was een DDSS – Robotica coproductie. De uitdaging was om met zeer hoge snelheid (en korte doorlooptijd) de patronen op de folie te herkennen en uit te lijnen met de verpakking- en snijstappen, zodat de barcode en afbeeldingen consistent op de juiste plek op de uiteindelijke zak terecht komen.
De ‘vision’ oplossing voor de controle van de folie op positie, houdbaarheidsdatum en barcode bestond uit de volgende deelprojecten:
• Omgevingsfactoren
• Integreren camera met de huidige aansturing
• Bepalen positie van de folie
• Herkennen van patronen (barcode, houdbaarheidsdatum).
Werkzaamheden lectoraat Robotica
Een Inholland TI student heeft onder begeleiding van het lectoraat het praktijkonderzoek voor JASA uitgevoerd. Het probleem bleek lastiger dan gedacht. In dit geval vormt het correct herkennen en localiseren van patronen op de op hoge snelheid langslopende doorzichtige en reflecterende folie een serieuze vision uitdaging.
Resultaat
Het belangrijkste resultaat is een werkend proof-of-concept voor het herkennen van patronen op met hoge snelheid langslopenede folie.
Lessen geleerd: het belang van belichting en het belang van versimpelen. Door te werken met stroboscoop-belichting werd kunstmatig een zwaar overbelichte belichtingssituatie gecreëerd, met hoog contrast op een beperkt aantal details. Hierdoor kon worden teruggevallen op traditionele expliciet geprogrammeerde oplossingen met thresholding en (vervolgens snel bewerkbare) binaire beelden. Voor het lokaliseren van de folierand was het genoeg om de plaats van de rand te vinden in een klein (sub)window.
Lees ook over het innovatieproject van het lectoraat DDSS bij Jasa.
