NL1044330B1 - Schaalbaar computervisie monitorsysteem voor een plantenkweekomgeving omvattende sensorunits in een vermaasde netwerk - Google Patents

Abstract

Systeem voor het monitoren van insecten, gewassen etc. in een plantenkweekomgeving, omvattende sensorunits, ingericht voor het lokaal registreren van informatie betreffende in dat gebied aanwezige insecten of planteneigenschappen en die informatie om te zetten in data. Het systeem omvat een vermaasd netwerk waarmee de genoemde sensorunits zijn verbonden, welk vermaasde netwerk is ingericht om de door de sensorunits afgegeven data door te geven aan eveneens met dat vermaasde netwerk verbonden verwerkings- en/of monitoring middelen. De sensorunits omvatten een camera en een insectenvangkaart en een bevestiging voor aan planten/gewassen/vruchten/etc. en datacommunicatiemiddelen voor het tezamen met andere sensorunits vormen van het vermaasde netwerk. Via een netwerk-hub kan worden gecommuniceerd via de 4G- of hogere telecommunicatiestandaard. Als hub kan het op zich bekende PATS-C systeem dienst doen. Door koppeling met het PATS-C systeem kunnen alle vliegende insecten worden gesignaleerd.

Description

i

Korte aanduiding: Schaalbaar computervisie monitorsysteem voor een plantenkweekomgeving omvattende sensorunits in een vermaasde netwerk

BESCHRIJVING

De uitvindiag omvat een gedistribueerd systeem voor het monitoren van insecten, gewas, etc, in een plantenkweekomgeving, bijvoorbeeld een plantenkas, welk systeem een aantal sensorunits omvat die elk zijn ingericht voor het in een bepaald gebied binnen de kweekongeving 13 visueel registreren van informatie batreffende in dat gebied asnwezige insecten{kenmerken), gewas{(kenmerken)} of andere kenmerken, en die informatie om te zetten in data.

Daartoe wordt volgens de uitvinding het systeem voorzien van een vermaasd netwerX waarmee de genoemde sensoruniis zijn verbonden, welk vermaasde netwerk is ingericht om de door de sensorunits afgegeven data door te geven aan eveneens met dat vermaasde netwerk verbonden verwerkings- en/of monitoringsmiddelen die zijn ingericht voor verwerking resp, monitoring van de via het vermaasde netwerk van de sensorunits ontvangen data.

De onderhavige uitvinding kenmerkt zich door schaalbaarheid en kan voor heterogene monitoring applicaties ingezet worden, waarbij heterogene sensor units samenwerken binnen een systeem on de heterogene datapunten te aggregeren, De sensor units van de onderhavige uitvinding kunnen zichzelf voorzien van energie door bijvoorbeeld zonne-energie,

tezamen met het vermaasde draadloze netwerk betekent dit dat er geen bedrade infrastructuur benodigd is om bv de plantenkweekomgeving dekkend te voorzien van units. Om jaarronde operatie zonder menselijke tussenkomst mogelijk te maken kan het systeem zich beperken tot 1 foto per unit per dag.

Achtergrond en gebied van de uitvinding

In de glastuinbouw is grote behoefte aan het automatisch monitoren van een toenemend aantal kenmerken. Dit aangaat zowel indirecte Kenmerken van bijv. insectenplagen en de ontwikkeling hiervan, maar ook directe gewaskenmerken gerelateerd aan bijv. groei, gezondheid en oogst. De uitvinding beoogd een oplossing die dit soort kenmerken affectief en op een praktische en schaalbare manier kan monitoren, Er worden twee toepassingsgebieden uitgelicht, die evenwel met eenzelfde systeem gemonitord kan worden.

Case 1: Insecten

In de glastuinbouw komen, afhankelijk van de (geografische) locatie, het gewas en vele andere fachtoren, insectenplagen voor die schade aan kunnen richten in gewassen. Op basis van de aanwezigheid en/of druk van deze plagen wordt er 23 preventief of reactief ingegrepen met gewasbeschermingsmiddelen, Het is belangrijk de aanwezigheid van de plaag zo snel mogelijk vast te stellen en de. ontwikkeling hiervan nauwlettend in de gaten te houden, Deze informatie {plaagdruk niveau} wordt vervolgens gebruikt om een gewasbeschermingsplan te maken waarin een maximaal effect van de maatregelen wordt beoogd met het gebruik van zo min mogelijk middelen,

Een belangrijk deel van de plagen zoals trips, witte vlieg, luis en mineervlieg worden nu met zogenaamde signaalplaten (ook wel vangplalen) in kaart gebracht, Deze signaalplaten hangen op meerdere plekken in de kas, en worden eens per § week of twee weken nagelopen waarbij handmatige tellingen worden gedaan, Die handmatige tellingen houden ook de determinatie in van het betreffende insect wat geteld wordt (soms complex). 19 Op dit moment vindt er een transitie plaats waarbij er steeds meer oplossingen komen die het werk vergemakkelijken en versnellen (frequentie). Naast handmatige tellingen zijn er hijvoorbeeld ook applicaties die met behulp van beeldherkenning insecten op de foto direct kunnen iS classificeren en tellen, Nadelen hiervan zijn: ~ Handmatilg tellen en determineren kost tijd (het aantal vangkaarten moet werkbaar blijven); = Frequentie van de tellingen is laag; namelijk eens per week / twee weken (in ieder geval niet dagelijks}. Plagen worden hierdoor relatief laat. opgemerkt; ~ Fysieke bewegingen van personen (scout) verhogen kans op de verspreiding van ziekten en plagen.

De onderhavige uitvinding becogt te voorzien in een substantiële verbetering in de automatisering van het vergaren en verwerken van de data {foto’s}. Qua installatie zijn de sensor units een droprin-place upgrade van de bestaande vangkaarten,

Case 2: Gewaskenmerken

Tn de glastuinbouw moebten, afhankelijk van de {geografische} locaties, het gewas, het kasklimaat, en vele andere factoren, bepaalde kenmerken van het gewas gemonitord worden, Het is Delangrijk deze kenmerken zo vaak, snel en precies mogelijk vast te stellen en de ontwikkeling hiervan nauwlettend in de garen te houden.

Deze informatie wordt vervolgens gebruikt voor het bijsturen van de teelt en het doen van vogstprognoses,

Veel van de gewaskenmerken, zoals doorkleuring van tomatenttrossen), stengeldikte, vruchtgrootte, enz, worden visueel waargenomen doordat de teler zelf eens per week op

I calibratie locaties in het gewas waarnemingen doet. Dit is vaak complex, subjectief en arbeidsintensief.

De uitvinding beoogd beide toepassingsgebieden van insecten en gewaskenmerken te omvatten,

In deze toepassingen wordt de uitvinding als volgt ingezet: ~ De camera's worden verspreid door de kas cpgehangen, en staan net elkaar in verbinding door middel van een vermaasd netwerk, zie bijvoorbeeld 29 bhrtps://nl.wikipedia.org/wiki/vermaasd netwerk: “ Iedere dag worden één of meerdere foto’s gemaakt, zonder tussenkomst van personen; “ Het vormaasde netwerk brengt de ruwe gecomprimeerde foro’s van de camera’s naar een internet hub; 28 ~ De foto's worden vanuit de hubs via de cloud verstuurd naar de applicatie van een (eventuele) derde partij: “ Die applicatie voert de metingen, dererminatie en tellingen uit middels computervisie algoritmes of handmatig interactief; - Deze data wordt via een dashboard met de gebruiker/klant gedeeld; ~ De units kunnen middels radio metingen in het vermaasde netwerk de topologie, en vervolgens hun individuele locatie, vaststellen, Het systeem kan daarmee de {geografische} unit locaties aggregeren. ~ De units zijn klein, licht en discreet genoeg om direct op of aan de te monitoren opjecten aangebracht te worden, $ middels specialistische houders.

Het systeem volgens de uitvinding kan bijvoorbeeld samenwerken met het PATS-C systeem (zie bijvoorbeeld https://patsrdrones com/products/)} dat reeds op de markt is, juist voor het signaleren van grotsre insecten, zoals motten. De uitvinding en het reeds op de markt zijnde PATS-

C Systeen vormen tezamen sen Yallesomvattende oplossing®.

Met belde systemen kunnen nagenoeg alle vliegende insecten {plaag of nuttig) in de kas volledig geautomatiseerd, en met zeer hoge freguentie (dagelijks of vaker) gemonitord worden. Het is een belangrijke step naar uiteindelijk het automatisch telen principe waarbij zo min mogelijk menselijke handelingen nodig zijn. Ook draagt dit sterk bij aan het IPM principe (Integrated Pest Management, zie: https://ec.epurcpa.eu/food/plants/pesticides/sustainable~ userpesticides/integrated-pest-managenent-ipm en), waarbij snelle en accurate signalering belangrijke acties zijn om plagen tijdig aan te pakken en plaagdruk beheersbaar/acceptabel te houden,

Het PATS-C systeem is uitgerust met een 46 verbinding, zodat: het als internet hub kan fungeren voor de sensorunits die via PATS-C systemen foto's naar de berreffende servers sturen.

Voordelen door Toepassing van het systeem volgens de uitvinding zijn als volgt: - Lage kosten;

> Schaalbaar; ~ Tijdbesparing bij het verzamelen van de data (geen arbeid nodig); ~ Consistente dataverzameling met vaste meetmethode (niet afhankelijk van perscon/training); ~ Extreem consistente foto's, qua tijdstip (lichtomstandigheden), afstand, vangkaartverschuiving, etc.; ~ Hogere frequentie van dataverzameling {minstens 1 x per dag); ~ Fijnmazigere dataverzameling mogelijk (vanwege de lage kostprijs); ~ Geen fysieke bewegingen door de kas/gewas {verlaagt risico op besmettingen); =~ Geen infrastructuur nodig (zelfvoorzienend in stroonm- en netwerkvoorzieningen): - Werkt op basis van bestaande vangkaarten; - Vooraf ingezette vangkaart kromming, zodat de kaarten niet krommen over tijd: - Geen bewegende onderdelen, of andere onderdelen die slijten {zoals geheugen); ~ Systeem kan ook draalen zonder een PATS-C systeem (mogelijke hub}. 28 Een Uitvoeringsvoorbeeld van het systeem in praktijk toepassingen omvat bijvoorbeeld een "batteriij® aan samenwerkende units, die samenwerken om ca. 40 vangkaarten en of 10 tomatentrossen per hectare dagelijks te monitoren,

Tedere unit omvat speciale montage hulpstukken, zoals een 39 vangkaarthouder en een magneet-ophangbeugel of een tros- bevestigingshaak, die zorgen dat het te monitoren kenmerk door middel van een camera geregistreerd wordt. Iedere unit wordt van energie voorzien door een zonnecel. Een en ander wordt aangestuurd met elektronica die periodiek {bv iedere dag} een goede folo van het kenmerk maakt, deze comprimeert en upload naar een remote centrale database (i.e. de cloud). Daartoe wordt (tijdelijk) een draadloos vermaasd communicatie netwerk opgezet zodat iedere unit (via de andere units} zijn foto kan uploaden van de internet hub naar de server. Op de server draait verdere verwerkingssoftware, die de foto’s met algoritmes omrekent naar data. De gebruiker krijgt uiteindelijk een dashboard

W te zien met deze data gevisualiseerd. 1. Vangkaarthouder {pats-v)

De vangkaarthouder van een unit is speciaal cntworpen om de plakkerige vangkaarten consumable eenvoudig en consistent te kunnen vervangen. De kaart wordt ingeklemd {met lichte kromming} tussen twee V vormige houvasten. De vooraf veroorzaakte lichte kromming, vanwege de in het vangkaart materiaal aanwezige krachten en spanningen ingegeven door het inklesmmen in de houder, voorkomt zowel onvoorziene 28 verplaatsing en kromtrekking van de vangkaart op langere termijn, alsook reflecties die de computer visie storen, 2. Troshouder {pats-t)

De troshouder van een unit is speciaal ontworpen om de unit aan een tros tomaten te bevestigen, waarbij de tros niet beschadigt, de camera een goed beeld van de tros krijgt, en de gebruiker eenvoudig de unit kan verhangen naar een nieuwe tros op het moment van oogsten.

Vision ben unit heeft een geflzeerde camera gericht op het te monitoren kenmerk. De camera. sensor is een RGB camera met een bepaald aantal megapixels, bijvoorbeeld 5, Gegeven de goede lichtomstandighedsn en statische setup levert dit adequate plaatjes op. De plaatjes worden gecomprimeerd met joeg compressie door de sensor zelf.

Microchip & Mesh networking

Bet systeem genereert een zogeheten WiFi vermaasd netwerk, op basis van de ESP32 chip en custom firmware. Hoe meer units hoe beter het netwerk. Dit netwerk wordt verbonden met een centrale computer met internettoegang. De centrale computer {hub} kan een PATS-C systeem zijn, waardoor de monitoring uilgebreid kan worden naar grotere insecten (die zich niet door vangkaarten laren vastleggen). Als monitoring van grote insecten niet gewenst is kan in plaals van een PATS~C ook gekozen worden door bv een off-the-shelf 4G Access Point.

Plaatsing vangkaart unit

Br is een speciaal ophangmechanisme ontwikkeld zodat de vangkaart unit aan elk ferromagnetisch opperviakte

ZU bevestigd kan worden, Daarnaast is er ook een og voor additionele bevestigingsopties,

Doordat sen unit zelfvoorzienend is {geen draden nodig} kan een unit eenvoudig opgehangen worden op allerlei manieren en plekken. Op basis van de hiërarchie in het vermaasds netwerk kan een unit automatisch zijn locatie vaststellen .

Energievoorziening

Een unit voorziet zijn eigen energie door middel van een batterij-zomnecel combinatie met MPPT tracker per unit, Het 39 systeem zal iedere dag kortdurend één of meerdere malen online komen om de foto's te maken en te versturen, Een unit pevat een standaard 18650 LI-ION cel, mel ingebouwde battery management slesktronica mel overcharge protection,

die eenvoudig handmatig oplaadbaar is in standaard laders indien noodzakelijk. Deze cel is ruim overbemeten en zou een unit enkele maanden moeren kunnen voorzien van energie als er geen zon is.

Application {APP}

Nadat iedere unit een foto heeft ge-upload naar de centrale server, worden de vangkaarten daar verwerkt. De individuele insecten op de vangkaart worden door een automatisch i8 classificatie systeem herkend, gegroepeerd en geteld,

De voordelen van het systeem volgens de uitvinding: ~ De vernieuwende combinatie van low-cost low-power microchip gebaseerde hardware (dus geen CPU, geen Operating

System — in de onderhavige toepassing “non-obvicus®), low- cost vision sensor, en low-gost bijbehorende hardware met de geboden functionaliteit zijnde een dagelijkse automatische geclassificeerde insectentelling per unit, zonder verder benodigde infrastructuur op het gebied van connectiviteit en energie (units zijn zelfvoorzienend), — Idem maar in plaats van insectentellingen diverse andere monitoring taken. Denk hierbij aan het bevestigen van de opstelling aan de plant, de vrucht, tros, bloem sto. waarbij de groei, doorkleuring (bv. tomaat} of andere eigenschappen gemeten worden, Het onderhavige concept is daarmee breed toepasbaar in ondermeer de tuinbouw, akkerbouw, “ Toepassing van een WIFI vermaasd netwerk, communicatie naar een centrale hub, waardoor geen 46 per unit nodig is. 3D Automatische lokalisatie van elke unit in het vermaasde netwark.

~ Het gebruik van PATS-C als hub om connectiviteit tussen de uitvinding en servers te realiseren, en eventueel ook als lokale post-processor of data buffer te dienen, ~ De combinatie met PATS-C zodat alle vliegende insecten te

3 signaleren zijn, “ Het reduceren van arbeidsintensieve taken {automatisering)

Claims (6)

H CONCLUSIES

1. Systeem voor het monitoren van o.a. insecten, gewassen in een plantenkweekonmgeving, bijvoorbeeld een plantenkas, welk systeen een aantal sensorunits omvakb die elk zijn ingericht voor het in een bepaald gebied binnen de kweekomgeving registreren van informatie betreffende in dat gebied aanwezige kermerken en die informatie om te zecten in data, it waarbij het systeem verder een vermaasd netwerk omvat waarmee de genoemde sensorunits zijn verbonden, welk vermaasde netwerk is ingericht om de door de sensorunits afgegeven data door Le geven aan eveneens met dat vermaasde netwerk verbonden verwerkings- en/of monitoring middelen die zijn ingericht voor verwerking resp. monitoring van de via het vermaasde netwerk van de sensorunits ontvangen data.

2. Systeem volgens conclusie 1, waarbij de sensorunits een camera en een insectenvangkaart omvatten, alsmede detecommunicatienmiddelen voor het ondermeer tezamen met andere sensorunits vormen van het genvende vermaasde netwerk. 2%

3. Systeem volgens conclusie 1, waarbij de sensorunits een camera en cen bevestiging aan een plant, vrucht, Cros, stengel omvatten, alsmede datacomunicatiemiddelen voor het ondermeer tezamen met andere senscrunits vormen van het genoemde vermaasde netwerk.

4. Systeem volgens een van de voorgaande conclusies, waarbij het vermaasde netwerk een netwerk-hub omvat die ondermeer is ingericht voor datacommunicatie via de 4G- of hogere telecommunicatisstandaard.

5. Systeem volgens conclusie 3, waarbij het op zich bekende PATS-C systeem ondermeer fungeert als hub in het vermaasgde netwerk en/of als lokale post~processor of data buffer,

6. Systeem volgens een van de voorgaande conclusies, 19 gekoppeld met het op zich bekende PATS-C systeem zo dat: alie vliegende insecten kunnen worden gesignaleerd.