NL1038363C2 - Automatische melkinrichting met camerabesturing. - Google Patents

Description

Automatische melkinrichting met camerabesturing TECHNISCH GEBIED

De onderhavige uitvinding heeft betrekking op een automatische 5 melkinrichting volgens de aanhef van conclusie 1, in het bijzonder een automatische melkinrichting voor het automatisch melken van een melkdier, met ten minste een speenbeker en een robotarm voor op een speen van het melkdier aanbrengen van de speenbeker, alsmede een besturingsinrichting die is ingericht voor besturen van de robotarm, waarbij de besturingsinrichting ten minste omvat, 10 een camera voor maken van een beeld van een deel van het melkdier dat tenminste de speen omvat, waarbij de besturingsinrichting op basis van het beeld de robotarm bestuurt, een beeldscherm voor weergeven van het beeld van de camera, een instructieingeefinrichting voor door een gebruiker ingeven van instructies voor nader aansturen van de besturingsinrichting, waarbij de 15 besturingsinrichting is ingericht om het beeld op het beeldscherm weer te geven en instructies te ontvangen vanuit de instructieingeefinrichting in ten minste een van de volgende gevallen: voor de eerste keer dat het melkdier wordt gemolken, en indien ten minste een poging tot op de speen aanbrengen van de speenbeker mislukt.

20

STAND VAN DE TECHNIEK

Uit NL-1034596 is een inrichting bekend voor het aansturen van een robotarm van een automatische melkinrichting, waarbij met name voor het zogenaamde inmelken van een melkdier een afstandbediening wordt beschreven. 25 Hiermee is een gebruiker in staat om, op basis van een beeld van de koe met daarin de uier, de robotarm naar een beginstand voor aansluiten te verplaatsen, door het geven van verplaatsingscommando's. De visuele terugkoppeling naar de gebruiker kan ook op afstand plaatsvinden, zoals met een mobiele telefoon.

Uit andere documenten is bekend om een robotarm een speenbeker 30 te late aansluiten op basis van camerabeelden, maar daarbij is niet aangegeven hoe dat gebeurt, anders dan eveneens met het geleiden van de robotarm.

Het blijkt dat een dergelijke inrichting in de praktijk vaak niet naar behoren werkt. Met name is het niet gunstig dat de robotarmbesturing op basis 1038363 2 van visuele terugkoppeling betrekkelijk veel tijd vergt. Ook is die werkwijze daardoor minder geschikt voor verhelpen van mislukte aansluitpogingen.

5 SAMENVATTING VAN DE UITVINDING

Het is een doel van de onderhavige uitvinding om een besturing te verschaffen die de bovengenoemde nadelen althans ten dele vermindert of wegneemt.

De uitvinding verschaft daartoe een automatische melkinrichting van 10 de in de aanhef genoemde soort, gekenmerkt doordat de instructieingeefinrichting is ingericht voor het door de gebruiker in het beeld op het beeldscherm aangeven van de positie van de speen waarop de speenbeker dient te worden aangebracht. Dit biedt het voordeel dat de actie door de gebruiker slechts zeer weinig tijd hoeft te vergen. Het aangeven van een positie duurt immers minder lang dan het naar 15 een positie toe sturen van de robotarm. Bovendien biedt dit het voordeel dat het besturingssysteem ervan kan leren. Vaak is het namelijk zo dat het besturingssysteem niet kan beslissen welk deel van het beeld de relevante speen aanduidt, bijvoorbeeld omdat de speenstand sterk afwijkt van een gebruikelijke stand, of omdat meerdere beelddelen voldoen aan daarvoor gestelde criteria van 20 contrast, vorm, enzovoort. Ook kan het zijn dat uierbeharing een verstorende rol speelt. Door de gebruiker in het beeld aan te laten geven welk deel het goede is, dus de speen betreft, kan het besturingssysteem dat deel nader analyseren, bijvoorbeeld op kleur, omgeving enzovoort, en als referentiepositie opslaan. Met deze nadere informatie kan het systeem ook bij nieuwe pogingen en opvolgende 25 melkingen met hogere betrouwbaarheid en/of snelheid de robotarm naar de speen sturen. Een belangrijk voordeel is voorts dat, als eenmaal de positie is aangegeven, het besturingssysteem dan in de meeste gevallen die positie in het beeld kan blijven volgen. Als het melkdier beweegt, is dus de correcte positie nog steeds te herkennen door het besturingssysteem. Dit is niet of veel minder het 30 geval indien alleen de robotarm naar een positie wordt toe bewogen. Als het melkdier, zoals een koe, beweegt, dient de procedure te worden herhaald, totdat daadwerkelijk is aangesloten.

Een algemene opmerking die hier dient te worden gemaakt is dat de uitvinding niet alleen toepasbaar is op een melkbeker, maar ook op andere 3 speenbehandelingsinrichtingen, zoals reinigings- en/of voormelkbekers en borstels. Daartoe kan "speenbeker" in de gehele aanvrage in principe ook worden gelezen als "speenbehandelingsinrichting". Voorts wordt opgemerkt dat het criterium "indien ten minste een poging tot op de speen aanbrengen van de 5 speenbeker mislukt" tevens omvat "indien een poging tot op de speen aanbrengen van de speenbeker langer duurt dan een voorafbepaalde drempeltijd". Dit kan bijvoorbeeld gebeuren doordat het melkdier onrustig is tijdens de aansluitpoging. De speenpositie kan dan "met de hand" worden bepaald, zodat althans de kans op een daaropvolgende snelle aansluiting groter is.

10 Bijzondere uitvoeringsvormen zijn beschreven in de afhankelijke conclusies. In het bijzonder omvat de instructieingeefinrichting een aanraakbeeldscherm. Een dergelijk aanraakbeeldscherm is zeer geschikt om een directe koppeling te leggen tussen beeld, en de positie van de speen daarin, en een bijbehorende instructie. Bijvoorbeeld, en met voordeel, kan de positie op het 15 beeldscherm worden aangegeven met een al dan niet speciale pen die samenwerkt met het aanraakbeeldscherm. Hierbij valt te denken aan een pen zoals bekend van PDA's. Uiteraard is het ook mogelijk om de positie met een vinger of dergelijke aan te duiden. Bij deze uitvoeringsvormen valt het beeldscherm samen met de instructieingeefinrichting. In alternatieve 20 uitvoeringsvormen is het ook mogelijk om de positie aan te duiden met bijvoorbeeld een cursor (pijltje, enzovoort) in het beeldscherm, waarbij de cursor met behulp van een muis, trackball, cursortoetsen enzovoort op de juiste plaats kan worden gebracht.

In voordelige uitvoeringsvormen is de besturingsinrichting ingericht 25 om de in het beeld aangegeven positie van de speen als referentiepositie voor opvolgend gebruik op te slaan. Op deze wijze is de besturingsinrichting zelflerend, doordat deze de aangegeven positie dan ook kan hergebruiken in volgende aansluitingen, of pogingen daartoe, van de speenbeker. Met voordeel is de besturingsinrichting ingericht om van het beeld alsmede de daarin aangegeven 30 positie een beeldanalyse te maken, met name op contrast, kleur en/of vorm, teneinde de beeldeigenschappen van de speen te analyseren en geschikt te maken voor later gebruik. Bijvoorbeeld kan een kleurpatroon op of vorm van de speen worden gebruikt om later in een beeld te herkennen. De daartoe benodigde beeldanalysetechnieken worden aan de vakman bekend verondersteld.

4

Met voordeel omvat de besturingsinrichting een communicatieinrichting, en vormen het beeldscherm alsmede de instructieingeefinrichting een deel van een externe computerinrichting zoals een PC, een laptop, een PDA, een smartphone of vergelijkbare computer met Internet-5 en/of communicatiemogelijkheden, zoals bijvoorbeeld een Apple iPad™. Aldus is de gebruiker (vrijwel) volkomen bewegingsvrij en kan op elke gewenste plaats de benodigde beelden ontvangen en de benodigde instructies geven.

In het bijzonder omvat de camera een 3D-beeldcamera omvat. Een dergelijke camera is zeer geschikt om efficiënt beeld en instructies te verwerken. 10 Immers is een dergelijke camera in staat om direct diepteinformatie te koppelen aan het gegeven beeld. Indien aldus de 3D-camera een beeld geeft, zal de door de gebruiker aangegeven positie ook direct de diepteinformatie omvatten, waardoor de drie ruimtelijke coördinaten meteen vastliggen. Hierbij dient er wel van uit te worden gegaan dat de 3D-camera in staat was om de diepteinformatie 15 voor dat beeld te verzamelen, maar dat de besturingsinrichting bijvoorbeeld niet in staat was om met voldoende zekerheid de speenpositie in dat beeld te bepalen. Het 3D-beeld (d.w.z. het beeld van de 3D-camera op het scherm) is overigens op zichzelf meestal monochroom met intensiteit afhankelijk van de waargenomen afstand, of veelkleurig met de kleur afhankelijk van de waargenomen afstand, 20 hetgeen voor interpretatie door een gebruiker niet zo erg is. Het is daarnaast mogelijk om een gewone optische (video-)camera te integreren in de 3D-camera, met een zodanig kleine parallaktische verschuiving ten opzichte van de 3D-ontvangers, dat een in het optische beeld aangegeven positie voldoende nauwkeurig is over te brengen naar het bijbehorende 3D-beeld.

25 Alternatief of aanvullend omvat de besturingsinrichting ten minste 2 camera's die beide een beeld van een deel van het melkdier dat tenminste de speen omvat maken, vanuit verschillende hoeken, en waarbij de besturingsinrichting is ingericht om de gebruiker in elk der beelden de positie aan te laten duiden. Ook op deze wijze is snel, nauwkeurig en efficiënt de juiste positie 30 in drie dimensies aan te geven. Immers is de afstand van de speen tot elk van de beelden niet bekend, maar de combinatie van beide posities in de beelden levert met eenvoudige triangulatie de juiste eenduidige positie op: de speen ligt immers op het snijpunt van de lijn van het optische midden van de eerste camera naar de aangeduide speenpositie in het bij de eerste camera horende beeld, en de lijn van 5 het optische midden van de tweede camera naar de in het beeld van die tweede camera aangeduide speenpositie.

De camera's zijn met name optische camera's, die zeer goedkoop zijn maar ook een zeer hoog oplossend vermogen en een hoge gevoeligheid 5 hebben. Met voordeel worden de beelden naast elkaar op een beeldscherm weergegeven. De gebruiker kan dan in beide beelden (vrijwel) gelijktijdig de gewenste positie aanduiden. Het is overigens natuurlijk mogelijk om dat aanduiden in achtereenvolgens weergegeven beelden te laten plaatsvinden. In de hier beschreven uitvoeringsvormen kunnen de twee, of meer, camera's vast zijn 10 aangebracht, bijvoorbeeld op en dicht bij de wanden van een melkbox of andere melkplaats. Ze kunnen dan robuust zijn uitgevoerd, en goed beschermd tegen vuil en tegen stoten van het melkdier. Uiteraard kunnen zij ook op bijvoorbeeld de robotarm zijn aangebracht. Dit garandeert een zo goed mogelijk blikveld op de spenen.

15 In uitvoeringsvormen is de camera zodanig verplaatsbaar dat de camera vanuit ten minste twee gezichtshoeken een beeld van een deel van het melkdier dat tenminste de speen kan maken. Met name valt te denken aan een op de robotarm gemonteerde camera, die in het bijzonder verzwenkbaar is opgehangen. Hierdoor is er slechts één camera nodig, hoewel de tijdsvertraging 20 tussen de twee, of meer, beelden in sommige gevallen een nadeel kan zijn. Het maakt hierbij in beginsel niet uit of de camera een optische of een 3D-beeldcamera is.

De uitvinding heeft tevens betrekking op een werkwijze volgens conclusie 7. De aldaar beschreven werkwijze stelt de gebruiker zeer goed in staat 25 om de speenbeker doelmatig op de speen aan te sluiten, die optimaal gebruik maakt van de inrichting volgens de uitvinding.

In beginsel zijn alle verbijzonderingen van de inrichting volgens de uitvinding tevens toepasbaar in de werkwijze volgens de uitvinding, bijvoorbeeld het gebruik van een 3D-beeldcamera. Doch in het bijzonder omvat de werkwijze 30 tevens het vanuit ten minste twee gezichtshoeken maken van een beeld van een deel van het melkdier dat tenminste de speen omvat, waarbij elk van de beelden wordt weergegeven op het beeldscherm, en waarbij de gebruiker in elk beeld de positie van de speen aangeeft. Zoals hierboven reeds aangeduid is dit voldoende om, via eenvoudige triangulatie, tot een nauwkeurige positionering in drie 6 dimensies te komen. De twee beelden kunnen worden verkregen door middel van twee camera's, hetgeen de mogelijkheid verschaft tot simultane beelden, maar ook door middel van een enkele camera en achtereenvolgens aangeven in de beelden.

5

KORTE BESCHRIJVING VAN DE TEKENING

De uitvinding zal hierna kort worden uitgelegd aan de hand van de tekening, waarin: - Figuur 1 een schematisch aanzicht van een automatische melkinrichting 10 volgens de uitvinding, - Figuur 2 een alternatieve beeldschermindeling volgens de uitvinding, en - Figuur 3 een principe-opstelling voor twee camera's, volgens de uitvinding toont.

15 BESCHRIJVING VAN DE FIGUREN

Figuur 1 toont een schematisch aanzicht van een automatische melkinrichting volgens de uitvinding. Hierin is 1 een melkdier, met een speen 2 en een speenpunt 3. Met 4 is een camera aangeduid met een beeldveld 5, en die is aangebracht op een robotarm 6 met daarop voorts een speenbeker 7. Een 20 besturingsinrichting is aangeduid met 8, die werkzaam is verbonden met beeldscherm 9, met een muis 10. In het beeld 11 bevindt zich een aanwijzer 12. Met 16 is een communicatieverbinding aangeduid.

Het melkdier 1, zoals een koe of buffel, heeft spenen 2 waarop, teneinde melk te winnen, een speenbeker 7 kan worden aangebracht. Bij 25 automatische melkinrichtingen zoals volgens de uitvinding is daartoe een speendetectieinrichting verschaft, hier in de vorm van een camera 4 en een besturingsinrichting 8. De camera heeft een blikveld 5 waarin een deel van het melkdier wordt afgebeeld dat de speen 2 bevat. Hierin dient de speenpunt 3 als referentiepunt om de speenbeker 7 te kunnen aansluiten, hoewel natuurlijk ook 30 andere referentiepunten denkbaar zijn. Op basis van het referentiepunt kan de besturingsinrichting 8 de robotarm 6 besturen om de speenbeker aan te sluiten.

Bij automatische melkinrichtingen kan het voorkomen dat dit aansluiten niet lukt. Dit is vaak het geval bij nieuwe, nog niet gemolken melkdieren, omdat de besturingsinrichting nog geen kennis heeft omtrent de 7 eigenschappen van de spenen, zoals positie, kleur, vorm enz., die immers sterk kunnen variëren van melkdier tot melkdier. Om de besturingsinrichting het nieuwe melkdier te "leren" wordt het dier ingemolken, d.w.z. dat de eerste keer de besturingsinrichting wordt geholpen bij het aansluiten van de speenbeker, althans 5 in die gevallen waarin de besturingsinrichting niet slaagt in dat aansluiten. Hierbij kan ervoor worden gekozen om dit inmelken altijd te doen, dus zonder de besturingsinrichting zelfstandig een of meer pogingen te laten doen.

Een andere mogelijkheid van niet slagen in het aansluiten kan voorkomen als bijvoorbeeld de spenen sterk bevuild of gewond zijn, zodat deze er 10 sterk anders uitzien in het beeld, waardoor de besturingsinrichting de speen niet meer herkent. Ook wanneer het melkdier onrustig is kan het aansluiten falen, enzovoort.

In al deze gevallen zal de gebruiker te hulp kunnen schieten. Daartoe kan de gebruiker het beeld 11 met de speen 2 bekijken op een beeldscherm 9. 15 Met behulp van een muis 10 of een andere instructieingeefinrichting kan de gebruiker de gewenste positie aanduiden, in het voorbeeld door de aanwijzer/pijl 12 op de punt van speenpunt 2 te plaatsen. Met behulp van een communicatieverbinding 16 kan het beeldscherm, en daarmee de gebruiker, zich ook ver weg van de melkinrichting bevinden. Communicatieinrichting 16 is hier 20 getekend als een kabel, maar kan ook draadloos zijn, zoals een mobiele-telefoonverbinding, enzovoort.

In dit geval is de camera 4 een 3D-camera, zodat de pixels in het beeld 11 telkens diepteinformatie bevatten. Door aanwijzen in het beeld 11 van de punt van de speen 2 zijn dan de 3 coördinaten van die punt bekend, en kan de 25 besturingsinrichting 8 overgaan tot aansluiten van de speenbeker 7.

Uiteraard zijn er vele alternatieven denkbaar, zoals een aanraakscherm 9, waarbij de gebruiker met een pen of dergelijke de positie aantikt, of een toetsenbord met pijltjestoetsen voor verplaatsen van de aanwijzer 12. Ook is het denkbaar dat camera 4 in feite 2 camera's voorstelt, die in Figuur 1 30 elkaar dan zouden verdekken. Dergelijke twee camera's kunnen dan twee beelden vanuit verschillende gezichtshoeken verschaffen.

In Figuren 2 en 3 is een alternatief aangeduid, met op het scherm 9 twee deelbeelden 11L en 11R met respectieve aanwijzers 12L en 12R. De deelbeelden 11L en 11R zijn in dit geval gemaakt vanuit twee verschillende 8 gezichtshoeken, door camera's 4L respectievelijk 4R, zodat ze parallaktisch versprongen zijn. Bovendien blijkt de linkerspeen enigszins scheef te staan in de richting van de linkercamera, hetgeen pas blijkt uit de verschillende standen in de twee deelbeelden. De rechterspeen hangt wel verticaal.

5 De gebruiker kan wederom de gewenste positie aangeven in de deelbeelden, met de aanwijzers 12L en 12R. Hier zal een aanraakscherm extra voordelen bieden omdat dan, met twee pennen, vingers of dergelijke, de beide posities in hoofdzaak gelijktijdig zijn aan te geven.

Figuur 3 geeft aan hoe de driedimensionale positie van de speenpunt 10 van speen 2 volgt uit het snijpunt van lijn 13L, van het optische middel 14L van de camera 4L naar de in het beeld 11L aangeduide speenpunt en lijn 13 R, van het optische middel 14R van de camera 4R naar de in het beeld 11R aangeduide speenpunt. Samen met de bekende basislijn 15 tussen de twee optische middens volgen de drie coördinaten van punt 3 dan met simpel rekenwerk.

15 Opgemerkt wordt dat de twee deelbeelden 11L en 11R ook door een enkele camera kunnen worden gemaakt, zij het na verplaatsen en eventueel verzwenken daarvan. Als de verplaatsing over een bekende basislijn als verplaatsing plaatsvindt, kan eveneens de exacte ruimtelijke positie van de speenpunt 3 worden bepaald.

20 1038363

Claims (8)

1. Automatische melkinrichting voor het automatisch melken van een melkdier (1), met 5. ten minste een speenbeker (7) en een robotarm (6) voor op een speen (2) van het melkdier aanbrengen van de speenbeker, alsmede - een besturingsinrichting (8) die is ingericht voor besturen van de robotarm, waarbij de besturingsinrichting ten minste omvat - een camera (4) voor maken van een beeld (11; 11L, 11R) van een deel 10 van het melkdier dat tenminste de speen omvat, waarbij de besturingsinrichting op basis van het beeld de robotarm bestuurt, - een beeldscherm (9) voor weergeven van het beeld van de camera, - een instructieingeefinrichting (10) voor door een gebruiker ingeven van instructies voor nader aansturen van de besturingsinrichting, 15 waarbij de besturingsinrichting is ingericht om het beeld op het beeldscherm weer te geven en instructies te ontvangen vanuit de instructieingeefinrichting in ten minste een van de volgende gevallen: - voor de eerste keer dat het melkdier wordt gemolken, en - indien ten minste een poging tot op de speen aanbrengen van de 20 speenbeker mislukt, met het kenmerk, dat de instructieingeefinrichting is ingericht voor het door de gebruiker in het beeld op het beeldscherm aangeven van de positie van de speen waarop de speenbeker dient te worden aangebracht.

2. Melkinrichting volgens conclusie 1, waarbij de instructieingeefinrichting (10) een aanraakbeeldscherm (9) omvat.

3. Melkinrichting volgens conclusie 1 of 2, waarbij de besturingsinrichting (8) is ingericht om de in het beeld (11; 11L, 11R) aangegeven positie van de speen (2) als referentiepositie voor opvolgend gebruik op te slaan.

4. Melkinrichting volgens een der voorgaande conclusies, waarbij de camera (4) een 3D-beeldcamera omvat.

5. Melkinrichting volgens een der voorgaande conclusies, omvattende ten minste 2 camera’s (4) die beide een beeld (11; 11L, 11R) van een deel van het melkdier dat tenminste de speen (2) omvat maken, vanuit verschillende hoeken, 1038363 en waarbij de besturingsinrichting (8) is ingericht om de gebruiker in elk der beelden de positie (3) aan te laten duiden.

6. Melkinrichting volgens een der voorgaande conclusies, waarbij de camera (4) zodanig verplaatsbaar is dat de camera vanuit ten minste twee 5 gezichtshoeken een beeld (11; 11L, 11R) van een deel van het melkdier dat tenminste de speen (2) kan maken.

7. Werkwijze voor het op een speen (2) van een melkdier (1) aanbrengen van een speenbeker (7), onder gebruikmaking van een melkinrichting volgens een der voorgaande conclusies, omvattende 1 o - maken van een beeld (11; 11L, 11R) van een deel van het melkdier (1) dat tenminste de speen omvat, alsmede, in ten minste een van de volgende gevallen: - voor de eerste keer dat het melkdier wordt gemolken, en - indien ten minste een poging tot op de speen aanbrengen van de 15 speenbeker mislukt: - weergeven van het beeld op het beeldscherm (9), ontvangen van instructies van de gebruiker vanuit de instructieingeefinrichting (10), waarbij de gebruiker door middel van de instructieingeefinrichting in het beeld op 20 het beeldscherm de positie aangeeft van de speen waarop de speenbeker dient te worden aangebracht, en - met behulp van de aldus aangeduide positie (3) aanbrengen van de speenbeker op de speen.

8. Werkwijze volgens conclusie 7, omvattende vanuit ten minste twee 25 gezichtshoeken maken van een beeld (11; 11L, 11R) van een deel van het melkdier dat tenminste de speen (2) omvat, waarbij elk van de beelden wordt weergegeven op het beeldscherm (9), en waarbij de gebruiker in elk beeld de positie van de speen aangeeft. 1038363