KR102220628B1 - Method And Apparatus for Detecting Dairy Cow Teat by Using 3D Camera - Google Patents

Method And Apparatus for Detecting Dairy Cow Teat by Using 3D Camera Download PDF

Info

Publication number
KR102220628B1
KR102220628B1 KR1020200074537A KR20200074537A KR102220628B1 KR 102220628 B1 KR102220628 B1 KR 102220628B1 KR 1020200074537 A KR1020200074537 A KR 1020200074537A KR 20200074537 A KR20200074537 A KR 20200074537A KR 102220628 B1 KR102220628 B1 KR 102220628B1
Authority
KR
South Korea
Prior art keywords
nipple
camera
image
cow
tail
Prior art date
Application number
KR1020200074537A
Other languages
Korean (ko)
Inventor
최희철
이현정
김태일
기광석
김현종
최영경
Original Assignee
대한민국(농촌진흥청장)
주식회사 다운
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국(농촌진흥청장), 주식회사 다운 filed Critical 대한민국(농촌진흥청장)
Priority to KR1020200074537A priority Critical patent/KR102220628B1/en
Application granted granted Critical
Publication of KR102220628B1 publication Critical patent/KR102220628B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01J—MANUFACTURE OF DAIRY PRODUCTS
    • A01J5/00—Milking machines or devices
    • A01J5/007—Monitoring milking processes; Control or regulation of milking machines
    • G06K9/00201—
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Abstract

Disclosed are a method and a device for recognizing teats using a 3D camera. The present embodiment is a technology used in a robotic milking machine for unmanned milking of milk from milk cows. By using a 3D camera, buttocks, tail positions, udders, and teats of milk cows are distinguished and recognized. The directions and positions of the teats are determined and the lineup positions of the teats from tail parts are confirmed and coordinated. Accordingly, milking cups can be moved to the teats and milking can be performed by using a robot arm or a manipulator.

Description

3D 카메라를 이용한 유두 인식 방법 및 장치{Method And Apparatus for Detecting Dairy Cow Teat by Using 3D Camera}Method and Apparatus for Detecting Dairy Cow Teat by Using 3D Camera}

본 발명의 일 실시예는 3D 카메라를 이용한 유두 인식 방법 및 장치에 관한 것이다. An embodiment of the present invention relates to a method and apparatus for recognizing a nipple using a 3D camera.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to the present embodiment and do not constitute the prior art.

일반적으로 젖소의 유방은 4개의 분방으로 구획되어 있고 각 분방마다 하나의 유두가 형성되어 있다. 젖소로부터 우유를 짜내는 착유 작업은 대부분의 현장에서 착유기로 이루어지고 있다. 착유기는 송아지가 입으로 젖을 빠는 동작과 같은 원리로 젖소 유방의 유두에 착유컵(Teat Cup)을 끼우고 착유컵 내부를 진공 상태로 만들어서 진공과 대기압의 작용에 의해 젖소의 유방으로부터 우유를 흡출한다.In general, a cow's breast is divided into four quarters, and one nipple is formed for each quarter. The milking operation, which squeezes milk from cows, is done with milking machines in most fields. The milking machine puts a tea cup on the nipple of the cow's breast on the same principle as the calf sucks milk by mouth, and the inside of the milk cup is made into a vacuum state, and the milk is sucked from the cow's breast by the action of vacuum and atmospheric pressure. .

젖소의 유방의 유두에 끼워지는 착유컵의 일측은 진공펌프 또는 진공라인과 연결되어 착유컵 내부를 진공 상태로 만드는 데, 착유컵과 진공펌프 사이에 맥동기가 위치한다. 맥동기는 착유컵 내부를 진공 상태를 만들거나 해제하는 동작을 반복함으로써, 착유컵 내부에서 마치 송아지가 젖을 빠는 동작이 실현되도록 한다.One side of the milking cup fitted to the nipple of the cow's breast is connected to a vacuum pump or a vacuum line to make the inside of the milking cup in a vacuum state, and a pulsator is located between the milking cup and the vacuum pump. The pulsator repeats the operation of creating or releasing a vacuum inside the milking cup, thereby realizing an operation in which a calf sucks milk inside the milking cup.

종래의 착유자동화 로봇은 착유를 하기 위한 가축 주변에 유두인식장치를 설치하여 유두 위치를 인식하고, 3축으로 이동하면서 로봇암이 착유컵을 유두에 일정 압력으로 접촉시켜서 착유를 실시한다.In the conventional milking automation robot, a nipple recognition device is installed around livestock for milking to recognize the nipple position, and while moving in three axes, the robot arm contacts the milking cup with a certain pressure to perform milking.

착유로봇의 구성은 진공펌프 및 유량보관 송출을 담당하는 착유장치, 가축을 보정하고 바른 착유를 유도하기 위한 착유틀, 로봇암에 해당하는 매니플레이터, 유두의 형상 및 각도 방향 위치를 인식하는 유두인식장치 등을 포함한다.The composition of the milking robot consists of a vacuum pump and a milking device in charge of storing and delivering the flow, a milking frame to calibrate livestock and induce correct milking, a manipulator corresponding to the robot arm, and a nipple that recognizes the shape and angular position of the nipple. It includes a recognition device, etc.

유두인식을 위해 여러 방식의 연구를 통한 제품이 개발 보급되고 있는데, 초음파, 비젼, 적외선 스캐너, 뎁스카메라, 1차원 카메라 등을 이용한 유두인식 기술을 구현하고 있고 아직도 다양한 유두인식 기술이 연구되고 있다.For nipple recognition, products are being developed and distributed through various methods of research, and nipple recognition technologies are implemented using ultrasound, vision, infrared scanners, depth cameras, and 1D cameras, and various nipple recognition technologies are still being studied.

젖소의 유방과 유두의 형상은 상당히 많은 다양함을 가지고 있으며, 초산(첫 번째 출산) 때의 유방형상과 2산, 3산 때의 유방의 모양이 달라짐으로 규격화가 되지 않은 유방형상을 가지고 있어서 일반적인 방법으로 유두의 위치를 파악하는데 어려움이 있다. 더욱이 착유일수에 따라 착유량의 상당한 변화가 있어서 유방의 모양은 시간에 따라 일관성이 없이 변화된다.The shape of the breasts and nipples of a cow is quite diverse, and the breast shape at the first birth (first birth) and the breast shape at the second and third births are different. There is a difficulty in determining the location of the nipples by means of a method. Moreover, there is a significant change in milking volume with the number of milking days, so the shape of the breast changes inconsistently over time.

전술한 이유로 유방에서 유두의 위치와 각도 방향을 자동으로 정확하게 확보하는 기술에는 상당한 어려움이 있다. 또한, 살아있는 가축이다 보니 움직임이 많아 자동착유를 위한 유두 자동인식기술은 실시간으로 신속 정확하게 이루어져야 한다.For the above reasons, there is a considerable difficulty in the technology of automatically and accurately securing the position and angular direction of the nipple in the breast. In addition, since it is a live animal, there are many movements, so the automatic nipple recognition technology for automatic milking must be performed quickly and accurately in real time.

일반적인 유두 인식 장치는 라인레이져(Line Laser)를 발사후 라인레이져에 비친 이미지의 굴곡진 형상이나 반사 이미지를 2차원화하여 유두의 위치를 추종했으나, 좌표의 오차가 크고 속도가 느린 문제가 있다. 특히 개체가 움직이는 경우 현저하게 인식율이 떨어져서 유두인식에 상당한 시간이 소요되었다.A general nipple recognition device follows the location of the nipple by 2Dizing the curved shape or reflection image of the image reflected on the line laser after firing a line laser, but there is a problem with a large error in coordinates and a slow speed. In particular, when the object is moving, the recognition rate is significantly lowered, and a considerable amount of time is required for nipple recognition.

전술한 문제를 해결하기 위하여 TOF(Time Of Flight) 카메라를 이용하여 유두인식기술을 이용하여 유두인식 로봇착유기 제품을 출시하고 있으나, 카메라를 유두 가까이 위치하여 유두를 판별해야 하기 때문에, 카메라의 오염 및 파손의 문제가 있다. In order to solve the above problem, a nipple recognition robot milking machine product is being released using a nipple recognition technology using a TOF (Time Of Flight) camera. However, since the camera must be positioned close to the nipple to determine the nipple, contamination of the camera and There is a problem of breakage.

본 실시예는 젖소로부터 우유를 무인 착유하기 위한 로봇 착유기에 이용되는 기술로서 3D 카메라를 이용하여 젖소의 엉덩이, 꼬리 위치, 유방 및 유두를 구분하여 인식하고, 유두의 “‡향 및 위치를 판별하여 꼬리 부분에서 유두의 위치가 어느 정도에 포진하고 있는지를 확인한 후 좌표화하여 로봇암(Robot Arm)이나 매니퓰레이터(Manipulator)를 이용하여 착유컵을 유두로 이동 및 착유할 수 있도록 하는 3D 카메라를 이용한 유두 인식 방법 및 장치를 제공하는 데 목적이 있다.This embodiment is a technology used in a robotic milking machine for unattended milking of milk from cows. Using a 3D camera, the cow's buttocks, tail positions, breasts and nipples are distinguished and recognized, and the “‡ direction and location of the nipples are determined. Nipples using a 3D camera that enable the milking cup to be moved to the nipples and milked using a robot arm or manipulator after checking how much the nipples are located at the tail. It is an object to provide a recognition method and apparatus.

본 실시예의 일 측면에 의하면, 유두 인식 장치가 유두를 인식하는 방법에 있어서, 착유실의 케이지(Cage)의 천장에 설치된 꼬리 인식용 카메라를 이용하여 젖소의 꼬리를 포함하는 엉덩이 영역을 촬영한 엉덩이 영역 영상 데이터를 획득하는 과정; 상기 엉덩이 영역 영상 데이터를 분석하여 상기 젖소의 꼬리 위치를 결정하는 과정; 상기 꼬리 위치를 기반으로 젖소의 유방과 젖꼭지의 예상위치를 산출하는 과정; 로봇암을 이용하여 상기 로봇암에 부착된 착유컵 그립퍼의 일측에 부착된 유두 인식용 카메라를 상기 유방과 젖꼭지의 예상위치로 이동시키는 과정; 상기 유두 인식용 카메라를 이용하여 유두 영역을 촬영한 유두 영역 영상 데이터를 획득하는 과정; 상기 유두 영역 영상 데이터를 분석하여 유두 예상 위치를 산출하는 과정; 및 상기 로봇암을 이용하여 상기 유두 예상 위치로 상기 착유컵 그립퍼에 체결된 착유컵을 이동시킨 후 착유를 수행하도록 하는 과정을 포함하는 것을 특징으로 하는 유두 인식 방법을 제공한다.According to an aspect of the present embodiment, in a method of recognizing a nipple by a nipple recognition apparatus, a hip area in which a hip area including a tail of a cow is photographed using a tail recognition camera installed on a ceiling of a cage of a milking room. Obtaining image data; Analyzing the hip region image data to determine the position of the tail of the cow; Calculating the predicted positions of the cow's breasts and nipples based on the tail position; Moving a nipple recognition camera attached to one side of a milking cup gripper attached to the robot arm to an expected position of the breast and nipple using a robot arm; Acquiring nipple region image data photographing a nipple region using the nipple recognition camera; Analyzing the nipple region image data to calculate an expected nipple position; And a process of performing milking after moving the milking cup fastened to the milking cup gripper to the predicted nipple position using the robot arm.

이상에서 설명한 바와 같이 본 실시예에 의하면, 젖소로부터 우유를 무인 착유하기 위한 로봇 착유기에 이용되는 기술로서 3D 카메라를 이용하여 젖소의 엉덩이, 꼬리 위치, 유방 및 유두를 구분하여 인식하고, 유두의 “‡향 및 위치를 판별하여 꼬리 부분에서 유두의 위치가 어느 정도에 포진하고 있는지를 확인한 후 좌표화하여 로봇암이나 매니퓰레이터를 이용하여 착유컵을 유두로 이동 및 착유할 수 있는 효과가 있다.As described above, according to the present embodiment, as a technology used in a robot milking machine for unattended milking of milk from cows, a 3D camera is used to distinguish and recognize the buttocks, tail positions, breasts and nipples of cows, and “ ‡There is an effect that the milking cup can be moved to the nipple and milked by using a robot arm or manipulator by coordinates after determining how much the nipple is located in the tail by determining the direction and location.

도 1a,1b는 본 실시예에 따른 유두 인식 장치를 나타낸 도면이다.
도 2는 본 실시예에 따른 로봇 착유기를 나타낸 도면이다.
도 3a,3b는 본 실시예에 따른 유두 영역 영상 데이터와 엉덩이 영역 영상 데이터를 나타낸 도면이다.
도 4는 본 실시예에 따른 꼬리 인식용 카메라와 유두 인식용 카메라의 위치를 나타낸 도면이다.
도 5a,5b는 본 실시예에 따른 이동하는 로봇암에 부착된 카메라를 이용한 젖소의 유방 영역 포인트 클라우드 획득 방법을 나타낸 도면이다.
도 6a,6b는 본 실시예에 따른 착유실 천장에 부착된 카메라를 이용한 젖소의 엉덩이 영역 포인트 클라우드 획득 방법을 나타낸 도면이다.
도 7a,7b는 본 실시예에 따른 하우스도르프 거리를 이용한 유방 영역의 형상 단순화 및 유두 인식 알고리즘을 설명하기 위한 도면이다.
도 8은 본 실시예에 따른 지역 최대값을 이용한 유두 위치 검증 알고리즘을 설명하기 위한 도면이다.
도 9a,9b는 본 실시예에 따른 엉덩이 영역 포인트 클라우드를 이용한 젖소의 위치 판별 알고리즘을 설명하기 위한 도면이다.1A and 1B are diagrams showing a nipple recognition apparatus according to the present embodiment.
2 is a view showing a robot milking machine according to this embodiment.
3A and 3B are diagrams illustrating nipple region image data and hip region image data according to the present embodiment.
4 is a view showing the positions of the tail recognition camera and the nipple recognition camera according to the present embodiment.
5A and 5B are diagrams illustrating a method of obtaining a point cloud of a breast area of a cow using a camera attached to a moving robot arm according to the present embodiment.
6A and 6B are diagrams illustrating a method of obtaining a point cloud of a cow's hip area using a camera attached to the ceiling of the milking room according to the present embodiment.
7A and 7B are diagrams for explaining a breast region shape simplification and nipple recognition algorithm using the Hausdorff distance according to the present embodiment.
8 is a diagram for explaining an algorithm for verifying a nipple position using a local maximum value according to the present embodiment.
9A and 9B are diagrams for explaining an algorithm for determining a location of a cow using a hip area point cloud according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings.

도 1a,1b는 본 실시예에 따른 유두 인식 장치를 나타낸 도면이다. 1A and 1B are diagrams showing a nipple recognition apparatus according to the present embodiment.

본 실시예에 따른 유두 인식 장치(100)는 착유실의 케이지(Cage)의 천장에 설치된 꼬리 인식용 카메라(410)를 이용하여 젖소의 꼬리를 포함하는 엉덩이 영역을 촬영한 엉덩이 영역 영상 데이터를 획득한다.The nipple recognition apparatus 100 according to the present embodiment acquires hip region image data obtained by photographing a hip region including a cow's tail using a tail recognition camera 410 installed on the ceiling of a cage in a milking room. .

유두 인식 장치(100)는 엉덩이 영역 영상 데이터를 분석하여 젖소의 꼬리 위치를 결정한다. 유두 인식 장치(100)는 꼬리 위치를 기반으로 젖소의 유방과 젖꼭지의 예상위치를 산출한다. 유두 인식 장치(100)는 로봇암(120)을 이용하여 로봇암에 부착된 착유컵 그립퍼(130)의 일측에 부착된 유두 인식용 카메라(110)를 유방과 젖꼭지의 예상위치로 이동시킨다.The nipple recognition apparatus 100 determines the position of the tail of the cow by analyzing the image data of the hip region. The nipple recognition apparatus 100 calculates the predicted positions of the breast and the nipple of the cow based on the position of the tail. The nipple recognition apparatus 100 uses the robot arm 120 to move the nipple recognition camera 110 attached to one side of the milking cup gripper 130 attached to the robot arm to the predicted positions of the breast and the nipple.

유두 인식 장치(100)는 유두 인식용 카메라(110)를 이용하여 유두 영역을 촬영한 유두 영역 영상 데이터를 획득한다. 유두 인식 장치(100)는 유두 영역 영상 데이터를 분석하여 유두 예상 위치를 산출한다. 유두 인식 장치(100)는 로봇암(120)을 이용하여 유두 예상 위치로 착유컵 그립퍼(130)에 체결된 착유컵(140)을 이동시킨 후 착유를 수행하도록 한다.The nipple recognition apparatus 100 acquires nipple area image data obtained by photographing the nipple area using the nipple recognition camera 110. The nipple recognition apparatus 100 calculates an expected nipple position by analyzing the nipple region image data. The nipple recognition device 100 uses the robot arm 120 to move the milking cup 140 fastened to the milking cup gripper 130 to the expected nipple position and then perform milking.

유두 인식 장치(100)는 꼬리 위치를 기준점으로 젖소의 꼬리와 유방과의 간격에 대한 평균치를 적용하여 젖소의 유방과 젖꼭지의 예상위치를 산출한다. 유두 인식 장치(100)는 유두 영역 영상 데이터에 대해 OPENCV(Open Computer Vision Library)를 이용하여 영상처리를 수행하여 유두 예상 위치를 산출한다.The nipple recognition apparatus 100 calculates the predicted positions of the cow's breast and nipple by applying the average value of the distance between the cow's tail and the breast as a reference point. The nipple recognition apparatus 100 calculates an expected nipple position by performing image processing on the nipple region image data using an Open Computer Vision Library (OPENCV).

유두 인식 장치(100)는 유두 예상 위치를 산출하기 위해, 젖소의 유두 “‡향 및 위치를 판별하여 꼬리 부분에서 유두가 어느 정도 떨어져서 위치하여 포진하고 있는지를 확인한 후 좌표화한다.In order to calculate an expected nipple position, the nipple recognition apparatus 100 determines how far the nipple is located from the tail by determining the nipple “‡ direction and location of the cow, and then coordinates it.

유두 인식 장치(100)는 유두 예상 위치를 산출하기 위해, 유두 인식용 카메라(110)에 포함된 적외선 프로젝터와 적외선 카메라를 이용하여 젖소의 유방과 유두의 이미지와 젖소의 유방과 유두 사이의 거리정보를 포함하는 3D 데이터를 획득한다.The nipple recognition apparatus 100 uses an infrared projector and an infrared camera included in the nipple recognition camera 110 to calculate an expected nipple position, and the image of the cow's breast and nipple, and the distance information between the cow's breast and the nipple. Acquires 3D data including.

유두 인식 장치(100)는 젖소의 유방 및 유두의 이미지와 거리정보에 OPENCV(영상인식 기술)을 적용하여 유두의 위치와 형상 꺾인정도를 인식한다. 유두 인식 장치(100)는 유두의 위치와 형상 꺾인 정도를 상대 좌표화하여 젖소가 움직이는 젖소의 경우, 꼬리 위치를 이용하여 유두의 예상위치를 산출한다.The nipple recognition apparatus 100 recognizes the position and shape of the nipple by applying OPENCV (image recognition technology) to the image and distance information of the breast and nipple of the cow. The nipple recognition apparatus 100 calculates the predicted nipple position using the tail position in the case of a cow in which the cow moves by making relative coordinates of the nipple position and the degree of bending of the shape.

유두 인식 장치(100)는 착유를 수행하도록 하는 과정 이후에 젖소의 꼬리뼈와 유두와의 상대 위치를 좌표화하여 저장하고 있다가 동일한 젖소에 대해 재착유할 때, 사전에 파악된 젖소의 유두 위치로 로봇암(120)이 이동하도록 한 후 해당 위치에 젖꼭지가 있는지에 대한 확인 절차만 수행하고 착유를 개시하도록 한다.The nipple recognition device 100 coordinates and stores the relative position between the tailbone of the cow and the nipple after the process of performing milking, and when re-milking the same cow, the nipple location of the cow identified in advance is After allowing the robot arm 120 to move, only a procedure to confirm whether there is a nipple in the corresponding position is performed, and milking is started.

본 실시예에 따른 유두 인식 장치(100)는 유두 인식용 카메라(110), 로봇암(120), 착유컵 그립퍼(130), 착유컵(140)을 포함한다. 유두 인식 장치(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The teat recognition apparatus 100 according to the present embodiment includes a teat recognition camera 110, a robot arm 120, a milking cup gripper 130, and a milking cup 140. Components included in the nipple recognition apparatus 100 are not necessarily limited thereto.

유두 인식용 카메라(110)는 로봇암 그립퍼(130)의 일측에 부착된다.The nipple recognition camera 110 is attached to one side of the robot arm gripper 130.

유두 인식용 카메라(110)는 3D 카메라로서 적외선을 이용하여 사물을 인지한다. 유두 인식용 카메라(110)는 메인 카메라, 적외선 프로젝터, 적외선 카메라를 포함한다. 유두 인식용 카메라(110) 내에 포함된 적외선 프로젝터, 적외선 카메라는 적외선을 이용하여 사물의 굴곡과 거리를 감지하여 3D 데이터를 추출한다. 유두 인식용 카메라(110) 내에 포함된 메인 카메라가 2D 이미지로 객체를 촬영하면, 유두 인식용 카메라(110)에서 3D 데이터에 메인 카메라로 촬영한 2D 이미지를 덧씌워 사물의 입체적인 이미지를 생성한다.The nipple recognition camera 110 is a 3D camera and recognizes an object using infrared rays. The nipple recognition camera 110 includes a main camera, an infrared projector, and an infrared camera. Infrared projectors and infrared cameras included in the nipple recognition camera 110 extract 3D data by detecting curvature and distance of an object using infrared rays. When the main camera included in the nipple recognition camera 110 captures an object with a 2D image, the nipple recognition camera 110 creates a three-dimensional image of the object by overlaying 3D data with the 2D image taken by the main camera.

로봇암(120)은 x,y,z 방향으로 변위하고 회전하는 기구적 장치를 의미한다. 본 실시예에 따른 유두 인식 장치(100)는 로봇암(120)을 포함하여 구현된 것으로 기재하고 있으나, 실제 발명의 구현에 있어서 로봇암(120) 대신 매니퓰레이터(Manipulator)도 적용 가능하다.The robot arm 120 refers to a mechanical device that displaces and rotates in the x, y, and z directions. The nipple recognition apparatus 100 according to the present embodiment is described as being implemented including the robot arm 120, but a manipulator may be applied instead of the robot arm 120 in the implementation of the actual invention.

착유컵 그립퍼(130)는 일측이 로봇암(120)에 연결되고, 타측이 집게 형태의 집게부에 연결되어 착유컵(140)을 고정시키도록 한다. 착유컵(140)은 젖소의 유두를 감싸는 형태로 유두에 직접 체결되어 유두로부터 착유한 우유가 일차적으로 담기도록 한다.One side of the milking cup gripper 130 is connected to the robot arm 120 and the other side is connected to the tongs in the form of tongs to fix the milking cup 140. The milking cup 140 is directly fastened to the nipples in a form surrounding the nipples of the cow, so that the milk milked from the nipples is primarily contained.

도 2는 본 실시예에 따른 로봇 착유기를 나타낸 도면이다.2 is a view showing a robot milking machine according to this embodiment.

도 2를 참조하면, 본 실시예에 따른 착유컵 그립퍼(130) 내의 그립퍼 몸체는 3축으로 이동되는 로봇암(120)의 종단에 연결된다. 로봇암(120)은 제어부(210)의 제어 신호에 따라 그립퍼 몸체를 요구되는 위치에 위치하도록 이동 제어된다.Referring to FIG. 2, the gripper body in the milking cup gripper 130 according to the present embodiment is connected to the end of the robot arm 120 that is moved in three axes. The robot arm 120 is controlled to move to position the gripper body at a required position according to a control signal from the controller 210.

제어부(210)는 로봇암(120)을 제어하는 전반적인 기능을 제어하는 제어 수단을 의미한다. 제어부(210)는 로봇암(120)을 제어하기 위한 프로그램을 저장하는 메모리와 해당 프로그램을 실행하여 로봇암(120)의 구성 요소를 제어하는 마이크로프로세서 등으로 포함하여 구성될 수 있다.The controller 210 refers to a control means for controlling the overall function of controlling the robot arm 120. The controller 210 may include a memory storing a program for controlling the robot arm 120 and a microprocessor for controlling the components of the robot arm 120 by executing the program.

유두 인식 장치(100)는 젖소로부터 우유를 무인 착유하기 위한 로봇 착유기에 적용가능하다. The teat recognition device 100 is applicable to a robot milking machine for unattended milking of milk from a cow.

제어부(210)는 꼬리 인식용 카메라(410)와 유두 인식용 카메라(110)를 이용하여 젖소의 엉덩이, 꼬리 위치, 유방 및 유두를 구분하여 인식한다. 제어부(210)는 젖소의 유두 “‡향 및 위치를 판별하여 꼬리 부분에서 유두의 위치가 어느 정도에 포진하고 있는지를 확인한 후 좌표화한다. 제어부(210)는 로봇암(120)이나 매니퓰레이터를 제어하여 착유컵(140)을 유두로 이동하도록 제어한 후 착유를 수행하도록 한다.The controller 210 distinguishes and recognizes the buttocks, tail positions, breasts and nipples of a cow using the tail recognition camera 410 and the nipple recognition camera 110. The control unit 210 determines the nipple “‡ direction and location of the cow's milk, and coordinates after confirming to what extent the location of the nipple is located in the tail. The controller 210 controls the robot arm 120 or the manipulator to move the milking cup 140 to the nipple, and then performs milking.

본 실시예에 따른 유두 인식 장치(100)는 TOF(Time-of-Flight)의 단점을 보완하기 위하여 유두 인식용 카메라(110)를 이용하여 젖소의 유방 및 유두의 이미지와 거리정보를 얻는다. The nipple recognition apparatus 100 according to the present exemplary embodiment obtains images and distance information of a cow's breast and nipples using the nipple recognition camera 110 in order to compensate for the disadvantages of Time-of-Flight (TOF).

제어부(210)는 젖소의 유방 및 유두의 이미지와 거리정보에 영상인식 기술을 적용하여 유두의 위치와 형상 꺾인정도 등을 인식한 후 로봇 착유기에 적용한다. 제어부(210)는 젖소의 꼬리 위치와 유두 위치를 상대 좌표화하여 움직이는 젖소의 경우 꼬리의 위치를 이용하여 유두의 예상위치를 확인한다.The controller 210 applies the image recognition technology to the image and distance information of the cow's breast and nipples, recognizes the location and shape of the nipples, and applies it to the robot milking machine. The controller 210 determines the predicted position of the nipple by using the position of the tail in the case of a moving cow by making relative coordinates between the cow's tail position and the nipple position.

제어부(210)는 예상위치로 로봇암(120)이 이동하도록 제어하여 최종적인 유두 위치를 빠르게 확인할 수 있도록 한다. 제어부(210)는 젖소의 꼬리뼈와 유두와의 상대 위치를 좌표화하여 기록하므로 재착유를 위해서 입장하는 젖소의 유두 위치를 사전에 파악하고 해당 위치로 로봇암(120)이 착유컵(140)을 가지고 이동하도록 하며, 이동한 후 해당 위치에 젖꼭지가 있는지에 대한 확인 절차만 수행하고 착유를 개시하여 착유 성능을 향상시킬 수 있다.The controller 210 controls the robot arm 120 to move to an expected position so that the final nipple position can be quickly checked. Since the controller 210 coordinates and records the relative position of the cow's tailbone and the nipple, the position of the nipple of the cow entering for re-milking is determined in advance, and the robot arm 120 moves the milking cup 140 to the corresponding position. After moving, it is possible to improve milking performance by performing only the procedure to check whether there is a nipple in the corresponding position and starting milking.

일반적인 TOF 카메라의 경우, 3D 뎁스(Depth) 카메라로 거리정보를 얻을 수 있다는 점에서 3D 카메라와 유사한 특성을 가지나, TOF 카메라는 적외선 반사광원을 이용하여 물체에서 반사되어오는 빛의 시간간격을 측정하는 방식으로 거리정보를 얻는다. 따라서, TOF 카메라는 홀스타인 젖소의 검정색 유두 또는 유두 주위에 검은 반점에서 반사되는 빛이 적은 문제로 유두 인식률이 현저히 떨어진다.In the case of a general TOF camera, it has similar characteristics to a 3D camera in that distance information can be obtained with a 3D depth camera, but the TOF camera measures the time interval of light reflected from an object using an infrared reflected light source. Get distance information in a way. Therefore, the TOF camera has a problem that there is little light reflected from the black nipples or black spots around the nipples of Holstein cows, so the nipple recognition rate is significantly lowered.

본 실시예에 따른 유두 인식 장치(100)는 젖소의 종이 홀스타인(Holstein)인 경우, 검은색 유두를 갖는 개체가 많다 하더라도, 유두 인식용 카메라(110), 꼬리 인식용 카메라(410)를 이용하여 거리정보를 확인하므로 착유 성능을 향상시킬 수 있다.The nipple recognition apparatus 100 according to the present embodiment uses the nipple recognition camera 110 and the tail recognition camera 410, even if there are many objects having black nipples in the case of a paper Holstein of a cow. By checking the distance information, milking performance can be improved.

도 3a,3b는 본 실시예에 따른 유두 영역 영상 데이터와 엉덩이 영역 영상 데이터를 나타낸 도면이다.3A and 3B are diagrams illustrating nipple region image data and hip region image data according to the present embodiment.

도 3a에 도시된 바와 같이, 유두 인식용 카메라(110)는 3D 데이터(뎁스 이미지)와 컬러 이미지를 촬영한다.As shown in FIG. 3A, the nipple recognition camera 110 captures 3D data (depth image) and color images.

유두 인식용 카메라(110)는 3D 카메라로서, 메인 카메라, 적외선 프로젝터, 적외선 카메라를 포함한다. 적외선 프로젝터와 적외선 카메라는 적외선을 이용하여 유두의 굴곡과 거리를 감지하여 3D 데이터를 획득한다. 메인 카메라는 2D로 유두를 촬영한 2D 이미지를 획득한다. 유두 인식용 카메라(110)는 3D 데이터에 메인 카메라로 촬영한 2D 이미지를 덧씌워 사물의 입체적인 유두 영역 영상 데이터로 생성한다.The nipple recognition camera 110 is a 3D camera, and includes a main camera, an infrared projector, and an infrared camera. Infrared projectors and infrared cameras acquire 3D data by detecting the curvature and distance of the nipple using infrared rays. The main camera acquires a 2D image of the nipple in 2D. The nipple recognition camera 110 creates a three-dimensional nipple area image data of an object by overlaying a 2D image captured by the main camera on the 3D data.

유두 인식용 카메라(110)는 도 3a에 도시된 바와 같이, 젖소의 유방과 유두의 거리정보와 적외선 이미지를 동시에 획득한다. 유두 인식 장치(100)는 유두 인식용 카메라(110)로부터 유두 영역에 대한 3D 데이터(유두 적외선 이미지와 유두 뎁스 이미지)와 2D 이미지(칼라 이미지)를 획득하여 유두 영역 영상 데이터를 생성한다.As shown in FIG. 3A, the nipple recognition camera 110 simultaneously acquires distance information of the cow's breast and nipple, and an infrared image. The nipple recognition apparatus 100 obtains 3D data (nipple infrared images and nipple depth images) and 2D images (color images) for the nipple area from the nipple recognition camera 110 to generate nipple area image data.

꼬리 인식용 카메라(410)는 3D 카메라로서, 메인 카메라, 적외선 프로젝터, 적외선 카메라를 포함한다. 적외선 프로젝터와 적외선 카메라는 적외선을 이용하여 엉덩이와 꼬리의 굴곡과 거리를 감지하여 3D 데이터를 획득한다. 메인 카메라는 2D로 엉덩이와 꼬리를 촬영한 2D 이미지를 획득한다. 꼬리 인식용 카메라(410)는 3D 데이터에 메인 카메라로 촬영한 2D 이미지를 덧씌워 사물의 입체적인 엉덩이 영역 영상 데이터로 생성한다.The tail recognition camera 410 is a 3D camera, and includes a main camera, an infrared projector, and an infrared camera. Infrared projectors and infrared cameras acquire 3D data by detecting the curvature and distance of the hip and tail using infrared rays. The main camera acquires a 2D image of the hip and tail in 2D. The tail recognition camera 410 creates a stereoscopic hip region image data of an object by overlaying a 2D image captured by the main camera on the 3D data.

꼬리 인식용 카메라(410)는 도 3b에 도시된 바와 같이, 엉덩이 적외선 이미지와 엉덩이 뎁스 이미지를 동시에 획득한다. 유두 인식 장치(100)는 꼬리 인식용 카메라(410)로부터 엉덩이 영역에 대한 3D 데이터(엉덩이 적외선 이미지와 엉덩이 뎁스 이미지)와 2D 이미지(칼라 이미지)를 획득하여 엉덩이 영역 영상 데이터를 생성한다.The tail recognition camera 410 simultaneously acquires the hip infrared image and the hip depth image, as shown in FIG. 3B. The nipple recognition apparatus 100 obtains 3D data (hip infrared image and hip depth image) and 2D image (color image) of the hip region from the tail recognition camera 410 to generate hip region image data.

도 4는 본 실시예에 따른 꼬리 인식용 카메라와 유두 인식용 카메라의 위치를 나타낸 도면이다.4 is a view showing the positions of the tail recognition camera and the nipple recognition camera according to the present embodiment.

유두 인식 장치(100)는 케이지의 천장에 설치된 꼬리 인식용 카메라(410)를 이용하여 젖소의 꼬리 위치를 확인한다. 유두 인식 장치(100)는 젖소의 꼬리 위치를 기반으로 젖소의 유방과 젖꼭지의 예상위치를 확보한다. 유두 인식 장치(100)는 젖소의 꼬리와 유방과의 간격에 대한 평균치를 조사 데이터로 확보하여 젖소의 유방과 젖꼭지의 예상위치를 계산할 때 이용한다.The nipple recognition device 100 checks the position of the tail of the cow using the tail recognition camera 410 installed on the ceiling of the cage. The nipple recognition device 100 secures the predicted positions of the cow's breast and nipple based on the location of the cow's tail. The nipple recognition apparatus 100 secures an average value of the distance between the cow's tail and the breast as survey data, and is used to calculate the expected position of the cow's breast and nipple.

유두 인식 장치(100)는 로봇암(120)을 이용하여 유두인식 전용카메라인 유두 인식용 카메라(110)를 해당 위치로 이동시킨다. 유두 인식 장치(100)는 유두 인식용 카메라(110)를 이용하여 유두를 촬영한 영상 데이터를 획득한다.The nipple recognition device 100 uses the robot arm 120 to move the nipple recognition camera 110, which is a nipple recognition dedicated camera, to a corresponding position. The nipple recognition apparatus 100 acquires image data photographing a nipple using the nipple recognition camera 110.

유두 인식 장치(100)는 영상 데이터에 대한 영상 처리를 수행한다. 예컨대, 유두 인식 장치(100)는 OPENCV(Open Computer Vision Library)를 이용하여 영상처리를 수행한다. 유두 인식 장치(100)는 유두인식 데이터를 확보한다. 유두 인식 장치(100)는 로봇암(120)을 이용하여 유두의 예상 위치로 착유컵(140)을 이동시키고, 착유를 시작한다.The nipple recognition apparatus 100 performs image processing on image data. For example, the nipple recognition apparatus 100 performs image processing using an Open Computer Vision Library (OPENCV). The nipple recognition device 100 secures nipple recognition data. The nipple recognition device 100 moves the milking cup 140 to the predicted position of the nipple by using the robot arm 120 and starts milking.

도 5a,5b는 본 실시예에 따른 이동하는 로봇암에 부착된 카메라를 이용한 젖소의 유방 영역 포인트 클라우드 획득 방법을 나타낸 도면이다.5A and 5B are diagrams illustrating a method of obtaining a point cloud of a breast area of a cow using a camera attached to a moving robot arm according to the present embodiment.

유두 인식 장치(100)는 이동하는 로봇암(120)과 부착된 카메라를 이용하여 젖소의 유방 영역 포인트 클라우드를 획득한다. 유두 인식 장치(100)는 카메라가 로봇암(120)에 x,y,z 방향으로 변위하고 회전하는데, 카메라로 측정된 포인트 클라우드 데이터를 로봇 좌표계상의 데이터로 변경한다.The nipple recognition apparatus 100 acquires a point cloud of a breast area of a cow using the moving robot arm 120 and an attached camera. The nipple recognition apparatus 100 changes the point cloud data measured by the camera into data on the robot coordinate system as the camera displaces and rotates on the robot arm 120 in the x, y, and z directions.

유두 인식 장치(100)는 카메라의 위치 또는 방향을 이용하여 획득한 포인트 클라우드의 로봇 작업 좌표계로의 변환한다. 유두 인식 장치(100)는 카메라의 위치/방향을 로봇 작업 좌표계로 변환할 때, 카메라가 부착된 좌표계를 이용한다. 도 5a에 도시된 바와 같이, 유두 인식 장치(100)는 로봇좌표계에서의 젖소의 배 영역에 대한 포인트 클라우드를 획득한다.The nipple recognition apparatus 100 converts the acquired point cloud into a robot work coordinate system using the position or direction of the camera. The nipple recognition apparatus 100 uses a coordinate system to which a camera is attached when converting the position/direction of the camera into a robot working coordinate system. As shown in FIG. 5A, the nipple recognition apparatus 100 acquires a point cloud for an belly area of a cow in a robot coordinate system.

다시 말해, 도 5a에 도시된 바와 같이, 유두 인식 장치(100)는 유두 예상 위치를 산출하기 위해, 이동하는 로봇암에 부착된 유두 인식용 카메라(110)로부터 획득한 유두 영역 영상 데이터에 포함된 3D 데이터로부터 젖소의 유방 영역 포인트 클라우드를 획득한다.In other words, as shown in FIG. 5A, the nipple recognition apparatus 100 includes the nipple region image data acquired from the nipple recognition camera 110 attached to the moving robot arm in order to calculate an expected nipple position. The cow's breast area point cloud is acquired from the 3D data.

유두 인식 장치(100)는 로봇암(120)이 x,y,z 방향으로 변위하고 회전할 때, 유두 인식용 카메라(110)에 부착된 좌표계를 이용하여 카메라의 위치 및 방향에 따라 측정한 포인트 클라우드 데이터를 로봇 좌표계상의 데이터로 변환한다.When the robot arm 120 is displaced and rotated in the x, y, and z directions, the nipple recognition device 100 uses a coordinate system attached to the nipple recognition camera 110 to measure a point according to the position and direction of the camera. Cloud data is converted into data on the robot coordinate system.

도 5b에 도시된 바와 같이, 유두 인식 장치(100)는 이동 중인 로봇암(120)에서 로봇 엔드 이펙터 부근의 포인트 뎁스(Depth) 영상만을 추출한다. 유두 인식 장치(100)는 이동하는 로봇암(120)에서 측정된 분할된 포인트 클라우드 영상을 획득한다.As shown in FIG. 5B, the nipple recognition apparatus 100 extracts only a point depth image near the robot end effector from the moving robot arm 120. The nipple recognition apparatus 100 acquires a segmented point cloud image measured by the moving robot arm 120.

다시 말해, 유두 인식 장치(100)는 유두 인식용 카메라(110)로부터 이동 중인 로봇암(120)에 부착된 유두 인식용 카메라(110)로부터 획득한 유두 영역의 3D 데이터에서 로봇 엔드 이펙터 부근의 포인트 뎁스(Depth) 영상만을 추출한다. 유두 인식 장치(100)는 유두 인식용 카메라(110)로부터 이동하는 로봇암(120)에 부착된 유두 인식용 카메라(110)로부터 측정된 분할된 포인트 클라우드 영상을 획득한다.In other words, the nipple recognition device 100 is a point near the robot end effector in 3D data of the nipple area acquired from the nipple recognition camera 110 attached to the moving robot arm 120 from the nipple recognition camera 110. Only the depth image is extracted. The nipple recognition apparatus 100 acquires a divided point cloud image measured from the nipple recognition camera 110 attached to the robot arm 120 moving from the nipple recognition camera 110.

도 6a,6b는 본 실시예에 따른 착유실 천장에 부착된 카메라를 이용한 젖소의 엉덩이 영역 포인트 클라우드 획득 방법을 나타낸 도면이다.6A and 6B are diagrams illustrating a method of obtaining a point cloud of a cow's hip area using a camera attached to the ceiling of a milking room according to the present embodiment.

유두 인식 장치(100)는 착유실 천장에 부착된 카메라를 이용한 젖소의 엉덩이 영역 포인트 클라우드를 획득한다. 유두 인식 장치(100)는 케이지 내부의 로봇 좌표계상의 3차원 공간을 설정한다. 유두 인식 장치(100)는 꼬리 인식용 카메라(410)의 설치 위치를 설정한다. 유두 인식 장치(100)는 꼬리 인식용 카메라(410)에서 획득한 포인트 클라우드에서 케이지 내부의 영역만을 추출한다. 유두 인식 장치(100)는 착유실 천장에 부착된 카메라를 이용하여 젖소의 엉덩이 영역에 대한 ToF 영상과 케이지 내부의 컬러 영상을 획득한다.The nipple recognition apparatus 100 acquires a point cloud of a hip area of a cow using a camera attached to the milking room ceiling. The nipple recognition apparatus 100 sets a three-dimensional space on a robot coordinate system inside the cage. The nipple recognition device 100 sets the installation position of the tail recognition camera 410. The nipple recognition apparatus 100 extracts only an area inside the cage from the point cloud acquired by the tail recognition camera 410. The nipple recognition apparatus 100 acquires a ToF image of a hip region of a cow and a color image inside a cage using a camera attached to the ceiling of the milking room.

다시 말해, 도 6a에 도시된 바와 같이, 유두 인식 장치(100)는 착유실 천장에 부착된 카메라를 이용한 젖소의 엉덩이 영역 포인트 클라우드를 획득한다. 유두 인식 장치(100)는 젖소의 꼬리 위치를 결정하기 위해, 케이지 내부의 로봇 좌표계상의 3차원 공간을 설정한다. 유두 인식 장치(100)는 3차원 공간 내에서 꼬리 인식용 카메라의 설치 위치를 설정한다. 유두 인식 장치(100)는 꼬리 인식용 카메라(410)로부터 획득한 엉덩이 영역 영상 데이터에 포함된 3D 데이터의 포인트 클라우드에서 케이지 내부의 영역만을 추출한다. 유두 인식 장치(100)는 케이지 내부의 영역에서 젖소의 엉덩이 영역만을 추출한다.In other words, as shown in FIG. 6A, the nipple recognition apparatus 100 acquires a point cloud of a hip area of a cow using a camera attached to the milking room ceiling. The nipple recognition apparatus 100 sets a three-dimensional space on the robot coordinate system inside the cage to determine the position of the tail of the cow. The nipple recognition apparatus 100 sets the installation position of the tail recognition camera in a three-dimensional space. The nipple recognition apparatus 100 extracts only an area inside the cage from a point cloud of 3D data included in the hip area image data acquired from the tail recognition camera 410. The nipple recognition apparatus 100 extracts only the hip area of the cow from the area inside the cage.

도 6b에 도시된 바와 같이, 유두 인식 장치(100)는 젖소의 엉덩이 영역만을 이진화한 영상으로 변환한다.As shown in FIG. 6B, the nipple recognition apparatus 100 converts only the hip region of a cow into a binary image.

도 7a,7b는 본 실시예에 따른 하우스도르프 거리를 이용한 유방 영역의 형상 단순화 및 유두 인식 알고리즘을 설명하기 위한 도면이다.7A and 7B are diagrams for explaining a breast region shape simplification and nipple recognition algorithm using the Hausdorff distance according to the present embodiment.

유두 인식 장치(100)는 유두 영역 포인트 클라우드 원본을 이진화한 영상은 도 7a에 도시된 바와 같다. 유두 인식 장치(100)는 유두를 촬영한 영상 데이터를 기반으로 하우스도르프(Hausdorff) 거리를 이용하여 유방 영역의 형상 단순화하고 유두를 인식한다.The nipple recognition apparatus 100 binarizes the original nipple area point cloud as shown in FIG. 7A. The nipple recognition apparatus 100 simplifies the shape of the breast region and recognizes the nipple by using a Hausdorff distance based on image data photographing the nipple.

유두 인식 장치(100)는 유두를 촬영한 영상 데이터에서 잡음을 제거한다. 유두 인식 장치(100)는 잡음을 제거한 영상 데이터에서 유두의 외곽선을 추출한다. 유두 인식 장치(100)는 유두의 외곽선을 추출한 영상에서 하우스도르프 거리 기반으로 외곽선을 단순화한다. 유두 인식 장치(100)는 외곽선을 단순화한 영상에서 유두를 인식한다.The nipple recognition apparatus 100 removes noise from image data photographing a nipple. The nipple recognition apparatus 100 extracts an outline of the nipple from image data from which noise has been removed. The nipple recognition apparatus 100 simplifies the outline based on the Hausdorff distance from the image obtained by extracting the outline of the nipple. The nipple recognition apparatus 100 recognizes a nipple from an image with a simplified outline.

다시 말해, 도 7a에 도시된 바와 같이, 유두 인식 장치(100)는 유두 예상 위치를 산출하기 위해, 유두 인식용 카메라(110)로부터 획득한 유두 영역 영상 데이터에 포함된 3D 데이터 내의 포인트 클라우드에서 유두의 영역만을 추출한다. 유두 인식 장치(100)는 유두 영역만을 이진화한 영상으로 변환한 유두 이진화 영상을 생성한다. In other words, as shown in FIG. 7A, in order to calculate the nipple predicted position, the nipple recognition apparatus 100 displays a nipple in a point cloud in 3D data included in the nipple area image data acquired from the nipple recognition camera 110. Only the area of is extracted. The nipple recognition apparatus 100 generates a nipple binarized image obtained by converting only the nipple region into a binarized image.

도 7b에 도시된 바와 같이, 유두 인식 장치(100)는 유두 이진화 영상에서 잡음을 제거한 잡음 제거 영상을 생성한다. 유두 인식 장치(100)는 잡음 제거 영상에서 유두 외곽선을 추출한 유두 외곽선 영상을 생성한다. 유두 인식 장치(100)는 유두 외곽선 영상에 하우스도르프 거리(Hausdorff Distance) 기반으로 유두 외곽선을 단순화한 외곽선 단순화 영상을 생성한다. 유두 인식 장치(100)는 외곽선 단순화 영상에서 유두를 인식한다. 유두 인식 장치(100)는 외곽선을 단순화한 영상에서 유두를 인식하고, 인식된 유두의 끝점을 재탐지한다. As shown in FIG. 7B, the nipple recognition apparatus 100 generates a noise removal image from which noise is removed from the nipple binarized image. The nipple recognition apparatus 100 generates a nipple outline image obtained by extracting the nipple outline from the noise removal image. The nipple recognition apparatus 100 generates an outline simplified image in which the nipple outline is simplified based on the Hausdorff Distance in the nipple outline image. The nipple recognition apparatus 100 recognizes a nipple from a simplified outline image. The nipple recognition apparatus 100 recognizes the nipple in an image in which the outline is simplified, and re-detects the end point of the recognized nipple.

도 8은 본 실시예에 따른 지역 최대값을 이용한 유두 위치 검증 알고리즘을 설명하기 위한 도면이다.8 is a diagram for describing a nipple position verification algorithm using a local maximum value according to the present embodiment.

유두 인식 장치(100)는 유두를 촬영한 2D 영상 데이터로부터 2차원 지역 최대값을 추출한다. 유두 인식 장치(100)는 2D 영상 데이터로부터 추출한 2차원 지역 최대값과 외곽선을 단순화한 영상에서 인식된 유두 위치를 비교하여 검증한다. 유두 인식 장치(100)는 2D 영상 데이터로부터 추출한 2차원 지역 최대값과 외곽선을 단순화한 영상에서 인식된 유두의 끝점의 위치와 비교하여 검증한다.The nipple recognition apparatus 100 extracts a 2D area maximum value from 2D image data photographing the nipple. The nipple recognition apparatus 100 compares and verifies the location of the nipple recognized in the image in which the outline is simplified with the maximum value of the 2D area extracted from the 2D image data. The nipple recognition apparatus 100 compares the 2D area maximum value extracted from the 2D image data with the position of the end point of the nipple recognized in the simplified image for verification.

다시 말해, 도 8에 도시된 바와 같이, 유두 인식 장치(100)는 유두 예상 위치를 산출하기 위해, 유두 인식용 카메라(110)로부터 획득한 유두 영역에 대한 2D 이미지 내로부터 2차원 지역 최대값을 추출한다. 유두 인식 장치(100)는 2차원 지역 최대값과 외곽선 단순화 영상에서 인식된 유두의 끝점 위치를 비교하여 일치하는 지의 여부를 검증한다.In other words, as shown in FIG. 8, the nipple recognition apparatus 100 calculates the estimated nipple position by calculating the maximum 2D area from the 2D image of the nipple area obtained from the nipple recognition camera 110. Extract. The nipple recognition apparatus 100 compares the 2D area maximum value and the location of the end point of the nipple recognized in the outline simplified image to verify whether they match.

도 9a,9b는 본 실시예에 따른 엉덩이 영역 포인트 클라우드를 이용한 젖소의 위치 판별 알고리즘을 설명하기 위한 도면이다.9A and 9B are diagrams for explaining an algorithm for determining a location of a cow using a hip area point cloud according to the present embodiment.

유두 인식 장치(100)는 젖소의 엉덩이를 촬영한 영상 데이터에서 잡음을 제거한다. 유두 인식 장치(100)는 도 9a에 도시된 바와 같이, 햇빛에 의한 난반사를 제거하고 외곽선 흔들림을 제거한다.The nipple recognition apparatus 100 removes noise from image data photographing the butt of a cow. As illustrated in FIG. 9A, the nipple recognition apparatus 100 removes diffuse reflection caused by sunlight and removes shaking of the outline.

유두 인식 장치(100)는 잡음을 제거한 영상 데이터에서 젖소의 엉덩이의 외곽선을 추출한다. 유두 인식 장치(100)는 엉덩이의 외곽선을 추출한 영상에서 상단 15% 외곽선 선택한다. 유두 인식 장치(100)는 상단 15% 외곽선 선택한 영상에서 PCA(Principal Component Analysis) 분석(중심점 추출)을 수행하여 젖소의 꼬리에 대한 기준 위치를 추출한다.The nipple recognition apparatus 100 extracts an outline of a hip of a cow from image data from which noise has been removed. The nipple recognition apparatus 100 selects the upper 15% outline from the image obtained by extracting the outline of the hip. The nipple recognition apparatus 100 extracts a reference position for the tail of the cow by performing a Principal Component Analysis (PCA) analysis (center point extraction) on the image selected by the upper 15% outline.

유두 인식 장치(100)는 젖소의 꼬리에 대한 기준 위치를 추출한 영상에서 오프셋(Offset) 값을 적용한다. 다시 말해, 유두 인식 장치(100)는 오프셋 값을 적용하여 젖소가 대소변 시 꼬리 위치 변경되는 것을 방지한다.The nipple recognition apparatus 100 applies an offset value from an image obtained by extracting the reference position of the cow's tail. In other words, the nipple recognition apparatus 100 prevents the cow's tail position from being changed during the bowel movement by applying the offset value.

유두 인식 장치(100)는 오프셋 값을 적용한 영상에서 로봇 좌표계 변환을 수행한다. 유두 인식 장치(100)는 로봇 좌표계 변환을 수행한 영상에서 칼만필터(Kalman Filter) 추적(오차 범위 ± 5 mm)을 수행한다. 도 9b에 도시된 바와 같이, 유두 인식 장치(100)는 엉덩이 끝점으로부터 일정 거리의 좌표 추출하고 추적한다.The nipple recognition apparatus 100 performs a robot coordinate system transformation on an image to which an offset value is applied. The nipple recognition apparatus 100 performs a Kalman filter tracking (error range ± 5 mm) on an image that has undergone robot coordinate system transformation. As shown in FIG. 9B, the nipple recognition apparatus 100 extracts and tracks coordinates of a predetermined distance from the hip end point.

다시 말해, 도 9a에 도시된 바와 같이, 유두 인식 장치(100)는 젖소의 꼬리 위치를 결정하기 위해, 엉덩이 이진화 영상에서 잡음과 외곽선 흔들림을 제거한 잡음 및 흔들림 제거 영상을 생성한다. 유두 인식 장치(100)는 잡음 및 흔들림 제거 영상에서 젖소의 엉덩이 외곽선을 추출한 엉덩이 외곽선 영상을 생성한다.In other words, as shown in FIG. 9A, in order to determine the position of the tail of the cow, the nipple recognition apparatus 100 generates a noise and shake removal image by removing noise and outline shake from the hip binarized image. The nipple recognition apparatus 100 generates a hip outline image obtained by extracting the hip outline of the cow from the noise and shake removal image.

도 9b에 도시된 바와 같이, 유두 인식 장치(100)는 엉덩이 외곽선 영상 영상에서 상단 15% 외곽선만을 선택한다. 유두 인식 장치(100)는 상단 15% 외곽선만을 선택한 영상에서 PCA(Principal Component Analysis) 분석(중심점 추출)을 수행하여 젖소의 꼬리에 대한 기준 위치를 추출한다. 유두 인식 장치(100)는 젖소의 꼬리에 대한 기준 위치를 추출한 영상에서 오프셋(Offset) 값을 적용(대소변 시 꼬리 위치 변경 방지)하고, 오프셋 값을 적용한 영상에서 로봇 좌표계 변환을 수행한다. 유두 인식 장치(100)는 로봇 좌표계 변환을 수행한 영상에서 칼만필터 추적을 수행하여 꼬리 위치를 산출한다.As shown in FIG. 9B, the nipple recognition apparatus 100 selects only the upper 15% outline from the hip outline image image. The nipple recognition apparatus 100 extracts a reference position for the tail of the cow by performing a principal component analysis (PCA) analysis (central point extraction) on the image selected only the upper 15% outline. The nipple recognition apparatus 100 applies an offset value from an image obtained by extracting a reference position with respect to the cow's tail (prevents changing the tail position when urinating), and performs a robot coordinate system transformation on the image to which the offset value is applied. The nipple recognition apparatus 100 calculates a tail position by performing Kalman filter tracking on an image that has undergone robot coordinate system transformation.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present embodiment, and those of ordinary skill in the technical field to which the present embodiment belongs will be able to make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present exemplary embodiments are not intended to limit the technical idea of the present exemplary embodiment, but are illustrative, and the scope of the technical idea of the present exemplary embodiment is not limited by these exemplary embodiments. The scope of protection of this embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present embodiment.

100: 유도 인식 장치
110: 유두 인식용 카메라
120: 로봇암
130: 착유컵 그립퍼
140: 착유컵
210: 제어부
410: 꼬리 인식용 카메라100: inductive recognition device
110: nipple recognition camera
120: robot arm
130: milking cup gripper
140: milking cup
210: control unit
410: tail recognition camera

Claims (7)

유두 인식 장치가 유두를 인식하는 방법에 있어서,
착유실의 케이지(Cage)의 천장에 설치된 꼬리 인식용 카메라를 이용하여 젖소의 꼬리를 포함하는 엉덩이 영역을 촬영한 엉덩이 영역 영상 데이터를 획득하는 과정;
상기 엉덩이 영역 영상 데이터를 분석하여 상기 젖소의 꼬리 위치를 결정하는 과정;
상기 꼬리 위치를 기반으로 젖소의 유방과 젖꼭지의 예상위치를 산출하는 과정;
로봇암을 이용하여 상기 로봇암에 부착된 착유컵 그립퍼의 일측에 부착된 유두 인식용 카메라를 상기 유방과 젖꼭지의 예상위치로 이동시키는 과정;
상기 유두 인식용 카메라를 이용하여 유두 영역을 촬영한 유두 영역 영상 데이터를 획득하는 과정;
상기 유두 영역 영상 데이터를 분석하여 유두 예상 위치를 산출하는 과정; 및
상기 로봇암을 이용하여 상기 유두 예상 위치로 상기 착유컵 그립퍼에 체결된 착유컵을 이동시킨 후 착유를 수행하도록 하는 과정
을 포함하되, 상기 꼬리 인식용 카메라는 엉덩이 영역에 대한 3D 데이터와 2D 이미지를 조합한 상기 엉덩이 영역 영상 데이터를 획득하며, 상기 유두 인식용 카메라는 유두 영역에 대한 3D 데이터와 2D 이미지를 조합한 상기 유두 영역 영상 데이터를 획득하며,
상기 유두 예상 위치를 산출하는 과정은, 이동하는 상기 로봇암에 부착된 상기 유두 인식용 카메라로부터 획득한 상기 유두 영역의 3D 데이터에서 젖소의 유방 영역 포인트 클라우드를 획득하고, 상기 로봇암이 x,y,z 방향으로 변위하고 회전할 때, 상기 유두 인식용 카메라에 부착된 좌표계를 이용하여 카메라의 위치 및 방향에 따라 측정한 포인트 클라우드 데이터를 로봇 좌표계상의 데이터로 변환하며,
상기 젖소의 꼬리 위치를 결정하는 과정은, 케이지 내부의 로봇 좌표계상의 3차원 공간을 설정하고, 상기 3차원 공간 내에서 상기 꼬리 인식용 카메라의 설치 위치를 설정하고, 상기 꼬리 인식용 카메라로부터 획득한 엉덩이 영역에 대한 3D 데이터 내의 포인트 클라우드에서 케이지 내부의 영역만을 추출하고, 상기 케이지 내부의 영역에서 젖소의 엉덩이 영역만을 추출하고, 상기 젖소의 엉덩이 영역만을 이진화한 영상으로 변환하며,
상기 유두 예상 위치를 산출하는 과정은, 상기 유두 인식용 카메라로부터 획득한 유두 영역에 대한 3D 데이터 내의 포인트 클라우드에서 유두의 영역만을 추출하고, 상기 유두 영역만을 이진화한 영상으로 변환한 유두 이진화 영상을 생성하고, 상기 유두 이진화 영상에서 잡음을 제거한 잡음 제거 영상을 생성하고, 상기 잡음 제거 영상에서 유두 외곽선을 추출한 유두 외곽선 영상을 생성하고, 상기 유두 외곽선 영상에 하우스도르프 거리(Hausdorff Distance) 기반으로 유두 외곽선을 단순화한 외곽선 단순화 영상을 생성하고, 상기 외곽선 단순화 영상에서 유두를 인식하는 것을 특징으로 하는 유두 인식 방법.In the method for the teat recognition device to recognize the teat,
Obtaining image data of the hip region by photographing the hip region including the tail of the cow by using a tail recognition camera installed on the ceiling of a cage of a milking room;
Analyzing the hip region image data to determine the position of the tail of the cow;
Calculating the predicted positions of the cow's breasts and nipples based on the tail position;
Moving a nipple recognition camera attached to one side of a milking cup gripper attached to the robot arm to an expected position of the breast and nipple using a robot arm;
Acquiring nipple region image data photographing a nipple region using the nipple recognition camera;
Analyzing the nipple region image data to calculate an expected nipple position; And
The process of performing milking after moving the milking cup fastened to the milking cup gripper to the expected nipple position using the robot arm
Including, wherein the tail recognition camera acquires the hip region image data obtained by combining 3D data and 2D image for the hip region, and the nipple recognition camera is the combination of 3D data and 2D image for the nipple region. Acquires the nipple area image data,
The process of calculating the predicted nipple position may include obtaining a cow's breast area point cloud from the 3D data of the nipple area obtained from the nipple recognition camera attached to the moving robot arm, and the robot arm x,y When displacing and rotating in the ,z direction, the point cloud data measured according to the position and direction of the camera using the coordinate system attached to the nipple recognition camera is converted into data on the robot coordinate system,
The process of determining the tail position of the cow includes setting a three-dimensional space on the robot coordinate system inside the cage, setting the installation position of the tail recognition camera within the three-dimensional space, and obtaining from the tail recognition camera. Extracting only the area inside the cage from the point cloud in the 3D data for the hip area, extracting only the hip area of the cow from the area inside the cage, and converting only the hip area of the cow into a binary image,
In the process of calculating the predicted nipple position, only the nipple region is extracted from the point cloud in the 3D data for the nipple region acquired from the nipple recognition camera, and the nipple binarized image is generated by converting only the nipple region into a binarized image. Then, a noise removal image from which noise is removed from the nipple binarization image is generated, a nipple outline image obtained by extracting a nipple outline from the noise removal image is generated, and a nipple outline is generated based on a Hausdorff Distance on the nipple outline image. A nipple recognition method, comprising generating a simplified outline simplified image and recognizing a nipple from the outline simplified image. 제1항에 있어서,
상기 젖소의 유방과 젖꼭지의 예상위치를 산출하는 과정은,
상기 꼬리 위치를 기준점으로 상기 젖소의 꼬리와 유방과의 간격에 대한 평균치를 적용하여 상기 젖소의 유방과 젖꼭지의 예상위치를 산출하는 것을 특징으로 하는 유두 인식 방법.The method of claim 1,
The process of calculating the expected positions of the cow's breasts and nipples,
The nipple recognition method, characterized in that the estimated position of the breast and the nipple of the cow is calculated by applying an average value of the distance between the tail and the breast of the cow as a reference point. 제2항에 있어서,
상기 유두 예상 위치를 산출하는 과정은,
상기 유두 영역 영상 데이터에 대해 오픈 컴퓨터 비전 라이브러리(OPENCV: Open Computer Vision Library)를 이용하여 영상처리를 수행하여 상기 유두 예상 위치를 산출하는 것을 특징으로 하는 유두 인식 방법.The method of claim 2,
The process of calculating the expected nipple position,
The nipple recognition method, characterized in that for calculating the nipple predicted position by performing image processing on the nipple region image data using an open computer vision library (OPENCV). 제3항에 있어서,
상기 유두 예상 위치를 산출하는 과정은,
상기 젖소의 유두 “‡향 및 위치를 판별하여 꼬리 부분에서 유두가 어느 정도 떨어져서 위치하여 포진하고 있는지를 확인한 후 좌표화하는 것을 특징으로 하는 유두 인식 방법.The method of claim 3,
The process of calculating the expected nipple position,
The nipple recognition method, characterized in that by determining the nipple “‡ direction and location of the cow, and determining how far away the nipple is from the tail, and then coordinates it. 제3항에 있어서,
상기 유두 인식용 카메라는 3D 카메라로서, 메인 카메라, 적외선 프로젝터, 적외선 카메라를 포함하며, 상기 적외선 프로젝터와 상기 적외선 카메라는 적외선을 이용하여 유두의 굴곡과 거리를 감지하여 상기 3D 데이터를 획득하며, 상기 메인 카메라는 2D로 유두를 촬영한 상기 2D 이미지를 획득하면, 상기 3D 데이터에 상기 메인 카메라로 촬영한 상기 2D 이미지를 덧씌워 사물의 입체적인 상기 유두 영역 영상 데이터를 생성하며,
상기 꼬리 인식용 카메라는 3D 카메라로서, 메인 카메라, 적외선 프로젝터, 적외선 카메라를 포함하며, 상기 적외선 프로젝터와 상기 적외선 카메라는 적외선을 이용하여 엉덩이와 꼬리의 굴곡과 거리를 감지하여 3D 데이터를 획득하며, 상기 메인 카메라는 2D로 엉덩이와 꼬리를 촬영한 2D 영상을 획득하면, 상기 3D 데이터에 상기 메인 카메라로 촬영한 상기 2D 이미지를 덧씌워 사물의 입체적인 상기 엉덩이 영역 영상 데이터를 생성하는 것을 특징으로 하는 유두 인식 방법.The method of claim 3,
The nipple recognition camera is a 3D camera, and includes a main camera, an infrared projector, and an infrared camera, and the infrared projector and the infrared camera detect the curvature and distance of the nipple using infrared light to obtain the 3D data, and the When the main camera acquires the 2D image of the nipple taken in 2D, the 3D data is overlaid with the 2D image taken with the main camera to generate the three-dimensional nipple area image data of the object,
The tail recognition camera is a 3D camera, and includes a main camera, an infrared projector, and an infrared camera, and the infrared projector and the infrared camera use infrared to detect the curvature and distance of the buttocks and tail to obtain 3D data, When the main camera acquires a 2D image of the buttocks and tail photographed in 2D, the 3D data is overlaid with the 2D image captured by the main camera to generate the three-dimensional image data of the hip region of the object. Recognition method. 제5항에 있어서,
상기 유두 예상 위치를 산출하는 과정은,
상기 유두 인식용 카메라에 포함된 상기 적외선 프로젝터와 상기 적외선 카메라를 이용하여 젖소의 유방과 유두의 이미지와 젖소의 유방과 유두 사이의 거리정보를 포함하는 상기 3D 데이터를 획득하고,
상기 젖소의 유방 및 유두의 이미지와 거리정보에 오픈 컴퓨터 비전 라이브러리(OPENCV)를 적용하여 유두의 위치와 형상 꺾인정도를 인식하며,
상기 유두의 위치와 형상 꺾인정도를 상대 좌표화하여 움직이는 젖소의 경우, 상기 꼬리 위치를 이용하여 유두의 예상위치를 산출하는 것을 특징으로 하는 유두 인식 방법.The method of claim 5,
The process of calculating the expected nipple position,
Acquiring the 3D data including an image of a cow's breast and nipples and distance information between the cow's breast and nipples by using the infrared projector and the infrared camera included in the nipple recognition camera,
By applying an open computer vision library (OPENCV) to the image and distance information of the cow's breast and nipples, the position and shape of the nipples are recognized,
In the case of a cow moving by making the position of the nipple and the degree of bending of the shape relative to the coordinate, the predicted position of the nipple is calculated using the tail position. 제1항에 있어서,
상기 착유를 수행하도록 하는 과정 이후에
상기 젖소의 꼬리뼈와 유두와의 상대 위치를 좌표화하여 저장하고 있다가 동일한 젖소에 대해 재착유할 때, 사전에 파악된 젖소의 유두 위치로 상기 로봇암이 이동하도록한 후 해당 위치에 젖꼭지가 있는지에 대한 확인 절차만 수행하고 착유를 개시하도록 하는 것을 특징으로 하는 유두 인식 방법.The method of claim 1,
After the process of performing the milking
When the relative position of the cow's tailbone and the nipple is coordinated and stored, and when the same cow is milked again, the robot arm is moved to the location of the cow's nipple identified in advance, and whether there is a nipple at that location. Nipple recognition method, characterized in that to perform only the confirmation procedure for and start milking.
KR1020200074537A 2020-06-18 2020-06-18 Method And Apparatus for Detecting Dairy Cow Teat by Using 3D Camera KR102220628B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200074537A KR102220628B1 (en) 2020-06-18 2020-06-18 Method And Apparatus for Detecting Dairy Cow Teat by Using 3D Camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200074537A KR102220628B1 (en) 2020-06-18 2020-06-18 Method And Apparatus for Detecting Dairy Cow Teat by Using 3D Camera

Publications (1)

Publication Number Publication Date
KR102220628B1 true KR102220628B1 (en) 2021-02-26

Family

ID=74687950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200074537A KR102220628B1 (en) 2020-06-18 2020-06-18 Method And Apparatus for Detecting Dairy Cow Teat by Using 3D Camera

Country Status (1)

Country Link
KR (1) KR102220628B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4867103A (en) * 1986-03-07 1989-09-19 Etablissement Public: Centre National Du Machinisme Agricole Du Genie Rural, Des Eaux Et Des Forets - (Cemagref) Automatic milking installation
US20080257268A1 (en) * 2005-10-24 2008-10-23 Mats Gudmundsson Arrangement and Method for Visual Detection in a Milking System
JP4215920B2 (en) * 1999-01-14 2009-01-28 ベストファリアサージ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング Method and apparatus for applying at least one milk tank to an animal's breast
KR102044852B1 (en) * 2018-06-29 2019-11-13 대한민국(농촌진흥청장) Automatic Detect Device and Method of dairy cow teat

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4867103A (en) * 1986-03-07 1989-09-19 Etablissement Public: Centre National Du Machinisme Agricole Du Genie Rural, Des Eaux Et Des Forets - (Cemagref) Automatic milking installation
JP4215920B2 (en) * 1999-01-14 2009-01-28 ベストファリアサージ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング Method and apparatus for applying at least one milk tank to an animal's breast
US20080257268A1 (en) * 2005-10-24 2008-10-23 Mats Gudmundsson Arrangement and Method for Visual Detection in a Milking System
KR102044852B1 (en) * 2018-06-29 2019-11-13 대한민국(농촌진흥청장) Automatic Detect Device and Method of dairy cow teat

Similar Documents

Publication Publication Date Title
US9576368B2 (en) Method and device for optically determining a position and/or orientation of an object in space using a two dimensional image to generate three dimensional information
US7490576B2 (en) Time of flight teat location system
EP1940218B1 (en) Arrangement and method for visual detection in a milking system
US9635834B2 (en) Arrangement and method for determining the position of an animal
JP3919825B2 (en) Apparatus and method for recognizing and determining the position of an animal part
US10373306B2 (en) System and method for filtering data captured by a 3D camera
WO2000004765A1 (en) A device for automatically attaching a teatcup onto a teat of an animal
US10051832B2 (en) Vision system with tail positioner
KR102044852B1 (en) Automatic Detect Device and Method of dairy cow teat
EP2701493B2 (en) Vision system for robotic attacher
NL1034596C2 (en) Method and device for connecting a teat cup.
KR102220628B1 (en) Method And Apparatus for Detecting Dairy Cow Teat by Using 3D Camera
WO2020153844A1 (en) Position-determining device
EP3241431A1 (en) Method for performing a teat-related operation, and robot device therefor
EP3300592B1 (en) Vision system with tail positioner
RU2769671C1 (en) Method and device for contactless scanning of biological objects
CA2849212C (en) Vision system for robotic attacher
CA3206503A1 (en) Milking system comprising a milking robot
JP2000004703A (en) Automatic milking system and detection of its teat position
CA2924285C (en) Vision system for robotic attacher
JP2001134317A (en) Device for recognizing information of target to be detected and intra-pipe moving device

Legal Events

Date Code Title Description
GRNT Written decision to grant