KR102044852B1 - Automatic Detect Device and Method of dairy cow teat - Google Patents
Automatic Detect Device and Method of dairy cow teat Download PDFInfo
- Publication number
- KR102044852B1 KR102044852B1 KR1020180075694A KR20180075694A KR102044852B1 KR 102044852 B1 KR102044852 B1 KR 102044852B1 KR 1020180075694 A KR1020180075694 A KR 1020180075694A KR 20180075694 A KR20180075694 A KR 20180075694A KR 102044852 B1 KR102044852 B1 KR 102044852B1
- Authority
- KR
- South Korea
- Prior art keywords
- nipple
- image
- laser beam
- laser
- region
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 235000013365 dairy product Nutrition 0.000 title 1
- 210000002445 nipple Anatomy 0.000 claims abstract description 132
- 210000000481 breast Anatomy 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 239000008267 milk Substances 0.000 claims abstract description 11
- 235000013336 milk Nutrition 0.000 claims abstract description 11
- 210000004080 milk Anatomy 0.000 claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims abstract description 6
- 230000010287 polarization Effects 0.000 claims description 4
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 abstract 1
- 241000283690 Bos taurus Species 0.000 description 22
- 230000008569 process Effects 0.000 description 22
- 230000009466 transformation Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 244000309466 calf Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 244000043261 Hevea brasiliensis Species 0.000 description 1
- 241001272720 Medialuna californiensis Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229920003052 natural elastomer Polymers 0.000 description 1
- 229920001194 natural rubber Polymers 0.000 description 1
- 229920003051 synthetic elastomer Polymers 0.000 description 1
- 239000005061 synthetic rubber Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01J—MANUFACTURE OF DAIRY PRODUCTS
- A01J5/00—Milking machines or devices
- A01J5/007—Monitoring milking processes; Control or regulation of milking machines
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01J—MANUFACTURE OF DAIRY PRODUCTS
- A01J5/00—Milking machines or devices
- A01J5/04—Milking machines or devices with pneumatic manipulation of teats
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G06K9/20—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
Abstract
Description
본 발명은 젖소 유두 자동인식 장치 및 방법에 관한 기술이다.The present invention relates to a cow nipple automatic recognition device and method.
일반적으로, 젖소의 유방은 4개의 분방으로 구획되어 있고 각 분방마다 하나의 유두가 형성되어 있다. 또한, 뒤쪽 두 유방이 앞쪽 두 유방보다 커서 생성되는 우유의 양이 뒤쪽 유방에서 더 많은 것으로 알려져 있다 In general, a cow's breast is divided into four quarters and one papilla is formed in each quarter. It is also known that the posterior breasts are larger than the anterior breasts so that the amount of milk produced is greater in the posterior breasts.
젖소로부터 우유를 짜내는 착유 작업은 대부분의 현장에서 착유기를 통해 이루어지고 있다. 착유기는 송아지가 입으로 젖을 빠는 동작과 같은 원리로 젖소 유방의 유두에 착유컵(teat cup)을 끼우고 착유컵 내에 진공을 발생시켜 진공과 대기압의 작용에 의해 젖소의 유방으로부터 우유를 흡출해낸다. Milking operations to squeeze milk from cows are done through milkers at most sites. The milking machine puts a milk cup on the nipple of the cow's breast and generates a vacuum in the milking cup in the same principle as the calf sucks the mouth to suck milk out of the cow's breast by the action of vacuum and atmospheric pressure.
젖소의 유방의 유두에 끼워지는 착유컵의 일측은 진공펌프 또는 진공라인으로부터 착유컵 내로 진공이 도입되며, 그 사이에 맥동기가 위치한다. 맥동기는 착유컵 내에 진공을 인가하고 해제함으로써, 착유컵이 마치 송아지가 젖을 빠는 동작을 실현하게 한다.One side of the milking cup fitted to the nipple of the cow's breast is vacuum introduced into the milking cup from the vacuum pump or the vacuum line, and the pulsator is located therebetween. The pulsator applies and releases a vacuum in the milking cup so that the milking cup realizes the act of sucking the calf.
이러한 착유작업은 대부분의 작업공정이 인력에 의존하는 힘든 작업으로 착유관련 작업에 대한 완전 자동화가 필요하다.This milking operation is a difficult task that most of the work processes depend on manpower and requires full automation of milking related tasks.
이런 문제를 해결하기 위하여 오래전부터 착유자동화에 대한 다양한 연구가 지속되어 왔다.In order to solve this problem, various studies on milking automation have been continued for a long time.
종래에는 착유자동화 로봇기술은 착유를 하는 가축 주변에 유두인식장치가 설치되며 상기 유두인식장치에서 유두의 위치를 인식하게 되면, 3축으로 이동하며 착유컵을 장착한 로봇암이 착유컵을 유두에 일정 압력으로 접촉시켜서 착유를 실시하게 된다. In the conventional milking automation robot technology, a nipple recognition device is installed around a milking animal, and when the nipple recognition device recognizes the location of the nipple, the robot arm equipped with a milking cup moves the milking cup to the nipple. Milking is performed by contacting at a constant pressure.
착유로봇의 구성은 진공펌프 및 유량보관 송출을 담당하는 착유장치, 가축을 보정하고 바른 착유를 유도하기 위한 착유틀, 로봇암에 해당하는 매니플레이터, 유두의 형상 및 각도 방향 위치를 인식하는 유두인식장치 등을 포함한다.The milking robot consists of a milking device that is responsible for vacuum pump and flow rate storage, milking frame for calibrating livestock and inducing proper milking, manipulator corresponding to robot arm, and nipple to recognize the shape and angular position of the teat. A recognition device and the like.
유두인식을 위해 여러 방식의 연구를 통한 제품이 개발 보급되고 있는데, 초음파, 비젼, 적외선 스캐너, 뎁스카메라, 1차원 카메라 등을 이용한 유두인식 기술을 구현하고 있고 아직도 다양한 유두인식 기술이 연구되고 있다. Products are developed and distributed through research of various methods for nipple recognition, and are implementing nipple recognition technology using ultrasound, vision, infrared scanner, depth camera, 1-dimensional camera, and various nipple recognition technologies are still being studied.
젖소의 유방과 유두의 형상은 상당히 많은 다양함을 가지고 있으며, 초산(첫 번째 출산) 때의 유방형상과 2산, 3산 때의 유방의 모양이 달라짐으로 규격화가 되지 않은 유방형상을 가지고 있어서 일반적인 방법으로 유두의 위치를 파악하는데 어려움이 있다. 더욱이 착유일 수에 따라 착유량의 상당한 변화가 있어서 유방의 모양은 시간에 따라 일관성이 없이 변화된다.The shape of the breast and papilla of the cow has a lot of variety, and the breast shape at the first (birth) and the breast shape at the time of the second and third births are different, so the breast shape is not standardized. There is a difficulty in locating the nipple in this way. Moreover, there is a significant change in milking amount depending on the number of milking days so that the shape of the breast changes inconsistently over time.
이러한 이유로 유방에서 유두의 위치와 각도 방향을 자동으로 정확하게 확보하는 기술에는 상당한 어려움이 있다. 또한, 살아있는 가축이다 보니 움직임이 많아 자동착유를 위한 유두 자동인식기술은 실시간으로 신속 정확하게 이루어져야 한다.For this reason, there is considerable difficulty in the technique of automatically and precisely securing the position and angular direction of the nipple in the breast. In addition, since livestock is a lot of movement, nipple automatic recognition technology for automatic milking should be made quickly and accurately in real time.
또한, 젖소의 유방 아래 자리 잡은 유두의 경우에도 다양한 색깔패턴을 가지고 있고 다양한 모양과 두께, 각도를 가지고 있어 유두 인식기술의 어려움을 더해주고 있다.In addition, the nipple placed under the breast of the cow has various color patterns and has various shapes, thicknesses, and angles, thereby adding to the difficulty of nipple recognition technology.
유두자동인식 기술의 초기에는 카메라만을 이용한 유두인식 기술 확보를 위하여 많은 나라에서 연구노력이 이어져 왔으나, 주변 환경 노이즈, 조도, 처리속도 등에 의해 지속적인 문제점이 발생되어 왔다.In the early stages of nipple automatic recognition technology, research efforts have been made in many countries to secure nipple recognition technology using only cameras, but there are continuous problems caused by ambient noise, roughness, and processing speed.
또한, 이러한 문제점을 개선하기 위해 여러 가지 센서를 혼용(초음파, 레이저)하여 신뢰도를 높이는 연구가 수행된 바도 있다. In addition, in order to improve this problem, studies have been conducted to increase reliability by using various sensors (ultrasound, laser).
카메라만을 이용하여 유두를 인식하게 되면 유두의 모양을 검출하기 위하여는 윤곽선 도출 및 노이즈 제거 등의 영상처리 기법이 사용되어야 한다.When the nipple is recognized using only a camera, an image processing technique such as contour drawing and noise removal should be used to detect the nipple shape.
그러나 젖소의 유두인식의 경우, 스튜디오처럼 균일한 환경에서 촬영되는 영상이미지가 아니라 농가현장의 노출된 환경에서 촬영된 이미지인 관계로 촬영시간의 조도, 온도, 반사 정도, 동물의 움직임 등 다양한 문제점이 있어 균일한 값을 갖는 외곽 윤곽선을 확보하는데 문제점이 있었다. However, in the case of cow's nipple recognition, it is not an image taken in a uniform environment like a studio, but an image taken in an exposed environment of a farmhouse, so there are various problems such as illumination time, temperature, reflection degree, and animal movement. There was a problem in securing the outer contour with a uniform value.
본 발명 기술에 대한 배경기술은 대한민국 등록특허공보 10-0788965호에 게시된 바 있다.Background art of the present invention has been published in the Republic of Korea Patent Publication No. 10-0788965.
본 발명은 젖소의 자동 착유를 위한 유두의 위치 검출 속도를 향상시킬 수 있는 젖소 유두 자동인식장치 및 방법을 제공하는 것이다. The present invention is to provide a cow nipple automatic recognition device and method that can improve the speed of detecting the position of the teat for the automatic milking of the cow.
본 발명의 목적은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the above-mentioned objects, and other objects that are not mentioned will be clearly understood from the following description.
본 발명의 일 측면에 따르면, 유두인식장치가 젖소의 유두를 자동으로 인식하는 젖소 유두 자동인식방법에 있어서, 상기 젖소 유두 자동인식방법은, a) 상기 유두인식장치가 로봇암을 지정된 속도로 착유컵 그립퍼를 젖소의 유방 부근으로 이동하도록 제어시키면서 라인 레이저장치를 구동하여 유방 부근에 라인 레이저를 투영시키는 단계; b) 상기 착유컵 그립퍼에 장착된 적외선 센서로 입력된 영상에 대하여 입력된 레이저 빔의 영역을 상기 센서의 촬상 영역과 일치시키도록 캘리브레이션 및 레이저 영역을 맵핑하는 단계; c) 상기 b) 단계를 거진 이미지의 레이저 빔 위치 추출 단계; d) 상기 c) 단계에서의 연속적인 레이저 빔의 위치 좌표를 축적하여 3D 이미지 평면을 생성하는 단계; e) 상기 생성된 3D 이미지 평면에서 설정된 배경 높이를 제거하는 단계; f) 상기 e) 단계를 거친 영상에서 축적된 패턴의 크기 모양의 특성을 통해 유두 영역을 추출하여 해당 프레임의 영상 좌표로 나타내는 유두 영역 추출 단계; 및 g) 상기 f) 단계에서 추출한 영상 좌표를 상기 로봇암의 위치 좌표계로 변환하는 단계; 를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, the nipple automatic recognition method of the nipple recognition device automatically recognizes the nipple of the cow, the cow nipple automatic recognition method, a) the nipple recognition device milking the robot arm at a specified speed Driving the line laser device to project the line laser near the breast while controlling the cup gripper to move near the breast of the cow; b) mapping a calibration and laser region to match an area of the input laser beam with an imaging area of the sensor for an image input by an infrared sensor mounted on the milking cup gripper; c) laser beam position extraction of the image based on step b); d) accumulating the position coordinates of the continuous laser beam in step c) to generate a 3D image plane; e) removing the set background height from the generated 3D image plane; f) extracting the papillary region by extracting the papillary region through the characteristics of the size of the pattern accumulated in the image which has passed through the step e); And g) converting the image coordinates extracted in step f) into a position coordinate system of the robot arm. Characterized in that it comprises a.
또한, 상기 레이저 빔 위치 추출 단계에서는 레이저 빔 영역을 흰색으로 변환하고, 상기 변환된 흰색 픽셀의 좌표를 추출하는 것을 포함하는 것을 특징으로 한다.The laser beam position extraction may include converting a laser beam region into white and extracting coordinates of the converted white pixel.
또한, 상기 레이저 빔 위치 추출 단계에서는 레이저 빔 영역을 흰색으로 변환하고, 상기 변환된 흰색 픽셀의 좌표를 추출하는 것을 포함하는 것을 특징으로 한다.The laser beam position extraction may include converting a laser beam region into white and extracting coordinates of the converted white pixel.
또한, 상기 3D 이미지 평면을 생성하는 단계에서는 추출된 매 프레임마다 측정된 레이저 빔의 좌표를 저장하고, 추출된 끝점들을 새로운 이미지 버퍼에 누적하여 높이 이미지를 생성하여 3D 평면을 생성하는 과정을 포함하는 것을 특징으로 한다.The generating of the 3D image plane may include storing coordinates of the measured laser beam every extracted frame, accumulating the extracted end points in a new image buffer, and generating a height image to generate a 3D plane. It is characterized by.
또한, 상기 e) 단계에서는 유두의 설정된 예상 높이 외의 영역을 모두 제거하는 과정 및 유두 주변의 잡음 영역을 제거하는 과정을 포함하는 것을 특징으로 한다.In addition, the step e) is characterized in that it comprises the step of removing all the areas other than the set expected height of the teat and the noise area around the teat.
본 발명의 또 다른 측면에 따르면, 유두를 자동으로 인식하는 유두자동인식장치에 있어서, 상기 유두 자동인식장치는, 3축으로 이동되는 로봇암 및 상기 로봇암의 종단에 부착된 착유컵 그립퍼; 상기 착유컵 그립퍼의 일측 상단에 부착되어 적외선 라인 레이저를 발생시키는 레이저 장치; 상기 착유컵 그립퍼의 일측 경사면에 부착되어 반사되는 라인 레이저 빔이 입력되는 센서; 및 상기 로봇암의 이동을 제어하고 상기 입력되는 라인 레이저 빔으로부터 유두의 위치를 연산하여 인식하는 제어부; 를 포함하며, 상기 유두 자동인식장치가 유두를 인식하는 방법은,According to another aspect of the invention, the nipple automatic recognition device for automatically recognizing the nipple, the nipple automatic recognition device, the robot arm moved in three axes and the milking cup gripper attached to the end of the robot arm; A laser device attached to an upper end of one side of the milking cup gripper to generate an infrared line laser; A sensor to which a line laser beam which is attached and reflected on one inclined surface of the milking cup gripper is input; And a controller for controlling movement of the robot arm and calculating and recognizing the position of the teat from the input line laser beam. Includes, the nipple automatic recognition device recognizes the nipple,
a) 상기 로봇암을 지정된 속도로 착유컵 그립퍼를 젖소의 유방 부근으로 이동하도록 제어시키면서 상기 레이저장치를 구동하여 유방 부근에 라인 레이저를 투영시키는 단계; b) 상기 착유컵 그립퍼에 장착된 센서로 입력된 영상에 대하여 입력된 레이저 빔의 영역을 상기 센서의 촬상 영역과 일치시키도록 캘리브레이션 및 레이저 영역을 맵핑하는 단계; c) 상기 b) 단계를 거진 이미지의 레이저 빔 위치 추출 단계; d) 상기 c) 단계에서의 연속적인 레이저 빔의 위치 좌표를 축적하여 3D 이미지 평면을 생성하는 단계; e) 상기 생성된 3D 이미지 평면에서 설정된 배경 높이를 제거하는 단계; f) 상기 e) 단계를 거친 영상에서 축적된 패턴의 크기 모양의 특성을 통해 유두 영역을 추출하여 해당 프레임의 영상 좌표로 나타내는 유두 영역 추출 단계; 및 g) 상기 f) 단계에서 추출한 영상 좌표를 상기 로봇암의 위치 좌표계로 변환하는 단계; 를 포함하는 것을 특징으로 한다.a) driving the laser device to project a line laser near the breast while controlling the robot arm to move the milk cup gripper near the breast of the cow at a specified speed; b) mapping a calibration and a laser region to match the area of the input laser beam with the imaging area of the sensor for an image input to a sensor mounted on the milking cup gripper; c) laser beam position extraction of the image based on step b); d) accumulating the position coordinates of the continuous laser beam in step c) to generate a 3D image plane; e) removing the set background height from the generated 3D image plane; f) extracting the papillary region by extracting the papillary region through the characteristics of the size of the pattern accumulated in the image which has passed through the step e); And g) converting the image coordinates extracted in step f) into a position coordinate system of the robot arm. Characterized in that it comprises a.
또한, 상기 라인 레이저 장치는 635nm - 670nm의 적외선 라인 빔을 출사하는 적외선 라인 레이저 장치이며, 30±5% cm거리에서 적외선 라인 60±5% cm가 생성되는 것을 특징으로 한다.In addition, the line laser device is an infrared line laser device that emits an infrared line beam of 635nm-670nm, it characterized in that the infrared line 60 ± 5% cm at a distance of 30 ± 5% cm.
또한, 상기 레이저 장치의 방출면과 상기 센서의 수광면의 사이의 배치각은 135 ~145°로 형성되는 것을 특징으로 한다.In addition, the arrangement angle between the emitting surface of the laser device and the light receiving surface of the sensor is characterized in that formed in 135 ~ 145 °.
또한, 상기 센서(11)와 라인 레이저 장치(12)의 거리 간격은 96~100mm로 설치되는 것을 특징으로 한다.In addition, the distance between the
또한, 상기 센서는 적외선 편광필터가 장착된 ccd 카메라로서, 650nm±10nm의 밴드 영역을 필터링하는 것을 특징으로 한다.In addition, the sensor is a ccd camera equipped with an infrared polarization filter, characterized in that for filtering the band region of 650nm ± 10nm.
본 발명의 일측면에 따르면, 젖소의 자동 착유를 위한 유두의 위치 검출 속도를 20 회/sec이상 높일 수 있다.According to one aspect of the invention, the position detection speed of the teat for the automatic milking of the cow can be increased 20 times / sec or more.
본 발명의 일측면에 따르면, 젖소의 자동 착유를 위한 유두의 위치를 종래에 비하여 정확하게 신속하게 검출할 수 있는 효과가 있다.According to one aspect of the present invention, there is an effect that can accurately and accurately detect the position of the teat for the automatic milking of the cow compared with the prior art.
도 1, 2는 본 발명의 일 실시 예에 따른 유두인식 장치가 부착된 착유컵 그립퍼가 유두를 인식하여 위치시키는 과정을 도시한 것이다.
도 3, 4는 본 발명의 일 실시 예에 따른 유두인식 장치가 부착된 착유컵 그립퍼의 구조를 도시한 것이다.
도 5는 본 발명의 일 실시 예에 따른 유두인식장치인 제어장치(30)의 제어부가 유두의 위치를 인식하는 방법을 도시한 것이다.
도 6은 본 발명의 일 실시 예에 따른 유두인식장치의 제어부가 카메라 캘리브레이션을 거쳐서 왜곡을 보상하는 과정을 도시한 것이다.
도 7은 본 발명의 일 실시 예에 따른 유두인식장치의 제어부가 투영 변환을 위한 좌표 추출 과정을 도시한 것이다.
도 8은 본 발명의 일 실시 예에 따른 맵핑단계에서 투영 변환된 결과를 도시한 것이다.
도 9 내지 11은 본 발명의 일 실시 예에 따른 제어부가 유방과 유두 부근에 라인 레이저를 투영하여 센서를 통해 입력된 원본 이미지에 대하여 캘리브레이션 및 레이저 영역을 맵핑하는 맵핑단계를 수행한 이미지를 도시한 것이다.
도 12는 맵핑단계를 거친 이미지에 대하여 이진화된 빔의 영상으로 빔의 위치를 추출하는 과정을 도시한 것이다.
도 13은 이진화된 빔의 영상으로 추출된 빔의 위치를 도시한 것이다.
도 14는 본 발명의 일 실시 예에 따라 각 프레임마다 측정된 좌표가 저장되는 단계를 도시한 것이다.
도 15는 본 발명의 일 실시 예에 따라 위치 추출단계를 거친 유방 라인을 매 프레임마다 x, y좌표를 누적시킨 3D 이미지(x, FrameNumber, y)를 도시한 것이다.
도 16은 3D 이미지에서 유두의 설정된 예상 높이 외의 배경 높이를 제거한 영상을 도시한 것이다.
도 17, 18은 3D 이미지에서 유두 추출 과정을 도시한 것이다.
도 19는 영상좌표계와 레이저 좌표계의 변환관계를 도시한 것이다.
도 20은 로봇 좌표계와 레이저 좌표계 간의 변환 관계를 도시한 것이다.1 and 2 illustrate a process in which a milk cup gripper with a nipple recognition device according to an embodiment of the present invention recognizes and positions a nipple.
3 and 4 illustrate the structure of a milking cup gripper with a nipple recognition device according to an embodiment of the present invention.
5 is a view illustrating a method of recognizing the position of the nipple by the control unit of the
FIG. 6 is a diagram illustrating a process of compensating for distortion by a controller of a nipple recognition device according to an exemplary embodiment of the present invention.
7 is a view illustrating a coordinate extraction process for the projection transformation by the control unit of the nipple recognition device according to an embodiment of the present invention.
8 illustrates a result of the projection conversion in the mapping step according to an embodiment of the present invention.
9 to 11 illustrate an image in which a control unit according to an embodiment of the present invention performs a mapping step of mapping a calibration and a laser region to an original image input through a sensor by projecting a line laser near a breast and a nipple. will be.
12 illustrates a process of extracting a position of a beam as an image of a binarized beam with respect to an image which has been mapped.
13 shows the position of the beam extracted as an image of the binarized beam.
14 illustrates a step of storing measured coordinates for each frame according to an embodiment of the present invention.
FIG. 15 illustrates a 3D image (x, FrameNumber, y) of accumulating x, y coordinates every frame of a breast line that has undergone a position extraction step according to an embodiment of the present invention.
FIG. 16 illustrates an image in which a background height other than the set expected height of the nipple is removed from the 3D image.
17 and 18 illustrate a teat extraction process in a 3D image.
19 illustrates a conversion relationship between an image coordinate system and a laser coordinate system.
20 shows a transformation relationship between the robot coordinate system and the laser coordinate system.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise.
본 출원에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서 전체에서, "상에"라 함은 대상 부분의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력 방향을 기준으로 상 측에 위치하는 것을 의미하는 것이 아니다.In the present application, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components, unless specifically stated otherwise. In addition, throughout the specification, "on" means to be located above or below the target portion, and does not necessarily mean to be located above the gravity direction.
이하 본 발명의 구현에 따른 젖소 유두 자동인식장치 및 방법에 대하여 상세하게 설명한다.Hereinafter, a cow nipple automatic recognition device and method according to an embodiment of the present invention will be described in detail.
앞서 설명한 바와 같이 그러나 젖소의 유두인식의 경우, 균일한 환경에서 촬영되는 영상이미지가 아니라 농가현장의 노출된 환경에서 촬영된 이미지인 관계로 촬영시간의 조도, 온도, 반사 정도, 동물의 움직임 등 다양한 문제점이 있어 균일한 값을 갖는 외곽 윤곽선을 확보하기가 곤란하여 실시간으로 정확하게 유두의 위치를 인식하는데 문제점이 있었다.As described above, however, in the case of cow's nipple recognition, it is not an image image that is taken in a uniform environment, but an image that is taken in an exposed environment of a farm site, so that the illumination time, temperature, reflection degree, animal movement, etc. There is a problem that it is difficult to secure the outer contour with a uniform value, there was a problem in accurately recognizing the position of the teat in real time.
본 발명의 일 실시 예에서는 다양한 레이저에 의한 유두 인식방법에 대한 시행착오와 반복적인 실험을 통하여 적외선 라인 레이저를 유두 주변에 투영한 뒤 반사된 라인 레이저 이미지를 판독하는 방법을 개발하였다.In an embodiment of the present invention, a method of reading a reflected line laser image after projecting an infrared line laser around the nipple through a trial and error and repeated experiments on nipple recognition methods by various lasers has been developed.
입력된 라인 레이저 이미지는 전용필터를 이용하여 발생될 수 있는 노이즈 영역 및 왜곡 보상 처리를 하여 정확한 윤곽선 이미지를 구현하고 이 윤곽선 이미지에 대해 정확하게 유두를 인식할 수 있는 3D 이미지 생성에 의한 유두 인식처리를 수행함으로써, 인식 속도 및 신뢰성이 높은 젖소 유두 자동인식장치 및 방법을 구현하였다.The input line laser image is processed with noise region and distortion compensation that can be generated using a dedicated filter to implement accurate contour image, and nipple recognition processing by 3D image generation that can recognize the nipple accurately for this contour image. By implementing the method, a cow nipple automatic recognition device and method with high recognition speed and high reliability were implemented.
도 1, 2는 본 발명의 일 실시 예에 따른 유두인식 장치가 부착된 착유컵 그립퍼가 유두를 인식하여 위치시키는 과정을 도시한 것이다.1 and 2 illustrate a process in which a milk cup gripper with a nipple recognition device according to an embodiment of the present invention recognizes and positions a nipple.
도 1, 2를 참조하면, 본 발명의 유두인식장치에는 센서(11) 및 유두를 검출하기 위하여 레이저 빔을 발생시키는 레이저 장치(12)가 포함된다.1 and 2, the nipple recognition device of the present invention includes a
본 발명의 일 실시 예에 따른 유두를 인식하기 위한 센서(11) 및 레이저 장치(12)는 착유컵 그립퍼(10)에 장착된 것을 특징으로 한다.
도 3, 4는 본 발명의 일 실시 예에 따른 유두인식 장치가 부착된 착유컵 그립퍼의 구조를 도시한 것이다.3 and 4 illustrate the structure of a milking cup gripper with a nipple recognition device according to an embodiment of the present invention.
본 발명의 일 실시 예에 따른 착유컵 그립퍼(10)는 그립동작 하우징(110)과 센서장착 하우징(120)을 포함하는 그립퍼 몸체와 그립퍼 핑거부를 포함한다.Milking
도 2를 참조하면, 본 발명의 일 실시 예에 따른 착유컵 그립퍼(10)의 그립퍼 몸체는 3축으로 이동되는 로봇암(20)의 종단에 연결된다.Referring to Figure 2, the gripper body of the milking
로봇암(20)은 제어장치(30)의 제어 신호에 따라 상기 그립퍼 몸체를 요구되는 위치에 위치하도록 이동 제어된다.The
본 발명의 일 실시 예에 따른 착유컵 그립퍼(10)는 그립동작 하우징(110)과 센서장착 하우징(120)을 포함하는 그립퍼 몸체와 그립퍼 핑거부를 포함한다.Milking
도 1 내지 4를 참조하면, 본 발명의 일 실시 예에 따른 착유컵 그립퍼(10)는 그립퍼 몸체의 후측 부분을 형성하는 센서장착 하우징(120), 상기 센서장착 하우징의 전면부에 돌출되도록 형성된 그립동작 하우징(110)과 그립동작 하우징(110)에 장착되는 그립퍼 핑거부(150)를 포함한다.1 to 4, the milking
센서장착 하우징(120)은 센서장착 하우징의 전면부와 그립동작 하우징(110)의 상부면의 경계에서 상향으로 경사진 경사면을 포함하며, 상기 경사면에 유두를 검출하기 위한 레이저 빔을 수광하는 센서(11)가 장착된다.The
상기 센서장착 하우징(120)의 후면부는 로봇암(20)의 종단에 연결된다.The rear portion of the
본 발명의 일 실시 예에 따른 센서(11)는 적외선 편광필터가 장착된 ccd 카메라가 적용될 수 있다.
그립동작 하우징(110)은 상부면에 유두를 검출하기 위하여 레이저 빔을 발생시키는 레이저 장치(12)가 장착된다.The
본 발명의 일 실시 예에 따른 레이저 장치(12)는 635nm - 670nm의 적외선 라인 빔을 출사하는 적외선 라인 레이저 장치가 적용될 수 있다.The
또한, 적외선 편광필터가 장착된 ccd 카메라의 밴드패스 필터는 650nm±10nm 영역을 필터링하는 것을 특징으로 한다.In addition, the band pass filter of the ccd camera equipped with an infrared polarization filter is characterized in that the filtering area of 650nm ± 10nm.
본 발명의 일 실시 예에 따른 적외선 라인 레이저 장치는 30±5% cm거리에서 라인 60±5%cm가 생성되는 것이 바람직하다.In the infrared line laser device according to an embodiment of the present invention, it is preferable that a line 60 ± 5% cm is generated at a distance of 30 ± 5% cm.
본 발명의 일 실시 예에 따르면, 상기 레이저 장치(12)의 방출면과 상기 센서의 수광면 사이의 배치각은 135 ~145°로 형성된다.According to an embodiment of the present invention, an arrangement angle between the emitting surface of the
다양한 실험 결과 위 배치각이 145°를 초과할 경우, 위쪽을 더 바라보기 때문)에 레이저 빔이 보다 선명하게 잘 보일 수는 있으나, 영상으로 보이는 레이저 빔의 높이 변화가 작아 분해능이 떨어져 측정 오차가 커지게 되는 문제점이 발생된다.As a result of various experiments, the laser beam can be seen more clearly when the placement angle exceeds 145 °, because the laser beam can be seen more clearly). There is a problem that becomes large.
또한, 위 배치각이 135° 미만일 경우에는 레이저 빔이 유두 끝 부분에 입사될 때 잘 보이지 않거나 끝 부분을 제대로 찾지 못하는 현상이 발생될 수 있는 문제점이 발생될 수 있다.In addition, when the placement angle is less than 135 ° may be a problem that may be difficult to see when the laser beam is incident on the tip of the nipple or may not find the tip properly.
즉, 상기 센서장착 하우징(120)의 경사면은 상기 그립동작 하우징(110)의 상부면과 135 ~145°의 각도로 형성된다That is, the inclined surface of the
다양한 실험 결과 레이저 빔의 변위량 계산을 영상으로 분석하기가 용이하고, 유방으로부터 유두 부분에 대한 레이저 라인 검출에 왜곡을 줄이고 검출의 신뢰도를 높이기 위한 라인 레이저의 방출면과 수광면의 사이 각도는 135 ~145°의 범위에 있을 때가 가장 최적의 배치각으로 분석되었다.As a result of various experiments, it is easy to analyze the displacement calculation of the laser beam with an image, and the angle between the emitting surface and the light receiving surface of the line laser for reducing the distortion and increasing the reliability of the detection of the laser line from the breast to the nipple part is 135 ~. When in the range of 145 °, the most optimal placement angle was analyzed.
또한, 본 발명의 최적의 실시 예에서는 라인 레이저의 방출면과 수광면의 배치 각도는 140±5%°로 장착된다.In addition, in an optimal embodiment of the present invention, the disposition angle of the emission surface and the light reception surface of the line laser is mounted at 140 ± 5%.
또한, 본 발명의 일 실시 예에 따라 신뢰성과 속응성을 향상시키기 위한 센서(11)와 라인 레이저 장치(12)의 거리 간격은 96 ~ 100mm로 설치된다.In addition, the distance between the
또한, 본 발명의 최적의 실시 예에서는 센서(11)와 라인 레이저 장치(12)의 거리 간격은 98±5 mm로 설치된다.In addition, in an optimal embodiment of the present invention, the distance between the
본 발명의 일 실시 예에서는 센서(11)와 라인 레이저 장치(12)의 거리 간격이 96 ~ 100mm일 때가 두 개의 젖꼭지가 레이저에 입사될 때 두 개의 유두가 영상에서 모두 보이는 가장 가까운 위치이다.In an embodiment of the present invention, when the distance between the
위 거리간격이 96mm보다 적을 경우는 두 개의 유두가 모두 입력되지 않는다. 또한, 위 거리간격이 100mm를 초과할 경우 분해능이 떨어지게 된다.If the above distance is less than 96mm, both teats are not input. In addition, if the above distance interval exceeds 100mm resolution is reduced.
즉, 가장 가깝게 한 이유는 더욱 큰 레이저 빔 영상을 가져와 분해능을 높이기 위함으로써, 멀수록 분해능을 떨어뜨리게 된다. 그리고 두 개의 유두가 입력되어야 하는 이유는, 최초 작업 시작 시 좌우 유두를 탐지하는 것이 전체 가장 위치산출의 신뢰성을 높이고 속응성이 향상되는 것으로 분석되었다.In other words, the closest reason is to obtain a larger laser beam image to increase the resolution, so that the resolution is farther away. The reason why two nipples should be input is that detecting left and right nipples at the beginning of the first operation improves the reliability of the total edge location and improves response.
센서(11)에서 수광된 적외선 레이저 신호는 제어장치(30)의 제어부(미 도시됨)에서 판독하여 상기 로봇암(20)을 이동 제어 제어함으로써, 상기 착유컵 그립퍼(10)의 그립퍼 핑거의 내부 공간 중심을 유두의 하부 위치에 정확하게 위치하도록 제어한다.The infrared laser signal received by the
그립동작 하우징(110)의 내부에는 원통형상 착유컵의 그립 및 해제를 위하여 그립퍼 반호형 핑거의 간격을 벌리고 줄이는 동작을 수행시키는 그립퍼 구동장치(160)가 내장된다. The
도 1 내지 4를 참조하면, 그립퍼 구동장치(160)의 양 측면으로는 구동용 피스톤 로드(171, 172)가 연결되고 양측 피스톤 로드에서 전방 측으로 직각으로 안내가이드(151, 152)가 형성되며, 상기 안내 가이드(151, 152)의 전단에는 반호형 핑거(161, 162)가 형성된다.1 to 4, the
상기 반호형 핑거(161, 162)는 그립동작 하우징(110)의 전면부 전방의 공간 양측에서 반호형의 핑거(150)가 마주 보도록 형성된다.The half arc-shaped
상기 그립동작 하우징(110)의 전면부에는 탄성형 패드(18)가 부착된다.An
본 발명의 일 실시 예에서는 상기 탄성형 패드(18)는 천연고무, 또는 합성 고무 재질의 패드가 적용될 수 있다.In one embodiment of the present invention, the
상기 그립퍼 구동장치(160)는 제어장치(30)의 제어부의 제어 신호에 따라 그립퍼 구동장치(160)에 에어압, 또는 유압으로 작동되는 피스톤 로드(151, 152)를 수축하거나, 신장시키는 동작을 수행한다.The gripper drive unit 160 contracts or extends the
본 발명의 일 실시 예에 따른 반호형의 핑거(161, 162)는 전방 측으로 갈수록 내측 경사가 가파르게 형성되는 구조로 형성되는 것을 특징으로 한다.Half arc-shaped
위와 같이 전방 측으로 갈수록 내측 경사가 가파르게 형성되는 반호형의 핑거(161, 162) 구조에 의하여 상기 피스톤 로드(151, 152)가 수축을 하면, 반호형의 핑거(161, 162)가 양측으로 간격이 좁아지면서 후방의 탄성형 패드(18) 측으로 압박하는 힘이 작용되어 안정적으로 착유컵이 장착될 수 있다.As the
반대로 상기 피스톤 로드(151, 152)가 신장을 하면, 반호형의 핑거(161, 162)가 양측으로 간격이 벌려지면서 착유컵이 탈착될 수 있다.On the contrary, when the
본 발명의 일 실시 예에 따르면, 그립퍼 구동장치(160)의 양 측면으로는 구동용 피스톤 로드(171, 172)가 연결되고 양측 피스톤 로드에서 전방 측으로 직각으로 안내가이드(151, 152)가 형성되며, 상기 안내 가이드(151, 152)의 전단에는 전방 측으로 갈수록 내측 경사가 가파르게 형성되는 반호형의 핑거(161, 162) 구조에 의하여 적은 힘으로 원형의 착유컵을 안정적으로 그립 할 수 있으며, 동력전달부인 피스톤 로드와 반호형의 핑거와의 거리를 최소화함으로써, 공간 활용 및 그립 성능을 향상시킬 수 있다.According to an embodiment of the present invention, both side surfaces of the gripper drive device 160 is connected to the driving piston rod (171, 172) and guide guides (151, 152) are formed at right angles to the front side from both piston rods In the front end of the guide guides 151 and 152, the circular arc cups can be reliably gripped with little force by the half arc-shaped
본 발명의 일 실시 예에 따른 착유컵 그립퍼의 유두인식장치의 센서(11)에서 수광된 적외선 레이저 신호는 제어장치(30)의 제어부(미 도시됨)에서 판독하는 과정에 따라 상기 로봇암(20)을 이동시켜서 상기 착유컵 그립퍼(10)의 그립퍼 핑거에 장착된 착유컵(180) 중심을 유두의 하부 위치에 정확하게 위치하도록 제어할 수 있다.The infrared ray signal received by the
도 5는 본 발명의 일 실시 예에 따른 유두인식장치인 제어장치(30)의 제어부가 유두의 위치를 인식하는 방법을 도시한 것이다.5 is a view illustrating a method of recognizing the position of the nipple by the control unit of the
유두인식장치는 로봇암이 지정된 속도로 착유컵 그립퍼(10)를 젖소의 유방 부근으로 이동하도록 제어시키면서 라인 레이저장치를 구동하여 유방 및 유두에 적색 라인 레이저를 투영시킨다.The nipple recognition device drives the line laser device to project the red line laser onto the breast and nipple while controlling the robot arm to move the milking
유두인식장치는 밴드패스 필터를 거쳐서 착유컵 그립퍼에 장착된 적외선 센서(11)로 입력되는 입력 레이저에 대하여 캘리브레이션 및 레이저 영역 맵핑단계(310)를 수행한다.The nipple recognition device performs a calibration and laser
카메라 캘리브레이션은 카메라의 렌즈 왜곡(Distortion) 계수를 추출하여 왜곡에 대한 보상 과정을 수행하는 단계이다.Camera calibration is a step of performing a compensation process for the distortion by extracting the lens distortion coefficient of the camera.
도 6은 본 발명의 일 실시 예에 따른 유두인식장치의 제어부가 카메라 캘리브레이션을 거쳐서 왜곡을 보상하는 과정을 도시한 것이다.FIG. 6 is a diagram illustrating a process of compensating for distortion by a controller of a nipple recognition device according to an exemplary embodiment of the present invention.
도 6을 참조하면 체스보드를 이용하여 카메라 캘리브레이션 과정에서 이미지의 왜곡된 영역(211)을 보상하여 보상된 결과 이미지(212)를 나타낸다.Referring to FIG. 6, the
다음 레이저 영역 맵핑단계는 카메라의 촬상 영역에 들어오는 레이저 빔의 영역을 맵핑용 체스보드(4cm 격자)를 통해 투영 변환(Perspective Transform)을 수행하여 카메라 촬상 영역을 일치시키게 된다.In the next laser region mapping step, a perspective transform is performed on a region of the laser beam entering the imaging region of the camera through a chessboard for mapping (4cm grid) to match the camera imaging region.
도 7은 본 발명의 일 실시 예에 따른 유두인식장치의 제어부가 투영 변환을 위한 좌표 추출 과정을 도시한 것이다.7 is a view illustrating a coordinate extraction process for the projection transformation by the control unit of the nipple recognition device according to an embodiment of the present invention.
도 7은 투영 변환을 위한 S1~S4 좌표 추출 과정을 나타낸다.7 illustrates a process of extracting S1 to S4 coordinates for projection transformation.
사용자가 입력할 좌표는 S1, S1', S2, S2', A3, A4이며, 투영변환시킬 영역은 다음 수식 1로 나타낼 수 있다. The coordinates to be input by the user are S1, S1 ', S2, S2', A3, and A4, and the area to be converted by projection can be represented by the following
(여기서, 
이때, 
도 8은 본 발명의 일 실시 예에 따른 맵핑단계에서 투영 변환된 결과를 도시한 것이다.8 illustrates a result of the projection conversion in the mapping step according to an embodiment of the present invention.
도 8을 참조하면, 발명의 일 실시 예에 따른 맵핑단계에서 투영 변환된 결과를 나타낸 것이며, 이를 통해 레이저 빔의 실제 변위를 추출할 수 있다.Referring to FIG. 8, it shows the result of the projection conversion in the mapping step according to an embodiment of the present invention, through which the actual displacement of the laser beam may be extracted.
예를 들면, 체스보드 사각형(정사각형)의 크기가 40mm 일 경우, 사각형을 이루는 픽셀의 너비×높이 픽셀의 개수가 각각 50×60개 일 경우, 너비는 40/50 = 0.8mm/pixel, 높이는 40/60 ≒ 0.667mm/pixel 로, 너비는 1 pixe 당 0.8mm의 분해능, 높이는 0.667mm의 분해능을 갖게 된다.For example, if the size of the chessboard square (square) is 40mm, the width of the pixels that make up the square is 50 × 60 pixels in height, and the width is 40/50 = 0.8mm / pixel, and the height is 40. With / 60 60 0.667mm / pixel, it has a resolution of 0.8mm per 1 pixe and a resolution of 0.667mm in height.
도 9 내지 11은 본 발명의 일 실시 예에 따른 제어부가 유방과 유두 부근에 라인 레이저를 투영하여 센서를 통해 입력된 원본 이미지에 대하여 캘리브레이션 및 레이저 영역을 맵핑하는 맵핑단계를 수행한 이미지를 도시한 것이다.9 to 11 illustrate an image in which a control unit according to an embodiment of the present invention performs a mapping step of mapping a calibration and a laser region to an original image input through a sensor by projecting a line laser near a breast and a nipple. will be.
도 9는 입력된 원본 이미지를 도시한 것이다.9 illustrates an input original image.
도 10은 입력된 원본 이미지에 대해 캘리브레이션 단계에서 왜곡을 보상한 이미지를 도시한 것이다.FIG. 10 illustrates an image of compensating for distortion in a calibration step with respect to an input original image.
도 11은 왜곡을 보상한 이미지를 레이저 영역 맵핑단계에서 투영 변환 결과 이미지를 도시한 것이다.FIG. 11 illustrates an image of a result of the projection transformation in a laser region mapping step of an image having compensated for distortion.
다음은 레이저빔 위치 추출 단계(320)가 수행된다.Next, the laser beam
레이저빔 위치 추출 단계(320)에서는 먼저 레이저빔 이진화 단계가 수행된다.In the laser beam
레이저빔 이진화 단계는 상기 레이저 영역 맵핑단계를 거친 이미지를 Gray 변환 하고, Laplacian Filter과정과 Median Filter 과정을 수행한 후에 Binarize 변환과정을 거쳐서 레이저 빔 좌표를 추출하는 과정을 포함한다.The laser beam binarization step includes a gray conversion of the image that has undergone the laser region mapping step, a laplacian filter process and a median filter process, and a process of extracting the laser beam coordinates through a binarize transformation process.
본 발명의 일 실시 예에 따른 Laplacian Filter 과정에서는 약해진 레이저 빔의 빛 강도가 강화되며, Median Filter 과정에서는 Salt-Paper 잡음이 제거된다.In the Laplacian Filter process according to an embodiment of the present invention, the light intensity of the weakened laser beam is enhanced, and the Salt-Paper noise is removed in the Median Filter process.
Binarize 변환과정은 레이저 빔 영역을 흰색으로 변환하는 과정이며, 레이저 빔 좌표 추출단계에서는 흰색 픽셀의 좌표를 추출하는 과정이 포함된다.Binarize conversion is the process of converting the laser beam region to white, and the laser beam coordinate extraction step includes the process of extracting the coordinates of the white pixel.
도 12, 13은 레이저 빔 좌표 추출 과정을 도시한 것이다.12 and 13 illustrate a laser beam coordinate extraction process.
도 12는 맵핑단계를 거친 이미지에 대하여 이진화된 빔의 영상으로 빔의 위치(
도 12를 참조하면, 맵핑단계를 거친 이미지에 대하여 x, y 포인트를 추출하여 흰색 픽셀좌표의 위치를 추출한다.Referring to FIG. 12, the positions of the white pixel coordinates are extracted by extracting x and y points of the image which has been mapped.
흰색 픽셀 좌표 추출 과정은 이진화된 영상에서 각 X픽셀 위치에서 흰색 픽셀이 존재할 경우 그 위치를 저장(
여기서, k는 찾아진 흰색 픽셀의 (x, y)위치이며, 같은 x축에 다수의 y축 값이 있을 경우(즉, 흰색 영역 내부), y축 값이 큰 값으로 선택하여 저장한다. Here, k is the (x, y) position of the found white pixel, and when there are a plurality of y-axis values on the same x axis (that is, inside the white area), the y-axis value is selected and stored as a large value.
도 13은 이진화된 빔의 영상으로 추출된 빔의 위치를 도시한 것이다.13 shows the position of the beam extracted as an image of the binarized beam.
도 13에서 노란색 라인은 추출된 빔의 위치를 나타낸다.In FIG. 13, the yellow line indicates the position of the extracted beam.
레이저 빔의 위치 추출단계(320) 후에는 특정 높이 빔의 군집영역 디텍딩하여 3D이미지를 생성하는 단계(330)가 수행된다.After extracting the position of the
레이저 빔의 위치 추출단계(320)에서 추출된 한 프레임의 레이저 빔의 좌표만을 분석하여 유두를 판별할 수도 있다. 그러나 다양한 실험결과 한 프레임의 레이저 빔의 좌표만을 분석하여 유두를 판별할 경우에는 간혹 외부의 빛 또는 유두에 의해 가려지는 레이저 빔 영역 등 주변 환경에 따른 다양한 외부 요인들로 인해 오류가 발생될 수 있다.The nipple may be determined by analyzing only the coordinates of the laser beam of one frame extracted in the
따라서 본 발명의 일 실시 예에서는 연속적인 레이저 빔의 위치 좌표를 축적하여 3D 이미지 평면(x, Frame Number, y)을 생성하는 과정을 더 수행함으로써, 오류 발생률을 줄여서 신뢰성을 향상시킬 수 있었다.Therefore, in an exemplary embodiment of the present invention, the 3D image plane (x, frame number, y) is further generated by accumulating the position coordinates of the continuous laser beams, thereby reducing the error rate and improving reliability.
도 1의 유두 탐지를 위한 로봇암의 이동 모식도를 참조하면, 로봇 팔이 이동하는 동한 연속적으로 획득되는 영상에서 레이저 빔의 위치를 저장한다. 저장된 데이터는 각 프레임 번호를 가지게 된다.Referring to the schematic diagram of the movement of the robot arm for detecting the papilla of FIG. 1, the position of the laser beam is stored in images continuously acquired while the robot arm moves. The stored data has each frame number.
3D 이미지를 생성하는 단계(330)에서는 레이저 빔의 위치 추출단계(320)에서 추출된 매 프레임 마다 측정된 레이저 빔의 좌표를 저장하여 3D 평면을 생성한다.In the
도 14는 본 발명의 일 실시 예에 따라 각 프레임마다 측정된 좌표가 저장되는 단계를 도시한 것이다.14 illustrates a step of storing measured coordinates for each frame according to an embodiment of the present invention.
도 14를 참조하면, 추출된 끝점들을 새로운 이미지 버퍼에 누적하여 높이 이미지를 생성한다(추출된 점 들의 (X, Y) - >(X, N) = Y).Referring to FIG. 14, the extracted end points are accumulated in a new image buffer to generate a height image ((X, Y)-> (X, N) = Y of extracted points).
도 15는 본 발명의 일 실시 예에 따라 위치 추출단계를 거친 유방 라인을 매 프레임마다 x, y좌표를 누적시킨 3D 이미지(x, Frame Number, y)를 도시한 것이다.FIG. 15 illustrates a 3D image (x, Frame Number, y) in which x and y coordinates are accumulated in every frame of a breast line that has undergone a location extraction step according to an embodiment of the present invention.
즉, 3D 이미지 평면을 생성하는 단계에서는 추출된 매 프레임마다 측정된 레이저 빔의 좌표를 저장하고, 추출된 끝점들을 새로운 이미지 버퍼에 누적하여 높이 이미지를 생성하여 3D 평면을 생성하는 과정을 포함하는 것을 특징으로 한다.That is, the step of generating a 3D image plane includes storing coordinates of the measured laser beam every frame extracted, accumulating the extracted end points in a new image buffer, and generating a height image to generate a 3D plane. It features.
도 15는 유방 라인을 매 프레임마다 x, y 좌표를 누적시킨 3D 이미지(x, Frame Number, y)로써, Y Pixel은 높이값을 나타낸다.FIG. 15 is a 3D image (x, Frame Number, y) in which a breast line is accumulated in x and y coordinates every frame, and Y pixel represents a height value.
3D 이미지로 변환된 젖소의 배 쪽 영상은 도 15와 같이 유두 영역이 매우 낮은 높이 값을 갖게 된다(본 발명의 일 실시 예에서는 Rainbow 색상 순으로 높이가 낮아진다.). As shown in FIG. 15, the papillary image of the cow converted to the 3D image has a very low height value (in one embodiment of the present invention, the height is lowered in the order of the rainbow colors).
다음은 생성된 3D 이미지 평면에서 설정된 배경 높이를 제거하는 단계(340)가 수행된다.Next, a
도 15를 참조하면, 왼쪽 상단의 보라색 긴 영상은 외부 잡음(조명)이다. 설정된 배경 높이를 제거하는 단계(340)에서는 유두의 설정된 예상 높이 외의 영역을 모두 제거하는 과정 및 유두 주변의 잡음 영역을 제거하는 과정이 수행된다.Referring to FIG. 15, the purple long image at the upper left is external noise (lighting). In
유두의 설정된 예상 높이는 축적된 데이터를 통하여 추출될 수 있다.The set expected height of the teat can be extracted from the accumulated data.
도 16은 3D 이미지에서 유두의 설정된 예상 높이 외의 배경 높이를 제거한 영상을 도시한 것이다.FIG. 16 illustrates an image in which a background height other than the set expected height of the nipple is removed from the 3D image.
도 16을 참조하면, 설정된 배경 높이를 제거하는 단계(340)에서는 도 15의 3D 이미지에서 유두의 설정된 예상 높이 외의 배경 높이를 제거한 후, 유두의 형상 패턴(크기/타원/초승달/반달 모양)을 통해 유두 주변에 송곳니처럼 생긴 잡음 영역을 제거하는 과정이 더 포함된다.Referring to FIG. 16, in
다음은 유두 영역 추출 단계(350)가 수행된다.Next, the nipple
도 17, 18은 3D 이미지에서 유두 추출 과정을 도시한 것이다.17 and 18 illustrate a teat extraction process in a 3D image.
도 17, 18을 참조하면, 배경 노이즈 들을 제거한 영상에서 축적된 패턴의 크기 모양의 특성을 통해 유두(250, 도 17에서 사각형으로 표시된 부분) 영역을 추출하게 된다.Referring to FIGS. 17 and 18, the nipple region 250 (the area indicated by the rectangle in FIG. 17) may be extracted through characteristics of the size of the accumulated pattern in the image from which the background noises are removed.
유두 영역의 높이는 찾아진 영역 중 가장 낮은 값을 가지는 위치이며, 탐지된 영역에서 가장 낮은 값의 높이를 갖는 위치가 유두의 높이가 된다. The height of the teat region is the position having the lowest value among the found areas, and the height of the teat is the position having the lowest value in the detected region.
다음은 추출된 유두 영역의 위치 계산 단계(360)가 수행된다.Next, the
유두 영역의 위치 계산 단계(360)에서는 추출된 유두의 최대 높이점(도 18에서 제일 낮은 지점)을 기구학적 변환을 통해 물리적인 실제 위치로 변환하는 과정을 수행하게 된다.In the
유두 영역 추출 단계(150)에서 추출된 유두의 위치는 프레임 번호와 해당 프레임에서의 x, y 영상 좌표를 나타내며, 유두 영역의 위치 계산 단계(160)에서는 이를 실제 좌표로 변환하는 과정이 수행된다.The location of the nipple extracted in the nipple region extraction step 150 represents a frame number and x and y image coordinates in the corresponding frame, and the position calculation step 160 of the nipple area is performed to convert it to actual coordinates.
축적된 영상의 프레임 번호로부터 로봇이 이동하며 영상이 촬상된 시간을 내부적으로 저장한 시간 정보를 호출해, 등속 운동 중인 로봇암의 월드 좌표계 상에서의 위치를 계산한다. The robot moves from the frame number of the accumulated image and calls the time information which internally stores the time when the image was captured, and calculates the position on the world coordinate system of the robot arm in constant motion.
도 19는 영상좌표계와 레이저 좌표계의 변환관계를 도시한 것이다.19 shows a conversion relationship between an image coordinate system and a laser coordinate system.
레이저 빔으로 측정된 위치인 x, y 좌표는 도 19와 같이 레이저 좌표계로 계산된다. 이때, Y축 값은 고려되지 않는다.The x and y coordinates, which are the positions measured by the laser beam, are calculated by the laser coordinate system as shown in FIG. 19. At this time, the Y-axis value is not considered.
도 20은 로봇 좌표계와 레이저 좌표계 간의 변환 관계를 도시한 것이다.20 shows a transformation relationship between the robot coordinate system and the laser coordinate system.
이후, 계산된 레이저 평면상의 X-Z 평면은 레이저 빔이 설치된 좌표계를 로봇 좌표계로 도 20과 같이 회전 및 이동 변환 행렬을 포함하는 물리적인 변환 행렬 과정을 통하여 실제 유두의 위치를 산출하게 된다. 본 발명의 일 실시 예에서는 레이저의 회전 행렬 및 이동 값의 실측을 통해 누적된 데이터로부터 회전 및 이동 변환 행렬 연산을 하여 유두의 위치를 로봇암의 위치 좌표계로 변환한다.Thereafter, the calculated X-Z plane on the laser plane calculates the actual position of the nipple through a physical transformation matrix process including a rotation and movement transformation matrix as shown in FIG. 20 using the coordinate system where the laser beam is installed as the robot coordinate system. In an embodiment of the present invention, the position of the nipple is converted into the position coordinate system of the robot arm by performing a rotation and movement transformation matrix operation based on the accumulated data through the measurement of the rotation matrix and the movement value of the laser.
10: 착유컵 그립퍼
11: 센서
12: 레이저 장치
18: 탄성형 패드
20: 로봇암
30: 제어장치
110: 그립동작 하우징
120: 센서장착 하우징
150: 그립퍼 핑거부
151, 152: 안내가이드
160: 그립퍼 구동장치
161, 162: 반호형 핑거
171, 172: 구동용 피스톤
180: 착유컵10: Milking Cup Gripper
11: sensor
12: laser device
18: elastic pad
20: robot arm
30: controller
110: grip operation housing
120: housing with sensor
150: gripper finger portion
151, 152: Guide
160: gripper drive device
161, 162: half arc finger
171, 172: driving piston
180: milking cup
Claims (10)
상기 젖소 유두 자동인식방법은,
a) 상기 유두인식장치가 로봇암을 지정된 속도로 착유컵 그립퍼를 젖소의 유방 부근으로 이동하도록 제어시키면서 라인 레이저장치를 구동하여 유방 부근에 라인 레이저를 투영시키는 단계;
b) 상기 착유컵 그립퍼에 장착된 적외선 센서로 입력된 영상에 대하여 입력된 레이저 빔의 영역을 상기 센서의 촬상 영역과 일치시키도록 캘리브레이션 및 레이저 영역을 맵핑하는 단계;
c) 상기 b) 단계를 거친 이미지의 레이저 빔 위치 추출 단계;
d) 상기 c) 단계에서의 연속적인 레이저 빔의 위치 좌표를 축적하여 3D 이미지 평면을 생성하는 단계;
e) 상기 생성된 3D 이미지 평면에서 설정된 배경 높이를 제거하는 단계;
f) 상기 e) 단계를 거친 영상에서 축적된 패턴의 크기 모양의 특성을 통해 유두 영역을 추출하여 해당 프레임의 영상 좌표로 나타내는 유두 영역 추출 단계; 및
g) 상기 f) 단계에서 추출한 영상 좌표를 상기 로봇암의 위치 좌표계로 변환하는 단계;
를 포함하는 것을 특징으로 하는 유두 자동인식방법.
In the cow nipple automatic recognition method that the nipple recognition device automatically recognizes the nipple of the cow,
The cow nipple automatic recognition method,
a) the nipple recognition device driving the line laser device to project the line laser near the breast while controlling the robot arm to move the milk cup gripper near the breast of the cow at a specified speed;
b) mapping a calibration and laser region to match an area of the input laser beam with an imaging area of the sensor for an image input by an infrared sensor mounted on the milking cup gripper;
c) laser beam position extraction of the image subjected to step b);
d) accumulating the position coordinates of the continuous laser beam in step c) to generate a 3D image plane;
e) removing the set background height from the generated 3D image plane;
f) extracting the papillary region by extracting the papillary region through the characteristics of the size of the pattern accumulated in the image which has passed through the step e); And
g) converting the image coordinates extracted in step f) into a position coordinate system of the robot arm;
Nipple automatic recognition method comprising a.
상기 레이저 빔 위치 추출 단계에서는 레이저 빔 영역을 흰색으로 변환하고, 상기 변환된 흰색 픽셀의 좌표를 추출하는 것을 포함하는 것을 특징으로 하는 젖소 유두 자동인식방법.
The method of claim 1,
In the laser beam position extraction step, the cow papilla automatic recognition method comprising converting a laser beam region into white and extracting coordinates of the converted white pixel.
상기 3D 이미지 평면을 생성하는 단계에서는 추출된 매 프레임마다 측정된 레이저 빔의 좌표를 저장하고, 추출된 끝점들을 새로운 이미지 버퍼에 누적하여 높이 이미지를 생성하여 3D 평면을 생성하는 과정을 포함하는 것을 특징으로 하는 젖소 유두 자동인식방법.
The method of claim 1,
The generating of the 3D image plane includes storing coordinates of the measured laser beam every extracted frame, accumulating the extracted end points in a new image buffer, and generating a height image to generate a 3D plane. Cow nipple automatic recognition method.
상기 e) 단계에서는 유두의 설정된 예상 높이 외의 영역을 모두 제거하는 과정 및 유두 주변의 잡음 영역을 제거하는 과정을 포함하는 것을 특징으로 하는 유두 자동인식방법.The method of claim 1,
In the step e), the step of removing all areas other than the set estimated height of the nipple, and the step of removing the noise area around the nipple.
상기 유두 자동인식장치는
3축으로 이동되는 로봇암 및 상기 로봇암의 종단에 부착된 착유컵 그립퍼;
상기 착유컵 그립퍼의 일측 상단에 부착되어 적외선 라인 레이저를 발생시키는 레이저 장치;
상기 착유컵 그립퍼의 일측 경사면에 부착되어 반사되는 라인 레이저 빔이 입력되는 센서; 및
상기 로봇암의 이동을 제어하고 상기 입력되는 라인 레이저 빔으로부터 유두의 위치를 연산하여 인식하는 제어부; 를 포함하며,
상기 유두 자동인식장치가 유두를 인식하는 방법은,
a) 상기 로봇암을 지정된 속도로 착유컵 그립퍼를 젖소의 유방 부근으로 이동하도록 제어시키면서 상기 레이저장치를 구동하여 유방 부근에 라인 레이저를 투영시키는 단계;
b) 상기 착유컵 그립퍼에 장착된 센서로 입력된 영상에 대하여 입력된 레이저 빔의 영역을 상기 센서의 촬상 영역과 일치시키도록 캘리브레이션 및 레이저 영역을 맵핑하는 단계;
c) 상기 b) 단계를 거진 이미지의 레이저 빔 위치 추출 단계;
d) 상기 c) 단계에서의 연속적인 레이저 빔의 위치 좌표를 축적하여 3D 이미지 평면을 생성하는 단계;
e) 상기 생성된 3D 이미지 평면에서 설정된 배경 높이를 제거하는 단계;
f) 상기 e) 단계를 거친 영상에서 축적된 패턴의 크기 모양의 특성을 통해 유두 영역을 추출하여 해당 프레임의 영상 좌표로 나타내는 유두 영역 추출 단계; 및
g) 상기 f) 단계에서 추출한 영상 좌표를 상기 로봇암의 위치 좌표계로 변환하는 단계; 를 포함하는 것을 특징으로 하는 유두 자동인식장치.
In the nipple automatic recognition device that automatically recognizes the nipple,
The nipple automatic recognition device
A robot arm moved in three axes and a milking cup gripper attached to an end of the robot arm;
A laser device attached to an upper end of one side of the milking cup gripper to generate an infrared line laser;
A sensor to which a line laser beam which is attached and reflected on one inclined surface of the milking cup gripper is input; And
A control unit which controls the movement of the robot arm and calculates and recognizes the position of the nipple from the input line laser beam; Including;
The nipple automatic recognition device recognizes the nipple,
a) driving the laser device to project a line laser near the breast while controlling the robot arm to move the milk cup gripper near the breast of the cow at a specified speed;
b) mapping a calibration and a laser region to match the area of the input laser beam with the imaging area of the sensor for an image input to a sensor mounted on the milking cup gripper;
c) laser beam position extraction of the image based on step b);
d) accumulating the position coordinates of the continuous laser beam in step c) to generate a 3D image plane;
e) removing the set background height from the generated 3D image plane;
f) extracting the papillary region by extracting the papillary region through the characteristics of the size of the pattern accumulated in the image which has passed through the step e); And
g) converting the image coordinates extracted in step f) into a position coordinate system of the robot arm; Automatic nipple recognition device comprising a.
상기 라인 레이저 장치는 635nm - 670nm의 적외선 라인 빔을 출사하는 적외선 라인 레이저 장치이며, 30±5% cm거리에서 적외선 라인 60±5% cm가 생성되는 것을 특징으로 하는 유두 자동인식장치.
The method of claim 6,
The line laser device is an infrared line laser device that emits an infrared line beam of 635nm-670nm, nipple automatic recognition device characterized in that the infrared line 60 ± 5% cm is generated at a distance of 30 ± 5% cm.
상기 레이저 장치의 방출면과 상기 센서의 수광면의 사이의 배치각은 135 ~145°로 형성되는 것을 특징으로 하는 유두 자동인식장치.
The method of claim 6,
Placement angle between the emitting surface of the laser device and the light receiving surface of the sensor is formed of 135 ~ 145 °, nipple automatic recognition device.
상기 센서와 라인 레이저 장치의 거리 간격은 96 ~ 100mm로 설치되는 것을 특징으로 하는 유두 자동인식 장치.
The method of claim 6,
The distance between the sensor and the line laser device is nipple automatic recognition device, characterized in that installed in 96 ~ 100mm.
상기 센서는 적외선 편광필터가 장착된 ccd 카메라로서, 650nm±10nm의 밴드 영역을 필터링하는 것을 특징으로 하는 유두 자동인식 장치.The method of claim 6,
The sensor is a ccd camera equipped with an infrared polarization filter, nipple automatic recognition device characterized in that to filter the band region of 650nm ± 10nm.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180075694A KR102044852B1 (en) | 2018-06-29 | 2018-06-29 | Automatic Detect Device and Method of dairy cow teat |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180075694A KR102044852B1 (en) | 2018-06-29 | 2018-06-29 | Automatic Detect Device and Method of dairy cow teat |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102044852B1 true KR102044852B1 (en) | 2019-11-13 |
Family
ID=68534763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180075694A KR102044852B1 (en) | 2018-06-29 | 2018-06-29 | Automatic Detect Device and Method of dairy cow teat |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102044852B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102220628B1 (en) * | 2020-06-18 | 2021-02-26 | 대한민국(농촌진흥청장) | Method And Apparatus for Detecting Dairy Cow Teat by Using 3D Camera |
| CN115281095A (en) * | 2022-05-30 | 2022-11-04 | 北京工业大学 | Milking device and method based on laser image recognition |
| KR20240043420A (en) | 2022-09-27 | 2024-04-03 | 주식회사 다운 | Apparatus for auto-detecting teat of dairy cow and method thereof |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005015985A2 (en) * | 2003-08-11 | 2005-02-24 | Icerobotics Limited | Improvements in or relating to milking machines |
| KR100788965B1 (en) | 2006-04-04 | 2007-12-27 | 순천제일대학산학협력단 | Milking automatic robot and milking automatic method thereof |
| WO2016171263A1 (en) * | 2015-04-22 | 2016-10-27 | 新日鐵住金株式会社 | Shape measuring apparatus and shape measuring method |
| US20180049389A1 (en) * | 2016-08-17 | 2018-02-22 | Technologies Holdings Corp. | Vision System with Teat Detection |
| JP2018059768A (en) * | 2016-10-04 | 2018-04-12 | 新日鐵住金株式会社 | Arithmetic processing device, shape measurement device, arithmetic processing method, and shape measurement method and program |
-
2018
- 2018-06-29 KR KR1020180075694A patent/KR102044852B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005015985A2 (en) * | 2003-08-11 | 2005-02-24 | Icerobotics Limited | Improvements in or relating to milking machines |
| KR100788965B1 (en) | 2006-04-04 | 2007-12-27 | 순천제일대학산학협력단 | Milking automatic robot and milking automatic method thereof |
| WO2016171263A1 (en) * | 2015-04-22 | 2016-10-27 | 新日鐵住金株式会社 | Shape measuring apparatus and shape measuring method |
| US20180049389A1 (en) * | 2016-08-17 | 2018-02-22 | Technologies Holdings Corp. | Vision System with Teat Detection |
| JP2018059768A (en) * | 2016-10-04 | 2018-04-12 | 新日鐵住金株式会社 | Arithmetic processing device, shape measurement device, arithmetic processing method, and shape measurement method and program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102220628B1 (en) * | 2020-06-18 | 2021-02-26 | 대한민국(농촌진흥청장) | Method And Apparatus for Detecting Dairy Cow Teat by Using 3D Camera |
| CN115281095A (en) * | 2022-05-30 | 2022-11-04 | 北京工业大学 | Milking device and method based on laser image recognition |
| CN115281095B (en) * | 2022-05-30 | 2024-03-29 | 北京工业大学 | Milking device and method based on laser image recognition |
| KR20240043420A (en) | 2022-09-27 | 2024-04-03 | 주식회사 다운 | Apparatus for auto-detecting teat of dairy cow and method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7568447B2 (en) | Milking machines | |
| KR102044852B1 (en) | Automatic Detect Device and Method of dairy cow teat | |
| JP3919825B2 (en) | Apparatus and method for recognizing and determining the position of an animal part | |
| EP1996010B1 (en) | Time of flight teat location system | |
| EP2526762A1 (en) | Arrangement and method for determining positions of the teats of a milking animal | |
| EP0989800B1 (en) | Apparatus and method for recognising and determining the position of a part of an animal | |
| US20150071491A1 (en) | Method And Device For Optically Determining A Position And/Or Orientation Of An Object In Space | |
| EP1940218B1 (en) | Arrangement and method for visual detection in a milking system | |
| EP2244555B1 (en) | Arrangement and method for determining the position of an animal | |
| JP2012076216A (en) | Method for combining camera coordinate system and robot coordinate system in robot control system, image processing device, program, and storage medium | |
| KR102044851B1 (en) | Teat cup Gripper attached Automatic Detect device of dairy cow teat | |
| US8944004B2 (en) | Detection arrangement and method | |
| KR102220628B1 (en) | Method And Apparatus for Detecting Dairy Cow Teat by Using 3D Camera | |
| CN115661271B (en) | Robot nucleic acid sampling guiding method based on vision | |
| KR20240043420A (en) | Apparatus for auto-detecting teat of dairy cow and method thereof | |
| CN116402886A (en) | Multi-vision three-dimensional measurement method for underwater robot | |
| SE528237C2 (en) | Teat position determining arrangement for use in milking system, includes image processor to determine position of teat of milking animal relative to robot arm, when fixing teat cup to teat | |
| SE527840C2 (en) | Teat position determining arrangement for use in milking system, includes image processor to determine position of teat of milking animal relative to robot arm, when fixing teat cup to teat |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |