KR20240043420A - 젖소 유두 자동인식장치 및 그 방법 - Google Patents

젖소 유두 자동인식장치 및 그 방법 Download PDF

Info

Publication number
KR20240043420A
KR20240043420A KR1020220122490A KR20220122490A KR20240043420A KR 20240043420 A KR20240043420 A KR 20240043420A KR 1020220122490 A KR1020220122490 A KR 1020220122490A KR 20220122490 A KR20220122490 A KR 20220122490A KR 20240043420 A KR20240043420 A KR 20240043420A
Authority
KR
South Korea
Prior art keywords
nipple
image
thickness
coordinate
cow
Prior art date
Application number
KR1020220122490A
Other languages
English (en)
Inventor
최영경
Original Assignee
주식회사 다운
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다운 filed Critical 주식회사 다운
Priority to KR1020220122490A priority Critical patent/KR20240043420A/ko
Publication of KR20240043420A publication Critical patent/KR20240043420A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01J—MANUFACTURE OF DAIRY PRODUCTS
    • A01J5/00—Milking machines or devices
    • A01J5/007—Monitoring milking processes; Control or regulation of milking machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Animal Husbandry (AREA)
  • Environmental Sciences (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 젖소 유두 자동인식방법에 관한 것으로, 3D 깊이 이미지(3D Depth image)와 인공지능(AI; Artificial Intelligence) 모델을 활용하되, 젖소 유방 부위의 유두 위치를 먼저 찾은 다음 찾은 유두의 위치에 대응하는 경계 박스(bounding box) 내에서 찾은 유두의 두께를 나타내는 한 쌍의 두께 위치점(side keypoint)과 찾은 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식하여 로봇착유기의 로봇암 제어장치로 전달한다.
본 발명에 따라 3D 깊이 이미지(3D Depth image)와 인공지능(AI; Artificial Intelligence) 모델을 활용하여 젖소 유두의 두께와 끝점에 대응하는 xy좌표를 획득하면 로봇착유기의 로봇암 제어장치에서 젖소 유방의 4개 유두의 기울기 변화에 대응하는 방향으로 로봇암에 장착된 착유컵을 이동시켜 젖소 유방의 4개의 유두 모두에 끼운 상태로 착유를 할 수 있다.

Description

젖소 유두 자동인식장치 및 그 방법{Apparatus for auto-detecting teat of dairy cow and method thereof}
본 발명은 젖소 유두 자동인식장치 및 그 방법에 관한 것이며, 더욱 상세히는 3D 깊이 이미지(3D Depth image)와 인공지능(AI; Artificial Intelligence) 모델을 활용하는 젖소 유두 자동인식장치 및 그 방법에 관한 것이다.
로봇착유기를 이용한 자동 착유작업은 착유컵(teat cup)을 장착한 로봇암을 착유실에 진입한 젖소 유방에 근접시킨 후 착유컵을 젖소 유방의 유두에 접촉시켜 끼운 상태로 실시하게 된다.
한편, 젖소의 유방과 유두의 형상은 상당히 많은 다양함을 가지고 있으며, 초산 때의 유방형상과 2산, 3산 때의 유방의 모양이 달라짐으로 규격화가 되지 않은 유방형상을 가지고 있어서 일반적인 방법으로 유두의 위치를 파악하는데 어려움이 있다. 더욱이 착유일 수에 따라 착유량의 상당한 변화가 있어서 유방의 모양은 시간에 따라 일관성이 없이 변화된다.
따라서, 이러한 이유로 4개의 분방으로 구획되어 있는 유방에서 4개의 유두의 위치와 각도 방향을 자동으로 정확하게 확보하기 위한 젖소 유두 인식장치들이 개발되고 있다.
예컨대, 카메라를 이용하여 젖소의 유두를 인식하는 기술이 개발되어 있지면, 카메라만을 이용하여 유두를 인식하게 되면 유두의 모양을 검출하기 위한 윤곽선 도출 및 노지즈 제거 등의 영상처리 기법이 사용되어야 하는데, 착유실 환경에서 촬영된 카메라 이미지는 촬영 시간의 조도, 온도, 반사도, 젖소의 움직임 등등의 다양한 변화 요인으로 인해 젖소 유두 인식률이 낮은 단점이 있다.
특히, 착유실에 진입한 젖소가 움직이는 동안 로봇착유기를 이용한 자동 착유를 위한 젖소 유두 인식 불량이 발생하는 경우, 로봇암에 장착된 착유컵을 젖소의 4개의 유두 모두에 끼우지 못하고 일부(예컨대, 3개 이하 혹은 2개 이하)에만 끼운 상태로 착유를 하거나, 서로 붙어있는 유두 중 어느 1개의 유두에만 착유컵을 끼우고 착유를 하는 경우가 발생할 수 있다.
KR 10-2044852 B1
본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 3D 깊이 이미지(3D Depth image)와 인공지능(AI; Artificial Intelligence) 모델을 활용하되, 젖소 유방 부위의 유두 위치를 먼저 찾은 다음 찾은 유두의 위치에 대응하는 경계 박스(bounding box) 내에서 찾은 유두의 두께를 나타내는 한 쌍의 두께 위치점(side keypoint)과 찾은 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식하여 로봇착유기의 로봇암 제어장치로 전달하는 젖소 유두 자동인식장치 및 그 방법을 제공하는 것이다.
상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 젖소 유두 자동인식장치는, 로봇착유기에 설치된 상태에서 착유실에 진입한 젖소 유방 부위를 촬영하여 3D 깊이 이미지(3D Depth image)를 획득하는 3D 카메라와; 상기 3D 깊이 이미지를 입력받아 2D 이미지로 변환하는 이미지변환기; 및 상기 2D 이미지를 입력받아 인공지능(AI) 모델을 활용한 객체 인식과 자세(pose) 추정을 통해 젖소 유방 부위의 유두 위치를 찾고 찾은 유두의 위치에 대응하는 경계 박스(bounding box) 내에서 찾은 유두의 두께를 나타내는 한 쌍의 두께 위치점(side keypoint)과 찾은 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식하는 유두자동인식기;로 구성되는 것을 특징으로 한다.
본 발명에 따른 젖소 유두 자동인식장치에 있어서, 상기 유두자동인식기는 객체 인식을 위한 인공지능(AI) 모델(예컨대, SOTA 모델인 YOLo v7)을 활용한 객체 인식을 먼저 수행하여 상기 2D 이미지에서 젖소 유방 부위의 유두 위치를 찾는 것을 특징으로 한다.
본 발명에 따른 젖소 유두 자동인식장치에 있어서, 상기 유두자동인식기는 상기 2D 이미지에서 젖소 유방 부위의 유두 위치를 찾은 다음, 연이어서 자세(pose) 추정을 위한 인공지능(AI) 모델(예컨대, ResNet 기반의 DeepPose 모델)을 활용한 자세 추정을 수행하여 찾은 유두 위치에 대응하는 경계 박스(bounding box) 내에서 유두의 두께에 해당하는 한 쌍의 두께 위치점(side keypoint)과 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식하는 것을 특징으로 한다.
본 발명에 따른 젖소 유두 자동인식장치에 있어서, 상기 유두자동인식기는 상기 2D 이미지 상에 상기 찾은 유두 위치에 대응하는 경계 박스(bounding box)의 x좌표, 해당 경계 박스(bounding box)의 y좌표, 경계 박스(bounding box)의 넓이, 경계 박스(bounding box)의 길이, 유두의 두께 왼쪽 점 x좌표, 유두의 두께 왼쪽 점 y좌표, 유두의 두께 오른쪽 점 x좌표, 유두의 두께 오른쪽 점 y좌표, 유두의 끝점 x좌표, 유두의 끝점 y좌표를 표시하는 것을 특징으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 젖소 유두 자동인식방법은, 3D 카메라가 로봇착유기에 설치된 상태에서 착유실에 진입한 젖소 유방 부위를 촬영하여 3D 깊이 이미지(3D Depth image)를 획득하는 제1과정과; 이미지변환기가 상기 제1과정에서 획득한 상기 3D 깊이 이미지를 입력받아 2D 이미지로 변환하는 제2과정; 및 유두자동인식기가 상기 제2과정에서 변환된 상기 2D 이미지를 입력받아 인공지능(AI) 모델을 활용한 객체 인식과 자세(pose) 추정을 통해 젖소 유방 부위의 유두 위치를 찾고 찾은 유두의 위치에 대응하는 경계 박스(bounding box) 내에서 찾은 유두의 두께를 나타내는 한 쌍의 두께 위치점(side keypoint)과 찾은 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식하는 제3과정;으로 이루어지는 것을 특징으로 한다.
본 발명에 따른 젖소 유두 자동인식방법에 있어서, 상기 제3과정에서는 상기 유두자동인식기가 객체 인식을 위한 인공지능(AI) 모델(예컨대, SOTA 모델인 YOLo v7)을 활용한 객체 인식을 먼저 수행하여 상기 2D 이미지에서 젖소 유방 부위의 유두 위치를 찾는 것을 특징으로 한다.
본 발명에 따른 젖소 유두 자동인식방법에 있어서, 상기 제3과정에서는 상기 유두자동인식기가 상기 2D 이미지에서 젖소 유방 부위의 유두 위치를 찾은 다음, 연이어서 자세(pose) 추정을 위한 인공지능(AI) 모델(예컨대, ResNet 기반의 DeepPose 모델)을 활용한 자세 추정을 수행하여 찾은 유두 위치에 대응하는 경계 박스(bounding box) 내에서 유두의 두께에 해당하는 한 쌍의 두께 위치점(side keypoint)과 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식하는 것을 특징으로 한다.
본 발명에 따른 젖소 유두 자동인식방법에 있어서, 상기 제3과정에서는 상기 유두자동인식기가 상기 2D 이미지 상에 상기 찾은 유두 위치에 대응하는 경계 박스(bounding box)의 x좌표, 해당 경계 박스(bounding box)의 y좌표, 경계 박스(bounding box)의 넓이, 경계 박스(bounding box)의 길이, 유두의 두께 왼쪽 점 x좌표, 유두의 두께 왼쪽 점 y좌표, 유두의 두께 오른쪽 점 x좌표, 유두의 두께 오른쪽 점 y좌표, 유두의 끝점 x좌표, 유두의 끝점 y좌표를 표시하는 것을 특징으로 한다.
본 발명에 따라 3D 깊이 이미지(3D Depth image)와 인공지능(AI; Artificial Intelligence) 모델을 활용하여 젖소 유두의 두께와 끝점에 대응하는 xy좌표를 획득하면 로봇착유기의 로봇암 제어장치에서 젖소 유방의 4개 유두의 기울기 변화에 대응하는 방향으로 로봇암에 장착된 착유컵을 이동시켜 젖소 유방의 4개의 유두 모두에 끼운 상태로 착유를 할 수 있다.
도 1은 본 발명에 따른 젖소 유두 자동인식장치의 구성을 나타낸 실시예.
도 2는 본 발명에 따른 젖소 유두 자동인식장치방법을 설명하는 순서도.
도 3은 도 2의 제1과정에서 획득한 3D 깊이 이미지(3D Depth image) 사진.
도 4는 도 2의 제2과정에서 변환된 2D 이미지 사진.
도 5는 도 4의 2D 이미지 상의 찾은 유두의 위치에 대응하는 경계 박스(bounding box) 내에서 찾은 유두의 두께를 나타내는 한 쌍의 두께 위치점(side keypoint)과 찾은 유두의 끝점(end keypoint)를 표시한 사진.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 더욱 상세하게 설명한다.
이하에서 설명하는 본 발명에 따른 젖소 유두 자동인식장치 및 그 방법은 하기의 실시예에 한정되지 않고, 청구범위에서 청구하는 기술의 요지를 벗어남이 없이 해당 기술분야에 대하여 통상의 지식을 가진 자라면 누구든지 변경하여 실시할 수 있는 범위까지 그 기술적 정신이 있다.
도 1을 참조하면, 본 발명에 따른 젖소 유두 자동인식장치(100)는 3D 카메라(110)와 이미지변환기(120) 및 유두자동인식기(130)를 포함하여 구성된다.
상기 이미지변환기(120)와 유두자동인식기(130)는 자동착유에 사용되는 로봇착유기와 별개로 구비된 컴퓨터 장치로 구현되거나, 상기 로봇착유기의 작동을 제어하는 컴퓨터 장치에 포함되거나 상기 로봇착유기에 있어서 착유컵(teat cup)을 장착한 로봇암의 작동을 제어하는 로봇암 제어장치에 포함되어 구현될 수 있다.
상기 3D 카메라(110)는 로봇착유기에 설치된 상태에서 착유실에 진입한 젖소 유방 부위를 촬영하여 3D 깊이 이미지(3D Depth image)를 획득한다.
상기 이미지변환기(120)는 상기 3D 깊이 이미지를 입력받아 2D 이미지로 변환한다.
상기 유두자동인식기(130)는 상기 2D 이미지를 입력받아 인공지능(AI) 모델을 활용하되, 3D 깊이 이미지(3D Depth image)와 인공지능(AI; Artificial Intelligence) 모델을 활용하되, 상기 2D 이미지를 입력받으면, 탑-다운 접근 방식(Top-down approach)으로 젖소 유방 부위의 유두 위치를 먼저 찾은 다음 찾은 유두의 위치에 대응하는 경계 박스(bounding box) 내에서 찾은 유두의 두께를 나타내는 한 쌍의 두께 위치점(side keypoint)과 찾은 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식하여 로봇착유기의 로봇암 제어장치로 전달한다.
상기 유두자동인식기(130)는 객체 인식을 위한 인공지능(AI) 모델(예컨대, SOTA 모델인 YOLo v7)을 활용한 객체 인식을 먼저 수행하여 상기 2D 이미지에서 젖소 유방 부위의 유두 위치를 찾는다.
상기 유두자동인식기(130)는 상기 2D 이미지에서 젖소 유방 부위의 유두 위치를 찾은 다음, 연이어서 자세(pose) 추정을 위한 인공지능(AI) 모델(예컨대, ResNet 기반의 DeepPose 모델)을 활용한 자세 추정을 수행하여 찾은 유두 위치에 대응하는 경계 박스(bounding box) 내에서 유두의 두께에 해당하는 한 쌍의 두께 위치점(side keypoint)과 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식한다.
상기 유두자동인식기(130)는 하기의 수학식 1로 예시한 바와 같이, 상기 2D 이미지 상에 상기 찾은 유두 위치에 대응하는 경계 박스(bounding box)의 x좌표(x), 해당 경계 박스(bounding box)의 y좌표(y), 경계 박스(bounding box)의 넓이(width), 경계 박스(bounding box)의 길이(height), 유두의 두께 왼쪽 점 x좌표(x1), 유두의 두께 왼쪽 점 y좌표(y1), 유두의 두께 오른쪽 점 x좌표(x2), 유두의 두께 오른쪽 점 y좌표(y2), 유두의 끝점 x좌표(x3), 유두의 끝점 y좌표(y3)를 표시한다.
Figure pat00001
상기와 같이 구성되는 본 발명에 따른 젖소 유두 자동인식장치(100)는 도 2에 나타낸 본 발명에 따른 젖소 유두 자동인식장치방법(S100)에 따라 다음과 같이 작동한다.
가장 먼저, 상기 3D 카메라(110)가 로봇착유기에 설치된 상태에서 착유실에 진입한 젖소 유방 부위를 촬영하여 3D 깊이 이미지(3D Depth image)를 획득한다(S110).
이 제1과정(S110)에서 상기 3D 카메라(110)는 로봇착유기에 설치되는 것이 바람직하며, 착유실에 진입한 젖소 유방 부위를 촬영할 수 있는 곳이라면 로봇착유기가 아닌 다른 어떤 곳에 설치되어도 무방하다.
참고로, 도 3에서는 상기 제1과정(S110)에서 획득한 3D 깊이 이미지(3D Depth image) 사진을 예시한다.
상기 제1과정(S110)에서 획득된 상기 3D 깊이 이미지는 상기 이미지변환기(120)로 전송되며, 이에 따라 제2과정(S120)이 수행된다.
상기 제2과정(120)에서는 상기 이미지변환기(120)가 상기 제1과정(S110)에서 획득한 상기 3D 깊이 이미지를 입력받아 2D 이미지로 변환한다.
이 제2과정(S120)에서 상기 3D 깊이 이미지는 2D 그레이 이미지(2D Gray image)로 변환하는 것이 바람직하다.
참고로, 도 4에서는 상기 제2과정(S120)에서 변환된 2D 이미지 사진을 예시한다.
상기와 같이 이미지변환기(120)에 의해 상기 3D 깊이 이미지가 2D 이미지로 변환되고 나면, 상기 유두자동인식기(130)가 상기한 탑-다운 접근 방식(Top-down approach)으로 4개의 분방으로 구획되어 있는 젖소의 유방에서 4개의 유두를 찾는 제3과정(S130)이 수행된다.
상기 제3과정(S130)에서는 상기 유두자동인식기(130)가 상기 제2과정(120)에서 변환된 상기 2D 이미지를 입력받아 인공지능(AI) 모델을 활용한 객체 인식과 자세(pose) 추정을 통해 젖소 유방 부위의 유두 위치를 먼저 찾고, 그 다음으로 찾은 유두의 위치에 대응하는 경계 박스(bounding box) 내에서 찾은 유두의 두께를 나타내는 한 쌍의 두께 위치점(side keypoint)과 찾은 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식한다.
상기 제3과정(S130)에 있어서, 상기 유두자동인식기(130)는 객체 인식을 위한 인공지능(AI) 모델(예컨대, SOTA 모델인 YOLo v7)을 활용한 객체 인식을 먼저 수행하여 상기 2D 이미지에서 젖소 유방 부위의 유두 위치를 찾는다.
상기 유두자동인식기(120)는 상기 2D 이미지에서 젖소 유방 부위의 유두 위치를 먼저 찾고 나면, 그 다음으로 연이어서 자세(pose) 추정을 위한 인공지능(AI) 모델(예컨대, ResNet 기반의 DeepPose 모델)을 활용한 자세 추정을 수행하여 찾은 유두 위치에 대응하는 경계 박스(bounding box) 내에서 유두의 두께에 해당하는 한 쌍의 두께 위치점(side keypoint)과 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식한다.
특히, 이때 상기 유두자동인식기(130)는 상기한 수학식 1에 예시한 바와 같이, 상기 2D 이미지 상에 상기 찾은 유두 위치에 대응하는 경계 박스(bounding box)의 x좌표, 해당 경계 박스(bounding box)의 y좌표, 경계 박스(bounding box)의 넓이, 경계 박스(bounding box)의 길이, 유두의 두께 왼쪽 점 x좌표, 유두의 두께 왼쪽 점 y좌표, 유두의 두께 오른쪽 점 x좌표, 유두의 두께 오른쪽 점 y좌표, 유두의 끝점 x좌표, 유두의 끝점 y좌표를 표시한다.
참고로, 도 5는 상기 제3과정(S130)에서 2D 이미지 상에서 찾은 유두의 위치에 대응하는 경계 박스(bounding box) 내에서 찾은 유두의 두께를 나타내는 한 쌍의 두께 위치점(side keypoint)과 찾은 유두의 끝점(end keypoint)를 표시한 사진이다.
이처럼, 상기 제3과정(S130)에서 상기 2D 이미지 상의 xy좌표로 자동 인식된 결과값, 즉 젖소 유방 부위에서 찾은 유두의 두께를 나타내는 한 쌍의 두께 위치점(side keypoint)과 찾은 유두의 끝점(end keypoint)은 로봇착유기의 로봇암 제어장치로 전달된다.
상기한 본 발명의 실시예에서 알 수 있듯이, 본 발명에 따라 3D 깊이 이미지(3D Depth image)와 인공지능(AI) 모델을 활용하여 젖소 유두의 두께와 끝점에 대응하는 xy좌표를 획득하여 상기 로봇암 제어장치로 전달하면 로봇착유기의 로봇암 제어장치에서 젖소 유방의 4개 유두의 기울기 변화에 대응하는 방향으로 로봇암에 장착된 착유컵을 이동시켜 젖소 유방의 4개의 유두 모두에 끼운 상태로 착유를 할 수 있다.
100: 젖소 유두 자동인식장치
110: 3D 카메라 120: 이미지변환기
130: 유두자동인식기

Claims (8)

  1. 로봇착유기에 설치된 상태에서 착유실에 진입한 젖소 유방 부위를 촬영하여 3D 깊이 이미지(3D Depth image)를 획득하는 3D 카메라와;
    상기 3D 깊이 이미지를 입력받아 2D 이미지로 변환하는 이미지변환기; 및
    상기 2D 이미지를 입력받아 인공지능(AI) 모델을 활용한 객체 인식과 자세(pose) 추정을 통해 젖소 유방 부위의 유두 위치를 찾고 찾은 유두의 위치에 대응하는 경계 박스(bounding box) 내에서 찾은 유두의 두께를 나타내는 한 쌍의 두께 위치점(side keypoint)과 찾은 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식하는 유두자동인식기;
    로 구성되는 것을 특징으로 하는 젖소 유두 자동인식장치.
  2. 제 1 항에 있어서, 상기 유두자동인식기는 객체 인식을 위한 인공지능(AI) 모델을 활용한 객체 인식을 먼저 수행하여 상기 2D 이미지에서 젖소 유방 부위의 유두 위치를 찾는 것을 특징으로 하는 젖소 유두 자동인식장치.
  3. 제 1 항에 있어서, 상기 유두자동인식기는 상기 2D 이미지에서 젖소 유방 부위의 유두 위치를 찾은 다음, 연이어서 자세(pose) 추정을 위한 인공지능(AI) 모델을 활용한 자세 추정을 수행하여 찾은 유두 위치에 대응하는 경계 박스(bounding box) 내에서 유두의 두께에 해당하는 한 쌍의 두께 위치점(side keypoint)과 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식하는 것을 특징으로 하는 젖소 유두 자동인식장치.
  4. 제 1 항에 있어서, 상기 유두자동인식기는 상기 2D 이미지 상에 상기 찾은 유두 위치에 대응하는 경계 박스(bounding box)의 x좌표, 해당 경계 박스(bounding box)의 y좌표, 경계 박스(bounding box)의 넓이, 경계 박스(bounding box)의 길이, 유두의 두께 왼쪽 점 x좌표, 유두의 두께 왼쪽 점 y좌표, 유두의 두께 오른쪽 점 x좌표, 유두의 두께 오른쪽 점 y좌표, 유두의 끝점 x좌표, 유두의 끝점 y좌표를 표시하는 것을 특징으로 하는 젖소 유두 자동인식장치.
  5. 3D 카메라가 로봇착유기에 설치된 상태에서 착유실에 진입한 젖소 유방 부위를 촬영하여 3D 깊이 이미지(3D Depth image)를 획득하는 제1과정과;
    이미지변환기가 상기 제1과정에서 획득한 상기 3D 깊이 이미지를 입력받아 2D 이미지로 변환하는 제2과정; 및
    유두자동인식기가 상기 제2과정에서 변환된 상기 2D 이미지를 입력받아 인공지능(AI) 모델을 활용한 객체 인식과 자세(pose) 추정을 통해 젖소 유방 부위의 유두 위치를 찾고 찾은 유두의 위치에 대응하는 경계 박스(bounding box) 내에서 찾은 유두의 두께를 나타내는 한 쌍의 두께 위치점(side keypoint)과 찾은 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식하는 제3과정;
    으로 이루어지는 것을 특징으로 하는 젖소 유두 자동인식방법.
  6. 제 5 항에 있어서, 상기 제3과정에서는 상기 유두자동인식기가 객체 인식을 위한 인공지능(AI) 모델을 활용한 객체 인식을 먼저 수행하여 상기 2D 이미지에서 젖소 유방 부위의 유두 위치를 찾는 것을 특징으로 하는 젖소 유두 자동인식방법.
  7. 제 5 항에 있어서, 상기 제3과정에서는 상기 유두자동인식기가 상기 2D 이미지에서 젖소 유방 부위의 유두 위치를 찾은 다음, 연이어서 자세(pose) 추정을 위한 인공지능(AI) 모델을 활용한 자세 추정을 수행하여 찾은 유두 위치에 대응하는 경계 박스(bounding box) 내에서 유두의 두께에 해당하는 한 쌍의 두께 위치점(side keypoint)과 유두의 끝점(end keypoint)를 찾아 상기 2D 이미지 상의 xy좌표로 인식하는 것을 특징으로 하는 젖소 유두 자동인식방법.
  8. 제 5 항에 있어서, 상기 제3과정에서는 상기 유두자동인식기가 상기 2D 이미지 상에 상기 찾은 유두 위치에 대응하는 경계 박스(bounding box)의 x좌표, 해당 경계 박스(bounding box)의 y좌표, 경계 박스(bounding box)의 넓이, 경계 박스(bounding box)의 길이, 유두의 두께 왼쪽 점 x좌표, 유두의 두께 왼쪽 점 y좌표, 유두의 두께 오른쪽 점 x좌표, 유두의 두께 오른쪽 점 y좌표, 유두의 끝점 x좌표, 유두의 끝점 y좌표를 표시하는 것을 특징으로 하는 젖소 유두 자동인식방법.
KR1020220122490A 2022-09-27 2022-09-27 젖소 유두 자동인식장치 및 그 방법 KR20240043420A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220122490A KR20240043420A (ko) 2022-09-27 2022-09-27 젖소 유두 자동인식장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220122490A KR20240043420A (ko) 2022-09-27 2022-09-27 젖소 유두 자동인식장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20240043420A true KR20240043420A (ko) 2024-04-03

Family

ID=90662486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220122490A KR20240043420A (ko) 2022-09-27 2022-09-27 젖소 유두 자동인식장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20240043420A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102044852B1 (ko) 2018-06-29 2019-11-13 대한민국(농촌진흥청장) 젖소 유두 자동인식장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102044852B1 (ko) 2018-06-29 2019-11-13 대한민국(농촌진흥청장) 젖소 유두 자동인식장치 및 방법

Similar Documents

Publication Publication Date Title
CN112215843B (zh) 超声智能成像导航方法、装置、超声设备及存储介质
CN106859675B (zh) 用3d相机进行的用于x射线管的扫描仪自动化的方法和系统
US10143177B2 (en) Vision system with teat detection
US7568447B2 (en) Milking machines
US20170337701A1 (en) Method and system for 3d capture based on structure from motion with simplified pose detection
CN108509890B (zh) 用于提取信息的方法和装置
US11166436B2 (en) Health condition estimation device
IL284596B1 (en) Registration of reference frames
WO2022217794A1 (zh) 一种动态环境移动机器人的定位方法
CN112509036B (zh) 位姿估计网络训练及定位方法、装置、设备、存储介质
JP7207561B2 (ja) 大きさ推定装置、大きさ推定方法および大きさ推定プログラム
CN105180802B (zh) 一种物体尺寸信息识别方法和装置
KR102044852B1 (ko) 젖소 유두 자동인식장치 및 방법
Oliveira et al. Simultaneous detection of prominent points on breast cancer conservative treatment images
CN107950402B (zh) 基于双目视觉的挤奶器自动控制方法
KR20240043420A (ko) 젖소 유두 자동인식장치 및 그 방법
CN113971835A (zh) 一种家电设备的控制方法、装置、存储介质及终端设备
CN109493369B (zh) 一种智能机器人视觉动态定位跟踪方法及系统
KR100991194B1 (ko) 이동 로봇의 물체 운반 시스템 및 방법
KR102220628B1 (ko) 3d 카메라를 이용한 유두 인식 방법 및 장치
JP7174389B1 (ja) 物体位置推定表示装置、方法及びプログラム
US12039792B2 (en) Position-determining device
KR20170044346A (ko) 비주얼 서보잉을 위한 객체의 좌표 인식 방법
US20240021005A1 (en) Determining apparatus, determining method and determining program
AU2017225080A1 (en) Vision system with tail positioner