KR102289640B1 - 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템 - Google Patents

비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템 Download PDF

Info

Publication number
KR102289640B1
KR102289640B1 KR1020200009924A KR20200009924A KR102289640B1 KR 102289640 B1 KR102289640 B1 KR 102289640B1 KR 1020200009924 A KR1020200009924 A KR 1020200009924A KR 20200009924 A KR20200009924 A KR 20200009924A KR 102289640 B1 KR102289640 B1 KR 102289640B1
Authority
KR
South Korea
Prior art keywords
livestock
weight
unit
measured
point
Prior art date
Application number
KR1020200009924A
Other languages
English (en)
Other versions
KR20210096448A (ko
Inventor
이효종
Original Assignee
전북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교 산학협력단 filed Critical 전북대학교 산학협력단
Priority to KR1020200009924A priority Critical patent/KR102289640B1/ko
Publication of KR20210096448A publication Critical patent/KR20210096448A/ko
Application granted granted Critical
Publication of KR102289640B1 publication Critical patent/KR102289640B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G17/00—Apparatus for or methods of weighing material of special form or property
    • G01G17/08—Apparatus for or methods of weighing material of special form or property for weighing livestock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Abstract

본 발명은 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템에 관한 것으로, 복수 개의 비대칭 스테레오 카메라가 장착된 모바일 기기로 스테레오 영상을 촬영하여 가축의 무게를 측정하기 위한 것이다.
이를 위하여 본 발명은, 피측정 가축의 2D 스테레오 영상을 촬영하는 스테레오 영상 촬영부, 2D 스테레오 영상에 심층학습 인공지능기법을 적용하여 3D 점운 정보를 획득하는 3D 점운 생성부, 3D 점운 처리를 통해 피측정 가축의 유효 데이터를 추출하고 흉위 및 유효 체장을 예측하여 체중을 산출하는 체중 산출부, 산출된 체중정보를 최대수익일 예측모델에 적용하여 해당 가축의 최대 수익일을 예측하는 최대수익일 예측부, 산출된 가축의 체중정보를 각 개체별 아이디와 일자별로 구분하여 저장하는 가축 DB, 및 산출된 각 가축의 개체별 체중정보 및 최대수익일 예측정보가 포함된 그래픽 기반의 인터페이스를 출력하는 디스플레이부를 포함하여, 3D 영상 촬영장비가 구비되어 있지 않은 모바일 기기에서도 비접촉 방식으로 가축의 체중을 간단하게 측정하고 개체별 체중 정보와 최대 수익일 예측정보 등을 확인하여 축산 농가의 시간적, 인력적 및 비용적인 문제를 해결할 수 있게 한다.

Description

비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템{A contactless mobile weighting system for livestock using asymmetric stereo cameras}
본 발명은 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템에 관한 것으로, 보다 상세하게는 복수 개의 비대칭 스테레오 카메라가 장착된 모바일 기기로 가축의 스테레오 영상을 비접촉방식으로 촬영하여 피측정 가축의 무게를 측정하고 최대 수익일 예측정보 등을 함께 모바일 기기에 직접 디스플레이할 수 있도록 함으로써, 3D 영상 촬영장비가 구비되어 있지 않은 모바일 기기에서도 비접촉 방식으로 가축의 체중을 간단하게 측정하고 개체별 체중정보와 최대 수익일 예측정보 등의 확인이 가능하도록 하여 가축의 체중 측정에 소요되는 시간적, 인력적인 문제 및 비용적인 문제를 해결하고 축산 농가의 수익율 및 생산성 향상에 기여할 수 있는 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템에 관한 것이다.
축산업에서 출하시점에 가축의 체중이 적정 체중에 도달하지 못했거나 적정 체중을 초과하는 경우 육질 저하 또는 사료 낭비 등에 따른 생산성 저하를 초래하게 되므로, 평상시 미리 미리 가축의 체중을 측정하여 성장상태 및 섭취 사료량 등을 체크하고, 최대 등급을 받을 수 있는 적정체중 도달시기에 적절하게 매도하여 최고 등급을 받도록 관리하는 것은 매우 중요한 요소이다.
따라서 이러한 가축의 체중 측정 및 관리는 가축이 적정 체중에 도달하는 시기에 맞추어 가축을 출하하여 상위등급을 부여받을 수 있게 하고 그에 따라 축산 농가의 생산성을 향상시킬 수 있게 하며, 또한 철저한 체중관리를 통하여 제공하는 제품사별 사료의 효과를 정량적으로 평가하거나 사료양에 따른 성장의 정량적 변화를 명확히 측정할 수 있게 한다.
현재 사용되고 있는 가축의 체중 측정방법은 고가의 체중계(우형기 또는 돈형기)를 이용하여 측정하는 방법과 줄자로 가축의 가슴 크기를 측정하여 대략적인 무게를 측정하는 방법이 있다.
체중계를 이용하는 방법은 가축을 한 마리씩 꺼내 측정하는 방법으로서 통로 형태에 측정기를 배치하여 한 마리씩 일정시간을 정체시켜 측정하여야 하나, 고가이고 설치가 번거롭기 때문에 실용적이지 못하며, 가축들이 체중계를 두려워하여 접근을 꺼리기 때문에 측정 시간도 오래 걸리고, 또한 수천마리가 넘는 수량의 가축들의 체중을 측정하여야 하기 때문에 많은 인력과 시간을 필요로 하는 단점이 있다.
줄자로 가축의 가슴 크기를 측정하는 방법은 가축 흉위의 크기를 줄자로 직접 측정하여 체중을 환산하게 되나, 이러한 방법은 많은 시간이 소요될 뿐만 아니라 측정 오차도 상당히 크다는 단점이 있다.
게다가 최근에는 축산 농가인구의 감소 및 고령화로 인해 인력이 부족하여 이에 대한 대비책이 필요한 상황에서, 이러한 가축의 체중 측정 및 관리를 위해 소, 돼지 및 닭 등과 같은 가축의 체중을 체중계를 이용하여 측정하기란 쉽지 않은 문제점들이 있었다.
따라서, 농가의 노동력 절감을 위해 간편하고 정확하게 가축의 무게를 측정하여 가축의 체중을 지속적으로 관리하고 이를 통해 출하시점에 가축의 체중을 정확하게 예측하기 위한 기술이 절실하게 필요한 상황이다.
한편, 최근에는 휴대형 스캐너를 부착하여 직접 3차원정보를 측정하여 체중으로 환산하는 기술이 제안되었으나 외부장치를 부착해야 하므로 측정장치의 구조가 복잡해지고 생산단가의 가격이 비싸지는 문제가 있다.
KR 10-2019-0066403 A 2019.06.13 공개 KR 10-2019-0068266 A 2019.06.18 공개 KR 10-2019-0078481 A 2019.07.04 공개
따라서 본 발명은 상기 문제점을 해결하기 위해 안출한 것으로서, 본 발명이 이루고자 하는 기술적 과제는, 최근 출시되고 있는 패드나 스마트폰, 또는 태블릿 pc 등과 같이 적어도 두 개의 비대칭 스테레오 카메라가 탑재된 모바일 기기로 피측정 가축의 스테레오 영상을 비접촉방식으로 촬영하고 촬영된 스테레오 영상에 딥러닝 인공지능 기술을 적용하여 2차원 영상으로부터 3차원 정보를 추출하여 피측정 가축의 무게를 측정한 후 각 개체별 체중 정보와 최대수익일 예측정보 등을 모바일 기기에 직접 디스플레이할 수 있도록 함으로써, 3D 영상 촬영장비가 구비되어 있지 않은 모바일 기기에서도 비접촉 방식으로 가축의 체중을 간단하게 측정하고 개체별 체중 정보와 최대 수익일 예측정보 등을 확인할 수 있도록 하여 가축의 체중 측정에 소요되는 시간적, 인력적인 문제 및 비용적인 문제를 해결하고 축산 농가의 수익율 및 생산성 향상에 기여할 수 있는 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템을 제공하고자 하는 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시 형태는, 피측정 가축의 2차원(2D) 스테레오 영상을 촬영하는 스테레오 영상 촬영부, 스테레오 영상 촬영부의 2D 스테레오 영상에 심층학습 인공지능기법을 적용하여 3차원(3D) 점운 정보를 획득하는 3D 점운 생성부, 3D 점운 생성부에서 획득한 데이터들의 3D 점운 처리를 통해 피측정 가축의 유효 데이터를 추출하고 흉위 및 유효 체장을 예측하여 체중을 산출하는 체중 산출부, 체중 산출부에서 산출된 체중정보를 최대수익일 예측모델에 적용하여 해당 가축의 최대 수익일을 예측하는 최대수익일 예측부, 체중 산출부에서 산출된 가축의 체중정보를 각 개체별 아이디와 일자별로 구분하여 저장하는 가축 DB, 및 체중 산출부에서 산출된 각 가축의 개체별 체중정보 및 최대수익일 예측부에서 예측된 각 가축의 개체별 최대수익일 예측정보가 포함된 그래픽 기반의 인터페이스를 출력하는 디스플레이부를 포함하는, 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템이다.
본 발명에 의하면, 최근 출시되고 있는 패드나 스마트폰, 또는 태블릿 pc 등과 같이 적어도 두 개의 비대칭 스테레오 카메라가 장착된 모바일 기기로 피측정 가축의 스테레오 영상을 비접촉방식으로 촬영하고 촬영된 스테레오 영상에 딥러닝 인공지능 기술을 적용하여 2차원 영상으로부터 3차원 정보를 추출하여 피측정 가축의 무게를 측정한 후 각 개체별 체중 정보와 최대수익일 예측정보 등을 모바일 기기에 직접 디스플레이할 수 있도록 함으로써, 3D 영상 촬영장비가 구비되어 있지 않은 모바일 기기에서도 비접촉 방식으로 가축의 체중을 간단하게 측정하고 개체별 체중 및 최대 수익일 예측정보를 확인할 수 있도록 하여 가축의 체중 측정에 소요되는 시간적, 인력적인 문제 및 비용적인 문제를 해결하고 수익율 및 생산성 향상에 기여할 수 있는 이점을 제공한다.
도 1은 본 발명의 일 실시 형태에 따른 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템의 구성을 예시한 블록도이다.
도 2는 도 1의 3D 점운 생성부에 구성되는 시차맵(disparity map) 생성을 위한 딥러닝 네트워크 모델의 일 예시도이다.
도 3은 3D 객체의 재구성을 위한 비대칭 스테레오 카메라의 기하학적 관계를 예시한 참고도이다.
도 4a 내지 도 4h는 도 1의 체중 산출부 내 각 블록의 입력 또는 출력 예시화면들이다.
도 5는 도 1의 체중 산출부 내에서 수행되는 밀도기반 군집 알고리즘을 예시한 참고도이다.
도 6은 도 1의 체중 산출부 내에서 흉위 측정부에 의해 이루어지는 점운의 정렬과정을 설명하기 위하여 예시한 K-차원의 좌표 평면도이다.
도 7은 도 1의 최대 수익일 예측부에 탑재되는 최대수익일 예측모델의 예시도이다.
도 8은 도 1의 디스플레이부에서 제공되는 그래픽 기반의 인터페이스화면 예시도이다.
이하, 본 발명의 바람직한 실시 형태에 따른 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템의 전체적인 구성과 동작 및 그에 의한 작용 효과를 첨부 도면을 참조하여 상세히 설명한다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 일 실시 형태에 따른 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템의 구성을 예시한 블록도이고, 도 2는 도 1의 3D 점운 생성부에서의 시차맵 생성을 위한 딥러닝 네트워크 모델의 일 예시도이며, 도 3은 3D 점운 생성부에서의 3D 객체의 재구성을 위한 비대칭 스테레오 카메라의 기하학적 관계를 예시한 참고도이고, 도 4a 내지 도 4h는 도 1의 체중 산출부 내 각 블록의 입력 또는 출력 데이터의 예시화면들이고, 도 5는 도 1의 체중 산출부 내에서 수행되는 밀도기반 군집 알고리즘을 예시한 참고도이며, 도 6은 도 1의 체중 산출부 내에서 흉위 측정부에 의해 이루어지는 점운의 정렬과정을 설명하기 위하여 예시한 K-차원의 좌표 평면도이고, 도 7은 도 1의 최대 수익일 예측부에 탑재되는 최대수익일 예측모델의 예시도이며, 도 8은 도 1의 디스플레이부에서 제공되는 그래픽 기반의 인터페이스화면 예시도이다.
본 발명에 따른 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템은 도 1에 예시된 바와 같이, 스테레오 영상 촬영부(110), 3D 점운 생성부(120), 체중 산출부(130), 최대수익일 예측부(140), 가축 DB(150), 및 디스플레이부(160)를 포함하여 구성될 수 있으며, 이러한 본 발명은 상이한 광학변수를 가진 적어도 두 개 이상의 비대칭 카메라가 장착된 패드나 스마트폰, 또는 태블릿 pc 등의 모바일 기기에 적용되어 구현될 수 있다.
스테레오 영상 촬영부(110)는 측정 대상 가축(이하 피측정 가축이라 칭함)에 대한 복수 개의 2차원(2D) 스테레오 영상을 촬영하여 3D 점운 생성부(120)로 전달한다. 이러한 스테레오 영상 촬영부(110)는 상이한 광학변수를 갖는 복수 개의 비대칭 스테레오 카메라(111a,111b)로 구성될 수 있으며, 이들 복수 개의 비대칭 스테레오 카메라(111a,111b)는 초점거리와 조리개의 성능이 비대칭적으로 다르게 설치되어 근접 객체를 촬영할 때와 원거리 객체를 촬영할 때에 최적의 효과를 내도록 구성되는 쌍안 카메라 또는 3중 카메라 등으로서, 이들 카메라는 광학축과 이미징 평면이 각각 평행상태를 유지하고 이미징 평면은 동일 평면상에서 구성되므로 본 발명의 스테레오 영상 촬영부(110)에서는 피측정 가축에 대한 복수 개의 2차원 스테레오 영상을 생성할 수 있게 된다.
3D 점운 생성부(120)는 스테레오 영상 촬영부(110)에서 전달되는 피측정 가축에 대한 두 개의 2D 영상에 심층학습 인공지능기법을 적용하여 3차원(3D) 점운(Point Cloud) 정보를 획득한다.
여기서 3D 점운 생성부(120)는 상기와 같이 스테레오 영상 촬영부(110)에서 상이한 광학변수를 갖는 비대칭 스테레오 카메라로 촬영한 스테레오 영상을 위하여 딥러닝 네트워크를 구성하여 시차맵(disparity map)을 생성할 수 있다. 이러한 시차맵을 생성하는 딥러닝 네트워크 모델의 한 형태는 도 2에 예시된 바와 같으며, UNet의 형태와 유사하게 인코더 네트워크, Res2Net 블록 및 디코더 네트워크로 구성될 수 있다. 여기서 Res2Net 블록은 컴퓨터비젼 처리에서 필요한 포즈의 추정, 객체 영역화 및 돌출점(salience) 탐지와 같은 다중스케일 표현기능을 수행한다.
이러한 3D 점운 생성부(120)는 상기와 같은 딥러닝 네트워크 모델을 적용하여 예측하는 시차맵과 비대칭 스테레오 카메라의 고유 파라미터를 사용하여 각 점의 깊이정보를 계산할 수 있으며 객체의 공간좌표를 구할 수 있다.
도 3은 3D 객체의 재구성을 위한 비대칭 스테레오 카메라의 기하학적 관계를 예시한 참고도로서, C1과 C2는 좌측과 우측에 있는 각각의 비대칭 스테레오카메라의 광학축이며 B는 기준선으로 두 카메라가 떨어져 있는 거리를 나타낸다. f1과 f2는 각 카메라의 초점거리이며 f1 = k×f2 관계를 유지하고 있다. P1과 P2는 객체 상의 공통점으로 각 카메라에 나타나는 이미지상의 점이다. 계산의 편의를 위하여 좌측의 카메라의 좌표계의 원점을 광역 좌표계(world coordinate)의 원점으로 가정하자.
위의 가정으로 삼각법에 의하여 다음의 수학식 (1) 및 (2)를 구할 수 있다.
Figure 112020008898212-pat00001
식(1)
Figure 112020008898212-pat00002
식(2)
두 카메라의 이미지가 정확하게 정합된 경우, P1과 P2 사이의 시차(disparity) d는 다음의 수학식 (3)과 같이 계산될 수 있다.
Figure 112020008898212-pat00003
식(3)
따라서 깊이 Z는 수학식 (4)와 같이 계산될 수 있다.
Figure 112020008898212-pat00004
식(4)
위 수학식 (4)에서 좌측 카메라의 좌표계가 글로벌 좌표계(world coordinates)로 사용되는 경우 깊이정보 Z는 이미 결정된 좌측 카메라의 초점거리와 두 비대칭 카메라의 간격 B에 의하여 계산될 수 있는 것을 알 수 있다. 또한 시차 d는 우측 카메라의 초점길이에 영향을 받지 않고 계산될 수 있다.
최종적으로 스테레오 영상의 각 화소점은 다음의 수학식 (5)와 같이 3D 좌표시스템의 점운으로 형성될 수 있다.
Figure 112020008898212-pat00005
또는
Figure 112020008898212-pat00006
식(5)
상기의 과정을 통해 3D 점운 생성부(120)에서 획득한 정보는 도 4a에 예시된 바와 같은 점운(point cloud)의 형태로 체중 산출부(130)로 전달된다. 도 4a에는 이러한 3D 점운 생성부(120)가 획득한 3D 점운으로 체중 산출부(130)의 3D 점운 처리부(131)에 입력되는 데이터 사진의 형태를 예시하고 있다.
체중 산출부(130)는 소프트웨어 또는 하드웨어로 구현 가능하며, 3D 점운 생성부(120)에서 전달되는 피측정 가축의 데이터들에 대한 3D 점운 처리를 통해 피측정 가축의 유효 데이터를 추출하고 흉위 및 유효 체장을 예측하여 체중을 산출하며 산출된 체중정보를 최대수익일 예측부(140)와 가축 DB(150) 및 디스플레이부(160)로 전달한다. 이를 위하여 체중 산출부(130)는 3D 점운 처리부(131), 3D 가축 영역 추출부(132), 흉위 측정부(133), 유효체장 측정부(134), 및 회귀 분석부(135)를 포함하여 구성될 수 있다.
3D 점운 처리부(131)는 3D 점운 생성부(120)에서 도 4a에 예시된 바와 같은 점운(point cloud)의 형태로 전달되는 데이터들의 3D 점운(Point cloud) 처리를 통해 평면적 특성을 나타내는 점운들을 제거하여 도 4b에 예시된 바와 같은 피측정 가축의 표면 점운들을 추출한다. 즉, 벽면 또는 바닥을 포함하는 평면적 특성을 나타내는 점운들을 평면 제거 알고리즘을 통해 제거함으로써 도 4b에 예시된 바와 같은 피측정 가축의 표면 점운들을 추출할 수 있게 된다. 여기서 평면 제거 알고리즘은 예를 들면,
입력: 3D 점운의 집합
출력: 평면특성을 지니는 점운이 제거된 정규 3D 점운
for i<반복상한선 do
for j <표본상한선 do
점운의 집합에서 3점을 선택한다
선택된 3점으로 표면여부를 계산
if 평면의 점 > 최소 평면가능 지수
가능평면으로 지정
endif
if 최소 평면가능 지수 >= 충분한 점의 수
break
endif
endfor
endfor
가능평면의 반환
와 같이 이루어질 수 있다.
도 4b에는 3D 점운 생성부(120)가 순수한 피측정 가축의 데이터만을 수집한 경우, 3D 점운 처리부(131)가 이러한 평면 제거 알고리즘 처리를 통해 평면을 구성하는 점운을 제거한 후에 추출될 수 있는 순수한 피측정 가축의 데이터 사진을 예시하고 있다.
그러나 실제로는 3D 점운 생성부(120)가 수집한 데이터는 피측정 가축의 모습만 보여주는 것이 아니고 도 4c에 예시된 바와 같이 축사 바닥에 있는 가축의 배설물, 및 인접해 있는 다른 가축들의 영상 등의 많은 잡음점을 포함하고 있게 되므로, 3D 점운 처리부(131)에서 평면 제거 알고리즘 처리를 거치더라도 이들 가축의 배설물, 인접 가축들의 영상 등의 많은 잡음점은 그대로 남아 있게 된다. 도 4c에는 일반적인 경우 피측정 가축의 표면 점운들과 축사 바닥에 있는 가축의 배설물, 및 인접해 있는 다른 가축들의 영상이 겹쳐서 나타나는 것을 보여주는 데이터 사진이 예시되어 있으며, 도 4d에는 도 4c와 같은 데이터 형태에서 3D 점운 처리부(131)가 평면을 제거한 결과 데이터를 예시하고 있다.
3D 가축 영역 추출부(132)는 3D 점운 처리부(131)에서 추출된 피측정 가축의 표면 점운들로부터 피측정 가축 이외의 점운, 즉, 예를 들면 축사 바닥의 배설물이나 인접한 타 가축들의 전신 또는 일부 영상이 겹쳐서 나타나는 점운들을 제거하여 피측정 가축의 순수 표면 점운들만을 추출한다. 이러한 3D 가축 영역 추출부(132)는 3D 점운 처리부(131)에서 추출된 피측정 가축의 표면 점운들에 대해 밀도기반의 군집 알고리즘(Density-based spatial clustering) 처리과정(a)을 수행하여 피측정 가축 이외의 점운들이 제거된 피측정 가축의 순수 표며 점운들만을 추출한다. 여기서 밀도기반의 군집알고리즘 처리과정(a)은 크게 제1단계(a1) 내지 제3단계(a3)로 이루어질 수 있다.
제1단계(a1)는 3D 점운 처리부(131)에서 추출된 피측정 가축의 표면 점운들에 포함된 모든 점에 대하여, 한 점이 미리 설정된 반경문턱값(ε) 이내에 이웃하는 이웃점의 개수가 미리 설정된 최소점, 예를 들면 4이상 일 때, 그 점을 핵점(core point)라고 정의하는 단계이다.
제2단계(a2)는 제1단계에서 정의된 핵점에 대하여 모든 이웃점들을 검색하여 반경문턱값 이내에 존재하는 점들(연결점)을 찾아 한 군집에 포함시키는 단계이다.
제3단계(a3)는 제1단계 및 제2단계의 순차적인 반복을 통해 3D 점운 처리부(131)에서 추출된 피측정 가축의 표면 점운들에 포함된 모든 점들을 군집에 포함시키거나 잡음군에 포함시키는 단계이다.
도 5에는 이러한 3D 가축 영역 추출부(132)가 피측정 가축의 표면 점운들에 대해 밀도기반의 군집 알고리즘 처리과정(a)을 수행하는 경우 최소점의 수가 4일 경우를 예시하고 있으며, 도 5에 예시된 바와 같이 핵점을 중심으로 인접점들이 반경문턱값(ε) 이내에 존재하는 군집들을 정열하면, 군집의 밀도가 가장 큰 그룹이 바로 피측정 가축이 되는 것이다. 도 4e는 이러한 3D 가축 영역 추출부(132)가 추출한 피측정 가축의 표면 데이터를 예시하고 있으며, 3D 가축 영역 추출부(132)가 도 4d를 밀도기반의 군집 알고리즘 처리한 결과로 피측정 가축의 표면을 구성하는 점운들만 깨끗하게 모여있는 것을 확인할 수 있다.
흉위 측정부(133)는 3D 가축 영역 추출부(132)에서 추출된 피측정 가축의 순수 표면 점운들로부터 앞다리의 뒷쪽 위에 있는 몸통의 둘레 길이로 정의하여 피측정 가축의 흉위 G(가슴둘레)를 측정한다. 이를 위하여 흉위 측정부(133)에서는 3D 가축 영역 추출부(132)에서 추출된 피측정 가축의 순수 표면 점운들은 3차원 공간상에 무작위로 분포하기 때문에, 이러한 점운들에 대해 먼저 점운의 방향을 머리와 꼬리방향을 연결하는 축으로 일직선상에 정렬시키는 점운 정렬 처리과정(b)을 수행하여 점운의 방향성을 명확히 하고, 다음으로 피측정 가축의 앞다리 뒷부분에서 흉위 위치(가슴 위치)를 정의하여 피측정 가축의 흉위를 측정하는 흉위 측정과정(c)을 순차적으로 수행한다.
점운 정렬 처리과정(b)은 촬영자의 위치에 따라 무작위 방향성으로 저장된 피측정 가축의 점운에서 몸통의 방향을 찾기 위해서, 점운들의 공분산행렬과 상관행렬로부터 고유벡터(Eigen vector)와 고유치(Eigen value)를 구하는 단계(b1), 고유치를 내림 정렬하고 K가 새로운 특징값 부분 공간으로 K ≤ d1(단, 여기서 K는 점운의 특징값을 결정하는 임의의 차수로서 본 발명에서는 3차원인 경우를 예시하여 설명하기로 하며, d1는 차원을 의미함)를 만족할 때 K개의 상응하는 고유벡터를 결정하는 단계(b2), 선별된 K 고유벡터에서 투사 행렬 W1를 구성하는 단계(b3), K-차원의 특징값 공간을 구하기 위하여 입력된 점운들에 투사행렬 W1를 적용하는 단계(b4), 및 상기 (b1) 내지 (b4) 단계를 거쳐서 구해진 고유벡터를 U1, U2, U3라 가정했을 때,
Figure 112020008898212-pat00007
,
Figure 112020008898212-pat00008
,
Figure 112020008898212-pat00009
,
Figure 112020008898212-pat00010
(단, R1,R2는 각각 점운의 촬영 좌표계와 점운이 정렬되는 변환좌표계,
Figure 112020008898212-pat00011
(gamma)들은 변환을 위해 채용되는 상수들)
위 방정식 R2를 풀어 변환행렬을 구한 후 이 행렬을 적용하여 머리와 꼬리 방향으로 정렬시키는 단계(b5)를 포함하여 이루어질 수 있다.
도 4f에는 무작위 방향을 보여주는 점운의 3차원 공간 상의 분포(좌측 사진)와, 피측정 가축의 몸통 방향을 중심으로 정렬된 방향(우측 사진)을 예시하고 있으며, 도 6에는 흉위 측정부(133)에 의해 이루어지는 점운의 정렬 처리과정(b)을 설명하기 위하여 예시한 K-차원의 좌표 평면도이다.
흉위 측정과정(c)은, 전체 촬영된 피측정 가축의 중앙 부근에서부터 머리쪽으로 Y축의 길이의 변화를 관찰하며 휩쓸어 지나가다가 도 4g에 예시된 바와 같이 앞다리 부근에 도착하여 Y축의 길이가 급속하게 증가하는 부분에서 흉위의 위치를 결정하는 위치 결정단계(c1), 결정된 흉위의 위치에서 도 4h에 예시된 바와 같이 X축에 정렬된 점운(좌측에 분포하는 3D 점운)을 XY 평면에 대하여 대칭복사를 처리하여 우측면을 복원하고 전체적인 흉위의 길이를 예측하는 길이 예측단계(c2)를 포함하여 이루어질 수 있다.
도 4g는 피측정 가축의 물리적 제원을 예시한 도면으로서, 앞다리 뒷면을 지나는 몸통의 둘레가 점 A 상에 나타나 있고, 꼬리부분을 지나는 위치에 점 C가 정의되어 있으며, 꼬리부분의 점 C에서 머리쪽으로 X축을 따라 휩쓸고 지나가며 Y축의 길이가 갑자기 변하는 점 A를 잇는 선분인 적색의 수직선 S를 예시하고 있다.
흉위 길이 예측단계(c2)는, 위치결정단계(c1)에서 결정된 흉위의 위치에서 구배율의 내간해석에 의하여 추정되는 두 점, 즉 척추선을 지나는 점 A와 그에 상응하는 배쪽에 위치하는 점 B 사이에 분포하는, 표면에서 수집된 n 개의 모든 점
Figure 112020008898212-pat00012
~
Figure 112020008898212-pat00013
에 대하여, 인접한 점과의 직선거리를 구하여 B점에 도달할 때까지의 거리를 합산하여 피측정 가축의 흉위 G를 산출한다.
이러한 피측정 가축의 흉위 G의 산출식은,
Figure 112020008898212-pat00014
로 정의된다.
유효체장 측정부(134)는 상기 흉위를 측정한 부분의 맨 위 상단에 분포하는 점 A와 꼬리부분의 맨위 상단에 분포하는 점 C 사이의 절대 거리를 산출하여 피측정 가축의 척추부 길이, 즉 유효체장
Figure 112020008898212-pat00015
를 측정한다.
이러한 유효체장 측정부(134)는 흉위 측정부(133)에서 측정한 위치의 맨 위 상단에 분포하는 점 A에 가장 가까운 점과 꼬리부분의 맨위 상단에 분포하는 점 C에 가장 가까운 점 간의 절대 거리로 피측정 가축의 유효체장
Figure 112020008898212-pat00016
를 산출한다.
이러한 피측정 가축의 유효체장
Figure 112020008898212-pat00017
의 산출식은,
Figure 112020008898212-pat00018
로 정의된다.
회귀 분석부(135)는 체중 산출에 관련된 회귀 분석 알고리즘을 탑재하여 흉위 측정부(133)와 유효체장 측정부(134)에서 각각 측정된 피측정 가축의 흉위 G와 유효체장
Figure 112020008898212-pat00019
를 반영하여 주어진 G 와
Figure 112020008898212-pat00020
에 따른 해당 피측정 가축의 실체중을 계산하고 이렇게 계산된 피측정 가축의 실체중정보를 최대수익일 예측부(140)와 가축 DB(150) 및 디스플레이부(160)에 각각 전달한다.
이러한 회귀 분석부(135)에서 체중 산출에 관련된 회귀 분석 알고리즘에 의해 계산되는 피측정 가축의 실 체중 W의 산출식은,
흉위 측정부(133)와 유효체장 측정부(134)에서 각각 주어진 피측정 가축의 흉위 G와 유효체장
Figure 112020008898212-pat00021
에 대하여, 체중 산출에 관련된 회귀 분석 알고리즘에 의해 설정되는 각각의 상수 k1, k2, k3를 반영하여
Figure 112020008898212-pat00022
로 정의되는 식에 의해 산출된다. 여기서 k1=0.38726, k2= 0.12815, k3= 137.33234 이며, 체중 산출에 관련된 회귀 분석 알고리즘에 의해 설정되는 상수들이다.
또한 이러한 회귀 분석부(135)에 탑재되는 회귀 분석 알고리즘은 미리 설정된 URL의 서버가 제공하는 프로그램 패치에 의해 정기적으로 업데이트될 수 있다.
최대수익일 예측부(140)는 체중 산출부(130)에서 산출된 체중정보를 최대수익일 예측모델에 적용하여 해당 가축의 체중이 최대등급에 도달하는 시기, 실질수익이 발생되는 시기 등을 포함하는 가축별 최대 수익일 예측정보를 산출한다. 이러한 최대수익일 예측부(140)에서는 가축의 표준 사료 소모량과 성장량의 관계를 이용하여 최대 수익일을 예측할 수 있는 최대 수익일 예측 모델을 통해 체중 측정이 이루어진 가축이 최대 등급에 해당되는 적정체중(여기서 적정체중값은 사용자가 설정한 값일 수도 있고 미리 설정된 값일 수도 있음)에 도달하는 시기, 및 실질적인 수익이 발생되는 시기를 예측하여 제시하도록 구성될 수 있으며 도 7에 예시된 바와 같이 그래프의 형태로 제시되는 최대 수익일 예측 모델을 통하여 축산농가의 생산성을 향상시킬 수 있게 된다.
도 7에 예시된 최대 수익일 예측 모델에서 T축은 시간(일자)을 나타내며 PF축은 이익을 나타낸다. pf의 생산성 곡선의 tp 시점은 최대등급 도달일자(최대수익일)를 나타내며 tm 시점은 측정 대상 가축의 체중을 측정한 일자를 나타낸다. 이러한 최대 수익일 예측 모델은 측정시점(예를 들면 tm)에 가축의 체중이 사용자가 설정한 적정체중에 미달된 경우 가축의 표준 사료 소모량과 성장량의 관계를 통하여 측정일자 tm으로부터 며칠 후에 최대 수익점 tp에 도달할지를 알려준다. 만일 측정 대상 가축의 체중을 측정한 일자가 tn과 같이 최적 등급 시점을 경과한 경우에는 실질적으로 사료의 소모와 등급의 저하로 생산성의 하락을 가져올 수 있게 되므로 해당 피측정 가축을 시급히 매도하도록 요청할 수 있게 한다.
도 7에 예시되는 생산성 곡선 pf는 다음의 수학식 (6)과 같이 정의될 수 있다.
Figure 112020008898212-pat00023
식(6)
상기 수학식 (6)에서 Co는 현재 체중에 따른 가격, fe는 tp에 도달할 때까지의 소모사료의 가격, m은 평균 시설유지비와 평균 인건비의 합을 나타낸다. 평균 시설유지비는 총 시설유지비를 가축의 평균사육두수로 나눈 금액이며, 평균인건비는 총 인건비를 가축의 평균사육두수로 나눈 금액을 나타낸다.
가축 DB(150)는 체중 산출부(130)에서 산출된 가축의 체중정보를 각 개체별 아이디와 일자별로 구분하여 저장한다. 이러한 가축 DB(150)는 측정하는 모든 가축의 체중을 아이디와 일자별로 저장하여 사용자가 필요시 해당 가축의 체중정보를 조회할 수 있게 한다.
디스플레이부(160)는 체중 산출부(130) 또는 최대수익일 예측부(140)에서 산출된 각 가축의 개체별 체중정보 또는 최대수익일 예측정보가 포함된 그래픽 기반의 인터페이스를 출력한다. 이러한 그래픽 기반의 인터페이스는 도 8에 예시된 바와 같이 촬영을 통하여 측정된 가축의 데이터베이스, 측정 체중, 최대 수익일 예측 곡선을 나타낼 수 있으며, 가축의 표준 사료 소모량과 성장량의 관계를 이용하여 최대 수익일을 예측할 수 있는 최대 수익일 예측 모델을 통해 체중 측정이 이루어진 가축이 최대 등급에 해당되는 적정체중에 도달하는 시기(최대수익 도달시기), 및 실질적인 수익이 발생되는 시기를 예측하여 창출 가능한 이익을 정량적으로 가시화하여 제시한다. 이러한 그래픽 기반의 인터페이스는 축사 등과 같은 열악한 환경에서도 사용자로 하여금 용이하게 모바일 기기를 제어할 수 있게 한다.
이상과 같이 구성되는 본 발명의 비대칭 스테레오 카메라를 이용한 모바일 가축 무게 측정시스템에 대한 동작 및 그에 의한 작용 효과를 설명하면 다음과 같다.
먼저, 스마트폰, 패드, 태블릿 pc 등과 같은 모바일 기기에 탑재된 스테레오 영상 촬영부(110)에서는 상이한 광학변수를 갖는 복수 개의 비대칭 스테레오 카메라를 통해 도 2에 예시된 바와 같은 피측정 가축에 대한 복수 개의 2차원 스테레오 영상을 촬영하여 3D 점운 생성부(120)로 전달할 수 있게 된다.
이와 같이 복수 개의 2차원 스테레오 영상이 3D 점운 생성부(120)로 전달되면, 3D 점운 생성부(120)에서는 복수 개의 2D 스테레오 영상에 심층학습 인공지능기법을 적용하여 3차원(3D) 점운(Point Cloud) 정보를 획득한다.
이러한 3D 점운 생성부(120)에서는 도 2에 예시된 바와 같이 인코더 네트워크, Res2Net 블록 및 디코더 네트워크로 구성되는 딥러닝 네트워크 모델을 적용하여, 스테레오 영상 촬영부(110)의 스테레오 영상으로부터 시차맵을 예측하고, 시차맵과 비대칭 스테레오 카메라의 고유 파라미터를 사용하여 각 점의 깊이정보를 계산하여 객체의 공간좌표를 구할 수 있게 된다.
예를 들어, 스테레오 영상 촬영부(110)에서 두 개의 비대칭 스테레오 카메라를 통해 스테레오 영상이 촬영되는 경우, 두 영상의 기하학적 관계는 도 3에 예시된 바와 같이 예시될 수 있다. 도 3에서 C1과 C2는 좌측과 우측에 있는 각각의 비대칭 스테레오 카메라의 광학축, B는 기준선으로 두 카메라가 떨어져 있는 거리, f1과 f2는 각 카메라의 초점거리(여기서, f1 = k×f2), P1과 P2는 객체 상의 공통점으로 각 카메라에 나타나는 이미지상의 점이다. 계산의 편의를 위하여 좌측의 카메라의 좌표계의 원점을 광역 좌표계(world coordinate)의 원점으로 가정하는 경우,
위의 가정으로 삼각법에 의하여 각 카메라에 나타나는 이미지상의 점 P1과 P2의 좌표값은,
Figure 112020008898212-pat00024
Figure 112020008898212-pat00025
으로 계산될 수 있다.
두 카메라의 이미지가 정확하게 정합된 경우, P1과 P2 사이의 시차(disparity) d는,
Figure 112020008898212-pat00026
와 같이 계산될 수 있다.
따라서 깊이 Z는,
Figure 112020008898212-pat00027
와 같이 계산될 수 있다.
위의 깊이 Z로 정의되는 수학식에서 좌측 카메라의 좌표계가 글로벌 좌표계(world coordinates)로 사용되는 경우 깊이 정보 Z는 이미 결정된 좌측 카메라의 초점거리와 두 비대칭 카메라의 간격 B에 의하여 계산될 수 있는 것을 알 수 있다. 또한 시차 d는 우측 카메라의 초점길이에 영향을 받지 않고 계산될 수 있다.
따라서 최종적으로 스테레오 영상의 각 화소점은,
Figure 112020008898212-pat00028
또는
Figure 112020008898212-pat00029
와 같이 3D 좌표시스템의 점운으로 형성될 수 있다.
상기와 같이 3D 점운 생성부(120)에서 획득한 정보는 점운(point cloud)의 형태로 체중 산출부(130)로 전달된다.
이때 스테레오 영상 촬영부(110)가 촬영한 데이터는 도 4a에 예시된 바와 같이 피측정 가축의 모습 뿐만 아니라, 벽면이나 바닥과 같이 동시에 측정된 객체들에 대한 많은 잡음점들을 포함하고 있게 되므로, 이들 벽면이나 바닥과 같이 동시에 측정된 객체들을 제거하는 것이 필요하다.
따라서 체중 산출부(130)의 3D 점운 처리부(131)에서는 벽면이나 바닥과 같은 외부 객체를 제거하기 위해서 위에서 언급한 바와 같은 평면 제거 알고리즘을 통해 평면의 탐지를 실행한다.
상기와 같이 3D 점운 처리부(131)가 평면을 제거하면 이상적인 경우에는 벽면이나 바닥과 같이 평면적 특성을 나타내는 점운들은 대부분 제거되어 도 4b에 예시된 바와 같이 피측정 가축의 표면이 남게 된다. 그러나. 대부분의 경우에는 3D 점운 처리부(131)의 결과물은 위에서 언급한 바와 같이 피측정 가축의 영상 이외에도 많은 잡음들을 포함하고 있게 되므로 도 4c에 예시된 바와 같이 축사의 바닥에 있는 배설물과 인접해 있는 다른 가축들의 영상이 겹쳐서 나타나게 된다.
앞서 언급한 바와 같이 3D 점운 처리부(131)의 결과물이 순수한 피측정 가축의 형상만을 나타내는 경우는 드물다. 예를 들어 바닥은 가축의 분뇨 등으로 곡면적 특성을 나타내기도 하며, 다른 인접 가축이 겹쳐서 나타나는 경우 인접한 가축의 표면도 곡면을 형성하여 잔류하게 된다. 도 4d는 실제 3D 점운 처리부(131)가 점운 처리한 결과 점운의 형상을 보여주는 도면으로서, 바닥 주변에는 곡면으로 분포하는 배설물과 피측정 가축 뒤에는 인접 가축의 전신이 또는 일부가 (적색 점운그룹) 나타나기도 한다.
따라서 3D 가축 영역 추출부(132)에서는 도 4d에 예시된 바와 같은 데이터에서 순수하게 피측정 가축의 데이터만을 추출하게 된다.
이를 위해 3D 가축 영역 추출부(132)에서는 밀도기반의 군집 알고리즘 처리과정(a)을 수행하여 피측정 가축의 표면을 구성하는 점운을 추출한다. 기본 원리는 많은 점이 모여 있는 고밀도 부분, 즉 점운들이 과밀하게 몰려있는 부분을 하나의 그룹으로 군집화시키는 기법으로서, 모든 점에 대하여 어느 점을 기준으로 반경 문턱값(ε) 내에 n개 이상의 점이 있다면 하나의 군집으로 가정한다.
이러한 밀도기반의 군집 알고리즘 처리과정(a)은 아래와 같이 작동된다.
(a1) 모든 점에 대하여 한 점이 반경 문턱값 (ε) 이내에 이웃하는 이웃점의 개수가 최소점(예 n=4) 이상 일 때, 그 점을 핵점(core point)라고 정의한다.
(a2) 정의된 핵점에 대하여 모든 이웃점들을 검색하여 반경문턱값 이내에 존재하는 점들(연결점)을 찾아 한 군집에 포함시킨다.
(a3) 위와 같은 과정을 통해서 모든 점들을 군집에 포함시키든지 잡음군에 포함시킨다.
이와 같은 밀도기반의 군집알고리즘을 통해 도 5에 예시된 바와 같이 핵점을 중심으로 인접점들이 반경문턱값(ε) 이내에 존재하는 군집들을 정열하면, 군집의 밀도가 가장 큰 그룹이 바로 피측정 가축의 데이터가 되는 것이다. 도 4e에는 도 4d를 밀도기반의 군집알고리즘 처리한 결과로 피측정 가축의 표면을 구성하는 점운들만 깨끗하게 모여있는 것을 확인할 수 있다.
다음으로 흉위 측정부(133)에서는 피측정 가축의 앞다리 뒷부분에서 몸통, 즉 흉위(가슴 둘레)를 측정하는 프로세스로서, 3D 가축 영역 추출부(132)에서 추출된 피측정 가축의 순수 표면 점운들에 대해 점운의 방향을 머리와 꼬리방향으로 일직선상에 정렬시키는 점운 정렬 처리과정(b)을 수행하여 점운의 방향성을 명확히 하고, 피측정 가축의 앞다리 뒷부분에서 흉위 위치(가슴 위치)를 정의하여 피측정 가축의 흉위를 측정하는 흉위 측정과정(c)을 수행한다. 이러한 흉위(가슴 둘레) 측정을 위해서는 상기 3D 가축 영역 추출부(132)에서 추출된 점운들이 3차원 공간상에 무작위로 분포하기 때문에 먼저 점운의 방향을 머리와 꼬리축으로 일직선상에 정열하는 것이 필요하다. 또한 이러한 점운의 정렬은 차후 단계인 유효체장 측정부(134)에서의 유효체장측정을 위해서도 필요로 한다.
점운 정렬 처리과정(b)은 촬영자의 위치에 따라 무작위 방향성으로 저장된 피측정 가축의 점운에서 몸통의 방향을 찾는 과정으로서, 다음과 같은 절차가 필요하다.
(b1) 점운들의 공분산행렬과 상관행렬로부터 고유벡터와 고유치를 구한다.
(b2) 고유치를 내림 정렬하고, K가 새로운 특징값 부분 공간으로 K <= d1를 만족할 때, K개의 상응하는 고유벡터를 결정한다. 단, 여기서 K는 점운의 특징값을 결정하는 임의의 차수이며, d1는 차원을 의미한다.
(b3) 선별된 K 고유벡터에서 투사 행렬 W1를 구성한다.
(b4) K-차원의 특징값 공간을 구하기 위하여 입력된 점운들에 투사행렬 W1를 적용한다.
(b5) 위 (b1) 내지 (b4) 단계를 거쳐서 U1, U2, U3가 구해진 고유벡터라고 하면,
Figure 112020008898212-pat00030
Figure 112020008898212-pat00031
Figure 112020008898212-pat00032
Figure 112020008898212-pat00033
위 방정식 R2를 풀어 변환행렬을 구하게 된다. 이 행렬을 적용하여 머리와 꼬리 방향으로 정렬시키는 예가 도 4f에 예시되어 있다. 단, 여기서 R1, R2는 각각 점운의 촬영 좌표계와 점운이 정렬되는 변환좌표계이고,
Figure 112020008898212-pat00034
(gamma)들은 변환을 위해 채용되는 상수들이다.
상기와 같은 점운 정렬 처리과정(b)을 통해 피측정 가축을 구성하는 점운들의 머리-꼬리 방향의 정렬 처리가 이루어지면 방향성이 명확해진다.
흉위 측정과정(c)은 피측정 가축의 흉위의 크기를 측정하는 과정으로서, 먼저 가축의 흉위는 앞다리의 뒷면 위에 있는 몸통의 둘레 길이로 정의하고, 위치 결정단계(c1)와, 길이 예측단계(c2)를 순차적으로 수행한다. 위치 결정단계(c1)에서는 전체 촬영된 피측정 가축의 중앙 부근에서부터 머리쪽으로 Y축의 길이의 변화를 관찰하며 휩쓸어 지나가다가 앞다리 부근에 도착하여 Y축의 길이가 급속하게 증가하는 부분에서 흉위의 위치를 결정하고, 길이 예측단계(c2)에서는 상기 결정된 흉위의 위치에서 X축에 정렬된 점운(좌측에 분포하는 3D 점운)을 XY 평면에 대하여 대칭복사를 처리하여 우측면을 복원하고 전체적인 흉위의 길이를 예측한다.
도 4g에 예시된 A 지점 상에 위치하는 곡선은 상기 위치 결정단계(c1)를 통해 결정된 흉위의 위치로서, 앞다리의 뒷면을 기준으로 그 상부에 위치하는 몸통을 수직으로 연결하는 선을 나타낸다. 이러한 위치 결정단계(c1)에서는 도 4g에 설명된 바와 같이 전체 촬영된 피측정 가축(본 발명에서는 돼지의 경우를 예로 들어 설명함)의 중앙부근에서부터 머리쪽으로 Y축의 길이의 변화를 관찰하며 휩쓸어 지나가다가 앞다리 부근에 도착하여 Y축의 길이가 갑자기 증가하는 부분에서 흉위의 위치로 판단한다. 그러나, A 지점에서 구한 곡선은 촬영면 만의 데이터만 보여주고 있게 되므로, 따라서 본 발명에서는 반대쪽 면의 길이를 추정하기 위해서 흉위 길이 예측단계(c2)를 통해 도 4h에서 보여지는 바와 같이 X축 정렬된 점운을 XY 평면에 대하여 대칭복사를 처리하여 전체적인 흉위의 길이를 예측할 수 있게 된다.
이때 흉위 길이 예측단계(c2)는, 위치결정단계(c1)에서 결정된 흉위의 위치에서 구배율의 내간해석에 의하여 추정되는 두 점, 즉 척추선을 지나는 점 A와 그에 상응하는 배쪽에 위치하는 점 B 사이에 분포하는, 표면에서 수집된 n 개의 모든 점
Figure 112020008898212-pat00035
~
Figure 112020008898212-pat00036
에 대하여, 인접한 점과의 직선거리를 구하여 B점에 도달할 때까지의 거리를 합산하여 피측정 가축의 흉위 G를 산출한다.
이러한 피측정 가축의 흉위 G는,
Figure 112020008898212-pat00037
로 정의되는 식에 의하여 산출한다.
다음으로 유효체장 측정부(134)에서는 흉위를 측정한 부분의 맨 위 상단에 분포하는 점 A와 꼬리부분의 맨위 상단에 분포하는 점 C 사이의 절대 거리를 산출하여 피측정 가축의 척추부의 길이, 즉 피측정 가축의 유효체장
Figure 112020008898212-pat00038
를 측정한다. 이러한 피측정 가축의 유효체장
Figure 112020008898212-pat00039
는,
Figure 112020008898212-pat00040
로 정의되는 식에 의해 산출된다.
마지막으로 회귀 분석부(135)에서는 상기 흉위 측정부(133)와 유효체장 측정부(134)에서 각각 측정된 피측정 가축의 흉위 G와 유효체장
Figure 112020008898212-pat00041
를 반영하여 주어진 G 와
Figure 112020008898212-pat00042
에 따른 해당 피측정 가축의 실체중을 계산한다.
이러한 피측정 가축의 실 체중 W는, 흉위 측정부(133)와 유효체장 측정부(134)에서 각각 주어진 피측정 가축의 흉위 G와 유효체장
Figure 112020008898212-pat00043
에 대하여, 체중 산출에 관련된 회귀 분석 알고리즘에 의해 설정되는 각각의 상수 k1, k2, k3를 반영하여
Figure 112020008898212-pat00044
로 정의되는 식에 의해 산출된다. (여기서 k1=0.38726, k2= 0.12815, k3= 137.33234 이며, 체중 산출에 관련된 회귀 분석 알고리즘에 의해 설정되는 상수들이다.)
상기와 같이 본 발명은 피측정 가축의 흉위 G와 유효체장
Figure 112020008898212-pat00045
을 산출하여, 피측정 가축의 실체중을 산출할 있게 되므로 체중 측정의 오차범위를 현저히 줄일 수 있다.
상기와 같이 회귀 분석부(135)에서 계산된 피측정 가축의 실체중정보는 최대수익일 예측부(140)와 가축 DB(150) 및 디스플레이부(160)에 각각 전달하게 된다.
이로써 최대수익일 예측부(140)에서는 체중 산출부(130)에서 산출된 체중정보를 최대 수익일 예측 모델에 적용하여 해당 가축의 체중이 (판매를 위한) 최대등급에 도달하는 시기, 실질수익이 발생되는 시기 등을 포함하는 가축별 최대 수익일예측정보를 산출하며, 이러한 최대수익일 예측정보는 디스플레이부(160)에 전달된다.
이러한 최대 수익일 예측 모델은 도 7에 예시된 바와 같이 측정시점(예를 들면 tm)에 가축의 체중이 사용자가 설정한 적정체중에 미달된 경우 가축의 표준 사료 소모량과 성장량의 관계를 통하여 측정일자 tm으로부터 며칠 후에 최대 수익점 tp에 도달할지를 알려주며, 측정 대상 가축의 체중을 측정한 일자가 tn과 같이 최적 등급 시점을 경과한 경우 실질적으로 사료의 소모와 등급의 저하로 생산성의 하락을 가져올 수 있게 되므로 해당 피측정 가축을 시급히 매도하도록 요청한다.
도 7의 최대 수익일 예측 모델에서 생산성 곡선 pf는,
현재 체중에 따른 가격(Co), tp에 도달할 때까지의 소모사료의 가격(fe), 평균 시설유지비와 평균 인건비의 합(m)에 대하여,
Figure 112020008898212-pat00046
와 같이 계산될 수 있다.(여기서 평균 시설유지비는 총 시설유지비를 가축의 평균사육두수로 나눈 금액, 평균인건비는 총 인건비를 가축의 평균사육두수로 나눈 금액이다.)
한편, 가축 DB(150)에서는 체중 산출부(130)에서 산출된 가축의 체중정보를 각 개체별 아이디와 일자별로 구분하여 저장함으로써, 모바일 기기로 측정하는 모든 가축의 체중을 사용자가 필요시 아이디와 일자별로 구분하여 조회할 수 있게 한다.
또한, 디스플레이부(160)에서는 체중 산출부(130)에서 산출된 각 가축의 개체별 체중정보 또는 최대수익일 예측부(140)에서 예측된 각 가축의 최대수익일 예측정보를 도 8에 예시된 바와 같은 그래픽 기반의 인터페이스를 통해 출력한다. 이러한 그래픽 기반의 인터페이스에서는 최대 수익일 예측 곡선, 개체별 체중 측정날짜와 최적판매를 위한 적정체중 및 적정 체중시까지 요구되는 사료량 등을 포함하는 개체별 세부사항, 현재까지 체중 측정이 완료된 가축의 목록과 체중 등을 나타낼 수 있게 된다.
따라서 본 발명에 의하면, 복수 개의 비대칭 스테레오 카메라가 장착된 모바일 기기로 가축의 스테레오 영상을 비접촉방식으로 촬영하여 피측정 가축의 무게를 측정하고 최대 수익일 예측정보 등을 함께 모바일 기기에 직접 디스플레이할 수 있게 되므로 3D 영상 촬영장비가 구비되어 있지 않은 모바일 기기에서도 비접촉 방식으로 가축의 체중을 간단하게 측정하여 가축의 체중 측정에 소요되는 시간적, 인력적인 문제 및 비용적인 문제를 해결하고 축산 농가의 수익율 및 생산성 향상에 기여할 수 있게 된다.
또한 본 발명은 개체별 체중정보와 최대 수익일 예측정보 등의 확인이 가능그래픽 기반의 인터페이스가 모바일 기기를 통해 직접 제공되므로, 피측정 가축의 체중이 사용자가 미리 설정해 둔 판매를 위한 적정 체중에 도달했는지 여부와 도달하지 못한 경우 도달 예정일 및 예측사료소비량 등에 관한 정보를 현장에서 직접 확인할 수 있게 되어, 가축의 개체별 사양관리(성장상태 및 섭취 사료량 관리)를 효율적으로 수행할 수 있게 하므로 축산 농가의 시간적, 인력적인 문제 및 비용적인 문제를 해결하여 생산성 향상에 기여할 수 있게 된다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허 청구 범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
110 : 스테레오 영상 촬영부
111a,111b : 비대칭 스테레오 카메라
120 : 3D 점운 생성부
130 : 체중 산출부
131 : 3D 점운 처리부
132 : 3D 가축 영역 추출부
133 : 흉위 측정부
134 : 유효체장 측정부
135 : 회귀 분석부
140 : 최대 수익일 예측부
150 : 가축 DB
160 : 디스플레이부

Claims (5)

  1. 피측정 가축의 2차원(2D) 스테레오 영상을 촬영하여 3D 점운 생성부(120)에 전달하는 스테레오 영상 촬영부(110);
    상기 스테레오 영상 촬영부(110)에서 전달되는 피측정 가축의 2D 스테레오 영상에 심층학습 인공지능기법을 적용하여 3차원(3D) 점운(Point Cloud) 정보를 획득하여 체중 산출부로 전달하는 3D 점운 생성부(120);
    상기 3D 점운 생성부(120)에서 전달되는 데이터들의 3D 점운 처리를 통해 피측정 가축의 유효 데이터를 추출하고 흉위 및 유효 체장을 예측하여 체중을 산출하며 산출된 체중 정보를 최대 수익일 예측부(140)와 가축 DB(150) 및 디스플레이부(160)로 전달하는 체중 산출부(130);
    상기 체중 산출부(130)에서 산출된 체중정보를 기설정된 최대수익일 예측모델에 적용하여 해당 가축의 체중이 최대등급에 도달하는 시기, 실질수익이 발생되는 시기를 포함하는 가축별 최대 수익일 예측정보를 산출하는 최대수익일 예측부(140);
    상기 체중 산출부(130)에서 산출된 가축의 체중정보를 각 개체별 아이디와 일자별로 구분하여 저장하는 가축 DB(150); 및
    상기 체중 산출부(130) 또는 최대수익일 예측부(140)에서 산출된 각 가축의 개체별 체중정보 또는 최대수익일 예측정보가 포함된 그래픽 기반의 인터페이스를 출력하는 디스플레이부(160);를 포함하여 구성되고,
    상기 스테레오 영상 촬영부(110)는,
    상이한 광학변수를 갖는 복수 개의 비대칭 스테레오 카메라로서 근접 객체를 촬영할 때와 원거리 객체를 촬영할 때에 최적의 효과를 낼 수 있도록 초점거리와 조리개의 성능이 비대칭적으로 다르게 설치되는 쌍안 카메라 또는 3중 카메라 중의 어느 하나로 이루어지고, 쌍안 카메라 또는 3중 카메라는 광학축과 이미징 평면이 각각 평행상태를 유지하고 이미징 평면은 동일 평면상에서 구성되며,
    상기 3D 점운 생성부(120)는,
    인코더 네트워크; 컴퓨터 비젼 처리에서 필요한 포즈의 추정, 객체 영역화 및 돌출점(salience) 탐지와 같은 다중스케일 표현기능을 수행하는 Res2Net 블록; 및 디코더 네트워크;로 구성되는 딥러닝 네트워크 모델을 통해 시차맵을 예측하고, 예측된 시차맵과 비대칭 스테레오 카메라의 고유 파라미터를 사용하여 깊이정보(Z)를 계산하여 객체의 공간좌표 P(X,Y,Z)를 구하되,
    좌측과 우측에 두 대의 비대칭 스테레오 카메라가 설치되어 있고, 좌측 카메라의 광학축 C1과 우측 카메라의 광학축 C2, 두 카메라의 이격 거리는 B, 좌측 카메라의 초점 거리 f1과 좌측 카메라의 초점거리 f2(여기서 f1 = k×f2 관계 유지), 객체 상의 공통점으로서 좌측 카메라에 나타나는 이미지상의 점 P1(x1,y1)과 우측 카메라에 나타나는 이미지 상의 점 P2(x2,y2), 및 좌측 카메라의 좌표계의 원점을 공간 좌표계의 원점으로 가정한 경우,
    삼각법에 의하여 두 카메라에 나타나는 이미지상의 점 P1(x1,y1)과 점 P2(x2,y2)은,
    Figure 112021016933223-pat00066

    Figure 112021016933223-pat00067

    에 의해 정의되며.
    두 카메라의 이미지가 정확하게 정합된 경우, P1과 P2 사이의 시차(disparity) d는,
    Figure 112021016933223-pat00068

    에 의해 정의되고,
    따라서 깊이정보 Z는,
    Figure 112021016933223-pat00069

    에 의해 정의되며,
    최종적으로 스테레오 영상의 각 화소점P1(x1,y1),P2(x2,y2)으로부터 공간좌표계의 점운 P(X,Y,Z)는,
    Figure 112021016933223-pat00070

    또는
    Figure 112021016933223-pat00071

    에 의해 정의되는 것을 특징으로 하는 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 체중 산출부(130)는,
    상기 3D 점운 생성부(120)로부터 전달되는 데이터들의 점운(point cloud) 처리를 통해 평면적 특성을 나타내는 점운들을 제거하여 피측정 가축의 표면 점운들을 추출하는 3D 점운 처리부(131);
    상기 3D 점운 처리부(131)에서 추출된 피측정 가축의 표면 점운들로부터 피측정 가축 이외의 점운들을 제거하여 피측정 가축의 순수 표면 점운들만을 추출하는 3D 가축 영역 추출부(132);
    상기 3D 가축 영역 추출부(132)에서 추출된 피측정 가축의 순수 표면 점운들로부터 앞다리의 뒷쪽 위에 있는 몸통의 둘레 길이로 정의하여 피측정 가축의 흉위 G를 측정하는 흉위 측정부(133);
    상기 흉위를 측정한 부분의 맨 위 상단에 분포하는 점 A와 꼬리부분의 맨위 상단에 분포하는 점 C 사이의 절대 거리를 산출하여 피측정 가축의 척추부의 유효체장
    Figure 112020008898212-pat00047
    를 측정하는 유효체장 측정부(134); 및
    상기 흉위 측정부(133)와 유효체장 측정부(134)에서 각각 측정된 피측정 가축의 흉위 G와 유효체장
    Figure 112020008898212-pat00048
    를 반영하여 주어진 G 와
    Figure 112020008898212-pat00049
    에 따른 해당 피측정 가축의 실체중을 계산하고 상기 계산된 피측정 가축의 실체중정보를 최대 수익일 예측부(140)와 가축 DB(150) 및 디스플레이부(160)에 전달하는 회귀 분석부(135);를 포함하여 구성되는 것을 특징으로 하는 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템.
  4. 제1항에 있어서, 상기 최대수익일 예측부(140)는,
    현재 체중에 따른 가격(Co), 최적 등급(tp)에 도달하는 시기까지 요구되는 표준 사료 소모량의 가격(fe), 최적 등급에 도달하는 시기까지 요구되는 평균 시설유지비와 평균 인건비의 합(m, 여기서 평균 시설유지비는 총 시설유지비를 가축의 평균사육두수로 나눈 금액이며, 평균 인건비는 총 인건비를 가축의 평균사육두수로 나눈 금액임)을 이용하여 최대 수익일을 예측할 수 있는 최대 수익일 예측 모델을 정립하며,
    상기 최대 수익일 예측 모델 상의 생산성 곡선(pf)은,
    Figure 112020008898212-pat00050
    으로 산출되는 것을 특징으로 하는 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템.
  5. 제1항에 있어서, 상기 디스플레이부(160)는,
    가축의 표준 사료 소모량과 성장량의 관계를 이용하여 최대 수익일을 예측할 수 있는 최대 수익일 예측 모델을 통해 체중 측정이 이루어진 가축이 최대 등급에 해당되는 적정체중에 도달하는 시기(최대수익 도달시기), 및 실질적인 수익이 발생되는 시기를 예측하여 창출 가능한 이익을 정량적으로 가시화하여 제시하는 인터페이스를 제공하는 것을 특징으로 하는 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템.
KR1020200009924A 2020-01-28 2020-01-28 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템 KR102289640B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200009924A KR102289640B1 (ko) 2020-01-28 2020-01-28 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200009924A KR102289640B1 (ko) 2020-01-28 2020-01-28 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템

Publications (2)

Publication Number Publication Date
KR20210096448A KR20210096448A (ko) 2021-08-05
KR102289640B1 true KR102289640B1 (ko) 2021-08-17

Family

ID=77316627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200009924A KR102289640B1 (ko) 2020-01-28 2020-01-28 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템

Country Status (1)

Country Link
KR (1) KR102289640B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706512B (zh) * 2021-08-31 2023-08-11 内蒙古大学 一种基于深度学习和深度相机的生猪体重测量方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019003015A1 (en) 2017-06-29 2019-01-03 The Gsi Group Llc ANIMAL WEIGHT ESTIMATION BASED ON REGRESSION

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060036419A1 (en) * 2004-07-29 2006-02-16 Can Technologies, Inc. System and method for animal production optimization
KR102031200B1 (ko) 2017-12-05 2019-10-24 주식회사 초록쉼터 가축 무게 측정 방법 및 시스템
KR20190068266A (ko) 2017-12-08 2019-06-18 김정구 영상을 이용한 가축 무게 측정 장치 및 방법
KR102122131B1 (ko) 2017-12-26 2020-06-11 주식회사 일루베이션 가축 무게 측정 시스템 및 이를 이용한 가축 무게 측정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019003015A1 (en) 2017-06-29 2019-01-03 The Gsi Group Llc ANIMAL WEIGHT ESTIMATION BASED ON REGRESSION

Also Published As

Publication number Publication date
KR20210096448A (ko) 2021-08-05

Similar Documents

Publication Publication Date Title
KR102062609B1 (ko) 3d 영상을 이용한 휴대형 가축 무게 측정시스템
Yukun et al. Automatic monitoring system for individual dairy cows based on a deep learning framework that provides identification via body parts and estimation of body condition score
US11627726B2 (en) System and method of estimating livestock weight
CN110426112B (zh) 一种生猪体重测量方法及装置
Fernandes et al. A novel automated system to acquire biometric and morphological measurements and predict body weight of pigs via 3D computer vision
EP3158289B1 (en) Method and device for automated parameters calculation of an object
KR102122131B1 (ko) 가축 무게 측정 시스템 및 이를 이용한 가축 무게 측정 방법
JP7275396B2 (ja) 魚の現存量、形状、サイズ、または健康状態の決定
CN109141248A (zh) 基于图像的猪体重测算方法及系统
CN108961269A (zh) 基于图像的猪体重测算方法及系统
Liu et al. Automatic estimation of dairy cattle body condition score from depth image using ensemble model
KR102269532B1 (ko) 3차원 이미지를 활용한 가축 무게 측정 시스템 및 이를 이용한 가축 무게 측정 방법
McPhee et al. Live animal assessments of rump fat and muscle score in Angus cows and steers using 3-dimensional imaging
WO2016023075A1 (en) 3d imaging
CN110569735A (zh) 一种基于奶牛背部体况的分析方法及装置
CN114241031A (zh) 基于双视角融合的鱼类体尺测量和体重预测的方法及装置
CN112861872A (zh) 一种南美白对虾表型数据测定方法、装置、计算机设备及存储介质
KR102289640B1 (ko) 비대칭 스테레오 카메라를 이용한 비접촉식 모바일 가축 체중 측정시스템
Shi et al. Automatic estimation of dairy cow body condition score based on attention-guided 3D point cloud feature extraction
KR102123761B1 (ko) 3d 스캐닝을 이용한 3d 모델 분석 기반의 가축 추적 시스템 및 이의 가축 체중 예측 방법
CA3230401A1 (en) Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes
Zhao et al. Automatic body condition scoring for dairy cows based on efficient net and convex hull features of point clouds
Wang et al. A review of three-dimensional computer vision used in precision livestock farming for cattle growth management
Yang et al. A defencing algorithm based on deep learning improves the detection accuracy of caged chickens
KR102131558B1 (ko) 라이다를 이용한 가축 무게 측정 시스템 및 이를 이용한 가축 무게 측정 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant