KR102389931B1

KR102389931B1 - Mobile device with livestock weight inference application installed

Info

Publication number: KR102389931B1
Application number: KR1020210153414A
Authority: KR
Inventors: 원형필; 전현일; 오재현; 정성훈; 김덕용
Original assignee: 주식회사 일루베이션
Priority date: 2021-11-09
Filing date: 2021-11-09
Publication date: 2022-04-22

Abstract

The present invention relates to a mobile device with a livestock weight inference application. According to the present invention, the mobile device includes a photographing unit capable of photographing livestock and has the livestock weight inference application capable of measuring the weight of the livestock by photographing the livestock using the photographing unit. The livestock weight inference application includes: a data processing unit obtaining a 2D image and 3D data in a single data set by photographing the livestock by the photographing unit and collecting one or more data sets; a weight inference unit estimating the weight of a target farm animal from the data set; and a weight integration and estimation model deducing a final weight estimation value by receiving a weight estimation result value in accordance with the data set estimated from the weight inference unit. The present invention is to provide the mobile device with the livestock weight inference application capable of providing excellent weight estimation accuracy by inferring the weight of the livestock by using both the 2D image and the 3D data and improving use convenience by being provided as a mobile type.

Description

Mobile device with livestock weight inference application installed

본 발명은 가축 체중 추론 애플리케이션이 설치된 모바일 장치에 관한 것으로, 더욱 자세하게는 RGB-D 기반으로 2D 이미지와 3D 데이터를 함께 사용하여 가축의 체중을 추론함으로써 가축 체중 예측 정확도가 보다 우수하고, 모바일로 제공되어 사용 편의성이 향상된 가축 체중 추론 애플리케이션이 설치된 모바일 장치에 관한 것이다.The present invention relates to a mobile device in which a livestock weight inference application is installed, and more particularly, by using 2D image and 3D data together based on RGB-D to infer the weight of the livestock, the accuracy of predicting the livestock weight is better, and it is provided by mobile It relates to a mobile device installed with a livestock weight inference application with improved usability.

축산업의 경우, 가축의 개체별 사양관리를 위해서는 정기적인 체중관리가 필요하다. In the case of the livestock industry, regular weight management is required for individual feeding of livestock.

특히, 양돈농가의 경우 출하 시 규격기준이 매우 중요하며, 규격기준 내에 맞는 돼지의 출하여부에 따라 농장의 소득에 매우 큰 차이를 가져온다. 돼지는 체중과 지방 두께에 따른 양적기준과 돼지고기의 지방분포와 고기의 육색에 따른 질적기준에 따라 돼지의 등급이 결정되는데, 통상적으로 115kg에서 120kg까지의 돼지를 규격돈이라고 한다. In particular, in the case of pig farms, the standard for shipping is very important, and it brings a very big difference to the income of the farm depending on the number of pigs that fit within the standard. Pigs are graded according to quantitative criteria according to body weight and fat thickness, and qualitative criteria according to fat distribution and meat color. Generally, pigs weighing 115 kg to 120 kg are called standard pigs.

규격돈의 체중을 만족시킬 경우 상위등급을 받을 수 있기 때문에 체중을 정확히 측정하여 출하돼지를 선별하는 것이 매우 중요하다. It is very important to measure the weight accurately and select the pigs for shipment, because if the weight of a standard pig is satisfied, a higher grade can be obtained.

이를 위해 주기적인 체중측정 또는 모니터링의 필요성이 현장에서 요구되고 있다.To this end, the need for periodic weight measurement or monitoring is required in the field.

현재 돼지의 체중은 흉의측위법 및 돈형기에 의하여 측정되고 있다.Currently, the weight of pigs is measured by the chest measurement method and the pig hyeonggi.

흉위측위법은 돈의 흉위를 줄자로 측정하여 얻은 값을 체중 산출식에 적용하여 체중을 환산하는 것으로, 특별한 시설을 설치할 필요가 없다는 장점으로 사용되고 있으나 측정치의 오차가 매우 큰 문제점이 있다.The chest position measurement method is used to convert the weight by applying the value obtained by measuring the chest position of the money with a tape measure to the weight calculation formula.

또한, 돈형기는 돼지의 체중을 측정하는 저울에 부대장치를 설비한 후 밀폐된 공간에서 양돈의 체중을 직접 측정하는 것으로, 양돈의 체중을 계측하기 위해서는 모든 돼지들을 돈형기로 유도한 후, 돈형기 내에 일정시간을 정체시켜야 하는 번거로움이 따르며 이 과정에서 1마리의 체중을 측정하기 위해 1인 작업자 기준으로 약 10분 이상의 상당 시간이 소요되는 문제점이 있으며, 돼지의 분뇨로 인해 전자저울의 잦은 고장과 유지 보수에 어려움이 있었다.In addition, the pig weighing machine directly measures the weight of pigs in an enclosed space after installing an accessory device on a scale that measures the weight of pigs. There is a problem of having to stand still for a certain period of time within the sentence, and in this process, it takes about 10 minutes or more on a per worker basis to measure the weight of one animal. There were breakdowns and difficulties in maintenance.

따라서, 간편하고 정확하게 가축의 체중을 측정하여 가축의 지속적인 체중관리를 하고 농가의 노동력을 절감시킬 수 있으며, 이를 통해 출하시점을 용이하게 파악할 수 있도록 하는 기술이 필요한 실정이다.Therefore, there is a need for a technology that can measure the weight of livestock simply and accurately to continuously manage the weight of the livestock and reduce the labor force of the farmer, and thereby easily determine the time of shipment.

최근 가축을 촬영하여 이미지를 통해 가축의 부피, 무게 등을 예측하는 시스템 또는 방법이 개발되고 있으나, 방해 요인(햇빛, 가축의 움직임 등)과 다른 객체(땅, 구조물 등)들에 의한 오차가 발생하여 정확도가 떨어지는 문제가 있었다.Recently, a system or method for estimating the volume and weight of livestock through images by photographing livestock is being developed, but errors occur due to interference factors (sunlight, movement of livestock, etc.) and other objects (ground, structure, etc.) Therefore, there was a problem that the accuracy was lowered.

또한 이미지로부터 가축을 인지하여 체중 등을 도출할 시, 길이측정기술을 기반으로 하고 있어, 노이즈 등으로 인해 정확도가 떨어질 가능성이 높고 처리 속도에 한계가 있었다. 종래의 기술로 한국등록특허 제10-2122131호 '가축 무게 측정 시스템 및 이를 이용한 가축 무게 측정 방법'이 공개되어 있다.In addition, when recognizing livestock from images and deriving weight, etc., it is based on length measurement technology, so accuracy is highly likely to decrease due to noise, etc., and processing speed is limited. As a prior art, Korean Patent Registration No. 10-2122131 'A system for weighing livestock and a method for measuring livestock using the same' has been disclosed.

이에 3D 데이터 등을 이용하되 직접 인지 방식이 적용되어 정확도가 우수하며 추론 속도가 개선된 가축 체중 측정 기술에 대한 개발이 필요한 것으로 사료된다.Therefore, it is considered that it is necessary to develop a livestock weight measurement technology that uses 3D data, etc., but has excellent accuracy and improved inference speed as a direct recognition method is applied.

상기와 같은 문제를 해결하고자, 본 발명은 RGB-D 기반으로 2D 이미지와 3D 데이터를 함께 사용하여 가축의 체중을 추론함으로써 가축 체중 예측 정확도가 보다 우수하고, 모바일로 제공되어 사용 편의성이 향상된 가축 체중 추론 애플리케이션이 설치된 모바일 장치를 제공하는 데 목적이 있다.In order to solve the above problems, the present invention provides better livestock weight prediction accuracy by inferring the weight of livestock by using 2D image and 3D data together based on RGB-D, and improved convenience of use by providing mobile weight It aims to provide a mobile device on which an inference application is installed.

상기와 같은 과제를 해결하기 위하여, 본 발명의 실시예에 따른 가축 체중 추론 애플리케이션이 설치된 모바일 장치는 가축을 촬영할 수 있는 촬영부가 구비되고, 상기 촬영부를 통해 가축을 촬영하여 가축의 체중을 측정할 수 있도록 하는 가축 체중 추론 애플리케이션이 설치된 모바일 장치에 있어서, 상기 가축 체중 추론 애플리케이션은, 상기 촬영부를 통해 가축을 촬영하여 2D 이미지와 3D 데이터를 한 데이터 세트로 획득하되, 하나 이상의 데이터 세트를 수집하는 데이터 처리부; 상기 데이터 세트로부터 목표 가축의 체중을 예측하는 체중 추론부 및 상기 체중 추론부로부터 예측된 상기 데이터 세트에 따른 체중 예측 결과값을 입력 받아 최종 체중 예측값을 도출하는 체중 종합 예측 모델을 포함하는 모바일 장치를 제공할 수 있다.In order to solve the above problems, the mobile device in which the livestock weight inference application according to an embodiment of the present invention is installed is provided with a photographing unit capable of photographing the livestock, and can measure the weight of the livestock by photographing the livestock through the photographing unit. In the mobile device installed with a livestock weight inference application to enable the application, the livestock weight inference application is a data processing unit that captures livestock through the photographing unit to acquire 2D image and 3D data as one data set, but collects one or more data sets ; A mobile device comprising a weight inference unit for predicting the weight of a target livestock from the data set and a weight comprehensive prediction model for deriving a final weight prediction value by receiving a weight prediction result value according to the data set predicted from the weight inference unit can provide

또한 상기 체중 추론부는, 상기 데이터 세트를 입력 받아 체중을 측정할 목표 가축을 추출하여 가중치 맵(Weight Map)을 생성하는 목표 가축 3D 추론 모델; 상기 가중치 맵을 나누어 복수의 패치(Patch)로 구성하고, 패치에 따라 복수의 공간 부피 정보를 생성하는 공간 부피 추출 모델 및 상기 복수의 공간 부피 정보로부터 체중을 예측하여 체중 예측 결과값을 도출하는 체중 추론 모델을 포함할 수 있다.In addition, the weight inference unit may include: a target livestock 3D inference model that receives the data set, extracts a target livestock to be weighed, and generates a weight map; A spatial volume extraction model that divides the weight map into a plurality of patches, generates a plurality of spatial volume information according to the patch, and a weight for predicting weight from the plurality of spatial volume information to derive a weight prediction result Inference models may be included.

또한 상기 체중 추론부는, 패치 크기, 복수의 공간 부피 정보 및 체중을 포함하는 지식이 저장되어 있는 지식 데이터베이스에서 상기 데이터 세트를 통해 지식을 검색하여 유사도 함수값과 추천 체중값을 제안하는 체중 추천 모델을 더 포함하고, 상기 체중 종합 예측 모델은, 상기 데이터 세트에 따른 체중 예측 결과값과 유사도 함수값, 추천 체중값을 입력 받아 최종 체중 예측값을 도출하는 것을 특징으로 한다.In addition, the weight inference unit searches for knowledge through the data set in a knowledge database in which knowledge including patch size, spatial volume information, and weight is stored, and a weight recommendation model that proposes a similarity function value and a recommended weight value. Further comprising, the weight comprehensive prediction model is characterized in that the final weight prediction value is derived by receiving the weight prediction result value, the similarity function value, and the recommended weight value according to the data set.

또한 상기 목표 가축 3D 추론 모델은, 상기 데이터 세트의 2D 이미지로부터 깊이 맵 추정본을 추론하는 2D 깊이맵 추정 모델; 상기 데이터 세트의 3D 데이터로부터 깊이 맵 측정본을 생성하는 3D 깊이맵 생성 모델; 상기 깊이 맵 추정본과 깊이 맵 측정본 중 하나를 정밀 깊이 맵으로 채택하는 깊이맵 채택부; 상기 데이터 세트의 2D 이미지와 정밀 깊이 맵을 이용하여 목표 가축을 추출하기 위한 마스크(Mask)를 생성하는 마스크 생성부 및 상기 데이터 세트의 3D 데이터에서 상기 마스크를 통해 목표 가축의 3D 정보인 가중치 맵(Weight Map)을 생성하는 3D 추출부를 포함할 수 있다.In addition, the target livestock 3D inference model may include: a 2D depth map estimation model for inferring a depth map estimate from the 2D image of the data set; a 3D depth map generation model for generating a depth map measurement from the 3D data of the data set; a depth map adopting unit for adopting one of the depth map estimation copy and the depth map measurement copy as a precision depth map; A mask generator for generating a mask for extracting a target livestock by using the 2D image and the precision depth map of the data set, and a weight map that is 3D information of the target livestock through the mask in the 3D data of the data set ( Weight Map) may include a 3D extractor.

또한 상기 공간 부피 추출 모델은, 상기 가중치 맵을 동일한 크기로 나누어 복수의 패치(Patch)로 구성하는 패치 분할부 및 상기 패치별로 가설 편향 정보(Inductive bias)를 도출하여, 상기 패치와 가설 편향 정보를 포함하는 공간 부피 정보를 생성하는 편향 설정부를 포함하고, 상기 가설 편향 정보는, 상기 패치에 따른 공간 부피의 평균, 표준편차, 최소값 및 최대값 중 하나 이상을 포함하는 것을 특징으로 한다.In addition, the spatial volume extraction model derives inductive bias information for each patch and a patch division unit configured to include a plurality of patches by dividing the weight map into the same size, and obtains the patch and hypothesis bias information. and a bias setting unit for generating spatial volume information including, wherein the hypothesis bias information includes at least one of an average, standard deviation, minimum value, and maximum value of spatial volumes according to the patch.

또한 상기 체중 추론 모델은, 상기 공간 부피 정보의 가설 편향 정보(Inductive bias)들을 선형 변환하고, 선형 변환된 가설 편향 정보로부터 특징을 추출하여 제1 체중 예측값을 도출하는 제1 체중 예측부; 상기 공간 부피 정보의 패치를 선형 변환하고, 선형 변환된 패치들을 텐서(Tensor)로 변환한 후, 상기 텐서로 변환된 패치들로부터 특징을 추출하여 제2 체중 예측값을 도출하는 제2 체중 예측부 및 상기 제1 및 제2 체중 예측부로부터 획득된 제1 및 제2 체중 예측값을 이용하여 체중 예측 결과값을 도출하는 예측 결론부를 포함할 수 있다.The weight inference model may include: a first weight predictor configured to linearly transform inductive bias information of the spatial volume information, extract features from the linearly transformed hypothesis bias information, and derive a first weight prediction value; a second weight prediction unit that linearly transforms the patch of the spatial volume information, converts the linearly transformed patches into a tensor, extracts features from the tensor-transformed patches, and derives a second weight prediction value; and and a prediction conclusion unit for deriving a weight prediction result using the first and second weight prediction values obtained from the first and second weight prediction units.

또한 상기 제2 체중 예측부는, 상기 공간 부피 정보의 패치를 선형 변환하고, 선형 변환된 패치들을 텐서(Tensor)로 변환한 후, 상기 텐서로 변환된 패치들로부터 특징을 추출하는 부분 특징 추출부 및 상기 제1 체중 예측부를 통해 특징을 추출한 결과인 특징 텐서를 전치(Transpose)하고, 전치된 특징 텐서로부터 특징을 추출하여 제2 체중 예측값을 도출하는 전체 특징 추출부를 포함할 수 있다.In addition, the second weight prediction unit may include a partial feature extractor configured to linearly transform the patch of the spatial volume information, convert the linearly transformed patches into a tensor, and extract features from the patches transformed into the tensor; and a full feature extractor that transposes a feature tensor that is a result of extracting features through the first weight predictor, and extracts features from the transposed feature tensor to derive a second weight predictor.

또한 상기 체중 추천 모델은, 상기 지식 데이터베이스에서 패치 크기를 기준으로 상기 데이터 세트의 복수의 공간 부피 정보를 이용하여 지식을 검색하고, 지식 검색 결과에서 지식과 상기 데이터 세트의 유사도 함수값을 계산하여 유사도가 높은 지식을 채택하며, 채택된 지식에 따라 유사도 함수값과 추천 체중값을 제안하는 것을 특징으로 한다.In addition, the weight recommendation model searches for knowledge using a plurality of spatial volume information of the data set based on the patch size in the knowledge database, and calculates a similarity function value between knowledge and the data set from the knowledge search result to obtain similarity. It is characterized in that it adopts high knowledge, and proposes a similarity function value and a recommended weight value according to the adopted knowledge.

또한 상기 체중 종합 예측 모델은, 하나 이상의 데이터 세트에 따른 체중 예측 결과값을 입력 받아, 추론을 통해 체중 예측 결과값에 따른 체중 추론 특징 정보를 생성하는 추론특징 추출부; 상기 체중 추론 특징 정보와 상기 유사도 함수값, 추천 체중값을 입력 받아 선형 변환을 통해 정보를 통합하는 통합부 및 통합된 정보로부터 최종 체중 예측값을 도출하는 체중 종합 예측부를 포함할 수 있다.In addition, the weight comprehensive prediction model may include: an inference feature extractor configured to receive a weight prediction result according to one or more data sets and generate weight inference characteristic information according to the weight prediction result through inference; It may include an integrator that receives the weight inference characteristic information, the similarity function value, and the recommended weight value and integrates the information through linear transformation, and a weight synthesis predictor that derives a final weight prediction value from the integrated information.

상기와 같은 본 발명의 실시예에 따른 가축 체중 추론 애플리케이션이 설치된 모바일 장치는 RGB-D 기반으로 2D 이미지와 3D 데이터를 함께 사용하여 가축의 체중을 추론함으로써 가축 체중 예측 정확도가 보다 우수할 수 있다.The mobile device installed with the livestock weight inference application according to the embodiment of the present invention as described above may have better livestock weight prediction accuracy by inferring the weight of the livestock by using both the 2D image and the 3D data based on RGB-D.

또한 인공지능으로 직접 인지 방식 기술이 적용되어 보다 신속한 측정이 가능할 수 있다.In addition, direct recognition technology can be applied with artificial intelligence, enabling faster measurement.

또한 지식 데이터베이스 기반으로 추천 체중값과 유사도 함수값이 고려되어 체중이 도출되도록 함으로써, 학습되지 못한 데이터 세트가 입력되는 경우에도 보다 정확하게 체중을 추론하도록 하여 장치의 정확도와 신뢰성이 확보될 수 있다.In addition, by taking the recommended weight value and the similarity function value into consideration based on the knowledge database to derive the weight, even when an unlearned data set is input, the weight can be inferred more accurately, thereby securing the accuracy and reliability of the device.

또한 모바일 형태로 제공되어 이동성 및 편의성이 향상될 수 있으며, 가축의 체중을 측정하기 위해 별도의 부대 설비가 필요하지 않고, 체중을 측정하기 위해 가축을 유도하여 일정시간 정체 시켜야 하는 번거로움이 없어, 농가의 인력 부족, 인력 고령화 및 규모 대형화에 따른 문제를 해소할 수 있다.In addition, it is provided in a mobile form so that mobility and convenience can be improved, there is no need for additional equipment to measure the weight of livestock, and there is no hassle of inducing livestock to stop for a certain period of time to measure the weight. It can solve the problems caused by the shortage of manpower in farms, the aging of the manpower, and the enlargement of the scale.

이를 통해 가축의 지속적인 체중 관리가 용이하고, 출하 시점을 정확히 예측할 수 있어 농가의 수익을 증대시킬 수 있다.Through this, it is easy to continuously manage the weight of livestock, and it is possible to accurately predict the time of shipment, thereby increasing the profits of the farmer.

한편, 돼지뿐만 아니라 닭, 소 등 다양한 가축에 적용될 수 있어 활용성이 확대될 것으로 기대된다.Meanwhile, it can be applied to various livestock such as chickens and cattle as well as pigs, so its utility is expected to expand.

또한 가축 체중 추론 애플리케이션을 설치하는 것으로 다양한 모바일 장치에 적용될 수 있다.In addition, it can be applied to various mobile devices by installing the livestock weight inference application.

도 1은 본 발명의 실시예에 따른 가축 체중 추론 애플리케이션이 설치된 모바일 장치의 구성을 나타낸 블록도.
도 2는 도 1의 가축 체중 추론 애플리케이션의 구성을 나타낸 블록도.
도 3은 도 2의 목표 가축 3D 추출 모델을 나타낸 블록도.
도 4는 도 2의 공간 부피 추출 모델을 나타낸 블록도.
도 5는 도 4의 편향 설정부에서 패치에 따라 생성되는 공간 부피 정보를 나타낸 개념도.
도 6은 도 2의 체중 추론 모델을 나타낸 블록도.
도 7은 도 2의 지식 데이터베이스에 저장되는 지식의 구성을 나타낸 개념도.
도 8은 도 2의 체중 종합 예측 모델을 나타낸 블록도.1 is a block diagram showing the configuration of a mobile device in which a livestock weight inference application is installed according to an embodiment of the present invention.
Figure 2 is a block diagram showing the configuration of the livestock weight inference application of Figure 1;
Figure 3 is a block diagram showing the target livestock 3D extraction model of Figure 2;
Figure 4 is a block diagram showing the spatial volume extraction model of Figure 2;
5 is a conceptual diagram illustrating spatial volume information generated according to a patch in the deflection setting unit of FIG. 4 .
Figure 6 is a block diagram showing the weight inference model of Figure 2;
7 is a conceptual diagram illustrating the configuration of knowledge stored in the knowledge database of FIG. 2 .
Figure 8 is a block diagram showing the weight comprehensive prediction model of Figure 2;

이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, the description of the present invention with reference to the drawings is not limited to specific embodiments, and various modifications may be made and various embodiments may be provided. In addition, it should be understood that the contents described below include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention.

이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.In the following description, terms such as 1st, 2nd, etc. are terms used to describe various components, meanings are not limited thereto, and are used only for the purpose of distinguishing one component from other components.

본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.Like reference numbers used throughout this specification refer to like elements.

본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.As used herein, the singular expression includes the plural expression unless the context clearly dictates otherwise. In addition, terms such as "comprises", "comprising" or "have" described below are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist. It should be construed as not precluding the possibility of addition or existence of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as “…unit”, “…group”, and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. there is.

본 발명에서 모바일 장치는 무선 통신망을 통해 통신하는 스마트폰, 태플릿, 휴대용 컴퓨터 등일 수 있으며, 다양한 종류의 이동통신 단말기가 적용될 수 있다. 한편, 본 발명은 모바일 장치 자체로 개발될 수 있고, 사용자(농가의 사육사, 관리자 등)가 소지하고 있는 모바일 장치에 가축 체중 추론 애플리케이션을 설치하는 형태로 구현될 수도 있다.In the present invention, the mobile device may be a smart phone, a tablet, a portable computer, etc. that communicate through a wireless communication network, and various types of mobile communication terminals may be applied. On the other hand, the present invention may be developed as a mobile device itself, or may be implemented in the form of installing a livestock weight inference application on a mobile device possessed by a user (a farmer's breeder, manager, etc.).

이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 가축 체중 추론 애플리케이션이 설치된 모바일 장치를 상세히 살펴보기로 한다.Hereinafter, a mobile device in which the livestock weight inference application is installed according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 가축 체중 추론 애플리케이션이 설치된 모바일 장치의 구성을 나타낸 블록도이고, 도 2는 도 1의 가축 체중 추론 애플리케이션의 구성을 나타낸 블록도이고, 도 3은 도 2의 목표 가축 3D 추출 모델을 나타낸 블록도이고, 도 4는 도 2의 공간 부피 추출 모델을 나타낸 블록도이고, 도 5는 도 4의 편향 설정부에서 패치에 따라 생성되는 공간 부피 정보를 나타낸 개념도이고, 도 6은 도 2의 체중 추론 모델을 나타낸 블록도이고, 도 7은 도 2의 지식 데이터베이스에 저장되는 지식의 구성을 나타낸 개념도이며, 도 8은 도 2의 체중 종합 예측 모델을 나타낸 블록도이다.1 is a block diagram showing the configuration of a mobile device installed with a livestock weight inference application according to an embodiment of the present invention, FIG. 2 is a block diagram showing the configuration of the livestock weight inference application of FIG. 1, FIG. It is a block diagram showing the target livestock 3D extraction model, FIG. 4 is a block diagram showing the spatial volume extraction model of FIG. 2, and FIG. 5 is a conceptual diagram showing spatial volume information generated according to the patch in the bias setting unit of FIG. 6 is a block diagram illustrating the weight inference model of FIG. 2 , FIG. 7 is a conceptual diagram illustrating the configuration of knowledge stored in the knowledge database of FIG. 2 , and FIG. 8 is a block diagram illustrating the weight synthesis prediction model of FIG. 2 .

도 1을 참조하면, 본 발명의 실시예에 따른 가축 체중 추론 애플리케이션이 설치된 모바일 장치(1, 이하 '모바일 장치'라 함)는 가축을 촬영할 수 있는 촬영부(10)가 구비될 수 있으며, 촬영된 가축의 체중을 측정할 수 있도록 가축 체중 추론 애플리케이션(20)이 설치될 수 있다.Referring to Figure 1, the mobile device (1, hereinafter referred to as 'mobile device') in which the livestock weight inference application is installed according to an embodiment of the present invention may be provided with a photographing unit 10 capable of photographing livestock, photographing The livestock weight inference application 20 may be installed to measure the weight of the old livestock.

한편, 가축 체중 추론 애플리케이션(20)의 설치는 모바일 장치(1)를 통해 서버에 접속하여 다운로드 받거나 또는 온라인 어플 마켓(예컨대, 안드로이드 마켓, 애플 스토어, 통신사의 온라인마켓 등)을 통해 다운로드 받아 이루어질 수 있으나, 이에 한정되지는 않는다.On the other hand, the installation of the livestock weight inference application 20 can be made by accessing the server through the mobile device 1 and downloading it or by downloading it through an online application market (eg, Android market, Apple store, online market of a telecommunication company, etc.). However, the present invention is not limited thereto.

모바일 장치(1)의 촬영부(10)는 하나 이상의 가축을 촬영하여 가축에 대한 데이터 세트를 획득 가능하도록 할 수 있다.The photographing unit 10 of the mobile device 1 may photograph one or more livestock to obtain a data set for the livestock.

여기서 촬영부(10)는 라이다 또는 비대칭 스테레오 카메라로 이루어질 수 있으나, 이에 한정되지 않고, 모두 포함하거나 3D 또는 2D 촬영이 가능한 하나 이상의 카메라 또는 센서 등으로 이루어질 수도 있다.Here, the photographing unit 10 may be formed of a lidar or asymmetric stereo camera, but is not limited thereto, and may include all or one or more cameras or sensors capable of 3D or 2D photographing.

라이다는 3차원으로 객체를 촬영할 수 있는 것으로, 촬영하여 획득한 데이터에는 2차원 정보와 깊이 정보를 포함하고 있다.Lidar is capable of photographing an object in three dimensions, and the data obtained by photographing includes two-dimensional information and depth information.

이에 촬영부(10)가 라이다, 즉 3D 촬영 장치로 이루어질 경우, 데이터 처리부(21)는 촬영부(10)를 통해 2D 이미지와 3D 데이터를 바로 획득할 수 있다.Accordingly, when the photographing unit 10 is configured as a lidar, that is, a 3D photographing device, the data processing unit 21 may directly acquire a 2D image and 3D data through the photographing unit 10 .

비대칭 스테레오 카메라는 제1 스테레오 카메라와 제2 스테레오 카메라를 포함하며, 각 스테레오 카메라의 파라미터를 달리하여 근거리와 원거리 객체, 즉, 가축의 화질을 최적 상태로 생성할 수 있다. The asymmetric stereo camera includes a first stereo camera and a second stereo camera, and by varying the parameters of each stereo camera, it is possible to generate an optimal image quality of a near-field object and a long-distance object, that is, a livestock.

이에 촬영부(10)가 2D 촬영 장치로 이루어질 경우, 데이터 처리부(21)는 2D 이미지를 처리하여 3D 데이터를 생성하는 것으로 데이터 세트를 획득할 수 있다.Accordingly, when the photographing unit 10 is configured as a 2D photographing apparatus, the data processing unit 21 may obtain a data set by processing a 2D image to generate 3D data.

촬영부(10)가 비대칭 스테레오 카메라인 경우를 예를 들면, 데이터 처리부(21)는 제1 스테레오 카메라와 제2 스테레오 카메라를 통해 2D 이미지로 좌시점 2D 이미지와 우시점 2D 이미지를 획득하여 처리하는 것으로 3D 데이터를 생성할 수 있고, 이를 통해 2D 이미지와 3D 데이터를 포함하는 데이터 세트를 획득할 수 있는 것이다.For example, when the photographing unit 10 is an asymmetric stereo camera, the data processing unit 21 obtains and processes a left-view 2D image and a right-view 2D image as a 2D image through the first stereo camera and the second stereo camera. As a result, 3D data can be generated, and a data set including a 2D image and 3D data can be obtained through this.

가축 체중 추론 애플리케이션(20)은 모바일 장치(1)에 설치되어 촬영부(10)를 통해 체중을 측정하고자 하는 목표 가축이 촬영되도록 하여 데이터 세트를 확보하고, 가축을 촬영하여 획득한 다수의 데이터 세트를 통해 학습이 이루어져 있어 확보된 데이터 세트(2D 이미지와 3D 데이터)로부터 목표 가축의 체중을 예측할 수 있다.The livestock weight inference application 20 is installed in the mobile device 1 so that the target livestock to be weighed through the photographing unit 10 is photographed to secure a data set, and a plurality of data sets obtained by photographing the livestock Through learning, the weight of the target livestock can be predicted from the secured data set (2D image and 3D data).

도 2를 참조하면, 가축 체중 추론 애플리케이션(20)은 데이터 처리부(21), 체중 추론부(22), 지식 데이터베이스(23), 체중 종합 예측 모델(24) 및 데이터베이스(25)를 포함할 수 있다.Referring to FIG. 2 , the livestock weight inference application 20 may include a data processing unit 21 , a weight inference unit 22 , a knowledge database 23 , a weight comprehensive prediction model 24 , and a database 25 . .

데이터 처리부(21)는 촬영부(10)를 작동시켜 하나 이상의 가축을 촬영할 수 있으며, 2D 이미지와 3D 데이터를 획득하여 한 데이터 세트로 수집하되, 하나 이상(1, 2, … , N개)의 데이터 세트를 수집할 수 있다.The data processing unit 21 operates the photographing unit 10 to photograph one or more livestock, and acquires 2D images and 3D data and collects them as one data set, but one or more (1, 2, ..., N) of You can collect data sets.

이때, 데이터 세트에는 체중을 측정하고자 하는 목표 가축만 촬영되어 있거나, 목표 가축 외 다른 가축 한 마리 이상 같이 촬영되어 있을 수 있다.In this case, only the target livestock for which the weight is to be measured may be photographed in the data set, or one or more livestock other than the target livestock may be photographed.

또한 하나 이상의 데이터 세트는 한 번의 촬영에 의해 획득된 것일 수 있으며, 복수개의 데이터 세트가 확보되는 것이 바람직하나, 이에 한정되지는 않는다.In addition, one or more data sets may be obtained by a single photographing, and it is preferable that a plurality of data sets are secured, but the present invention is not limited thereto.

데이터 처리부(21)는 촬영부(10)로부터 가축이 촬영되면 캡쳐를 통해 2D 이미지와 3D 데이터를 획득하거나, 촬영부(10)로부터 촬영된 영상을 전달 받아 2D 이미지와 3D 데이터를 추출 하는 것으로 획득할 수 있으나, 이에 한정되지는 않는다.The data processing unit 21 acquires a 2D image and 3D data through capture when a livestock is photographed from the photographing unit 10, or by extracting the 2D image and 3D data by receiving the photographed image from the photographing unit 10 can, but is not limited thereto.

한편, 데이터 처리부(21)는 촬영부(10)로부터 2D 이미지만 획득이 가능할 경우, 2D 이미지를 처리하여 3D 이미지를 생성하는 것으로, 데이터 세트를 수집할 수도 있다.Meanwhile, when only a 2D image can be obtained from the photographing unit 10 , the data processing unit 21 generates a 3D image by processing the 2D image, and may collect a data set.

보다 구체적으로, 데이터 처리부(21)는 비대칭 스테레오 카메라인 촬영부(10)로부터 2D 이미지를 획득할 수 있는데, 비대칭 스테레오 카메라가 제1 파라미터를 갖는 제1 스테레오 카메라와 제2 파라미터를 갖는 제2 스테레오 카메라를 포함함에 따라 좌시점 2D 이미지와 우시점 2D 이미지를 획득할 수 있다.More specifically, the data processing unit 21 may acquire a 2D image from the photographing unit 10 which is an asymmetric stereo camera, wherein the asymmetric stereo camera is a first stereo camera having a first parameter and a second stereo camera having a second parameter. As the camera is included, a left-view 2D image and a right-view 2D image may be acquired.

여기서 비대칭 스테레오 카메라의 파라미터는 해당 카메라의 촬영 높이, 이동 거리, 방향 등 카메라와 외부 공간과의 기하학적 관계에 대한 파라미터를 포함할 수 있고, 이에 제1 파라미터와 제2 파라미터는 서로 다를 수 있다.Here, the parameters of the asymmetric stereo camera may include parameters for a geometric relationship between the camera and external space, such as a photographing height, movement distance, and direction of the corresponding camera, and thus the first parameter and the second parameter may be different from each other.

그 다음 데이터 처리부(21)는 좌시점 2D 이미지와 우시점 2D 이미지에 파라미터를 적용하여 3D 데이터를 생성할 수 있는데, 좌시점 2D 이미지와 우시점 2D 이미지에 각각 제1 및 제2 파라미터를 적용하여 제1 및 제2 시차맵(disparity map)을 산출하고, 산출된 제1 및 제2 시차맵을 이용하여 깊이 정보(depth information)를 산출할 수 있고, 이와 같이 산출된 깊이 정보를 이용하여 3D 데이터를 생성할 수 있다.Then, the data processing unit 21 may generate 3D data by applying the parameters to the left-view 2D image and the right-view 2D image, by applying the first and second parameters to the left-view 2D image and the right-view 2D image, respectively. First and second disparity maps may be calculated, depth information may be calculated using the calculated first and second disparity maps, and 3D data may be obtained using the calculated depth information. can create

이러한 데이터 처리부(21)는 수집된 하나 이상의 데이터 세트를 데이터베이스(25)에 저장시킬 수 있고, 체중 추론부(22)에 하나 이상의 데이터 세트를 입력시켜 각각 체중 예측 결과값과 유사도 함수값, 추천 체중값이 도출되도록 할 수 있다.The data processing unit 21 may store one or more collected data sets in the database 25 , and input one or more data sets to the weight inference unit 22 to determine the weight prediction result, similarity function value, and recommended weight, respectively. values can be derived.

체중 추론부(22)는 인공지능이 적용되어 다수의 데이터 세트를 통해 학습이 이루어져 있어, 데이터 세트가 입력되면 목표 가축에 대한 체중을 추론하는 것으로, 하나 이상의 데이터 세트로부터 각각 목표 가축의 체중을 예측하고, 지식 데이터베이스(23) 기반으로 유사도 함수값과 추천 체중값을 제안할 수 있다.The weight inference unit 22 is to infer the weight of the target livestock when the data set is input because artificial intelligence is applied and learning is made through a plurality of data sets, and predicts the weight of each target livestock from one or more data sets and suggest a similarity function value and a recommended weight value based on the knowledge database 23 .

체중 추론부(22)는 목표 가축 3D 추론 모델(220), 공간 부피 추출 모델(221), 체중 추론 모델(222) 및 체중 추천 모델(223)을 포함할 수 있다.The weight inference unit 22 may include a target livestock 3D inference model 220 , a spatial volume extraction model 221 , a weight inference model 222 , and a weight recommendation model 223 .

목표 가축 3D 추론 모델(220)은 데이터 세트를 이용하여 3D 데이터로부터 목표 가축의 형상만을 추출하는 것으로, 데이터 세트를 입력 받아 체중을 측정할 목표 가축을 추출하여 목표 가축의 3D 정보인 가중치 맵(Weight Map)을 생성할 수 있다.The target livestock 3D inference model 220 is to extract only the shape of the target livestock from 3D data using the data set, and extracts the target livestock to be weighed by receiving the data set as a weight map (Weight), which is 3D information of the target livestock. Map) can be created.

도 3을 참조하면, 목표 가축 3D 추론 모델(220)은 2D 깊이맵 추정 모델(2200), 3D 깊이맵 생성 모델(2201), 깊이맵 채택부(2202), 마스크 생성부(2203) 및 3D 추출부(2204)를 포함할 수 있다.Referring to FIG. 3 , the target livestock 3D inference model 220 includes a 2D depth map estimation model 2200 , a 3D depth map generation model 2201 , a depth map adoption unit 2202 , a mask generation unit 2203 , and 3D extraction part 2204 .

2D 깊이맵 추정 모델(2200)은 데이터 세트의 2D 이미지로부터 깊이 맵 추정본을 추정할 수 있다. 즉, 2D 이미지의 원근감을 이용하여 깊이를 추정하는 것으로 깊이 맵 추정본을 생성하는 것이다.The 2D depth map estimation model 2200 may estimate a depth map estimate from the 2D image of the data set. That is, the depth map estimate is generated by estimating the depth using the perspective of the 2D image.

이를 위해, 2D 깊이맵 추정 모델(2200)은 인공지능 모델로서 합성곱 신경망(Convolutional neural network, CNN)이 적용된 것으로, VGG Net 등이 적용될 수 있으나, 이에 한정되지는 않는다.To this end, the 2D depth map estimation model 2200 is an artificial intelligence model to which a convolutional neural network (CNN) is applied, and VGG Net or the like may be applied, but is not limited thereto.

또한 VGG Net이 적용될 경우 28개의 레이어로 구성될 수 있으나, 이에 한정되지 않고, 다양하게 변경되어 적용될 수 있다.In addition, when VGG Net is applied, it may consist of 28 layers, but is not limited thereto, and may be variously changed and applied.

보다 구체적으로, 2D 깊이맵 추정 모델(2200)은 2D 이미지의 픽셀별로 위치와 색상에 따라 하기 수학식 1과 같이 가중치를 부여할 수 있다.More specifically, the 2D depth map estimation model 2200 may assign weights to each pixel of the 2D image according to the position and color of each pixel as in Equation 1 below.

[수학식 1][Equation 1]

여기서, W는 가중치가 적용된 픽셀 요소값이고, x는 픽셀 요소이고, _{px, py, pc}는 픽셀의 위치(행, 열), 채널(channel) 요소값이고, a와 b는 가중치 조정값을 의미한다.Here, W is the weighted pixel element value, x is the pixel element, _{px, py, and pc} are the pixel position (row, column) and channel element value, and a and b are the weighted adjustment values. do.

또한 2D 깊이맵 추정 모델(2200)은 합성곱 연산을 통해 가중치가 부여된 2D 이미지로부터 특징을 추출하여 깊이 맵 추정본을 추론할 수 있다.In addition, the 2D depth map estimation model 2200 may infer a depth map estimate by extracting features from a weighted 2D image through a convolution operation.

3D 깊이맵 생성 모델(2201)은 인공지능 모델로서 학습되어, 데이터 세트의 3D 데이터로부터 깊이 맵 측정본을 생성할 수 있다.The 3D depth map generation model 2201 may be trained as an artificial intelligence model to generate a depth map measurement from 3D data of a data set.

이때, 3D 깊이맵 생성 모델(2201)은 3D 데이터를 정규화하고 평탄화하여 깊이 맵 측정본을 생성할 수 있다.In this case, the 3D depth map generation model 2201 may generate a depth map measurement copy by normalizing and flattening 3D data.

구체적으로, 3D 깊이맵 생성 모델(2201)은 3D 데이터를 하기 수학식 2를 이용하여 정규화시킬 수 있다. 이는 3D 데이터의 깊이 값을 색상 값으로 변환하여 이미지의 형태로 변환하는 과정으로서, 깊이 값이 채널 범위(0~255) 내의 색상 값이 되도록 조정할 수 있다.Specifically, the 3D depth map generation model 2201 may normalize 3D data using Equation 2 below. This is a process of converting a depth value of 3D data into a color value and converting it into an image shape, and the depth value can be adjusted to be a color value within a channel range (0 to 255).

[수학식 2][Equation 2]

여기서, Norm은 정규화된 픽셀 요소값이고, x는 픽셀 요소이며, _{px, py, pz}는 픽셀의 위치(행, 열, 깊이) 요소값이다.Here, Norm is a normalized pixel element value, x is a pixel element, and _{px, py, and pz} are pixel position (row, column, depth) element values.

또한 3D 깊이맵 생성 모델(2201)은 정규화된 3D 데이터를 하기 수학식 3을 통해 평탄화한 후, 평탄화된 3D 데이터로부터 특징을 추출하여 깊이 맵 측정본을 생성할 수 있다.Also, the 3D depth map generation model 2201 may generate a depth map measurement copy by flattening the normalized 3D data through Equation 3 below, and then extracting features from the flattened 3D data.

[수학식 3][Equation 3]

여기서, Equalized(v)는 평탄화된 3D 데이터로서, v는 정규화된 3D 데이터이고, cdf는 각 요소로 만들어진 누적분포함수이고, (M x N)는 픽셀 개수이다.Here, Equalized(v) is flattened 3D data, v is normalized 3D data, cdf is a cumulative distribution function made of each element, and (M x N) is the number of pixels.

여기서 평탄화는 3D 데이터를 보다 선명하게 만들어 줌으로써, 추출 정확도가 보다 향상되도록 할 수 있다.Here, the flattening makes 3D data clearer, so that extraction accuracy can be further improved.

깊이맵 채택부(2202)는 깊이 맵 추정본과 깊이 맵 측정본 중 하나를 정밀 깊이 맵으로 채택할 수 있는데, 하기 수학식 4를 이용하여 정밀 깊이 맵을 채택할 수 있다.The depth map adopting unit 2202 may adopt one of the depth map estimation copy and the depth map measurement copy as the precision depth map, and may adopt the precision depth map using Equation 4 below.

[수학식 4][Equation 4]

여기서, Overlapping Region은 깊이 맵 측정본과 깊이 맵 추정본이 서로 겹쳐지는 영역의 크기이고, Combined Region은 깊이 맵 측정본과 깊이 맵 추정본을 결합한 영역의 크기이다.Here, the overlapping region is the size of the region where the depth map measurement sample and the depth map estimation copy overlap each other, and the combined region is the size of the region in which the depth map measurement copy and the depth map estimation copy are combined.

즉, 깊이맵 채택부(2202)는 상기 수학식 4를 통해 IoU를 계산하여, IoU 값이 기준값 이상이면 깊이 맵 측정본을 정밀 깊이 맵으로 채택하고, 기준값 미만이면 깊이 맵 추정본을 정밀 깊이 맵으로 채택할 수 있다.That is, the depth map adopting unit 2202 calculates IoU through Equation 4 above, and if the IoU value is greater than or equal to the reference value, the depth map measurement sample is adopted as the precision depth map, and if it is less than the reference value, the depth map estimate is used as the precision depth map. can be adopted as

한편, IoU의 기준값은 0.9로 설정될 수 있으나, 이에 한정되지는 않는다.Meanwhile, the reference value of IoU may be set to 0.9, but is not limited thereto.

이는 3D 데이터는 2D 이미지보다 노이즈가 많다는 가정으로, 2D 이미지로부터 도출된 깊이 맵 추정본과 3D 이미지로부터 도출된 깊이 맵 측정본의 차이가 크면 3D 데이터로부터 도출된 깊이 맵 측정본에 오차가 있다는 것으로 판단하여 깊이 맵 추정본이 채택되어 사용되도록 한 것이다.This is assuming that 3D data is more noisy than 2D images, and if the difference between the depth map estimate derived from the 2D image and the depth map measurement derived from the 3D image is large, there is an error in the depth map measurement derived from the 3D data. It was determined that the depth map estimate was adopted and used.

마스크 생성부(2203)는 데이터 처리부(21)로부터 입력된 데이터 세트의 2D 이미지와 깊이맵 채택부(2202)로부터 입력된 정밀 깊이 맵을 이용하여 목표 가축을 추출하기 위한 마스크(Mask)를 생성할 수 있다. 즉, 2D 이미지와 정밀 깊이 맵으로부터 목표 가축만을 추출하여 마스크를 생성하는 것이다.The mask generating unit 2203 generates a mask for extracting the target livestock using the 2D image of the data set input from the data processing unit 21 and the precision depth map input from the depth map adopting unit 2202. can That is, the mask is generated by extracting only the target livestock from the 2D image and the precision depth map.

3D 추출부(2204)는 데이터 처리부(21)와 마스크 생성부(2203)로부터 각각 데이터 세트의 3D 데이터와 마스크를 입력 받아, 마스크를 통해 3D 데이터에서 목표 가축의 가중치 맵(Weight Map)을 생성할 수 있다.The 3D extraction unit 2204 receives the 3D data and the mask of the data set from the data processing unit 21 and the mask generation unit 2203, respectively, and generates a weight map of the target livestock from the 3D data through the mask. can

이때, 3D 추출부(2204)는 3D 데이터와 마스크에 대한 행렬 산술(element-wise) 곱셈 연산을 통해 가중치 맵(Weight Map)을 추출할 수 있다. 여기서 행렬 산술(element-wise) 곱셈 연산은 같은 위치에 있는 구성요소끼리 곱하는 방법이다.In this case, the 3D extractor 2204 may extract a weight map through a matrix arithmetic (element-wise) multiplication operation on the 3D data and the mask. Here, the matrix arithmetic (element-wise) multiplication operation is a method of multiplying elements located at the same location.

공간 부피 추출 모델(221)은 또 다른 인공지능 모델로서, 3D 정보를 가지고 공간 부피에 대한 정보를 추출할 수 있도록 학습되어 있을 수 있다. 이에 공간 부피 추출 모델(221)은 가중치 맵을 나누어 복수의 패치(Patch)로 구성하고, 패치에 따라 복수의 공간 부피 정보를 생성할 수 있다.The spatial volume extraction model 221 is another artificial intelligence model, and may be trained to extract information on spatial volume with 3D information. Accordingly, the spatial volume extraction model 221 may divide the weight map into a plurality of patches, and generate a plurality of spatial volume information according to the patches.

이는 체중은 부피와 연관성이 있기 때문에 공간 부피에 대한 정보를 추출하여 이용함으로써 체중에 대한 예측이 가능하도록 하기 위한 것이다.This is to make it possible to predict weight by extracting and using information about spatial volume because weight is related to volume.

도 4를 참조하면, 공간 부피 추출 모델(221)은 패치 분할부(2210) 및 편향 설정부(2211)를 포함할 수 있다.Referring to FIG. 4 , the spatial volume extraction model 221 may include a patch dividing unit 2210 and a bias setting unit 2211 .

패치 분할부(2210)는 목표 가축 3D 추론 모델(220)로부터 입력된 가중치 맵(Weight Map)을 가로세로 동일한 크기로 나누어 복수(1, 2, …, n-1, n)의 패치(Patch)로 구성할 수 있다.The patch dividing unit 2210 divides the weight map input from the target livestock 3D inference model 220 into the same size horizontally and vertically, and includes a plurality of (1, 2, ..., n-1, n) patches. can be configured as

예를 들어, 160 x 160의 크기를 가지는 가중치 맵(Weight Map)을 16 x 16의 크기로 잘라 패치를 구성할 경우, 100개의 패치(Patch)가 생성될 수 있다. 이러한 패치의 크기는 상황에 따라 다양하게 가변 될 수 있다.For example, when a patch is configured by cutting a weight map having a size of 160 x 160 to a size of 16 x 16, 100 patches may be generated. The size of these patches may be varied in various ways depending on circumstances.

편향 설정부(2211)는 도 5에 도시된 바와 같이, 패치 분할부(2210)에서 생성된 패치(n개)에 대해 각 패치별로 가설 편향 정보(Inductive bias)를 도출하여, 복수의 공간 부피 정보(n개)를 생성할 수 있다.As shown in FIG. 5 , the bias setting unit 2211 derives hypothesis bias information (inductive bias) for each patch with respect to the patches (n pieces) generated by the patch divider 2210, and provides a plurality of spatial volume information. (n) can be created.

여기서 공간 부피 정보는 패치와 가설 편향 정보를 포함할 수 있고, 가설 편향 정보는 패치에 따른 공간 부피의 평균, 표준편차, 최소값 및 최대값 중 하나 이상을 포함할 수 있으며, 모두 포함하는 것이 바람직하나, 이에 한정되지는 않는다.Here, the spatial volume information may include patches and hypothesis bias information, and the hypothesis bias information may include one or more of the average, standard deviation, minimum and maximum values of spatial volumes according to the patch, and it is preferable to include all of them. , but is not limited thereto.

체중 추론 모델(222)은 공간 부피 정보로부터 체중이 학습된 인공지능 모델로서, 공간 부피 추출 모델(221)로부터 복수의 공간 부피 정보를 입력 받아 목표 가축의 체중을 예측하여 체중 예측 결과값을 도출할 수 있다.The weight inference model 222 is an artificial intelligence model in which body weight is learned from spatial volume information, and it is possible to derive a weight prediction result by receiving a plurality of spatial volume information from the spatial volume extraction model 221 to predict the weight of a target livestock. can

도 6을 참조하면, 체중 추론 모델(222)은 제1 체중 예측부(2220), 제2 체중 예측부(2221) 및 예측 결론부(2222)를 포함할 수 있다.Referring to FIG. 6 , the weight inference model 222 may include a first weight prediction unit 2220 , a second weight prediction unit 2221 , and a prediction conclusion unit 2222 .

제1 체중 예측부(2220)는 복수의 공간 부피 정보에 따른 복수의 가설 편향 정보(Inductive bias)들을 선형 변환하고, 선형 변환된 가설 편향 정보로부터 특징을 추출하여 제1 체중 예측값을 도출할 수 있다. 여기서 추출되는 특징은 목표 가축의 자세, 머리 방향, 거리 등일 수 있으나, 이에 한정되지는 않는다.The first weight prediction unit 2220 may linearly transform a plurality of inductive bias information according to a plurality of spatial volume information, and extract a feature from the linearly transformed hypothesis bias information to derive a first weight prediction value. . The feature extracted here may be the posture, head direction, distance, etc. of the target livestock, but is not limited thereto.

이를 위해, 제1 체중 예측부(2220)는 멀티 레이어 퍼셉트론 블록(Multi-Layer Perceptron Block)이 적용될 수 있으며, 멀티 레이어 퍼셉트론 블록(Multi-Layer Perceptron Block)은 밀집 레이어(Dense layer, Dense), 활성화 함수(Activation function), 밀집 레이어(Dense layer, Dense)로 구성될 수 있으나, 이에 한정되지는 않는다.To this end, a multi-layer perceptron block may be applied to the first weight prediction unit 2220 , and the multi-layer perceptron block may be activated by a dense layer (Dense). It may be composed of a function (Activation function) and a dense layer (Dense layer, Dense), but is not limited thereto.

밀집 레이어(Dense layer, Dense)는 입력값이 입력되면 추출된 특징을 통해 다중 곱과 합산과 같은 복잡한 연산을 통해 학습과 추론 과정을 실행하여 결과값(output)이 출력되도록 할 수 있다.When an input value is input, the dense layer (Dense) executes a learning and inference process through complex operations such as multiple multiplication and summation through extracted features to output an output.

제2 체중 예측부(2221)는 제1 체중 예측부(2220)에서 추출되는 제1 체중 예측값을 보완하여 체중 예측 결과값이 보다 정확하게 도출되도록 하는 것으로, 가축의 특징(자세 등)들에 의해 공간 부피의 값이 변할 수 있기 때문에 부분적인 특징들과 전체적인 특징들을 패치를 통해 추가적으로 확인하여 체중 예측이 이루어지도록 함으로써, 보다 정확도가 향상되도록 할 수 있다.The second weight prediction unit 2221 supplements the first weight prediction value extracted from the first weight prediction unit 2220 so that the weight prediction result value is more accurately derived. Since the value of volume can change, partial features and overall features are additionally checked through the patch so that the weight prediction is made, so that the accuracy can be further improved.

상기와 같은 제1 체중 예측부(2220)가 구성되어 있어 목표 가축의 체중 예측 과정이 더 빠르고 정확하게 이루어질 수 있다.Since the first weight prediction unit 2220 as described above is configured, the weight prediction process of the target livestock can be performed more quickly and accurately.

이러한 제2 체중 예측부(2221)는 복수의 공간 부피 정보에 따른 복수의 패치들을 선형 변환하고, 선형 변환된 패치들을 텐서(Tensor)로 변환한 후, 텐서로 변환된 패치들로부터 특징을 추출하여 제2 체중 예측값을 도출할 수 있는데, 부분 특징 추출부(2221a) 및 전체 특징 추출부(2221b)를 포함할 수 있다.The second weight prediction unit 2221 linearly transforms a plurality of patches according to a plurality of spatial volume information, converts the linearly transformed patches into a tensor, and extracts features from the tensor-transformed patches. The second weight prediction value may be derived, and may include a partial feature extractor 2221a and a full feature extractor 2221b.

부분 특징 추출부(2221a)는 공간 부피 정보의 패치를 각각 선형 변환하고, 선형 변환된 패치들을 텐서(Tensor)로 변환한 후, 텐서로 변환된 패치들로부터 특징을 추출하여 특징 텐서를 획득할 수 있다. 여기서 추출되는 특징은 목표 가축의 부분적인 특징으로, 목표 가축의 부위(코, 눈, 귀, 꼬리 등), 부위 위치 등일 수 있으나, 이에 한정되지는 않는다. The partial feature extraction unit 2221a linearly transforms each patch of spatial volume information, transforms the linearly transformed patches into a tensor, and extracts features from the tensor-transformed patches to obtain a feature tensor. there is. The feature extracted here is a partial feature of the target livestock, and may be a part (nose, eye, ear, tail, etc.) and a part location of the target livestock, but is not limited thereto.

이러한 부분 특징 추출부(2221a) 또한 멀티 레이어 퍼셉트론 블록(Multi-Layer Perceptron Block)이 적용될 수 있으며, 멀티 레이어 퍼셉트론 블록(Multi-Layer Perceptron Block)은 밀집 레이어(Dense layer, Dense), 활성화 함수(Activation function), 밀집 레이어(Dense layer, Dense)로 구성될 수 있으나, 이에 한정되지는 않는다.The partial feature extraction unit 2221a may also apply a multi-layer perceptron block, and the multi-layer perceptron block includes a dense layer (Dense) and an activation function (Activation). function) and a dense layer (Dense layer, Dense), but is not limited thereto.

전체 특징 추출부(2221b)는 제1 체중 예측부(2220)를 통해 특징을 추출한 결과인 특징 텐서를 전치(Transpose)하고, 전치된 특징 텐서로부터 특징을 추출하여 제2 체중 예측값을 도출할 수 있다. 여기서 추출되는 특징은 목표 가축의 전체적인 특징으로서, 목표 가축의 자세(눕기, 앉기 등), 행동(섭취 등) 등일 수 있으나, 이에 한정되지는 않는다.The overall feature extraction unit 2221b may transpose a feature tensor that is a result of extracting features through the first weight prediction unit 2220, and extract a feature from the transposed feature tensor to derive a second weight prediction value. . The feature extracted here is an overall feature of the target livestock, and may be a posture (lying, sitting, etc.), an action (eating, etc.) of the target livestock, but is not limited thereto.

전체 특징 추출부(2221b)는 부분 특징 추출부(2221a)와 동일하게 멀티 레이어 퍼셉트론 블록(Multi-Layer Perceptron Block)이 적용될 수 있으므로, 자세한 설명은 생략하기로 한다.Since the multi-layer perceptron block may be applied to the full feature extracting unit 2221b in the same way as the partial feature extracting unit 2221a, a detailed description thereof will be omitted.

제1 체중 예측부(2220)와 제2 체중 예측부(2221)로 구성되어 체중에 대한 예측을 수행하고 이를 종합하여 체중 예측 결과값이 추론되도록 함으로써, 측정 정확도가 우수하면서도 짧은 시간으로 체중에 대한 예측이 이루어지도록 할 수 있다. It is composed of the first weight prediction unit 2220 and the second weight prediction unit 2221 to perform weight prediction and synthesize the weight prediction result value to infer the weight prediction result value. predictions can be made.

또한 일반적인 데이터 세트에 대한 목표 가축의 체중 예측은 제1 체중 예측부(2220)로도 가능하나, 제2 체중 예측부(2221)가 같이 구성되어 있어 예외적인 특징을 가지는 데이터 세트에 대한 체중 예측도 보다 용이하게 진행될 수 있다.In addition, the weight prediction of the target livestock with respect to a general data set is possible with the first weight prediction unit 2220, but since the second weight prediction unit 2221 is also configured, the weight prediction for the data set having exceptional characteristics is better than can proceed easily.

예측 결론부(2222)는 제1 및 제2 체중 예측부(2220,2221)로부터 획득된 제1 체중 예측값과 제2 체중예측값을 통해 추론 과정을 실행하여 체중 예측 결과값을 도출할 수 있다.The prediction conclusion unit 2222 may derive a weight prediction result by executing an inference process through the first weight prediction value and the second weight prediction value obtained from the first and second weight prediction units 2220 and 2221 .

이때 예측 결론부(2222)는 제1 체중예측값과 제2 체중예측값에 차이가 있을 경우, 제2 체중예측값을 신뢰하여 체중 예측 결과값을 도출할 수 있다. 이는 제2 체중 예측부(2221)는 예외적인 상황에 대한 대처가 가능하도록 구성된 것이므로, 제1 체중예측값과 제2 체중 예측값 차이가 있으면 예외적인 상황으로 판단하여 제2 체중예측값을 신뢰하는 것이다.In this case, when there is a difference between the first weight prediction value and the second weight prediction value, the prediction conclusion unit 2222 may derive a weight prediction result by trusting the second weight prediction value. This is because the second weight prediction unit 2221 is configured to cope with an exceptional situation, and therefore, if there is a difference between the first weight prediction value and the second weight prediction value, it is determined as an exceptional situation and the second weight prediction value is trusted.

이러한 예측 결론부(2222)는 완전 연결 계층(Fully-connected layer)으로 구현되어 상기와 같은 과정을 수행할 수 있으나, 이에 한정되지는 않는다.The prediction conclusion unit 2222 may be implemented as a fully-connected layer to perform the above process, but is not limited thereto.

체중 추천 모델(223)은 수학적 모델로서, 지식 데이터베이스(23) 기반으로 데이터 세트에 대해 유사도 함수값과 추천 체중값을 제안할 수 있다. 그러나 이에 한정되지 않고, 수학적 모델 외 딥러닝 모델 등으로 구현될 수도 있다.The weight recommendation model 223 is a mathematical model, and may suggest a similarity function value and a recommended weight value for a data set based on the knowledge database 23 . However, the present invention is not limited thereto, and may be implemented as a deep learning model other than a mathematical model.

한편, 지식 데이터베이스(23)는 다수의 지식을 저장하고 있는 것으로, 지식은 도 7에 도시된 바와 같이, 패치 크기, 복수의 공간 부피 정보 및 체중을 포함할 수 있고, 일 열로 나열된 형태일 수 있으나, 이에 한정되지는 않는다.On the other hand, the knowledge database 23 stores a plurality of knowledge, and the knowledge may include a patch size, a plurality of spatial volume information, and weight, as shown in FIG. 7 , and may be in the form of being listed in one column. , but is not limited thereto.

이에 체중 추천 모델(223)은 지식 데이터베이스(23)에서 해당 데이터 세트의 복수의 공간 부피 정보를 통해 지식을 검색하여 유사도 함수값과 추천 체중값을 제안할 수 있다.Accordingly, the weight recommendation model 223 may suggest a similarity function value and a recommended weight value by searching for knowledge through a plurality of spatial volume information of a corresponding data set in the knowledge database 23 .

보다 구체적으로, 체중 추천 모델(223)은 지식 데이터베이스(23)에서 패치 크기를 기준으로 데이터 세트의 복수의 공간 부피 정보를 이용하여 지식을 검색할 수 있다.More specifically, the weight recommendation model 223 may search for knowledge in the knowledge database 23 using a plurality of spatial volume information of the data set based on the patch size.

그 다음 체중 추천 모델(223)은 지식 검색 결과로서 검색된 지식들에 대해 각각 데이터 세트와의 유사도를 계산하여 지식 검색 결과 중 유사도가 높은 지식을 채택할 수 있는데, 각 지식의 유사도를 하기 수학식 5를 통해 계산하여 유사도 함수값을 각각 구할 수 있다.Then, the weight recommendation model 223 may employ knowledge having a high similarity among the knowledge search results by calculating a similarity with a data set for each knowledge found as a knowledge search result. It is possible to obtain each similarity function value by calculating through

[수학식 5][Equation 5]

여기서, sv는 공간 부피 정보이고, i는 공간 부피 정보의 번호, k는 지식 데이터베이스 내 지식의 번호이다. 이때, 유사도 함수값이 0에 가까울수록 유사도가 높다고 할 수 있다.Here, sv is spatial volume information, i is the number of spatial volume information, and k is the number of knowledge in the knowledge database. In this case, the closer the similarity function value to 0, the higher the similarity.

이에 체중 추천 모델(223)은 채택된 지식에 따라 유사도 함수값과 추천 체중값을 제안할 수 있는데, 유사도 함수값과 추천 체중값을 체중 종합 예측 모델(24)로 전달할 수 있다.Accordingly, the weight recommendation model 223 may suggest a similarity function value and a recommended weight value according to the adopted knowledge, and may transmit the similarity function value and the recommended weight value to the weight comprehensive prediction model 24 .

이와 같이 구성되는 체중 추론부(22)는 데이터 세트가 N개 구성될 경우, 각 데이터 세트에 대해 체중 예측 결과값, 유사도 함수값, 추천 체중값을 도출하기 때문에, N번 동일한 과정을 반복하여 수행할 수 있다.Since the weight inference unit 22 configured as described above derives a weight prediction result value, a similarity function value, and a recommended weight value for each data set when there are N data sets, repeat the same process N times. can do.

체중 종합 예측 모델(24)은 체중 추론부(22)로부터 하나 이상의 데이터 세트(N개)에 따른 체중 예측 결과값과 유사도 함수값과 추천 체중값을 모두 입력 받아 최종 체중 예측값을 도출할 수 있다.The comprehensive weight prediction model 24 may derive a final weight prediction value by receiving all of the weight prediction result value according to one or more data sets (N pieces), the similarity function value, and the recommended weight value from the weight inference unit 22 .

도 8을 참조하면, 체중 종합 예측 모델(24)은 추론특징 추출부(240), 통합부(241) 및 체중 종합 예측부(242)를 포함할 수 있다.Referring to FIG. 8 , the comprehensive weight prediction model 24 may include an inference feature extracting unit 240 , an integrating unit 241 , and a weight synthesis prediction unit 242 .

추론특징 추출부(240)는 체중 추론 모델(222)로부터 하나 이상의 데이터 세트에 따른 체중 예측 결과값을 입력 받아, 추론을 통해 체중 예측 결과값에 따른 체중 추론 특징 정보를 생성할 수 있다.The inferred feature extractor 240 may receive weight prediction result values according to one or more data sets from the weight inference model 222 , and generate weight inference feature information according to the weight prediction result value through inference.

여기서, 체중 추론 특징 정보는 하나 이상의 체중 예측 결과값의 평균, 표준편차, 최소값, 최대값 및 중간값 중 하나 이상을 포함할 수 있고, 모두 포함하는 것이 바람직하나, 이에 한정되지 않으며, 다양한 특징 정보들이 포함될 수도 있다.Here, the weight inference characteristic information may include one or more of the average, standard deviation, minimum value, maximum value, and median value of one or more weight prediction results, preferably including all, but is not limited thereto, and various characteristic information may be included.

이러한 추론특징 추출부(240)는 하나 이상의 데이터 세트에 따른 체중 예측 결과값을 그대로 사용하는 것이 아닌, 추론을 통해 추출된 체중 추론 특징 정보를 이용하여 최종 체중 예측값이 도출되도록 함으로써, 체중 도출 정확도가 보다 향상되도록 할 수 있다.The reasoning feature extraction unit 240 does not use the weight prediction result value according to one or more data sets as it is, but uses the weight inference characteristic information extracted through inference to derive the final weight prediction value, so that the weight derivation accuracy is improved. can be further improved.

통합부(241)는 체중 추론 특징 정보와 유사도 함수값, 추천 체중값을 입력 받아 선형 변환을 통해 정보를 통합할 수 있다.The integrator 241 may receive the weight inference feature information, the similarity function value, and the recommended weight value and integrate the information through linear transformation.

체중 종합 예측부(242)는 통합부(241)로부터 통합된 정보로부터 최종 체중 예측값을 도출할 수 있다. 또한 체중 종합 예측부(242)는 최종 체중 예측값을 도출할 시 유사도 함수값에 따라 추천 체중값을 사용할지 선택할 수 있다. 즉, 유사도 함수값이 낮을수록 추천 체중값을 사용할 수 있는 것이다.The weight synthesis prediction unit 242 may derive a final weight prediction value from the information integrated from the integration unit 241 . In addition, the weight synthesis prediction unit 242 may select whether to use the recommended weight value according to the similarity function value when deriving the final weight prediction value. That is, as the similarity function value is lower, the recommended weight value can be used.

한편, 체중 종합 예측부(242)는 완전 연결 계층(Fully-connected layer)으로 구현되어 학습을 통해 최종 체중 예측값을 도출할 수 있으나, 이에 한정되지는 않는다.Meanwhile, the total weight prediction unit 242 may be implemented as a fully-connected layer to derive a final weight prediction value through learning, but is not limited thereto.

이에 체중 종합 예측부(242)는 도출된 최종 체중 예측값을 모바일 장치(1)를 통해 사용자에게 제공하여, 가축의 체중 측정이 가능하도록 할 수 있다.Accordingly, the weight synthesis prediction unit 242 may provide the derived final weight prediction value to the user through the mobile device 1, so that the weight of the livestock can be measured.

데이터베이스(25)는 각 모델에서 생성되거나 입력되는 정보(데이터)들이 모두 저장될 수 있다.The database 25 may store all information (data) generated or input in each model.

상기에서 설명한 바와 같이, 본 발명의 실시예에 따른 가축 체중 추론 애플리케이션이 설치된 모바일 장치는 RGB-D 기반으로 2D 이미지와 3D 데이터를 함께 사용하여 가축의 체중을 추론함으로써 가축 체중 예측 정확도가 보다 우수할 수 있다.As described above, the mobile device in which the livestock weight inference application according to the embodiment of the present invention is installed may have better livestock weight prediction accuracy by inferring the weight of the livestock by using the 2D image and 3D data together based on RGB-D. can

또한 모바일 형태로 제공되어 이동성 및 편의성이 향상될 수 있으며, 가축의 체중을 측정하기 위해 별도의 부대 설비가 필요하지 않고, 체중을 측정하기 위해 가축을 유도하여 일정시간 정체 시켜야 하는 번거로움이 없어, 농가의 인력 부족, 인력 고령화 및 규모 대형화에 따른 문제를 해소할 수 있다.In addition, it is provided in a mobile form so that mobility and convenience can be improved, there is no need for additional equipment to measure the weight of livestock, and there is no hassle of inducing livestock to stop for a certain period of time to measure the weight, It can solve the problems caused by the shortage of manpower in farms, the aging of the manpower, and the enlargement of the scale.

이를 통해 가축의 지속적인 체중 관리가 용이하고, 출하 시점을 정확히 예측할 수 있어 농가의 수익을 증대시킬 수 있다.Through this, it is easy to continuously manage the weight of livestock, and it is possible to accurately predict the time of shipment, thereby increasing the profit of the farmer.

한편, 돼지뿐만 아니라 닭, 소 등 다양한 가축에 적용될 수 있어 활용성이 확대될 것으로 기대된다.On the other hand, it can be applied not only to pigs, but also to various livestock such as chickens and cattle, so its utility is expected to expand.

이상으로 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.Although embodiments of the present invention have been described above with reference to the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can practice the present invention in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Accordingly, the embodiments described above are illustrative in all respects and not restrictive.

1: 모바일 장치
10: 촬영부
20: 가축 체중 추론 애플리케이션
21: 데이터 처리부
22: 체중 추론부
220: 목표 가축 3D 추론 모델
2200: 2D 깊이맵 추정 모델
2201: 3D 깊이맵 생성 모델
2202: 깊이맵 채택부
2203: 마스크 생성부
2204: 3D 추출부
221: 공간 부피 추출 모델
2210: 패치 분할부
2211: 편향 설정부
222: 체중 추론 모델
2220: 제1 체중 예측부
2221: 제2 체중 예측부
2221a: 부분 특징 추출부
2221b: 전체 특징 추출부
2222: 체중 추론부
223: 체중 추천 모델
23: 지식 데이터베이스
24: 체중 종합 예측 모델
240: 추론특징 추출부
241: 통합부
242: 체중 종합 예측부
25: 데이터베이스1: mobile device
10: Cinematography
20: Livestock weight inference application
21: data processing unit
22: weight reasoning unit
220: target livestock 3D inference model
2200: 2D depth map estimation model
2201: 3D depth map generation model
2202: Depth map adoption unit
2203: mask generator
2204: 3D extraction unit
221: spatial volume extraction model
2210: patch division
2211: bias setting unit
222: weight inference model
2220: first weight prediction unit
2221: second weight prediction unit
2221a: partial feature extraction unit
2221b: full feature extraction unit
2222: weight reasoning unit
223: weight recommendation model
23: Knowledge Database
24: Weight Comprehensive Prediction Model
240: inferred feature extraction unit
241: integration
242: total weight prediction unit
25: Database

Claims

In the mobile device that is provided with a photographing unit capable of photographing livestock, and a livestock weight inference application for measuring the weight of the livestock by photographing the livestock through the photographing unit is installed,
The livestock weight inference application,
a data processing unit that captures livestock through the photographing unit to acquire 2D images and 3D data as one data set, but collects one or more data sets;
a weight inference unit for predicting the weight of the target livestock from the data set; and
and a weight comprehensive prediction model for deriving a final weight prediction value by receiving a weight prediction result value according to the data set predicted from the weight inference unit,
The weight inference unit,
a target livestock 3D inference model that receives the data set and extracts a target livestock to be weighed to generate a weight map;
a spatial volume extraction model for dividing the weight map into a plurality of patches and generating a plurality of spatial volume information according to the patches; and
and a weight inference model for deriving a weight prediction result by predicting weight from the plurality of spatial volume information,
The target livestock 3D inference model is,
a 2D depth map estimation model for inferring a depth map estimate from the 2D image of the data set;
a 3D depth map generation model for generating a depth map measurement from the 3D data of the data set;
a depth map adopting unit for adopting one of the depth map estimation copy and the depth map measurement copy as a precision depth map;
a mask generator for generating a mask for extracting target livestock using the 2D image and the precision depth map of the data set; and
and a 3D extractor for generating a weight map that is 3D information of a target livestock through the mask from the 3D data of the data set.

delete

In the mobile device that is provided with a photographing unit capable of photographing livestock, and a livestock weight inference application for measuring the weight of the livestock by photographing the livestock through the photographing unit is installed,
The livestock weight inference application,
a data processing unit that captures livestock through the photographing unit to acquire 2D images and 3D data as one data set, but collects one or more data sets;
a weight inference unit for predicting the weight of the target livestock from the data set; and
and a weight comprehensive prediction model for deriving a final weight prediction value by receiving a weight prediction result value according to the data set predicted from the weight inference unit,
The weight inference unit,
a target livestock 3D inference model that receives the data set and extracts a target livestock to be weighed to generate a weight map;
a spatial volume extraction model for dividing the weight map into a plurality of patches and generating a plurality of spatial volume information according to the patches; and
and a weight inference model for deriving a weight prediction result by predicting weight from the plurality of spatial volume information,
The weight inference unit,
A weight recommendation model for proposing a similarity function value and a recommended weight value by searching for knowledge through the data set in a knowledge database in which knowledge including patch size, spatial volume information, and weight is stored;
The weight comprehensive prediction model is,
and deriving a final weight prediction value by receiving a weight prediction result value, a similarity function value, and a recommended weight value according to the data set.

delete

In the mobile device that is provided with a photographing unit capable of photographing livestock, and a livestock weight inference application for measuring the weight of the livestock by photographing the livestock through the photographing unit is installed,
The livestock weight inference application,
a data processing unit that captures livestock through the photographing unit to acquire 2D images and 3D data as one data set, but collects one or more data sets;
a weight inference unit for predicting the weight of the target livestock from the data set; and
and a weight comprehensive prediction model for deriving a final weight prediction value by receiving a weight prediction result value according to the data set predicted from the weight inference unit,
The weight inference unit,
a target livestock 3D inference model that receives the data set and extracts a target livestock to be weighed to generate a weight map;
a spatial volume extraction model that divides the weight map into a plurality of patches and generates a plurality of spatial volume information according to the patches; and
and a weight inference model for deriving a weight prediction result by predicting weight from the plurality of spatial volume information,
The spatial volume extraction model is
a patch division unit configured to divide the weight map into a plurality of patches and
a bias setting unit for deriving inductive bias information for each patch and generating spatial volume information including the patch and hypothesis bias information;
The hypothesis bias information is
The mobile device, characterized in that it includes at least one of an average, standard deviation, minimum value, and maximum value of spatial volumes according to the patch.

In the mobile device that is provided with a photographing unit capable of photographing livestock, and a livestock weight inference application for measuring the weight of the livestock by photographing the livestock through the photographing unit is installed,
The livestock weight inference application,
a data processing unit that captures livestock through the photographing unit to acquire 2D images and 3D data as one data set, but collects one or more data sets;
a weight inference unit for predicting the weight of the target livestock from the data set; and
and a weight comprehensive prediction model for deriving a final weight prediction value by receiving a weight prediction result value according to the data set predicted from the weight inference unit,
The weight inference unit,
a target livestock 3D inference model that receives the data set and extracts a target livestock to be weighed to generate a weight map;
a spatial volume extraction model for dividing the weight map into a plurality of patches and generating a plurality of spatial volume information according to the patches; and
and a weight inference model for deriving a weight prediction result by predicting weight from the plurality of spatial volume information,
The weight inference model is
a first weight prediction unit that linearly transforms the inductive bias information of the spatial volume information, and extracts features from the linearly transformed hypothesis bias information to derive a first weight prediction value;
a second weight prediction unit that linearly transforms the patch of the spatial volume information, converts the linearly transformed patches into a tensor, extracts features from the tensor-transformed patches, and derives a second weight prediction value; and
and a prediction conclusion unit for deriving a weight prediction result using the first and second weight prediction values obtained from the first and second weight prediction units.

7. The method of claim 6,
The second weight prediction unit,
a partial feature extraction unit for linearly transforming the patch of the spatial volume information, converting the linearly transformed patches into a tensor, and extracting features from the patches transformed into the tensor; and
and an overall feature extractor that transposes a feature tensor that is a result of extracting features through the first weight predictor, and extracts features from the transposed feature tensor to derive a second weight predictor.

4. The method of claim 3,
The weight recommendation model is
retrieving knowledge using a plurality of spatial volume information of the data set based on a patch size in the knowledge database;
In the knowledge search result, by calculating the similarity function value of the knowledge and the data set, the knowledge with high similarity is adopted,
A mobile device, characterized in that it proposes a similarity function value and a recommended weight value according to the adopted knowledge.

4. The method of claim 3,
The weight comprehensive prediction model is,
an inference feature extraction unit that receives a weight prediction result according to one or more data sets and generates weight inference characteristic information according to the weight prediction result value through inference;
an integrator for receiving the weight inference characteristic information, the similarity function value, and the recommended weight value and integrating the information through linear transformation; and
A mobile device including a weight comprehensive prediction unit for deriving a final weight prediction value from the integrated information.