KR20130135020A

KR20130135020A - Apparatus and method for human body parsing

Info

Publication number: KR20130135020A
Application number: KR1020120138943A
Authority: KR
Inventors: 후 치란; 공 루진; 쑨 선; 최창규; 장 판; 김지연; 이기창; 첸 마오린
Original assignee: 삼성전자주식회사
Priority date: 2012-05-31
Filing date: 2012-12-03
Publication date: 2013-12-10
Also published as: CN103455976B; KR101929498B1; CN103455976A

Abstract

The present invention provides an analysis device for human body images and a method thereof. The method includes the steps for obtaining depth images including a human body and for detecting a plurality of points from the depth images by performing a minimum energy skeleton scan on the depth images. [Reference numerals] (1001) Obtaining depth images;(1002) Pre-processing the depth images;(1003) Performing a minimum energy skeleton scan;(AA) Start;(BB) End

Description

Apparatus and Method for Human Body Parsing

본 발명은 이미지 처리 기술에 관한 것으로, 보다 상세하게는 인체 이미지 분석 장치 및 방법에 관한 것이다.TECHNICAL FIELD The present invention relates to image processing technology, and more particularly, to an apparatus and method for analyzing an image of a human body.

최근, 인체 이미지 분석 기술에 대해 많은 연구를 진행하고 있다. 인체 이미지 분석 기술은 인간-기계 상호 작용 및 의학 보조 등 많은 영역에 적용할 수 있다. Recently, a lot of research has been conducted on the human body image analysis technology. Human image analysis technology can be applied to many areas such as human-machine interaction and medical assistance.

현재 사용된 인체 이미지 분석 기술은 일반적으로 매칭에 근거하는 방법, 분류에 근거하는 방법, 및 특징 분석에 근거하는 방법 3가지 방법으로 구분되어있다.Human body image analysis techniques currently used are generally classified into three methods, a method based on matching, a method based on classification, and a method based on feature analysis.

매칭에 근거하는 방법은 대량의 실체 인체 부위를 포함하는 샘플을 수집하고 인체 깊이(또는 심도) 이미지를 데이터베이스와 매칭하여 입력된 인체 이미지를 분석한다. 상기 방법의 분석 정밀도는 데이터베이스의 데이터에 의존해야 한다.The method based on matching collects a sample containing a large amount of the actual human body part and analyzes the input human body image by matching the human body depth (or depth) image with a database. The analytical precision of the method should depend on the data in the database.

분류에 근거하는 방법은 미리 분류기를 트레이닝(training)하여 인체 이미지를 분석한다. 분류기를 트레이닝하면 대량의 랜덤(random) 트레이닝 데이터가 필요하고 상기 방법의 분석 정확도는 트레이닝 데이터에 대한 선택에 의존해야 한다. The classification based method analyzes a human body image by training a classifier in advance. Training the classifier requires a large amount of random training data and the analysis accuracy of the method must depend on the choice of training data.

특징 분석에 근거하는 방법은 트레이닝 데이터 및 데이터베이스가 필요 없고 직접 특징 추출 및 분석을 통해 인체 이미지를 분석한다. 그러나, 현재 사용된 특징 분석의 방법은 추출된 특징이 노이즈(noise)에 대해 예민하기 때문에 자세가 복잡한 인체 이미지에 대하여 분석하기 어렵다. The method based on feature analysis requires no training data and database and analyzes the human body image through direct feature extraction and analysis. However, the currently used method of feature analysis is difficult to analyze a human body image having a complicated posture because the extracted feature is sensitive to noise.

따라서 높은 분석 정밀도를 구비하고 더 안정적인 인체 이미지 분석 기술을 필요하다. Therefore, there is a need for a more stable human image analysis technology with high analysis precision.

본 발명에 따른 인체 이미지 분석 방법 및 장치는 각종 복잡한 환경 및 인체 자세의 인체 이미지에 대한 분석을 실현할 수 있으며 높은 분석 정확도를 구비하고 대량의 데이터베이스 및 트레닝 데이터가 필요하지 않는다. The method and apparatus for analyzing an image of a human body according to the present invention can realize analysis of a human body image of various complicated environments and body postures, has high analysis accuracy, and does not require a large amount of database and training data.

본 발명에 따른 인체 이미지 분석 방법 및 장치는 깊이 이미지로부터 인체의 기본적인 위치 및 형상을 표현하는 스켈레톤 정보(예, 스켈레톤 포인트 또는 스켈레톤)를 분석할 수 있으므로 분석된 스켈레톤 정보를 이용하여 자세 검출, 자세 추적, 인체 모델링 등 실현할 수 있다. The method and apparatus for analyzing an image of a human body according to the present invention may analyze skeleton information (eg, a skeleton point or a skeleton) representing a basic position and shape of a human body from a depth image, and thus, posture detection and posture tracking using the analyzed skeleton information. , Human body modeling and so on.

또한, 본 발명에 따른 인체 이미지 분석 방법 및 장치는 분석된 스켈레톤 정보에 기초하여 더욱 정확하게 인체의 각 부위를 분석할 수 있다.In addition, the method and apparatus for analyzing an image of a human body according to the present invention may analyze each part of the human body more accurately based on the analyzed skeleton information.

본 발명의 일 측면에 따라, 인체 이미지 분석 방법을 제공한다. 상기 방법은 인체 대상을 포함하는 깊이(depth) 이미지를 획득하는 단계; 깊이 이미지를 대하여 최소 에너지 스켈레톤(skeleton) 스캔을 수행하여 깊이 이미지로부터 복수의 포인트를 검출하는 단계를 포함한다.According to an aspect of the present invention, a human body image analysis method is provided. The method includes obtaining a depth image comprising a human subject; Detecting a plurality of points from the depth image by performing a minimum energy skeleton scan on the depth image.

선택적으로, 최소 에너지 스켈레톤 스캔은 깊이 이미지에 대한 에너지 함수를 최소화하여 깊이 이미지로부터 복수의 포인트를 검출하는 것이고, 상기 복수의 포인트의 각 포인트는 스켈레톤 포인트로 정의된다. 상기 에너지 함수는 깊이 이미지의 각 픽셀(pixel)을 스켈레톤 포인트 또는 비 스켈레톤 포인트로 간주하는 확률에 대한 반수의 합(sum of opposite number)의 대수(logarithm)를 의미한다.Optionally, the minimum energy skeleton scan is to detect a plurality of points from the depth image by minimizing an energy function for the depth image, wherein each point of the plurality of points is defined as a skeleton point. The energy function refers to the logarithm of the sum of opposite numbers to the probability of considering each pixel of the depth image as a skeleton point or a non-skeleton point.

선택적으로, 상기 에너지 함수를 최소화하는 경우, 하나의 픽셀이 스켈레톤 포인트로 되는 확률을 상기 합에 적용하여 상기 에너지 함수가 최소화 되면 상기 픽셀을 스켈레톤 포인트로 결정하고, 하나의 픽셀이 비 스켈레톤 포인트로 되는 확률을 상기 합에 적용하여 상기 에너지 함수가 최소화 되면 상기 픽셀을 비 스켈레톤 포인트로 결정한다.Optionally, when minimizing the energy function, the probability that one pixel becomes a skeleton point is applied to the sum to determine the pixel as a skeleton point when the energy function is minimized, and one pixel becomes a non skeleton point. A probability is applied to the sum to determine the pixel as a non-skeleton point when the energy function is minimized.

선택적으로, 예정된 방향의 깊이 대비(contrast); 예정된 방향과 반대 방향의 깊이 대비; 및 깊이 대비 문턱 값(Threshold Value) 중에 가장 작은 값의 정규화(normalized) 값에 의하여 픽셀이 스켈레톤 포인트로 간주되는 확률을 결정한다.Optionally, contrast in a predetermined direction; Depth contrast in a direction opposite to the predetermined direction; And a probability that the pixel is regarded as a skeleton point by a normalized value of the smallest value among threshold values.

선택적으로, 상기 예정된 방향의 깊이 대비는 예정된 방향에서 상기 픽셀과 예정된 거리만큼 떨어져 있는 제1픽셀과 상기 제1픽셀에 인접한 한 픽셀의 깊이 값 차이의 절대 값을 의미한다.Optionally, the depth contrast of the predetermined direction means an absolute value of a difference between depth values of a first pixel and a pixel adjacent to the first pixel that are spaced apart from the pixel by a predetermined distance in the predetermined direction.

선택적으로, 상기 인접한 픽셀은 예정된 방향에서 또는 예정된 방향과 반대 방향에서 제1픽셀과 인접한다.Optionally, the adjacent pixel is adjacent to the first pixel in a predetermined direction or in a direction opposite to the predetermined direction.

선택적으로 상기 예정된 거리는 각 방향에서 깊이 대비 제약(constraint)을 만족시키는 최소 거리인 것이고, 상기 예정된 거리는 아래 등식으로 표시하고:Optionally the predetermined distance is the minimum distance that satisfies the constraint of depth in each direction, the predetermined distance being represented by the following equation:

상기 lx는 상기 예정된 거리를 의미하고,

는 거리l의 값 범위(value range)를 의미하고, θ는 방향을 의미하고, T는 깊이 대비 문턱 값을 의미하고,

는 방향θ에서 상기 픽셀과 예정된 거리l로 떨어져 있는 픽셀의 깊이 값을 의미하고,

는 상기 픽셀과 예정된 거리l로 떨어져 있는 픽셀에 인접한 한 픽셀의 깊이 값을 의미한다.Lx means the predetermined distance,

Denotes a value range of distance l, θ denotes a direction, T denotes a threshold value versus depth,

Denotes a depth value of a pixel spaced apart from the pixel in a direction θ by a predetermined distance l,

Denotes a depth value of one pixel adjacent to the pixel spaced apart from the pixel by a predetermined distance l.

선택적으로 상기 방법은 예정된 문턱 값보다 큰 깊이 대비 문턱 값(즉, 제1깊이 대비 문턱 값)을 이용하여 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 저해상도의 스켈레톤 이미지를 획득하는 단계; 예정된 문턱 값보다 작거나 같은 깊이 대비 문턱 값(즉, 제2깊이 대비 문턱 값)을 이용하여 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 고해상도의 스켈레톤 이미지를 획득하는 단계를 더 포함한다.Optionally, the method includes performing a minimum energy skeleton scan on the depth image using a depth contrast threshold value (ie, a first depth contrast threshold value) greater than a predetermined threshold value to obtain a low resolution skeleton image; And performing a minimum energy skeleton scan on the depth image using a depth-to-depth threshold value that is less than or equal to a predetermined threshold value, that is, obtaining a high-resolution skeleton image.

선택적으로, 저해상도의 스켈레톤 이미지를 획득하는 단계는, 예정된 문턱 값보다 큰 깊이 대비 문턱 값을 이용하여 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 복수의 스켈레톤 포인트를 획득하는 단계; 위치 및 깊이의 연속적인 제약에 의하여 상기 복수의 스켈레톤 포인트 또는 스켈레톤 포인트로 형성된 스켈레톤을 해당하는 부위 유형에 분류시키는 단계; 각 부위 유형의 스켈레톤을 생장(extend)하고, 각 부위 유형에 대응하는 부위 영역을 획득하는 단계를 포함한다.Optionally, obtaining a low resolution skeleton image comprises: performing a minimum energy skeleton scan on the depth image using a depth contrast threshold greater than a predetermined threshold to obtain a plurality of skeleton points; Classifying the plurality of skeleton points or skeletons formed of the skeleton points into corresponding site types by successive constraints of position and depth; Extending the skeleton of each site type and obtaining a site region corresponding to each site type.

선택적으로, 스켈레톤을 생장하는 단계는 스켈레톤을 형성하는 각 스켈레톤 포인트를 예정된 방향 및 그의 반대 방향에 따라 각각 예정된 거리만큼 확장하는 단계를 포함한다.Optionally, growing the skeleton includes extending each skeleton point forming the skeleton by a predetermined distance in a predetermined direction and in opposite directions, respectively.

선택적으로, 상기 고해상도의 스켈레톤 이미지를 획득하는 단계는, 예정된 문턱 값보다 작거나 같은 깊이 대비 문턱 값을 이용하여 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 복수의 스켈레톤 포인트를 획득하는 단계; 위치 및 깊이의 연속적인 제약에 의하여 상기 복수의 스켈레톤 포인트 또는 스켈레톤 포인트로 형성된 스켈레톤을 해당하는 부위 유형에 분류시키는 단계; 각 부위 유형의 스켈레톤을 생장하고, 각 부위 유형에 대응하는 부위 영역을 획득하는 단계를 포함한다.Optionally, obtaining the high resolution skeleton image comprises: performing a minimum energy skeleton scan on the depth image using a depth versus threshold value less than or equal to a predetermined threshold value to obtain a plurality of skeleton points; Classifying the plurality of skeleton points or skeletons formed of the skeleton points into corresponding site types by successive constraints of position and depth; Growing a skeleton of each site type, and obtaining a site region corresponding to each site type.

선택적으로 상기 깊이 이미지를 대하여 최소 에너지 스켈레톤 스캔을 수행하는 단계는, 적어도 하나의 예정된 방향 및 적어도 두 개의 깊이 대비 문턱 값을 이용하거나, 적어도 두 개의 예정된 방향 및 적어도 하나의 깊이 대비 문턱 값을 이용하며 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 멀티 그룹의 스켈레톤 포인트 및 복수의 스켈레톤 이미지를 획득하고, 스켈레톤 포인트가 표시된 깊이 이미지가 스켈레톤 이미지로 간주하는 단계; 위치 및 깊이의 연속적인 제약에 의하여 각 스켈레톤 이미지에 있는 스켈레톤 포인트로 형성된 스켈레톤을 해당하는 부위 유형에 분류시키는 단계; 각 스켈레톤 이미지에 있는 각 부위 유형의 스켈레톤을 생장하여 각 스켈레톤 이미지에서 각 부위 유형의 부위 영역을 획득하는 단계; 복수의 스켈레톤 이미지에 서로 대응하는 복수의 부위 영역의 오버랩 수준에 따라 복수의 부위 영역이 생장된 스켈레톤을 융합하는 단계를 포함한다. 복수의 스켈레톤 이미지에 서로 대응하는 복수의 부위 영역의 오버랩 수준이 예정된 문턱 값보다 크면, 상기 복수의 부위 영역이 생장된 스켈레톤 중에 가장 긴 스켈레톤을 이용하여 최종의 스켈레톤으로 간주하고, 복수의 스켈레톤 이미지에 서로 대응하는 복수의 부위 영역의 오버랩 수준이 예정된 문턱 값보다 작으면 상기 복수의 부위 영역이 생장된 스켈레톤을 오버레이(overlay)한다.Optionally performing a minimum energy skeleton scan on the depth image using at least one predetermined direction and at least two depth contrast thresholds, or using at least two predetermined directions and at least one depth contrast thresholds; Performing a minimum energy skeleton scan on the depth image to obtain a multi-group of skeleton points and a plurality of skeleton images, wherein the depth image in which the skeleton points are indicated is regarded as a skeleton image; Classifying a skeleton formed of the skeleton points in each skeleton image into corresponding site types by successive constraints of position and depth; Growing a skeleton of each site type in each skeleton image to obtain a site region of each site type in each skeleton image; Fusing the skeletons in which the plurality of region regions are grown according to the overlap level of the plurality of region regions corresponding to each other in the plurality of skeleton images. If the overlap level of the plurality of region regions corresponding to each other in the plurality of skeleton images is larger than the predetermined threshold value, the plurality of region regions are regarded as the final skeleton using the longest skeleton among the grown skeletons, When the overlap level of the plurality of region regions corresponding to each other is smaller than a predetermined threshold value, the plurality of region regions overlay the grown skeleton.

선택적으로, 적어도 두 개의 예정된 방향 및 예정된 문턱 값보다 큰 깊이 대비 문턱 값을 이용하여 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하고 깊이 이미지에서 융합된 스켈레톤을 생장하여 저해상도의 스켈레톤 이미지를 획득한다.Optionally, a minimum energy skeleton scan is performed on the depth image using at least two predetermined directions and threshold values greater than the predetermined threshold value, and a fused skeleton is grown in the depth image to obtain a low resolution skeleton image.

선택적으로, 적어도 두 개의 예정된 방향 및 예정된 문턱 값보다 작거나 같은 깊이 대비 문턱 값을 이용하여 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하고 깊이 이미지에서 융합된 스켈레톤을 생장하여 고해상도의 스켈레톤 이미지를 획득한다.Optionally, a minimum energy skeleton scan is performed on the depth image using at least two predetermined directions and a depth contrast threshold less than or equal to the predetermined threshold value and a fused skeleton is grown in the depth image to obtain a high resolution skeleton image. .

선택적으로, 상기 방법은 저해상도의 깊이 이미지에서 몸통(trunk) 영역을 추출하는 단계; 결정된 몸통 영역에 따라 저해상도의 스켈레톤 이미지로부터 기타 인체 부위를 초기 분석하는 단계; 고해상도의 깊이 이미지에 초기 분석된 상지(upper limbs)와 대응하는 부위 영역을 이용하여 상지 영역을 최적화하는 단계; 고해상도의 깊이 이미지를 이용하여 초기 분석된 하지(lower limbs) 영역을 다리 및 둔부로 구분하는 단계를 더 포함한다.Optionally, the method comprises extracting a trunk region from a low resolution depth image; Initially analyzing other human parts from a low resolution skeleton image according to the determined torso region; Optimizing the upper extremity using the region of regions corresponding to the upper limbs initially analyzed in the high resolution depth image; The method may further include dividing the lower limbs area analyzed into the legs and the buttocks using the high resolution depth image.

선택적으로, 저해상도의 깊이 이미지에서 몸통 영역을 추출하는 단계는, 저해상도의 스켈레톤 이미지에 각 부위 영역의 사이즈 및 위치 관계에 따라 몸통 영역을 초기 결정하는 단계; 초기 결정된 몸통 영역에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 몸통 영역의 스켈레톤을 추출하는 단계; 전체 신체 영역의 중심 아래의 영역을 하지 영역으로 간주하여 초기 결정된 몸통 영역에서 상기 중심 아래의 영역을 제외하는 단계; 배경 영역 또는 사지(four limbs)가 대응하는 부위 영역을 만날 때까지 스켈레톤에 따라 중간부터 양측으로 스캔을 수행하여 몸통의 좌우 에지(edge)을 결정하는 단계를 포함한다.Optionally, extracting the trunk region from the low resolution depth image may include initially determining the trunk region according to the size and positional relationship of each region region in the low resolution skeleton image; Extracting a skeleton of the trunk region by performing a minimum energy skeleton scan on the initially determined trunk region; Excluding an area below the center from the initially determined torso area by considering the area below the center of the entire body area as the lower area; Determining the left and right edges of the body by performing a scan from the middle to both sides according to the skeleton until the background region or four limbs meet the corresponding region region.

선택적으로, 결정된 몸통 영역에 따라 저해상도의 스켈레톤 이미지에서 기타 인체 부위를 초기 분석하는 단계는, 저해상도의 스켈레톤 이미지에 있는 기타 부위 영역이 몸통 영역에 연결된 위치에 따라 기타 인체 부위 영역을 초기 분석하는 단계를 포함한다.Optionally, initial analysis of other human parts in the low resolution skeleton image according to the determined torso region may include initial analysis of other human parts in accordance with the location where other parts of the region in the low resolution skeleton image are connected to the torso area. Include.

선택적으로, 고해상도의 깊이 이미지에 상지와 대응하는 깊이 부위 영역을 이용하여 상지 영역을 최적화하는 단계는, 상지 영역이 초기 분석되었으면 고해상도의 스켈레톤 이미지에서 초기 분석된 상지 영역과 오버랩된 부위 영역을 검색하고 초기 분석된 상지 영역을 상기 깊이 부위 영역까지 확장하는 단계; 상기 영역이 분석되어있지 않으면 고해상도의 스켈레톤 이미지에서 이미 분석된 머리 및/또는 몸통에 대응하는 부위 영역을 검색하고 상기 부위 영역에 있는 주변 영역과 다른 깊이를 구비하는 부위 영역을 후보 상지 영역으로 간주하고 상기 후보 상지 영역 에 있는 주변 영역보다 높은 깊이를 구비하는 후보 상지 영역을 삭제하고 상대적 사이즈와 위치를 결합하여 나머지 후보 상지 영역 에서 최종의 상지 영역을 결정하는 단계를 포함한다.Optionally, optimizing the upper extremity using the depth region corresponding to the upper extremity in the high resolution depth image, searching for the region of overlapping region of the upper extremity analyzed in the high resolution skeleton image once the upper extremity has been analyzed. Extending the initially analyzed upper extremity to the depth area; If the area is not analyzed, the area area corresponding to the head and / or torso already analyzed in the high resolution skeleton image is searched, and the area area having a different depth from the surrounding area in the area area is considered as a candidate upper extremity area. And deleting a candidate upper limb region having a higher depth than the peripheral region in the candidate upper limb region and combining the relative size and position to determine a final upper limb region in the remaining candidate upper limb regions.

선택적으로, 고해상도의 깊이 이미지를 이용하여 초기 분석된 하지 영역을 다리 및 둔부로 구분하는 단계는, 초기 분석된 하지 영역에서 고해상도의 스켈레톤 이미지에 있는 하지 영역에 대응하는 영역을 다리로 간주하고 초기 분석된 하지 영역에 있는 기타 영역을 둔부로 간주하는 단계를 포함한다.Optionally, dividing the initially analyzed lower limb region into the legs and buttocks using the high resolution depth image may regard the area corresponding to the lower limb region in the high resolution skeleton image as the legs and the initial analysis. Other areas in the underlying leg area are considered hip.

선택적으로, 상기 방법은 전처리(preprocessing)단계를 더 포함한다. 전처리 단계에서 획득된 깊이 이미지로부터 배경 영역을 제거한다. Optionally, the method further comprises a preprocessing step. The background area is removed from the depth image obtained in the preprocessing step.

본 발명의 다른 측면에 따라 인체 이미지 분석 장치를 제공한다. 상기 장치는 인체 대상을 포함하는 깊이(depth) 이미지를 획득하는 깊이 이미지 수신부; 상기 깊이 이미지를 대하여 최소 에너지 스켈레톤(skeleton) 스캔을 수행하여 상기 깊이 이미지로부터 복수의 포인트를 검출하는 스켈레톤 스캔부를 포함한다.According to another aspect of the present invention, a human body image analyzing apparatus is provided. The apparatus may include a depth image receiving unit obtaining a depth image including a human body object; And a skeleton scan unit configured to detect a plurality of points from the depth image by performing a minimum energy skeleton scan on the depth image.

선택적으로, 상기 인체 이미지 분석 장치는 획득된 깊이 이미지로부터 배경 영역을 제거하는 전처리부를 더 포함한다.Optionally, the human body image analyzing apparatus further includes a preprocessor for removing a background area from the obtained depth image.

선택적으로, 상기 인체 이미지 분석 장치는 획득된 스켈레톤 포인트를 이용하여 인체의 각 부위를 분석하는 부위 분석부를 더 포함한다.Optionally, the apparatus for analyzing a human body image further includes a site analyzer configured to analyze each part of the human body using the obtained skeleton point.

선택적으로, 상기 부위 분석부는 저해상도의 깊이 이미지로부터 몸통 영역을 추출하는 몸통 분할부; 결정된 몸통 영역에 따라 저해상도의 스켈레톤 이미지로부터 기타 인체 부위를 분석하는 인체 초기 분석부; 및 고해상도의 깊이 이미지에 초기 분석된 상지와 대응하는 부위 영역을 이용하여 상지 영역을 최적화하고 고해상도의 깊이 이미지를 사용하여 초기 분석된 하지 영역을 다리 및 둔부로 구분하는 인체 정밀 분석부를 포함한다.Optionally, the site analysis unit may include: a trunk partition unit configured to extract a trunk area from a low resolution depth image; An initial human analytic unit analyzing other human parts from a low resolution skeleton image according to the determined torso region; And a human body precise analysis unit that optimizes the upper extremity region by using the region region corresponding to the upper limb analyzed initially in the high resolution depth image, and divides the lower region analyzed by the high resolution depth image into the legs and the buttocks.

선택적으로, 몸통 분할부는 저해상도의 스켈레톤 이미지에 각 부위 영역의 사이즈 및 위치 관계에 따라 몸통 영역을 초기 결정하는 몸통 영역 초기 추출부; 초기 결정된 몸통 영역에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 몸통 영역의 스켈레톤을 추출하는 몸통 위치 추정부; 전체 신체 영역의 중심 아래의 영역을 하지 영역으로 간주하여 초기 결정된 몸통 영역에서 상기 중심 아래의 영역을 제외하고 배경 영역 또는 사지(four limbs)가 대응하는 부위 영역을 만날 때까지 스켈레톤에 따라 중간부터 양측으로 스캔을 수행하여 몸통의 좌우 에지(edge)을 결정하는 몸통 영역 정밀화부를 포함한다. Optionally, the trunk segmentation unit may include: a trunk region initial extracting unit configured to initially determine the trunk region according to the size and positional relationship of each region in the low resolution skeleton image; A body position estimator for extracting a skeleton of the body region by performing a minimum energy skeleton scan on the initially determined body region; The area under the center of the entire body area is considered the lower limb area, from the middle to both sides according to the skeleton until the background area or the four limbs meet the corresponding area area except the area below the center in the initially determined torso area. It includes a body region refiner for performing a scan to determine the left and right edges of the body.

선택적으로, 상지 영역이 초기 분석되었으면 인체 정밀 분석부는 고해상도의 스켈레톤 이미지에서 초기 분석된 상지 영역과 오버랩된 부위 영역을 검색하고 초기 분석된 상지 영역을 상기 깊이 부위 영역까지 확장한다. 상기 영역이 분석되어있지 않으면 인체 정밀 분석부는 고해상도의 스켈레톤 이미지에서 이미 분석된 머리 및/또는 몸통에 대응하는 부위 영역을 검색하고 상기 부위 영역에 있는 주변 영역과 다른 깊이를 구비하는 부위 영역을 후보 상지 영역으로 간주하고 상기 후보 상지 영역 에 있는 주변 영역보다 높은 깊이를 구비하는 후보 상지 영역을 삭제하고 상대적 사이즈와 위치를 결합하여 나머지 후보 상지 영역 에서 최종의 상지 영역을 결정한다.Optionally, if the upper extremity region was initially analyzed, the human body precise analysis unit searches for a region of the region overlapping with the initially analyzed upper region in the high resolution skeleton image and extends the initially analyzed upper region to the depth region. If the region is not analyzed, the human body precise analysis unit searches for the region of the region corresponding to the head and / or torso already analyzed in the high resolution skeleton image, and selects the region of the region having a different depth from the surrounding region in the region of the candidate region. The candidate upper limb region is regarded as a region and has a depth higher than the peripheral region in the candidate upper limb region, and the relative upper limb region is determined in the remaining candidate upper limb regions by combining the relative sizes and positions.

이하, 본 발명의 다른 측면 및/또는 장점에 따라 자세히 설명하도록 한다. 본 발명은 실시예에 대한 설명을 통해 더욱 명확하게 된다.It will be described in detail below according to other aspects and / or advantages of the present invention. The present invention will become clearer through the description of the embodiments.

도 1은 본 발명의 일실시예에 따른 인체 이미지 분석 장치를 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 인체 이미지 분석 장치의 스켈레톤 스캔부에 의하여 획득된 스켈레톤의 예시를 도시한 것이다.
도 3은 본 발명의 일실시예에 따라, 서른 다른 깊이 대비 문턱 값에 의하여 획득된 스켈레톤에 대한 대비를 도시한 것이다.
도 4는 본 발명의 일실시예에 따라, 서른 다른 스캔 방향으로 획득된 스켈레톤에 대한 대비를 도시한 것이다.
도 5는 본 발명의 일실시예에 따라, 서른 다른 조건에 의하여 획득된 스켈레톤 정보를 융합하는 것을 도시한 것이다.
도 6은 본 발명의 일실시예에 따른 부위 분석부를 도시한 블록도이다.
도 7은 본 발명의 일실시예에 따라, 몸통 영역을 분석하는 처리 과정을 도시한 것이다.
도 8은 본 발명의 일실시예에 따라, 서른 다른 조건에 의하여 획득된 스켈레톤 정보를 융합하는 처리 과정을 도시한 흐름도이다.
도 9는 인체 정밀 분석부에 의하여 실행된 처리의 예시를 도시한 것이다.
도 10은 본 발명의 일실시예에 따른 인체 이미지 분석 방법을 도시한 흐름도이다.
도 11은 본 발명의 다른 일실시예에 따른 인체 이미지 분석 방법을 도시한 흐름도이다.1 is a block diagram illustrating a human body image analyzing apparatus according to an embodiment of the present invention.
Figure 2 shows an example of the skeleton obtained by the skeleton scanning unit of the human body image analysis device according to an embodiment of the present invention.
Figure 3 illustrates the contrast for the skeleton obtained by the threshold value compared to thirty different depths, according to one embodiment of the invention.
4 illustrates the contrast for a skeleton obtained in thirty different scan directions, according to one embodiment of the invention.
5 illustrates the fusion of skeleton information obtained under thirty different conditions, according to one embodiment of the invention.
6 is a block diagram showing a site analysis unit according to an embodiment of the present invention.
7 illustrates a process of analyzing a trunk region according to an embodiment of the present invention.
8 is a flowchart illustrating a process of fusing skeleton information obtained under thirty different conditions, according to an embodiment of the present invention.
9 shows an example of the processing executed by the human body precision analysis unit.
10 is a flowchart illustrating a method of analyzing a human body image according to an embodiment of the present invention.
11 is a flowchart illustrating a method of analyzing a human body image, according to another exemplary embodiment.

이하, 본 발명의 실시예들에 대하여 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 인체 이미지 분석 장치를 도시한 블록도이다.1 is a block diagram illustrating a human body image analyzing apparatus according to an embodiment of the present invention.

도1에 도시된 바와 같이, 본 발명의 인체 이미지 분석 장치(100)은 깊이 이미지 수신부(110), 전처리(preprocessing)부(120), 및 스켈레톤 스캔부(130)를 포함한다. As illustrated in FIG. 1, the apparatus 100 for analyzing a human body image of the present invention includes a depth image receiver 110, a preprocessing unit 120, and a skeleton scanning unit 130.

깊이 이미지 수신부(110)는 인체 대상을 포함하는 깊이 이미지를 수신한다. 예를 들어, 깊이 이미지 수신부(110)는 깊이 이미지 촬영 장비, 저장 장치, 네트워크 등 각종 깊이 이미지를 구비하는 소스로부터 깊이 이미지를 수신할 수 있다. The depth image receiver 110 receives a depth image including a human body object. For example, the depth image receiver 110 may receive a depth image from a source having various depth images, such as a depth image photographing device, a storage device, and a network.

전처리부(120)는 깊이 이미지 수신부(110)가 수신된 깊이 이미지에 대하여 전처리 수행한다. 예를 들어, 깊이 이미지에 대하여 노이즈(noise) 필터링을 수행하고 깊이 이미지에서 배경 영역을 결정하며 배경 영역을 제거하여 전처리된 깊이 이미지를 획득한다. 또한 현재의 각종 배경 제거 기술을 이용하여 깊이 이미지에 있는 배경을 제거할 수 있다. 따라서 처리해야 할 데이터를 줄이고 인체가 존재하는 영역을 초기단계로 획득할 수 있다.The preprocessor 120 performs the preprocessing on the received depth image by the depth image receiver 110. For example, noise filtering is performed on the depth image, the background region is determined from the depth image, and the background region is removed to obtain a preprocessed depth image. In addition, current background removal techniques can be used to remove a background in a depth image. Therefore, it is possible to reduce the data to be processed and to acquire the region in which the human body is present at an early stage.

스켈레톤 스갠부(130)는 깊이 이미지 수신부(110)가 수신된 깊이 이미지 또는 전처리된 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 인체의 스켈레톤 포인트 또는 스켈레톤을 검출한다. The skeleton skeleton 130 detects a skeleton point or skeleton of the human body by performing a minimum energy skeleton scan on the received depth image or the preprocessed depth image by the depth image receiver 110.

도 2는 검출된 스켈레톤의 예시를 도시한 것이다.2 shows an example of the detected skeleton.

최소 에너지 스켈레톤 스캔은 깊이 이미지에 대한 사이즈 및 깊이 연속성을 제약 조건으로 하는 에너지 함수를 최소화하여 깊이 이미지로부터 여러 포인트를 획득하는 것을 의미한다. 상기 여러 포인트를 스켈레톤 포인트라고 부르며, 이에 따라 스켈레톤이 형성된다. Minimum energy skeleton scan means obtaining several points from the depth image by minimizing an energy function that constrains the size and depth continuity for the depth image. These various points are called skeleton points, which form a skeleton.

상기 에너지 함수는 깊이 이미지의 각 픽셀(pixel)을 스켈레톤 포인트 또는 비 스켈레톤 포인트로 간주하는 확률에 대한 반수 합(sum of opposite number)의 대수(logarithm)를 의미한다.The energy function refers to the logarithm of the sum of opposite numbers for the probability of considering each pixel of the depth image as a skeleton point or a non-skeleton point.

상기 에너지 함수가 가장 작으면, 하나의 픽셀이 스켈레톤 포인트로 되는 확률에 의하여 상기 에너지 함수가 최소화 되면 상기 픽셀을 스켈레톤 포인트로 결정하고, 하나의 픽셀이 비 스켈레톤 포인트로 되는 확률에 의하여 상기 에너지 함수가 최소화 되면 상기 픽셀을 비 스켈레톤 포인트로 결정한다.If the energy function is the smallest, if the energy function is minimized by the probability that one pixel becomes a skeleton point, the pixel is determined as a skeleton point, and the energy function is determined by the probability that one pixel becomes a non-skeleton point. When minimized, the pixel is determined as a non-skeleton point.

다시 말하면, 상기 에너지 함수가 최소의 경우, 하나의 픽셀이 스켈레톤 포인트로 (비 스켈레톤 포인트로 아닌) 되는 확률을 상기 합에 적용하면 상기 픽셀을 스켈레톤 포인트로 결정하고, 하나의 픽셀이 비 스켈레톤 포인트로(스켈레톤 포인트로 아닌) 되는 확률을 상기 합에 적용하면 상기 픽셀을 비 스켈레톤 포인트로 결정한다. 여기서 확률에 따라 픽셀이 스켈레톤 포인트인지 결정하는 것이 아니라, 스켈레톤 포인트로 상기 합의 계산에 적용하는지 아니면 비 스켈레톤 포인트로 상기 합의 계산에 적용하는지에 따라 고려해야 한다. In other words, if the energy function is minimal, then applying the probability that one pixel is a skeleton point (not a non-skeleton point) to the sum determines that pixel is a skeleton point, and one pixel is a non-skeleton point. Applying the probability of being (not a skeleton point) to the sum determines the pixel as a non-skeleton point. Here, rather than determining whether a pixel is a skeleton point based on probability, it should be considered whether it applies to the calculation of the sum as a skeleton point or to the calculation of the sum as a non-skeleton point.

일예시로, 사이즈 및 깊이 연속성을 제약 조건으로 하는 에너지 함수는 아래 등식(1)으로 표시될 수 있다.In one example, an energy function that constrains size and depth continuity may be represented by equation (1) below.

등식（1）Equation (1)

상기 등식에 있어서, Im는 깊이 이미지를 의미하고, x는 깊이 이미지Im의 픽셀을 의미하고,

는 픽셀 x가 스켈레톤 포인트 아니면 비 스켈레톤 포인트를 의미한다. X가 스켈레톤 포인트이면,

=1， X가 비 스켈레톤 포인트이면,

=0. p(x;1)는 픽셀 x가 스켈레톤 포인트로 되는 확률을 의미하고, p(x;0)는 픽셀 x가 비 스켈레톤 포인트로 되는 확률을 의미하고, n>0 (n≠1).In the above equation, Im means depth image, x means pixel of depth image Im,

Means pixel x is a skeleton point or a non-skeleton point. If X is a skeleton point,

= 1 ， If X is non skeleton point,

= 0. p (x; 1) means the probability that pixel x becomes a skeleton point, p (x; 0) means the probability that pixel x becomes a non-skeleton point, and n> 0 (n ≠ 1).

두 반대 방향의 깊이 대비 및 깊이 대비 문턱 값(Threshold Value)중에 가장 작은 값의 정규화(normalized) 값에 따라, 픽셀이 스켈레톤 포인트로 간주되는 확률을 결정한다. 즉, p(x;1).The probability of a pixel being considered a skeleton point is determined according to the normalized value of the smallest of the two contrasting depth and threshold values. P (x; 1).

깊이 대비는 예정된 방향θ에서 픽셀x과 예정된 거리lx로 떨어져 있는 픽셀

과 픽셀

에 인접한 픽셀

의 깊이 값 차이의 절대 값을 의미한다. 이에 따라, 예정된 방향θ과 반대 방향의 깊이 대비는 예정된 방향θ-π에서 픽셀x과 예정된 거리lx로 떨어져 있는 픽셀

과 픽셀

에 인접한 픽셀

의 깊이 값 차이를 의미한다.Depth contrast is a pixel away from pixel x and a predetermined distance lx in a predetermined direction θ.

And pixels

Pixels adjacent to

The depth value of the means the absolute value of the difference. Accordingly, the depth contrast in the opposite direction to the predetermined direction θ is equal to the pixel spaced apart from the pixel x at the predetermined distance lx in the predetermined direction θ−π.

And pixels

Pixels adjacent to

Means the difference between the depth values.

바람직한 것으로, 픽셀

은 방향θ 또는θ-π에서 픽셀

에 인접된 픽셀인 것이고, 픽셀

은 방향θ 또는θ-π에서 픽셀

에 인접된 픽셀인 것이다. Preferably pixel

Is the pixel in the direction θ or θ-π

Is a pixel adjacent to

Is the pixel in the direction θ or θ-π

It is the pixel adjacent to.

픽셀x가 스켈레톤 포인트로 되는 확률은 아래 등식(2)로 표시될 수 있다.The probability that pixel x becomes a skeleton point can be expressed by the following equation (2).

등식（2）Equation (2)

상기 등식(2)에 있어서,

는 픽셀

의 깊이 값을 의미하고,

는 픽셀

의 깊이 값을 의미하고,

는 픽셀

의 깊이 값을 의미하고,

는 픽셀

의 깊이 값을 의미하고, T는 깊이 대비 문턱 값을 의미하고, D는 정규화를 위한 대비를 의미하고, D≥T.In the above equation (2),

Is a pixel

Means the depth value of

Is a pixel

Means the depth value of

Is a pixel

Means the depth value of

Is a pixel

Means a depth value of, T means a threshold value versus depth, D means contrast for normalization, and D≥T.

픽셀x가 비 스켈레톤 포인트로 되는 확률은 아래 등식(3)으로 표시될 수 있다.The probability that the pixel x becomes a non-skeleton point can be expressed by the following equation (3).

등식（3）Equation (3)

다른 일실시예에 따라, lx 는 깊이 대비 문턱 값T 과 관련된다. 이 경우, lx 는 각 방향의 스캔에 의하여 깊이 대비 제약을 만족시키는 최소 거리인 것을 의미하고, 여기서 거리lx는 아래 등식(4)로 표시할 수 있다.According to another embodiment, lx is associated with a threshold value T versus depth. In this case, lx means the minimum distance that satisfies the depth contrast constraint by scanning in each direction, where the distance lx can be represented by the following equation (4).

등식（4）Equation (4)

는 거리l의 값 범위(value range)를 의미하고,

는 방향θ에서 픽셀x과 예정된 거리l로 떨어져 있는 픽셀의 깊이 값을 의미하고,

는 픽셀x과 예정된 거리l로 떨어져 있는 픽셀에 인접한 한 픽셀의 깊이 값을 의미한다.

Means the value range of distance l,

Is the depth value of the pixel away from the pixel x in the direction θ by the predetermined distance l,

Denotes a depth value of one pixel adjacent to a pixel that is separated from pixel x by a predetermined distance l.

서로 다른 인체 부위를 검출하기 위해,

는 서로 다른 값을 구비할 수 있다. 이는 측정된 부위의 상대적 길이와 관련된다. 예를 들어, 상지만 검출할 때 획득된 값은 전체 인체를 검출할 때 획득된 값보다 작을 수 있다. To detect different parts of the human body,

May have different values. This is related to the relative length of the site measured. For example, the value obtained when detecting only the upper part may be smaller than the value obtained when detecting the entire human body.

이에 따라, 깊이 이미지로부터 획득된 스켈레톤 포인트 및 스켈레톤에 의하여 인체 영역을 더욱 정확하게 검출할 수 있다. 또한 스켈레톤 포인트 또는 스켈레톤이 인체 각 부위의 기본적인 위치 및 형상을 표시할 수 있으므로 스켈레톤 포인트 또는 스켈레톤을 직접 사용하여 쉽게 인체의 각종 자세를 표시할 수 있다.Accordingly, the human body region can be more accurately detected by the skeleton point and the skeleton obtained from the depth image. In addition, since the skeleton point or skeleton can display the basic position and shape of each part of the human body, it is possible to easily display various postures of the human body by directly using the skeleton point or the skeleton.

또한, 다른 실시예에 따르면, 복수의 방향θ 및/또는 복수의 깊이 대비 문턱 값T을 사용하여 최소 에너지 스켈레톤 스캔을 실행하고 그 결과에 따라 융합하면 더욱 정확한 스켈레톤을 획득할 수 있다. Further, according to another embodiment, a more accurate skeleton can be obtained by performing a minimum energy skeleton scan using a plurality of directions θ and / or a plurality of depth-to-depth thresholds T and fusing accordingly.

본 발명의 깊이 대비 문턱 값T의 크기에 따라 스켈레톤 정보를 획득한 수준을 알 수 있다. 깊이 대비 문턱 값T가 작을수록 획득된 스켈레톤 정보가 더 풍부함으로 실제 필요성에 따라 깊이 대비 문턱 값T을 설정할 수 있다. 예를 들어, 상대적으로 사이즈가 큰 인체 부위(예, 몸통)을 검출할 때 큰 깊이 대비 문턱 값T을 설정할 수 있고, 상대적으로 사이즈가 작은 인체 부위(예, 팔)를 검출할 때 작은 깊이 대비 문턱 값T을 설정할 수 있다.It is possible to know the level at which the skeleton information is obtained according to the size of the threshold value T compared to the depth of the present invention. The smaller the threshold value T compared to the depth, the richer the obtained skeleton information can be set to the threshold value T according to the actual needs. For example, a large depth contrast threshold T can be set when detecting a relatively large body part (e.g. a torso) and a small depth contrast when detecting a relatively small body part (e.g. an arm). The threshold value T can be set.

예컨대, 도3(a)는 큰 깊이 대비 문턱 값T의 검출 결과를 도시한 것이고 도3(b)는 작은 깊이 대비 문턱 값T의 검출 결과를 도시한 것이다. 도3(a)에서는 깊이 대비 문턱 값T가 커서 몸통과 오버랩된 팔의 스켈레톤을 추출할 수 없다. 도3(b)에서는 깊이 대비 문턱 값T가 작기 때문에 몸통과 오버랩된 팔의 스켈레톤을 추출할 수 있다.For example, FIG. 3 (a) shows the detection result of the large depth threshold T and FIG. 3 (b) shows the detection result of the small depth contrast T. In Fig. 3 (a), the threshold value T is greater than the depth, so that the skeleton of the arm overlapping the body cannot be extracted. In FIG. 3 (b), since the threshold value T is smaller than the depth, the skeleton of the arm overlapping the trunk can be extracted.

그러나, 깊이 대비 문턱 값T 가 크면 스켈레톤 정보는 풍부하지만, 획득된 스켈레톤 포인트가 질서가 없고 노이즈가 존재할 가능성이 높다. 따라서 각종 자동 적응 방식을 사용하여 깊이 대비 문턱 값의 크기를 획득할 수 있다. 구체적으로 대비 이미지의 노이즈 크기 및 측정된 목표의 사이즈를 고려하여 깊이 대비 문턱 값T를 결정한다. However, if the threshold value T to depth is large, the skeleton information is abundant, but there is a high possibility that the obtained skeleton points are out of order and noise is present. Therefore, the size of the threshold value versus the depth can be obtained by using various automatic adaptation methods. Specifically, the threshold value T is compared to the depth in consideration of the noise size of the contrast image and the measured target size.

또한 서로 다른 깊이 대비 문턱 값T을 이용해서 획득된 결과를 융합하여 더욱 정확한 스켈레톤 정보를 획득할 수 있다. In addition, more accurate skeleton information can be obtained by fusing the results obtained by using threshold values T for different depths.

또한, 서로 다른 방향θ을 사용하여 획득된 스켈레톤 정보도 서로 다르다. 예를 들어, 도4(a)는 예정된 방향θ이 수평 방향인 경우에 획득된 결과를 도시한 것이고 도4(b)는 예정된 방향θ이 수직 방향인 경우에 획득된 결과를 도시한 것이다. 도시한 바와 같이, 예정된 방향θ이 수평 방향인 경우, 수평 방향의 스켈레톤이 부족하고 예정된 방향θ이 수직 방향인 경우, 수직 방향의 스켈레톤이 부족한 것을 볼 수 있다.In addition, the skeleton information obtained by using different directions θ is also different. For example, Fig. 4 (a) shows the result obtained when the predetermined direction θ is the horizontal direction, and Fig. 4 (b) shows the result obtained when the predetermined direction θ is the vertical direction. As illustrated, when the predetermined direction θ is the horizontal direction, the skeleton in the horizontal direction is insufficient, and when the predetermined direction θ is the vertical direction, it can be seen that the skeleton in the vertical direction is insufficient.

따라서 더욱 정확한 결과를 획득하기 위해, 서로 다른 방향θ및/또는 서로 다른 깊이 대비 문턱 값 T을 사용하여 획득된 스켈레톤 정보를 융합 또는 합병할 수 있다.Thus, in order to obtain a more accurate result, it is possible to fuse or merge the obtained skeleton information using different directions θ and / or different depth versus threshold values T.

융합 또는 합병을 수행하는 일예시에서 서로 다른 방향θ및/또는 서로 다른 깊이 대비 문턱 값 T을 사용하여 획득된 스켈레톤 포인트 또는 스켈레톤을 오버랩 또는 합병할 수 있다.In one example of performing fusion or merging, the skeleton points or skeletons obtained may be overlapped or merged using different directions θ and / or threshold values T for different depths.

도 5는 도4(a) 및 도4(b)를 오버레이하여 획득된 결과를 도시한 것이다.FIG. 5 shows the results obtained by overlaying FIGS. 4 (a) and 4 (b).

다른 융합 또는 합병의 예시에서, 서로 다른 방향θ및/또는 서로 다른 깊이 대비 문턱 값 T을 사용하여 획득된 대응하는 각 스켈레톤의 오버랩 수준에 따라 오버레이 실행여부를 결정한다. 대응하는 복수의 스켈레톤의 오버랩 수준이 예정된 문턱 값보다 크면 가장 긴 스켈레톤을 최종의 스켈레톤으로 간주하고, 스켈레톤의 오버랩 수준이 예정된 문턱 값보다 작거나 같으면 대응하는 복수의 스켈레톤에 대해 오버레이를 수행한다.In another example of fusion or merger, overlay execution is determined according to the overlap level of each corresponding skeleton obtained using different directions θ and / or different depth versus threshold values T. If the overlap level of the corresponding plurality of skeletons is greater than the predetermined threshold value, the longest skeleton is considered as the final skeleton, and if the overlap level of the skeleton is less than or equal to the predetermined threshold value, overlay is performed on the corresponding plurality of skeletons.

예를 들어, 가장 짧은 스켈레톤과 가장 긴 스켈레톤의 오버랩 수순만 고려할 수 있다. 또한 기타 오버랩 통계 방법을 사용하여 상기 오버랩 수준을 결정할 수 있다. For example, only the overlap order of the shortest skeleton and the longest skeleton can be considered. Other overlap statistic methods may also be used to determine the overlap level.

또한 다른 융합의 예시에서, 서로 다른 방향θ및/또는 서로 다른 깊이 대비 문턱 값 T을 사용하여 획득된 스켈레톤 포인트 또는 스켈레톤이 대응하는 각 영역의 오버랩 수준에 따라 오버레이 실행여부를 결정한다. 이하, 도8을 참조하여 상기 예시를 설명한다.Also, in another example of fusion, a skeleton point or skeleton obtained using different directions θ and / or different depth-to-depth values T determines whether overlaying is performed according to the overlap level of each region corresponding thereto. Hereinafter, the above example will be described with reference to FIG.

도 8은 본 발명의 일실시예에 따라, 서른 다른 조건에 의하여 획득된 스켈레톤 정보를 융합하는 처리 과정을 도시한 흐름도이다.8 is a flowchart illustrating a process of fusing skeleton information obtained under thirty different conditions, according to an embodiment of the present invention.

단계801에서 서로 다른 예정된 방향θ 및/또는 서로 다른 깊이 대비 문턱 값T을 이용해서 멀티 그룹의 스켈레톤을 획득하고 복수의 스켈레톤 이미지를 획득한다. 서로 다른 예정된 방향θ 및/또는 서로 다른 깊이 대비 문턱 값 T가 하나의 그룹 스켈레톤 및 하나의 스켈레톤 이미지에 대응한다. 예를 들어, 3개의 예정된 방향θ 및 4개의 깊이 대비 문턱 값T을 이용하면 12개 그룹의 스켈레톤 및 12개의 스켈레톤 이미지를 획득할 수 있다.In step 801, a multi-group skeleton is obtained by using different predetermined directions θ and / or different threshold values T of different depths, and a plurality of skeleton images are obtained. Different predetermined directions θ and / or different depth contrast thresholds T correspond to one group skeleton and one skeleton image. For example, using three predetermined directions θ and four depth-to-depth thresholds T, 12 groups of skeletons and 12 skeleton images can be obtained.

편하게 설명하기 위해 스켈레톤 정보를 표시하는 깊이 이미지를 스켈레톤 이미지라고 한다.For the sake of convenience, the depth image that displays the skeleton information is called a skeleton image.

단계802에서 위치 및 깊이의 연속적인 제약에 의하여 각 스켈레톤 이미지에 있는 스켈레톤을 해당하는 부위 유형에 분류시킨다.In step 802, the skeleton in each skeleton image is classified into the corresponding site type by successive constraints of position and depth.

여기서 각 부위 유형은 특정의 인체 부위(예, 상지, 하지, 몸통, 머리 등)를 의미한다.Here each type of region refers to a specific body part (eg upper limb, lower limb, torso, head, etc.).

단계803에서 각 스켈레톤 이미지에 있는 각 부위 유형의 스켈레톤을 생장하여 각 스켈레톤 이미지에서 각 부위 유형에 대응하는 부위 영역을 획득한다.In step 803, a skeleton of each region type in each skeleton image is grown to obtain a region of regions corresponding to each region type in each skeleton image.

이하, 스켈레톤 생장의 일예시에 따라 설명한다. 검측하는 과장에서 각 스켈레톤 포인트를 하나의 고정된 방향

및 거리

에 대응하고 방향

및 그의 반대 방향으로 각각 상기 스켈레톤 포인트를 거리

만큼 확장하여 하나의 라인을 획득할 수 있다. 상기 방법에 따라 모두의 스켈레톤 포인트를 확장하면 하나의 연결된 영역, 즉 부위 영역을 획득할 수 있다.Hereinafter, it demonstrates according to an example of skeleton growth. In a section that detects each skeleton point, one fixed direction

And distance

Corresponding to the direction

And distance the skeleton points in opposite directions, respectively.

One line can be obtained by expanding by. According to the above method, when all the skeleton points are extended, one connected area, that is, a area area, can be obtained.

또한, 기타의 픽셀 확장 방식으로 스켈레톤 생장을 실현할 수 있다.In addition, skeleton growth can be realized by other pixel expansion methods.

예를 들어, 상지, 하지, 몸통, 머리를 구분하는 방식으로 상지 영역, 하지 영역, 몸통 영역, 머리 영역을 획득할 수 있다.For example, the upper limb region, the lower limb region, the lower limb region, the trunk region, and the head region may be obtained by dividing the upper limb, the lower limb, the torso, and the head.

예를 들어, 스켈레톤 이미지에 있는 하나의 상지의 스켈레톤을 생장하면 생장된 부분은 즉 상지 영역인 것이다. 이에 따라 스켈레톤의 그룹 계수와 같은 개수의 상지 영역을 획득할 수 있다(예를 들어, 3개의 예정된 방향θ 및 4개의 깊이 대비 문턱 값T를 이용하면 12개의 상지 영역을 획득할 수 있다).For example, if you grow a skeleton of one upper limb in a skeleton image, the portion that grows is the upper limb area. Accordingly, the same number of upper extremity regions as the group coefficient of the skeleton can be obtained (for example, 12 upper extremity regions can be obtained by using three predetermined directions θ and four threshold values T for depth).

여기서, 상기 분류 과정은 초기의 분류 과정인 것이고 일부 유형의 부위는 스켈레톤 없거나 스켈레톤이 다른 잘 못된 부위의 유형에 분류시키는 가능성도 있다.Here, the classification process is an initial classification process, and there is a possibility that some types of sites are classified into types of wrong sites having no skeleton or other skeletons.

단계804에서 서로 다른 스켈레톤 이미지에 대응하는 각 부위 영역의 오버랩 수준에 따라 상기 부위 영역이 생장된 스켈레톤을 융합한다. 예를 들어, 서로 다른 스켈레톤 이미지에 대응하는 몸통 영역의 오버랩 수준에 따라 서로 다른 스켈레톤 이미지에서 몸통 영역이 생장된 스켈레톤을 융합한다. In step 804, the region in which the region is grown is fused according to the overlap level of each region region corresponding to the different skeleton image. For example, a skeleton in which a trunk region is grown in different skeleton images is fused according to an overlap level of a trunk region corresponding to different skeleton images.

대응하는 각 부위 영역의 오버랩 수준이 예정된 문턱 값보다 크면, 가장 긴 스켈레톤을 이용하여 최종의 스켈레톤으로 간주하고, 대응하는 각 부위 영역의 오버랩 수준이 예정된 문턱 값보다 작으면 스켈레톤 이미지에서 상기 부위 영역이 생장된 스켈레톤을 오버레이(overlay한다If the overlap level of each corresponding area region is greater than the predetermined threshold value, the longest skeleton is used as the final skeleton, and if the overlap level of each corresponding area region is smaller than the predetermined threshold value, the area region in the skeleton image Overlay the growing skeleton

또한 면적이 가장 작은 영역과 가장 큰 영역의 오버랩 수준을 고려할 수 있고 기타 오버랩 수준 통계 방법으로 상기 오버랩 수준을 결정할 수 있다.In addition, it is possible to consider the overlap level between the smallest area and the largest area, and determine the overlap level by other overlap level statistical methods.

예를 들어, 예정된 문턱 값이 50%라고 가정한다. 도4(a) 및 도4(b)에서 좌측의 팔에 대응한 스켈레톤을 생장하여 획득된 각 부위 영역의 오버랩 수준이 80%을 넘으면 도4(a)에 있는 왼팔에 대응하는 스켈레톤을 융합 결과의 최종 스켈레톤으로 간주한다.For example, assume that the predetermined threshold is 50%. 4A and 4B, when the overlap level of each part region obtained by growing the skeleton corresponding to the left arm exceeds 80%, the result of the fusion of the skeleton corresponding to the left arm in FIG. 4 (a) Is considered the final skeleton of.

도5(b)은 오버랩을 고려하여 도4(a) 및 도4(b)을 오버레이하여 획득된 결과를 도시한 것이다. 도5(b)에서 획득된 결과는 완벽하고 노이즈 포인트가 적다.FIG. 5 (b) shows the result obtained by overlaying FIGS. 4 (a) and 4 (b) in consideration of the overlap. The result obtained in Fig. 5B is perfect and there are few noise points.

또 다른 실시예를 따르면 서로 다른 예정된 방향θ 및/또는 서로 다른 깊이 대비 문턱 값T을 이용해서 멀티 그룹의 스켈레톤을 획득하고 같은 깊이 대비 문턱 값T로 획득된 스켈레톤을 융합하여 이용하는 깊이 대비 문턱 값T의 개수와 같은 그룹 계수의 스켈레톤을 획득한다. 상대적으로 큰 깊이 대비 문턱 값T(예, 예정된 문턱 값TL보다 큰 깊이 대비 문턱 값T)에 대응하는 스켈레톤을 전경 스켈레톤이라고 하고 상대적으로 작은 깊이 대비 문턱 값T(예, 예정된 문턱 값TL보다 작은 또는 같은 깊이 대비 문턱 값T에 대응하는 스켈레톤을 깊이 스켈레톤이라고 한다.According to another embodiment, a depth-to-threshold value T is obtained by obtaining a multi-group skeleton using different predetermined directions θ and / or different depth-to-depth threshold values T, and fusing a skeleton obtained with the same depth-to-depth threshold value T. Obtain the skeleton of the group coefficient equal to the number of times. A skeleton corresponding to a relatively large depth contrast threshold T (e.g., a depth contrast threshold greater than a predetermined threshold TL) is called a foreground skeleton and a relatively small depth contrast threshold T (e.g., less than or equal to a predetermined threshold TL). The skeleton corresponding to the same depth versus threshold value T is called the depth skeleton.

전경 스켈레톤과 비교하면 깊이 스켈레톤은 더 많은 사소한 부분을 반영할 수 있다.Compared to the foreground skeleton, the depth skeleton can reflect more minor details.

전경 스켈레톤을 표시된 깊이 이미지에서 전경 스켈레톤을 생장하여 획득된 영역을 전경 부위 영역으로 간주하고 전경 부위 영역이 생장된 깊이 이미지를 저해상도의 스켈레톤 이미지로 간주한다.The area obtained by growing the foreground skeleton in the displayed depth image is regarded as the foreground area area, and the depth image in which the foreground area area is grown is regarded as a low resolution skeleton image.

깊이 스켈레톤을 표시된 깊이 이미지에서 깊이 스켈레톤을 생장하여 획득된 영역을 깊이 부위 영역으로 간주하고 깊이 부위 영역이 생장된 깊이 이미지를 고해상도의 스켈레톤 이미지로 간주한다.Depth skeleton is regarded as the depth region region obtained by growing the depth skeleton in the displayed depth image, and the depth image in which the depth region region is grown is regarded as a high resolution skeleton image.

이하, 일예시를 참고하여 두 개의 방향(예, 수직 방향 및 수평 방향)으로 서로 다른 두 개의 깊이 대비 문턱 값T을 이용하여 최소 에너지 스켈레톤 스캔을 수행하는 것을 설명한다.Hereinafter, a method of performing a minimum energy skeleton scan using two different depth-to-depth threshold values T in two directions (eg, a vertical direction and a horizontal direction) will be described with reference to an example.

우선, 서로 다른 두 개의 방향 및 두 개의 깊이 대비 문턱 값T을 사용하며 최소 에너지 스켈레톤 스캔을 수행하여 4개의 그룹 스켈레톤을 획득할 수 있다.First , four group skeletons can be obtained by performing a minimum energy skeleton scan using two different directions and two depth-to-depth thresholds T.

구체적으로, 제1방향으로 제1 깊이 대비 문턱 값T을 사용하며 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 제1 전경 스켈레톤을 획득한다. In detail, the first foreground skeleton is obtained by performing a minimum energy skeleton scan on the depth image using the threshold value T in the first direction.

제1 방향으로 제2 깊이 대비 문턱 값T을 사용하며 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 제1 깊이 스켈레톤을 획득한다. 여기서 제1 깊이 대비 문턱 값T가 제2 깊이 대비 문턱 값T보다 크다.A first depth skeleton is obtained by performing a minimum energy skeleton scan on the depth image using the threshold value T in the first direction. Here, the first depth threshold T is greater than the second depth threshold T.

제2방향으로 제1 깊이 대비 문턱 값T을 사용하며 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 제2 전경 스켈레톤을 획득한다. A second foreground skeleton is obtained by performing a minimum energy skeleton scan on the depth image using the threshold value T in the second direction.

제2 방향으로 제2 깊이 대비 문턱 값T을 사용하며 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 제2 깊이 스켈레톤을 획득한다.A second depth skeleton is obtained by performing a minimum energy skeleton scan on the depth image using the threshold value T in the second direction.

그 다음, 위치 및 깊이의 연속적인 제약에 의하여 각 스켈레톤 그룹에 있는 스켈레톤을 해당하는 부위 유형에 분류시킨다. 바람직한 것은 길이 예정된 문턱 값보다 작은 스켈레톤을 제거하여 노이즈 영향을 낮춘다.The skeletons in each skeleton group are then classified into corresponding site types by successive constraints of position and depth. Desirable is to reduce the effect of noise by eliminating skeletons whose length is less than the predetermined threshold.

이어서 각 스켈레톤 그룹에 대하여, 각 부위 유형의 스켈레톤을 생장하여 각 부위 유형에 대응하는 영역을 획득한다.Then, for each skeleton group, a skeleton of each site type is grown to obtain a region corresponding to each site type.

최종으로, 각 부위 유형에 대하여, 4개 그룹의 스켈레톤에 대응하는 각 영역의 오버랩 수준에 따라 융합한다. 대응하는 영역들의 오버랩 수준이 예정된 문턱 값보다 크면 가장 긴 스켈레톤을 최종의 스켈레톤으로 간주하고 대응하는 영역들의 오버랩 수준이 예정된 문턱 값보다 작거나 같으면 스켈레톤을 오버레이한다.Finally, for each site type, fusion is performed according to the overlap level of each region corresponding to four groups of skeletons. The longest skeleton is considered the final skeleton if the overlap level of the corresponding regions is greater than the predetermined threshold value, and the skeleton is overlaid if the overlap level of the corresponding regions is less than or equal to the predetermined threshold value.

다른 예시에서는 4개 그룹의 스켈레톤을 융합한 것이 아니라, 제1전경 스켈레톤 및 제2 전경 스켈레톤을 융합하고 제2 깊이 스켈레톤 및 제1 깊이 스켈레톤을 융합한다.In another example, rather than fusion of four groups of skeletons, the first foreground skeleton and the second foreground skeleton are fused and the second depth skeleton and the first depth skeleton are fused.

구체적으로, 제1 전경 스켈레톤 및 제2 전경 스켈레톤에 대응하는 복수의 영역들의 오버랩 수준에 따라 제1 전경 스켈레톤 및 제2 전경 스켈레톤을 융합하여 전경 스켈레톤을 획득한다. 또한 제1 깊이 스켈레톤 및 제2 깊이 스켈레톤에 대응하는 복수의 영역들의 오버랩 수준에 따라 제2 깊이 스켈레톤 및 제2 깊이 스켈레톤을 융합하여 깊이 스켈레톤을 획득한다. In detail, the foreground skeleton is obtained by fusing the first foreground skeleton and the second foreground skeleton according to the overlap level of the plurality of regions corresponding to the first foreground skeleton and the second foreground skeleton. In addition, the depth skeleton is obtained by fusing the second depth skeleton and the second depth skeleton according to the overlap level of the plurality of regions corresponding to the first depth skeleton and the second depth skeleton.

전경 스켈레톤을 생장하여 획득된 영역을 전경 부위 영역이라고 하고 깊이 스켈레톤을 생장하여 획득된 영역을 깊이 부위 영역이라고 한다. An area obtained by growing the foreground skeleton is called a foreground area area, and an area obtained by growing the depth skeleton is called a depth area area.

실제의 응용에서는 본 발명의 방식으로 획득된 스켈레톤 정보를 직접 사용할 수 있다. 또한 획득된 스켈레톤 정보에 따라 더욱 정확하게 수신된 깊이 이미지에서 인체의 각 부위를 분석할 수 있다.In practical application, the skeleton information obtained by the method of the present invention can be used directly. In addition, it is possible to analyze each part of the human body in the received depth image more accurately according to the obtained skeleton information.

이하, 깊이 이미지로부터 인체 부위를 분석하는 예시를 도시한 것이다. 이때, 인체 이미지 분석 장치(100)는 부위 분석부(미 도시)를 더 포함할 수 있다.Hereinafter, an example of analyzing a human body part from a depth image is shown. In this case, the human body image analyzing apparatus 100 may further include a site analyzer (not shown).

도 6은 본 발명의 일실시예에 따른 부위 분석부를 도시한 블록도이다.6 is a block diagram showing a site analysis unit according to an embodiment of the present invention.

부위 분석부는 몸통 분할부(610), 인체 기초 분석부(620), 인체 정밀 분석부(630)를 포함한다.The site analyzer includes a body divider 610, a basic human body analyzer 620, and a human body precision analyzer 630.

몸통 분할부(610)은 몸통 영역 초기 추출부(611), 몸통 위치 추정부(612), 몸통 영역 정밀화부(613)를 포함한다.The trunk splitter 610 includes a trunk region initial extractor 611, a trunk position estimator 612, and a trunk region refiner 613.

몸통 영역 초기 추출부(611)은 저해상도 스켈레톤 이미지의 전경(foreground) 부위 영역으로부터 몸통 영역(도7(a)에 부호701이 표시된 영역을 참조)을 초기 결정한다. The trunk region initial extractor 611 initially determines the trunk region (see the region indicated by symbol 701 in FIG. 7A) from the foreground region region of the low resolution skeleton image.

몸통은 불수 있는 가장 큰 인체 부위인 것이다. 몸통의 크기는 사지 (four limbs)의 크기와 다르다. 사지 전경 부위 영역으로부터 실제적으로 대부분 몸통 영역이 비 사지 전경 부위 영역에 위치한 것을 알아낼 수 있고. 따라서 몸통 영역을 쉽게 초기 결정할 수 있다.The torso is the largest body part that can be inflamed. The size of the torso differs from the size of the limbs (four limbs). From the limb foreground area, you can actually find out that most of the trunk area is located in the non-limb foreground area. Therefore, the body area can be easily determined early.

몸통 위치 추정부(612)는 초기 결정된 몸통 영역에 따라 몸통의 스켈레톤을 획득한다. 구체적으로 초기 결정된 몸통 영역에 대하여 최소 에너지 스켈레톤 스캔을 실행하여 몸통 영역의 스켈레톤 포인트를 추출한다. 그 다음에 스켈레톤 포인트를 매칭하여 몸통의 스켈레톤(도7(a)에 부호702를 참조)를 획득한다.The torso position estimator 612 obtains a skeleton of the torso according to the initially determined torso region. Specifically, the minimum energy skeleton scan is performed on the initially determined trunk region to extract the skeleton point of the trunk region. The skeleton points are then matched to obtain a skeleton of the torso (see numeral 702 in Fig. 7A).

몸통 영역 정밀화부(613)은 초기 결정된 몸통 영역을 최적화하여 더욱 정확한 몸통 영역(도7(b)에 부호703를 참조)을 획득한다.The torso region refiner 613 optimizes the initially determined torso region to obtain a more accurate torso region (see reference numeral 703 in Fig. 7 (b)).

구체적으로, 전체 신체 영역에 대하여, 신체 중심 아래의 영역을 하지 영역을 간주한다. 그 다음에 배경 영역 또는 사지 전경 부위 영역과 만날 때까지 스켈레톤에 따라 중간부터 양측으로 스캔을 실행하여 몸통의 좌우 에지를 결정한다. 여기서 배경 영역은 전처리부(120)를 통해 결정될 수 있다.Specifically, for the entire body region, the region below the body center is regarded as the lower region. The scan then determines the left and right edges of the body by scanning from the middle to both sides according to the skeleton until it meets the background or limb foreground area. The background region may be determined by the preprocessor 120.

또한, 만약 머리에 대하여 미리 측정하고 머리 영역이 초기 결정된 몸통 영역에 포함된 것을 검출된 경우, 측정된 머리를 통해 초기 몸통 영역의 맨 위쪽 에지를 조절한다. 예를 들어, 전처리부(120) 또는 기타 부에 의하여 머리에 대한 사전 측정을 실현할 수 있다.In addition, if the head is measured in advance and it is detected that the head area is included in the initially determined trunk area, the top edge of the initial trunk area is adjusted through the measured head. For example, the pre-measurement of the head may be realized by the preprocessor 120 or other parts.

인체 초기 분석부(620)는 몸통 분할부(610)가 결정된 몸통 영역에 따라 전경 부위 영역으로부터 기타 인체 부위를 분석한다. The initial human body analyzer 620 analyzes other human body parts from the foreground area area according to the trunk area where the trunk splitter 610 is determined.

일반적으로 인체의 머리, 상지 및 하지는 서로 다른 위치에 몸통과 연결되고 상기 연결된 각 위치의 상대적 위치는 고정된다. 따라서 결정된 몸통 영역에 기초하여 다른 영역(예, 머리, 상지, 하지)이 몸통 영역과 연결된 위치에 따라 기타 영역을 구분할 수 있다.In general, the head, upper limbs and lower extremities of the human body are connected to the body at different positions, and the relative positions of the linked positions are fixed. Therefore, based on the determined torso area, other areas (eg, head, upper limbs, and lower limbs) may be distinguished from other areas according to where the torso area is connected.

또한, 전경 부위 영역에서, 머리와 몸통을 구분할 수 없는 가능성이 있다. 다시 말하면, 머리가 몸통 영역과 오버랩 가능성이 있다. 이 경우, 전경 부위 영역으로부터 머리 영역을 검출할 수 없다. 이때 머리 사이즈 및 몸통에 대한 상대적 위치를 이용하여 고해상도 스켈레톤 이미지에 있는 깊이 부위 영역으로부터 머리 영역을 검출할 수 있다. 이것은 깊이 부위 영역이 전경 부위 영역보다 더 많은 세밀 스켈레톤을 구비한 것이다. 머리 영역을 검출하면 검출된 머리 영역에 따라 몸통 영역의 에지(edge)를 조절할 수 있다.In the foreground area, there is a possibility that the head and the body cannot be distinguished. In other words, there is a possibility that the head overlaps the trunk area. In this case, the head region cannot be detected from the foreground region region. At this time, the head region can be detected from the depth region of the high resolution skeleton image by using the head size and the relative position to the torso. This is because the depth area has more fine skeleton than the foreground area. When the head region is detected, the edge of the trunk region may be adjusted according to the detected head region.

인체 정밀 부석부(630)는 깊이 부위 영역을 이용하여 분석된 인체 부위 영역을 최적화한다. 구체적으로 사지에 대응하는 깊이 부위 영역을 사용하여 상지 영역을 분할 또는 최적화하고 하지 영역을 다리 및 둔부로 구분한다. The human body precision stone part 630 optimizes the analyzed human body region using the depth region region. Specifically, the upper limb region is divided or optimized using the depth region corresponding to the limb, and the lower limb region is divided into the legs and the buttocks.

상지 영역이 초기 분석되었으면 깊이 부위 영역에서 초기 분석된 상지 영역과 오버랩된 부위 영역을 검색하고 초기 분석된 상지 영역을 상기 깊이 부위 영역까지 확장한다.Once the upper extremity has been analyzed, the area of the region overlapped with the initial analyzed upper extremity is searched in the depth region and the initial analyzed upper extremity is extended to the depth region.

도 9는 인체 정밀 분석부(630)에 의하여 실행된 처리의 예시를 도시한 것이다.9 illustrates an example of a process performed by the human body precision analyzer 630.

도9(a)는 인체 초기 분석부(620)에 의하여 분석된 부위를 도시한 것이다. 도9(b)는 깊이 부위 영역을 포함하는 고해상도의 스켈레톤 이미지를 도시한 것이다. 도9(c)는 몸통 영역 정밀화부(613)에 의하여 출력된 결과를 도시한 것이다. Figure 9 (a) shows the site analyzed by the human initial analysis unit 620. 9 (b) shows a high resolution skeleton image including the depth area region. 9 (c) shows the result output by the body region refiner 613.

도9(a)에 도시된 바와 같이, 인체 초기 분석부(620)에 의하여 화면에 있는 위쪽 팔의 한 부분만 분석되었고 상기 팔 및 몸통의 오버랩된 부분이 분석되지 않다. 따라서 도9(a)에 도시된 상기 팔 영역을 도9(b)에 도시된 해당 깊이 부위 영역으로 확장하여 도9(c)에 도시된 완벽한 팔 영역을 획득할 수 있다.As shown in FIG. 9A, only one portion of the upper arm on the screen is analyzed by the human body initial analyzer 620, and the overlapped portions of the arm and the body are not analyzed. Thus, the arm region shown in Fig. 9 (a) can be extended to the corresponding depth area region shown in Fig. 9 (b) to obtain the perfect arm region shown in Fig. 9 (c).

초기 분석에서 상지 영역이 분석되지 않으면, 고해상도의 스켈레톤 이미지에서 이미 분석된 머리 및/또는 몸통에 대응하는 깊이 부위 영역을 검색하고 상기 깊이 부위 영역에 있는 주변 영역과 다른 깊이를 구비하는 깊이 부위 영역을 후보 상지 영역으로 간주한다. 그리고 주변 영역과 비교하여 상지 영역의 깊이 대비 유형에 따라 가능성을 갖추고 있는 상지 영역을 필터링한다. 그 다음에 상기 후보 상지 영역 에 있는 주변 영역보다 높은 깊이를 구비하는 후보 상지 영역을 삭제하고 상대적 사이즈와 위치를 결합하여 나머지 후보 상지 영역 에서 최종의 상지 영역을 결정한다.If the upper limb area is not analyzed in the initial analysis, the depth area area corresponding to the head and / or torso already analyzed in the high resolution skeleton image is searched for and the depth area area having a different depth from the surrounding area in the depth area area is searched for. It is considered a candidate upper extremity area. The upper limb area is filtered according to the type of depth contrast of the upper limb area compared to the surrounding area. Then, the candidate upper limb area having a depth higher than the peripheral area in the candidate upper limb area is deleted and the relative size and position are combined to determine the final upper limb area in the remaining candidate upper limb areas.

초기 분석된 하지 영역에서 둔부 및 다리를 구분하기 위해, 초기 분석된 하지 영역에서 깊이 부위 영역의 하지 영역에 대응하는 영역을 다리로 간주하고 초기 분석된 하지 영역에 있는 기타 영역을 둔부로 간주한다.In order to distinguish the buttocks and legs from the initially analyzed lower extremity region, the area corresponding to the lower extremity region of the deeply analyzed lower region in the initially analyzed lower extremity region is regarded as the leg, and the other region in the initially analyzed lower extremity region is regarded as the buttocks.

도9(a)에 도시된 바와 같이, 인체 초기 분석부(620)에 의하여 기초 분석된 하지 영역이 실제적으로 다리 및 둔부를 포함하지만 구분되어있지 않다. 도9(b)에 있는 하지 영역이 도9(a)에 응용되면 도9(c)에 도시된 다리 영역을 획득할 수 있다. 이에 따라 둔부 영역도 획득할 수 있다. As shown in FIG. 9 (a), the lower limb area analyzed by the human body initial analysis unit 620 actually includes the legs and buttocks but is not divided. If the lower region shown in Fig. 9B is applied to Fig. 9A, the leg region shown in Fig. 9C can be obtained. Accordingly, the hip region can also be obtained.

본 발명에 사용된 기술용어 “부”는 하드웨어 컴포넌트(hardware component)를 의미한다. 이 분야에서 통상의 지식을 가진 자라면 본 발명이 각 부에 대한 정의에 따라 FPGA 또는 ASIC등을 사용하여 상기 부를 실현할 수 있다. 따라서 본 발명에 사용된 기술용어 “부”는 소프트웨어 컴포넌트(software component)도 의미할 수 있다. The technical term “part” used in the present invention means a hardware component. One of ordinary skill in the art can realize the above-described units using an FPGA or an ASIC according to the definition of each unit. Therefore, the technical term “part” used in the present invention may also mean a software component.

도 10은 본 발명의 일실시예에 따른 인체 이미지 분석 방법을 도시한 흐름도이다.10 is a flowchart illustrating a method of analyzing a human body image according to an embodiment of the present invention.

단계1001에서, 인체 대상을 포함하는 깊이 이미지를 획득한다. 예를 들어, 깊이 이미지로 촬영 장비, 저장 장치, 네트워크 등 각종 깊이 이미지를 구비하는 소스로부터 깊이 이미지를 획득할 수 있다. In step 1001, a depth image including a human body object is acquired. For example, the depth image may be acquired from a source having various depth images such as photographing equipment, a storage device, and a network as the depth image.

단계1002에서, 획득된 깊이 이미지에 대하여 전처리 수행한다. 예를 들어, 획득된 깊이 이미지에 대하여 노이즈 필터링하고 깊이 이미지에서 배경 영역을 제거하여 전처리된 깊이 이미지를 획득한다. 또한 현재의 각종 배경 제거 기술을 이용하여 깊이 이미지에 있는 배경을 제거할 수 있다. 배경이 제거되었으므로 이미지의 전처리 과정에서 초기 인체 영역을 획득할 수 있다.In step 1002, preprocessing is performed on the obtained depth image. For example, noise filtering is performed on the acquired depth image and a background region is removed from the depth image to obtain a preprocessed depth image. In addition, current background removal techniques can be used to remove a background in a depth image. Since the background has been removed, the initial human region can be acquired during the preprocessing of the image.

또한 선택적으로, 단계1002에서 본 발명이 깊이 이미지에 대하여 전처리를 수행하지 않을 수 도 있다.Also optionally, at step 1002, the present invention may not perform preprocessing on the depth image.

단계1003에서 획득된 깊이 이미지 또는 전처리된 깊이 이미지에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 인체의 스켈레톤 포인트 또는 스켈레톤을 검출할 수 있다.
A minimum energy skeleton scan may be performed on the depth image acquired in step 1003 or the preprocessed depth image to detect a skeleton point or skeleton of the human body.

스켈레톤 스캔부130가 사용하는 방식으로 최소 에너지 스켈레톤 스캔을 수행할 수 있다. 즉, 도2-5 및 도8에 설명된 방식으로 스켈레톤 정보를 추출할 수 있다.The minimum energy skeleton scan may be performed in a manner used by the skeleton scan unit 130. That is, the skeleton information can be extracted in the manner described in FIGS. 2-5 and 8.

추출된 스켈레톤 포인트 또는 스켈레톤 라인에 의하여 각종 응용을 실현 할 수 있다. 예를 들어, 스켈레톤 포인트 또는 스켈레톤은 인체 각 부위의 기본 위치 및 형상을 표현할 수 있으므로 스켈레톤을 직접 사용하여 인체의 각종 자세를 표현할 수 있다.Various applications can be realized by the extracted skeleton points or the skeleton lines. For example, the skeleton point or skeleton can express the basic position and shape of each part of the human body, so that the skeleton can be directly used to express various postures of the human body.

도 11은 본 발명의 다른 일실시예에 따른 인체 이미지 분석 방법을 도시한 흐름도이다.11 is a flowchart illustrating a method of analyzing a human body image, according to another exemplary embodiment.

단계1101에서, 인체 대상을 포함하는 깊이 이미지를 획득한다. 예를 들어, 깊이 이미지로 촬영 장비, 저장 장치, 네트워크 등 각종 깊이 이미지를 구비하는 소스로부터 깊이 이미지를 획득할 수 있다. In step 1101, a depth image including a human body object is acquired. For example, the depth image may be acquired from a source having various depth images such as photographing equipment, a storage device, and a network as the depth image.

단계1102에서, 획득된 깊이 이미지에 대하여 전처리 수행한다. 예를 들어, 획득된 깊이 이미지에 대하여 노이즈 필터링하고 깊이 이미지에서 배경 영역을 제거하여 전처리된 깊이 이미지를 획득한다. 또한 현재의 각종 배경 제거 기술을 이용하여 깊이 이미지에 있는 배경을 제거할 수 있다. 배경이 제거되었으므로 이미지의 전처리 과정에서 초기 인체 영역을 획득할 수 있다.In step 1102, preprocessing is performed on the obtained depth image. For example, noise filtering is performed on the acquired depth image and a background region is removed from the depth image to obtain a preprocessed depth image. In addition, current background removal techniques can be used to remove a background in a depth image. Since the background has been removed, the initial human region can be acquired during the preprocessing of the image.

또한 선택적으로, 단계1102에서 본 발명이 깊이 이미지에 대하여 전처리를 수행하지 않을 수 도 있다.Also optionally, at step 1102, the present invention may not perform preprocessing on the depth image.

단계1103에서, 비교적으로 큰 깊이 대비 문턱 값 T(예, 예정된 문턱 값TL보다 큰 깊이 대비 문턱 값 T)를 사용하여 최소 에너지 스켈레톤 스캔을 수행하여 저해상도의 스켈레톤 이미지를 획득한다. 저해상도 스켈레톤 이미지에서는 전경 부위 영역을 포함한다.In step 1103, a minimum energy skeleton scan is performed using a relatively large depth versus threshold T (e.g., a depth versus threshold T greater than the predetermined threshold TL) to obtain a low resolution skeleton image. The low resolution skeleton image contains the foreground area.

단계1104에서, 비교적으로 작은 깊이 대비 문턱 값 T(예, 예정된 문턱 값TL보다 작은 또는 같은 깊이 대비 문턱 값 T)를 사용하여 최소 에너지 스켈레톤 스캔을 수행하여 고해상도의 스켈레톤 이미지를 획득한다. 고해상도 스켈레톤 이미지에서는 깊이 부위 영역을 포함한다.In step 1104, a minimum energy skeleton scan is performed using a comparatively small depth versus threshold T (e.g., a depth versus threshold T less than or equal to a predetermined threshold TL) to obtain a high resolution skeleton image. High resolution skeleton images contain depth region areas.

단계1105에서, 저해상도의 스켈레톤 이미지로부터 몸통 영역을 추출한다. 구제적으로 저해상도의 스켈레톤 이미지에 있는 각 전경 부위 영역의 사이즈 및 위치에 따라 몸통 영역(도7(a)에 부호701를 참조)을 초기 결정한다. 초기 결정된 몸통 영역에 대하여 최소 에너지 스켈레톤 스캔을 수행하여 몸통 영역의 스켈레톤(도7(a)에 부호702를 참조)를 추출한다. 그리고 전체 신체 영역의 중심 아래의 영역을 하지 영역을 간주하여 초기 결정된 몸통 영역에서 상기 중심 아래의 영역을 제외한다(도7(b)에 부호703을 참조). 그 다음에 배경 영역 또는 사지가 대응하는 부위 영역을 만날 때까지 스켈레톤에 따라 중간부터 양측으로 스캔을 수행하여 몸통의 좌/우 에지(edge)을 결정한다. 또한 저해상도의 스켈레톤 이미지에 머리 영역이 존재하면 상기 머리 영역을 이용하여 초기 몸통 영역의 맨 위쪽 에지를 조절한다(도7(b)에 부호704을 참조).In step 1105, the trunk region is extracted from the low resolution skeleton image. Specifically, the trunk region (see 701 in Fig. 7 (a)) is initially determined according to the size and position of each foreground area region in the low resolution skeleton image. A minimum energy skeleton scan is performed on the initially determined trunk region to extract the skeleton of the trunk region (see 702 in Fig. 7 (a)). The area under the center of the entire body area is regarded as the lower area, and the area under the center is excluded from the initially determined torso area (see reference numeral 703 in Fig. 7 (b)). The scan is then performed from the middle to both sides according to the skeleton until the background area or the limb meets the corresponding area area to determine the left / right edges of the torso. In addition, if a head region is present in the low resolution skeleton image, the top edge of the initial trunk region is adjusted using the head region (see reference numeral 704 in FIG. 7B).

단계1105에서는 몸통 분할부 (610)가 실행된 처리와 같은 처리를 실행할 수도 있다.In step 1105, the trunk segmentation unit 610 may execute the same process as the executed process.

단계1106에서, 결정된 몸통 영역에 따라 저해상도의 스켈레톤 이미지로부터 기타 인체 부위를 초기 분석한다. 구체적으로, 결정된 몸통 영역에 기초하여 저해상도의 스켈레톤 이미지에 있는 기타 전경 부위 영역이 몸통 영역과 연결된 위치에 따라 기타 인체 부위 영역(예, 머리, 상지, 하지)을 초기 분석한다.In step 1106, other body parts are initially analyzed from the low resolution skeleton image according to the determined trunk region. Specifically, based on the determined torso area, other areas of the human body (eg, head, upper limbs, and lower limbs) are initially analyzed according to the position where the other foreground area in the low resolution skeleton image is connected to the torso area.

또한 전경 부위 영역에서 머리 및 몸통을 구분할 수 없는 가능성이 있다. 다시 말하면 머리가 몸통 영역과 오버랩 가능성이 있다. 이 경우, 전경 부위 영역으로부터 머리 영역을 검출할 수 없다. 이때 머리 사이즈 및 몸통에 대한 상대적 위치를 이용하여 고해상도 스켈레톤 이미지에 있는 깊이 부위 영역으로부터 머리 영역을 검출할 수 있다. 이것은 깊이 부위 영역이 전경 부위 영역보다 더 많은 세밀 스켈레톤을 구비한 것이다. 머리 영역을 검출하면 검출된 머리 영역에 따라 몸통 영역의 에지를 조절할 수 있다.There is also the possibility of not distinguishing the head and torso in the foreground area. In other words, there is a possibility that the head overlaps the trunk area. In this case, the head region cannot be detected from the foreground region region. At this time, the head region can be detected from the depth region of the high resolution skeleton image by using the head size and the relative position to the torso. This is because the depth area has more fine skeleton than the foreground area. When the head region is detected, the edge of the trunk region can be adjusted according to the detected head region.

단계1106에서는 인체 초기 분석부(620)가 실행된 처리와 같은 처리를 실행할 수도 있다.In operation 1106, the same process as that performed by the human initial analyzer 620 may be executed.

단계1107에서 고해상도의 깊이 이미지에 상지와 대응하는 깊이 부위 영역을 이용하여 상지 영역을 최적화한다.In operation 1107, the upper limb area is optimized by using the depth region corresponding to the upper limb in the high resolution depth image.

단계1106에서 상지 영역이 초기 분석되었으면 깊이 부위 영역에서 초기 분석된 상지 영역과 오버랩된 깊이 부위 영역을 검색하고 초기 분석된 상지 영역을 상기 깊이 부위 영역까지 확장한다.If the upper extremity region was initially analyzed in step 1106, the depth region region overlapped with the initially analyzed upper extremity region is searched for in the depth region region and the initial analyzed upper extremity region is extended to the depth region region.

단계1106에서 상기 영역이 분석되어있지 않으면 고해상도의 스켈레톤 이미지에서 이미 분석된 머리 및/또는 몸통에 대응하는 깊이 부위 영역을 검색하고 상기 깊이 부위 영역에 있는 주변 영역과 다른 깊이를 구비하는 깊이 부위 영역을 후보 상지 영역으로 간주한다. 그리고 주변 영역과 비교하여 상지 영역의 깊이 대비 유형에 따라 가능성을 갖추고 있는 상지 영역을 필터링한다. 그 다음에 후보 상지 영역 에 있는 주변 영역보다 높은 깊이를 구비하는 후보 상지 영역을 삭제하고 상대 사이즈, 위치 및/또는 깊이 대비를 결합하여 나머지 후보 상지 영역 에서 최종의 상지 영역을 결정한다.If the area is not analyzed in step 1106, the depth area area corresponding to the head and / or torso already analyzed in the high resolution skeleton image is searched for and the depth area area having a different depth from the surrounding area in the depth area area is searched for. It is considered a candidate upper extremity area. The upper limb area is filtered according to the type of depth contrast of the upper limb area compared to the surrounding area. The candidate upper limb area having a depth higher than the peripheral area in the candidate upper limb area is then deleted and the relative size, position and / or depth contrast are combined to determine the final upper limb area in the remaining candidate upper limb areas.

여기서 깊이 대비는 스켈레톤 포인트가 양측의 픽셀 깊이보다 작다는 유형; 스켈레톤 포인트의 깊이가 한쪽의 깊이보다 낮고 다른 한쪽의 깊이보다 높다는 유형; 스켈레톤 포인트의 깊이가 양쪽의 깊이 보다 높다는 유형으로 구분할 수 있다. 일반적으로 상지는 몸통에 위치되면 상지의 스켈레톤 포인트가 양쪽의 깊이보다 작고, 즉 비디오 카메라와 가깝다. 따라서 이런 깊이 대비 유형의 스켈레톤 라인에 대하여 높은 신뢰 계수를 부여한다. 상지의 스켈레톤 포인트가 양쪽의 깊이보다 크면, 즉 비디오 카메라와 멀고 이런 깊이 대비 유형의 스켈레톤 라인에 대하여 낮은 신뢰 계수를 부여하고 필터링한다. Where depth contrast is a type in which the skeleton point is smaller than the pixel depth on both sides; A type in which the depth of the skeleton point is lower than the depth of one side and higher than the depth of the other side; It can be distinguished by the type that the depth of the skeleton point is higher than the depth of both sides. In general, when the upper limb is positioned in the torso, the skeleton point of the upper limb is smaller than the depth of both sides, i.e., close to the video camera. This gives a high confidence coefficient for this type of depth contrast skeleton line. If the skeleton point of the upper limb is greater than both depths, i.e. far from the video camera, it gives and filters a low confidence coefficient for this depth-contrast type of skeleton line.

단계1108에서, 고해상도의 깊이 이미지를 이용하여 하지 영역을 다리 및 둔부로 구분한다. 초기 분석된 하지 영역에서 둔부 및 다리를 구분하기 위해, 초기 분석된 하지 영역에서, 깊이 부위 영역에 있는 하지 영역에 대응하는 영역을 다리로 간주하고 초기 분석된 하지 영역에 있는 기타 영역을 둔부로 간주한다.In step 1108, the lower limb region is divided into legs and buttocks using a high resolution depth image. In order to distinguish the buttocks and legs from the initially analyzed lower extremity area, in the initially analyzed lower extremity area, the area corresponding to the lower extremity area in the depth area area is regarded as the leg, and the other areas in the initially analyzed lower extremity area are regarded as the buttocks. do.

단계1107 및 단계1108에서는 인체 정밀 분석부(630)가 실행된 처리와 같은 처리를 실행할 수도 있다.In steps 1107 and 1108, the same process as that performed by the human body precision analyzer 630 may be executed.

이상과 같이 본 발명은 비록 한정된 실시예에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.As described above, the present invention has been described by way of a limited embodiment, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains may make various modifications and variations from this description. Do. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

Claims

Obtaining a depth image comprising a human subject;
Detecting a plurality of points from the depth image by performing a minimum energy skeleton scan on the depth image
Human body image analysis method comprising a.

The method of claim 1,
The minimum energy skeleton scan,
Minimizing the energy function for the depth image to detect a plurality of points from the depth image, each point of the plurality of points being defined as a skeleton point,
The energy function refers to a logarithm of the sum of opposite numbers to the probability of considering each pixel of the depth image as a skeleton point or a non-skeleton point. .

3. The method of claim 2,
In the case of minimizing the energy function, the probability that one pixel becomes a skeleton point is applied to the sum, and when the energy function is minimized, the pixel is determined as a skeleton point, and the probability that one pixel becomes a non-skeleton point is determined. When the energy function is minimized by applying a sum to determine the pixel as a non-skeleton point

The method of claim 3,
Depth contrast in a predetermined direction; Depth contrast in a direction opposite to the predetermined direction; And determining a probability that the pixel is regarded as a skeleton point by a normalized value of the smallest value among threshold values.

5. The method of claim 4,
The depth contrast of the predetermined direction,
And an absolute value of a difference between depth values of a first pixel spaced apart from the pixel by a predetermined distance in a predetermined direction and a pixel adjacent to the first pixel.

5. The method of claim 4,
The adjacent pixels
And a first pixel adjacent in the predetermined direction or in a direction opposite to the predetermined direction.

The method of claim 5,
The predetermined distance is
It is the minimum distance that satisfies the depth-to-depth constraint in each direction, and the predetermined distance is represented by the following equation:

Lx means the predetermined distance,

Is a depth value of one pixel adjacent to the pixel spaced apart from the pixel by a predetermined distance l.

5. The method of claim 4,
Performing a minimum energy skeleton scan on the depth image using the first depth contrast threshold to obtain a low resolution skeleton image;
Acquiring a high resolution skeleton image by performing a minimum energy skeleton scan on the depth image using the second depth contrast threshold value
Further comprising:
The threshold value compared to the first depth,
Human body image analysis method, characterized in that greater than the threshold value compared to the second depth.

9. The method of claim 8,
Acquiring the low resolution skeleton image,
Obtaining a plurality of skeleton points by performing a minimum energy skeleton scan on the depth image using the first depth contrast threshold value;
Classifying the plurality of skeleton points or skeletons formed from the skeleton points into corresponding site types by successive constraints of position and depth;
Extending the skeleton of each site type, and obtaining a site area corresponding to each site type.

9. The method of claim 8,
Acquiring the high resolution skeleton image,
Obtaining a plurality of skeleton points by performing a minimum energy skeleton scan on the depth image using the second depth contrast threshold value;
Classifying the plurality of skeleton points or skeletons formed of the skeleton points into corresponding site types by successive constraints of position and depth;
Growing a skeleton of each region type, and obtaining a region of regions corresponding to each region type.

The method according to claim 4 or 8,
Performing a minimum energy skeleton scan of the depth image,
Multi-skeleton points using at least one predetermined direction and at least two depth contrast thresholds or at least two predetermined directions and at least one depth contrast thresholds and performing a minimum energy skeleton scan on the depth image Acquiring a plurality of skeleton images, and considering the depth image in which the skeleton points are indicated as the skeleton image;
Classifying a skeleton formed of the skeleton points in each skeleton image into corresponding site types by successive constraints of position and depth;
Growing a skeleton of each site type in each skeleton image to obtain a site region of each site type in each skeleton image;
Fusing a skeleton having a plurality of region regions grown according to the overlap level of the plurality of region regions corresponding to each other to the plurality of skeleton images,
If the overlap level of the plurality of region regions corresponding to each other in the plurality of skeleton images is larger than the predetermined threshold value, the plurality of region regions are regarded as the final skeleton using the longest skeleton among the grown skeletons, And when the overlap level of the plurality of region regions corresponding to each other is smaller than a predetermined threshold value, overlaying the skeletons in which the plurality of region regions are grown.

12. The method of claim 11,
A method of analyzing an image of a human body, characterized in that to perform a minimum energy skeleton scan on a depth image using at least two predetermined directions and a threshold value of a first depth contrast, and to obtain a low resolution skeleton image by growing a fused skeleton in a depth image. .

12. The method of claim 11,
A method of analyzing an image of a human body, characterized in that to perform a minimum energy skeleton scan on a depth image using at least two predetermined directions and a threshold value of a second depth contrast, and to obtain a high resolution skeleton image by growing a fused skeleton in a depth image. .

9. The method of claim 8,
Extracting a trunk region from the low resolution depth image;
Initially analyzing other human parts from a low resolution skeleton image according to the determined torso region;
Optimizing the upper extremity using the region of regions corresponding to the upper limbs initially analyzed in the high resolution depth image;
Separating lower limbs area into legs and buttocks using high resolution depth image
Human body image analysis method further comprising.

15. The method of claim 14,
Extracting the trunk region from the low resolution depth image,
Initially determining the trunk region according to the size and positional relationship of each region in the low resolution skeleton image;
Extracting a skeleton of the trunk region by performing a minimum energy skeleton scan on the initially determined trunk region;
Excluding an area below the center from the initially determined torso area by considering the area below the center of the entire body area as the lower area;
Determining the left and right edges of the body by performing a scan from the middle to the both sides according to the skeleton until the background region or the four limbs meet the corresponding region region. .

15. The method of claim 14,
Initially analyzing other human parts in the low resolution skeleton image according to the determined torso region,
And analyzing the other human body region according to the position where the other region region in the low resolution skeleton image is connected to the torso region.

15. The method of claim 14,
The step of optimizing the upper extremity using the depth region corresponding to the upper extremity in the high-resolution depth image,
If the upper extremity is initially analyzed, searching for a region of the region overlapping with the initially analyzed upper extremity in a high-resolution skeleton image and extending the initially analyzed upper extremity to the depth region;
If the area is not analyzed, the area area corresponding to the head and / or torso already analyzed in the high resolution skeleton image is searched and the area area having a different depth from the surrounding area in the area area is considered as a candidate upper extremity area. Deleting a candidate upper limb region having a depth higher than the peripheral region in the candidate upper limb region and combining the relative size and position to determine the final upper limb region in the remaining candidate upper limb regions. Way.

15. The method of claim 14,
The step of dividing the lower limb region analyzed by using the high-resolution depth image into the legs and buttocks,
And a step in which the area corresponding to the lower limb area in the high resolution skeleton image in the initial analyzed lower limb area is regarded as a leg, and the other area in the initial analyzed lower limb area is regarded as the buttocks.

A depth image receiving unit obtaining a depth image including a human body object;
A skeleton scan unit which detects a plurality of points from the depth image by performing a minimum energy skeleton scan on the depth image.
Human body image analysis device comprising a.