KR101842797B1

KR101842797B1 - Apparatus and method for analyzing 3-dimensional body pose

Info

Publication number: KR101842797B1
Application number: KR1020160145621A
Authority: KR
Inventors: 장준수; 김근호; 최우수
Original assignee: 한국 한의학 연구원
Priority date: 2016-11-03
Filing date: 2016-11-03
Publication date: 2018-03-27

Abstract

Provided is an apparatus for analyzing a 3-dimensional body pose to analyze the pose characteristic of the 3-dimensional body data of a body using a reference body shape model. The apparatus can comprise an extracting part for extracting a plurality of feature points from an input body data; a deforming part for deforming the reference body model based on the positions of the plurality of feature points, and a processing part for converting the input body data to be aligned with the modified reference body model and calculating an asymmetry index based on at least one axis of the modified reference body model.

Description

[0001] APPARATUS AND METHOD FOR ANALYZING 3-DIMENSIONAL BODY POSE [0002]

신체의 3차원 자세를 분석하는 기술에 연관되며, 보다 상세하게는 3차원 카메라로부터 측정된 신체의 3차원 체형 데이터를 기준 체형 모델이나 후면의 평면 구조물에 대비하여 자세 특징을 판단하는 장치 및 방법에 연관된다.The present invention relates to a technique for analyzing a three-dimensional posture of a body, and more particularly to an apparatus and method for determining three-dimensional body data of a body measured from a three-dimensional camera against a reference body model or a rear- .

종래의 경우, 직사각형으로 이루어진 스크린 표면에 복수 개의 측정선을 수평 및 수직 방향으로 형성하고, 이러한 복수 개의 측정선을 기준으로 스크린 전면에 직립한 측정 대상자의 신체 좌우 불균형 정도를 측정하는 것이 일반적이었다. 그러나, 종래 방식에서는 측정 대상자의 경험 정도에 따라 측정 결과가 달라질 수 있고, 측정 대상자의 상대적 자세를 보정하기 어렵다는 점에서 한계가 있다.Conventionally, it has been common to form a plurality of measurement lines on the surface of a rectangular screen in the horizontal and vertical directions, and to measure the degree of unbalance of the left and right sides of the measurement subject standing upright on the entire screen based on the plurality of measurement lines. However, in the conventional system, the measurement result may vary depending on the degree of experience of the person to be measured, and there is a limit in that it is difficult to correct the relative posture of the person to be measured.

스크린 표면의 측정선을 이용한 측정 방식을 보완하기 위해, 바닥판의 족저압 측정기를 이용하여 측정된 좌우 무게 정보를 기초로 신체 불균형 정도를 측정하는 방식이 개발되기도 하였으나, 이 또한 무게 정보를 토대로 측정 대상자의 신체가 일측 또는 타측으로 기울어져 있는지의 여부를 확인하는 정도에 불과하다는 문제점이 있다.In order to compensate the measurement method using the measuring line on the screen surface, a method of measuring the degree of body unbalance based on the left and right weight information measured by using the foot low pressure measuring device of the bottom plate has been developed. However, There is a problem that it is only a degree to confirm whether or not the subject's body is inclined to one side or the other side.

일측에 따르면, 기준 체형 모델을 이용하여 신체의 3차원 체형 데이터의 자세 특징을 분석하는 3차원 신체 자세 분석 장치가 제공된다. 상기 장치는: 입력 체형 데이터로부터 복수 개의 특징점을 추출하는 추출부와, 상기 복수 개의 특징점의 위치에 기초하여 기준 체형 모델을 변형하는 변형부, 및 상기 입력 체형 데이터가 상기 변형된 기준 체형 모델에 정렬하도록 변환하고, 상기 변형된 기준 체형 모델의 적어도 한 축을 기준으로 비대칭 지수를 계산하는 처리부를 포함할 수 있다.According to one aspect, there is provided a three-dimensional body posture analyzing apparatus for analyzing posture characteristics of three-dimensional body data of a body using a reference body shape model. The apparatus includes: an extracting unit that extracts a plurality of feature points from input body data; a transforming unit that transforms the reference body model based on the positions of the plurality of feature points; and a transformation unit that transforms the input body data into the transformed reference body model And calculating the asymmetry index based on at least one axis of the modified reference body model.

일실시예에 따르면, 상기 변형부는: 상기 기준 체형 모델 및 상기 입력 체형 데이터 사이의 특징점 대응 관계에 기초하여 계산된 크기 변형 계수를 이용하여 상기 기준 체형 모델을 변형할 수 있다.According to an embodiment, the transforming unit may transform the reference body model using a magnitude transformation factor calculated based on a correspondence relation between the reference body model and the minutiae point between the input body data.

여기서, 상기 크기 변형 계수는: 각 방향 축 별로 다른 값이 적용될 수 있다.Here, the magnitude deformation coefficient may be different for each direction axis.

일실시예에 따르면, 상기 처리부는: ICP(Iterative Closest Point) 알고리즘을 이용하여 상기 입력 체형 데이터 및 상기 변형된 기준 체형 모델을 정렬하기 위한 강체변환 벡터를 계산하고, 상기 계산된 강체변환 벡터에 기초하여 상기 입력 체형 데이터를 변환할 수 있다.According to an embodiment, the processing unit may be configured to: calculate a rigid transformation vector for aligning the input body data and the modified reference body model using an ICP (Iterative Closest Point) algorithm, and based on the calculated rigid transformation vector The input body type data can be converted.

또한, 상기 처리부는: 상기 변환된 입력 체형 데이터에서 복수 개의 미리 지정된 위치에 대한 좌우 길이를 비교하여 상기 비대칭 지수를 계산한다.In addition, the processing unit compares the left and right lengths of a plurality of predetermined positions in the converted input body data to calculate the asymmetry index.

다른 일측에 따르면, 후면의 평면 구조물을 이용하여 신체의 3차원 체형 데이터의 자세 특징을 분석하는 3차원 신체 자세 분석 장치가 제공된다. 상기 장치는: 입력 측정 데이터로부터 신체 영역에 대응하는 제1 포인트 그룹 및 후면 스크린 영역에 대응하는 제2 포인트 그룹을 분류하는 분류부와, 상기 제1 포인트 그룹에 대한 평면 피팅을 수행하여 생성된 제1 평면의 법선 벡터와, 상기 제2 포인트 그룹에 대한 평면 피팅을 수행하여 생성된 제2 평면의 법선 벡터를 계산하는 계산부, 및 상기 제1 평면의 법선 벡터 및 상기 제2 평면의 법선 벡터 사이의 각도를 계산하는 처리부를 포함할 수 있다.According to another aspect, there is provided a three-dimensional body posture analyzing apparatus for analyzing posture characteristics of three-dimensional body data of a body using a rear planar structure. The apparatus includes: a classification unit for classifying a first point group corresponding to a body region and a second point group corresponding to a rear screen region from input measurement data; A calculation unit for calculating a normal vector of a first plane and a normal vector of a second plane generated by performing a plane fitting on the second point group and a normal vector between the normal vector of the first plane and the normal vector of the second plane And a processing unit for calculating the angle of the light source.

일실시예에 따르면, 상기 처리부는: 누운 자세에서의 두 평면 간 각도인 제1 각도 및 선 자세에서의 두 평면 간 각도인 제2 각도를 계산할 수 있다.According to one embodiment, the processing unit may calculate a first angle, which is an angle between two planes in a lying position, and a second angle, which is an angle between two planes in a line position.

또한, 상기 처리부는: 상기 제1 각도 및 상기 제2 각도의 차이값에 기초하여 통합 자세 분석을 수행할 수 있다.In addition, the processor may perform an integrated attitude analysis based on a difference value between the first angle and the second angle.

또다른 일측에 따르면, 기준 체형 모델을 이용하여 신체의 3차원 체형 데이터의 자세 특징을 분석하는 3차원 신체 자세 분석 방법이 제공된다. 상기 방법은: 입력 체형 데이터로부터 복수 개의 특징점을 추출하는 단계와, 상기 복수 개의 특징점의 위치에 기초하여 기준 체형 모델을 변형하는 단계, 및 상기 입력 체형 데이터가 상기 변형된 기준 체형 모델에 정렬하도록 변환하고, 상기 변형된 기준 체형 모델의 적어도 한 축을 기준으로 비대칭 지수를 계산하는 단계를 포함할 수 있다.According to another aspect, there is provided a three-dimensional body posture analysis method for analyzing posture characteristics of three-dimensional body data of a body using a reference body shape model. The method includes the steps of: extracting a plurality of feature points from input body data; modifying a reference body model based on the positions of the plurality of feature points; and transforming the input body data to align with the transformed reference body model And calculating an asymmetry index based on at least one axis of the modified reference body model.

일실시예에 따르면, 상기 기준 체형 모델을 변형하는 단계는: 상기 기준 체형 모델 및 상기 입력 체형 데이터 사이에서 계산된 크기 변형 계수에 기초하여 수행될 수 있다.According to one embodiment, the step of deforming the reference body model may be performed based on: a magnitude transformation factor calculated between the reference body model and the input body data.

이 때, 상기 크기 변형 계수는 각 방향 축 별로 다른 값이 적용될 수 있다.In this case, different values may be applied to the magnitude deformation coefficients for each direction axis.

일실시예에 따르면, 상기 비대칭 지수를 계산하는 단계는: ICP(Iterative Closest Point) 알고리즘을 이용하여 상기 입력 체형 데이터를 상기 변형된 기준 체형 모델에 대응하여 정렬하기 위한 강체변환 벡터를 계산하는 단계, 및 상기 계산된 강체변환 벡터에 기초하여 상기 입력 체형 데이터를 변환하는 단계를 포함한다.According to an embodiment, the step of calculating the asymmetry index may include: calculating a rigid transformation vector for aligning the input body data with the modified reference body model using an ICP (Iterative Closest Point) algorithm, And converting the input body type data based on the calculated rigid transformation vector.

또한, 상기 비대칭 지수를 계산하는 단계는: 상기 변환된 입력 체형 데이터에서 복수 개의 미리 지정된 위치에 대한 좌우 길이를 비교하여 상기 비대칭 지수를 계산할 수 있다.Also, the step of calculating the asymmetry index may include: calculating the asymmetry index by comparing the left and right lengths of the plurality of predetermined positions in the converted input body data.

또다른 일측에 따르면, 후면의 평면 구조물을 이용하여 신체의 3차원 체형 데이터의 자세 특징을 분석하는 3차원 신체 자세 분석 방법이 제공된다. 상기 방법은: 입력 측정 데이터로부터 신체 영역에 대응하는 제1 포인트 그룹 및 후면 스크린 영역에 대응하는 제2 포인트 그룹을 분류하는 단계와, 상기 제1 포인트 그룹에 대한 평면 피팅을 수행하여 생성된 제1 평면의 법선 벡터를 계산하는 단계와, 상기 제2 포인트 그룹에 대한 평면 피팅을 수행하여 생성된 제2 평면의 법선 벡터를 계산하는 단계 및 상기 제1 평면의 법선 벡터 및 상기 제2 평면의 법선 벡터 사이의 각도를 계산하는 단계를 포함할 수 있다.According to another aspect, there is provided a three-dimensional body posture analysis method for analyzing posture characteristics of three-dimensional body data of a body using a rear planar structure. The method comprising the steps of: classifying a first point group corresponding to a body region and a second point group corresponding to a rear screen region from input measurement data; and a second point group corresponding to a first point group Calculating a normal vector of a second plane generated by performing a flat fitting on the second group of points and calculating a normal vector of the first plane and a normal vector of the second plane, And calculating an angle between the two angles.

일실시예에 따르면, 상기 제1 평면의 법선 벡터 및 상기 제2 평면의 법선 벡터 사이의 각도를 계산하는 단계는: 누운 자세에서의 두 평면 간 각도인 제1 각도 및 선 자세에서의 두 평면 간 각도인 제2 각도를 계산할 수 있다.According to one embodiment, calculating the angle between the normal vector of the first plane and the normal vector of the second plane comprises: calculating a first angle between the two planes in the lying position and a second angle between the two planes in the line position A second angle that is an angle can be calculated.

도 1은 일실시예에 따른 기준 체형 모델을 이용한 3차원 자세 분석 장치를 도시하는 블록도이다.
도 2는 일실시예에 따라 입력 체형 데이터가 기준 체형 모델에 정렬하도록 변환하는 방식을 설명하는 도면이다.
도 3은 일실시예에 따라 입력 체형 데이터의 비대칭 지수 계산 과정을 설명하는 도면이다.
도 4는 일실시예에 따른 후면의 평면 구조물을 이용한 3차원 자세 분석 장치를 도시하는 블록도이다.
도 5는 일실시예에 따라 입력 측정 데이터로부터 분리된 신체 영역 및 후면 스크린 영역에 대한 평면 피팅 수행 과정을 설명하는 도면이다.
도 6은 일실시예에 따른 통합 자세 분석 수행 방식을 설명하는 도면이다.
도 7은 일실시예에 따라 기준 체형 모델을 이용한 3차원 자세 분석 방법을 도시하는 흐름도이다.
도 8은 일실시예에 따라 후면의 평면 구조물을 이용한 3차원 자세 분석 방법을 도시하는 흐름도이다.1 is a block diagram showing a three-dimensional posture analyzing apparatus using a reference body model according to an embodiment.
2 is a view for explaining a method of converting input body data to align with a reference body model according to an embodiment.
3 is a view for explaining a process of calculating an asymmetry index of input body data according to an embodiment.
FIG. 4 is a block diagram illustrating a three-dimensional posture analyzing apparatus using a planar structure on a rear surface according to an embodiment.
5 is a view illustrating a process of performing a flat fitting on a body region and a rear screen region separated from input measurement data according to an embodiment.
FIG. 6 is a view for explaining an integrated posture analysis performing method according to an embodiment.
7 is a flowchart illustrating a three-dimensional posture analysis method using a reference body model according to an embodiment.
8 is a flowchart illustrating a three-dimensional posture analysis method using a planar structure on the rear surface according to an embodiment.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.It is to be understood that the specific structural or functional descriptions of embodiments of the present invention disclosed herein are presented for the purpose of describing embodiments only in accordance with the concepts of the present invention, May be embodied in various forms and are not limited to the embodiments described herein.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Embodiments in accordance with the concepts of the present invention are capable of various modifications and may take various forms, so that the embodiments are illustrated in the drawings and described in detail herein. However, it is not intended to limit the embodiments according to the concepts of the present invention to the specific disclosure forms, but includes changes, equivalents, or alternatives falling within the spirit and scope of the present invention.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first, second, or the like may be used to describe various elements, but the elements should not be limited by the terms. The terms may be named for the purpose of distinguishing one element from another, for example without departing from the scope of the right according to the concept of the present invention, the first element being referred to as the second element, Similarly, the second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Expressions that describe the relationship between components, for example, "between" and "immediately" or "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", and the like, are used to specify one or more of the features, numbers, steps, operations, elements, But do not preclude the presence or addition of steps, operations, elements, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning of the context in the relevant art and, unless explicitly defined herein, are to be interpreted as ideal or overly formal Do not.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, the scope of the patent application is not limited or limited by these embodiments. Like reference symbols in the drawings denote like elements.

도 1은 일실시예에 따른 기준 체형 모델을 이용한 3차원 자세 분석 장치(100)를 도시하는 블록도이다.1 is a block diagram showing a three-dimensional posture analyzing apparatus 100 using a reference body model according to an embodiment.

3차원 자세 분석 장치(100)는 3차원 카메라를 이용하여 측정한 인체의 3차원 체형 데이터를 기준 체형 모델의 자세로 정렬하여 분석하는 수단으로, 자세 분석 과정에서의 반복도 및 정확도를 향상시킨다. 상기 3차원 자세 분석 장치(100)는 추출부(110), 변형부(120) 및 처리부(130)를 포함할 수 있다.The three-dimensional posture analyzing apparatus 100 is a means for analyzing three-dimensional body data of a human body, which is measured using a three-dimensional camera, by arranging the three-dimensional body data into a posture of a reference body model and analyzing it. The three-dimensional attitude analyzing apparatus 100 may include an extracting unit 110, a transforming unit 120, and a processing unit 130.

먼저, 추출부(110)는 입력 체형 데이터로부터 복수 개의 특징점을 추출할 수 있다. 상기 입력 체형 데이터는 깊이 카메라를 이용하여 측정된 대상자의 3차원 체형 데이터로서, 상기 대상자의 신체 표면에 대응하는 3차원 점들의 집합으로 이해될 수 있으며, 3차원 위치를 나타내는 좌표정보 외에 밝기 정보(grayscale)나 컬러 정보를 포함할 수 있다. 상기 복수 개의 특징점은 상기 입력 체형 데이터에 대해 미리 지정된 위치에 따라 추출되거나 또는 상기 입력 체형 데이터의 임의의 위치에서 추출된다. 상기 추출부(110)는 대상자 신체의 주요 위치에 미리 생성된 인공 표식이나 식별 가능한 부위를 기준으로 상기 복수 개의 특징점을 추출한다. 이를 테면, 측정 전 상기 대상자 신체의 주요 위치에 부착된 특정 색상의 스티커나 또는 인체 마킹용 사인펜 등을 이용하여 생성된 표식에 대해, 특정 색상 영역을 검출하는 영상 처리 방식으로 상기 복수 개의 특징점이 추출될 수 있다. 다만, 인공 표식을 사용하지 않는 경우에는, 대상자 신체에서 배꼽, 유두점과 같이 피부의 텍스처와 쉽게 구분 가능한 부위를 특징점으로 활용할 수 있으며, 이는 SVM(Support Vector Machine), Boosting 등에 의한 물체 검출 알고리즘에 기반하여 추출될 수 있다.First, the extracting unit 110 may extract a plurality of feature points from the input body data. The input body data may be three-dimensional body data of a subject measured using a depth camera, and may be understood as a set of three-dimensional points corresponding to the body surface of the subject. In addition to the coordinate information indicating the three- grayscale) or color information. The plurality of feature points are extracted according to a predetermined position for the input body data or extracted at an arbitrary position of the input body data. The extracting unit 110 extracts the plurality of minutiae on the basis of artificial markers or identifiable parts that are generated in advance at the main positions of the subject's body. For example, a plurality of feature points may be extracted by an image processing method for detecting a specific color area for a mark created using a sticker of a specific color attached to a main position of the subject's body or a marking pen for human marking before measurement . However, when the artificial marker is not used, the feature point can be used as a feature point in the subject's body such as the belly button and the teat point which can be easily distinguished from the texture of the skin. This can be achieved by using SVM (Support Vector Machine) Can be extracted.

변형부(120)는 상기 입력 체형 데이터로부터 추출된 복수 개의 특징점의 위치에 기초하여 기준 체형 모델을 변형할 수 있다. 상기 기준 체형 모델은 자세 측정에 적합하도록 미리 설정된 기준 데이터로서, 글로벌 좌표계 X, Y, Z 축 상에 표현될 수 있다. 상기 변형부(120)는 상기 기준 체형 모델 및 상기 입력 체형 데이터 사이의 특징점 대응 관계에 기초하여 계산된 크기 변형 계수 s를 이용하여 상기 기준 체형 모델을 크기 변형한다. 상기 크기 변형 계수는 둘 이상의 특징점 위치를 이용하여 정의된 선분 길이를 기초로 계산될 수 있으며, 각 축 방향(X축, Y축 및 Z축) 별로 다른 크기 변형 계수가 적용 가능하다.The transforming unit 120 may transform the reference body model based on the positions of the plurality of feature points extracted from the input body data. The reference body model may be represented on the global coordinate system X, Y, and Z axes as preset reference data suitable for attitude measurement. The transforming unit 120 transforms the reference body model using the size transformation coefficient s calculated based on the correspondence relationship between the reference body model and the input feature data. The size deformation coefficient may be calculated based on a line segment length defined by using two or more minutiae points, and different size deformation coefficients may be applied to each axis direction (X axis, Y axis, and Z axis).

처리부(130)는 상기 입력 체형 데이터가 상기 변형된 기준 체형 모델에 정렬하도록 변환하고, 상기 변형된 기준 체형 모델의 적어도 한 축을 기준으로 체형 비대칭 지수(Body Asymmetry Index; BAI)를 계산할 수 있다. 이 때, 상기 처리부(130)는 ICP(Iterative Closest Point) 알고리즘을 이용하여 상기 입력 체형 데이터 및 상기 변형된 기준 체형 모델을 정렬하기 위한 강체변환 벡터T를 계산하고, 상기 계산된 강체변환 벡터에 기초하여 상기 입력 체형 데이터를 변환한다. 상기 입력 체형 데이터의 변환은 입력 체형의 초기 자세를 상기 변형된 기준 체형 모델과 유사하게 설정하여, ICP 알고리즘이 잘 동작할 수 있도록 최적화하는 작업으로 이해될 수 있다. 또한, 상기 처리부(130)는 상기 변환된 입력 체형 데이터에서 복수 개의 미리 지정된 위치에 대한 좌우 길이를 비교하여 상기 체형 비대칭 지수를 계산한다.The processing unit 130 may convert the input body data to align with the modified reference body model and calculate a body asymmetry index (BAI) based on at least one axis of the modified reference body model. At this time, the processing unit 130 calculates a rigid transformation vector T for aligning the input body type data and the modified reference body model using an ICP (Iterative Closest Point) algorithm, and based on the calculated rigid transformation vector And converts the input body type data. The conversion of the input body data can be understood as an operation of setting the initial posture of the input body similar to the modified reference body model and optimizing the ICP algorithm so that it can operate well. Also, the processing unit 130 compares the left and right lengths of the plurality of predetermined positions in the converted input body data to calculate the body shape asymmetry index.

3차원 자세 분석 장치(100)는 3차원 카메라를 이용하여 측정한 대상자의 3차원 체형 데이터를 기준 체형 모델의 자세로 정렬하여 분석함으로써, 대상자의 체형 데이터를 측정하는 카메라의 시점이나 대상자의 측정 경험 유무, 일시적인 자세 틀어짐 등에 관계없이 안정적으로 자세를 측정할 수 있으며, 이로 인해 자세 분석 과정에서의 반복성 및 정확성이 보다 향상된다.The three-dimensional posture analyzing apparatus 100 arranges and analyzes the three-dimensional body data of the subject measured by the three-dimensional camera into the posture of the reference body model so that the three-dimensional posture analyzing apparatus 100 can measure the body shape data of the subject, It is possible to measure the posture stably regardless of the presence or absence of the posture and the temporary posture change, thereby improving the repeatability and accuracy in the posture analysis process.

도 2는 일실시예에 따라 입력 체형 데이터(220)가 기준 체형 모델(210)에 정렬하도록 변환하는 방식을 설명하는 도면이다.2 is a view for explaining a method of converting the input body data 220 to align with the reference body model 210 according to an embodiment.

기준 체형 모델(210)은 자세 측정에 적합하도록 미리 설정된 기준 데이터로서, 글로벌 좌표계 X, Y, Z 축 상에 표현된 3차원 포인트들의 집합(Point Cloud)으로 볼 수 있다. 기준 체형 모델(210)에서 배꼽 부분(211)을 좌표계의 원점으로 두고, 수평방향의 X축과 수직방향의 Y축이 설정되며, Z축은 원점에서 정면 방향을 향하도록 설정된다. 기준 체형 모델(210)은 다수의 체형 데이터를 수집한 후 이들의 평균을 활용하며, 이 과정에서 분석의 편의를 위해 좌우대칭성 등을 추가 고려하여 기준 좌표축의 원점 및 X, Y, Z축을 생성하는 방식으로 미리 설정될 수 있다.The reference body shape model 210 can be regarded as a set of three-dimensional points expressed on the X, Y, and Z axes of the global coordinate system as a reference data set in advance to be suitable for attitude measurement (Point Cloud). In the reference body model 210, the X-axis in the horizontal direction and the Y-axis in the vertical direction are set with the navel portion 211 as the origin of the coordinate system, and the Z-axis is set to face the front direction from the origin. The reference body shape model 210 collects a plurality of body shape data and utilizes the averages of these body shape data. In this process, for convenience of analysis, the origin and the X, Y, and Z axes of the reference coordinate axes are generated Can be preset.

입력 체형 데이터(220)는 깊이 카메라를 이용하여 측정된 대상자의 3차원 체형 데이터로서, 상기 대상자의 신체 표면에 대응하는 3차원 점들의 집합으로 구성된다.The input body shape data 220 is a three-dimensional body shape data of a subject measured using a depth camera, and is composed of a set of three-dimensional points corresponding to the body surface of the subject.

도 2에서, 기준 체형 모델(210)을 이용하여 대상자의 입력 체형 데이터(220)의 자세를 분석하기 위해서는 입력 체형 데이터(220)를 기준 체형 모델(210)의 자세로 정렬하여야 하는데, 이를 위해 미리 설정되어 있는 기준 체형 모델(210)을 입력 체형 데이터(220)의 크기에 대응하도록 변형하는 작업이 선행되어야 한다. 입력 체형 데이터(220)로부터 복수 개의 특징점(221, 222, 223, 224)이 추출되면, 상기 추출된 복수 개의 특징점(221, 222, 223, 224)과 상기 복수 개의 특징점에 대응하는 기준 체형 모델(210) 상의 특징점들(211, 212, 213, 214) 간의 대응관계를 이용하여 크기 변형 계수 s가 계산된다. 이 때, 상기 크기 변형 계수 s는 기준 체형 모델(210) 및 입력 체형 데이터(220)에서 둘 이상의 특징점을 연결하여 생성된 선분 길이의 비교를 통해 계산될 수 있다. 이를 테면, 기준 체형 모델(210)에서의 좌우 유두점 사이 선분 길이가 A이고, 입력 체형 데이터(220)에서의 좌우 유두점 사이 선분 길이가 B라면, B/A의 계산 결과를 상기 크기 변형 계수 s로 활용할 수 있다. 기준 체형 모델(210)의 3차원 포인트 집합 중 임의의 i번째 점을 (x^r _i, y^r _i, z^r _i)로 정의하면, 이 점에 단순히 크기 변형 계수 s를 곱하여 (x^r _i, y^r _i, z^r _i) → (sx^r _i, sy^r _i, sz^r _i) 변형하는 방식으로 상기 기준 체형 모델(210)의 크기 변형이 가능하다. 상기 크기 변형 계수는 기준 체형 모델(210) 및 입력 체형 데이터(220) 사이에서 추출된 모든 특징점들에 대한 대응 관계를 계산한 후 평균값을 구하여 전체 기준 체형 모델(210)에 일률적으로 적용할 수도 있다. 또한, 일부 실시예에서는 X, Y, Z의 각 방향 축별로 서로 다른 크기 변형 계수를 계산하여 적용할 수도 있다. 이 경우, 좌우 유두점 사이의 선분 길이는 X축에만 영향을 준다고 가정 하에 X축에 대한 크기 변형 계수 S_x를 계산하고, 마찬가지로 Y축 방향 크기 정보를 추출할 수 있는 특징점들을 이용하여 Y축에 대한 크기 변형 계수 S_y를 계산한다. Z축에 대한 크기 변형 계수 S_z는 X축 및 Y축에 대해 계산된 크기 변형 계수 S_x, S_y의 평균값을 활용하여 적절히 설정할 수 있다.2, in order to analyze the attitude of the input body type data 220 of the subject using the reference body type model 210, the input body type data 220 should be arranged in the posture of the reference body type model 210. For this purpose, The operation of transforming the set reference body model 210 to correspond to the size of the input body data 220 should be preceded. When a plurality of feature points 221, 222, 223 and 224 are extracted from the input body type data 220, a plurality of extracted feature points 221, 222, 223 and 224 and a reference body model The size transformation coefficient s is calculated using the corresponding relationship between the minutiae points 211, 212, 213, In this case, the magnitude transformation factor s may be calculated by comparing the segment lengths generated by connecting two or more feature points in the reference body model 210 and the input body data 220. [ For example, if the segment length between the left and right teat points in the reference body model 210 is A and the segment length between the left and right teat points in the input body data 220 is B, the calculation result of B / s. If an arbitrary i-th point of the set of three-dimensional points of the reference body model 210 is defined as (x ^r _i , y ^r _i , z ^r _i ), this point is simply multiplied by the magnitude deformation coefficient s to obtain (x ^r _i , _i ^r y, ^r z _i) → (a sx ^r _i, ^r _i sy, sz how ^r _i) the size variations are possible variations of the reference body model (210). The magnitude deformation coefficient may be uniformly applied to the entire reference body model 210 by calculating a corresponding relationship between all the minutiae extracted between the reference body model 210 and the input body data 220 . Further, in some embodiments, different magnitude deformation coefficients may be calculated and applied to each of the X, Y, and Z direction axes. In this case, assuming that the length of the line segment between the left and right teat points affects only the X axis, the magnitude deformation coefficient S _x for the X axis is calculated. Likewise, Calculate the magnitude of the strain modulus S _y . The magnitude of the deformation modulus S _z for the Z-axis can be appropriately set by utilizing the average value of the magnitude of the deformation modulus S _x , S _y calculated for the X-axis and the Y-axis.

기준 체형 모델(210)이 입력 체형 데이터(220)의 크기에 대응하도록 변형되면, 입력 체형 데이터(220)가 상기 변형된 기준 체형 모델에 정렬하도록 하는 강체변환이 수행된다. 이는 입력 체형의 초기 자세를 상기 변형된 기준 체형 모델과 유사하게 설정하는 작업으로, 정렬 수행 과정에 필요한 강체 변환 벡터 T는 ICP(Iterative Closest Point) 알고리즘을 이용하여 구할 수 있다. ICP 알고리즘은 기본적으로 동일한 3차원 형상에 대해 서로 다른 시점에서 획득한 포인트 클라우드(Point Cloud; PC) 간의 강체변환 벡터를 구하는 데 활용되는 기법으로, 3차원 스캐너와 같이 동일한 대상물체에 대해 스캔 장치(이를 테면, 레이저, 카메라 등)가 시점을 변경해가면서 매 프레임마다 획득한 PC를 하나의 기준 좌표계로 변환하는 과정에서 주로 활용된다. 3차원 카메라로 대상자를 촬영하여 획득한 입력 체형 데이터(220)의 경우, 사람들마다 체형의 크기, 형태 등이 모두 다르고 대상자의 측정 경험 유무에 따라서도 자세가 달라질 수 있어, 서로 다른 크기/형태의 입력 체형 데이터를 ICP 알고리즘으로 정렬하기에는 무리가 있다. 따라서, 앞서 크기 변형된 기준 체형 모델과 입력 체형 데이터 간의 강체변환 벡터 T를 구한 후, 이를 이용하여 상기 입력 체형 데이터가 상기 변형된 기준 체형 모델에 정렬되도록 변환된다. 상기 강체변환 벡터 T는 X, Y, Z축에 대한 회전(rotation) 및 변환(translation)을 표현하는 벡터로서 T: 6D vector (θ_x, θ_y, θ_z, t_x, t_y, t_z)로 나타낼 수 있으며, 일부 실시예에 따라 매트릭스로 표현될 수도 있다.When the reference body model 210 is transformed to correspond to the size of the input body data 220, a body transformation is performed so that the input body data 220 aligns with the transformed reference body model. This is an operation for setting the initial posture of the input body similar to the modified reference body model, and the body transformation vector T necessary for the alignment process can be obtained using an ICP (Iterative Closest Point) algorithm. The ICP algorithm is basically a technique used to obtain a rigid transformation vector between Point Cloud (PC) obtained from different points of view for the same three-dimensional shape. For example, a laser, a camera, etc.) changes the viewpoint and converts the PC acquired for each frame to a reference coordinate system. In the case of the input body shape data 220 obtained by photographing the subject with the three-dimensional camera, the posture may vary depending on whether the size and shape of the body shape are different for each person and whether or not the subject has the measurement experience, It is difficult to sort input data by ICP algorithm. Accordingly, a rigid transformation vector T between the reference body model deformed in size and the input body data is obtained, and then the input body data is transformed so as to be aligned with the modified reference body model. The rigid body transformation vector T is a vector representing a rotation (rotation) and conversion (translation) to the X, Y, Z axis _{T: 6D vector (θ x,} θ y, θ z, t x, t y, t z ), And may be represented by a matrix according to some embodiments.

도 3은 일실시예에 따라 입력 체형 데이터의 비대칭 지수 계산 과정을 설명하는 도면이다.3 is a view for explaining a process of calculating an asymmetry index of input body data according to an embodiment.

도 2에서와 같이, 입력 체형 데이터(220)가 기준 체형 모델(210)에 정렬하도록 하는 변환이 완료되면, 상기 변환된 입력 체형 데이터의 좌우대칭성 분석을 비롯한 다양한 자세 분석이 수행 가능하다. 도 3 좌측과 같이, 입력 체형 데이터가 기준 체형 모델에 설정된 좌표축을 기준으로 정렬되면, 정중면은 Y-Z 평면(310)으로 자동 결정되므로 X-Y 평면 상에서 좌우 방향 길이만 비교하면 상기 입력 체형 데이터에 대한 체형 비대칭 지수(Body Asymmetry Index; BAI)를 계산할 수 있다. 입력 체형 데이터의 체형 비대칭 지수는 도 3 우측과 같이 체형의 특정 위치에서의 좌우길이 비교를 통해 계산된다.As shown in FIG. 2, when the conversion of the input body type data 220 to the reference body type model 210 is completed, various posture analysis including the analysis of the left and right symmetry of the converted input body type data can be performed. 3, when the input body data is aligned with the coordinate axes set in the reference body model, the median plane is automatically determined as the YZ plane 310. Therefore, if only the lateral lengths on the XY plane are compared, The body asymmetry index (BAI) can be calculated. The body asymmetry index of the input body data is calculated by comparing the left and right lengths at a specific position of the body shape as shown in the right side of FIG.

도 3 우측을 참조하면, X-Y 평면 상의 입력 체형에서 겨드랑이(331, 341), 가슴(332, 342), 늑골(333, 343), 허리(334, 344), 장골(335, 345) 및 곡골(336, 346) 등 미리 지정된 위치의 좌우 경계점 좌표들을 이용하여 상기 입력 체형에 대한 비대칭 지수가 계산될 수 있으며, 이는 아래 수학식 1과 같이 수행된다.3, in the input body on the XY plane, the armpits 331 and 341, the chests 332 and 342, the ribs 333 and 343, the waist 334 and 344, the iliac bone 335 and 345, 336, and 346, the asymmetry index for the input body shape can be calculated using Equation (1) below.

여기서, xl_i는 좌측방향 체형 경계점의 좌표이고, xr_i는 우측방향 체형 경계점의 좌표이며, N은 좌우방향 길이를 비교할 위치의 개수이다. 도 3에서는 6개의 위치에 대해 좌우 길이 비교를 수행하였으나, 실시예에 따라 N의 개수는 적절한 수준에서 조절 가능하다. 또한, 상기 미리 지정된 위치에서의 경계점들은, 입력 체형 데이터 측정 전에 대상자 신체의 주요 위치에 부착된 특정 색상의 스티커나 인체 마킹용 사인펜 등을 이용하여 생성된 표식에 대해, 특정 색상 영역을 검출하는 영상 처리 방식으로 추출될 수 있다.Here, xl _i is the coordinate of the left-handed body boundary point, xr _i is the coordinate of the right-handed body boundary point, and N is the number of positions to be compared with the left-right direction length. In FIG. 3, the left-right length comparison is performed for six positions, but the number of N's can be adjusted at an appropriate level according to the embodiment. In addition, the boundary points at the pre-designated positions may be detected by using a mark of a specific color attached to the main position of the subject's body before measurement of the input body data or a marker generated by using a marking pen for human marking, Can be extracted by a processing method.

도 4는 일실시예에 따른 후면의 평면 구조물을 이용한 3차원 자세 분석 장치(400)를 도시하는 블록도이다.4 is a block diagram illustrating a three-dimensional posture analyzer 400 using a planar structure on the back side according to one embodiment.

3차원 자세 분석 장치(400)는 3차원 카메라를 이용하여 측정된 입력 측정 데이터로부터 분류된 후면 스크린 영역 및 체형 데이터 영역 각각에 대해 평면 피팅을 수행하여 체형 자세를 분석하는 수단으로, 자세 분석 과정에서의 반복도 및 정확도를 향상시킨다. 상기 3차원 자세 분석 장치(400)는 분류부(410), 계산부(420) 및 처리부(430)를 포함할 수 있다.The three-dimensional posture analyzer 400 is a means for analyzing the body posture by performing a flat fitting on each of the rear screen area and the body data area classified from the input measurement data measured using the three-dimensional camera, Thereby improving the repeatability and accuracy. The three-dimensional attitude analyzing apparatus 400 may include a classifying unit 410, a calculating unit 420, and a processing unit 430.

분류부(410)는 입력 측정 데이터로부터 신체 영역에 대응하는 제1 포인트 그룹 및 후면 스크린 영역에 대응하는 제2 포인트 그룹을 분류할 수 있다. 상기 입력 측정 데이터는 대상자가 후면 스크린을 배경으로 선 자세 또는 누운 자세를 취한 상태에서 깊이 카메라를 이용하여 획득한 데이터로서, 상기 대상자의 신체 표면과 상기 후면 스크린 표면에 대응하는 3차원 점들의 집합으로 이해될 수 있다. 상기 입력 측정 데이터 획득 과정에서, 선 자세는 후면 스크린에 대상자의 등 부분이 접하도록 직립한 상태에서 측정하고, 누운 자세는 후면 스크린 상에 똑바로 누운 상태에서 측정한다.The classifying unit 410 may classify the first point group corresponding to the body region and the second point group corresponding to the rear screen region from the input measurement data. Wherein the input measurement data is data obtained by using a depth camera in a state in which the subject is in a line posture or a lying posture with the back screen as a background and is a set of three-dimensional points corresponding to the body surface of the subject and the rear screen surface Can be understood. In the process of acquiring the input measurement data, the pre-posture is measured in a state in which the posture of the subject is erected so that the back portion of the subject is in contact with the rear screen, and the posture is measured in a state in which the posture is lying on the back screen.

계산부(420)는 상기 입력 측정 데이터에서 신체 영역에 대응하는 상기 제1 포인트 그룹에 대한 평면 피팅을 수행하여 생성된 제1 평면의 법선 벡터 V_b를 계산할 수 있다. 또한, 계산부(420)는 상기 입력 측정 데이터에서 후면 스크린 영역에 대응하는 상기 제2 포인트 그룹에 대한 평면 피팅을 수행하여 생성된 제2 평면의 법선 벡터 V_s를 계산할 수 있다.Calculation unit 420 may calculate the first normal vector V of the first plane generated by performing the fitting plane of the first point group _b corresponding to the body region in the input sample data. Also, the calculation unit 420 may calculate a normal vector V _s of the second plane generated by performing a plane fitting on the second point group corresponding to the rear screen area in the input measurement data.

처리부(430)는 앞서 계산된 상기 제1 평면의 법선 벡터 V_b 및 상기 제2 평면의 법선 벡터 V_s 사이의 각도 th를 계산할 수 있다. 상기 처리부(430)는 상기 대상자의 누운 자세를 기준으로 생성된 두 법선 벡터 사이의 각도인 제1 각도와, 상기 대상자의 선 자세를 기준으로 생성된 두 법선 벡터 사이의 각도인 제2 각도를 계산하고, 상기 제1 각도 및 상기 제2 각도의 차이값에 기초하여 통합 자세 분석을 수행할 수 있다. 또한, 상기 처리부(430)는 도 1 내지 도 3에서 기술한 체형 비대칭 지수를 함께 고려하여 통합 자세 분석에 활용할 수도 있다.Processor 430 may compute a normal vector V _b and the angle between the normal vector V th _s of the second plane of the first plane previously calculated. The processing unit 430 calculates a second angle which is an angle between two normal vectors generated based on the line posture of the subject and a first angle that is an angle between two normal vectors generated based on the lying position of the subject And perform an integrated posture analysis based on the difference between the first angle and the second angle. In addition, the processing unit 430 may be utilized for the integrated posture analysis in consideration of the body shape asymmetry index described in FIGS. 1 to 3 together.

3차원 자세 분석 장치(400)는 3차원 카메라로부터 한꺼번에 측정된 후면 스크린 데이터와 대상자의 체형 데이터 각각에 대해 평면 피팅을 수행하는 간단한 방식으로도 자세 분석이 가능하며, 자세 분석 과정에서의 불편함은 줄이면서 정확도는 높일 수 있다.The three-dimensional posture analyzing apparatus 400 can perform the posture analysis by a simple method of performing the flat fitting on the rear screen data and the body shape data of the subject measured at once from the three-dimensional camera, and the inconvenience in the posture analysis process Accuracy can be increased while reducing.

도 5는 일실시예에 따라 입력 측정 데이터로부터 분리된 신체 영역 및 후면 스크린 영역에 대한 평면 피팅 수행 과정을 설명하는 도면으로, 도 5a는 입력 측정 데이터(510)로부터 후면 스크린 영역(511) 및 신체 영역(512)을 분리하는 과정을, 도 5b는 후면 스크린 영역(511) 및 신체 영역(512)에 대한 평면 피팅을 수행하여 생성되는 평면의 법선벡터 계산 과정을 각각 나타낸다.FIG. 5 illustrates a process of performing a flat fitting on a body region and a rear screen region separated from input measurement data according to an exemplary embodiment. FIG. 5A illustrates a process of performing a flat fitting from input measurement data 510 to a rear screen region 511 and a body And FIG. 5B shows a process of calculating a normal vector of a plane generated by performing a flat fitting on the rear screen area 511 and the body area 512, respectively.

도 5a를 참조하면, 대상자가 후면 스크린을 배경으로 선 자세 또는 누운 자세를 취한 상태에서 깊이 카메라를 이용하여 입력 측정 데이터(510)를 획득할 수 있다. 이 때, 선 자세는 후면 스크린에 대상자의 등 부분이 접하도록 직립한 상태에서 측정하고, 누운 자세는 후면 스크린 상에 똑바로 누운 상태에서 측정한다. 이러한 방식으로 획득한 입력 측정 데이터(510)는 후면 스크린과 대상자의 체형 데이터를 모두 포함하고 있으므로, 자세 분석을 위해서는 상기 입력 측정 데이터(510)으로부터 후면 스크린 영역(511)과 신체 영역(512)이 분리되어야 한다. 상기 입력 측정 데이터(510)는 상기 대상자의 신체 표면과 상기 후면 스크린 표면에 대응하는 3차원 점들의 집합(Point Cloud, 이하 PC)로 구성되므로, 상기 분리 작업은 상기 후면 스크린 영역(511)에 대응하는 포인트 그룹과 상기 신체 영역(512)에 대응하는 포인트 그룹을 분류하는 방식으로 수행된다.Referring to FIG. 5A, the input measurement data 510 may be obtained by using a depth camera in a state in which the subject is in a line posture or a lying posture with the back screen as a background. At this time, the line posture is measured while standing upright so that the back part of the subject is in contact with the rear screen, and the lying posture is measured while lying straight on the rear screen. Since the input measurement data 510 obtained in this manner includes both the back screen and the body type data of the subject, the back screen area 511 and the body area 512 from the input measurement data 510 Be separated. Since the input measurement data 510 is composed of the body surface of the subject and a set of three-dimensional points (PC) corresponding to the rear screen surface, the separation operation corresponds to the rear screen area 511 And a point group corresponding to the body area 512 is classified.

도 5b에서, 깊이 카메라로 촬영된 입력 측정 데이터가 입력(520)되면, 상기 입력 측정 데이터로부터 후면 스크린 영역에 대응하는 PC와 신체 영역에 대응하는 PC가 서로 분리(521)된다. 이후, 상기 분리된 후면 스크린 영역의 PC에 대한 평면 피팅(523)과 신체 영역의 PC에 대한 평면 피팅(524)가 각각 수행되면, 수행 결과 생성된 후면 스크린 평면 및 신체 평면에 대해 각각의 법선 벡터가 계산될 수 있다. 이러한 방식으로 계산된 후면 스크린 평면에 대한 법선 벡터 V_s(525)와 신체 평면에 대한 법선 벡터 V_b(526)은 도 5b의 우측과 같이 나타낼 수 있으며, 두 법선 벡터 V_s(525) 및 V_b(526) 사이의 각도 th를 계산하여 자세 분석에 활용할 수 있다.In FIG. 5B, when the input measurement data photographed by the depth camera is input 520, the PC corresponding to the rear screen area and the PC corresponding to the body area are separated 521 from the input measurement data. Thereafter, when the flat fitting 523 for the PC in the separated rear screen region and the flat fitting 524 for the PC in the body region are performed, respectively, the respective normal vectors < RTI ID = 0.0 > Can be calculated. The normal vector V _s (525) and the normal vector V _b (526) for the back plane screen calculated in this manner can be represented as shown in the right side of FIG. 5B, and two normal vectors V _s (525) and V _b (526) can be calculated and used for posture analysis.

도 6은 일실시예에 따른 통합 자세 분석 수행 방식을 설명하는 도면이다.FIG. 6 is a view for explaining an integrated posture analysis performing method according to an embodiment.

도 2의 입력 체형 데이터(220)와 도 5a의 입력 측정 데이터(510)는 대상자가 선 자세 또는 누운 자세를 취한 상태에서 깊이 카메라를 이용하여 획득될 수 있는데, 도 3에 개시된 입력 체형 데이터(220)의 비대칭 지수 계산 과정과 도 5b를 통해 기술된 입력 측정 데이터(510)에 대한 평면 피팅 및 법선 벡터 계산 과정은 선 자세에서의 측정 데이터와 누운 자세에서의 측정 데이터에 대해 모두 수행될 수 있다.The input body shape data 220 of FIG. 2 and the input measurement data 510 of FIG. 5A can be obtained using a depth camera in a state in which the subject is in a line posture or a lying posture. The input body shape data 220 And the plane fitting and normal vector calculation process for the input measurement data 510 described with reference to FIG. 5B can be performed on both the measurement data in the linear position and the measurement data in the lying position.

도 6을 참조하면, 대상자의 체형 측정 전 신체 표면에 특정 색상의 스티커나 인체 마킹용 사인펜 등을 이용한 표식을 부착(610)하고, 상기 표식은 추후 자세 분석 과정에서 입력 체형의 특징점으로 추출되어 이용될 수 있다. 다만, 인공 표식을 사용하지 않거나 특징점 추출이 필요하지 않은 일부 실시예에서는 상기 표식 부착(610) 과정에 생략될 수도 있다. 대상자가 선 자세로 3차원 촬영(621)하여 획득한 측정 데이터에 대한 자세 특징 계산(622)과, 상기 대상자가 누운 자세에서 3차원 촬영(631)하여 획득한 측정 데이터에 대한 자세 특징 계산(632)은 도 2 및 도 3의 체형 비대칭 지수 계산 방식과 도 5의 평면 법선 벡터 계산 방식 모두 이용하여 수행될 수 있다. 이러한 방식으로 획득한 선 자세 및 누운 자세에서의 자세 분석 결과는 통합 자세 분석(640)에 활용된다. 상기 통합 자세 분석(640) 시, 체형 비대칭 지수 계산 방식에 의해 계산된 선 자세 및 누운 자세에서의 분석 결과의 차이를 이용하거나, 또는 평면 법선 벡터 계산 방식에 의해 계산된 선 자세 및 누운 자세에서의 분석 결과 차이를 이용할 수 있다. 일부 실시예에 따라, 체형 비대칭 지수 계산 방식에 의한 분석 결과와 평면 법선 벡터 계산 방식에 의한 분석 결과를 모두 통합 자세 분석(640)에 활용할 수도 있다.6, a marking using a sticker of a specific color or a marking pen for human marking is attached (610) to the body surface of the subject before measurement of the body shape of the subject, and the marking is extracted and used as feature points of the input body in the posture analysis process . However, in some embodiments where artificial markers are not used or minutiae point extraction is not required, they may be omitted in the marking process (610). An attitude characteristic calculation 622 for the measurement data obtained by three-dimensionally photographing 621 the subject in a normal posture and an attitude characteristic calculation 632 for the measurement data obtained by the three- ) Can be performed using both the body-shape asymmetry index calculation methods of FIGS. 2 and 3 and the plane normal vector calculation method of FIG. The posture analysis results obtained in this manner are used in the integrated posture analysis (640). In the integrated posture analysis (640), the difference of the analysis results in the line posture and the lying posture calculated by the body asymmetry index calculation method is used, or the difference in the posture and the posture calculated in the plane normal vector calculation method Differences in the results of the analysis can be used. According to some embodiments, both the analysis result of the body shape asymmetry index calculation method and the analysis result of the plane normal vector calculation method may be utilized in the integrated posture analysis 640.

도 7은 일실시예에 따라 기준 체형 모델을 이용한 3차원 자세 분석 방법을 도시하는 흐름도이다.7 is a flowchart illustrating a three-dimensional posture analysis method using a reference body model according to an embodiment.

3차원 자세 분석 장치는 깊이 카메라를 이용하여 측정한 인체의 3차원 체형 데이터를 기준 체형 모델의 자세로 정렬하여 분석하는 수단으로, 자세 분석 과정에서의 반복도 및 정확도를 향상시키는 방법을 제공한다.The three-dimensional attitude analyzing device is a means for analyzing the three-dimensional body data of the human body measured using a depth camera and arranging the three-dimensional body data into a posture of the reference body model, and provides a method for improving the repeatability and accuracy in the posture analysis process.

단계 710에서는, 3차원 자세 분석 장치의 추출부가 입력 체형 데이터로부터 복수 개의 특징점을 추출할 수 있다. 상기 입력 체형 데이터는 깊이 카메라를 이용하여 측정된 대상자의 3차원 체형 데이터로서, 상기 대상자의 신체 표면에 대응하는 3차원 점들의 집합으로 이해될 수 있으며, 3차원 위치를 나타내는 좌표정보 외에 밝기 정보(grayscale)나 컬러 정보를 포함할 수 있다. 상기 복수 개의 특징점은 상기 입력 체형 데이터에 대해 미리 지정된 위치에 따라 추출되거나 또는 상기 입력 체형 데이터의 임의의 위치에서 추출된다. 단계 710에서, 상기 추출부는 대상자 신체의 주요 위치에 미리 생성된 인공 표식이나 식별 가능한 부위를 기준으로 상기 복수 개의 특징점을 추출한다. 이를 테면, 측정 전 상기 대상자 신체의 주요 위치에 부착된 특정 색상의 스티커나 또는 인체 마킹용 사인펜 등을 이용하여 생성된 표식에 대해, 특정 색상 영역을 검출하는 영상 처리 방식으로 상기 복수 개의 특징점이 추출될 수 있다. 다만, 인공 표식을 사용하지 않는 경우에는, 대상자 신체에서 배꼽, 유두점과 같이 피부의 텍스처와 쉽게 구분 가능한 부위를 특징점으로 활용할 수 있다.In step 710, the extracting unit of the three-dimensional attitude analyzing apparatus can extract a plurality of minutiae from the input body data. The input body data may be three-dimensional body data of a subject measured using a depth camera, and may be understood as a set of three-dimensional points corresponding to the body surface of the subject. In addition to the coordinate information indicating the three- grayscale) or color information. The plurality of feature points are extracted according to a predetermined position for the input body data or extracted at an arbitrary position of the input body data. In step 710, the extracting unit extracts the plurality of feature points based on artificial markers or identifiable regions that are generated in advance at the main positions of the subject's body. For example, a plurality of feature points may be extracted by an image processing method for detecting a specific color area for a mark created using a sticker of a specific color attached to a main position of the subject's body or a marking pen for human marking before measurement . However, when the artificial marker is not used, it is possible to utilize a region of the subject's body which is easily distinguishable from the texture of the skin such as the navel or the teat point.

단계 720에서는, 3차원 자세 분석 장치의 변형부가 상기 입력 체형 데이터로부터 추출된 복수 개의 특징점의 위치에 기초하여 기준 체형 모델을 변형할 수 있다. 상기 기준 체형 모델은 자세 측정에 적합하도록 미리 설정된 기준 데이터로서, 글로벌 좌표계 X, Y, Z 축 상에 표현된 3차원 점들의 집합으로 구성된다. 단계 720에서, 상기 변형부는 상기 기준 체형 모델 및 상기 입력 체형 데이터 사이의 특징점 대응 관계에 기초하여 계산된 크기 변형 계수 s를 이용하여 상기 기준 체형 모델을 크기 변환한다. 상기 크기 변형 계수는 둘 이상의 특징점 위치를 이용하여 정의된 선분 길이를 기초로 계산되며, X, Y 및 Z축의 각 방향 별로 다른 크기 변형 계수가 적용될 수 있다.In step 720, the deformed part of the three-dimensional attitude analyzing apparatus can transform the reference body model based on the positions of the plurality of feature points extracted from the input body data. The reference body model is composed of a set of three-dimensional points represented on the X, Y, and Z axes of the global coordinate system as preset reference data suitable for attitude measurement. In step 720, the transforming unit resizes the reference body model using the size transformation coefficient s calculated based on the correspondence relationship between the reference body model and the input feature data. The size deformation coefficients are calculated based on the segment length defined using two or more feature point positions, and different size deformation coefficients may be applied to each direction of the X, Y, and Z axes.

단계 730에서는, 3차원 자세 분석 장치의 처리부가 상기 입력 체형 데이터를 상기 변형된 기준 체형 모델에 정렬하도록 변환하고, 상기 변형된 기준 체형 모델의 적어도 한 축을 기준으로 체형 비대칭 지수(Body Asymmetry Index; BAI)를 계산할 수 있다. 이 때, 상기 처리부는 ICP(Iterative Closest Point) 알고리즘을 이용하여 상기 입력 체형 데이터 및 상기 변형된 기준 체형 모델을 정렬하기 위한 강체변환 벡터T를 계산하고, 상기 계산된 강체변환 벡터에 기초하여 상기 입력 체형 데이터를 변환한다. 상기 입력 체형 데이터의 변환은 입력 체형의 초기 자세를 상기 변형된 기준 체형 모델과 유사하게 설정하여, ICP 알고리즘이 잘 동작할 수 있도록 최적화하는 작업으로 이해될 수 있다. 또한, 단계 730에서, 상기 처리부는 상기 변환된 입력 체형 데이터에서 복수 개의 미리 지정된 위치에 대한 좌우 길이를 비교하여 상기 체형 비대칭 지수를 계산할 수 있다.In step 730, the processing unit of the three-dimensional attitude analyzer converts the input body data to align with the modified reference body model, and calculates a Body Asymmetry Index (BAI) based on at least one axis of the modified reference body model, ) Can be calculated. At this time, the processing unit calculates a rigid transformation vector T for aligning the input body data and the modified reference body model using an ICP (Iterative Closest Point) algorithm, and based on the calculated rigid transformation vector, Body type data. The conversion of the input body data can be understood as an operation of setting the initial posture of the input body similar to the modified reference body model and optimizing the ICP algorithm so that it can operate well. In addition, in step 730, the processing unit may calculate the body shape asymmetry index by comparing the left and right lengths of the plurality of predetermined positions in the converted input body data.

도 8은 일실시예에 따라 후면의 평면 구조물을 이용한 3차원 자세 분석 방법을 도시하는 흐름도이다.8 is a flowchart illustrating a three-dimensional posture analysis method using a planar structure on the rear surface according to an embodiment.

3차원 자세 분석 장치는 3차원 카메라를 이용하여 측정된 입력 측정 데이터로부터 분류된 후면 스크린 영역 및 체형 데이터 영역 각각에 대해 평면 피팅을 수행하여 체형 자세를 분석하는 수단으로, 자세 분석 과정에서의 불편함은 줄이면서 정확도는 높이는 방법을 제공한다.The three-dimensional posture analyzing device is a means for analyzing the body posture by performing a flat fitting on each of the rear screen area and the body data area classified from the input measurement data measured using the three-dimensional camera, Provides a way to increase accuracy while reducing.

단계 810에서는, 3차원 자세 분석 장치의 분류부가 입력 측정 데이터로부터 신체 영역에 대응하는 제1 포인트 그룹 및 후면 스크린 영역에 대응하는 제2 포인트 그룹을 분류할 수 있다. 상기 입력 측정 데이터는 대상자가 후면 스크린을 배경으로 선 자세 또는 누운 자세를 취한 상태에서 깊이 카메라를 이용하여 획득한 데이터로서, 상기 대상자의 신체 표면과 상기 후면 스크린 표면에 대응하는 3차원 점들의 집합으로 이해될 수 있다. 상기 입력 측정 데이터 획득 과정에서, 선 자세는 후면 스크린에 대상자의 등 부분이 접하도록 직립한 상태에서 측정하고, 누운 자세는 후면 스크린 상에 똑바로 누운 상태에서 측정한다.In step 810, the classification unit of the three-dimensional attitude analyzing apparatus can classify the first point group corresponding to the body region and the second point group corresponding to the rear screen region from the input measurement data. Wherein the input measurement data is data obtained by using a depth camera in a state in which the subject is in a line posture or a lying posture with the back screen as a background and is a set of three-dimensional points corresponding to the body surface of the subject and the rear screen surface Can be understood. In the process of acquiring the input measurement data, the pre-posture is measured in a state in which the posture of the subject is erected so that the back portion of the subject is in contact with the rear screen, and the posture is measured in a state in which the posture is lying on the back screen.

단계 820에서는, 3차원 자세 분석 장치의 계산부가 상기 입력 측정 데이터에서 신체 영역에 대응하는 상기 제1 포인트 그룹에 대한 평면 피팅을 수행하여 생성된 제1 평면의 법선 벡터 V_b를 계산할 수 있다.In step 820, it is possible to add the calculation of the 3D position to calculate the analyzer wherein the normal vector V of the first plane generated by performing the fitting plane of the first point group _b corresponding to the body region in the input sample data.

단계 830에서는, 상기 계산부가 상기 입력 측정 데이터에서 후면 스크린 영역에 대응하는 상기 제2 포인트 그룹에 대한 평면 피팅을 수행하여 생성된 제2 평면의 법선 벡터 V_s를 계산할 수 있다.In step 830, the calculation unit may calculate a normal vector V _s of the second plane generated by performing a plane fitting on the second point group corresponding to the rear screen area in the input measurement data.

단계 840에서는 3차원 자세 분석 장치의 처리부가, 단계 820에서 계산된 제1 평면의 법선 벡터 V_b와 단계 830에서 계산된 상기 제2 평면의 법선 벡터 V_s 사이의 각도 th를 계산할 수 있다. 단계 840에서, 상기 처리부는 상기 대상자의 누운 자세를 기준으로 생성된 두 법선 벡터 사이의 각도인 제1 각도와, 상기 대상자의 선 자세를 기준으로 생성된 두 법선 벡터 사이의 각도인 제2 각도를 계산하고, 상기 제1 각도 및 상기 제2 각도의 차이값에 기초하여 통합 자세 분석을 수행할 수 있다. 단계 840 이후, 상기 처리부는 도 7에서 기술한 체형 비대칭 지수를 이용한 자세 분석 결과와 도 8의 평면 법선 벡터를 이용한 자세 분석 결과를 함께 고려하여 통합 자세 분석에 활용할 수도 있다.In step 840, the processing unit of the three-dimensional attitude analyzer can calculate the angle th between the normal vector V _b of the first plane calculated in step 820 and the normal vector V _s of the second plane calculated in step 830. In step 840, the processing unit obtains a first angle, which is an angle between two normal vectors generated based on the subject's lying position, and a second angle, which is an angle between two normal vectors generated based on the line posture of the subject, And perform an integrated posture analysis based on the difference between the first angle and the second angle. After step 840, the processing unit may be used for the integrated posture analysis by considering the posture analysis result using the body shape asymmetry index described in FIG. 7 and the posture analysis result using the plane normal vector of FIG.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims

An extracting unit for extracting a plurality of feature points from the input body type data;
A deforming unit deforming the reference body model based on the positions of the plurality of feature points; And
A processing unit for converting the input body data to align with the modified reference body model and calculating an asymmetry index based on at least one axis of the modified reference body model,
Dimensional body posture analyzer.

The method according to claim 1,
The deforming portion
And transforming the reference body model using a magnitude transformation factor calculated based on a correspondence relationship between the reference body model and the minutiae point between the input body data.

3. The method of claim 2,
Wherein the magnitude of deformation modulus,
A three-dimensional body posture analyzer with different values for each direction axis.

The method according to claim 1,
Wherein,
A rigid transformation vector for aligning the input body data and the modified reference body model using an ICP (Iterative Closest Point) algorithm, and transforming the input body data based on the calculated rigid transformation vector Body posture analyzer.

5. The method of claim 4,
Wherein,
And calculating the asymmetry index by comparing the left and right lengths of the plurality of predetermined positions in the converted input body data.

A classifying unit for classifying a first point group corresponding to the body region and a second point group corresponding to the rear screen region from the input measurement data;
A calculation unit for calculating a normal vector of a first plane generated by performing a plane fitting on the first point group and a normal vector of a second plane generated by performing a plane fitting on the second point group; And
A processing unit for calculating an angle between a normal vector of the first plane and a normal vector of the second plane
Dimensional body posture analyzer.

The method according to claim 6,
Wherein,
A three-dimensional body posture analyzer that calculates a first angle, an angle between two planes in a lying position, and a second angle, an angle between two planes in a line posture.

8. The method of claim 7,
Wherein,
And performs an integrated posture analysis based on a difference between the first angle and the second angle.

Extracting a plurality of feature points from input body type data;
Transforming the reference body model based on the positions of the plurality of feature points; And
Transforming the input body data to align with the modified reference body model, and calculating an asymmetry index based on at least one axis of the modified reference body model
Dimensional body posture analysis method.

10. The method of claim 9,
Wherein the step of deforming the reference body model further comprises:
Dimensional body posture analysis is performed using a size deformation coefficient calculated based on a correspondence relationship between the reference body shape model and the minutiae point between the input body data.

11. The method of claim 10,
Wherein the magnitude of deformation modulus,
A three-dimensional body posture analysis method in which different values are applied to each direction axis.

10. The method of claim 9,
Wherein the calculating the asymmetry index comprises:
Calculating a rigid transformation vector for aligning the input body data and the modified reference body model using an ICP (Iterative Closest Point) algorithm; And
Transforming the input body type data based on the calculated rigid transformation vector
Dimensional body posture analysis method.

13. The method of claim 12,
Wherein the calculating the asymmetry index comprises:
And calculating the asymmetry index by comparing left and right lengths of a plurality of predetermined positions in the converted input body data.

Classifying a first point group corresponding to the body region and a second point group corresponding to the rear screen region from the input measurement data;
Calculating a normal vector of the first plane generated by performing a flat fitting on the first point group;
Calculating a normal vector of a second plane generated by performing a flat fitting on the second group of points; And
Calculating an angle between a normal vector of the first plane and a normal vector of the second plane
Dimensional body posture analysis method.

15. The method of claim 14,
Wherein the step of calculating an angle between the normal vector of the first plane and the normal vector of the second plane comprises:
A three-dimensional body posture analysis method that calculates a first angle, an angle between two planes in a lying position, and a second angle, an angle between two planes in a line position.