KR20150041536A - 몸 방향 추정 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 몸 방향 추정 장치. - Google Patents

몸 방향 추정 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 몸 방향 추정 장치.

Info

Publication number
KR20150041536A
KR20150041536A KR20130120187A KR20130120187A KR20150041536A KR 20150041536 A KR20150041536 A KR 20150041536A KR 20130120187 A KR20130120187 A KR 20130120187A KR 20130120187 A KR20130120187 A KR 20130120187A KR 20150041536 A KR20150041536 A KR 20150041536A
Authority
KR
South Korea
Prior art keywords
vector
coordinate system
human body
matrix
axis
Prior art date
Application number
KR20130120187A
Other languages
English (en)
Other versions
KR102085180B1 (ko
Inventor
정호엽
김정섭
최진욱
하남수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130120187A priority Critical patent/KR102085180B1/ko
Priority to US14/509,516 priority patent/US9589182B2/en
Publication of KR20150041536A publication Critical patent/KR20150041536A/ko
Application granted granted Critical
Publication of KR102085180B1 publication Critical patent/KR102085180B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

일 실시 예에 따르면, 인체의 제1 신체 부위를 기초로 하여 기준 위치를 결정하는 단계; 월드 좌표계에서 상기 결정된 기준 위치를 이용하여 이동 행렬을 산출하는 단계; 상기 기준 위치와 상기 인체의 제2 신체 부위에 기초하여 제1 벡터를 결정하는 단계; 상기 결정된 제1 벡터와 상기 월드 좌표계의 z축과 수직인 제1 회전 벡터를, 제1 회전 축으로 하여 각도
Figure pat00090
만큼 회전한 제1 회전 행렬을 산출하는 단계; 상기 제1 벡터와 상기 인체의 제3 신체 부위에 기초하여 제2 벡터를 결정하는 단계; 상기 월드 좌표계의 z축을 제2 회전 축으로 하여 각도
Figure pat00091
만큼 회전한 제2 회전 행렬을 산출하는 단계; 및 상기 이동 행렬, 상기 제1 회전 행렬 및 상기 제2 회전 행렬에 기초하여 변환 행렬을 산출하는 단계를 포함하고,
상기 각도
Figure pat00092
는 상기 Z 축과 상기 제1 벡터간의 각도이고, 상기 각도
Figure pat00093
는 상기 월드 좌표계의 Y축과 제2 벡터간의 각도인 것을 특징으로 하는, 몸 방향 추정 방법을 개시한다.

Description

몸 방향 추정 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 몸 방향 추정 장치.{Method of estimating body's orientation, Computer readable storage medium of recording the method and an device}
본 발명은 몸 방향 추정 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 몸 방향 추정 장치에 관한 것이다.
인체의 포즈는 사람의 행위의 의도를 나타내기 때문에 여러 컴퓨터공학 분야에서 해석하여 사용하고 있다. 주로, 인체의 포즈는 보안 분야, 로봇과의 상호작용분야나 포즈 인식분야 등에 사용되고 있다.
일 실시 예에 따른 몸 추정 방법은, 인체의 기준 위치를 이용한 이동 행렬과, 인체의 2개의 방향을 이용한2개의 회전 행렬을 산출하여, 인체 좌표계에서 월드 좌표계로 변환할 수 있는 변환 행렬을 산출하는 방법을 제공한다.
일 실시 예에 따른 몸 추정 방법은, 인체의 제1 신체 부위를 기초로 하여 기준 위치를 결정하는 단계; 월드 좌표계에서 상기 결정된 기준 위치를 이용하여 이동 행렬을 산출하는 단계; 상기 기준 위치와 상기 인체의 제2 신체 부위에 기초하여 제1 벡터를 결정하는 단계; 상기 결정된 제1 벡터와 상기 월드 좌표계의 z축과 수직인 제1 회전 벡터를, 제1 회전 축으로 하여 각도
Figure pat00001
만큼 회전한 제1 회전 행렬을 산출하는 단계; 상기 제1 벡터와 상기 인체의 제3 신체 부위에 기초하여 제2 벡터를 결정하는 단계; 상기 월드 좌표계의 z축을 제2 회전 축으로 하여 각도
Figure pat00002
만큼 회전한 제2 회전 행렬을 산출하는 단계; 및 상기 이동 행렬, 상기 제1 회전 행렬 및 상기 제2 회전 행렬에 기초하여 변환 행렬을 산출하는 단계를 포함하고, 상기 각도
Figure pat00003
는 상기 Z 축과 상기 제1 벡터간의 각도이고, 상기 각도
Figure pat00004
는 상기 월드 좌표계의 Y축과 제2 벡터간의 각도인 것을 특징으로 하는, 몸 방향 추정 방법을 제공한다.
일 실시 예에 따른 기준 위치는 상기 인체의 관절들의 결합 위치를 포함할 수 있다.
일 실시 예에 따른 제1 벡터는 상기 기준 위치를 기준으로 상기 제2 신체 부위와 최단 거리를 가지는 방향 벡터를 포함할 수 있다.
일 실시 예에 따른 제2 벡터는 상기 제1 벡터의 법선 벡터를 포함할 수 있다.
일 실시 예에 따른 제1 회전 벡터는 제1 벡터와 상기 월드 좌표계의 z축의 단위 벡터와의 외적 벡터를 포함할 수 있다.
일 실시 예에 따른 변환 행렬은 아핀 행렬를 포함할 수 있다.
일 실시 예에 따른 몸 방향 추정 방법은, 인체 좌표계를 설정하는 단계를 더 포함하고, 상기 인체 좌표계의 중심 좌표는 상기 기준 위치이고, 상기 제1 벡터와 상기 제2 벡터를 이용하여 상기 인체 좌표계의 각 축을 설정할 수 있는 것을 특징으로 하는 몸 방향 추정 방법을 제공할 수 있다.
일 실시 예에 따른 몸 방향 추정 방법은, 변환 행렬을 이용하여 상기 인체 좌표계에서의 인체의 결합 위치를 상기 월드 좌표계의 위치로 변환하는 단계; 를 더 포함하는 몸 방향 추정 방법을 제공할 수 있다.
일 실시 예에 따른 몸 방향 추정 장치는, 영상을 수신하는 영상 수신
상기 수신된 영상에서 눈 영역을 검출하는 눈 영역 검출부; 상기 눈 영역에서 눈의 중심을 결정하는 눈의 중심 결정부; 상기 눈 영역에서 반사 영역을 검출하는 반사 영역 검출부; 상기 검출된 반사 영역의 형상을 결정하는 형상 결정부; 및 상기 결정된 반사 영역의 형상에 기초하여, 상기 반사 영역을 피하기 위한 안내 정보를 출력하는 안내 정보 출력부 인체의 제1 신체 부위를 기초로 하여 기준 위치를 결정하는 기준 위치 결정부; 월드 좌표계에서 상기 결정된 기준 위치를 이용하여 이동 행렬을 산출하는 이동 행렬 산출부; 상기 기준 위치와 상기 인체의 제2 신체 부위에 기초하여 제1 벡터를 결정하는 제1 벡터 결정부; 상기 결정된 제1 벡터와 상기 월드 좌표계의 z축과 수직인 제1 회전 벡터를, 제1 회전 축으로 하여 각도
Figure pat00005
만큼 회전한 제1 회전 행렬을 산출하는 제1 회전 행렬 산출부(400); 상기 제1 벡터와 상기 인체의 제3 신체 부위에 기초하여 제2 벡터를 결정하는 제2 벡터 결정부; 상기 월드 좌표계의 z축을 제2 회전 축으로 하여 각도
Figure pat00006
만큼 회전한 제2 회전 행렬을 산출하는 제2 회전 행렬 산출부; 및 상기 이동 행렬, 상기 제1 회전 행렬 및 상기 제2 회전 행렬에 기초하여 변환 행렬을 산출하는 변환 행렬 산출부를 포함할 수 있고, 일 실시 예에 따른 각도
Figure pat00007
는 상기 Z 축과 상기 제1 벡터간의 각도이고, 각도
Figure pat00008
는 상기 월드 좌표계의 Y축과 제2 벡터간의 각도일 수 있다.
일 실시 예에 따른 기준 위치는 상기 인체의 관절들의 결합 위치를 포함할 수 있다.
일 실시 예에 따른 제1 벡터는 상기 기준 위치를 기준으로 상기 제2 신체 부위와 최단 거리를 가지는 방향 벡터를 포함할 수 있다.
일 실시 예에 따른 제2 벡터는 상기 제1 벡터의 법선 벡터를 포함할 수 있다.
일 실시 예에 따른 제1 회전 벡터는 제1 벡터와 상기 월드 좌표계의 z축의 단위 벡터와의 외적 벡터를 포함할 수 있다.
일 실시 예에 따른 변환 행렬은 아핀 행렬를 포함할 수 있다.
일 실시 예에 따른 몸 방향 추정 장치는, 인체 좌표계를 설정하는 인체 좌표계 설정부를 더 구비하는 몸 방향 추정 장치를 제공할 수 있고, 일 실시 예에 따른 인체 좌표계 설정부는 상기 기준 위치를 상기 인체 좌표계의 중심 좌표로 할 수 있고, 상기 제1 벡터와 상기 제2 벡터를 이용하여 상기 인체 좌표계의 각 축을 설정하는 것을 포함할 수 있다.
일 실시 예에 따른 몸 방향 추정 장치는, 변환 행렬을 이용하여 상기 인체 좌표계에서의 인체의 결합 위치를 상기 월드 좌표계의 위치로 변환하는 좌표 변환부; 를 더 구비할 수 있다.
일 실시 예에 따른 프로세서에 의해 독출되어 실행되었을 때, 몸 방향 추정 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 저장매체에 있어서, 상기 몸 방향 추정 방법은, 인체의 제1 신체 부위를 기초로 하여 기준 위치를 결정하는 단계; 월드 좌표계에서 상기 결정된 기준 위치를 이용하여 이동 행렬을 산출하는 단계; 상기 기준 위치와 상기 인체의 제2 신체 부위에 기초하여 제1 벡터를 결정하는 단계; 상기 결정된 제1 벡터와 상기 월드 좌표계의 z축과 수직인 제1 회전 벡터를, 제1 회전 축으로 하여 각도
Figure pat00009
만큼 회전한 제1 회전 행렬을 산출하는 단계; 상기 제1 벡터와 상기 인체의 제3 신체 부위에 기초하여 제2 벡터를 결정하는 단계; 상기 월드 좌표계의 z축을 제2 회전 축으로 하여 각도
Figure pat00010
만큼 회전한 제2 회전 행렬을 산출하는 단계; 상기 이동 행렬, 상기 제1 회전 행렬 및 상기 제2 회전 행렬에 기초하여 변환 행렬을 산출하는 단계를 포함하고,
상기 각도
Figure pat00011
는 상기 Z 축과 상기 제1 벡터간의 각도이고 상기 각도
Figure pat00012
는 상기 월드 좌표계의 Y축과 제2 벡터간의 각도인 것을 특징으로 하는 컴퓨터 판독가능 저장매체를 제공한다.
도1 는 일 실시 예에 따른 몸 방향 추정 방법을 제공하는 몸 방향 추정 장치의 블록도이다.
도2 은 일 실시 예에 따른 몸 방향 추정 방법의 흐름도이다.
도3a 내지 도3b는 일 실시 예에 따른 몸 방향 추정 장치가 인체의 신체 부위에 기초하여 결정한 기준 위치, 제1 벡터 및 제2 벡터의 예를 도시한 도면이다.
도4 은 일 실시 예에 따른 몸 방향 추정 장치가 이동 행렬을 구하는데, 월드 좌표계에서 인체의 기준 위치를 이용하는 일 예를 도시한 도면이다.
도5 은 일 실시 예에 따른 몸 방향 추정 장치가 월드 좌표계와 인체의 신체 부위에 기초하여 결정한 제1 벡터 및 제2 벡터와의 관계를 도시한 도면이다.
도6 은 일 실시 예에 따른 몸 방향 추정 장치가 제1 회전 행렬을 구하는데, 월드 좌표계에서 인체의 제1 벡터를 이용하는 일 예를 도시한 도면이다.
도7 은 일 실시 예에 따른 몸 방향 추정 장치가 제2 회전 행렬을 구하는데, 월드 좌표계에서 인체의 제2 벡터를 이용하는 일 예를 도시한 도면이다.
도8 은 일 실시 예에 따른 몸 방향 추정 장치가 변환 행렬을 이용하여 인체 좌표계가 월드 좌표계로 좌표 변환을 하는 일 예를 도시한 도면이다.
본 발명은 다양한 변형을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 다양한 실시 예들은 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도1 는 일 실시 예에 따른 몸 방향 추정 방법을 제공하는 몸 방향 추정 장치(1000)의 블록도이다.
상기 몸 방향 추정 장치(1000)는 기준 위치 결정부, 이동 행렬 산출부, 제1 벡터 결정부, 제1 회전 행렬 산출부(400), 제2 벡터 결정부, 제2 회전 행렬 산출부 및 변환 행렬 산출부를 포함할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
일 실시 예에 따른 기준 위치 결정부는 인체의 제1 신체 부위를 기초로 하여 기준 위치를 결정할 수 있다.
일 실시 예에 따른 인체의 기준 위치는 인체의 제1 신체 부위를 기초로 결정될 수 있는데, 예를 들면 제1 신체 부위는 월드 좌표계에서 정보를 획득하기 쉬운 머리 또는 목을 포함할 수 있다. 이 경우 머리 또는 목을 기초로 획득된 기준 위치를 인체 좌표계에서 중심 좌표로 설정할 수 있다.
또한, 일 실시 예에 따른 기준 위치는 인체의 관절들의 결합 위치이며, 상기 기재에 한정 되는 것은 아니다.
한편, 일 실시 예에 따른 월드 좌표계는 카메라의 중심 좌표를 원점으로 하는 X축, Y축 및 Z축을 가지는 3차원 좌표계이고, 인체 좌표계는 인체의 기준 위치를 원점으로 하는 U축, V축 및 W축을 가지는 3차원 좌표계일 수 있다. 예를 들면 월드 좌표계는 카메라에서 획득된 인체의 영상을 랜더링 할 수 있고, 인체 좌표계는 인체의 특정 위치를 중심으로 인체의 관절들의 결합 위치나 인체의 신체의 부분들을 나타낼 수 있다.
일 실시 예에 따른 인체 좌표계에서는 인체의 기준 위치를 기준으로 상대적인 관절들의 결합 위치나 신체의 부분의 위치가 변하지 않는다는 가정을 할 수 있다.
일 실시 예에 따른 이동 행렬 산출부는 월드 좌표계에서 결정된 기준 위치를 이용하여 이동 행렬을 산출할 수 있다.
일 실시 예에 따른 인체의 기준 위치는 인체 좌표계에서는 원점일 수 있으나, 월드 좌표계에서는 소정의 위치 벡터를 가질 수 있다.
Figure pat00013
예를 들면, 이동 행렬은 월드 좌표계에서 인체의 기준 위치의 위치 벡터를 이용하여 산출할 수 있다. 이 경우, 상기 이동 행렬(T)은 4차원 동차 좌표계의 행렬 일수 있다.
Figure pat00014
일 실시 예에 따른 제1 벡터 결정부는 기준 위치와 인체의 제2 신체 부위에 기초하여 제1 벡터를 결정할 수 있다.
일 실시 예에 따른 인체의 제1 벡터는 기준 위치와 인체의 제2신체 부위를 기초로 결정될 수 있는데, 예를 들면 기준 위치가 목인 경우, 제2 신체 부위는 인체 좌표계에서 목과 소정의 거리만큼 떨어져 있다고 학습(Training)되어 있는 골반을 포함할 수 있다. 이 경우, 제1 벡터는 기준 위치를 기준으로 상기 제2 신체 부위와 최단 거리를 가지는 방향 벡터일 수 있다.
또한, 일 실시 예에 따른 제2 신체 부위는 인체의 기준 위치와 소정의 거리만큼 떨어져 있는 신체 부위이며, 상기 기재에 한정 되는 것은 아니다.
일 실시 예에 따른 제1 회전 행렬 산출부(400)는 결정된 제1 벡터와 월드 좌표계의 Z축과 수직인 제1 회전 벡터를 제1 회전 축으로 하여 각도
Figure pat00015
만큼 회전한 제1 회전 행렬을 산출할 수 있다.
일 실시 예에 따른 제1 회전 벡터는 제1 벡터와 상기 월드 좌표계의 음의 Z축의 단위 벡터와의 외적 벡터를 포함할 수 있다. 또한, 제1 회전 벡터는 제1 벡터와 크기는 같고 반대 방향을 가지는 벡터와 상기 월드 좌표계의 양의 Z축의 단위 벡터와의 외적 벡터를 포함할 수 있다.
일 실시 예에 따른 각도
Figure pat00016
는 월드 좌표계의 음의 Z 축과 상기 제1 벡터간의 각도일 수 있다. 또한, 제1 회전 벡터는 제1 벡터와 크기는 같고 반대 방향을 가지는 벡터와 월드 좌표계의 양의 Z축간의 각도 일 수 있다. 예를 들면, 각도
Figure pat00017
는 월드 좌표계의 음의 Z 축의 단위 벡터와 상기 제1 벡터의 내적을 이용해서 구할 수 있다.
예를 들면, 제1 회전 행렬은 제1 회전 벡터를 제1 회전 축으로 하여 반시계 방향으로 각도
Figure pat00018
만큼 회전하는 행렬을 포함한다. 이 경우, 상기 제1회전 행렬
Figure pat00019
은 4차원 동차 좌표계의 행렬일 수 있다.
예를 들면, 제1 회전 벡터가 (x,y,z)를 가질 때, 상기 임의의 축을 기준으로 각도
Figure pat00020
만큼 회전하는 제1 회전 행렬
Figure pat00021
는
Figure pat00022
인 경우, 하기와 같은 동차 좌표계의 행렬로 나타낼 수 있다.
Figure pat00023
일 실시 예에 따른 제2 벡터 결정부는 제1 벡터와 인체의 제3 신체 부위에 기초하여 제2 벡터를 결정할 수 있다.
일 실시 예에 따른 인체의 제2 벡터는 제1 벡터와 인체의 제3 신체 부위를 기초로 결정될 수 있는데, 제3 신체 부위는 제1 벡터와 가까운 정도에 의해 인체의 깊이 영상을 분할하여 얻어 질 수 있는 것이며, 상기 기재에 한정되는 것은 아니다.
예를 들면, 기준 위치인 목을 기준으로 제2 신체 부위인 골반으로 최단 거리를 가지는 방향 벡터가 제1 벡터인 경우, 인체의 제3 신체 부위는 인체 좌표계에서 제1 벡터와 가까운 거리에 위치하는 어깨를 포함할 수 있다.
이 경우, 제2 벡터는 상기 제1 벡터의 법선 벡터를 포함할 수 있는데, 제2 벡터는 제1 벡터에서 상기 어깨로 향하는 법선 벡터일 수 있다.
일 실시 예에 따른 제2 회전 행렬 산출부는 월드 좌표계의 Z축을 제2 회전 축으로 하여 각도
Figure pat00024
만큼 회전한 제2 회전 행렬을 산출할 수 있다.
일 실시 예에 따른 각도
Figure pat00025
는 상기 월드 좌표계의 Y축과 제2 벡터간의 각도일 수 있다. 예를 들면, 각도
Figure pat00026
는 월드 좌표계의 Y축의 단위 벡터와 상기 제2 벡터의 내적을 이용해서 구할 수 있다.
예를 들면, 제2 회전 행렬은 월드 좌표계의 Z축을 제2 회전 축으로 하여 반시계 방향으로 각도
Figure pat00027
만큼 회전하는 행렬을 포함한다. 이 경우, 상기 제2회전 행렬
Figure pat00028
은 4차원 동차 좌표계의 행렬일 수 있다.
예를 들면, 월드 좌표계의 Z축을 기준으로 각도
Figure pat00029
만큼 회전하는 제2 회전 행렬
Figure pat00030
는 하기와 같은 동차 좌표계의 행렬로 나타낼 수 있다.
Figure pat00031
일 실시 예에 따른 변환 행렬 산출부는 이동 행렬, 상기 제1 회전 행렬 및 상기 제2 회전 행렬에 기초하여 변환 행렬을 산출할 수 있다.
일 실시 예에 따른 변환 행렬은 아핀 행렬을 포함할 수 있다. 아핀 행렬은 동차 좌표계를 적용해서 이동 행렬 및 회전 행렬을 하나의 행렬로 표현할 수 있다.
일 실시 예에 따른 변환 행렬은
Figure pat00032
가 될 수 있다.
Figure pat00033
상기 변환 행렬은 인간 좌표계에서의 인체의 특징을 월드 좌표계에서도 그대로 유지할 수 있다.
또한, 일 실시 예에 따른 몸 방향 추정 장치(1000)는 인체 좌표계를 설정하는 인체 좌표 설정부(미도시) 를 더 구비할 수 있다.
일 실시 예에 따른 기준 위치를 인체 좌표계의 중심 좌표로 할 수 있고, 일 실시 예에 따른 제1 벡터와 제2 벡터를 이용하여 인체 좌표계의 각 축을 설정할 수 있다.
예를 들면, 기준 위치를 중심 좌표
Figure pat00034
로 설정할 수 있고, 제1 벡터를 음의 W축으로, 제2 벡터를 V축으로 하는 인체 좌표계를 설정할 수 있다.
또한, 일 실시 예에 따른 몸 방향 추정 장치(1000)는 인체 좌표계에서의 인체의 결합 위치를 변환 행렬을 이용하여 월드 좌표계의 위치로 변환하는 좌표 변환부 (미도시) 를 더 구비할 수 있다.
몸 방향 추정 장치(1000)의 동작들을 순서대로 상술한다.
도2 은 일 실시 예에 따른 몸 방향 추정 방법의 흐름도이다.
단계 100 에서 몸 방향 추정 장치(1000)는, 인체의 제1 신체 부위를 기초로 하여 기준 위치를 결정한다.
일 실시 예에 따른 인체의 기준 위치는 인체의 제1 신체 부위를 기초로 결정될 수 있는데, 예를 들면 제1 신체 부위는 월드 좌표계에서 정보를 획득하기 쉬운 머리 또는 목을 포함할 수 있다. 이 경우 머리 또는 목을 기초로 획득된 기준 위치를 인체 좌표계에서 중심 좌표로 설정할 수 있다.
또한, 일 실시 예에 따른 기준 위치는 인체의 관절들의 결합 위치이며, 상기 기재에 한정되는 것은 아니다.
이에 관하여는 도3a 를 참조하여 자세히 설명하기로 한다.
단계 110 에서 몸 방향 추정 장치(1000)는 월드 좌표계에서 결정된 기준 위치를 이용하여 이동 행렬을 산출한다.
일 실시 예에 따른 인체의 기준 위치는 인체 좌표계에서는 원점일 수 있으나, 월드 좌표계에서는 소정의 위치 벡터를 가질 수 있다.
이에 관하여는 도4를 참조하여 자세히 설명하기로 한다.
단계 120 에서 몸 방향 추정 장치(1000)는 기준 위치와 인체의 제2 신체 부위에 기초하여 제1 벡터를 결정한다.
일 실시 예에 따른 제1 벡터는 기준 위치를 기준으로 상기 제2 신체 부위와 최단 거리를 가지는 방향 벡터를 포함할 수 있다. 또한, 일 실시 예에 따른 제1 벡터는 기준 위치를 기준으로 최단 거리를 가지는 방향 벡터일 수 있으나, 상기 기재에 한정 되는 것은 아니다.
일 실시 예에 따른 인체의 제1 벡터는 기준 위치와 인체의 제2신체 부위를 기초로 결정될 수 있는데, 예를 들면 기준 위치가 목인 경우, 제2 신체 부위는 인체 좌표계에서 목과 소정의 거리만큼 떨어져 있다고 학습(Training)되어 있는 골반을 포함할 수 있다. 이 경우, 제1 벡터는 기준 위치를 기준으로 상기 제2 신체 부위와 최단 거리를 가지는 방향 벡터일 수 있다.
또한, 일 실시 예에 따른 제2 신체 부위는 인체의 기준 위치와 소정의 거리만큼 떨어져 있는 신체 부위이며, 상기 기재에 한정되는 것은 아니다.
이에 관하여는 도3a 및 도5를 참조하여 자세히 설명하기로 한다.
단계 130 에서 몸 방향 추정 장치(1000)는 결정된 제1 벡터와 월드 좌표계의 z축과 수직인 제1 회전 벡터를, 제1 회전 축으로 하여 각도
Figure pat00035
만큼 회전한 제1 회전 행렬을 산출한다. 또한, 일 실시 예에 따른 제1 회전 벡터는 월드 좌표계의 각 축과 수직인 것으로, 상기 기재에 한정되는 것은 아니다.
일 실시 예에 따른 제1 회전 벡터는 제1 벡터와 상기 월드 좌표계의 음의 Z축의 단위 벡터와의 외적 벡터를 포함할 수 있다. 또한, 제1 회전 벡터는 제1 벡터와 크기는 같고 반대 방향을 가지는 벡터와 상기 월드 좌표계의 양의 Z축의 단위 벡터와의 외적 벡터를 포함할 수 있다.
일 실시 예에 따른 각도
Figure pat00036
는 월드 좌표계의 음의 Z 축과 상기 제1 벡터간의 각도일 수 있다. 또한, 제1 회전 벡터는 제1 벡터와 크기는 같고 반대 방향을 가지는 벡터와 월드 좌표계의 양의 Z축간의 각도 일 수 있다. 예를 들면, 각도
Figure pat00037
는 월드 좌표계의 음의 Z 축의 단위 벡터와 상기 제1 벡터의 내적을 이용해서 구할 수 있다. 또한, 일 실시 예에 따른 각도
Figure pat00038
는 월드 좌표계의 각 축과 제1 벡터간의 각도 일 수 있으며, 상기 기재에 한정되는 것은 아니다.
예를 들면, 제1 회전 행렬은 제1 회전 벡터를 제1 회전 축으로 하여 반시계 방향으로 각도
Figure pat00039
만큼 회전하는 행렬을 포함한다. 이 경우, 상기 제1회전 행렬
Figure pat00040
은 4차원 동차 좌표계의 행렬일 수 있다. 또한, 일 실시 예에 따른 제1회전 행렬
Figure pat00041
은 N차원의 동차 좌표계 일 수 있으며, 상기 기재에 한정되는 것은 아니다.
이에 관하여는 도6를 참조하여 자세히 설명하기로 한다.
단계 140 에서 몸 방향 추정 장치(1000)는 제1 벡터와 인체의 제3 신체 부위에 기초하여 제2 벡터를 결정한다.
일 실시 예에 따른 인체의 제2 벡터는 제1 벡터와 인체의 제3 신체 부위를 기초로 결정될 수 있는데, 제3 신체 부위는 제1 벡터와 가까운 정도에 의해 인체의 깊이 영상을 분할하여 얻어질 수 있는 것이며, 상기 기재에 한정되는 것은 아니다.
일 실시 예에 따른 제2 벡터는 상기 제1 벡터의 법선 벡터를 포함할 수 있으나 상기 기재에 한정되는 것은 아니다.
이에 관하여는 도3b 내지 도5를 참조하여 자세히 설명하기로 한다.
단계 150 에서 몸 방향 추정 장치(1000)는 월드 좌표계의 z축을 제2 회전 축으로 하여 각도
Figure pat00042
만큼 회전한 제2 회전 행렬을 산출한다.
일 실시 예에 따른 각도
Figure pat00043
는 상기 월드 좌표계의 Y축과 제2 벡터간의 각도일 수 있다. 예를 들면, 각도
Figure pat00044
는 월드 좌표계의 Y축의 단위 벡터와 상기 제2 벡터의 내적을 이용해서 구할 수 있다. 또한, 일 실시 예에 따른 각도
Figure pat00045
는 월드 좌표계의 각 축과 제2벡터간의 각도 일 수 있으며, 상기 기재에 한정 되는 것은 아니다.
예를 들면, 제2 회전 행렬은 월드 좌표계의 Z축을 제2 회전 축으로 하여 반시계 방향으로 각도
Figure pat00046
만큼 회전하는 행렬을 포함한다. 이 경우, 상기 제2회전 행렬
Figure pat00047
은 4차원 동차 좌표계의 행렬일 수 있다. 또한, 일 실시 예에 따른 제2회전 행렬
Figure pat00048
은 N차원의 동차 좌표계 일 수 있으며, 상기 기재에 한정 되는 것은 아니다.
이에 관하여는 도7를 참조하여 자세히 설명하기로 한다.
단계 160 에서 몸 방향 추정 장치(1000)는 이동 행렬, 제1 회전 행렬 및 제2 회전 행렬에 기초하여 변환 행렬을 산출한다.
일 실시 예에 따른 변환 행렬은 아핀 행렬을 포함할 수 있으나, 상기 기재에 한정되는 것은 아니다.아핀 행렬은 동차 좌표계를 적용해서 이동 행렬 및 회전 행렬을 하나의 행렬로 표현할 수 있다.
일 실시 예에 따른 변환 행렬은
Figure pat00049
가 될 수 있다.
이에 관하여는 도8를 참조하여 자세히 설명하기로 한다.
도3a 내지 도3b는 일 실시 예에 따른 몸 방향 추정 장치(1000)가 인체의 신체 부위에 기초하여 결정한 기준 위치(10), 제1 벡터(30) 및 제2 벡터(50)의 예를 도시한 도면이다.
월드 좌표계는 카메라의 중심 좌표를 원점으로 하는 X축, Y축 및 Z축을 가지는 3차원 좌표계이고, 인체 좌표계는 인체의 기준 위치를 원점으로 하는 U축, V축 및 W축을 가지는 3차원 좌표계일 수 있으나, 상기 기재에 한정되는 것은 아니다. 예를 들면 월드 좌표계는 카메라에서 획득된 인체의 영상을 랜더링 할 수 있고, 인체 좌표계는 인체의 특정 위치를 중심으로 인체의 관절들의 결합 위치나 인체의 신체의 부분들을 나타낼 수 있다.
일 실시 예에 따른 인체 좌표계에서는 인체의 기준 위치를 기준으로 상대적인 관절들의 결합 위치나 신체의 부분의 위치가 변하지 않는다는 가정을 할 수 있다.
도3a 에서 도시한 바와 같이, 인체의 제1 벡터(30)는 기준 위치(10)와 인체의 제2신체 부위(20)를 기초로 결정될 수 있는데, 예를 들면 기준 위치(10)가 목인 경우, 제2 신체 부위(20)는 인체 좌표계에서 목과 소정의 거리만큼 떨어져 있다고 학습(Training)되어 있는 골반을 포함할 수 있다. 이 경우, 제1 벡터(30)는 기준 위치(10)를 기준으로 상기 제2 신체 부위(20)와 최단 거리를 가지는 방향 벡터일 수 있다. 또한, 일 실시 예에 따른 제1 벡터는 기준 위치를 기준으로 최단 거리를 가지는 방향 벡터일 수 있으나, 상기 기재에 한정 되는 것은 아니다.
도3b 에서 도시한 바와 같이, 인체의 제2 벡터(50)는 제1 벡터(30)와 인체의 제3 신체 부위(40)를 기초로 결정될 수 있는데, 제3 신체 부위(40)는 제1 벡터와 가까운 정도에 의해 인체의 깊이 영상을 분할하여 얻어 질 수 있는 것이며, 상기 기재에 한정 되는 것은 아니다.
예를 들면, 기준 위치인 목을 기준으로 제2 신체 부위인 골반으로 최단 거리를 가지는 방향 벡터가 제1 벡터인 경우, 인체의 제3 신체 부위는 인체 좌표계에서 제1 벡터와 가까운 거리에 위치하는 어깨를 포함할 수 있다.
이 경우, 제2 벡터는 상기 제1 벡터의 법선 벡터를 포함할 수 있으나, 상기 기재에 한정되는 것은 아니다. 예를 들면, 제2 벡터는 제1 벡터에서 상기 어깨로 향하는 법선 벡터일 수 있다.
도4 은 일 실시 예에 따른 몸 방향 추정 장치(1000)가 이동 행렬을 구하는데, 월드 좌표계에서 인체의 기준 위치를 이용하는 일 예를 도시한 도면이다.
월드 좌표계는 카메라의 중심 좌표를 원점으로 하는 X축, Y축 및 Z축을 가지는 3차원 좌표계이고, 인체 좌표계는 인체의 기준 위치를 원점으로 하는 U축, V축 및 W축을 가지는 3차원 좌표계일 수 있으나, 상기 기재에 한정되는 것은 아니다.. 예를 들면 월드 좌표계는 카메라에서 획득된 인체의 영상을 랜더링 할 수 있고, 인체 좌표계는 인체의 특정 위치를 중심으로 인체의 관절들의 결합 위치나 인체의 신체의 부분들을 나타낼 수 있다.
도4 에서 도시한 바와 같이, 기준 위치를 인체 좌표계의 중심 좌표로 할 수 있고, 제1 벡터와 제2 벡터를 이용하여 인체 좌표계의 각 축을 설정할 수 있다.
예를 들면, 기준 위치를 중심 좌표
Figure pat00050
로 설정할 수 있고, 제1 벡터를 음의 W축으로, 제2 벡터를 V축으로 하는 인체 좌표계를 설정할 수 있으나, 상기 기재에 한정되는 것은 아니다..
인체의 기준 위치는 인체 좌표계에서는 원점일 수 있으나, 월드 좌표계에서는 소정의 위치 벡터를 가질 수 있다.
Figure pat00051
예를 들면, 이동 행렬은 월드 좌표계에서 인체의 기준 위치의 위치 벡터를 이용하여 산출할 수 있다. 이 경우, 상기 이동 행렬(T)은 4차원 동차 좌표계의 행렬 일수 있으나, 상기 기재에 한정되는 것은 아니다.
Figure pat00052
도5 은 일 실시 예에 따른 몸 방향 추정 장치(1000)가 월드 좌표계와 인체의 신체 부위에 기초하여 결정한 제1 벡터 및 제2 벡터와의 관계를 도시한 도면이다.
도5 에서 도시한 바와 같이, 월드 좌표계와 인체 좌표계간의 축은 어긋나 있을 수 있다.
예를 들면, 기준 위치를 인체 좌표계의 중심 좌표
Figure pat00053
로 설정할 수 있고, 제1 벡터를 인체 좌표계의 음의 W축으로, 제2 벡터를 인체 좌표계의 V축으로 하는 인체 좌표계를 설정할 수 있으나, 상기 기재에 한정되는 것은 아니다. 이 경우 도5 에서 도시한 바와 같이 월드 좌표계의 Z축과 인체 좌표계의 W축이 각도
Figure pat00054
를 가지고 어긋날 수 있고, 월드 좌표계의 Y축과 인체 좌표계의 V축이 각도
Figure pat00055
를 가지고 어긋날 수 있다.
더욱 자세하게는 각도
Figure pat00056
는 월드 좌표계의 음의 Z 축과 상기 제1 벡터간의 각도일 수 있다. 또한, 제1 회전 벡터는 제1 벡터와 크기는 같고 반대 방향을 가지는 벡터와 월드 좌표계의 양의 Z축간의 각도 일 수 있다. 예를 들면, 각도
Figure pat00057
는 월드 좌표계의 음의 Z 축의 단위 벡터와 상기 제1 벡터의 내적을 이용해서 구할 수 있다. 또한, 일 실시 예에 따른 각도
Figure pat00058
는 월드 좌표계의 각 축과 제1 벡터간의 각도 일 수 있으며, 상기 기재에 한정되는 것은 아니다. 예를 들면, 각도
Figure pat00059
는 월드 좌표계의 Y축의 단위 벡터와 상기 제2 벡터의 내적을 이용해서 구할 수 있다.
또한, 각도
Figure pat00060
는 상기 월드 좌표계의 Y축과 제2 벡터간의 각도일 수 있다. 또한, 일 실시 예에 따른 각도
Figure pat00061
는 월드 좌표계의 각 축과 제2벡터간의 각도 일 수 있으며, 상기 기재에 한정 되는 것은 아니다.
도6 은 일 실시 예에 따른 몸 방향 추정 장치(1000)가 제1 회전 행렬을 구하는데, 월드 좌표계에서 인체의 제1 벡터를 이용하는 일 예를 도시한 도면이다.
예를 들면, 제1 회전 벡터는 제1 벡터와 크기는 같고 반대 방향을 가지는 벡터와 상기 월드 좌표계의 양의 Z축의 단위 벡터와의 외적 벡터를 포함할 수 있다.
도6 에서 도시한 바와 같이, 제1 회전 벡터N1=(x,y,z)를 임의의 축으로 하고, 상기 임의의 축을 기준으로 각도
Figure pat00062
만큼 회전하는 제1 회전 행렬
Figure pat00063
는
Figure pat00064
인 경우, 하기와 같은 동차 좌표계의 행렬로 나타낼 수 있으나, 상기 기재에 한정되는 것은 아니다.
Figure pat00065
도7 은 일 실시 예에 따른 몸 방향 추정 장치(1000)가 제2 회전 행렬을 구하는데, 월드 좌표계에서 인체의 제2 벡터를 이용하는 일 예를 도시한 도면이다.
도 7 에서 도시한 바와 같이, 제2 회전 행렬은 월드 좌표계의 Z축을 제2 회전 축으로 하여 반시계 방향으로 각도
Figure pat00066
만큼 회전하는 행렬을 포함한다. 이 경우, 상기 제2회전 행렬
Figure pat00067
은 4차원 동차 좌표계의 행렬일 수 있으나, 상기 기재에 한정되는 것은 아니다.
예를 들면, 월드 좌표계의 Z축을 기준으로 각도
Figure pat00068
만큼 회전하는 제2 회전 행렬
Figure pat00069
는 하기와 같은 동차 좌표계의 행렬로 나타낼 수 있으나, 상기 기재에 한정되는 것은 아니다.
Figure pat00070

도8 은 일 실시 예에 따른 몸 방향 추정 장치(1000)가 변환 행렬을 이용하여 인체 좌표계가 월드 좌표계로 좌표 변환을 하는 일 예를 도시한 도면이다.
도8 에서 도시한 바와 같이, 변환 행렬은 아핀 행렬을 포함할 수 있으나, 상기 기재에 한정되는 것은 아니다. 아핀 행렬은 동차 좌표계를 적용해서 이동 행렬 및 회전 행렬을 하나의 행렬로 표현할 수 있다.
일 실시 예에 따른 변환 행렬은
Figure pat00071
가 될 수 있다.
상기 변환 행렬을 이용하여 인체 좌표계를 월드 좌표계로 변환 할 수 있고, 이에 따라 인체 좌표계에서의 인체의 결합 위치를 변환 행렬을 이용하여 월드 좌표계의 위치로 변환할 수 있다. 상기 변환 행렬은 인간 좌표계에서의 인체의 특징을 월드 좌표계에서도 그대로 유지할 수 있다.
예를 들면, 인체 좌표계에서의 임의의 위치인
Figure pat00072
변환 행렬을 이용하여 월드 좌표계에서의 위치
Figure pat00073
로 변환할 수 있으나, 상기 기재에 한정되는 것은 아니다.
Figure pat00074
Figure pat00075
Figure pat00076
Figure pat00077
다양한 실시 예에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 메모리(permanent storage), 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다.
소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 저장 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 저장 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 프로세서에서 실행될 수 있다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 에서 전체적으로 병합하여 나타낸 것과 동일하게 에 병합될 수 있다.
본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
1000: 몸 방향 추정 장치.
100: 기준 위치 결정부 200: 이동 행렬 산출부
300: 제1 벡터 결정부 400: 제1 회전 행렬 산출부
500: 제2 벡터 결정부 600: 제2 회전 행렬 산출부
700: 변환 행렬 산출부

Claims (17)

  1. 인체의 제1 신체 부위를 기초로 하여 기준 위치를 결정하는 단계;
    월드 좌표계에서 상기 결정된 기준 위치를 이용하여 이동 행렬을 산출하는 단계;
    상기 기준 위치와 상기 인체의 제2 신체 부위에 기초하여 제1 벡터를 결정하는 단계;
    상기 결정된 제1 벡터와 상기 월드 좌표계의 z축과 수직인 제1 회전 벡터를, 제1 회전 축으로 하여 각도
    Figure pat00078
    만큼 회전한 제1 회전 행렬을 산출하는 단계;
    상기 제1 벡터와 상기 인체의 제3 신체 부위에 기초하여 제2 벡터를 결정하는 단계;
    상기 월드 좌표계의 z축을 제2 회전 축으로 하여 각도
    Figure pat00079
    만큼 회전한 제2 회전 행렬을 산출하는 단계;
    상기 이동 행렬, 상기 제1 회전 행렬 및 상기 제2 회전 행렬에 기초하여 변환 행렬을 산출하는 단계를 포함하고,
    상기 각도
    Figure pat00080
    는 상기 Z 축과 상기 제1 벡터간의 각도이고
    상기 각도
    Figure pat00081
    는 상기 월드 좌표계의 Y축과 제2 벡터간의 각도인 것을 특징으로 하는, 몸 방향 추정 방법.
  2. 제1 항에 있어서,
    상기 기준 위치는 상기 인체의 관절들의 결합 위치인 것을 특징으로 하는, 몸 방향 추정 방법.
  3. 제1 항에 있어서,
    상기 제1 벡터는 상기 기준 위치를 기준으로 상기 제2 신체 부위와 최단 거리를 가지는 방향 벡터를 포함하는 것을 특징으로 하는, 몸 방향 추정 방법.
  4. 제1 항에 있어서,
    상기 제2 벡터는 상기 제1 벡터의 법선 벡터를 포함하는 것을 특징으로 하는 것을 특징으로 하는, 몸 방향 추정 방법.
  5. 제1 항에 있어서,
    상기 제1 회전 벡터는 제1 벡터와 상기 월드 좌표계의 z축의 단위 벡터와의 외적 벡터를 포함하는 것을 특징으로 하는, 몸 방향 추정 방법.
  6. 제1 항에 있어서,
    상기 변환 행렬은 아핀 행렬를 포함하는 것을 특징으로 하는, 몸 방향 추정 방법.
  7. 제1 항에 있어서,
    상기 몸 방향 추정 방법은
    인체 좌표계를 설정하는 단계를 더 포함하고,
    상기 인체 좌표계의 중심 좌표는 상기 기준 위치이고, 상기 제1 벡터와 상기 제2 벡터를 이용하여 상기 인체 좌표계의 각 축을 설정할 수 있는 것을 특징으로 하는, 몸 방향 추정 방법.
  8. 제1 항에 있어서,
    상기 몸 방향 추정 방법은
    상기 변환 행렬을 이용하여 상기 인체 좌표계에서의 인체의 결합 위치를 상기 월드 좌표계의 위치로 변환하는 단계; 를 더 포함하는 것을 특징으로 하는, 몸 방향 추정 방법.
  9. 인체의 제1 신체 부위를 기초로 하여 기준 위치를 결정하는 기준 위치 결정부;
    월드 좌표계에서 상기 결정된 기준 위치를 이용하여 이동 행렬을 산출하는 이동 행렬 산출부;
    상기 기준 위치와 상기 인체의 제2 신체 부위에 기초하여 제1 벡터를 결정하는 제1 벡터 결정부;
    상기 결정된 제1 벡터와 상기 월드 좌표계의 z축과 수직인 제1 회전 벡터를, 제1 회전 축으로 하여 각도
    Figure pat00082
    만큼 회전한 제1 회전 행렬을 산출하는 제1 회전 행렬 산출부;
    상기 제1 벡터와 상기 인체의 제3 신체 부위에 기초하여 제2 벡터를 결정하는 제2 벡터 결정부;
    상기 월드 좌표계의 z축을 제2 회전 축으로 하여 각도
    Figure pat00083
    만큼 회전한 제2 회전 행렬을 산출하는 제2 회전 행렬 산출부; 및
    상기 이동 행렬, 상기 제1 회전 행렬 및 상기 제2 회전 행렬에 기초하여 변환 행렬을 산출하는 변환 행렬 산출부를 포함하고,
    상기 각도
    Figure pat00084
    는 상기 Z 축과 상기 제1 벡터간의 각도이고
    상기 각도
    Figure pat00085
    는 상기 월드 좌표계의 Y축과 제2 벡터간의 각도인 것을 특징으로 하는, 몸 방향 추정 장치.
  10. 제9 항에 있어서,
    상기 기준 위치는 상기 인체의 관절들의 결합 위치를 포함하는 것을 특징으로 하는, 몸 방향 추정 장치.
  11. 제9 항에 있어서,
    상기 제1 벡터는 상기 기준 위치를 기준으로 상기 제2 신체 부위와 최단 거리를 가지는 방향 벡터를 포함하는 것을 특징으로 하는, 몸 방향 추정 장치.
  12. 제9 항에 있어서,
    상기 제2 벡터는 상기 제1 벡터의 법선 벡터를 포함하는 것을 특징으로 하는 것을 특징으로 하는, 몸 방향 추정 장치.
  13. 제9 항에 있어서,
    상기 제1 회전 벡터는 제1 벡터와 상기 월드 좌표계의 z축의 단위 벡터와의 외적 벡터를 포함하는 것을 특징으로 하는, 몸 방향 추정 장치.
  14. 제9 항에 있어서,
    상기 변환 행렬은 아핀 행렬을 포함하는 것을 특징으로 하는,
  15. 제 9항에 있어서,
    상기 몸 방향 추정 장치는
    인체 좌표계를 설정하는 인체 좌표계 설정부를 더 구비하고,
    상기 인체 좌표계 설정부는
    상기 기준 위치를 상기 인체 좌표계의 중심 좌표로 할 수 있고, 상기 제1 벡터와 상기 제2 벡터를 이용하여 상기 인체 좌표계의 각 축을 설정하는 것을 특징으로 하는, 몸 방향 추정 장치.
  16. 제9 항에 있어서,
    상기 몸 방향 추정 장치는
    상기 변환 행렬을 이용하여 상기 인체 좌표계에서의 인체의 결합 위치를 상기 월드 좌표계의 위치로 변환하는 좌표 변환부; 를 더 포함하는 것을 특징으로 하는, 몸 방향 추정 장치.
  17. 프로세서에 의해 독출되어 실행되었을 때, 몸 방향 추정 방법 을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 저장매체에 있어서,
    상기 몸 방향 추정 방법은,
    인체의 제1 신체 부위를 기초로 하여 기준 위치를 결정하는 단계;
    월드 좌표계에서 상기 결정된 기준 위치를 이용하여 이동 행렬을 산출하는 단계;
    상기 기준 위치와 상기 인체의 제2 신체 부위에 기초하여 제1 벡터를 결정하는 단계;
    상기 결정된 제1 벡터와 상기 월드 좌표계의 z축과 수직인 제1 회전 벡터를, 제1 회전 축으로 하여 각도
    Figure pat00086
    만큼 회전한 제1 회전 행렬을 산출하는 단계;
    상기 제1 벡터와 상기 인체의 제3 신체 부위에 기초하여 제2 벡터를 결정하는 단계;
    상기 월드 좌표계의 z축을 제2 회전 축으로 하여 각도
    Figure pat00087
    만큼 회전한 제2 회전 행렬을 산출하는 단계;
    상기 이동 행렬, 상기 제1 회전 행렬 및 상기 제2 회전 행렬에 기초하여 변환 행렬을 산출하는 단계를 포함하고,
    상기 각도
    Figure pat00088
    는 상기 Z 축과 상기 제1 벡터간의 각도이고
    상기 각도
    Figure pat00089
    는 상기 월드 좌표계의 Y축과 제2 벡터간의 각도인 것을 특징으로 하는 컴퓨터 판독가능 저장매체.
KR1020130120187A 2013-10-08 2013-10-08 몸 방향 추정 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 몸 방향 추정 장치. KR102085180B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130120187A KR102085180B1 (ko) 2013-10-08 2013-10-08 몸 방향 추정 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 몸 방향 추정 장치.
US14/509,516 US9589182B2 (en) 2013-10-08 2014-10-08 Method and apparatus for estimating orientation of body, and computer readable storage medium of recording the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130120187A KR102085180B1 (ko) 2013-10-08 2013-10-08 몸 방향 추정 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 몸 방향 추정 장치.

Publications (2)

Publication Number Publication Date
KR20150041536A true KR20150041536A (ko) 2015-04-16
KR102085180B1 KR102085180B1 (ko) 2020-03-05

Family

ID=52776988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130120187A KR102085180B1 (ko) 2013-10-08 2013-10-08 몸 방향 추정 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 몸 방향 추정 장치.

Country Status (2)

Country Link
US (1) US9589182B2 (ko)
KR (1) KR102085180B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019013494A1 (ko) * 2017-07-11 2019-01-17 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102239957B1 (ko) 2019-11-13 2021-04-13 중앙대학교 산학협력단 가상 관절 구(sphere)를 이용한 모션 모델링 방법 및 그 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10599950B2 (en) 2017-05-30 2020-03-24 Google Llc Systems and methods for person recognition data management
CN111192318B (zh) * 2018-11-15 2023-09-01 杭州海康威视数字技术股份有限公司 确定无人机位置和飞行方向的方法、装置及无人机
CN110415361B (zh) * 2019-07-26 2020-05-15 北京罗森博特科技有限公司 断裂物体拼接方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100784125B1 (ko) * 2006-09-28 2007-12-12 전자부품연구원 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
KR20090064308A (ko) * 2007-12-14 2009-06-18 현대자동차주식회사 시트 편의성 평가용 인체모형 시스템
KR20100002803A (ko) * 2008-06-30 2010-01-07 삼성전자주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
KR20110121343A (ko) * 2010-04-30 2011-11-07 현대중공업 주식회사 가상 평면 정보를 사용한 3차원 자세 정보 획득 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5388059A (en) * 1992-12-30 1995-02-07 University Of Maryland Computer vision system for accurate monitoring of object pose
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US7027618B2 (en) * 2001-09-28 2006-04-11 Koninklijke Philips Electronics N.V. Head motion estimation from four feature points
JP3879848B2 (ja) * 2003-03-14 2007-02-14 松下電工株式会社 自律移動装置
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8638985B2 (en) * 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
JP5881136B2 (ja) * 2010-09-27 2016-03-09 ソニー株式会社 情報処理装置及び方法、並びにプログラム
JP5762730B2 (ja) * 2010-12-09 2015-08-12 パナソニック株式会社 人検出装置および人検出方法
US9436286B2 (en) 2011-01-05 2016-09-06 Qualcomm Incorporated Method and apparatus for tracking orientation of a user

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100784125B1 (ko) * 2006-09-28 2007-12-12 전자부품연구원 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
KR20090064308A (ko) * 2007-12-14 2009-06-18 현대자동차주식회사 시트 편의성 평가용 인체모형 시스템
KR20100002803A (ko) * 2008-06-30 2010-01-07 삼성전자주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
KR20110121343A (ko) * 2010-04-30 2011-11-07 현대중공업 주식회사 가상 평면 정보를 사용한 3차원 자세 정보 획득 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019013494A1 (ko) * 2017-07-11 2019-01-17 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102239957B1 (ko) 2019-11-13 2021-04-13 중앙대학교 산학협력단 가상 관절 구(sphere)를 이용한 모션 모델링 방법 및 그 장치

Also Published As

Publication number Publication date
US9589182B2 (en) 2017-03-07
KR102085180B1 (ko) 2020-03-05
US20150098618A1 (en) 2015-04-09

Similar Documents

Publication Publication Date Title
JP5772821B2 (ja) 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
KR20150041536A (ko) 몸 방향 추정 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 몸 방향 추정 장치.
US9916495B2 (en) Face comparison device, method, and recording medium
KR20180041642A (ko) 향상된 안구 추적을 위한 장면 분석
JP6261811B2 (ja) 第１の座標系と第２の座標系との間の運動を求める方法
US10147015B2 (en) Image processing device, image processing method, and computer-readable recording medium
JP2018534699A5 (ko)
JP6349418B2 (ja) 高精度単眼移動によるオブジェクト位置特定
JP5774226B2 (ja) 方位センサに基づくホモグラフィ分解の曖昧性の解決
US11074713B2 (en) Recognition device, recognition system, recognition method, and non-transitory computer readable recording medium
JP2018535019A5 (ko)
TWI547887B (zh) 用以利用積分梯度投影作臉部追蹤之方法、裝置與電腦程式
CN111754391A (zh) 人脸转正方法、设备及计算机可读存储介质
JP2017049238A5 (ko)
TW202217755A (zh) 視覺定位方法、設備和電腦可讀儲存介質
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
JP6196562B2 (ja) 被写体情報重畳装置、被写体情報重畳方法及びプログラム
KR20150093048A (ko) 그래픽스 데이터를 렌더링하는 방법 및 장치
WO2014143154A1 (en) Image processor with evaluation layer implementing software and hardware algorithms of different precision
JP2013239011A (ja) 移動物体上動きベクトル検出装置、移動物体上動きベクトル検出方法、およびプログラム
JP2017111209A (ja) ３ｄマップの作成
KR101844367B1 (ko) 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치
Lee et al. Robust multithreaded object tracker through occlusions for spatial augmented reality
WO2022254644A1 (ja) 姿勢推定装置、姿勢推定方法、及びコンピュータ読み取り可能な記録媒体
CN109325962B (zh) 信息处理方法、装置、设备以及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right