KR101933921B1 - 포즈 추정 방법 및 장치 - Google Patents

포즈 추정 방법 및 장치 Download PDF

Info

Publication number
KR101933921B1
KR101933921B1 KR1020130063574A KR20130063574A KR101933921B1 KR 101933921 B1 KR101933921 B1 KR 101933921B1 KR 1020130063574 A KR1020130063574 A KR 1020130063574A KR 20130063574 A KR20130063574 A KR 20130063574A KR 101933921 B1 KR101933921 B1 KR 101933921B1
Authority
KR
South Korea
Prior art keywords
user
pose
tracking
depth image
result
Prior art date
Application number
KR1020130063574A
Other languages
English (en)
Other versions
KR20140142037A (ko
Inventor
김원준
유병인
최창규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130063574A priority Critical patent/KR101933921B1/ko
Priority to US14/289,915 priority patent/US9697609B2/en
Publication of KR20140142037A publication Critical patent/KR20140142037A/ko
Application granted granted Critical
Publication of KR101933921B1 publication Critical patent/KR101933921B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

깊이 영상을 이용하여 사용자의 포즈를 추정하는 포즈 추정 방법 및 장치가 개시된다. 일실시예에 따른 포즈 추정 방법은 깊이 영상으로부터 사용자의 포즈를 인식하는 단계와 사용자 모델을 이용하여 사용자의 포즈를 추적하는 단계를 배타적으로 수행함으로써 포즈 추정의 정확성을 개선시킬 수 있다.

Description

포즈 추정 방법 및 장치{METHOD AND APPARATUS FOR ESTIMATING POSE}
아래의 설명은 깊이 영상으로부터 사용자의 포즈를 추정하는 포즈 추정 방법 및 장치에 관한 것이다.
최근, 동작 인식 기반의 인터페이스 기술이 발전하면서 동작 인식 기반의 스마트 TV, 게임기, 스마트폰, 헬스케어 기기 등 여러 분야에 동작 인식 기반의 인터페이스가 이용되고 있다.
사용자의 동작을 인식하기 위해 카메라, 마커(marker), 센서 등이 이용된다. 카메라를 이용한 동작 인식 방법은 카메라에 의해 촬영된 영상에 사용자 형상을 추출하기 위한 알고리즘을 적용하고, 적용한 결과와 미리 설정된 데이터를 비교하여 사용자의 동작과 가장 유사한 동작을 현재 사용자의 동작으로 인식한다. 마커 또는 센서를 이용한 동작 인식 방법은 사용자가 실제로 마커 또는 센서를 장착한 후 자세를 취하면, 마커 또는 센서의 공간상의 위치를 식별하여 사용자의 동작을 인식한다.
일실시예에 따른 포즈 추정 방법은, 깊이 영상으로부터 사용자의 포즈를 인식하는 단계; 상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 인식 결과에 기초하여 사용자의 포즈를 추정하고, 다음 깊이 영상으로부터 사용자의 포즈를 인식하는 단계; 상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 사용자 모델을 이용하여 사용자의 포즈를 추적하는 단계; 및 상기 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 추적 결과에 기초하여 사용자의 포즈를 추정하고, 상기 사용자 모델을 이용하여 다음 깊이 영상에 대해 사용자의 포즈를 추적하는 단계를 포함할 수 있다.
일실시예에 따른 포즈 추정 방법은, 상기 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 상기 인식 결과 및 상기 추적 결과 중 어느 하나에 기초하여 사용자의 포즈를 추정하고, 다음 깊이 영상으로부터 사용자의 포즈를 인식하는 단계를 더 포함할 수 있다.
일실시예에 따른 포즈 추정 방법은, 상기 깊이 영상에 나타난 사용자 영역 및 상기 인식 결과를 이용하여 사용자에 대응하는 사용자 모델을 생성하는 단계를 더 포함할 수 있다.
일실시예에 따른 포즈 추정 방법은, 상기 깊이 영상에 나타난 사용자 영역과 미리 결정된 복수 개의 사용자 모델들 간의 유사도에 기초하여 상기 복수 개의 사용자 모델들 중에서 상기 사용자에 대응하는 사용자 모델을 선택하는 단계를 더 포함할 수 있다.
다른 실시예에 따른 포즈 추정 방법은, 분류 트리를 이용하여 깊이 영상으로부터 사용자의 포즈를 인식하는 단계; 상기 인식 결과 및 사용자 모델에 기초하여 사용자의 포즈를 추적하는 단계; 및 상기 추적 결과에 기초하여 사용자의 포즈를 추정하는 단계를 포함할 수 있다.
일실시예에 따른 포즈 추정 장치는, 깊이 영상으로부터 사용자의 포즈를 인식하는 인식부; 사용자 모델을 이용하여 사용자의 포즈를 추적하는 추적부; 및 상기 인식부의 인식 결과 및 상기 추적부의 추적 결과 중 적어도 하나를 이용하여 사용자의 포즈를 추정하는 추정부를 포함할 수 있다.
도 1은 일실시예에 따른 포즈 추정 방법을 설명하기 위한 흐름도이다.
도 2는 다른 실시예에 따른 포즈 추정 방법을 설명하기 위한 흐름도이다.
도 3a 내지 도 3b는 일실시예에 따른 깊이 영상을 이용하여 사용자 모델을 생성하는 과정을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 랜덤 샘플링이 수행된 깊이 영상을 도시한 도면이다.
도 5는 일실시예에 따른 미리 결정된 사용자 모델들로부터 사용자 모델을 선택하는 과정을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 사용자의 포즈를 추적하는 과정을 설명하기 위한 흐름도이다.
도 7은 일실시예에 따른 사용자의 포즈를 추적하는 과정을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 분류 트리를 이용한 사용자 포즈의 인식 결과 및 사용자 모델을 이용한 사용자 포즈의 추적 결과의 일례를 나타낸 도면이다.
도 9는 일실시예에 따른 토르소 영역과 림 영역에 기초하여 사용자의 포즈를 추적하는 과정을 설명하기 위한 도면이다.
도 10은 일실시예에 따른 인식부의 결과에 기초하여 사용자 모델을 초기화하는 과정을 설명하기 위한 도면이다.
도 11은 일실시예에 따른 포즈 추정 장치의 구성을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 일실시예에 따른 포즈 추정 장치는 포즈 추정 방법을 수행할 수 있으며, 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 포즈 추정 방법을 설명하기 위한 흐름도이다.
포즈 추정 장치는 깊이 영상에 나타난 사용자의 포즈(pose)를 추정(estimation)할 수 있다. 예를 들어, 포즈 추정 장치는 깊이 영상을 생성하는 깊이 카메라 또는 깊이 센서 등으로부터 사용자가 촬영된 깊이 영상을 제공받을 수 있다. 포즈 추정 장치는 깊이 영상에 대해 영상 프레임(frame) 단위로 사용자의 포즈를 추정할 수 있다.
포즈 추정 장치는 입력된 깊이 영상에 나타난 사용자 영역에 대해 복셀 재구성(Voxel Reconstruction) 기반의 포즈 인식 과정을 수행할 수 있다. 포즈 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 포즈 추정 장치는 사용자 모델 기반의 포즈 추적 과정을 수행할 수 있다. 포즈 추적 과정의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 포즈 추정 장치는 다음 영상 프레임에 대해 위 포즈 인식 과정부터 다시 수행할 수 있다. 포즈 추정 장치는 복셀 재구성 기반의 포즈 인식 과정 및 사용자 모델 기반의 포즈 추적 과정을 배타적(exclusively)으로 수행함으로써, 학습되지 않은 포즈 및 다양한 자세를 효과적으로 추정할 수 있다. 이하에서는, 포즈 추정 장치가 수행하는 포즈 추정 방법을 구체적으로 설명하도록 한다.
단계(110)에서, 포즈 추정 장치는 깊이 영상으로부터 사용자의 포즈를 인식할 수 있다. 포즈 추정 장치는 분류 트리(Classification Tree)를 이용하여 깊이 영상으로부터 사용자의 포즈를 인식할 수 있다. 포즈 추정 장치는 깊이 영상으로부터 사용자의 포즈를 인식하기 위해 하나 또는 복수 개의 분류 트리를 이용할 수 있다. 포즈 추정 장치는 트레이닝 데이터(Training Data)를 이용하여 분류 트리를 학습할 수 있다. 포즈 추정 장치는 깊이 영상에 나타난 사용자 영역을 식별할 수 있다. 사용자 영역은 깊이 영상에서 사용자의 형상이 차지하는 영역을 나타낼 수 있다. 포즈 추정 장치는 분류 트리를 통해 학습된 데이터에 대응하는 사용자의 포즈를 효과적으로 인식할 수 있다.
예를 들어, 포즈 추정 장치는 깊이 영상의 사용자 영역에서 비저블 오브젝트 파트(Visible Object Part) 데이터와 히든 오브젝트 파트(Hidden Object Part) 데이터를 이용하여 분류 트리를 생성할 수 있다. 비저블 오브젝트 파트 데이터는 깊이 영상의 사용자 영역에서 보이는 신체 파트(Body Part)를 나타내고, 히든 오브젝트 파트 데이터는 다른 신체 파트 또는 오브젝트에 의해 가려져 보이지 않는 신체 파트를 나타낼 수 있다. 포즈 추정 장치는 분류 트리를 이용하여 비저블 오브젝트 파트 데이터의 확률과 히든 오브젝트 파트 데이터의 확률을 식별할 수 있다. 포즈 추정 장치는 비저블 오브젝트 파트 데이터의 확률 및 히든 오브젝트 파트 데이터의 확률을 단일 데이터 공간에 구성할 수 있다. 포즈 추정 장치는 비저블 오브젝트 파트 데이터와 히든 오브젝트 파트 데이터를 동시에 학습해서 사용자 영역에서 보이는 신체 파트들의 확률과 가려진 신체 파트들의 확률을 추정할 수 있고, 가려진 신체 파트를 복원(reconstruction)할 수 있다. 포즈 추정 장치는 추정 결과 및 복원 결과를 하나의 데이터 공간에 구성하여 사용자의 포즈를 인식할 수 있다.
포즈 추정 장치는 분류 트리를 통해 사용자 영역을 구성하는 사용자의 신체 파트를 인식할 수 있다. 분류 트리의 학습이 진행되고, 분류 트리의 레벨이 증가할수록 특정 클래스의 확률이 높게 유지되고, 다른 클래스들의 확률은 낮아질 수 있다. 학습이 진행되어 분류 트리의 리프 노드(Leaf Node)에 도달하면, 비져블 오브젝트 파트 데이터의 확률과 히든 오브젝트 파트 데이터의 확률이 저장될 수 있다. 포즈 추정 장치는 깊이 영상의 포인트가 분류 트리를 통과하여 리프 노드에 도달하고, 리프 노드에서의 확률에 기초하여 사용자 영역을 구성하는 사용자의 신체 파트를 인식할 수 있다. 예를 들어, 포즈 추정 장치는 복수의 분류 트리로부터 도출된 리프 노드의 사후 확률(Posterior) 값의 평균에 기초하여 해당 복셀(Voxel)이 사용자의 어느 신체 파트에 속하는지를 결정할 수 있다. 포즈 추정 장치는 사용자 영역에 포함된 신체 파트에 대해 클래스(Class)를 형성하고, 사용자 영역에 포함된 신체 파트가 특정 클래스에 속할 확률을 계산할 수 있다. 포즈 추정 장치는 가장 높은 확률값을 갖는 클래스를 대응되는 신체 파트로 결정할 수 있다.
단계(120)에서, 포즈 추정 장치는 단계(110)의 인식 결과에 대한 신뢰도를 계산하고, 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키는지 여부를 판단할 수 있다. 예를 들어, 포즈 추정 장치는 인식 결과의 신뢰도와 미리 설정된 임계값을 비교하여 인식 결과의 신뢰도가 미리 설정된 임계값보다 크면 미리 설정된 조건을 충족시키는 것으로 결정할 수 있다. 포즈 추정 장치는 분류 트리를 이용하여 깊이 영상에 포함된 포인트(또는, 픽셀)가 각각의 신체 파트에 해당할 확률을 결정하고, 결정된 확률에 기초하여 인식 결과의 신뢰도를 결정할 수 있다.
인식 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 단계(130)에서 포즈 추정 장치는 인식 결과에 기초하여 사용자의 포즈를 추정할 수 있다. 예를 들어, 포즈 추정 장치는 인식 결과가 나타내는 포즈를 깊이 영상에 나타난 사용자의 포즈로 결정할 수 있다.
단계(135)에서, 포즈 추정 장치는 현재 깊이 영상(또는, 영상 프레임)이 마지막 깊이 영상(또는, 마지막 영상 프레임)인지 여부를 판단할 수 있다. 현재 깊이 영상이 마지막 깊이 영상인 경우, 포즈 추정 장치는 포즈 추정 과정을 종료할 수 있다. 현재 깊이 영상이 마지막 깊이 영상이 아닌 경우, 포즈 추정 장치는 다음 깊이 영상에 대해 다시 단계(110)의 과정을 수행할 수 있다. 예를 들어, 포즈 추정 장치는 모든 영상 프레임이 단계(120)의 조건을 만족시키는 경우, 모든 영상 프레임에 대해 분류 트리를 이용하여 사용자의 포즈를 인식하고, 인식 결과에 기초하여 사용자의 포즈를 추정할 수 있다.
인식 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 단계(140)에서, 포즈 추정 장치는 사용자 모델을 이용하여 사용자의 포즈를 추적할 수 있다. 사용자 모델은 복수 개의 신체 파트들을 포함할 수 있다.
포즈 추정 장치는 깊이 영상에 나타난 사용자 영역으로부터 실시간으로 사용자 모델을 생성할 수 있다. 포즈 추정 장치는 사용자 영역 및 단계(110)의 인식 결과를 이용하여 사용자에 대응하는 사용자 모델을 생성할 수 있다. 포즈 추정 장치는 단계(140)가 수행되기 이전에, 단계(110)의 인식 결과에 기초하여 사용자 모델을 미리 생성할 수 있다. 인식 결과는 사용자 영역을 구성하는 신체 파트 정보 및 사용자의 관절 포인트(조인트, joint)를 나타내는 조인트 정보를 포함할 수 있다. 포즈 추정 장치는 사용자 모델에 포함된 신체 파트에 인식 결과로부터 도출된 조인트 정보를 적용할 수 있다.
포즈 추정 장치는 신체 파트의 경계에 해당하는 조인트를 인접한 신체 파트들에 모두 삽입하고, 키네메틱 체인(Kinematic Chain)을 적용한 후 조인트를 이용하여 인접한 신체 파트들을 연결할 수 있다. 예를 들어, 팔꿈치(Elbow) 조인트는 팔의 상박(Upper Arm)과 팔의 하박(Lower Arm) 모두에 삽입될 수 있다. 신체 파트들을 조인트를 이용하여 연결함으로써, 사용자의 빠른 움직임, 신체 파트 겹침(Self-Occlusion) 등에 의해 발생하는 모델의 표류(Drift) 현상이 최소화될 수 있다. 모델의 표류 현상은 인접한 신체 파트들이 서로 이격되어 분리되는 현상, 또는 신체 파트가 다른 신체 파트에 잘못 결합되어 움직이는 현상을 나타낸다. 포즈 추정 장치는 조인트 정보가 적용된 인접한 신체 파트들을 연결하여 사용자 모델을 생성할 수 있다.
포즈 추정 장치는 처리되는 데이터 양을 줄이기 위해 사용자 영역을 랜덤(Random)하게 샘플링(Sampling)할 수 있다. 깊이 영상 및 인식 결과를 이용하여 생성된 사용자 모델은 포인트 클라우드(Point Cloud) 형태의 사용자 모델일 수 있고, 포즈 추정 장치는 처리 속도의 개선을 위해 사용자 모델을 구성하는 포인트의 수를 랜덤 샘플링을 통해 조절할 수 있다.
포즈 추정 장치는 인식 결과로부터 도출된 사용자의 신체 파트들을 미리 설정된 신체 파트들로 병합할 수 있다. 예를 들어, 포즈 추정 장치는 N 영상 프레임(N은 설정 가능)이 지난 후에 저장된 인식 결과(예를 들어, 31개의 신체 파트)를 미리 설정된 신체 파트들(10개의 신체 파트)로 병합된 사용자 모델을 생성할 수 있다. 일실시예에 따르면, 포워드 키네메틱스(Forward Kinematics)을 적용하기 위해 다음의 표 1과 같이 10개의 신체 파트들을 3개의 레벨에 기초하여 분류할 수 있다.
레벨 신체 파트
0th Level Torso(T)
1st Level Head-Neck(HN), Left Upper Arm(LUA), Right Upper Arm(RUA), Left Upper Leg(LUL), Right Upper Leg(RUL)
2nd Level Left Lower Arm (LLA), Right Lower Arm (RLA), Left Lower Leg(LLL), Right Lower Leg(RLL)
예를 들어, 인식 결과(110)로부터 도출된 조인트가 23개라고 가정하면, 23개의 조인트는 위 10개의 신체 파트들에 삽입될 수 있다. 인접한 신체 파트의 경계에 해당하는 조인트는 인접한 신체 파트 모두에 삽입될 수 있다.
포즈 추정 장치는 보다 정확한 사용자 모델을 생성하기 위해 깊이 영상에 존재하는 노이즈를 제거할 수 있다. 포즈 추정 장치는 깊이 영상에 나타난 사용자의 신체 파트에 대해 가우시안 클러스터링(Gaussian Clustering)을 수행하여 노이즈를 제거할 수 있다. 예를 들어, 포즈 추정 장치는 신체 파트의 중심 위치를 이용하여 아래의 수학식 1과 같이 노이즈를 제거할 수 있다.
Figure 112013049326552-pat00001
여기서, i 는 신체 파트의 인덱스(index)를 나타내고, j 는 i 번째 신체 파트에 포함된 포인트의 인덱스를 나타낸다. Ni 는 i 번째 신체 파트의 총 포인트 개수를 나타낸다. i=1,…,10 은 차례대로 위 표 1에서 정의한 T, HN, LUA, LLA, RUA, RLA, LUL, LLL, RUL, RLL을 나타낸다. ci 는 i 번째 신체 파트의 중심 좌표를 나타내고,
Figure 112013049326552-pat00002
는 i 번째 신체 파트의 표준 편차를 나타낸다. Xj 는 j 번째 포인트의 좌표를 나타낸다. 포즈 추정 장치는 해당 신체 파트에서
Figure 112013049326552-pat00003
를 만족시키는 포인트를 제외시킴으로써 신체 파트에 대한 노이즈를 제거할 수 있다.
포즈 추정 장치는 사용자 모델의 중심 좌표와 깊이 영상에 나타난 사용자 영역의 중심 좌표 간의 차이에 기초하여 사용자 모델의 위치를 조절할 수 있다. 포즈 추정 장치는 사용자 모델의 중심 좌표와 깊이 영상에 나타난 사용자 영역의 중심 좌표 간의 차이를 이용하여 각각의 영상 프레임에서 사용되는 사용자 모델을 사용자 영역의 위치로 이동시킬 수 있다.
다른 실시예에 따르면, 포즈 추정 장치는 미리 결정된 복수 개의 사용자 모델들 중에서 포즈 추정에 이용할 사용자 모델을 선택할 수 있다. 포즈 추정 장치는 깊이 영상에 나타난 사용자 영역과 미리 결정된 복수 개의 사용자 모델들 간의 유사도에 기초하여 복수 개의 사용자 모델들 중에서 사용자에 대응하는 사용자 모델을 선택할 수 있다. 예를 들어, 포즈 추정 장치는 19개의 대표 체형을 나타내는 3D(dimensional) 사용자 모델들과 깊이 영상에 나타난 사용자 영역의 유사도를 비교하여 유사도가 가장 높은 3D 사용자 모델을 사용자에 대응하는 사용자 모델로 선택할 수 있다. 포즈 추정 장치는 3D 사용자 모델을 2D 이미지로 프로젝션(projection)하고, 2D 이미지와 사용자 영역 간의 유사도를 비교할 수 있다. 포즈 추정 장치는 미리 결정된 사용자 모델들 중에서 일정한 기준에 따라 후보 사용자 모델을 추출하고, 추출된 후보 사용자 모델의 2D 이미지와 사용자 영역 간의 유사도를 비교하여 유사도가 가장 높은 사용자 모델을 결정할 수 있다. 예를 들어, 포즈 추정 장치는 깊이 영상의 사용자 영역을 통해 식별한 사용자 정보(사용자의 키(Height), 체형 등)에 기초하여 미리 결정된 사용자 모델들 중 후보 사용자 모델들을 추출하고, 추출된 후보 사용자 모델들을 2D 이미지로 프로젝션한 후, 프로젝션된 2D 이미지와 사용자 영역 간의 유사도를 비교할 수 있다. 포즈 추정 장치는 다양한 체형을 가지는 사용자 모델들을 이용함으로써, 사용자의 다양한 체형에 강인한 포즈 추정 방법을 제공할 수 있다.
포즈 추정 장치는 사용자 포즈의 인식 결과를 초기 사용자 모델의 포즈에 적용함으로써 사용자 포즈의 추적 과정에서 이용할 사용자 모델을 초기화할 수 있다. 포즈 추정 장치는 초기 사용자 모델의 포즈에서 계산한 신체 파트들의 중심과 이전 영상 프레임의 인식 결과로부터 도출된 신체 파트들의 중심 간의 차이를 이용하여 초기 사용자 모델의 위치를 이전 영상 프레임의 인식 결과 위치로 이동시킬 수 있다. 포즈 추정 장치는 ICP(Iterative Closest Point) 알고리즘을 이용하여 사용자 모델을 보다 정확하게 초기화시킬 수 있다. ICP 알고리즘은 서로 관련이 있는 입력 데이터와 모델 데이터 쌍에 기초하여 에러를 최소화하는 회전(Rotation, R) 행렬 및 이동(Translation, T) 행렬을 계산하는 알고리즘을 나타낸다. 포즈 추정 장치는 사용자 모델 내 신체 파트들에 삽입된 조인트와 이전 영상 프레임의 인식 결과로부터 도출된 조인트 간의 대응 관계를 형성할 수 있다. 포즈 추정 장치는 이와 같은 조인트 간의 대응 관계를 기반으로 하는 ICP 알고리즘을 통해 도출된 행렬 정보에 기초하여 신체 파트의 위치를 업데이트할 수 있다.
포즈 추정 장치는 인접한 신체 파트 간 조인트 연결 및 ICP 알고리즘을 이용하여 사용자 모델 기반의 포즈 추적을 수행할 수 있다. 포즈 추정 장치는 ICP 알고리즘을 이용하여 신체 파트의 현재 위치를 예측할 수 있다. 포즈 추정 장치는 가장 상위 레벨의 신체 파트부터 ICP를 적용하여 사용자 모델의 신체 파트에 포함된 포인트와 깊이 영상에 포함된 포인트 사이의 대응점(Matching Correspondence)을 탐색할 수 있다. 포즈 추정 장치는 탐색된 대응점에 기초하여 R 행렬과 T 행렬을 계산하고, 이를 사용자 모델에 적용하여 사용자 모델을 업데이트할 수 있다. 포즈 추정 장치는 업데이트한 결과가 미리 설정된 조건을 충족시킬 때까지 반복적으로 대응점을 탐색하고, R 행렬과 T 행렬을 이용하여 사용자 모델을 업데이트할 수 있다. 포즈 추정 장치는 업데이트된 결과를 현재 레벨의 신체 파트뿐만 아니라 하위 레벨의 신체 파트에도 적용할 수 있다. 포즈 추정 장치는 위와 같은 과정을 상위 레벨의 신체 파트부터 하위 레벨의 신체 파트까지 수행할 수 있다. 포즈 추정 장치는 업데이트된 현재 레벨의 신체 파트를 상위 레벨의 신체 파트와 결합시킴으로써 사용자의 포즈가 추적된 사용자 모델을 생성할 수 있다.
단계(150)에서, 포즈 추정 장치는 단계(140)의 추적 결과에 대한 신뢰도를 계산하고, 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키는지 여부를 판단할 수 있다. 예를 들어, 포즈 추정 장치는 추적 결과의 신뢰도와 미리 설정된 임계값을 비교하여 추적 결과의 신뢰도가 미리 설정된 임계값보다 크면 미리 설정된 조건을 충족시키는 것으로 결정할 수 있다.
추적 결과의 신뢰도는 깊이 영상에 나타난 사용자 영역과 추적 결과 간의 유사도 및 사용자 모델과 깊이 영상 간 대응점들의 평균 거리에 기초하여 결정될 수 있다. 사용자 영역과 추적 결과 간의 유사도는 실루엣 간의 유사도를 나타낼 수 있다. 추적 결과의 신뢰도는 대응점 간 평균 거리와 실루엣 유사도의 가중치 합(Weighted Sum)을 이용하여 계산될 수 있다. 예를 들어, 추적 결과의 신뢰도는 다음의 수학식 2에 따라 결정할 수 있다.
Figure 112013049326552-pat00004
여기서, C(D)는 대응점들의 평균 거리에 대한 비용(cost)을 나타내고, C(S)는 사용자 영역과 추적 결과 사이의 실루엣 유사도를 나타낸다. 예를 들어, 포즈 추정 장치는 추적 결과의 신뢰도 TConfidence 가 미리 설정된 임계값보다 작은 경우에 미리 설정된 조건을 충족시키지 못한다고 판단(추적 실패, Tracking Failure)할 수 있다.
하나 이상의 신체 파트에 대한 대응점의 평균 거리 값이 크게 나타나는 경우, 해당 영상 프레임에서 추적 실패가 발생하였다고 볼 수 있다. 예를 들어, 포즈 추정 장치는 사용자 모델에 포함된 신체 파트가 가지는 대응점의 평균 거리 값 중 최대인 값을 선택하여 다음의 수학식 3에 따라 대응점의 평균 거리에 대한 비용을 계산할 수 있다.
Figure 112013049326552-pat00005
여기서,
Figure 112013049326552-pat00006
는 신체 파트의 최대 대응점 거리를 30cm 로 설정하고, 이에 기초하여 정규화된(normalized) 대응점의 평균 거리를 나타낸다.
Figure 112013049326552-pat00007
는 대응점의 평균 거리가 최대 대응점 거리 이상인 경우, 1이 되도록 설정될 수 있다. 최대 대응점 거리는 임의로 변경이 가능하다. 하나 이상의 신체 파트에 대한 대응점의 평균 거리 값이 최대 대응점 거리 이상인 경우, C(D) 값은 0을 나타낼 수 있다.
포즈 추정 장치는 사용자 영역과 추적 결과 사이의 실루엣 유사도 C(S)를 Recall과 Precision을 기반으로 한 F-measure를 이용하여 계산할 수 있다. 예를 들어, 실루엣 유사도 C(S)는 다음의 수학식 4에 따라 결정될 수 있다.
Figure 112013049326552-pat00008
여기서, M은 사용자 모델을 2D 이미지 평면으로 투영한 사용자 모델 이미지에 모폴로지(Morphology) 연산을 적용한 결과 이미지를 나타내고, D는 샘플링 되기 이전의 깊이 영상 이미지를 나타낸다.
Figure 112013049326552-pat00009
는 해당 요소의 개수를 나타낸다. M과 D의 정합 정도가 클수록 C(S)는 큰 값을 갖는다.
다른 실시예에 따르면, 추적 결과의 신뢰도는 수학식 4의 M과 D의 에지(Edge) 픽셀에 대한 Hausdorff 거리에 기초하여 결정될 수 있다. 에지 픽셀을 미리 설정된 수로 랜덤(Random)하게 샘플링(Sampling)하여 이용함으로써 계산 속도가 개선될 수 있다. 에지 픽셀에 대한 Hausdorff 거리 값이 미리 설정된 임계값보다 큰 경우, 포즈 추정 장치는 추적 실패라고 결정할 수 있다.
추적 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 단계(160)에서 포즈 추정 장치는 추적 결과에 기초하여 사용자의 포즈를 추정할 수 있다. 예를 들어, 포즈 추정 장치는 추적 결과가 나타내는 포즈를 깊이 영상에 나타난 사용자의 포즈로 결정할 수 있다.
단계(165)에서, 포즈 추정 장치는 현재 깊이 영상이 마지막 깊이 영상인지 여부를 판단할 수 있다. 현재 깊이 영상이 마지막 깊이 영상인 경우, 포즈 추정 장치는 포즈 추정 과정을 종료할 수 있다. 현재 깊이 영상이 마지막 깊이 영상이 아닌 경우, 포즈 추정 장치는 다음 깊이 영상에 대해 다시 단계(140)의 과정을 수행할 수 있다.
추적 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 단계(170)에서 포즈 추정 장치는 단계(110)의 인식 결과 또는 단계(140)의 추적 결과에 기초하여 현재 영상 프레임에 대해 사용자의 포즈를 추정할 수 있다. 다른 실시예에 따르면, 포즈 추정 장치는 인식 결과 및 추적 결과 모두를 이용하여 사용자의 포즈를 추정할 수도 있다.
단계(180)에서, 포즈 추정 장치는 현재 깊이 영상이 마지막 깊이 영상인지 여부를 판단하여, 현재 깊이 영상이 마지막 깊이 영상인 경우 포즈 추정 과정을 종료할 수 있다. 현재 깊이 영상이 마지막 깊이 영상이 아닌 경우, 포즈 추정 장치는 다음 깊이 영상에 대해 다시 단계(110)의 과정을 수행할 수 있다. 포즈 추정 장치는 단계(150)에서, 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 다음 영상 프레임에 대해 분류 트리를 이용하여 사용자의 포즈를 인식하는 과정을 다시 수행할 수 있다.
도 2는 다른 실시예에 따른 포즈 추정 방법을 설명하기 위한 흐름도이다.
단계(210)에서, 포즈 추정 장치는 분류 트리를 이용하여 깊이 영상으로부터 사용자의 포즈를 인식할 수 있다. 포즈 추정 장치는 학습된 분류 트리를 이용하여 깊이 영상의 사용자 영역으로부터 토르소(Torso) 영역과 림(Limb) 영역을 식별할 수 있다. 림 영역은 사용자 영역에서 토르소 영역을 제외한 나머지 영역을 나타낼 수 있다. 여기에 기재되지 않은 단계(210)의 구체적인 동작은 도 1의 단계(110)에 기재된 내용을 참고할 수 있다.
단계(220)에서, 포즈 추정 장치는 단계(210)의 인식 결과 및 사용자 모델을 이용하여 사용자의 포즈를 추적할 수 있다. 포즈 추정 장치는 인식 결과에 기초하여 깊이 영상에 나타난 사용자 영역을 토르소 영역과 림 영역으로 분리할 수 있다. ICP 알고리즘을 이용하여 림 영역에 포함된 신체 파트를 업데이트하는 경우, 포즈 추정 장치는 토르소 영역으로 판별된 포인트를 깊이 영상의 사용자 영역에서 제외시킴으로써 추적 성능을 개선시킬 수 있다. 포즈 추정 장치는 림 영역에 대한 사용자 모델을 업데이트할 때, 토르소 영역의 정보를 이용하지 않을 수 있다. 포즈 추정 장치는 토르소 영역과 림 영역의 대응점을 분리하여 탐색할 수 있다. 예를 들어, 포즈 추정 장치는 토르소 영역 및 림 영역에 대한 두 개의 K-D Tree(Torso Tee 및 Limb Tree)를 생성하고, 신체 파트 모델에 대해 대응되는 Tree에서만 대응점을 탐색할 수 있다. 이를 통해, 포즈 추정 장치는 신체 파트 겹침 현상에 강인한 포즈 추정 방법을 제공할 수 있다.
단계(230)에서, 포즈 추정 장치는 추적 결과에 기초하여 사용자의 포즈를 추정할 수 있다. 포즈 추정 장치는 추적 결과가 나타내는 포즈를 깊이 영상에 나타난 사용자의 포즈로 결정할 수 있다.
도 3a 내지 도 3b는 일실시예에 따른 깊이 영상을 이용하여 사용자 모델을 생성하는 과정을 설명하기 위한 도면이다.
도 3a에 따르면, 사용자의 형상을 포함하는 깊이 영상(310), 10 개의 신체 파트를 이용하여 정의된 사용자 모델(320), 및 인식 결과로부터 획득한 조인트 정보(330)가 도시되어 있다. 조인트 정보(330)는 사용자 모델(320)에 삽입될 수 있다.
사용자 모델(320)은 깊이 정보를 이용하여 생성된 포인트 클라우드 형태의 사용자 모델을 나타낸다. 사용자 모델(320)은 랜덤 샘플링을 통해 포인트의 수가 조절될 수 있다. 예를 들어, 깊이 센서를 통해 획득된 포인트의 수가 약 7000-8000개라고 가정하면, 포즈 추정 장치는 랜덤 샘플링을 통해 선택된 3000개의 포인트만 이용하여 사용자 모델을 생성할 수 있다. 랜덤 샘플링을 통해 처리 속도가 개선될 수 있다. 샘플링 수 또는 샘플링 레이트는 임의적인 설정이 가능하다.
도 3b는 인접한 신체 파트의 경계에 해당하는 조인트(Joint)를 각 신체 파트에 모두 삽입하여 사용자 모델을 생성하는 동작을 설명하기 위한 도면이다. 토르소(Torso, 342)와 레프트 어퍼 암(Left Upper Arm, 344)을 연결하는 과정(340)에서, 포즈 추정 장치는 토르소(342)와 레프트 어퍼 암(344)에 대응되는 조인트(342-348)를 삽입할 수 있다. 포즈 추정 장치는 토르소(342)와 레프트 어퍼 암(344)의 경계에 위치한 조인트(예를 들어, JOINT_LEFT_SHOULDER, 346)를 토르소(342)와 레프트 어퍼 암(344)에 모두 삽입할 수 있다. 포즈 추정 장치는 인접한 신체 파트들의 경계에 해당하는 조인트를 각 신체 파트들에 삽입하고, Kinematic Chain을 적용한 후 조인트를 이용하여 인접한 신체 파트들을 연결할 수 있다.
예를 들어, 포즈 추정 장치는 레프트 어퍼 암(344)에 대해 토르소(342)와 레프트 어퍼 암(344)에 삽입된 JOINT_LEFT_SHOULDER 조인트(346)의 위치 차이를 아래의 수학식 5와 같이 계산할 수 있다. 포즈 추정 장치는 수학식 5의 결과에 기초하여 레프트 어퍼 암(344)에 해당하는 모델 포인트 mi 를 토르소(342)에 접합되도록 이동시키는 과정을 수행할 수 있다.
Figure 112013049326552-pat00010
여기서,
Figure 112013049326552-pat00011
는 인접한 신체 파트의 경계에 해당하는 조인트 간(예를 들어, 토르소(342)에 삽입된 조인트(346)과 레프트 어퍼 암(344)에 삽입된 조인트(346) 간)의 유클리디안(Euclidean) 거리를 나타낸다. j 는 신체 파트에 포함된 포인트의 인덱스를 나타낸다. 포즈 추정 장치는 각각의 신체 파트들을 업데이트한 후, 위 수학식 2에 따라 신체 파트들의 위치를 이동시킬 수 있다. 포즈 추정 장치는 신체 파트들의 업데이트 이후에 조인트에 기초하여 신체 파트들을 연결시킴으로써 포즈 추정의 성능을 향상시킬 수 있다.
레프트 어퍼 암(352)과 레프트 로어 암(Left Lower Arm, 354)을 연결하는 과정(350)에서, 포즈 추정 장치는 레프트 어퍼 암(352)과 레프트 로어 암(354)에 대응되는 조인트(356-360)를 삽입할 수 있다. 포즈 추정 장치는 레프트 어퍼 암(352)과 레프트 로어 암(354)의 경계에 위치한 조인트(예를 들어, JOINT_LEFT_ELBOW, 356)를 레프트 어퍼 암(352)과 레프트 로어 암(354)에 모두 삽입할 수 있다. 포즈 추정 장치는 키네메틱 체인(Kinematic Chain)을 적용한 후 조인트(356)를 이용하여 레프트 어퍼 암(352)과 레프트 로어 암(354)을 연결할 수 있다.
도 4는 일실시예에 따른 랜덤 샘플링이 수행된 깊이 영상을 도시한 도면이다.
도 4를 참고하면, 랜덤 샘플링이 수행되기 이전의 깊이 영상(410) 및 랜덤 샘플링이 수행된 이후의 깊이 영상(420)이 도시되어 있다. 포즈 추정 장치는 사용자 모델과 깊이 영상에 대해 랜덤 샘플링을 수행하여 처리할 데이터 량을 감소시킬 수 있다. 포즈 추정 장치는 사용자 모델과 깊이 영상에 포함된 사용자 영역 간의 실루엣 정합 정도를 계산하기 위해 사용자 모델을 2D 이미지 평면으로 투영한 사용자 모델 이미지에 모폴로지 연산을 적용하고, 랜덤 샘플링이 수행되기 이전의 모든 포인트들을 이용하여 2D 깊이 영상을 생성할 수 있다. 생성된 2D 깊이 영상은 실루엣이 강조된 사용자 모델을 포함할 수 있다.
도 5는 일실시예에 따른 미리 결정된 사용자 모델들로부터 사용자 모델을 선택하는 과정을 설명하기 위한 도면이다.
도 5를 참고하면, 포즈 추정 장치는 19개의 대표 체형(예를 들어, 남/녀, 큰키/중간키/작은키, 비만/표준체형/마른체형, 어린이 등)을 나타내는 3D 사용자 모델들(510)과 깊이 영상(520)에 나타난 사용자 영역 간의 유사도를 비교(530)할 수 있다. 포즈 추정 장치는 깊이 영상(520)의 사용자 영역과 가장 유사한 3D 사용자 모델(540)을 선택하고, 선택된 3D 사용자 모델(540)을 이용하여 사용자의 포즈를 추적할 수 있다.
다른 실시예에 따르면, 포즈 추정 장치는 미리 결정된 사용자 모델들 중에서 일정한 기준에 따라 후보 사용자 모델을 추출하고, 추출된 후보 사용자 모델의 2D 이미지와 사용자 영역 간의 유사도를 비교하여 유사도가 가장 높은 사용자 모델을 결정할 수 있다. 예를 들어, 포즈 추정 장치는 후보 사용자 모델을 추출하기 위해 사용자 영역으로부터 식별한 사용자의 키, 체형 등의 사용자 정보를 이용할 수 있다. 포즈 추정 장치는 추출된 후보 사용자 모델들을 2D 이미지로 변환하고, 변환된 2D 이미지와 사용자 영역 간의 유사도를 비교할 수 있다.
도 6은 일실시예에 따른 사용자의 포즈를 추적하는 과정을 설명하기 위한 흐름도이다.
포즈 추정 장치는 인접한 신체 파트 간 조인트 연결 및 ICP 알고리즘을 이용하여 사용자 모델 기반의 포즈 추적을 수행할 수 있다. 포즈 추정 장치는 ICP 알고리즘을 이용하여 신체 파트의 현재 위치를 예측할 수 있다.
단계(610)에서, 포즈 추정 장치는 이전 영상 프레임에서 이용된 사용자 모델을 식별할 수 있다. 단계(620)에서, 포즈 추정 장치는 도 1에 기재된 표 1에 따라 가장 상위 레벨인 토르소 영역부터 ICP를 적용할 수 있다. 단계(630)에서, 포즈 추정 장치는 사용자 모델의 신체 파트에 포함된 포인트와 깊이 영상에 포함된 포인트 사이의 대응점을 설정하고, 대응점을 탐색할 수 있다. 포즈 추정 장치는 포워드 키네매틱스를 적용하기 위해 토르소 영역(0th Level)부터 대응점을 탐색할 수 있다. 단계(640)에서, 포즈 추정 장치는 탐색된 대응점에 기초하여 R 행렬과 T 행렬을 계산하고, R 행렬과 T 행렬을 이용하여 사용자 모델을 업데이트할 수 있다. 예를 들어, 포즈 추정 장치는 Singular Value Decomposition (SVD), Quaternions, Orthonormal Matrix 등을 이용하여 R 행렬과 T 행렬을 계산할 수 있다. 포즈 추정 장치는 R 행렬과 T 행렬을 사용자 모델 내 모든 신체 파트에 적용하여 신체 파트들의 위치를 업데이트할 수 있다.
단계(650)에서, 포즈 추정 장치는 R 행렬과 T 행렬을 이용하여 업데이트한 결과와 깊이 영상에 포함된 사용자 영역 간의 오차를 계산하여 미리 설정된 임계값과 비교할 수 있다. 포즈 추정 장치는 오차가 미리 설정된 임계값보다 작지 않은 경우, 업데이트된 사용자 모델에 기초하여 다시 대응점을 탐색하고, R 행렬과 T 행렬을 계산하며, 사용자 모델을 업데이트하는 과정을 반복적으로 수행할 수 있다.
오차가 미리 설정된 임계값보다 작은 경우, 단계(660)에서 포즈 추정 장치는 사용자 모델의 현재 신체 파트를 상위 레벨의 신체 파트와 결합시킬 수 있다. 포즈 추정 장치는 신체 파트에 삽입된 조인트에 기초하여 인접한 신체 파트들을 연결시킬 수 있다.
단계(670)에서, 포즈 추정 장치는 현재 신체 파트가 마지막 신체 파트인지 여부를 판단할 수 있다. 현재 신체 파트가 마지막 신체 파트로 판단된 경우, 포즈 추정 장치는 사용자의 포즈를 추적하는 과정을 종료할 수 있다. 추적 과정이 종료된 경우, 깊이 영상의 사용자 영역에 따라 신체 파트들이 업데이트된 사용자 모델이 생성될 수 있다.
현재 신체 파트가 마지막 신체 파트가 아니라고 판단된 경우, 단계(680)에서 포즈 추정 장치는 다음 레벨의 신체 파트에 대해 ICP를 적용할 수 있다. 포즈 추정 장치는 다음 레벨의 신체 파트에 대해 대응점을 탐색하고, R 행렬과 T 행렬을 이용하여 사용자 모델을 업데이트하며 미리 설정된 조건을 만족시키는 경우, 상위 레벨의 신체 파트와 결합하는 과정을 수행할 수 있다
0th 레벨인 토르소 영역에 대해 대응점을 탐색하고, R 행렬과 T 행렬에 기초하여 하위 레벨의 신체 파트들(1st 레벨 및 2nd 레벨)의 위치가 업데이트된 경우, 포즈 추정 장치는 같은 방법을 이용하여 1st 레벨의 신체 파트에 대해 대응점을 탐색하고, R 행렬과 T 행렬에 기초하여 현재 레벨(1st 레벨)의 신체 파트와 하위 레벨(2nd 레벨)의 신체 파트들의 위치를 업데이트할 수 있다. 예를 들어, 포즈 추정 장치는 Left_Upper_Arm(1st 레벨)에 대한 R 행렬과 T 행렬을 계산하는 경우, 그 계산 결과를 Left_Lower_Arm(2nd 레벨)에도 적용하여 현재 레벨뿐만 아니라 하위 레벨의 신체 파트들의 위치도 업데이트할 수 있다. 마지막으로, 포즈 추정 장치는 2nd 레벨의 신체 파트에 대해 R 행렬과 T 행렬을 계산하고, 해당 신체 파트의 위치를 업데이트할 수 있다. 2nd 레벨의 신체 파트에 대한 업데이트가 완료되면, 포즈 추정 장치는 2nd 레벨의 신체 파트를 인접한 상위 레벨인 1st 레벨의 신체 파트와 결합시킬 수 있다. 포즈 추정 장치는 대응점을 찾는 과정에서 처리 속도를 개선시키기 위해 K-D Tree 등을 이용할 수 있다.
도 7은 일실시예에 따른 사용자의 포즈를 추적하는 과정을 설명하기 위한 도면이다.
도 7을 참고하면, 포즈 추정 장치는 깊이 영상의 사용자 영역(710) 및 분류 트리를 이용한 포즈 인식 결과로부터 도출된 조인트 정보(720)를 이용하여 사용자 모델을 생성(730)할 수 있다. 분류 트리를 이용하여 사용자 영역(710)에서 신체 파트들이 식별될 수 있다. 포즈 추정 장치는 사용자 모델에 포함된 포인트와 깊이 영상의 사용자 영역에 포함된 포인트 간의 대응점을 탐색(740)하고, 탐색된 대응점에 기초하여 각각의 신체 파트에 대한 R 행렬과 T 행렬을 계산할 수 있다. 포즈 추정 장치는 R 행렬 및 T 행렬에 기초하여 사용자 모델을 업데이트(750)할 수 있다. 도 7에 기재되지 않은 자세한 설명은 도 6에 기재된 내용을 참고할 수 있다.
도 8은 일실시예에 따른 분류 트리를 이용한 사용자 포즈의 인식 결과 및 사용자 모델을 이용한 사용자 포즈의 추적 결과의 일례를 나타낸 도면이다.
도 8을 참고하면, 분류 트리를 이용한 사용자 포즈의 인식 결과(810) 및 사용자 모델을 이용한 사용자 포즈의 추적 결과(820)가 도시되어 있다. 포즈 추정 장치는 사용자의 포즈를 추정하기 위해 인식 결과(810)와 추적 결과(820)를 보완적으로 이용함으로써, 학습되지 않은 포즈를 효과적으로 추정할 수 있고, 포즈 추정에 대한 정확성을 개선시킬 수 있다.
도 9는 일실시예에 따른 토르소 영역과 림 영역에 기초하여 사용자의 포즈를 추적하는 과정을 설명하기 위한 도면이다.
도 9는 토르소 영역의 인식 결과를 이용하여 사용자의 포즈를 추적하는 과정을 나타내고 있다. 포즈 추정 장치는 영상 프레임마다 분류 트리를 이용한 사용자의 포즈 인식과 사용자 모델을 이용한 사용자의 포즈 인식을 모두 수행할 수 있다. 포즈 추정 장치는 포즈 인식 결과에 따른 사용자 영역에 포함된 토르소 영역의 인식 결과 및 대응점에 기초하여 사용자 모델을 업데이트함으로써 사용자의 포즈를 추적할 수 있다.
포즈 추정 장치는 깊이 영상의 사용자 영역(910)을 토르소 영역(920)과 림 영역(930)으로 분리할 수 있다. 림 영역은 깊이 영상의 사용자 영역(910)에서 토르소 영역(920)이 제외된 영역에 대응될 수 있다. 토르소 영역(920)에서 발생하는 Self-Occlusion에 의해 추적 실패가 발생할 수 있다. ICP 알고리즘을 이용하여 림 영역(930)에 포함된 신체 파트를 업데이트하는 경우, 포즈 추정 장치는 토르소 영역(920)으로 판별된 포인트를 깊이 영상의 사용자 영역(910)에서 제외시킴으로써 포즈의 추적 성능을 개선시킬 수 있다. 예를 들어, 포즈 추정 장치는 토르소 영역(920) 및 림 영역(930)에 대한 두 개의 K-D Tree를 생성하고, 신체 파트 모델에 대해 대응되는 Tree에서만 대응점을 탐색함으로써 포즈의 추적 성능을 개선시킬 수 있다.
도 10은 일실시예에 따른 인식부의 결과에 기초하여 사용자 모델을 초기화하는 과정을 설명하기 위한 도면이다.
포즈 추정 장치는 분류 트리를 이용한 사용자 포즈의 인식 결과에 대한 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우(인식 실패, Recognition Filure), 사용자 모델을 이용하여 사용자의 포즈를 추적하는 과정을 수행할 수 있다. 포즈 추정 장치는 사용자 포즈의 인식 결과 및 ICP 알고리즘을 이용하여 사용자 모델을 초기화한 이후에 사용자 모델을 이용하여 사용자의 포즈를 추적할 수 있다.
포즈 추정 장치는 사용자 포즈의 인식 결과를 초기 사용자 모델의 포즈(1010)에 적용함으로써 사용자 포즈의 추적 과정에서 이용할 사용자 모델을 초기화할 수 있다. 포즈 추정 장치는 초기 사용자 모델의 포즈(1010)에서 계산한 신체 파트들의 중심과 이전 영상 프레임의 인식 결과로부터 도출된 신체 파트들의 중심 간의 차이를 이용하여 초기 사용자 모델의 위치를 이전 영상 프레임의 인식 결과 위치로 이동(1020)시킬 수 있다.
포즈 추정 장치는 조인트 간의 대응 관계를 기반으로 하는 ICP 알고리즘을 이용하여 사용자 모델의 위치를 보다 정확하게 초기화(1030)시킬 수 있다. 포즈 추정 장치는 조인트 간의 대응 관계를 기반으로 하는 ICP 알고리즘을 이용함으로써 신체 파트가 실제 위치와 다르게 이동되는 것을 방지할 수 있다. 포즈 추정 장치는 사용자 모델 내 신체 파트들에 삽입된 조인트와 이전 영상 프레임의 인식 결과로부터 도출된 조인트 간의 대응 관계를 형성할 수 있다. 포즈 추정 장치는 조인트 간의 대응 관계에 기초하여 ICP 알고리즘을 수행함으로써 R 행렬과 T 행렬을 계산하고, 해당 신체 파트에 포함된 모든 포인트에 계산한 R 행렬 및 T 행렬을 적용하여 해당 신체 파트의 위치를 업데이트할 수 있다. 위와 같은 과정을 통해 포즈 추정 장치는 사용자 모델 내 신체 파트들의 위치를 초기화할 수 있다. 포즈 추정 장치는 사용자 모델 내 신체 파트에 삽입된 조인트 정보와 인식 결과로부터 도출된 조인트 정보를 이용함으로써, 별도의 대응점 탐색 과정 없이 ICP를 신속하게 수행할 수 있다.
도 11은 일실시예에 따른 포즈 추정 장치의 구성을 도시한 도면이다.
도 11을 참조하면, 포즈 추정 장치(1110)는 인식부(1120), 추적부(1130), 및 추정부(1140)를 포함할 수 있다.
인식부(1120)는 깊이 영상으로부터 사용자의 포즈를 인식할 수 있다. 인식부(1120)는 하나 또는 복수 개의 분류 트리를 이용하여 깊이 영상으로부터 사용자의 포즈를 인식할 수 있다. 인식부(1120)는 트레이닝 데이터를 이용하여 분류 트리를 학습할 수 있고, 깊이 영상에 나타난 사용자 영역을 식별할 수 있다. 예를 들어, 인식부(1120)는 깊이 영상의 사용자 영역에서 비저블 오브젝트 파트 데이터와 히든 오브젝트 파트 데이터를 이용하여 분류 트리를 생성할 수 있다. 인식부(1120)는 분류 트리를 이용하여 해당 입력 포인트가 비저블 오브젝트 파트에 속할 확률과 히든 오브젝트 파트에 속할 확률을 식별할 수 있다. 인식부(1120)는 비저블 오브젝트 파트 데이터의 확률 및 히든 오브젝트 파트 데이터의 확률을 단일 데이터 공간에 구성할 수 있다. 인식부(1120)는 비저블 오브젝트 파트 데이터와 히든 오브젝트 파트 데이터를 동시에 학습해서 사용자 영역에서 보이는 신체 파트들과 가려진 신체 파트들의 확률을 추정할 수 있고, 가려진 신체 파트를 복원할 수 있다. 인식부(1120)는 추정 결과 및 복원 결과를 하나의 데이터 공간에 구성하여 사용자의 포즈를 인식할 수 있다.
인식부(1120)는 분류 트리를 통해 사용자 영역을 구성하는 사용자의 신체 파트를 인식할 수 있다. 분류 트리의 학습이 진행되고, 분류 트리의 레벨이 증가할수록 특정 클래스의 확률이 높게 유지되고, 다른 클래스들의 확률은 낮아질 수 있다. 인식부(1120)는 사용자의 신체 파트에 대해 클래스를 형성하고, 사용자 영역에 포함된 신체 파트가 특정 클래스에 속할 확률을 계산할 수 있다. 인식부(1120)는 가장 높은 확률값을 갖는 클래스를 대응되는 신체 파트로 결정할 수 있다.
추적부(1130)는 사용자 모델을 이용하여 사용자의 포즈를 추적할 수 있다. 사용자 모델은 깊이 영상에 나타난 사용자 영역 및 인식부(1120)의 인식 결과에 기초하여 생성될 수 있다. 사용자 모델에 포함되는 신체 파트에 조인트가 삽입될 수 있고, 키네매틱 체인이 적용된 후 조인트에 기초하여 인접한 신체 파트들이 연결됨으로써 사용자 모델이 생성될 수 있다. 다른 실시예에 따르면, 추적부(1130)는 깊이 영상에 나타난 사용자 영역과 미리 결정된 복수 개의 사용자 모델들 간의 유사도에 기초하여 복수 개의 사용자 모델들 중 사용자에 대응하는 사용자 모델을 선택할 수 있다.
추적부(1130)는 사용자 포즈의 인식 결과를 초기 사용자 모델의 포즈에 적용함으로써 사용자 포즈의 추적 과정에서 이용할 사용자 모델을 초기화할 수 있다. 추적부(1130)는 인접한 신체 파트 간 조인트 연결 및 ICP 알고리즘을 이용하여 사용자 모델 기반의 포즈 추적을 수행할 수 있다. 추적부(1130)는 ICP 알고리즘을 이용하여 신체 파트의 현재 위치를 예측할 수 있다. 추적부(1130)는 가장 상위 레벨의 신체 파트부터 ICP를 적용하여 사용자 모델의 신체 파트에 포함된 포인트와 깊이 영상에 포함된 포인트 사이의 대응점을 탐색할 수 있다. 추적부(1130)는 탐색된 대응점에 기초하여 R 행렬과 T 행렬을 계산하고, 이를 사용자 모델에 적용하여 사용자 모델을 업데이트할 수 있다. 추적부(1130)는 업데이트한 결과가 미리 설정된 조건을 충족시킬 때까지 반복적으로 대응점을 탐색하고, R 행렬과 T 행렬을 이용하여 사용자 모델을 업데이트할 수 있다. 추적부(1130)는 업데이트된 결과를 현재 레벨의 신체 파트뿐만 아니라 하위 레벨의 신체 파트에도 적용할 수 있다. 추적부(1130)는 업데이트된 현재 레벨의 신체 파트를 상위 레벨의 신체 파트와 결합시킴으로써 사용자의 포즈가 반영된 사용자 모델을 생성할 수 있다.
추적부(1130)는 인식부(1120)의 인식 결과에 기초하여 깊이 영상에 나타난 사용자 영역을 토르소 영역과 림 영역으로 분리하고, 토르소 영역과 림 영역에 기초하여 사용자의 포즈를 추적할 수 있다. ICP 알고리즘을 이용하여 림 영역에 포함된 신체 파트를 업데이트하는 경우, 추적부(1130)는 토르소 영역으로 판별된 포인트를 깊이 영상의 사용자 영역에서 제외시킬 수 있다.
추정부(1140)는 인식부(1120)의 인식 결과와 추적부(1130)의 추적 결과를 배타적(exclusively)으로 이용하여 사용자의 포즈를 추정할 수 있다. 예를 들어, 추정부(1140)는 인식부(1120)의 인식 결과에 대한 신뢰도와 추적부(1130)의 추적 결과에 대한 신뢰도에 기초하여 인식부(1120) 및 상기 추적부(1130)가 배타적으로 동작하도록 제어할 수 있다. 추정부(1140)는 영상 프레임 단위로 상기 인식부(1120)의 인식 결과를 이용할지 또는 상기 추적부(1130)의 추적 결과를 이용할지 여부를 결정하고, 결정에 기초하여 사용자의 포즈를 추정할 수 있다. 추정부(1140)는 분류 트리를 이용하여 깊이 영상에 포함된 포인트가 각각의 신체 파트에 해당할 확률을 결정하고, 결정된 확률에 기초하여 인식 결과의 신뢰도를 결정할 수 있다. 인식 결과에 대한 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우(예를 들어, 인식 결과에 대한 신뢰도가 미리 설정된 임계값 이하인 경우), 추정부(1140)는 추적부(1130)가 사용자 포즈의 추적 과정을 수행하도록 제어할 수 있다. 추정부(1140)는 추적부(1130)의 추적 결과에 대한 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 인식부(1120)의 인식 결과 또는 추적부(1130)의 추적 결과에 기초하여 사용자의 포즈를 추정할 수 있다. 추적부(1130)의 추적 결과에 대한 신뢰도는 깊이 영상에 나타난 사용자 영역과 추적 결과 간의 유사도 및 사용자 모델과 깊이 영상 간 대응점들의 평균 거리에 기초하여 결정될 수 있다.
추정부(1140)는 인식부(1120)의 인식 결과에 대한 신뢰도 및 추적부(1130)의 추적 결과에 대한 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 인식부(1120)의 인식 결과 및 출력부의 출력 중 어느 하나에 기초하여 사용자의 자세를 추정할 수 있다. 추정부(1140)는 추적부(1130)의 추적 결과에 대한 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 다음 영상 프레임에 대해 분류 트리를 이용하여 사용자의 포즈를 추정하도록 제어할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (30)

  1. 깊이 영상으로부터 사용자의 포즈(pose)를 인식하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 인식 결과에 기초하여 사용자의 포즈를 추정하고, 다음 깊이 영상으로부터 사용자의 포즈를 인식하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 사용자 모델을 이용하여 사용자의 포즈를 추적하는 단계; 및
    상기 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 추적 결과에 기초하여 사용자의 포즈를 추정하고, 상기 사용자 모델을 이용하여 다음 깊이 영상에 대해 사용자의 포즈를 추적하는 단계
    를 포함하고,
    상기 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 상기 인식 결과 및 상기 추적 결과 중 어느 하나에 기초하여 사용자의 포즈를 추정하고, 다음 깊이 영상으로부터 사용자의 포즈를 인식하는 단계
    를 더 포함하는 포즈 추정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 깊이 영상에 나타난 사용자 영역 및 상기 인식 결과를 이용하여 사용자에 대응하는 사용자 모델을 생성하는 단계
    를 더 포함하는 포즈 추정 방법.
  4. 제3항에 있어서,
    상기 사용자 모델을 생성하는 단계는,
    상기 사용자 모델에 포함된 신체 파트에 상기 인식 결과로부터 도출된 조인트(joint) 정보를 적용하는 단계; 및
    상기 조인트 정보가 적용된 인접한 신체 파트들을 연결하여 사용자 모델을 생성하는 단계
    를 포함하는 포즈 추정 방법.
  5. 깊이 영상으로부터 사용자의 포즈(pose)를 인식하는 단계;
    상기 깊이 영상에 나타난 사용자 영역 및 상기 인식 결과를 이용하여 상기 사용자에 대응하는 사용자 모델을 생성하는 단계;

    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 인식 결과에 기초하여 사용자의 포즈를 추정하고, 다음 깊이 영상으로부터 사용자의 포즈를 인식하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 상기 사용자 모델을 이용하여 사용자의 포즈를 추적하는 단계; 및
    상기 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 추적 결과에 기초하여 사용자의 포즈를 추정하고, 상기 사용자 모델을 이용하여 다음 깊이 영상에 대해 사용자의 포즈를 추적하는 단계
    를 포함하고,
    상기 사용자 모델을 생성하는 단계는,
    상기 깊이 영상에 나타난 사용자 영역을 랜덤하게 샘플링하는 단계; 및
    상기 인식 결과로부터 도출된 사용자의 신체 파트들을 미리 설정된 신체 파트들로 병합하는 단계
    를 포함하는 포즈 추정 방법.
  6. 깊이 영상으로부터 사용자의 포즈(pose)를 인식하는 단계;
    상기 깊이 영상에 나타난 사용자 영역 및 상기 인식 결과를 이용하여 상기 사용자에 대응하는 사용자 모델을 생성하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 인식 결과에 기초하여 사용자의 포즈를 추정하고, 다음 깊이 영상으로부터 사용자의 포즈를 인식하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 상기 사용자 모델을 이용하여 사용자의 포즈를 추적하는 단계; 및
    상기 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 추적 결과에 기초하여 사용자의 포즈를 추정하고, 상기 사용자 모델을 이용하여 다음 깊이 영상에 대해 사용자의 포즈를 추적하는 단계
    를 포함하고,
    상기 사용자 모델을 생성하는 단계는,
    상기 깊이 영상에 나타난 사용자의 신체 파트에 대해 가우시안 클러스터링(Gaussian Clustering)을 수행하여 노이즈를 제거하는 단계
    를 포함하는 포즈 추정 방법.
  7. 제1항에 있어서,
    상기 깊이 영상에 나타난 사용자 영역과 미리 결정된 복수 개의 사용자 모델들 간의 유사도에 기초하여 상기 복수 개의 사용자 모델들 중에서 상기 사용자에 대응하는 사용자 모델을 선택하는 단계
    를 더 포함하는 포즈 추정 방법.
  8. 제7항에 있어서,
    상기 사용자 모델을 선택하는 단계는,
    상기 사용자 영역을 통해 식별한 사용자 정보에 기초하여 상기 미리 결정된 사용자 모델들 중 후보 사용자 모델들을 추출하는 단계; 및
    상기 추출된 후보 사용자 모델들과 상기 사용자 영역 간의 유사도가 가장 높은 후보 사용자 모델을 상기 사용자에 대응하는 사용자 모델로 선택하는 단계
    를 포함하는 포즈 추정 방법.
  9. 깊이 영상으로부터 사용자의 포즈(pose)를 인식하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 인식 결과에 기초하여 사용자의 포즈를 추정하고, 다음 깊이 영상으로부터 사용자의 포즈를 인식하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 사용자 모델을 이용하여 사용자의 포즈를 추적하는 단계; 및
    상기 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 추적 결과에 기초하여 사용자의 포즈를 추정하고, 상기 사용자 모델을 이용하여 다음 깊이 영상에 대해 사용자의 포즈를 추적하는 단계
    를 포함하고,상기 사용자의 포즈를 추적하는 단계는,
    사용자 모델 내 신체 파트에 포함된 포인트와 깊이 영상에 포함된 포인트 사이의 대응점(Matching Correspondence)을 탐색하는 단계;
    상기 대응점에 기초하여 회전 행렬 및 이동 행렬을 결정하는 단계; 및
    상기 회전 행렬 및 이동 행렬을 이용하여 사용자 모델을 업데이트하는 단계
    를 포함하는 포즈 추정 방법.
  10. 제9항에 있어서,
    상기 사용자 모델을 업데이트하는 단계는,
    상기 사용자 모델에 포함된 신체 파트들 중 상위 레벨의 신체 파트의 업데이트 결과를 하위 레벨의 신체 파트에 적용하여 사용자 모델을 업데이트하는 포즈 추정 방법.
  11. 깊이 영상으로부터 사용자의 포즈(pose)를 인식하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 인식 결과에 기초하여 사용자의 포즈를 추정하고, 다음 깊이 영상으로부터 사용자의 포즈를 인식하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 사용자 모델을 이용하여 사용자의 포즈를 추적하는 단계; 및
    상기 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 추적 결과에 기초하여 사용자의 포즈를 추정하고, 상기 사용자 모델을 이용하여 다음 깊이 영상에 대해 사용자의 포즈를 추적하는 단계
    를 포함하고,상기 추적 결과의 신뢰도는,
    상기 깊이 영상에 나타난 사용자 영역과 상기 추적 결과 간의 유사도 및 사용자 모델과 깊이 영상 간 대응점들의 평균 거리에 기초하여 결정되는 포즈 추정 방법.
  12. 깊이 영상으로부터 사용자의 포즈(pose)를 인식하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 인식 결과에 기초하여 사용자의 포즈를 추정하고, 다음 깊이 영상으로부터 사용자의 포즈를 인식하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 사용자 모델을 이용하여 사용자의 포즈를 추적하는 단계; 및
    상기 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 추적 결과에 기초하여 사용자의 포즈를 추정하고, 상기 사용자 모델을 이용하여 다음 깊이 영상에 대해 사용자의 포즈를 추적하는 단계
    를 포함하고,상기 사용자의 포즈를 추적하는 단계는,
    상기 사용자 모델의 중심 좌표와 상기 깊이 영상에 나타난 사용자 영역의 중심 좌표 간의 차이에 기초하여 사용자 모델의 위치를 조절하는 단계
    를 포함하는 포즈 추정 방법.
  13. 깊이 영상으로부터 사용자의 포즈(pose)를 인식하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 인식 결과에 기초하여 사용자의 포즈를 추정하고, 다음 깊이 영상으로부터 사용자의 포즈를 인식하는 단계;
    상기 인식 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 사용자 모델을 이용하여 사용자의 포즈를 추적하는 단계; 및
    상기 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키는 경우, 상기 추적 결과에 기초하여 사용자의 포즈를 추정하고, 상기 사용자 모델을 이용하여 다음 깊이 영상에 대해 사용자의 포즈를 추적하는 단계
    를 포함하고,상기 사용자의 포즈를 추적하는 단계는,
    상기 인식 결과를 상기 사용자 모델에 적용하여 상기 사용자 모델을 초기화하는 단계
    를 포함하는 포즈 추정 방법.
  14. 제13항에 있어서,
    상기 사용자 모델을 초기화하는 단계는,
    상기 사용자 모델 내 신체 파트에 삽입된 조인트와 상기 인식 결과로부터 도출된 조인트 간의 대응 관계에 기초하여 신체 파트의 위치를 업데이트하는 단계
    를 포함하는 포즈 추정 방법.
  15. 제1항에 있어서,
    상기 깊이 영상으로부터 사용자의 포즈를 인식하는 단계는,
    분류 트리(Classification Tree)를 이용하여 깊이 영상으로부터 사용자의 포즈를 인식하는 포즈 추정 방법.
  16. 분류 트리를 이용하여 깊이 영상으로부터 사용자의 포즈를 인식하는 단계;
    상기 인식 결과 및 사용자 모델에 기초하여 사용자의 포즈를 추적하는 단계; 및
    상기 추적 결과에 기초하여 사용자의 포즈를 추정하는 단계
    를 포함하고,
    상기 인식 결과 및 상기 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 상기 인식 결과 및 상기 추적 결과 중 어느 하나에 기초하여 사용자의 포즈를 추정하고, 다음 깊이 영상으로부터 사용자의 포즈를 인식하는 단계
    를 더 포함하는 포즈 추정 방법.
  17. 제16항에 있어서,
    상기 사용자의 포즈를 추적하는 단계는,
    상기 인식 결과에 기초하여 상기 깊이 영상에 나타난 사용자 영역을 토르소(Torso) 영역과 상기 사용자 영역에서 상기 토르소 영역이 제외된 림(Limb) 영역으로 분리하는 단계; 및
    상기 토르소 영역과 상기 림 영역에 기초하여 사용자의 포즈를 추적하는 단계
    를 포함하는 포즈 추정 방법.
  18. 제17항에 있어서,
    상기 사용자의 포즈를 추적하는 단계는,
    상기 림 영역에 대한 사용자 모델을 업데이트할 때, 상기 토르소 영역의 정보를 이용하지 않는 포즈 추정 방법.
  19. 깊이 영상으로부터 사용자의 포즈를 인식하는 인식부;
    사용자 모델을 이용하여 사용자의 포즈를 추적하는 추적부; 및
    상기 인식부의 인식 결과 및 상기 추적부의 추적 결과 중 적어도 하나를 이용하여 사용자의 포즈를 추정하는 추정부
    를 포함하고,
    상기 추정부는,
    상기 추적부의 추적 결과에 대한 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 다음 영상 프레임에 대해 분류 트리를 이용하여 사용자의 포즈를 추정하도록 제어하고,
    상기 추적부의 추적 결과에 대한 신뢰도는,
    상기 깊이 영상에 나타난 사용자 영역과 상기 추적 결과 간의 유사도 및 사용자 모델과 깊이 영상 간 대응점들의 평균 거리에 기초하여 결정되는 포즈 추정 장치.
  20. 제19항에 있어서,
    상기 추정부는,
    상기 인식부의 인식 결과에 대한 신뢰도와 상기 추적부의 추적 결과에 대한 신뢰도에 기초하여 상기 인식부 및 상기 추적부가 배타적으로 동작하도록 제어하는 포즈 추정 장치.
  21. 제19항에 있어서,
    상기 추정부는,
    상기 인식부의 인식 결과에 대한 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 상기 추적부의 추적 결과에 기초하여 사용자의 포즈를 추정하는 포즈 추정 장치.
  22. 삭제
  23. 삭제
  24. 제19항에 있어서,
    상기 추정부는,
    상기 인식부의 인식 결과에 대한 신뢰도 및 상기 추적부의 추적 결과에 대한 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 상기 인식부의 인식 결과 및 상기 추적부의 추적 결과 중 어느 하나에 기초하여 사용자의 자세를 추정하는 포즈 추정 장치.
  25. 깊이 영상으로부터 사용자의 포즈를 인식하는 인식부;
    사용자 모델을 이용하여 사용자의 포즈를 추적하는 추적부; 및
    상기 인식부의 인식 결과 및 상기 추적부의 추적 결과 중 적어도 하나를 이용하여 사용자의 포즈를 추정하는 추정부
    를 포함하고,
    상기 추적부는,
    사용자 모델 내 신체 파트에 포함된 포인트와 깊이 영상에 포함된 포인트 사이의 대응점에 기초하여 회전 행렬 및 이동 행렬을 계산하고, 상기 회전 행렬 및 이동 행렬을 이용하여 사용자 모델을 업데이트하는 포즈 추정 장치.
  26. 제19항에 있어서,
    상기 사용자 모델은,
    상기 깊이 영상에 나타난 사용자 영역 및 상기 인식부의 인식 결과에 기초하여 생성되는 포즈 추정 장치.
  27. 제19항에 있어서,
    상기 추적부는,
    상기 인식부의 인식 결과에 기초하여 사용자 모델의 신체 파트에 조인트(joint) 정보를 적용하고, 상기 조인트 정보가 적용된 신체 파트들을 연결하여 사용자 모델을 생성하는 포즈 추정 장치.
  28. 제19항에 있어서,
    상기 추적부는,
    상기 깊이 영상에 나타난 사용자 영역과 미리 결정된 복수 개의 사용자 모델들 간의 유사도에 기초하여 상기 복수 개의 사용자 모델들 중에서 상기 사용자에 대응하는 사용자 모델을 선택하는 포즈 추정 장치.
  29. 제19항에 있어서,
    상기 추적부는,
    상기 인식부의 인식 결과에 기초하여 상기 깊이 영상에 나타난 사용자 영역을 토르소 영역과 림 영역으로 분리하고, 상기 토르소 영역과 상기 림 영역에 기초하여 사용자의 포즈를 추적하고,
    상기 추정부는,
    상기 추적 결과에 기초하여 사용자의 포즈를 추정하는 포즈 추정 장치.
  30. 현재 깊이 영상으로부터 사용자의 포즈를 인식하는 단계;
    상기 인식 결과의 신뢰도에 기초하여 현재 깊이 영상에 대해 미리 결정된 사용자 모델을 이용하여 사용자의 포즈를 추적할지 여부를 결정하는 단계;
    상기 결정에 따라 사용자 모델을 이용하여 현재 깊이 영상으로부터 사용자의 포즈를 추적하는 단계; 및
    상기 추적 결과의 신뢰도에 기초하여 상기 인식 결과 및 상기 추적 결과 중 적어도 하나에 기초하여 현재 깊이 영상으로부터 사용자의 포즈를 추정하는 단계
    를 포함하고,
    상기 사용자의 포즈를 추정하는 단계는,
    상기 추적 결과의 신뢰도가 미리 설정된 조건을 충족시키지 못하는 경우, 상기 인식 결과 및 상기 추적 결과 중 어느 하나에 기초하여 사용자의 포즈를 추정하고, 다음 깊이 영상으로부터 사용자의 포즈를 인식하는 단계
    를 더 포함하는 포즈 추정 방법.
KR1020130063574A 2013-06-03 2013-06-03 포즈 추정 방법 및 장치 KR101933921B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130063574A KR101933921B1 (ko) 2013-06-03 2013-06-03 포즈 추정 방법 및 장치
US14/289,915 US9697609B2 (en) 2013-06-03 2014-05-29 Method and apparatus for estimating pose

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130063574A KR101933921B1 (ko) 2013-06-03 2013-06-03 포즈 추정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140142037A KR20140142037A (ko) 2014-12-11
KR101933921B1 true KR101933921B1 (ko) 2018-12-31

Family

ID=51985150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130063574A KR101933921B1 (ko) 2013-06-03 2013-06-03 포즈 추정 방법 및 장치

Country Status (2)

Country Link
US (1) US9697609B2 (ko)
KR (1) KR101933921B1 (ko)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11615460B1 (en) 2013-11-26 2023-03-28 Amazon Technologies, Inc. User path development
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US9727776B2 (en) * 2014-05-27 2017-08-08 Microsoft Technology Licensing, Llc Object orientation estimation
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
KR101636171B1 (ko) * 2014-12-19 2016-07-05 동국대학교 경주캠퍼스 산학협력단 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
US10810539B1 (en) 2015-03-25 2020-10-20 Amazon Technologies, Inc. Re-establishing tracking of a user within a materials handling facility
US10586203B1 (en) * 2015-03-25 2020-03-10 Amazon Technologies, Inc. Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility
US10679177B1 (en) 2015-03-25 2020-06-09 Amazon Technologies, Inc. Using depth sensing cameras positioned overhead to detect and track a movement of a user within a materials handling facility
US11205270B1 (en) 2015-03-25 2021-12-21 Amazon Technologies, Inc. Collecting user pattern descriptors for use in tracking a movement of a user within a materials handling facility
JP2017084065A (ja) * 2015-10-27 2017-05-18 株式会社東芝 なりすまし検出装置
KR20170077444A (ko) * 2015-12-28 2017-07-06 전자부품연구원 인체 포즈 인지 시스템 및 방법
WO2018002004A1 (en) * 2016-06-30 2018-01-04 Koninklijke Philips N.V. Intertial device tracking system and method of operation thereof
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
WO2018022658A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Adaptive system for deriving control signals from measurements of neuromuscular activity
WO2018022597A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10687759B2 (en) 2018-05-29 2020-06-23 Facebook Technologies, Llc Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
US20200073483A1 (en) 2018-08-31 2020-03-05 Ctrl-Labs Corporation Camera-guided interpretation of neuromuscular signals
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
US10235771B2 (en) * 2016-11-11 2019-03-19 Qualcomm Incorporated Methods and systems of performing object pose estimation
US11328513B1 (en) 2017-11-07 2022-05-10 Amazon Technologies, Inc. Agent re-verification and resolution using imaging
WO2019147996A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
CN112074870A (zh) 2018-01-25 2020-12-11 脸谱科技有限责任公司 重构的手部状态信息的可视化
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
WO2019148002A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
WO2019147958A1 (en) * 2018-01-25 2019-08-01 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
CN112005198A (zh) 2018-01-25 2020-11-27 脸谱科技有限责任公司 基于多个输入的手部状态重建
US10970936B2 (en) 2018-10-05 2021-04-06 Facebook Technologies, Llc Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
WO2019147949A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Real-time processing of handstate representation model estimates
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN112469469A (zh) 2018-05-25 2021-03-09 脸谱科技有限责任公司 用于提供肌肉下控制的方法和装置
US10970374B2 (en) 2018-06-14 2021-04-06 Facebook Technologies, Llc User identification and authentication with neuromuscular signatures
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
EP3836836B1 (en) 2018-08-13 2024-03-20 Meta Platforms Technologies, LLC Real-time spike detection and identification
EP3853698A4 (en) 2018-09-20 2021-11-17 Facebook Technologies, LLC NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY
CN112771478A (zh) 2018-09-26 2021-05-07 脸谱科技有限责任公司 对环境中的物理对象的神经肌肉控制
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
CN110097639B (zh) * 2019-03-18 2023-04-18 北京工业大学 一种三维人体姿态估计方法
KR102150794B1 (ko) * 2019-04-26 2020-09-02 한국과학기술원 손 자세 인식 및 적응적 공간 탐색을 활용한 손 관절 추적 방법 및 그 장치
TWI736083B (zh) 2019-12-27 2021-08-11 財團法人工業技術研究院 動作預測的方法及系統
WO2021208633A1 (zh) * 2020-04-16 2021-10-21 腾讯科技（深圳）有限公司 物品名称确定方法、装置、计算机设备及存储介质
US11430308B1 (en) * 2020-05-26 2022-08-30 Apple Inc. Multi-motion generator
KR102591325B1 (ko) * 2020-08-21 2023-10-20 한국전자통신연구원 휴먼 자세 추정 장치 및 방법
CN112330714B (zh) * 2020-09-29 2024-01-09 深圳大学 一种行人跟踪方法、装置、电子设备及存储介质
CN112183506A (zh) * 2020-11-30 2021-01-05 成都市谛视科技有限公司 一种人体姿态生成方法及其系统
US11770551B2 (en) * 2020-12-15 2023-09-26 Google Llc Object pose estimation and tracking using machine learning
KR102534981B1 (ko) * 2021-01-25 2023-05-19 인제대학교 산학협력단 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
KR102626388B1 (ko) * 2021-10-07 2024-01-17 서울대학교병원 영유아의 움직임 복잡도 자동 평가 방법 및 시스템
CN116030411B (zh) * 2022-12-28 2023-08-18 宁波星巡智能科技有限公司 基于姿态识别的人形隐私遮挡方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010514064A (ja) 2006-12-21 2010-04-30 本田技研工業株式会社 ラベル付けを用いた人体姿勢の推定および追跡
US20100303302A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Systems And Methods For Estimating An Occluded Body Part
US20110058709A1 (en) * 2009-01-30 2011-03-10 Microsoft Corporation Visual target tracking using model fitting and exemplar
JP2012053606A (ja) 2010-08-31 2012-03-15 Sony Corp 情報処理装置および方法、並びにプログラム
US20120070070A1 (en) 2010-09-16 2012-03-22 Primesense Ltd. Learning-based pose estimation from depth maps

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4148281B2 (ja) * 2006-06-19 2008-09-10 ソニー株式会社 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
US8023726B2 (en) * 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
KR100930626B1 (ko) * 2007-08-23 2009-12-09 전자부품연구원 스테레오 카메라를 구비한 로봇의 물체 자세 인식 방법
US9098766B2 (en) 2007-12-21 2015-08-04 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
EP2327061A4 (en) * 2008-08-15 2016-11-16 Univ Brown METHOD AND DEVICE FOR ESTIMATING BODY SHAPES
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
WO2010127023A1 (en) * 2009-05-01 2010-11-04 Spicola Tool, Llc Remote contactless stereoscopic mass estimation system
US8565479B2 (en) * 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8994790B2 (en) 2010-02-25 2015-03-31 The Board Of Trustees Of The Leland Stanford Junior University Motion capture with low input data constraints
US8213680B2 (en) 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
KR101587962B1 (ko) * 2010-12-22 2016-01-28 한국전자통신연구원 모션 캡처 장치 및 방법
WO2012156141A1 (en) * 2011-05-16 2012-11-22 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Fast articulated motion tracking
US8724906B2 (en) * 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
US9171380B2 (en) * 2011-12-06 2015-10-27 Microsoft Technology Licensing, Llc Controlling power consumption in object tracking pipeline
CN103177269B (zh) * 2011-12-23 2017-12-15 北京三星通信技术研究有限公司 用于估计对象姿态的设备和方法
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010514064A (ja) 2006-12-21 2010-04-30 本田技研工業株式会社 ラベル付けを用いた人体姿勢の推定および追跡
US20110058709A1 (en) * 2009-01-30 2011-03-10 Microsoft Corporation Visual target tracking using model fitting and exemplar
US20100303302A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Systems And Methods For Estimating An Occluded Body Part
JP2012053606A (ja) 2010-08-31 2012-03-15 Sony Corp 情報処理装置および方法、並びにプログラム
US20120070070A1 (en) 2010-09-16 2012-03-22 Primesense Ltd. Learning-based pose estimation from depth maps

Also Published As

Publication number Publication date
KR20140142037A (ko) 2014-12-11
US20140355825A1 (en) 2014-12-04
US9697609B2 (en) 2017-07-04

Similar Documents

Publication Publication Date Title
KR101933921B1 (ko) 포즈 추정 방법 및 장치
KR101815975B1 (ko) 객체 자세 검색 장치 및 방법
US9058514B2 (en) Apparatus and method for estimating joint structure of human body
US9330470B2 (en) Method and system for modeling subjects from a depth map
Lee et al. Human pose tracking in monocular sequence using multilevel structured models
Siddiqui et al. Human pose estimation from a single view point, real-time range sensor
CN103177269B (zh) 用于估计对象姿态的设备和方法
KR100860640B1 (ko) 강력한 정보 융합을 사용함으로써 다중-모델 성분에 기초하여 대상을 추적하기 위한 방법 및 시스템
US11763485B1 (en) Deep learning based robot target recognition and motion detection method, storage medium and apparatus
Uddin et al. Human activity recognition using body joint‐angle features and hidden Markov model
KR101994319B1 (ko) 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
KR100939294B1 (ko) 3차원 공간에서의 사람 움직임 추적 방법 및 장치
Bhuyan et al. Trajectory guided recognition of hand gestures having only global motions
JP2017097578A (ja) 情報処理装置及び方法
KR101350387B1 (ko) 깊이 정보를 이용한 손 검출 방법 및 그 장치
Liu Automatic range image registration in the markov chain
Ginhoux et al. Model-based object tracking using stereo vision
Lakaemper Towards human pose semantic synthesis in 3D based on query keywords
Almeida et al. Pedestrian pose estimation using stereo perception
Persson 3D Estimation of Joints for Motion Analysis in Sports Medicine: A study examining the possibility for monocular 3D estimation to be used as motion analysis for applications within sports with the goal to prevent injury and improve sport specific motion
Wang et al. A Micro SLAM System Based on ORB for RGB-D Cameras
Losch et al. A human body model initialization approach made real-time capable through heuristic constraints
KR20220078420A (ko) 랜덤 포레스트를 사용한 손 자세의 계층적 추정 방법, 이를 수행하기 위한 기록 매체 및 장치
Li Single view human pose tracking
Li et al. Human gait tracking based on linear model fitting

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant