KR101896827B1

KR101896827B1 - 사용자 자세 추정 장치 및 방법

Info

Publication number: KR101896827B1
Application number: KR1020170020345A
Authority: KR
Inventors: 이상훈; 김정환; 이인웅
Original assignee: 연세대학교 산학협력단
Priority date: 2017-02-15
Filing date: 2017-02-15
Publication date: 2018-09-07
Also published as: KR20180094253A

Abstract

사용자 자세 추정 장치 및 방법이 개시된다. 개시된 장치는, 복수의 키넥트 센서들이 사용자를 둘러싸도록 배치되며 상기 복수의 키넥트 센서들이 독립적으로 상기 사용자의 스켈레톤 구조 영상을 획득하는 키넥트 센서부; 상기 복수의 키넥트 센서에서 획득한 상기 사용자의 스켈레톤 구조 영상을 공통 좌표계로 변환하는 공통 좌표계 변환부; 상기 복수의 키넥트 센서들 중 사용자의 전방을 촬영하는 키넥트 센서들을 선택하는 유효 키넥트 센서 선택부; 상기 선택된 유효 키넥트 센서들에 대해 각 유효 키넥트 센서들의 스켈레톤 구조 영상의 관절별로 가중치를 설정하는 가중치 설정부; 및 상기 설정된 가중치에 기초하여 상기 선택된 유효 키넥트 센서들의 스켈레톤 구조 영상을 합성하는 스켈레톤 합성부를 포함하되, 상기 가중치는 상기 유효 키넥트 센서들의 트랙 상태 정보에 기초하는 제1 가중치 및 상기 사용자로부터 상기 유효 키넥트 센서들로의 방향에 기초한 제2 가중치를 포함한다. 개시된 장치에 의하면, 사용자가 회전 등에 의해 바라보는 방향이 변경되더라도 안정적으로 사용자의 스켈레톤 구조 영상을 획득할 수 있는 장점이 있다.

Description

사용자 자세 추정 장치 및 방법{Apparatus and Method for Estimating Pose of User}

본 발명의 실시예들은 사용자 자세 추정 장치 및 방법에 관한 것으로서, 더욱 상세하게는 복수의 키넥트 센서를 이용하여 사용자의 자세를 추정하는 장치 및 방법에 관한 것이다.

근래에 들어 가상 현실에 대한 연구가 활발히 이루어지고 있으며, 가상 현실은 게임, 엔터테인먼트 및 군사 용도와 같이 다방면으로 활용되고 있다.

이러한, 가상 현실에서 사용자의 동작 및 자세를 인지하여 추정하는 방법은 게임 및 군사 훈련에서 인터페이싱을 위해 활발한 연구가 이루어지고 있다. 사용자의 자세를 추정하는 대표적인 센서로 키넥트 센서가 있다.

키넥트 센서는 사용자의 관절들에 대한 연결 정보인 스켈레톤 구조 영상을 획득할 수 있는 센서로, 게임 장치에서 주로 이용되고 있다.

그러나, 키넥트 센서는 사용자의 정면을 바라보고 있다는 전제하에서 사용자의 스켈레톤 구조 영상을 획득하고, 사용자의 회전과 같은 역동적인 동작에 대해서는 정확한 감지를 할 수 없는 문제점이 있었다.

가상 현실 인터페이싱에서는 사용자의 다양한 동작 및 자세를 모두 추정하는 것이 요구되고 있으며, 특히 군산 훈련 용도에서는 사용자의 회전 동작이 이루어지더라도 정확한 자세 추정이 필요하나, 기존의 센서 장치로는 회전 동작이 이루어지는 상태에서 정확한 자세 추정이 어려운 문제점이 있었다.

본 발명은 사용자가 회전 등에 의해 바라보는 방향이 변경되더라도 안정적으로 사용자의 스켈레톤 구조 영상을 획득할 수 있는 방법 및 장치를 제안한다.

본 발명의 일 측면에 따르면, 복수의 키넥트 센서들이 사용자를 둘러싸도록 배치되며 상기 복수의 키넥트 센서들이 독립적으로 상기 사용자의 스켈레톤 구조 영상을 획득하는 키넥트 센서부; 상기 복수의 키넥트 센서에서 획득한 상기 사용자의 스켈레톤 구조 영상을 공통 좌표계로 변환하는 공통 좌표계 변환부; 상기 복수의 키넥트 센서들 중 사용자의 전방을 촬영하는 키넥트 센서들을 선택하는 유효 키넥트 센서 선택부; 상기 선택된 유효 키넥트 센서들에 대해 각 유효 키넥트 센서들의 스켈레톤 구조 영상의 관절별로 가중치를 설정하는 가중치 설정부; 및 상기 설정된 가중치에 기초하여 상기 선택된 유효 키넥트 센서들의 스켈레톤 구조 영상을 합성하는 스켈레톤 합성부를 포함하되, 상기 가중치는 상기 유효 키넥트 센서들의 트랙 상태 정보에 기초하는 제1 가중치 및 상기 사용자로부터 상기 유효 키넥트 센서들로의 방향에 기초한 제2 가중치를 포함하는 사용자 자세 추정 장치가 제공된다.

상기 유효 키넥트 센서 선택부는 상기 키넥트 센서들에 의해 포착되는 스켈레톤 구조 영상에서 상기 사용자의 왼쪽 어깨 및 오른쪽 어개를 연결하는 라인과 직교하는 전방 벡터를 이용한다.

상기 유효 키넥트 센서 선택부는 이전 프레임의 전방 벡터와 현재 프레임에서 각 키넥트 센서별 전방 벡터의 내적을 통해 상기 사용자의 전방을 촬영하는지 여부를 판단한다.

상기 제1 가중치는 각 유효 키넥트 센서의 스켈레톤 구조 영상의 관절에 대한 상태 정보에 기초하여 관절별로 설정된다.

상기 가중치 설정부는 상기 각 유효 키넥트 센서들의 스켈레톤 구조 영상에서 상기 사용자의 전방 벡터를 기준으로 왼쪽 영역 및 오른쪽 영역을 정의하고, 상기 사용자로부터 상기 유효 키넥트 센서들 중 특정 키넥트 센서로의 방향이 상기 왼쪽 영역 내에 있지 않을 경우, 해당 키넥트 센서에 의해 포착되는 스켈레톤 구조 영상의 관절들 중 미리 설정된 왼쪽 영역 관절들에 대해 1 미만의 미리 설정된 제2 가중치를 적용하며, 상기 사용자로부터 상기 유효 키넥트 센서들 중 특정 키넥트 센서로의 방향이 상기 오른쪽 영역 내에 있지 않을 경우 해당 키넥트 센서에 의해 포착되는 스켈레톤 구조 영상의 관절들 중 미리 설정된 왼른쪽 영역 관절들에 대해 1 미만의 미리 설정된 제2 가중치를 적용한다.

상기 스켈레톤 합성부는 상기 제1 가중치 및 상기 제2 가중치의 곱에 상응하는 가중치를 각 관절별로 적용하여 가중치 평균에 의해 스켈레톤 구조 영상을 합성한다.

상기 스켈레톤 합성부에 의해 합성되는 스켈레톤 구조 영상에 기초하여 상기 사용자의 자세를 추정하는 자세 추정부를 더 포함한다.

본 발명의 다른 측면에 따르면, 복수의 키넥트 센서들이 사용자를 둘러싸도록 배치되며 상기 복수의 키넥트 센서들이 독립적으로 상기 사용자의 스켈레톤 구조 영상을 획득하는 키넥트 센서부; 상기 복수의 키넥트 센서에서 획득한 상기 사용자의 스켈레톤 구조 영상을 공통 좌표계로 변환하는 공통 좌표계 변환부; 상기 복수의 키넥트 센서들 중 사용자의 전방을 촬영하는 키넥트 센서들을 선택하는 유효 키넥트 센서 선택부; 상기 선택된 유효 키넥트 센서들에 대해 각 유효 키넥트 센서들의 스켈레톤 구조 영상의 관절별로 가중치를 설정하는 가중치 설정부; 및 상기 설정된 가중치에 기초하여 상기 선택된 유효 키넥트 센서들의 스켈레톤 구조 영상을 합성하는 스켈레톤 합성부를 포함하되, 상기 유효 키넥트 센서 선택부는 상기 키넥트 센서들에 의해 포착되는 스켈레톤 구조 영상에서 상기 사용자의 왼쪽 어깨 및 오른쪽 어개를 연결하는 라인과 직교하는 전방 벡터를 이용하며, 이전 프레임의 전방 벡터와 현재 프레임에서 각 키넥트 센서별 전방 벡터의 내적을 통해 상기 사용자의 전방을 촬영하는지 여부를 판단하는 사용자 자세 추정 장치가 제공된다.

본 발명의 또 다른 측면에 따르면, 복수의 키넥트 센서들이 사용자를 둘러싸도록 배치되는 환경에서 사용자의 자세를 추정하는 방법으로서, 상기 복수의 키넥트 센서들이 독립적으로 상기 사용자의 스켈레톤 구조 영상을 획득하는 단계(a); 상기 복수의 키넥트 센서에서 획득한 상기 사용자의 스켈레톤 구조 영상을 공통 좌표계로 변환하는 단계(b); 상기 복수의 키넥트 센서들 중 사용자의 전방을 촬영하는 유효 키넥트 센서들을 선택하는 단계(c); 상기 선택된 유효 키넥트 센서들에 대해 각 유효 키넥트 센서들의 스켈레톤 구조 영상의 관절별로 가중치를 설정하는 단계(d); 및 상기 설정된 가중치에 기초하여 상기 선택된 유효 키넥트 센서들의 스켈레톤 구조 영상을 합성하는 단계(e)를 포함하되, 상기 가중치는 상기 유효 키넥트 센서들의 트랙 상태 정보에 기초하는 제1 가중치 및 상기 사용자로부터 상기 유효 키넥트 센서들로의 방향에 기초한 제2 가중치를 포함하는 사용자 자세 추정 방법이 제공된다.

본 발명에 의하면, 사용자가 회전 등에 의해 바라보는 방향이 변경되더라도 안정적으로 사용자의 스켈레톤 구조 영상을 획득할 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 사용자 자세 추정 장치에 사용되는 키넥트 센서의 배치 구조를 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 사용자 자세 추정 장치의 구조를 도시한 블록도.
도 3은 본 발명의 일 실시예에 따라 전방 벡터 트래킹을 이용하여 유효 키넥트를 선택하는 동작을 설명하기 위한 도면.
도 4는 본 발명의 일 실시에에 따라 유효 키넥트 센서를 선별하는 일례를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 카메라 방향에 기초하여 가중치를 설정하는 방법을 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 사용자 자세 추정 방법의 전체적인 흐름을 도시한 순서도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 사용자 자세 추정 장치에 사용되는 키넥트 센서의 배치 구조를 도시한 도면이다.

본 발명은 사용자의 자세 회전에 대해 안정적으로 사용자의 관절 구조를 파악하여 사용자의 자세를 추정하는 방법 및 장치에 관한 것으로서, 안정적인 자세 추정을 위해 복수의 키넥트 센서(100, 102, 104, 106, 108, 110)를 이용한다.

키넥트 센서(100, 102, 104, 106, 108, 110)는 동작 인식 카메라로서, 사용자의 신체 동작을 인식하여 게임과 엔터테인먼트를 경함할 수 있도록 제작된 센서이다. 키넥트 센서(100, 102, 104, 106), 108, 110)는 적외선 프로젝터를 통해 깊이를 감지할 수 있는 카메라를 탐재하여 포착된 사람의 움직임을 추적해낼 수 있다. 특히, 키넥트 센서를 이용하여 포착된 사람의 관절들의 연결 구조를 의미하는 스켈레톤 구조를 획득할 수 있으며, 키넥트 센서에 의해 획득되는 스켈레톤 구조는 사람의 자세를 추정하기 위한 기초 정보로 활용될 수 있다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 사용자 자세 추정 장치는 복수의 키넥트 센서(100, 102, 104, 106, 108, 110)가 사용자를 전체적으로 둘러싸도록 서라운드 구조로 배치된다.

일 실시예에 따르면, 키넥트 센서들(100, 102, 104, 106, 108, 110)은 60도 간격으로 전체적으로 원형을 이루도록 배치될 수 있다. 물론 필요에 따라 배치되는 키넥트 센서의 수가 변경될 수 있다는 점은 당업자에게 있어 자명할 것이다. 40도 간격으로 9개의 키넥트 센서가 배치될 수도 있을 것이며, 90도 간격으로 4개의 키넥트 센서가 배치될 수도 있을 것이다.

바람직하게는, 추적 대상이 되는 사용자는 전체적으로 원형을 이루도록 배치된 키넥트 센서들의 중앙부에 위치할 수 있다.

가상 현실 엔터테인먼트 또는 군사용 가상 현실 시스템에서는 사용자가 회전하는 상태에서도 사용자의 자세를 추정할 필요가 있으며, 본 발명은 사용자가 어떠한 회전 상태에 있더라도 사용자의 자세를 정확히 추정하기 위해 복수의 키넥트 센서를 사용하며, 이러한 구조로 인해 사용자가 어떠한 방향을 바라보더라도 복수의 키넥트 센서 중 일부는 사용자의 정면을 포착할 수 있게 된다.

복수의 키넥트 센서(100, 102, 104, 106, 108, 110) 각각은 독립적으로 사용자의 영상을 포착하여 독립적으로 스켈레톤 구조에 대한 영상을 획득한다.

도 2는 본 발명의 일 실시예에 따른 사용자 자세 추정 장치의 구조를 도시한 블록도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 사용자 자세 추정 장치는 키넥트 센서부(200), 공통 좌표 변환부(202), 유효 키넥트 센서 선택부(204), 가중치 설정부(206), 스켈레톤 합성부(208), 후처리부(210) 및 자세 추정부(212)를 포함한다.

키넥트 센서부(200)는 복수의 키넥트 센서를 포함하며, 도 1에 도시된 바와 같이 대상 사용자의 스켈레톤 구조 영상을 획득한다. 스켈레톤 구조 영상은 3좌원 좌표계에 포함되며, 다수의 관절들의 연결 상태가 스켈레톤 구조 영상에 표현된다. 앞서 설명한 바와 같이, 키넥트 센서부(200)를 구성하는 복수의 키넥트 센서들(100, 102, 104, 106, 108, 110)은 독립적으로 스켈레톤 구조 영상을 획득한다.

공통 좌표 변환부(202)는 각 키넥트 센서에서 획득하는 스켈레톤 구조 영상을 공통 좌표계의 좌표에 대한 영상으로 변환하는 기능을 한다. 각 키넥트 센서에서 획득하는 스켈레톤 구조 영상은 각 키넥트 센서를 기준으로 한 좌표계의 좌표값으로 표현된다. 본 발명은 복수의 키넥트 센서 각각에서 획득한 스켈레톤 구조 영상을 합성하므로, 각 키넥트 센서에서 획득한 스켈레톤 구조 영상을 공통 좌표계에 표현할 필요가 있으며, 공통 좌표 변환부(202)가 이러한 좌표 변환 기능을 수행하는 것이다.

공통 좌표 변환부(202)에서 수행되는 공통 좌표 변환은 다음의 수학식 1과 같이 표현될 수 있다.

위 수학식 1에서,

는 공통 좌표계로 변환된 좌표값이고,

은 각 키넥트 센서의 좌표계에 표현된 좌표값이다. 한편, R은 회전 매트릭스이며, 일례로 3 X 3의 디멘션을 가지는 매트릭스일 수 있다. T는 변형(Translation) 매트릭스이며, 일례로 3 X 1의 디멘션을 가지는 매트릭스일 수 있다.

각 키넥트 센서별로 공통 좌표계로의 변환을 위한 회전 매트릭스 T와 변형 매트릭스 T를 획득하며, R 및 T는 소정의 보정(Calibration) 작업에 의해 획득할 수 있을 것이다.

본 발명의 일 실시예에 따르면, 체크 보드를 이용하여 회전 매트릭스 R과 변형 매트릭스 T를 연산하는 보정 작업이 수행될 수 있다. 체크 보드를 이용한 보정은 기존의 키넥트 센서에서도 사용되던 방법으로 RGB 카메라를 이용하게 된다.

체크 보드에는 두 종류의 색상을 가진 정사각형이 배열될 수 있으며, 체크 보드에서 각 정사각형의 꼭지점에 해당되는 공통 좌표계에서의 좌표값과 키넥트 센서의 좌표값을 이용하여 R 및 T를 키넥트 센서별로 연산할 수 있을 것이다.

본 발명의 다른 실시에에 따르면, 적외선 마커를 이용하여 보정 작업이 이루어질 수도 있을 것이다. 본 발명의 구현을 위해 키넥트 센서에서 획득하는 스켈레톤 구조 영상은 키넥트 센서의 적외선 카메라의 좌표계를 기준으로 출력된다.

그런데, 가장 일반적인 체크 보드를 이용한 보정 작업은 키넥트 센서의 RGB 카메라 좌표계를 이용하여 이루어진다. 물론, RGB 카메라와 적외선 카메라는 서로 인접한 곳에 위치하기 때문에 RGB 카메라와 적외선 카메라의 위치는 유사하며, RGB 카메라 좌표계를 근사화하여 적외선 카메라의 좌표계로 사용할 수도 있을 것이다. 보자 정확한 좌표계로 변환하려면, IR 카메라를 이용하여 보정 작업을 수행하는 것이 바람직하며, 기존의 체크 보드는 적외선 영상에서 정확히 식별되지 않는 문제가 있기 때문에 적외선 마커를 이용한 패턴을 사용하을 보정 작업을 수행할 수도 있을 것이다. 본 발명의 일 실시예에 따르면, 적외선 마커를 미리 설정된 간격으로 배치하고 배치된 적외선 마커를 적외선 카메라를 이용하여 감지하여 보정 작업을 수행할 수 있을 것이다.

유효 키넥트 센서 선택부(204)는 감지 대상 사용자를 둘러싸도록 배치되는 다수의 키넥트 센서들(100, 102, 104, 106, 108, 110) 중 사용자의 자체 추정에 사용할 키넥트 센서를 선택하는 기능을 한다. 키넥트 센서는 사용자가 해당 키넥트 센서를 정면으로 보고 있다는 것을 전제로 하여 사용자의 스켈레톤 구조 영상을 생성한다. 그런데, 도 1에 도시된 바와 같이, 다수의 키넥트 센서들 중 일부는 사용자의 정면을 촬영하나, 일부의 키넥트 센서들은 사용자의 후면을 촬영하는 위치에 배치된다.

유효 키넥트 센서 선택부(204)는 다수의 키넥트 센서들 중 사용자의 정면을 촬영하는 키넥트 센서만을 선택하며, 사용자의 후면을 촬영하는 키넥트 센서는 선택에서 배제시킨다. 배제된 키넥트 센서에서 획득한 스켈레톤 구조 영상은 향후 이루어지는 스켈레톤 구조 영상의 합성에 이용되지 않는다. 이는 배제된 키넥트 센서에서 획득한 스켈레톤 구조 영상은 사용자의 후면을 촬영하여 생성한 스켈레톤 구조 영상이기에 반전된 스켈레톤 구조여서 그 정확도를 신뢰할 수 없기 때문이다.

도 4는 본 발명의 일 실시에에 따라 유효 키넥트 센서를 선별하는 일례를 도시한 도면이다.

도 4에 도시된 바와 같이, 사용자가 12시 방향을 바라보고 있는 경우, 도 4에서 상부에 위치하는 키넥트 센서들(100, 102, 104)은 사용자의 정면을 포착하는 키넥트 센서이나, 하부에 위치하는 키넥트 센서들(106, 108, 110)은 사용자의 후면을 포착하는 키넥트 센서이다. 따라서, 하부에 위치하는 키넥트 센서들(106, 108, 110)은 유효 키넥트 센서 선택부(204)에 의해 선택되지 않는다.

유효 키넥트 센서 선택부(204)는 다양한 방식으로 사용자의 정면을 촬영하는 키넥트 센서를 선택할 수 있을 것이다. 본 발명의 바람직한 실시예에 따르면, 전방 벡터를 트래킹하여 각 키넥트 센서가 사용자의 정면을 포착하는지 여부를 판단하여 유효한 키넥트 센서를 선택한다.

여기서, 전방 벡터는 사용자가 바라보는 방향에 대한 벡터를 의미한다. 도 3은 본 발명의 일 실시예에 따라 전방 벡터 트래킹을 이용하여 유효 키넥트를 선택하는 동작을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따르면, 전방 벡터는 키넥트 센서의 스켈레톤 구조 영상에서 왼쪽 어깨 및 오른쪽 어깨 부분을 이용하여 트래킹하며, 왼쪽 어깨와 오른쪽 어깨를 연결하는 선과 직교하는 벡터로 정의할 수 있다.

유효 키넥트 센서 선택부(204)는 현재 프레임에서의 전방 벡터 트래킹을 위해 이전 프레임에서 합성된 스켈레톤 구조 영상의 전방 벡터를 먼저 연산한다. 도 3에서, 이전 프레임에서 합성된 스켈레톤 구조 영상의 전방 벡터는 점선으로 표시되어 있다.

또한, 현재 프레임에서의 각 키넥트 센서의 스켈레톤 구조 영상으로부터 현재 프레임의 각 키넥트 센서별 전방 벡터를 연산한다. 도 3에서, 현재 프레임에서 각 키넥트 센서별 전방 벡터는 실선으로 표시되어 있다.

각 키넥터 센서가 사용자의 전방을 향하는지 여부는 이전 프레임에서 합성된 스켈레톤 구죠 영상의 전방 벡터와 현재 프레임에서 각 키넥트 센서별 전방 벡터와의 내적에 의해 판단한다.

이전 프레임의 전방 벡터와 현재 프레임에서 특정 키넥트 센서의 전방 벡터의 내적이 양수일 경우 해당 키넥트 센서는 사용자의 전방을 향하도록 배치되어 있다고 판단한다. 도 3의 (a)는 현재 프레임에서 키넥트 센서의 전방 벡터와 이전 프레임에서 합성된 스켈레톤 구조 영상의 전방 벡터의 내적이 양수인 경우를 도시한 것이다. 이 경우 해당 키넥트 센서는 유효 키넥트 센서 선택부(204)에 의해 선택된다.

한편, 도 3의 (b)는 현재 프레임에서 키넥트 센서의 전방 벡터와 이전 프레임에서 합성된 스켈레톤 구조 영상의 전방 벡터의 내적이 음수인 경우를 도시한 것이다. 이 경우 해당 키넥트 센서는 유효 키넥트 센서 선택부(204)에 의해 선택되지 않는다.

유효 키넥트 센서 선택부(204)에 의해 키넥트 센서 선택이 이루어지면, 가중치 설정부(206)는 각 선택된 키넥트 센서들의 관절별로 가중치를 설정한다. 본 발명의 바람직한 실시예에 따르면, 가중치는 두 개의 정보를 고려하여 설정된다. 제1 정보는 키넥트 센서의 트랙 상태에 대한 정보이며, 이를 이용하여 제1 가중치가 각 키넥트 센서의 관절별로 설정된다. 제2 정보는 카메라 방향에 대한 정보이며, 이를 이용하여 제2 가중치가 설정된다. 최종 가중치는 제1 가중치 및 제2 가중치의 곱에 의해 결정된다.

구체적으로, 제1 정보는 키넥트 센서는 스켈레톤 구조 영상 생성 시 각 관절별 상태 정보를 제공한다. 이때, 관절 상태는 트랙 완료(tracked), 추정(Inferred), 트랙 실패(Not-tracked)의 3가지 상태로 구분된다. 트랙 완료의 경우 1의 가중치가 부여되고, 추정의 경우 1 미만의 미리 설정된 가중치가 부여되며, 트랙 실패에는 0의 가중치가 부여된다.

키넥트 센서 방향에 기초한 제2 가중치는 구체적으로 왼쪽 및 오른쪽 영역의 관절 중 특정 영역이 관절역을 촬영하기에 키넥트 센서 방향이 적절한지 여부에 대한 가중치이다. 여기서 두 개 영역의 관절은 왼쪽 영역 관절과 오른쪽 영역 관절이다. 예를 들어, 왼쪽 어깨 관절, 왼쪽 손목 관절이 왼쪽 영역 관절에 포함된다. 오른쪽 어깨 관절 및 오른쪽 손목 관절은 오른쪽 영역 관절에 포함된다. 한편, 턱관절 등과 같이 사람의 정면에 위치하는 관절은 왼쪽 영역 관절 오른쪽 영역 관절 어디에도 해당되지 않는다. 스켈레톤 구조 영상으로부터 획득되는 다수의 관절들 중 왼쪽 영역 관절과 오른쪽 영역 관절은 미리 설정된다.

왼쪽 영역 관절을 촬영하기에 적절하지 여부 및 오른쪽 영역 관절을 촬영하기에 적절한지 여부는 카메라의 방향에 기초하여 결정된다. 특정 키넥트 센서가 미리 설정된 왼쪽 영역 내에 위치하지 않을 경우 해당 키넥트 센서는 왼쪽 영역 관절을 촬영하기에 적절하지 않은 것으로 판단되며, 특정 키넥트 센서가 미리 설정된 오른쪽 영역 내에 위치하지 않을 경우 해당 키넥트 센서는 오른쪽 영역 관절을 촬영하기에 적절하지 않은 것으로 판단된다.

,오른쪽 영역과 왼쪽 영역은 전방 벡터를 기준으로 구분된다. 전방 벡터는 현재 프레임 또는 이전 프레임에 기반하여 결정될 수 있으며, 전방 벡터를 기준으로 제1 각도 영역을 왼쪽 영역으로 정의하고, 제2 각도 영역을 오른쪽 영역으로 정의한다. 이때, 왼쪽 영역과 오른쪽 영역은 오버랩되는 영역이 있도록 설정될 수 있다.

본 발명의 일 실시예에 따르면, 전방 벡터를 0도로 할 때 왼쪽 영역은 90도 내지 +30도 영역을 왼쪽 영역으로 정의할 수 있으며, 오른쪽 영역은 30도 내지 +90도 영역을 오른쪽 영역으로 정의할 수 있다.

제2 가중치 설정을 위해 사용자 중심으로부터 특정 키넥트 센서의 방향이 왼쪽 영역 내에 포함되지 않을 경우 해당 키넥트 센서가 포착한 스켈레톤 구조 영상의 관절들 중 미리 설정된 왼쪽 영역 관절들에 대해 1 미만의 미리 설정된 제2 가중치를 부여한다. 동일한 방법으로, 사용자 중심으로부터 특정 키넥트 센서의 방향이 오른쪽 영역 내에 포함되지 않을 경우 해당 키넥트 센서가 포착한 스켈레톤 구조 영상의 관절들 중 미리 설정된 오른쪽 영역 관절들에 대해 1 미만의 미리 설정된 제2 가중치를 부여한다.

도 5는 본 발명의 일 실시예에 따른 카메라 방향에 기초하여 가중치를 설정하는 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 전방 벡터(500)는 0도로 설정하고, 사용자의 중심으로부터 왼쪽 어깨 방향은 90도이고 오른쪽 어깨 방향은 +90도이다.

도 5에서, 제1 내지 제3 키넥트 센서(100, 102, 104)는 사용자의 전방을 촬영하므로 유효 키넥트 센서 선택부(204)에 의해 선택된 키넥트 센서이고, 제4 내지 제6 키넥트 센서(106, 108, 110)는 사용자의 후방을 촬영하므로 유효 키넥트 센서 선택부(204)에 의해 선택되지 않은 키넥트 센서이다.

왼쪽 영역인 -90도 내지 30도 영역과 관련하여, 제1 키넥트 센서(100) 및 제2 키넥트 센서(102)는 사용자의 중심으로부터 각 키넥트 센서까지의 각도가 왼쪽 영역 내에 있다. 제1 키넥트 센서(100) 및 제2 키넥트 센서에 대해 제2 가중치로 1이 설정된다. 그러나, 사용자의 중심으로부터 제3 키넥트 센서(104)까지의 각도는 왼쪽 영역 내에 있지 않으며, 제3 키넥트 센서(104)에 의해 획득되는 왼쪽 영역 관절들에 대해서는 1 미만의 미리 설정된 가중치가 적용된다. 물론, 제3 키넥트 센서(104)에 의해 획득되는 오른쪽 영역 관절들에 대해서는 1의 가중치가 적용된다.

제1 가중치 및 제2 가중치가 곱해진 형태로 각 키넥트 센서의 관절별 가중치가 최종적으로 정해진다.

스켈레톤 합성부(208)는 가중치 설정부에 의해 설정된 가중치를 적용하여 유효 키넥트 센서 선택부(204)에 의해 선택된 각 키넥트 센서의 스켈레톤 구조 영상을 합성한다. 각 키넥트 센서의 관절별로 가중치가 설정되므로, 일반적인 가중치 평균 방식이 영상 합성에 사용될 수 있을 것이다.

다음의 수학식 2는 스켈레톤 합성부(208)에서 이루어지는 각 관절에 대한 스켈레톤 구조 영상 합성(

)을 나타낸 식이다.

위 수학식에서 P는 스켈레톤 구조 영상의 3차원 좌표를 의미하고, n은 키넥트 센서를 나타내는 인덱스이고, i는 관절을 나타내는 인텍스이다.

한편, 가중치

는 다음의 수학식 3과 같이 정의될 수 있다.

위 수학식 3에서,

는 키넥트 센서의 추적 상태에 따른 제1 가중치를 의미하고,

는 키넥트 센서의 방향에 따른 제2 가중치를 의미한다.

후처리부(210)는 합성된 스켈레톤 구조 영상에 대한 후처리를 수행한다. 합성된 스켈레톤에서 각 관절의 길이는 실제 사용자의 관절의 길이와 조금 다르게 나타날 수 있다. 후처리부(210)는 이러한 차이를 보정하기 위해 각 관절별로 미리 설정된 보정 계수를 곱하는 방식으로 후처리를 수행한다.

자세 추정부(212)는 합성 및 후처리가 완료된 스켈레톤 구조 영상에 기초하여 사용자의 자세를 추정한다. 스켈레톤 구조 영상에 기초한 자세 추정은 일반적인 기술이므로 이에 대한 상세한 설명은 생략한다.

도 6은 본 발명의 일 실시예에 따른 사용자 자세 추정 방법의 전체적인 흐름을 도시한 순서도이다.

도 6을 참조하면, 우선 대상 사용자를 둘러싸도록 배치된 복수의 키넥트 센서는 독립적으로 사용자의 스켈레톤 구조 영상을 획득한다(단계 600).

각 키넥트 센서는 획득한 스켈레톤 구조 영상을 공통 좌표계의 좌표로 변환한다(단계 602). 공통 좌표계로의 변환을 위한 회전 매트릭스 R 및 변형 매트릭스 T는 미리 설정된 보정(Calibration) 작업에 의해 각 키넥트 센서별로 미리 설정된다.

복수의 키넥트 센서들 중 사용자의 전방을 촬영하는 키넥트 센서가 유효 키넥트 센서로 선택된다(단계 604). 스켈레톤 구조 영상의 합성에는 유효하게 선택된 키넥트 센서의 스켈레톤 구조 영상만이 사용된다.

유효 키넥트 센서가 선택되면, 각 키넥트 센서의 관절별로 스켈레톤 구조 영상에 적용될 가중치가 설정된다(단계 606).

가중치는 키넥트 센서의 트랙 상태에 따른 제1 가중치와 키넥트 센서와 사요용자와의 방향에 따른 제2 가중치로 구분되며, 제1 가중치와 제2 가중치의 곱에 의해 최종 가중치가 설정된다.

가중치 설정이 완료되면, 가중치를 적용하여 유효 키넥트 센서들에서 획득한 스켈레톤 구조 영상을 합성한다(단계 608).

스켈레톤 구조 영상이 합성되면, 합성된 영상에서 각 관절의 길이를 보정하는 후처리가 수행되며(단계 610), 후처리가 완료되면 후처리된 스켈레톤 구조 영상에 기초하여 사용자의 자세를 추정한다(단계 612).

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims

복수의 키넥트 센서들이 사용자를 둘러싸도록 배치되며 상기 복수의 키넥트 센서들이 독립적으로 상기 사용자의 스켈레톤 구조 영상을 획득하는 키넥트 센서부;
상기 복수의 키넥트 센서에서 획득한 상기 사용자의 스켈레톤 구조 영상을 공통 좌표계로 변환하는 공통 좌표계 변환부;
상기 복수의 키넥트 센서들 중 사용자의 전방을 촬영하는 키넥트 센서들을 선택하는 유효 키넥트 센서 선택부;
상기 선택된 유효 키넥트 센서들에 대해 각 유효 키넥트 센서들의 스켈레톤 구조 영상의 관절별로 가중치를 설정하는 가중치 설정부; 및
상기 설정된 가중치에 기초하여 상기 선택된 유효 키넥트 센서들의 스켈레톤 구조 영상을 합성하는 스켈레톤 합성부를 포함하되,
상기 가중치는 상기 유효 키넥트 센서들의 트랙 상태 정보에 기초하는 제1 가중치 및 상기 사용자로부터 상기 유효 키넥트 센서들로의 방향에 기초한 제2 가중치를 포함하는 것을 특징으로 하는 사용자 자세 추정 장치.
제1항에 있어서,
상기 유효 키넥트 센서 선택부는 상기 키넥트 센서들에 의해 포착되는 스켈레톤 구조 영상에서 상기 사용자의 왼쪽 어깨 및 오른쪽 어개를 연결하는 라인과 직교하는 전방 벡터를 이용하는 것을 특징으로 하는 사용자 자세 추정 장치.
제2항에 있어서,
상기 유효 키넥트 센서 선택부는 이전 프레임의 전방 벡터와 현재 프레임에서 각 키넥트 센서별 전방 벡터의 내적을 통해 상기 사용자의 전방을 촬영하는지 여부를 판단하는 것을 특징으로 하는 사용자 자세 추정 장치.
제3항에 있어서,
상기 제1 가중치는 각 유효 키넥트 센서의 스켈레톤 구조 영상의 관절에 대한 상태 정보에 기초하여 관절별로 설정되는 것을 특징으로 하는 사용자 자세 추정 장치.
제1항에 있어서,
상기 가중치 설정부는 상기 각 유효 키넥트 센서들의 스켈레톤 구조 영상에서 상기 사용자의 전방 벡터를 기준으로 왼쪽 영역 및 오른쪽 영역을 정의하고, 상기 사용자로부터 상기 유효 키넥트 센서들 중 특정 키넥트 센서로의 방향이 상기 왼쪽 영역 내에 있지 않을 경우, 해당 키넥트 센서에 의해 포착되는 스켈레톤 구조 영상의 관절들 중 미리 설정된 왼쪽 영역 관절들에 대해 1 미만의 미리 설정된 제2 가중치를 적용하며, 상기 사용자로부터 상기 유효 키넥트 센서들 중 특정 키넥트 센서로의 방향이 상기 오른쪽 영역 내에 있지 않을 경우 해당 키넥트 센서에 의해 포착되는 스켈레톤 구조 영상의 관절들 중 미리 설정된 왼른쪽 영역 관절들에 대해 1 미만의 미리 설정된 제2 가중치를 적용하는 것을 특징으로 하는 사용자 자세 추정 장치.
제1항에 있어서,
상기 스켈레톤 합성부는 상기 제1 가중치 및 상기 제2 가중치의 곱에 상응하는 가중치를 각 관절별로 적용하여 가중치 평균에 의해 스켈레톤 구조 영상을 합성하는 것을 특징으로 하는 사용자 자세 추정 장치.
제1항에 있어서,
상기 스켈레톤 합성부에 의해 합성되는 스켈레톤 구조 영상에 기초하여 상기 사용자의 자세를 추정하는 자세 추정부를 더 포함하는 것을 특징으로 하는 사용자 자세 추정 장치.
삭제
복수의 키넥트 센서들이 사용자를 둘러싸도록 배치되는 환경에서 사용자의 자세를 추정하는 방법으로서,
상기 복수의 키넥트 센서들이 독립적으로 상기 사용자의 스켈레톤 구조 영상을 획득하는 단계(a);
상기 복수의 키넥트 센서에서 획득한 상기 사용자의 스켈레톤 구조 영상을 공통 좌표계로 변환하는 단계(b);
상기 복수의 키넥트 센서들 중 사용자의 전방을 촬영하는 유효 키넥트 센서들을 선택하는 단계(c);
상기 선택된 유효 키넥트 센서들에 대해 각 유효 키넥트 센서들의 스켈레톤 구조 영상의 관절별로 가중치를 설정하는 단계(d); 및
상기 설정된 가중치에 기초하여 상기 선택된 유효 키넥트 센서들의 스켈레톤 구조 영상을 합성하는 단계(e)를 포함하되,
상기 가중치는 상기 유효 키넥트 센서들의 트랙 상태 정보에 기초하는 제1 가중치 및 상기 사용자로부터 상기 유효 키넥트 센서들로의 방향에 기초한 제2 가중치를 포함하는 것을 특징으로 하는 사용자 자세 추정 방법.
제9항에 있어서,
상기 단계(c)는 상기 키넥트 센서들에 의해 포착되는 스켈레톤 구조 영상에서 상기 사용자의 왼쪽 어깨 및 오른쪽 어개를 연결하는 라인과 직교하는 전방 벡터를 이용하는 것을 특징으로 하는 사용자 자세 추정 방법.
제10항에 있어서,
상기 단계(c)는 이전 프레임의 전방 벡터와 현재 프레임에서 각 키넥트 센서별 전방 벡터의 내적을 통해 상기 사용자의 전방을 촬영하는지 여부를 판단하는 것을 특징으로 하는 사용자 자세 추정 방법.
제11항에 있어서,
상기 제1 가중치는 각 유효 키넥트 센서의 스켈레톤 구조 영상의 관절에 대한 상태 정보에 기초하여 관절별로 설정되는 것을 특징으로 하는 사용자 자세 추정 방법.
제9항에 있어서,
상기 단계(d)는, 상기 각 유효 키넥트 센서들의 스켈레톤 구조 영상에서 상기 사용자의 전방 벡터를 기준으로 왼쪽 영역 및 오른쪽 영역을 정의하고, 상기 사용자로부터 상기 유효 키넥트 센서들 중 특정 키넥트 센서로의 방향이 상기 왼쪽 영역 내에 있지 않을 경우, 해당 키넥트 센서에 의해 포착되는 스켈레톤 구조 영상의 관절들 중 미리 설정된 왼쪽 영역 관절들에 대해 1 미만의 미리 설정된 제2 가중치를 적용하며, 상기 사용자로부터 상기 유효 키넥트 센서들 중 특정 키넥트 센서로의 방향이 상기 오른쪽 영역 내에 있지 않을 경우 해당 키넥트 센서에 의해 포착되는 스켈레톤 구조 영상의 관절들 중 미리 설정된 왼른쪽 영역 관절들에 대해 1 미만의 미리 설정된 제2 가중치를 적용하는 것을 특징으로 하는 사용자 자세 추정 방법.
제9항에 있어서,
상기 단계(e)는 상기 제1 가중치 및 상기 제2 가중치의 곱에 상응하는 가중치를 각 관절별로 적용하여 가중치 평균에 의해 스켈레톤 구조 영상을 합성하는 것을 특징으로 하는 사용자 자세 추정 방법.
제9항에 있어서,
상기 단계(e)에 의해 합성되는 스켈레톤 구조 영상에 기초하여 상기 사용자의 자세를 추정하는 단계를 더 포함하는 것을 특징으로 하는 사용자 자세 추정 방법.