KR101394274B1

KR101394274B1 - 뎁스 정보 분석을 통한 신체 검출 방법 및 사용자 신체 검출을 위한 뎁스 정보 분석 장치

Info

Publication number: KR101394274B1
Application number: KR1020130145606A
Authority: KR
Inventors: 박현진; 윤형식
Original assignee: (주) 골프존
Priority date: 2013-11-27
Filing date: 2013-11-27
Publication date: 2014-05-13
Also published as: WO2015080498A1

Abstract

본 발명은 뎁스 영상을 이용하여 사용자의 신체 부위를 검출함에 있어 사전 학습이 필요하다거나 미리 정의된 신체 형태가 사용되어야 한다거나 특정 데이터가 온전하게 찾아져야만 정상적인 신체 모델링이 가능하다는 등의 제한 조건이 필요하지 않으며, 사용자의 개인 특성에 따라 뎁스 영상상에서 사용자가 예측 불가능한 임의의 형상으로 나타나는 경우나 여러 신체 부위가 온전하게 드러나지 않는 자세의 경우는 물론, 골프 스윙 모션과 같이 빠른 움직임에도 사용자의 머리, 하체, 몸통, 팔 등의 신체 부위의 검출이 정확하게 이루어질 수 있도록 하는 뎁스 정보 분석을 통한 신체 검출 방법 및 사용자 신체 검출을 위한 뎁스 정보 분석 장치를 제공하기 위한 것이다.

Description

뎁스 정보 분석을 통한 신체 검출 방법 및 사용자 신체 검출을 위한 뎁스 정보 분석 장치{METHOD FOR HUMAN BODY DETECTION BY ANALYSIS OF DEPTH INFORMATION AND APPARATUS FOR ANALYZING DEPTH INFORMATION FOR HUMAN BODY DETECTION}

본 발명은 뎁스 카메라(Depth Camera)를 이용하여 사용자의 신체에 대해 취득된 뎁스 영상으로부터 사용자의 머리, 몸통, 하체 등의 특정 신체 부위를 검출하는 방법 및 이를 위한 뎁스 정보 분석 장치에 관한 것이다.

사람의 동작을 분석하기 위한 기술은 다양한 분야에서 다양한 기술로 구현되고 있는데, 예컨대 사람의 동작에 기반한 애니메이션의 제작, 모션 인식 게임기는 물론 골프 스윙 자세의 분석과 같은 스포츠 동작 분석 등의 분야에서 이용되고 있으며, 대표적인 것이 관성센서를 이용한 기술, 반사 마커를 이용한 기술, 영상 분석 기술 등이다.

관성센서를 이용한 기술이나 반사 마커를 이용한 기술은 정확한 사용자 동작의 감지가 가능하다는 장점이 있지만 사용자의 동작을 분석하기 위해 사람의 신체에 여러 개의 센서나 마커를 부착하여야 한다는 치명적인 단점 때문에 사용자 동작의 분석을 위한 목적에 비추어 사용자의 신체에 센서나 마커를 부착하는 것에 대한 불편함이 문제가 되지 않는 매우 제한적인 경우에만 이용된다.

상기 영상 분석에 의한 사용자 동작 분석 기술의 경우 2차원 영상을 취득하는 영상 카메라를 이용한 영상 분석은 3차원 공간상에서의 사용자의 동작에 대한 분석에 한계가 있고, 여러 대의 영상 카메라를 스테레오 방식(Stereoscopic vision system)으로 연결하여 각 카메라가 얻은 2차원 영상을 기초로 3차원 정보를 추출하는 방식이 많이 사용되는데 여러 대의 카메라를 사용하므로 사용자 신체에 센서를 부착하는 것만큼이나 불편하고 잡음이나 조도의 변화에 민감하여 불안정한 결과를 보인다는 단점이 있다.

이러한 영상 카메라 기반의 시스템의 단점을 극복하기 위해 뎁스 카메라(Depth Camera)를 이용한 신체 부위 검출 방법에 대한 기술이 활발하게 개발되고 있는 실정인데, 뎁스 카메라는 화소(pixel)가 나타나는 위치까지의 거리 정보 즉, x,y,z축의 3차원 정보를 포함한 영상을 출력하는 기기이다. 이는 영상 카메라의 색상이나 조도 정보 등과는 달리 영상에서 물체의 구조에 대한 직관적인 정보를 제공해주며, 조도의 변화에 민감하지 않은 안정적인 데이터를 출력한다.

뎁스 카메라를 이용한 뎁스 영상의 분석을 통해 사용자의 신체 부위를 검출함으로써 사용자의 동작을 분석하는 기술과 관련한 선행특허문헌으로서 한국등록특허 제10-1227569호(한국과학기술연구원), 미국등록특허 제8,374,423호(마이크로소프트), 미국등록특허 제8,325,984호(마이크로소프트) 등 많은 문헌들이 공개되어 있다.

이들 선행기술들은 뎁스 영상의 각 픽셀별 특징을 구분하는 분류기를 통해 신체 부위를 판별하고 위치 정보를 추적하는 기술에 관한 것이거나(여기서 분류기는 사전 학습을 통해서 픽셀들의 특징을 구분하고 신체 부위를 판별하는 능력을 가짐), 뎁스 정보로부터 취득한 복셀 그리드(Grid of Voxels)를 분석하여 신체의 끝 부분을 검출하고 검출된 끝 부분을 기본 데이터로 이용하여 스켈레톤(Skeleton) 형상을 모델링하고 머리, 손, 발 등 신체 위치를 추정하는 기술에 관한 것이다.

그러나, 상기한 바와 같은 분류기를 사용하여 신체 부위를 판별하는 기술은 인식하고자 하는 대상에 대한 학습과정이 별도로 필요하고, 학습된 특정 사용자의 체형과 동작 특성에 의존적이므로 임의의 사용자 및 임의의 동작에 대한 인식에 한계가 있다.

또한, 검출된 신체 끝 부분을 이용하여 스켈레톤 형상을 모델링하는 기술은 성공적인 모델링에 필요한 데이터 취득이 곤란한 특정 자세 및 동작에 대해서 모델링이 곤란한 경우가 많다.

즉, 스켈레톤 형상의 모델링을 통한 모션 트래킹 기술의 경우 적당한 운동 속도범위 내에서 구분하고자 하는 자세의 변별력이 큰 동작들을 구분하는 동작 인식에는 유용하지만, 빠르고 자세 변화가 큰 스포츠 동작, 예컨대 골프 스윙 모션 등의 경우에는 뎁스 영상이 놓치는 데이터가 많으므로 온전한 신체 끝 부분 검출이 곤란하여 해당 기술을 적용하기에 부적절하다.

상기한 종래의 기술은 동작하는 사용자의 헤어 스타일이나 체형, 복장 등의 개인 특성을 고려하여 어떤 임의의 경우에도 정확하게 사용자의 신체 검출을 하는 것에 한계가 있으며, 골프 스윙 모션과 같은 빠르고 역동적인 동작에 대해서는 정확한 신체 검출이 불가능하다는 문제점이 있다.

본 발명의 일 실시예에 따른 뎁스 영상 분석을 통한 신체 검출 방법은, 획득된 뎁스 영상으로부터 사용자 부분을 추출하는 단계; 상기 추출된 사용자 부분의 상단으로부터 관심 영역을 설정함으로써 사용자의 머리 영역을 검출하는 단계; 상기 추출된 사용자 부분의 하단 위치와 상기 사용자 부분의 무게중심 위치에 따라 설정되는 영역에서 사용자의 하체 영역을 검출하는 단계; 상기 검출된 머리 영역의 하단으로부터 상기 무게중심까지의 영역에서 사용자의 몸통 영역을 검출하는 단계; 및 상기 사용자 부분에서 상기 검출된 머리 영역, 하체 영역 및 몸통 영역을 제거하고 남은 데이터들을 사용자의 팔 영역으로서 검출하는 단계를 포함한다.

또한 바람직하게는, 상기 머리 영역을 검출하는 단계는, 상기 설정된 관심 영역 내의 데이터들의 뎁스 정보로부터 가장 많이 분포하는 뎁스 정보를 갖는 데이터를 기준으로 미리 설정된 범위 내의 데이터들을 유효 머리 데이터로서 추출하는 단계와, 상기 유효 머리 데이터로부터 머리 중심 위치 및 머리 반지름을 산출함으로써 사용자의 머리 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 머리 영역을 검출하는 단계는, 상기 관심 영역 내의 데이터들의 뎁스 정보를 이용하여 머리 관찰 데이터를 추출하는 단계와, 상기 머리 관찰 데이터에 대해 이전에 추출된 머리 중심 위치에 가까울수록 높은 값을 갖도록 가중치를 적용하여 새로운 머리 중심 위치를 산출하는 단계와, 상기 새로운 머리 중심 위치를 기준으로 상기 관심 영역, 머리 관찰 데이터 및 가중치를 갱신함으로써 머리 중심 위치를 보정하는 단계와, 상기 보정된 머리 중심 위치를 중심으로 하는 사용자의 머리 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 하체 영역을 검출하는 단계는, 상기 추출된 사용자 부분의 데이터들의 뎁스 방향 성분을 포함한 2차원 평면상에서 사용자 부분의 하단과 무게중심 사이의 데이터로부터 미리 설정된 영역 내의 하체 모델링 데이터를 추출하는 단계와, 상기 하체 모델링 데이터에 대해 미리 설정된 배수만큼 확장된 영역 내에 존재하는 데이터들 중 통계적 분석을 통해 유효 하체 데이터를 추출하는 단계와, 상기 하체 모델링 데이터 및 상기 유효 하체 데이터를 사용자의 하체 영역으로서 검출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 몸통 영역을 검출하는 단계는, 상기 검출된 머리 영역의 하단으로부터 사용자의 몸통 검출을 위한 상단중심점을 추출하고 상기 무게중심을 하단중심점으로 하여, 상기 상단중심점과 하단중심점을 연결하는 몸통 중심선을 추출하는 단계와, 상기 하단중심점 주변의 미리 설정됨 범위 내의 데이터로부터 몸통 반지름을 산출하고 상기 몸통 중심선을 중심으로 상기 몸통 반지름의 범위 내의 데이터들을 추출함으로써 사용자의 몸통 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 다른 일 실시예에 따른 뎁스 영상 분석을 통한 신체 검출 방법은, 획득된 뎁스 영상으로부터 사용자 부분을 추출하는 단계; 상기 추출된 사용자 부분의 상단으로부터 미리 설정된 크기의 관심 영역을 설정하고 상기 설정된 관심 영역 내의 데이터를 추출하는 단계; 상기 추출된 관심 영역 내의 데이터들 중 가장 많이 분포하는 뎁스값을 기준으로 미리 설정된 범위 내의 데이터들을 유효 머리 데이터로서 추출하는 단계; 및 상기 유효 머리 데이터로부터 머리 중심 위치 및 머리 반지름을 산출함으로써 사용자의 머리 영역을 검출하는 단계를 포함한다.

또한 바람직하게는, 상기 유효 머리 데이터로서 추출하는 단계는, 상기 관심 영역 내의 데이터들 중 상기 뎁스 영상 취득부에 가장 가까운 뎁스값을 추출하는 단계와, 상기 가장 가까운 뎁스값으로부터 미리 설정된 범위 내의 데이터들 중 가장 많이 분포하는 뎁스값을 주요뎁스값으로서 결정하는 단계와, 상기 주요뎁스값을 기준으로 미리 설정된 범위 내의 데이터들을 유효 머리 데이터로서 추출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 머리 중심 위치 및 머리 반지름을 산출하는 단계는, 상기 유효 머리 데이터들의 3차원 위치 정보에 대한 평균위치 정보를 상기 머리 중심 위치로서 산출하는 단계와, 상기 유효 머리 데이터의 개수를 원의 면적으로 하여 계산된 반지름을 상기 머리 반지름으로서 산출하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 또 다른 일 실시예에 따른 뎁스 영상 분석을 통한 신체 검출 방법은, 획득된 뎁스 영상으로부터 사용자 부분을 추출하는 단계; 이전의 사용자 머리 영역 검출 과정에서 추출된 머리 중심 위치를 기준으로 미리 설정된 크기의 대상 영역을 설정하는 단계; 상기 대상 영역 내의 데이터들의 뎁스 정보를 이용하여 사용자의 머리 영역 검출을 위한 머리 관찰 데이터를 추출하는 단계; 상기 머리 관찰 데이터에 대해 상기 이전 머리 중심 위치에 가까울수록 높은 값을 갖도록 가중치를 적용하여 중심 좌표 위치를 추출하는 단계; 및 상기 중심 좌표 위치를 이용하여 머리 중심 위치를 추출함으로써 사용자의 머리 영역을 검출하는 단계를 포함한다.

또한 바람직하게는, 상기 머리 관찰 데이터를 추출하는 단계는, 상기 대상 영역 내에서, 상기 이전 머리 중심 위치를 기준으로 미리 설정된 뎁스 범위 내의 데이터들의 총 개수가 이전에 산출된 머리 반지름에 따른 원의 면적보다 더 크게 될 때까지 상기 뎁스 범위를 미리 설정된 단위씩 증가시키는 단계와, 상기 미리 설정된 단위씩 증가되는 뎁스 범위 내의 데이터들의 총 개수가 상기 머리 반지름에 따른 원의 면적보다 더 크게 될 때의 뎁스 범위를 관찰 뎁스 범위라 하고, 상기 관찰 뎁스 범위 내의 데이터들을 상기 머리 관찰 데이터로서 추출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 가중치를 적용하여 중심 좌표 위치를 추출하는 단계는, 상기 이전 머리 중심 위치의 좌표 정보와 상기 머리 관찰 데이터의 각 데이터들의 좌표 정보를 이용하여 상기 이전 머리 중심 위치에 가까울수록 더 큰 값을 갖도록 하는 가중치 정보를 산출하는 단계와, 상기 산출된 가중치 정보를 상기 머리 관찰 데이터의 각 데이터들에 적용하는 단계와, 상기 가중치가 적용된 데이터들의 중심 위치를 상기 중심 좌표 위치로서 추출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 사용자의 머리 영역을 검출하는 단계는, 상기 중심 좌표 위치를 기준으로 상기 대상 영역, 머리 관찰 데이터 및 가중치를 갱신하여 상기 중심 좌표 위치를 보정함으로써, 상기 보정된 중심 좌표 위치를 머리 중심 위치로 하는 사용자의 머리 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 사용자의 머리 영역을 검출하는 단계는, 상기 중심 좌표 위치를 n-1차 중심 좌표 위치라 할 때, 상기 n-1차 중심 좌표 위치를 기준으로 상기 대상 영역을 갱신하여 n-1차 대상 영역을 설정하는 단계와, 상기 n-1차 대상 영역에 기초하여 상기 머리 관찰 데이터를 갱신하여 n-1차 머리 관찰 데이터를 추출하는 단계와, 상기 n-1차 머리 관찰 데이터에 기초하여 상기 가중치를 갱신하여 n-1차 가중치 정보를 산출하는 단계와, 상기 n-1차 머리 관찰 데이터에 상기 n-1차 가중치를 적용하고 상기 n-1차 가중치가 적용된 데이터들의 중심 위치를 n차 중심 좌표 위치로서 추출하는 단계와, 상기 과정들을 반복하여 m차 중심 좌표 위치를 추출하고, 상기 n차로부터 m차까지 중심 좌표 위치가 실질적으로 변화가 없는 경우에 상기 m차 중심 좌표 위치를 머리 중심 위치로서 결정하는 단계를 포함하는 것을 특징으로 한다(여기서 n과 m은 양수이며, 1 < n < m의 관계가 성립함).

한편, 본 발명의 또 다른 일 실시예에 따른 뎁스 영상 분석을 통한 신체 검출 방법은, 초기 프레임의 뎁스 영상을 획득하여 뎁스 영상상의 사용자 부분으로부터 머리 영역을 검출하여 초기 머리 영역의 머리 중심 위치 및 머리 반지름을 산출하는 단계; 및 후속 프레임의 뎁스 영상에 관하여, 상기 초기 머리 중심 위치를 중심으로 상기 초기 머리 중심 위치에 가까울수록 높은 값을 갖도록 하는 가중치를 적용한 데이터들의 중심 좌표 위치를 반복 추출하여 갱신하되, 갱신되는 중심 좌표 위치에 실질적으로 변화가 없게 되는 경우 해당 중심 좌표 위치를 머리 중심 위치로 하여 상기 머리 반지름에 해당하는 머리 영역을 상기 후속 프레임의 뎁스 영상상의 사용자 머리 영역으로서 검출하는 단계를 포함한다.

한편, 본 발명의 또 다른 일 실시예에 따른 뎁스 영상 분석을 통한 신체 검출 방법은, 사용자의 정면에 설치된 뎁스 영상 취득부에 의해 뎁스 영상을 획득하는 단계; 상기 획득된 뎁스 영상으로부터 사용자 부분을 추출하는 단계; 상기 추출된 사용자 부분의 데이터들의 뎁스 방향 성분을 포함한 2차원 평면상의 데이터로부터 미리 설정된 구간 내의 데이터들에 대한 위치 정보를 추출하는 단계; 및 상기 미리 설정된 구간 내의 데이터들에 대한 평균 및 공분산 정보를 이용한 통계적 분석을 통해 사용자의 하체 영역을 검출하는 단계를 포함한다.

또한 바람직하게는, 상기 2차원 평면상의 데이터로부터 미리 설정된 구간 내의 데이터들에 대한 위치 정보를 추출하는 단계는, 상기 추출된 사용자 부분의 무게중심을 추출하는 단계와, 수직 방향 성분인 y성분과 뎁스 방향 성분인 z성분에 의한 2차원 평면 상에서 상기 무게중심으로부터 상기 무게중심과 상기 사용자 부분의 하단의 평균 위치까지의 범위를 하체 모델링 구간으로서 설정하는 단계와, 상기 하체 모델링 구간 내의 데이터들을 사용자의 하체 영역에 포함되는 하체 모델링 데이터로서 추출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 통계적 분석을 통해 사용자의 하체 영역을 검출하는 단계는, 상기 하체 모델링 구간을 미리 설정된 배수만큼 확장한 구간인 하체 조사 구간을 설정하는 단계와, 상기 하체 모델링 데이터에 대한 평균 및 공분산 정보를 산출하는 단계와, 상기 평균 및 공분산을 기초로 상기 하체 모델링 데이터의 평균에 근접한 범위를 설정하여 상기 하체 조사 구간 내의 데이터들에 대해 상기 설정 범위에 해당하는 데이터들을 유효 하체 데이터로서 추출하는 단계와, 상기 하체 모델링 데이터 및 상기 유효 하체 데이터를 사용자의 하체 영역으로서 검출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 유효 하체 데이터로서 추출하는 단계는, 상기 하체 모델링 데이터에 대한 평균 및 공분산을 기초로 상기 하체 조사 구간 내의 데이터들의 마할라노비스 거리(Mahalanobis Distance) 정보를 산출하는 단계와, 상기 유효 하체 데이터에 포함되는 마할라노비스 거리값의 범위인 유효 거리값 범위를 설정하는 단계와, 상기 설정된 유효 거리값 범위 내의 데이터들을 상기 유효 하체 데이터로서 추출하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 또 다른 일 실시예에 따른 뎁스 영상 분석을 통한 신체 검출 방법은, 획득된 뎁스 영상으로부터 추출된 사용자 부분에서 사용자의 머리 영역을 검출하는 단계; 상기 추출된 사용자 부분의 무게중심을 산출하는 단계; 상기 검출된 머리 영역의 하단을 기준으로 그 아래의 미리 설정된 영역 내에서 사용자의 몸통 검출을 위한 상단중심점을 추출하고 상기 무게중심을 기준으로 그 아래의 미리 설정된 영역 내에서 사용자의 몸통 검출을 위한 하단중심점을 추출하여, 상기 상단중심점과 하단중심점을 연결하는 몸통 중심선을 추출하는 단계; 상기 하단중심점 주변의 미리 설정됨 영역 내의 데이터들로부터 몸통 반지름을 산출하는 단계; 및 상기 몸통 중심선을 중심으로 상기 몸통 반지름의 범위 내의 데이터들을 추출함으로써 사용자의 몸통 영역을 검출하는 단계를 포함한다.

또한 바람직하게는, 상기 상단중심점을 추출하는 단계는, 상기 검출된 머리 영역의 하단을 기준으로 미리 설정된 영역 내의 데이터들의 평균 위치를 산출하는 단계와, 상기 평균 위치를 기준으로 미리 설정된 영역을 설정하고 그 설정 영역 내에서 가장 많이 분포하는 뎁스 방향 성분의 값을 상기 상단중심점으로서 추출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 하단중심점을 추출하는 단계는, 상기 무게중심을 기준으로 미리 설정된 영역을 설정하고 그 설정 영역 내에서 가장 많이 분포하는 뎁스 방향 성분의 값을 상기 하단중심점으로서 추출하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 사용자 신체 검출을 위한 뎁스 정보 분석 장치는, 사용자의 동작에 대한 뎁스 영상을 취득하는 뎁스 영상 취득부; 및 상기 취득된 뎁스 영상으로부터 사용자 부분을 추출하며, 상기 추출된 사용자 부분의 상단으로부터 관심 영역을 설정함으로써 사용자의 머리 영역을 검출하는 머리 영역 검출 수단과, 상기 추출된 사용자 부분의 하단으로부터 상기 사용자 부분의 무게중심까지의 영역에서 사용자의 하체 영역을 검출하는 하체 영역 검출 수단과, 상기 검출된 머리 영역의 하단으로부터 상기 무게중심까지의 영역에서 사용자의 몸통 영역을 검출하는 몸통 영역 검출 수단과, 상기 사용자 부분에서 상기 검출된 머리 영역, 하체 영역 및 몸통 영역을 제거하고 남은 데이터들을 사용자의 팔 영역으로서 검출하는 팔 영역 검출 수단을 포함하는 뎁스 영상 분석부를 포함한다.

또한 바람직하게는, 상기 머리 영역 검출 수단은, 일 프레임의 뎁스 영상으로부터 추출된 사용자 부분의 상단으로부터 설정된 상기 관심 영역 내에서 유효 뎁스 범위를 결정하여 상기 유효 뎁스 범위 내의 유효 머리 데이터로부터 머리 중심 위치 및 머리 반지름을 산출함으로써 1차 사용자 머리 영역을 검출하는 제1 머리 검출 수단과, 다음 프레임의 뎁스 영상으로부터 추출된 사용자 부분에 대해 상기 검출된 1차 사용자 머리 영역에 가까울수록 더 높은 값의 가중치 정보를 적용하여 생성된 데이터들의 중심 좌표 위치를 추출하고, 상기 추출된 중심 좌표 위치를 기준으로 상기 가중치 정보를 갱신 적용함으로써 추출된 중심 좌표 위치를 머리 중심 위치로 하여 상기 머리 반지름을 적용한 2차 사용자 머리 영역을 검출하는 제2 머리 검출 수단을 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 하체 영역 검출 수단은, 수직 방향 성분인 y 성분과 뎁스 방향 성분인 z성분에 대한 y-z 평면상에서 상기 사용자 부분의 하단 위치와 상기 무게중심의 위치에 따라 설정되는 영역 내에 존재하는 데이터들의 평균 및 공분산으로부터 상기 평균에 가장 가까운 소정 범위 내의 데이터들의 집합을 추출함으로써 사용자의 하체 영역으로서 검출하도록 구성되는 것을 특징으로 한다.

본 발명에 따른 뎁스 정보 분석을 통한 신체 검출 방법 및 사용자 신체 검출을 위한 뎁스 정보 분석 장치는, 뎁스 영상을 이용하여 사용자의 신체 부위를 검출함에 있어 사전 학습이 필요하다거나 미리 정의된 신체 형태가 사용되어야 한다거나 특정 데이터가 온전하게 찾아져야만 정상적인 신체 모델링이 가능하다는 등의 제한 조건이 필요하지 않으며, 사용자의 개인 특성에 따라 뎁스 영상상에서 사용자가 예측 불가능한 임의의 형상으로 나타나는 경우나 여러 신체 부위가 온전하게 드러나지 않는 자세의 경우는 물론, 골프 스윙 모션과 같이 빠른 움직임에도 사용자의 머리, 하체, 몸통, 팔 등의 신체 부위의 검출이 정확하게 이루어질 수 있도록 하는 효과를 갖는다.

도 1은 본 발명의 일 실시예에 따른 사용자 신체 검출을 위한 뎁스 정보 분석 장치의 주요 구성을 간략하게 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 신체 검출 방법에 의해 뎁스 영상으로부터 사용자의 머리 영역을 검출하는 과정을 설명하기 위한 플로우차트이다.
도 3은 사용자에 대한 뎁스 영상의 일 예로서 사용자가 어드레스 자세를 취할 때의 뎁스 영상을 나타낸 것이다.
도 4는 도 3에 도시된 뎁스 영상에서 사용자 부분이 추출된 영상을 나타낸 것이다.
도 5는 머리 영역 검출을 위한 뎁스 범위를 결정하는 과정을 설명하기 위한 도면이다.
도 6은 도 4에 도시된 뎁스 영상의 사용자 부분에서 머리 영역이 검출된 결과를 나타낸 것이다.
도 7은 도 1에 도시된 뎁스 영상 취득부에 의해 취득되는 다수 프레임의 뎁스 영상을 연속하여 나타낸 것이다.
도 8 및 도 9는 본 발명의 다른 일 실시예에 따른 신체 검출 방법에 의해 뎁스 영상으로부터 사용자의 머리 영역을 검출하는 과정을 설명하기 위한 플로우차트이다.
도 10은 도 8 및 도 9에 도시된 플로우차트에 따른 머리 영역 검출 과정을 보충 설명하기 위한 도면이다.
도 11은 도 7에 도시된 다수 프레임의 연속한 뎁스 영상 각각에 대해 상기 도 8 및 도 9에 도시된 머리 영역 검출 방법에 의해 머리 영역이 검출된 결과를 나타낸 도면이다.
도 12는 본 발명의 또 다른 일 실시예에 따른 신체 검출 방법에 의해 사용자의 하체 영역을 검출하는 과정을 설명하기 위한 플로우차트이다.
도 13은 도 12에 도시된 방법에 의해 하체 영역을 검출하기 위해 설정하는 하체 모델링 구간을 설명하기 위한 도면이다.
도 14는 도 12에 도시된 방법에 의해 하체 영역을 검출하기 위해 이용하는 통계적 분석 방법을 설명하기 위한 도면이다.
도 15 및 도 16은 도 14에 도시된 통계적 분석 방법에 따라 유효 하체 데이터를 추출하는 원리를 설명하기 위한 도면이다.
도 17은 본 발명의 또 다른 일 실시예에 따른 신체 검출 방법에 의해 사용자의 몸통 영역을 검출하는 과정을 설명하기 위한 플로우차트이다.
도 18은 도 17에 도시된 방법에 따라 몸통 영역 검출을 위해 상단중심점 및 하단중심점을 추출하는 과정을 설명하기 위한 도면이다.
도 19는 도 18에 도시된 상단중심점 및 하단중심점의 z방향 성분을 찾아 두 점을 잇는 몸통중심선을 추출하고 이를 중심으로 몸통 영역을 검출하는 과정을 설명하기 위한 도면이다.
도 20은 본 발명의 또 다른 일 실시예에 따른 뎁스 정보 분석을 통한 신체 검출 방법에 의해 사용자의 팔 영역을 검출하는 과정을 설명하기 위한 플로우차트이다.

본 발명에 따른 뎁스 정보 분석을 통한 신체 검출 방법 및 사용자 신체 검출을 위한 뎁스 정보 분석 장치에 관한 구체적인 내용을 도면을 참조하여 설명하도록 한다.

본 발명에 따른 뎁스 정보 분석을 통한 신체 검출 방법 및 사용자 신체 검출을 위한 뎁스 정보 분석 장치는 사용자의 모션 트래킹이 필요한 모든 분야, 예컨대 모션 트래킹 기반의 게임기나 스포츠 동작 분석 등의 분야에 적용이 가능하다.

그러나, 본 발명에 따른 사용자 신체 검출 방법은 기본적으로 사용자가 골프 스윙 모션을 하는 경우에 이에 대한 뎁스 영상으로부터 신체를 검출하는 방법에 기반하고 있다는 점에서, 이하에서는 각 도면에서 사용자가 골프 스윙 모션을 하는 경우를 대상으로 하여 사용자의 특정 신체 부위를 검출하는 방법 등을 설명하도록 한다.

먼저, 도 1을 참조하여 본 발명의 일 실시예에 따른 사용자 신체 검출을 위한 뎁스 정보 분석 장치에 관하여 설명한다. 도 1은 본 발명의 일 실시예에 따른 사용자 신체 검출을 위한 뎁스 정보 분석 장치의 주요 구성을 간략하게 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 사용자 신체 검출을 위한 뎁스 정보 분석 장치는 뎁스 영상 취득부(100) 및 뎁스 영상 분석부(200)를 포함하여 구성된다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 뎁스 정보 분석 장치는 구성이 간단하여, 예컨대 하나의 카메라 장치로 구현할 수도 있어서 동작을 취하는 사용자(U)의 주변에 사용자(U)를 향하도록 놓기만 하면 되므로, 여러 가지 부가적인 복잡한 장비가 필요한 다른 모션 분석 장치들에 비해 사용자 측면에서 매우 편리하고 공간적인 측면에서도 매우 바람직하다.

상기 뎁스 영상 취득부(100)는 사용자에 대한 뎁스 영상을 취득하는 부분으로서 일반적으로 널리 이용되는 뎁스 카메라로써 구현되는 부분이다. 즉 상기 뎁스 영상 취득부(100)는, 사용자에 대한 2차원 영상을 취득하는 동시에 초음파 또는 적외선 등을 이용하여 깊이 정보를 취득하고 2차원 영상의 각 픽셀이 깊이 정보를 포함한 3차원 좌표 정보를 갖는 뎁스 영상을 취득하는 부분이다.

상기 뎁스 영상 취득부(100)는 연속하여 다수의 프레임의 뎁스 영상을 취득하는데, 그 취득된 뎁스 영상은 뎁스 영상 분석부(200)로 전달되며, 상기 뎁스 영상 분석부(200)는 상기 뎁스 영상 취득부(100)로부터 전달받은 뎁스 영상을 분석하여 사용자의 신체 특정 부위를 검출하고 트래킹하는 프로그램을 실행한다.

상기 뎁스 영상 분석부(200)는 머리 영역 검출수단(210), 하체 영역 검출수단(220), 몸통 영역 검출수단(230) 및 팔 영역 검출수단(240) 등을 포함할 수 있으며, 상기 각 수단은 하나 이상의 소프트웨어나 하드웨어로 구현되는 경우를 모두 포함할 수 있다.

도면상으로 도시하지는 아니하였으나, 상기 머리 영역 검출수단(210)은 제1 머리 검출 수단과 제2 머리 검출 수단을 포함하도록 구성될 수 있다.

상기 각 신체 영역 검출을 위한 수단들(210, 220, 230, 240)의 구체적인 기능 구현에 대해서는 이하에서 자세하게 설명하도록 한다.

한편, 본 발명에 따른 사용자 신체 검출을 위한 뎁스 정보 분석 장치는 그 뎁스 정보 분석 결과를 활용하는 다른 부가적인 장치나 기기 등과 연결되어 사용될 수 있는데, 도 1에 도시된 사용자 동작 정보 분석 및 제공장치(500)가 바로 그것이다.

상기 사용자 동작 정보 분석 및 제공장치(500)는 여러 가지 장치로 구현 가능한데, 예컨대 상기 뎁스 영상 취득부(100) 및 뎁스 영상 분석부(200)를 통해 분석된 정보를 이용하여 사용자에게 골프 레슨 정보를 제공하도록 구성되는 골프 레슨 정보 제공 장치로서 구현될 수 있다.

머리 영역 검출

먼저, 도 2 내지 도 11을 참조하여 본 발명의 일 실시예에 따른 뎁스 정보 분석을 통한 신체 검출 방법에 의해 사용자의 머리 영역을 검출하는 과정을 설명한다.

본 실시예에 따른 사용자 머리 영역의 검출은 크게 두 가지로 나눌 수 있다. 즉, 뎁스 영상 취득부(100, 도 1 참조)가 다수 프레임의 뎁스 영상을 연속하여 취득하는데 이때 초기 프레임의 뎁스 영상으로부터 사용자 머리 영역을 검출하는 초기 머리 영역 검출 방법과, 상기 초기 머리 영역 검출 방법에 의해 검출된 초기 머리 영역을 기준으로 해서 그 이후의 연속하는 다수 프레임의 뎁스 영상 각각에서 사용자의 머리 영역을 검출하는 후속 머리 영역 검출 방법으로 나눌 수 있다.

골프 스윙 모션을 할 때에는 반드시 어드레스(Address)를 취하고 그 이후에 테이크 백(Take Back), 백스윙(Back Swing), 백스윙 탑(Back Swing Top), 다운스윙(Down Swing), 임팩트(Impact), 팔로스루(Follow Through) 등의 연속 동작을 취하게 되는데, 어드레스(Address) 동작은 정지동작으로서 대부분의 골프 사용자들이 거의 비슷한 자세를 취한다는 특징이 있다.

상기한 초기 머리 영역 검출 방법은 초기 프레임의 뎁스 영상(뎁스 영상 취득부가 취득하는 다수 프레임의 뎁스 영상 중 첫번째 프레임의 뎁스 영상일 수도 있고 그 이후의 임의의 시점의 뎁스 영상일 수도 있다)을 분석하여 사용자 머리 영역을 검출하는 방법인데, 사용자가 어드레스 자세를 취할 때의 뎁스 영상을 대상으로 상기한 초기 머리 영역 검출 방법을 이용하여 사용자의 머리 영역을 검출하는 것이 바람직하다.

상기 초기 머리 영역 검출이 완료되면 이를 기준으로 해서 어드레스 이후의 동작에 대한 뎁스 영상들 각각으로부터 상기한 후속 머리 영역 검출 방법에 의한 사용자 머리 영역 검출이 이루어지게 된다.

여기서, 상기한 머리 영역 검출 수단(210, 도 1 참조)의 제1 머리 검출 수단은 상기 초기 머리 영역 검출을 수행하고, 제2 머리 검출 수단은 상기 후속 머리 영역 검출을 수행한다.

도 2 내지 도 6은 제1 머리 검출 수단에 의한 초기 머리 영역 검출 방법을, 도 7 내지 도 11은 제2 머리 검출 수단에 의한 후속 머리 영역 검출 방법을 각각 나타내고 있다.

먼저, 도 2 내지 도 6을 참조하여 초기 머리 영역 검출 방법에 관하여 설명한다.

도 2는 상기한 초기 머리 영역 검출 방법을 설명하기 위한 플로우차트이고, 도 3은 사용자에 대한 뎁스 영상의 일 예로서 사용자가 어드레스 자세를 취할 때의 뎁스 영상을 나타낸 것이고, 도 4는 도 3에 도시된 뎁스 영상에서 사용자 부분이 추출된 영상을 나타낸 것이며, 도 5는 머리 영역 검출을 위한 뎁스 범위를 결정하는 과정을 설명하기 위한 도면이고, 도 6은 도 4에 도시된 뎁스 영상의 사용자 부분에서 머리 영역이 검출된 결과를 나타낸 것이다.

머리 영역 검출 과정이 시작되면, 먼저 사용자의 정면에 설치된 뎁스 영상 취득부에 의해 뎁스 영상이 취득된다(S11).

이때 취득된 뎁스 영상에는 사용자 외에도 바닥(지면) 부분과 뒷 배경 부분 등이 함께 있으나, 뒷 배경 부분의 경우 사용자 부분에 비해 뎁스값이 매우 높거나 쉽게 정형화할 수 있기 때문에 손쉽게 제거할 수 있는데, 지면 부분의 경우 사용자의 발 부분과 연결되어 있기 때문에 제거하는 것이 쉽지 않다.

도 3은 뎁스 영상(1)의 일 예로서 지면 부분(2)이 제거되기 전의 영상을 나타내고 있다. 여기서 사용자 부분(10)만을 분리해 내는 것, 바꾸어 말하면 지면 부분(2)을 적절히 제거하는 것이 필요하다.

이와 같은 지면 부분(2)의 제거를 위해 여러 가지 방법이 활용되고 있는데, 대표적인 방법으로 RANSAC 알고리즘을 이용하는 방법이 있다.

이를 간략히 설명하면, 뎁스 영상 상의 임의의 3 점을 선택하고 이점들을 in-lier로 생각하고 지면 모델을 예측한다. 그리고 예측된 모델이 다수의 다른 데이터들과 잘 부합하는지 조사하여, 모델이 충분히 지면으로 허용할 만한 수준이면 지면 모델로 확정하고 그렇지 않으면 다른 임의의 3점에 대해 위 과정을 반복하여 수행한다.

이와 같은 방식으로 뎁스 영상(1)에서 지면 부분(2)을 모델링하고 이를 적절히 제거할 수 있는데, 이러한 RANSAC 알고리즘에 의한 영상 처리 방법은 이미 널리 이용되고 있는 방법이므로 이에 대한 구체적인 설명은 생략하도록 한다.

상기한 바와 같이 뎁스 영상(1)에서 지면 부분(2)을 제거함으로써 사용자 부분(10)을 추출하고(S12), 사용자 부분(10)에서 머리 영역을 검출하기 위해 먼저 미리 설정된 크기의 관심 영역을 설정하여 그 관심 영역 내의 데이터(이를 '관심 데이터'라 하기로 함)를 추출하는 과정이 진행된다(S13).

도 4에 도시된 바와 같이, 머리 영역 검출을 위해 먼저, 상기 추출된 사용자 부분(10)의 상단을 기준으로 해서 미리 설정된 크기의 관심 영역(ROI)을 설정한다.

상기 관심 영역(ROI)은 어떤 사용자라도 머리 부분이 모두 포함될 수 있도록 큰 크기로 설정함이 바람직하다.

이와 같이 관심 영역(ROI)의 설정 및 관심 데이터의 추출이 이루어지면 그 이후에는 상기 관심 데이터만 가지고 머리 영역 검출 과정이 진행되므로 데이터 처리가 빠르게 이루어질 수 있다.

상기한 바와 같이 추출된 관심 데이터를 이용하여 머리 영역 검출을 위한 유효 머리 데이터 추출 과정이 진행된다(S14, S15, S16).

즉, 관심 데이터 중 뎁스 영상 취득부(100)에 가장 가까운 뎁스값을 갖는 데이터의 뎁스값(Z_nr)을 추출하고(S14), 상기 뎁스값(Z_nr)과 미리 설정된 범위, 즉 [Z_nr, Z_nr+p]의 뎁스 범위 내의 데이터들 중 가장 많이 분포하는 뎁스값을 갖는 데이터들의 뎁스값(Z_MJ)을 추출하여(S15), 범위 [Z_MJ, Z_MJ+p]로 정의되는 유효 뎁스 범위 내의 데이터들을 상기 유효 머리 데이터로서 추출한다(S16). 여기서 "p"는 상수로서 미리 설정된 수이다.

이를 도 5에 도시된 바를 참조하여 좀 더 구체적으로 설명한다. 도 5는 뎁스 영상에서 추출된 사용자 부분(10)의 머리 부분, 좀 더 엄밀하게는 관심 영역 내의 데이터들(11)을 도시한 것인데, 도 5에 도시된 사용자의 머리 부분(11)은 상기한 S14 내지 S16의 과정을 용이하게 설명하기 위한 것으로서 실제 뎁스 영상상의 데이터가 이와 같이 나타난다는 것을 의미하는 것은 아니다.

사용자의 머리 부분의 관심 영역 내의 데이터들의 중심 위치를 단순히 머리 중심으로 하고 머리 반지름을 산출하여 머리 영역을 검출하면 엉뚱한 부분을 머리 영역으로 검출할 수 있다.

왜냐하면 사용자의 머리 상태는 사용자의 헤어스타일 상태나 모자 착용 상태 등에 따라 뎁스 영상 상에서 매우 다양한 형태로 나타날 수 있는데 뎁스 영상 상에서는 이러한 다양한 형태가 모두 동일한 머리 부분의 데이터로 취급될 수밖에 없기 때문이다.

예컨대, 긴 파마 머리를 한 사용자가 모자를 쓴 경우와 모자를 쓰지 않은 경우에 대해 동일한 사용자임에도 불구하고 뎁스 영상을 통해 머리 영역을 검출하면 그 결과가 달라질 수밖에 없는 것이다.

본 발명의 일 실시예에 따른 신체 검출 방법에 의하면, 위와 같은 경우에도 머리 영역을 정확하게 검출할 수 있는데, 그 원리를 도 5를 참조하여 설명하도록 한다.

도 5를 참조하면, L0은 뎁스 영상 취득부(100)를 기준으로 한 기준 뎁스 위치를 나타내고, L1은 기준 뎁스 위치(L0)로부터 가장 가까운 데이터의 뎁스 위치를 나타낸다. L1 위치의 뎁스값은 기준 뎁스 위치로부터 가장 가까운 뎁스값(Z_nr)의 위치이다.

L3는 L1의 위치의 뎁스값(Z_nr)에 미리 설정된 수인 p를 더한 값(Z_nr+p)의 위치를 나타내고, L2는 Z_nr과 Z_nr+p의 뎁스 범위 내에서 가장 많이 분포하는 데이터의 뎁스값(Z_MJ)의 뎁스 위치를 나타낸다.

L4는 상기 [Z_nr, Z_nr+p]의 범위 내에서 가장 많이 분포하는 뎁스값(Z_MJ)에 미리 설정된 수인 p를 더한 값(Z_MJ+p)의 위치를 나타낸다.

상기한 S14는 관심 영역 내의 데이터들 중에서 L1과 L3의 범위를 추출하는 과정이고, S15는 상기한 L1과 L3 범위 내에서 L2의 위치를 찾는 과정이다. 즉, 정확한 머리 영역을 추출하기 위해 머리의 안면 쪽에 L1과 L3의 뎁스 범위를 찾아서 그 범위 내에서 가장 많은 분포를 차지하는 데이터들을 찾는 것이다.

여기서 가장 많은 분포를 차지하는 데이터들은, 구체를 예로 들면 상기 구체를 절단하였을 때 단면적이 가장 넓은 부분을 의미한다.

도 5에서 L2의 위치, 즉 뎁스값이 Z_MJ인 위치가 바로 L1과 L3의 뎁스 범위 내에서 단면적이 가장 넓은 부분이다.

따라서, 상기 S14 및 S15 과정을 통해 Z_nr 및 Z_MJ의 값을 찾았으면, 상기 S16과정에서 [Z_nr, Z_MJ+p]의 뎁스 범위를 유효 뎁스 범위로 설정하여 그 범위 내의 데이터들을 유효 머리 데이터로 결정할 수 있는 것이다.

위 과정은 사용자의 안면쪽 부분의 영역을 기준으로 하여 유효 머리 데이터를 결정하기 때문에 헤어스타일의 변화 등에 영향을 받지 않고 정확한 머리 영역을 검출할 수 있는 것이다.

한편, 상기 유효 뎁스 범위 내에서 추출된 유효 머리 데이터는 머리 영역을 이루는 데이터들이며 그 3차원 위치 정보의 평균위치(X₁,Y₁,Z₁)를 머리 중심 위치(P_H1)로서 결정할 수 있다(S17).

그리고 유효 머리 데이터의 개수를 원의 면적으로 하여 계산된 반지름을 머리 반지름(R_H)으로서 산출할 수 있다(S18). 즉 다음 (식 1)에 의해 반지름 R_H를 산출할 수 있다.

[식 1]

상기한 바와 같이 유효 머리 데이터로부터 산출된 머리 중심 위치(P_H1)와 머리 반지름(R_H)에 의해 도 6에 도시된 바와 같이 뎁스 영상에서 사용자의 머리 영역(HR1)을 검출할 수 있다(S19).

한편, 도 7 내지 도 11을 참조하여 후속 머리 영역 검출 방법에 관하여 설명한다.

도 7은 도 1에 도시된 뎁스 영상 취득부에 의해 취득되는 다수 프레임의 뎁스 영상을 연속하여 나타낸 것이고, 도 8 및 도 9는 상기 후속 머리 영역 검출 방법을 설명하기 위한 플로우차트이며, 도 10은 도 8 및 도 9에 도시된 플로우차트에 따른 후속 머리 영역 검출 과정을 설명하기 위한 도면이다. 도 11은 도 7에 도시된 다수 프레임의 연속한 뎁스 영상 각각에 대해 상기 도 8 및 도 9에 도시된 머리 영역 검출 방법에 의해 머리 영역이 검출된 결과를 나타낸 도면이다.

본 발명에 따른 신체 검출 방법은 다수의 연속된 뎁스 영상 각각에 대해 이전 프레임의 뎁스 영상에서 검출한 머리 영역을 기준으로 하여 현재 프레임의 뎁스 영상에서 머리 영역을 검출하는 방법을 제공한다.

도 7에서 첫 프레임에서의 뎁스 영상(1a)에서 상기한 도 2 내지 도 6에 도시된 방법에 따라 머리 영역 검출이 이루어졌고, 다른 프레임들에 따른 뎁스 영상들(1b)에서는 첫 프레임에서의 뎁스 영상(1a)에서 검출한 머리 영역을 기준으로 머리 영역을 검출하는 과정이 진행되는 것이다.

도 8 및 도 9에 도시된 플로우차트를 참조하면(여기서 도 8 및 도 9는 전체적으로 하나의 플로우차트로서 일부 과정을 분리하여 도시한 것이며 도 8의 A에서 도 9의 A로 연결되는 것을 나타내고 있다), 후속 머리 영역의 검출 과정은 다음과 같다.

사용자의 정면에 설치된 뎁스 영상 취득부에 의해 뎁스 영상이 취득되고(S21), 그 취득된 뎁스 영상으로부터 사용자 부분을 추출한다(S22).

상기 추출된 사용자 부분에 대해, 이전 프레임의 뎁스 영상으로부터 검출한 머리 영역의 중심 위치를 기준으로 미리 설정된 크기의 대상 영역을 설정한다(S23).

여기서 이전 프레임의 뎁스 영상으로부터 검출한 머리 영역의 중심 위치는 도 2 내지 도 6에 도시된 바에 따라 추출된 머리 중심 위치(P_H1(X₁,Y₁,Z₁))이며, 대상 영역은 상기 머리 중심 위치(P_H1)를 원의 중심으로 하고 미리 설정된 반지름에 의한 원이다. 상기 대상 영역의 미리 설정된 반지름은 앞서 산출된 머리 반지름(R_H) 보다 더 큰 값으로서 설정함이 바람직하다.

상기 대상 영역 내의 데이터들 중 머리 관찰 데이터를 추출하기 위한 관찰 뎁스 범위 [Z₁-Δz, Z₁+Δz]를 설정한다(S24). 즉, 관찰 뎁스 범위를 [Z₁-Δz, Z₁+Δz]로 정의하고 그 범위 내에 존재하는 데이터들을 머리 관찰 데이터로 정의한다.

Δz는 아래 [식 2]의 요건을 충족시키는 값이 된다.

[식 2]

N _HD1 > π R _H ²

여기서, N_HD1은 머리 관찰 데이터의 개수이고, R_H는 머리 반지름으로서 이전 프레임의 뎁스 영상에서 머리 영역을 추출하는 과정에서 산출된 값이다.

즉, 머리 관찰 데이터의 개수가 머리 반지름(R_H)에 따른 원의 면적보다 커야 한다는 조건을 상기 [식 2]가 표현하고 있는 것이다.

Δz를 산출하기 위해서는 먼저 미리 설정된 초기값 N₀을 Δz에 대입하여, 뎁스 범위 [Z₁-N0, Z₁+N0] 내의 데이터들의 개수가 상기 [식 2]에 따라 머리 반지름(R_H)에 따른 원의 면적보다 큰지 여부를 판단한다(S25).

상기 초기값 N₀에 의한 뎁스 범위 내의 데이터들이 상기 [식 2]의 요건을 충족하지 않는다면, Δz를 미리 설정된 단위(C)씩 증가시키면서 상기한 S25 과정을 반복한다(S26).

S26 단계에서 나타낸 Δz = N₀ + a*C (a=1, 2, 3...)에서 a는 과정이 반복될 때마다 증가하며 C는 상수로서 미리 설정된 단위를 나타낸다.

즉, 관찰 뎁스 범위 [Z₁-Δz, Z₁+Δz]를 결정하기 위해, [Z₁-N₀, Z₁+N₀] 범위를 먼저 적용하여 상기 [식 2]의 요건을 판단하고, [Z₁-(N₀+C), Z₁+(N₀+C)], [Z₁-(N₀+2C), Z₁+(N₀+2C)], [Z₁-(N₀+3C), Z₁+(N₀+3C)]...의 순서로 상기 [식 2]를 충족시킬 때까지 Δz의 값을 찾는다.

다시 말해서, 관찰 뎁스 범위 [Z₁-Δz, Z₁+Δz]를 결정하기 위해 상기 [식 2]를 충족시킬 때까지 Δz의 값을 미리 설정된 수(C)만큼 증가시킨다.

상기한 바와 같이 관찰 뎁스 범위 [Z₁-Δz, Z₁+Δz]가 결정되면, 그 결정된 관찰 뎁스 범위 내의 데이터들, 즉 머리 관찰 데이터를 추출한다(S27). 여기서 상기 머리 관찰 데이터의 위치를 (x_1i, y_1i, z_1i)라 하기로 한다(여기서, i=1, 2, 3...N_HD1).

그리고, 상기 머리 관찰 데이터에 대해 이전의 머리 중심 위치(X₁, Y₁)에 가까운 데이터일수록 더 높은 값을 갖는 가중치(W₁)를 계산하여 적용한다(S28). 이후에도 새로운 머리 관찰 데이터에 대해서는 이전 머리 중심 위치(X₁, Y₁)를 기준으로 가중치를 계산하여 적용한다.

상기한 머리 관찰 데이터들(x_1i, y_1i, z_1i) 각각에 적용되는 가중치 W_1i는 아래 [식 3]과 같다(여기서, i=1, 2, 3...N_HD1).

[식 3]

상기한 바와 같이 머리 관찰 데이터에 대해 이전 머리 중심 위치의 x, y 성성분(X₁, Y₁)를 기준으로 한 가중치 W_1i가 산출되면, 상기 가중치 W_1i를 머리 관찰 데이터에 적용하고(S28), 상기 가중치 W_1i가 적용된 데이터들의 중심 좌표 위치를 산출한다(S29). 여기서 가중치 W_1i가 적용된 데이터들의 중심 좌표 위치를 (X₂, Y₂)라 하기로 하고 다음의 [식 4]에 의해 산출될 수 있다.

[식 4]

여기서 N은 상기한 [식 2]의 N_HD1이고, W_1i는 i번째 머리 관찰 데이터에 대한 [식 3]에 따른 가중치(W_1i)를 의미한다.

상기한 바와 같이 새로운 중심 좌표 위치(X₂, Y₂)가 산출되면, 상기한 대상 영역을 상기 새로 산출된 중심 좌표 위치를 기준으로 하여 갱신하고, 그 갱신된 대상 영역 내의 데이터에 대해 관찰 뎁스 범위가 다시 산출되고 가중치도 다시 산출되어 적용된다.

즉, 상기 산출된 중심 좌표 위치(X₂, Y₂)를 중심으로 대상 영역을 갱신하고(S31), 상기 갱신된 대상 영역 내의 데이터들에 대해 새로운 관찰 뎁스 범위 [Z₁-Δz, Z₁+Δz]를 결정하는 과정이 진행된다(S32, S33, S34).

관찰 뎁스 범위 [Z₁-Δz, Z₁+Δz]에서 Δz에 초기값(N0)를 대입하여 머리 관찰 데이터의 개수(N_HD2)가 머리 반지름(R_H)에 따른 원의 면적보다 크게 될 때까지 Δz를 미리 설정된 수인 C만큼 증가시킨다.

도 9에서 S33 단계의 N_HD2는 중심 좌표 위치(X₂, Y₂)를 중심으로 갱신된 대상 영역의 데이터들에 대해 관찰 뎁스 범위가 갱신됨에 따라 추출되는 새로운 머리 관찰 데이터의 개수를 의미한다.

즉, 갱신된 대상 영역에 따라 관찰 뎁스 범위 [Z₁-Δz, Z₁+Δz]를 새로 산출하기 위해 상기한 [식 2]의 요건을 아래 [식 5]로 갱신하고, 아래 [식 5]를 충족시키기 위해 [Z₁-N₀, Z₁+N₀], [Z₁-(N₀+C), Z₁+(N₀+C)], [Z₁-(N₀+2C), Z₁+(N₀+2C)]...를 반복하여 적용한다(S34).

[식 5]

N _HD2 > π R _H ²

상기한 바와 같이 관찰 뎁스 범위 [Z₁-Δz, Z₁+Δz]가 결정되면, 그 결정된 관찰 뎁스 범위 내의 데이터들, 즉 머리 관찰 데이터를 추출한다(S35). 여기서 머리 관찰 데이터의 위치를 (x_2i, y_2i, z_2i)라 하기로 한다(여기서, i=1, 2, 3...N_HD2).

그리고, 상기 머리 관찰 데이터에 대해 이전 머리 중심 위치(X₁, Y₁)에 가까운 데이터일수록 더 높은 값을 갖는 가중치(W_2i)를 계산하여 적용한다(S36). 가중치 W₂는 다음의 [식 6]과 같다.

[식 6]

상기한 바와 같이 머리 관찰 데이터에 대해 이전 머리 중심 위치(X₁, Y₁)를 기준으로 한 가중치 W_2i가 산출되면, 상기 가중치 W_2i를 머리 관찰 데이터에 적용하고(S36), 상기 가중치 W_2i가 적용된 데이터들의 중심 좌표 위치(X₃, Y₃)를 산출한다(S37). 중심 좌표 위치 X₃ 및 Y₃은 상기 [식 4]와 동일한 방식으로 산출될 수 있으며 아래 [식 7]과 같다.

[식 7]

여기서 N은 상기한 [식 5]의 N_HD2이고, W_2i는 i번째 머리 관찰 데이터에 대한 [식 6]에 따른 가중치(W_2i)를 의미한다.

상기한 바와 같이 새로운 중심 좌표 위치(X₃, Y₃)가 산출되면, 이전에 산출된 중심 좌표 위치(X₂, Y₂)와 비교하여 실질적으로 변화가 없는지 여부를 판단한다(S38). 즉, (X₂+Δx, Y₂+Δy) = (X₃, Y₃) 인지 여부를 판단한다.

여기서 Δx 및 Δy는 미소 변화량을 의미하는 것으로서 그 값이 0이 될 수도 있고 0 보다 큰 값이 될 수도 있으며, 그 구체적인 값은 여러 번의 실험을 통해 바람직한 것으로 판단되는 값을 적용할 수 있다.

상기 S38 과정에서 중심 좌표 위치 (X₃, Y₃)가 (X₂, Y₂)에 비추어 실질적으로 변화가 없는 것으로 판단되는 경우에는 상기 중심 좌표 위치 (X₃, Y₃)가 현재 프레임의 뎁스 영상 상의 사용자의 머리 영역의 머리 중심 위치가 되고, 여기에 머리 반지름(R_H)을 적용하여 머리 영역을 검출한다.

만약 상기 S38 과정에서 (X₂+Δx, Y₂+Δy) ≠ (X₃, Y₃)의 결과가 나온다면, 새로운 중심 좌표 위치인 (X₃, Y₃)를 기준으로 대상 영역을 갱신하고, 이에 따라 관찰 뎁스 범위 [Z₁-Δz, Z₁+Δz]도 다시 결정하며, 갱신된 관찰 뎁스 범위 내의 머리 관찰 데이터에 대해 이전 머리 중심 위치(X₁, Y₁)를 기준으로 한 가중치(W_3i)을 다시 산출하여 적용함으로써 또다시 새로운 중심 좌표 위치(X₄, Y₄)를 산출하는 과정이 반복된다(도 9에서 다수개의 ●으로 나타낸 부분은 상기한 반복되는 과정들을 생략한 것이다).

이와 같이 대상 영역의 설정, 관찰 뎁스 범위의 설정 및 가중치(W_mi)를 이전 머리 중심 위치(X₁, Y₁)를 기준으로 갱신하면서(S46m) 가중치(W_mi)가 적용된 데이터들의 중심 좌표 위치(X_m ₊₁, Y_m ₊₁)를 새로운 중심 좌표 위치로서 산출하고(S47m), (X_m+Δx, Y_m+Δy) = (X_m ₊₁, Y_m ₊₁) 인지 여부를 판단하여(S48m), 이전 중심 좌표 위치와 현재 중심 좌표 위치가 실질적으로 변화가 없을 경우에 현재 중심 좌표 위치를 머리 중심 위치로 하고 머리 반지름(R_H)을 적용하여 머리 영역을 검출한다(S49m).

도 10에서는 상기한 도 8 및 도 9의 과정을 그림으로써 설명하고 있는데, 도면번호 11a와 11b는 뎁스 영상 상의 사용자의 머리 부분으로서 11a는 이전 프레임의 머리 부분이고 11b는 현재 프레임의 머리 부분을 나타내고, HR1 및 HR2는 각각 이전 프레임과 현재 프레임의 머리 영역을 나타낸다.

이전 프레임에서 이미 산출한 머리 중심 위치 P_H1(X₁, Y₁, Z₁) 중 Z₁을 이용하여 관찰 뎁스 범위를 결정하고 그 범위 내의 머리 관찰 데이터에 대해 가중치 W_1i를 산출하여 적용하여 중심 좌표 위치 P₂(X₂, Y₂)를 산출하고, 다시 이를 기준으로 대상 영역을 갱신하고 머리 관찰 데이터 및 가중치를 머리 중심 위치 P_H1(X₁, Y₁, Z₁)를 기준으로 다시 산출하여 가중치 W_2i가 적용된 데이터의 중심 좌표 위치 P₃(X₃, Y₃)를 산출하며, 이러한 방식으로 갱신과 재산출을 반복하는데, 이때 산출된 중심 좌표 위치 P_m ₊₁(X_m ₊₁, Y_m ₊₁)가 이전의 중심 좌표 위치와 비교할 때 실질적으로 변화가 없는 것으로 판단되면 상기 P_m ₊₁(X_m ₊₁, Y_m ₊₁)이 현재 프레임의 머리 영역의 머리 중심 좌표가 되는 것이다.

상기한 바와 같은 방식으로 도 7에 도시된 다수 프레임의 뎁스 영상 상의 사용자 머리 영역을 검출할 수 있고 그 결과는 도 11에 도시된 바와 같다.

도 11을 보면, 사용자의 헤어스타일에 의해 머리 중심을 찾기 매우 까다로운 상태, 즉 사용자의 머리 부분이 동작에 따라 예측 불가능한 다양한 형상으로 나타나고 있는 상태임에도 불구하고 사용자의 실질적인 머리 부분을 찾아서 정확하게 찾아서 머리 영역을 검출하고 있음을 알 수 있다.

하체 영역 검출

한편, 도 12 내지 도 16을 참조하여 본 발명의 다른 일 실시예에 따른 뎁스 정보 분석을 통한 신체 검출 방법에 의해 사용자의 하체 영역을 검출하는 과정을 설명한다.

도 12는 본 발명에 따른 신체 검출 방법에 의해 사용자의 하체 영역을 검출하는 과정을 설명하기 위한 플로우차트이고, 도 13은 하체 영역 검출을 위한 하체 모델링 구간을 설명하기 위한 도면이며, 도 14는 하체 모델링 구간 내의 데이터들에 대한 평균 및 공분산을 나타낸 도면이다. 그리고, 도 15 및 도 16은 도 14에 도시된 통계적 분석 방법에 따라 유효 하체 데이터를 추출하는 원리를 설명하기 위한 도면이다.

본 발명에 따른 신체 검출 방법에 의한 사용자 하체 영역 검출은 기본적으로 뎁스 영상상의 사용자 부분에서 하체인 것이 확정적인 구간을 하체 모델링 구간으로서 설정하고 그 설정된 구간 내의 데이터를 하체 모델링 데이터로서 추출하며, 상기 하체 모델링 구간을 미리 설정된 범위만큼 확장한 확장 구간을 하체 조사 구간으로 설정하여 상기 하체 조사 구간 내의 데이터들 중 상기 하체 모델링 데이터와 통계적으로 근접한 데이터들을 추출하여 유효 하체 데이터로서 추출함으로써, 상기 하체 모델링 데이터 및 유효 하체 데이터를 하체 영역으로서 검출하는 것이다.

본 발명에 따른 신체 검출 방법에 의한 하체 영역 검출 과정이 시작되면, 사용자의 정면에 설치된 뎁스 영상 취득부에 의해 뎁스 영상이 취득되고(S51), 상기 취득된 뎁스 영상으로부터 사용자 부분이 추출된다(S52).

추출된 사용자 부분에 대해서는 무게중심(Pwc)의 좌표 정보(XG, YG, ZG)를 산출한다(S53). 상기 무게중심은 추출된 사용자 부분을 이루는 모든 데이터들의 좌표의 평균위치로써 산출될 수 있다.

한편, 도 12의 플로우차트 상의 S54 단계는 상기한 하체 모델링 데이터를 추출하는 단계인데, 그 과정을 도 13을 참조하여 설명한다.

도 13은 뎁스 영상으로부터 추출된 사용자 부분을 이루는 각 데이터들의 y방향 성분 및 z방향 성분의 y-z 평면상에서의 데이터 분포를 가상으로 표현해 놓은 것으로서 사용자의 측면 부분(10S)을 나타낸 것이다.

본 발명에 따른 신체 검출 방법에 의한 하체 영역의 검출 과정은 사용자 부분을 이루는 각 데이터들의 3차원 좌표(x, y, z) 중 y방향 성분 및 z방향 성분에 의한 y-z 평면상의 데이터 분포를 이용하여 분석하는데, 그 이유는 도 13에 도시된 바와 같이 y-z 평면상의 데이터 분포가 다리 형상의 특징 추출에 용이하고 하체 부분과 팔 부분의 변별력이 크기 때문이다.

도 13에서, Y_min은 사용자 부분을 이루는 데이터들 중 가장 하단에 위치한 데이터의 y축 좌표이고, Y_G는 무게중심(P_wc)의 y축 좌표이다.

사용자의 자세를 고려할 때 허벅지 쪽은 팔 부분과 근접해 있는 경우가 많으며 허벅지 아래 쪽은 대체로 다른 부분과 근접됨이 없어 추출이 용이하기 때문에, 허벅지 쪽 부분을 추출한다면 그 아래 부분의 모든 데이터는 종아리 쪽 부분이 될 수밖에 없기 때문에, 하체 영역의 검출에서는 사용자의 허벅지 쪽 부분을 검출하는 것이 관건이다.

이를 위해 도 13에 도시된 바와 같이 Y_G와 Y_min 거리의 중간 지점인 (Y_G+Y_min)/2 지점을 추출한다. 상기 (Y_G+Y_min)/2 지점은 대략 사용자의 무릎 근처 부위를 예상하고 추출한 것인데 반드시 정확하게 무릎 부위가 되어야만 하는 것은 아니다.

왜냐하면 후술할 하체 영역의 검출은 y축 좌표가 정확하게 사용자의 하체의 특정 부분일 필요는 없고 하체 영역을 포함하는 하체 모델링 구간 내의 데이터들에 대한 평균 및 공분산을 통한 통계적 방법에 의해 하체 영역을 검출하기 때문이다.

하체 모델링 구간은 무게중심의 y성분 위치, 즉 Y_G 지점과 사용자 부분의 하단(Y_min)과 무게중심(Y_G)의 평균 위치, 즉 (Y_G+Y_min)/2 지점 사이의 구간으로 미리 설정될 수 있다. 즉, [Y_G,(Y_G+Y_min)/2] 구간을 하체 모델링 구간으로서 미리 설정하고 그 구간 내의 데이터들을 하체 모델링 데이터(도 13의 LR 영역의 데이터)로서 추출한다.

상기 미리 설정된 하체 모델링 구간이 모든 프레임의 뎁스 영상상에서 항상 사용자의 하체 영역을 정확하게 포함하지는 못하고 상기 하체 모델링 구간의 밖에 존재하는 데이터들 중에서도 하체 영역에 포함되는 데이터들이 존재할 수 있다(이러한 가능성을 고려하여 하체 모델링 구간을 가급적 좁게 하여 미리 설정한 것인데, 상기한 하체 모델링 구간을 좀 더 축소시킨 구간으로 설정하는 것도 가능하다).

이와 같이 하체 모델링 구간의 밖에 존재하는 데이터들 중 하체 영역에 포함되는 데이터들을 추출하기 위해 상기한 하체 모델링 구간을 기준으로 하체 조사 구간을 다시 설정하는 것이 바람직하다.

즉, y-z 평면상에서 상기한 하체 모델링 구간 [Y_G,(Y_G+Y_min)/2]을 기초로 하여 이를 n배 확장한 구간을 하체 조사 구간으로서 미리 설정할 수 있다. 여기서 n은 양수이며, 하체 조사 구간을 [Y_Lx, Y_Lm]로 정의하기로 한다. 예컨대 n=2인 경우 하체 조사 구간 [Y_Lx, Y_Lm]는 다음의 [식 8]과 같다.

[식 8]

[Y_Lx, Y_Lm] = [{Y_m - (Y_G-Y_m)/2}, {Y_G + (Y_G-Y_m)/2}]

여기서 Y_m = (Y_G+Y_min)/2 이다.

즉, 도 13에서 Y_Lx와 Y_Lm 사이의 하체 조사 구간 내의 데이터들에 대해 유효하체 데이터의 추출 과정이 진행된다.

하체 조사 구간[Y_Lx, Y_Lm] 내에서 유효 하체 데이터를 추출하기 위해 통계적 분석 방법을 이용하는데, 상기 S54 단계에서 추출된 하체 모델링 데이터에 대한 평균 및 공분산 정보를 산출하여 이를 이용하여 유효 하체 데이터를 추출한다(S56).

즉, 하체 조사 구간[Y_Lx, Y_Lm] 내의 데이터들 중 하체 모델링 데이터에 소정 범위로 근접한 데이터들을 유효 하체 데이터로서 추출하는데, 이를 위해 하체 모델링 데이터의 평균 및 공분산에 기초하여 하체 조사 구간 내[Y_Lx, Y_Lm]의 데이터들의 마할라노비스 거리(Mahalanobis Distance)를 이용한다(S57).

이를 도 13 및 도 14를 참조하여 설명한다. 도 14는 상기한 하체 모델링 데이터들의 평균(M)과 공분산(CV)이라고 가정하여 나타낸 도면이다. 도 14에 나타낸 공분산(CV)은 하체 모델링 데이터들이 평균(M) 주변에 분포하는 양태를 영역으로 표현한 것이다. 즉 하체 모델링 데이터들의 공분산이 도 14의 A영역으로 지칭하는 영역 내에 모두 존재하고 B영역은 하체 조사 구간의 데이터들이 존재하는 영역이라고 가정한다.

상기 마할라노비스 거리는 데이터가 평균에 근접한 정도를 나타내는 척도로서 도 14에 도시된 바와 같이 점 a와 점 b가 평균으로부터 서로 같은 거리에 존재하고 있어도 점 a는 평균분포(A영역) 내에 존재하고 점 b는 그 밖(B영역)에 존재하기 때문에, 점 a의 마할라노비스 거리는 작은 값이고 점 b의 마할라노비스 거리는 큰 값이 된다.

즉, 데이터들의 마할라노비스 거리값이 작을수록 평균에 가깝고 사용자의 하체 영역 쪽 데이터일 가능성이 높아지고, 마할라노비스 거리값이 클수록 평균에서 멀어져서 하체에서 떨어진 쪽인 팔 부분이나 복부 쪽 등의 데이터일 가능성이 높아진다.

상기한 S57 단계는 도 14에 도시된 B영역에 존재하는 데이터들 중 평균에 소정 범위로 근접한 데이터들을 유효 하체 데이터로서 추출하는 과정이라고 설명할 수 있다.

하체 조사 구간 내의 데이터들 중 유효 하체 데이터를 추출하기 위해서는 하체 조사 구간 내의 데이터들의 마할라노비스 거리값에 대한 유효 거리값 범위를 설정하여 그 유효 거리값 범위 내의 데이터들을 유효 하체 데이터로서 추출하는 과정이 필요하다(S58).

상기한 마할라노비스 거리값에 대한 유효 거리값 범위는 일정한 범위를 미리 설정해 놓고 이를 적용하기 보다는 하체 모델링 데이터에 대한 평균 및 공분산을 기초로 하체 조사 구간 내 데이터들의 마할라노비스 거리값을 산출하여 그 분포를 통해 유효 거리값 범위를 산출하여 설정하는 것이 바람직하다.

상기한 유효 거리값 범위의 산출에 대한 일 예를 도 15 및 도 16을 참조하여 설명하도록 한다.

하체 모델링 데이터의 평균 및 공분산을 기초로 하체 조사 구간[Y_Lx, Y_Lm] 내 데이터들의 마할라노비스 거리값을 산출하여 이를 히스토그램으로 나타낸 일 예를 도 15에 도시하였다.

도 15에 도시된 바와 같이 마할라노비스 거리값이 작을수록 하체 모델링 구간에 근접한 데이터이고 마할라노비스 거리값이 클수록 하체 모델링 구간에서 멀어지는 데이터이다.

하체 모델링 데이터를 평균으로 했기 때문에 이에 근접할수록 데이터의 수가 많고 즉, 마할라노비스 거리값이 작은 값을 갖는 데이터들의 수가 많은 경향을 나타내고, 멀어질수록 데이터의 수가 적은 경향을 나타낸다.

하체 모델링 데이터와 멀리 떨어진 팔이나 복부 등의 일부가 하체 조사 구간 내에 포함될 경우에는 그 부분이 어느 정도 데이터의 군집을 형성하므로 마할라노비스 거리값이 큰 데이터들 중에서 데이터의 수가 많은 경향을 나타내는 경우도 있다(도 15에서 오른쪽 끝으로 갈수록 데이터의 수가 다소 증가하는 것은 이러한 이유 때문이다).

특히, 사용자가 골프 스윙시 어드레스 자세를 취할 때의 하체 영역 검출을 위해 상기한 바와 같이 마할라노비스 거리값을 산출하면 하체 모델링 데이터와 근접한 부분과 이와 멀리 떨어진 팔이나 복부 등의 부분 사이에 데이터 수가 매우 적은 부분이 존재한다.

이와 같은 경우에, 도 16에 도시된 바와 같이 마할라노비스 거리값에 관한 데이터 수의 히스토그램 분포에 대해 커브피팅(Curve Fitting)을 하면, 상기 피팅된 커브에 대한 최저점(Dm)을 추출할 수 있다.

이와 같이 추출된 최저점(Dm)에 해당하는 데이터들은 하체 조사 구간 데이터들 중 하체 모델링 데이터에 근접한 경계에 존재하는 데이터로 생각할 수 있다.

따라서 0부터 Dm까지의 범위를 상기한 유효 거리값 범위로서 설정할 수 있고, 그 범위 내의 데이터들을 유효 하체 데이터로서 추출할 수 있다.

이와 같이 설정한 유효 거리값 범위는 이후 프레임의 뎁스 영상으로부터 검출되는 하체 영역에 동일하게 적용할 수도 있고, 매 프레임마다 상기한 바와 같은 방식으로 유효 거리값 범위를 별도로 산출하여 이용할 수도 있다.

상기한 바와 같이 하체 모델링 구간[Y_G, (Y_G+Y_min)/2] 내에서 하체 모델링 데이터를 추출하고 하체 조사 구간[Y_Lx, Y_Lm] 내에서 유효 거리값 범위를 설정하여 유효 하체 데이터를 추출함으로써, 상기 하체 모델링 데이터와 유효 하체 데이터를 사용자의 하체 영역으로서 검출하게 되는 것이다(S59).

몸통 영역 검출

한편, 도 17 내지 도 19를 참조하여 본 발명의 또 다른 일 실시예에 따른 뎁스 정보 분석을 통한 신체 검출 방법에 의해 사용자의 몸통 영역을 검출하는 과정을 설명한다.

도 17은 본 발명에 따른 신체 검출 방법에 의해 사용자의 몸통 영역을 검출하는 과정을 나타내는 플로우차트이고, 도 18은 뎁스 영상으로부터 추출된 사용자 부분에서 몸통 영역 검출을 위해 상단중심점 및 하단중심점을 추출하는 과정을 설명하기 위한 도면이며, 도 19는 도 18에 도시된 상단중심점 및 하단중심점의 z방향 성분을 찾아 두 점을 잇는 몸통중심선을 추출하고 이를 중심으로 몸통 영역을 검출하는 과정을 설명하기 위한 도면이다.

상기 도 19는 설명의 편의를 위해 뎁스 영상의 사용자 부분에 대한 y-z 평면상의 사용자 측면 부분(10S)을 표현한 것이다.

본 발명에 따른 신체 검출 방법에 의한 몸통 영역 검출 과정이 시작되면, 사용자의 정면에 설치된 뎁스 영상 취득부에 의해 뎁스 영상이 취득되고(S61), 상기 취득된 뎁스 영상으로부터 사용자 부분이 추출된다(S62).

그리고, 추출된 사용자 부분에 대해 머리 영역의 검출이 이루어진다(S63). 상기 머리 영역의 검출은 도 2 내지 12에 도시된 방법에 따라 검출될 수도 있지만 반드시 이에 한정되는 것은 아니며 여하한 방법으로 뎁스 영상에서 사용자의 머리 영역이 검출되는 경우를 모두 포함할 수 있다.

그리고, 사용자 부분에 대해 무게중심(P_wc)의 좌표 정보(X_G, Y_G, Z_G)를 산출한다(S64). 상기 무게중심은 추출된 사용자 부분을 이루는 모든 데이터들의 좌표의 평균위치로써 산출된다.

한편, 상기 검출된 머리 영역의 하단에 위치하는 데이터를 기준으로 미리 설정된 크기의 영역을 설정하고 그 설정 영역 내의 데이터들의 평균 위치를 추출한다(S65). 여기서 평균 위치는 x 및 y 성분에 대한 평균 위치이며 그 좌표를 (x_a, y_a)라 하기로 한다.

그리고 상기 평균 위치의 y_a 값을 기준으로 미리 설정된 크기의 영역, 즉 상단중심점 추출을 위한 영역을 설정하고 그 설정 영역 내에서 가장 많이 분포하는 데이터의 뎁스 방향 성분의 값(Z_UC)을 상단중심점으로서 추출한다(S66).

한편, 상기 추출된 무게중심의 Y_G 값을 기준으로 미리 설정된 크기의 영역, 즉 하단중심점 추출을 위한 영역을 설정하고 그 설정 영역 내에서 가장 많이 분포하는 데이터의 뎁스 방향 성분의 값(Z_LC)을 하단중심점으로서 추출한다(S67).

여기서, 상기 상단중심점과 하단중심점의 추출에 관하여 도 18 및 도 19를 참조하여 설명한다.

도 18에 도시된 뎁스 영상으로부터 추출된 사용자 부분(10)에 대해, 머리 영역(HR)의 하단에 위치하는 데이터를 포함하는 미리 설정된 크기의 영역(R_u)을 설정하고 그 R_u 영역 내에 존재하는 데이터들의 평균 위치(x_a, y_a)를 추출한다. 상기 평균 위치(x_a, y_a)는 상단중심점의 x축 및 y축 상의 좌표값이 된다.

상기 평균 위치 좌표 중 y_a 값을 기준으로 그 아래의 미리 설정된 영역(R_z1) 내에 존재하는 데이터들에 대해, 도 19에 도시된 바와 같이 가장 많이 분포하는 뎁스 방향 성분의 값(Z_UC)을 추출하여 상단중심점(P_TU)의 z축 상의 좌표값으로 결정한다.

그리고, 다시 도 18에서, 무게중심의 x성분 및 y성분인 X_G 및 Y_G를 하단중심점의 x축 및 y축 상의 좌표값으로 결정하고, 좌표 (X_G, Y_G)의 데이터를 중심으로 하는 미리 설정된 크기의 영역(R_z2) 내에 존재하는 데이터들에 대해, 도 19에 도시된 바와 같이 가장 많이 분포하는 뎁스 방향 성분의 값(Z_LC)을 추출하여 하단중심점(P_TL)의 z축 상의 좌표값으로 결정한다.

상기한 바와 같이 상단중심점(P_TU)과 하단중심점(P_TL)을 각각 추출하여 도 19에 도시된 바와 같이 상기 상단중심점(P_TU)과 하단중심점(P_TL)을 연결하는 몸통중심선(LC)을 추출한다(도 15의 플로우차트 상의 S68 단계).

그리고, 도 18에 도시된 바와 같이, 하단중심점 추출을 위한 영역인 R_z2 영역 내의 데이터들에 대해 최대 x값(X_max) 및 최소 x값(X_min)을 구하고 (X_max - X_min)/2의 값을 몸통반지름으로서 산출한다(도 17의 플로우차트 상의 S69 단계).

상기한 바와 같이 몸통중심선과 몸통 반지름을 추출하면 이를 이용하여 사용자의 몸통 영역을 검출할 수 있는데, 도 19에 도시된 바와 같이 몸통 중심선(LC)을 중심으로 상기 몸통 반지름(R_T)의 범위, 즉 몸통 대상 영역(ROT) 내에 존재하는 데이터들을 사용자의 몸통 영역으로서 검출한다(도 17의 플로우차트 상의 S70 단계).

팔 영역 검출

한편, 도 20을 참조하여 본 발명의 또 다른 일 실시예에 따른 뎁스 정보 분석을 통한 신체 검출 방법에 의해 사용자의 팔 영역을 검출하는 과정을 설명한다.

도 3에 도시된 바와 같은 뎁스 영상(1)에서 사용자 부분(10)을 보면 팔 부분이 몸통과 하체와 중첩되어 나타나므로 이를 추출하는 것이 매우 어렵다. 특히 골프 스윙의 경우 사용자의 동작 중 가장 크고 빠르게 움직이는 부분이 팔 부분이므로 뎁스 영상 상에서 팔 부분의 데이터가 불안정하게 취득되거나 일부 데이터가 손실되는 경우가 많기 때문에 팔 영역의 직접적 검출은 매우 어렵거나 정확성이 많이 떨어지게 된다.

본 발명에 따른 신체 검출 방법은 상기한 바와 같이 팔 영역을 직접적으로 검출하는 것이 아니라 다른 신체 부위들을 모두 검출하여 이를 제거하고 남은 부분을 팔 영역으로서 검출하는 것을 특징으로 한다.

즉, 도 20에 도시된 바와 같이, 사용자의 정면에 설치된 뎁스 영상 취득부에 의해 뎁스 영상을 취득하고(S71), 그 취득된 뎁스 영상으로부터 사용자 부분을 추출하여(S72), 사용자 부분에서 사용자의 머리 영역 검출 및 그 검출된 머리 영역에 해당하는 데이터를 삭제한다(S73).

그리고 사용자 부분에서 사용자의 하체 영역 검출 및 그 검출된 하체 영역에 해당하는 데이터를 삭제하고(S74), 사용자 부분에서 사용자의 몸통 영역 검출 및 그 검출된 몸통 영역에 해당하는 데이터를 삭제하여(S75), 최종적으로 남은 데이터를 사용자의 팔 영역으로서 검출한다(S76).

사용자 부분에 대해 머리 영역, 하체 영역 및 몸통 영역을 각각 검출하여 삭제한 후에도 노이즈가 남아 있을 수 있는데, 이 경우에는 전체 데이터에 대한 평균과 공분산을 산출하고 이를 이용하여 모든 데이터의 마할라노비스 거리값을 산출함으로써 평균에 가까운 거리값을 갖는 데이터들을 추출하는 방법으로써 팔 영역을 검출할 수도 있다. 데이터의 평균, 공분산 및 마할라노비스 거리에 관한 구체적인 사항은 도 18을 통해 설명한 바 있으므로 생략하도록 한다.

이상 설명한 바와 같이 본 발명에 따른 신체 검출 방법은 사용자의 개인 특성에 따라 뎁스 영상상에서 사용자가 예측 불가능한 임의의 형상으로 나타나는 경우나 여러 신체 부위가 온전하게 드러나지 않는 자세의 경우는 물론, 골프 스윙 모션과 같이 빠른 움직임에도 사용자의 머리, 하체, 몸통, 팔 등의 신체 부위를 정확하게 검출할 수 있고, 다수 프레임에 대해 각각 신체 부위를 검출함에 따라 그 검출된 신체 부위를 추적할 수 있다.

Claims

획득된 뎁스 영상으로부터 사용자 부분을 추출하는 단계;
상기 추출된 사용자 부분의 상단으로부터 관심 영역을 설정함으로써 사용자의 머리 영역을 검출하는 단계;
상기 추출된 사용자 부분의 하단 위치와 상기 사용자 부분의 무게중심 위치에 따라 설정되는 영역에서 사용자의 하체 영역을 검출하는 단계;
상기 검출된 머리 영역의 하단으로부터 상기 무게중심까지의 영역에서 사용자의 몸통 영역을 검출하는 단계; 및
상기 사용자 부분에서 상기 검출된 머리 영역, 하체 영역 및 몸통 영역을 제거하고 남은 데이터들을 사용자의 팔 영역으로서 검출하는 단계;
를 포함하는 뎁스 영상 분석을 통한 신체 검출 방법.
제1항에 있어서, 상기 머리 영역을 검출하는 단계는,
상기 설정된 관심 영역 내의 데이터들의 뎁스 정보로부터 가장 많이 분포하는 뎁스 정보를 갖는 데이터를 기준으로 미리 설정된 범위 내의 데이터들을 유효 머리 데이터로서 추출하는 단계와,
상기 유효 머리 데이터로부터 머리 중심 위치 및 머리 반지름을 산출함으로써 사용자의 머리 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
제1항에 있어서, 상기 머리 영역을 검출하는 단계는,
상기 관심 영역 내의 데이터들의 뎁스 정보를 이용하여 머리 관찰 데이터를 추출하는 단계와,
상기 머리 관찰 데이터에 대해 이전에 추출된 머리 중심 위치에 가까울수록 높은 값을 갖도록 가중치를 적용하여 새로운 머리 중심 위치를 산출하는 단계와,
상기 새로운 머리 중심 위치를 기준으로 상기 관심 영역, 머리 관찰 데이터 및 가중치를 갱신함으로써 머리 중심 위치를 보정하는 단계와,
상기 보정된 머리 중심 위치를 중심으로 하는 사용자의 머리 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
제1항에 있어서, 상기 하체 영역을 검출하는 단계는,
상기 추출된 사용자 부분의 데이터들의 뎁스 방향 성분을 포함한 2차원 평면상에서 사용자 부분의 하단과 무게중심 사이의 데이터로부터 미리 설정된 영역 내의 하체 모델링 데이터를 추출하는 단계와,
상기 하체 모델링 데이터에 대해 미리 설정된 배수만큼 확장된 영역 내에 존재하는 데이터들 중 통계적 분석을 통해 유효 하체 데이터를 추출하는 단계와,
상기 하체 모델링 데이터 및 상기 유효 하체 데이터를 사용자의 하체 영역으로서 검출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
제1항에 있어서, 상기 몸통 영역을 검출하는 단계는,
상기 검출된 머리 영역의 하단으로부터 사용자의 몸통 검출을 위한 상단중심점을 추출하고 상기 무게중심을 하단중심점으로 하여, 상기 상단중심점과 하단중심점을 연결하는 몸통 중심선을 추출하는 단계와,
상기 하단중심점 주변의 미리 설정됨 범위 내의 데이터로부터 몸통 반지름을 산출하고 상기 몸통 중심선을 중심으로 상기 몸통 반지름의 범위 내의 데이터들을 추출함으로써 사용자의 몸통 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
사용자에 대한 뎁스 영상을 취득하는 뎁스 영상 취득부에 의해 획득된 뎁스 영상으로부터 사용자 부분을 추출하는 단계;
상기 추출된 사용자 부분의 상단으로부터 미리 설정된 크기의 관심 영역을 설정하고 상기 설정된 관심 영역 내의 데이터를 추출하는 단계;
상기 추출된 관심 영역 내의 데이터들 중 가장 많이 분포하는 뎁스값을 기준으로 미리 설정된 범위 내의 데이터들을 유효 머리 데이터로서 추출하는 단계; 및
상기 유효 머리 데이터로부터 머리 중심 위치 및 머리 반지름을 산출함으로써 사용자의 머리 영역을 검출하는 단계;
를 포함하는 뎁스 영상 분석을 통한 신체 검출 방법.
제6항에 있어서, 상기 유효 머리 데이터로서 추출하는 단계는,
상기 관심 영역 내의 데이터들 중 상기 뎁스 영상 취득부에 가장 가까운 뎁스값을 추출하는 단계와,
상기 가장 가까운 뎁스값으로부터 미리 설정된 범위 내의 데이터들 중 가장 많이 분포하는 뎁스값을 주요뎁스값으로서 결정하는 단계와,
상기 주요뎁스값을 기준으로 미리 설정된 범위 내의 데이터들을 유효 머리 데이터로서 추출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
제6항에 있어서, 상기 머리 중심 위치 및 머리 반지름을 산출하는 단계는,
상기 유효 머리 데이터들의 3차원 위치 정보에 대한 평균위치 정보를 상기 머리 중심 위치로서 산출하는 단계와,
상기 유효 머리 데이터의 개수를 원의 면적으로 하여 계산된 반지름을 상기 머리 반지름으로서 산출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
획득된 뎁스 영상으로부터 사용자 부분을 추출하는 단계;
이전의 사용자 머리 영역 검출 과정에서 추출된 머리 중심 위치를 기준으로 미리 설정된 크기의 대상 영역을 설정하는 단계;
상기 대상 영역 내의 데이터들의 뎁스 정보를 이용하여 사용자의 머리 영역 검출을 위한 머리 관찰 데이터를 추출하는 단계;
상기 머리 관찰 데이터에 대해 상기 이전 머리 중심 위치에 가까울수록 높은 값을 갖도록 가중치를 적용하여 중심 좌표 위치를 추출하는 단계; 및
상기 중심 좌표 위치를 이용하여 머리 중심 위치를 추출함으로써 사용자의 머리 영역을 검출하는 단계;
를 포함하는 뎁스 영상 분석을 통한 신체 검출 방법.
제9항에 있어서, 상기 머리 관찰 데이터를 추출하는 단계는,
상기 대상 영역 내에서, 상기 이전 머리 중심 위치를 기준으로 미리 설정된 뎁스 범위 내의 데이터들의 총 개수가 이전에 산출된 머리 반지름에 따른 원의 면적보다 더 크게 될 때까지 상기 뎁스 범위를 미리 설정된 단위씩 증가시키는 단계와,
상기 미리 설정된 단위씩 증가되는 뎁스 범위 내의 데이터들의 총 개수가 상기 머리 반지름에 따른 원의 면적보다 더 크게 될 때의 뎁스 범위를 관찰 뎁스 범위라 하고, 상기 관찰 뎁스 범위 내의 데이터들을 상기 머리 관찰 데이터로서 추출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
제9항에 있어서, 상기 가중치를 적용하여 중심 좌표 위치를 추출하는 단계는,
상기 이전 머리 중심 위치의 좌표 정보와 상기 머리 관찰 데이터의 각 데이터들의 좌표 정보를 이용하여 상기 이전 머리 중심 위치에 가까울수록 더 큰 값을 갖도록 하는 가중치 정보를 산출하는 단계와,
상기 산출된 가중치 정보를 상기 머리 관찰 데이터의 각 데이터들에 적용하는 단계와,
상기 가중치가 적용된 데이터들의 중심 위치를 상기 중심 좌표 위치로서 추출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
제9항에 있어서, 상기 사용자의 머리 영역을 검출하는 단계는,
상기 중심 좌표 위치를 기준으로 상기 대상 영역, 머리 관찰 데이터 및 가중치를 갱신하여 상기 중심 좌표 위치를 보정함으로써, 상기 보정된 중심 좌표 위치를 머리 중심 위치로 하는 사용자의 머리 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
제9항에 있어서, 상기 사용자의 머리 영역을 검출하는 단계는,
상기 중심 좌표 위치를 n-1차 중심 좌표 위치라 할 때,
상기 n-1차 중심 좌표 위치를 기준으로 상기 대상 영역을 갱신하여 n-1차 대상 영역을 설정하는 단계와,
상기 n-1차 대상 영역에 기초하여 상기 머리 관찰 데이터를 갱신하여 n-1차 머리 관찰 데이터를 추출하는 단계와,
상기 n-1차 머리 관찰 데이터에 기초하여 상기 가중치를 갱신하여 n-1차 가중치 정보를 산출하는 단계와,
상기 n-1차 머리 관찰 데이터에 상기 n-1차 가중치를 적용하고 상기 n-1차 가중치가 적용된 데이터들의 중심 위치를 n차 중심 좌표 위치로서 추출하는 단계와,
상기 과정들을 반복하여 m차 중심 좌표 위치를 추출하고, 상기 n차로부터 m차까지 중심 좌표 위치가 실질적으로 변화가 없는 경우에 상기 m차 중심 좌표 위치를 머리 중심 위치로서 결정하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법(여기서 n과 m은 자연수이며, 1 < n < m의 관계가 성립함).
초기 프레임의 뎁스 영상을 획득하여 뎁스 영상상의 사용자 부분으로부터 머리 영역을 검출하여 초기 머리 영역의 머리 중심 위치 및 머리 반지름을 산출하는 단계; 및
후속 프레임의 뎁스 영상에 관하여, 상기 초기 머리 중심 위치를 중심으로 상기 초기 머리 중심 위치에 가까울수록 높은 값을 갖도록 하는 가중치를 적용한 데이터들의 중심 좌표 위치를 반복 추출하여 갱신하되, 갱신되는 중심 좌표 위치에 실질적으로 변화가 없게 되는 경우 해당 중심 좌표 위치를 머리 중심 위치로 하여 상기 머리 반지름에 해당하는 머리 영역을 상기 후속 프레임의 뎁스 영상상의 사용자 머리 영역으로서 검출하는 단계;
를 포함하는 뎁스 영상 분석을 통한 신체 검출 방법.
사용자의 정면에 설치된 뎁스 영상 취득부에 의해 뎁스 영상을 획득하는 단계;
상기 획득된 뎁스 영상으로부터 사용자 부분을 추출하는 단계;
상기 추출된 사용자 부분의 데이터들의 뎁스 방향 성분을 포함한 2차원 평면상의 데이터로부터 미리 설정된 구간 내의 데이터들에 대한 위치 정보를 추출하는 단계; 및
상기 미리 설정된 구간 내의 데이터들에 대한 평균과 공분산 정보를 이용한 통계적 분석을 통해 사용자의 하체 영역을 검출하는 단계;
를 포함하는 뎁스 영상 분석을 통한 신체 검출 방법.
제15항에 있어서, 상기 2차원 평면상의 데이터로부터 미리 설정된 구간 내의 데이터들에 대한 위치 정보를 추출하는 단계는,
상기 추출된 사용자 부분의 무게중심을 추출하는 단계와,
수직 방향 성분인 y성분과 뎁스 방향 성분인 z성분에 의한 2차원 평면 상에서 상기 무게중심으로부터 상기 무게중심과 상기 사용자 부분의 하단의 평균 위치까지의 범위를 하체 모델링 구간으로서 설정하는 단계와,
상기 하체 모델링 구간 내의 데이터들을 사용자의 하체 영역에 포함되는 하체 모델링 데이터로서 추출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
제15항에 있어서, 상기 통계적 분석을 통해 사용자의 하체 영역을 검출하는 단계는,
상기 하체 모델링 구간을 미리 설정된 배수만큼 확장한 구간인 하체 조사 구간을 설정하는 단계와,
상기 하체 모델링 데이터에 대한 평균 및 공분산 정보를 산출하는 단계와,
상기 평균 및 공분산을 기초로 상기 하체 모델링 데이터의 평균에 근접한 범위를 설정하여 상기 하체 조사 구간 내의 데이터들에 대해 상기 설정 범위에 해당하는 데이터들을 유효 하체 데이터로서 추출하는 단계와,
상기 하체 모델링 데이터 및 상기 유효 하체 데이터를 사용자의 하체 영역으로서 검출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
제17항에 있어서, 상기 유효 하체 데이터로서 추출하는 단계는,
상기 하체 모델링 데이터에 대한 평균 및 공분산을 기초로 상기 하체 조사 구간 내의 데이터들의 마할라노비스 거리(Mahalanobis Distance) 정보를 산출하는 단계와,
상기 유효 하체 데이터에 포함되는 마할라노비스 거리값의 범위인 유효 거리값 범위를 설정하는 단계와,
상기 설정된 유효 거리값 범위 내의 데이터들을 상기 유효 하체 데이터로서 추출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
획득된 뎁스 영상으로부터 추출된 사용자 부분에서 사용자의 머리 영역을 검출하는 단계;
상기 추출된 사용자 부분의 무게중심을 산출하는 단계;
상기 검출된 머리 영역의 하단을 기준으로 그 아래의 미리 설정된 영역 내에서 사용자의 몸통 검출을 위한 상단중심점을 추출하고 상기 무게중심을 기준으로 그 아래의 미리 설정된 영역 내에서 사용자의 몸통 검출을 위한 하단중심점을 추출하여, 상기 상단중심점과 하단중심점을 연결하는 몸통 중심선을 추출하는 단계;
상기 하단중심점 주변의 미리 설정됨 영역 내의 데이터들로부터 몸통 반지름을 산출하는 단계; 및
상기 몸통 중심선을 중심으로 상기 몸통 반지름의 범위 내의 데이터들을 추출함으로써 사용자의 몸통 영역을 검출하는 단계;
를 포함하는 뎁스 영상 분석을 통한 신체 검출 방법.
제19항에 있어서, 상기 상단중심점을 추출하는 단계는,
상기 검출된 머리 영역의 하단을 기준으로 미리 설정된 영역 내의 데이터들의 평균 위치를 산출하는 단계와,
상기 평균 위치를 기준으로 미리 설정된 영역을 설정하고 그 설정 영역 내에서 가장 많이 분포하는 뎁스 방향 성분의 값을 상기 상단중심점으로서 추출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
제19항에 있어서, 상기 하단중심점을 추출하는 단계는,
상기 무게중심을 기준으로 미리 설정된 영역을 설정하고 그 설정 영역 내에서 가장 많이 분포하는 뎁스 방향 성분의 값을 상기 하단중심점으로서 추출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 신체 검출 방법.
사용자의 동작에 대한 뎁스 영상을 취득하는 뎁스 영상 취득부; 및
상기 취득된 뎁스 영상으로부터 사용자 부분을 추출하며,
상기 추출된 사용자 부분의 상단으로부터 관심 영역을 설정함으로써 사용자의 머리 영역을 검출하는 머리 영역 검출 수단과,
상기 추출된 사용자 부분의 하단으로부터 상기 사용자 부분의 무게중심까지의 영역에서 사용자의 하체 영역을 검출하는 하체 영역 검출 수단과,
상기 검출된 머리 영역의 하단으로부터 상기 무게중심까지의 영역에서 사용자의 몸통 영역을 검출하는 몸통 영역 검출 수단과,
상기 사용자 부분에서 상기 검출된 머리 영역, 하체 영역 및 몸통 영역을 제거하고 남은 데이터들을 사용자의 팔 영역으로서 검출하는 팔 영역 검출 수단을 포함하는 뎁스 영상 분석부;
를 포함하는 사용자 신체 검출을 위한 뎁스 정보 분석 장치.
제22항에 있어서, 상기 머리 영역 검출 수단은,
일 프레임의 뎁스 영상으로부터 추출된 사용자 부분의 상단으로부터 설정된 상기 관심 영역 내에서 유효 뎁스 범위를 결정하여 상기 유효 뎁스 범위 내의 유효 머리 데이터로부터 머리 중심 위치 및 머리 반지름을 산출함으로써 1차 사용자 머리 영역을 검출하는 제1 머리 검출 수단과,
다음 프레임의 뎁스 영상으로부터 추출된 사용자 부분에 대해 상기 검출된 1차 사용자 머리 영역에 가까울수록 더 높은 값의 가중치 정보를 적용하여 생성된 데이터들의 중심 좌표 위치를 추출하고, 상기 추출된 중심 좌표 위치를 기준으로 상기 가중치 정보를 갱신 적용함으로써 추출된 중심 좌표 위치를 머리 중심 위치로 하여 상기 머리 반지름을 적용한 2차 사용자 머리 영역을 검출하는 제2 머리 검출 수단을 포함하는 것을 특징으로 하는 사용자 신체 검출을 위한 뎁스 정보 분석 장치.
제22항에 있어서, 상기 하체 영역 검출 수단은,
수직 방향 성분인 y 성분과 뎁스 방향 성분인 z성분에 대한 y-z 평면상에서 상기 사용자 부분의 하단 위치와 상기 무게중심의 위치에 따라 설정되는 영역 내에 존재하는 데이터들의 평균 및 공분산으로부터 상기 평균에 가장 가까운 소정 범위 내의 데이터들의 집합을 추출함으로써 사용자의 하체 영역으로서 검출하도록 구성되는 것을 특징으로 하는 사용자 신체 검출을 위한 뎁스 정보 분석 장치.