KR20130018004A

KR20130018004A - 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템

Info

Publication number: KR20130018004A
Application number: KR1020110080799A
Authority: KR
Inventors: 신기선; 윤형식; 박현진; 이기혁; 이승환; 허성국; 최상원
Original assignee: (주) 골프존; 한국과학기술원
Priority date: 2011-08-12
Filing date: 2011-08-12
Publication date: 2013-02-20
Also published as: KR101256046B1; WO2013025011A1

Abstract

본 발명의 실시예에 따른 신체 트래킹 시스템은 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라 및 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 자세를 순차적으로 특정하는 트래킹 처리부를 포함할 수 있다. 카메라는 색상 정보를 제공하는 2D 카메라, 깊이 정보를 제공하는 3D 카메라 또는 색상 정보와 깊이 정보를 함께 제공하는 하이브리드 카메라 중 어느 하나일 수 있다. 트래킹 처리부는 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부, 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 픽셀들의 분포로부터 좌우 어깨 위치에서 각각 연장되는 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부 및 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함할 수 있다.

Description

공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템{METHOD AND SYSTEM FOR BODY TRACKING FOR SPATIAL GESTURE RECOGNITION}

본 발명은 동작 인식에 관한 것으로, 더욱 상세하게는, 3차원 환경 내에서 사용자의 신체 부위를 추적하는 동작 인식에 관한 것이다.

특별한 인터페이스 디바이스를 장착하지 않고도 기계를 조작할 수 있도록 사용자의 제스처 인식을 이용하는 맨-머신 인터페이스가 다양하게 개발 및 활용되고 있다. 특히 마이크로소프트사의 키넥트가 일반 소비자용으로 출시된 이후에는 실험실 수준에서 구현하거나 고가의 특수 용도의 장비에서나 가능하던 3차원 공간 제스처 인식 기능을 저렴하면서 좀더 쉽게 실현할 수 있게 되었다.

통상적으로 맨-머신 인터페이스는 사용자가 메뉴가 디스플레이된 화면을 보면서 특정 동작을 유발하는 메뉴를 선택하거나 아이템을 조작하는 방식으로 이루어지므로, 화면을 향하고 있는 사용자의 신체 및 동작을 가장 잘 관찰할 수 있도록 화면에 인접하여 설치된 카메라를 통해 촬영한 사용자의 정면 이미지에 기초한다.

그런데, 스크린 골프와 같은 특정 응용 분야에서는 화면과 사용자의 거리가 상대적으로 멀어 사용자의 제스처를 공간적으로 에러 없이 해석하기 곤란하거나, 사용자의 주변에서 일어나는 움직임들이 촬영을 방해할 수 있다거나, 카메라 쪽을 향해 물건이 투척될 수 있다거나 하는 상황이 빈번하게 발생할 수 있다.

본 발명이 해결하고자 하는 과제는 사용자의 머리 위에 설치된 카메라를 이용하여 사용자의 신체 부위를 트래킹함으로써 공간 제스처를 인식하는 방법 및 시스템을 제공하는 데에 있다.

본 발명의 일 측면에 따른 신체 트래킹 시스템은, 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라; 및 상기 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 손의 자세를 순차적으로 특정하는 트래킹 처리부를 포함할 수 있다.

일 실시예에 따라, 상기 카메라는 색상 정보를 제공하는 2D 카메라, 깊이 정보를 제공하는 3D 카메라 또는 색상 정보와 깊이 정보를 함께 제공하는 하이브리드 카메라 중 어느 하나일 수 있다.

일 실시예에 따라, 상기 트래킹 처리부는, 상기 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부; 상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 각각 연장되는 경계선을 따라 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부; 및 상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함할 수 있다.

일 실시예에 따라, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고, 상기 머리 탐색부는 상기 신체 영상 중에서 국부적으로 또는 전역으로 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 포함하는 일정 영역을 머리 위치로 특정하도록 동작할 수 있다.

일 실시예에 따라, 상기 머리 위치는 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 중심으로 하여, 깊이 정보가 소정 범위 내에 있는 픽셀들을 포함하거나, 또는 깊이 정보가 소정 값보다 크게 변하는 경계선 이내에 있는 픽셀들을 포함할 수 있다.

일 실시예에 따라, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고, 상기 팔 탐색부는 상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에 신체의 경계를 이루는 픽셀을 찾는 동작을 반복함으로써 팔 영역을 탐색하도록 동작할 수 있다.

일 실시예에 따라, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고, 상기 팔 탐색부는 상기 특정된 머리 위치 주변에서 깊이 정보가 소정 범위 내에 있는 픽셀들로써 어깨 영역을 특정하고, 상기 머리 위치를 중심으로 소정 크기의 원과 상기 특정된 어깨 영역의 경계선이 만나는 지점을 상기 좌우 어깨 위치로 특정하며, 상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에서 신체의 경계를 이루는 픽셀들을 찾는 동작을 반복함으로써 팔 영역을 탐색하도록 동작할 수 있다.

일 실시예에 따라, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고, 상기 손 탐색부는 상기 손 영역에 중첩한 원이 만나는 픽셀들의 픽셀 값 변화에 기초하여, 또는 상기 손 영역의 경계선을 이루는 픽셀들의 개수에 기초하여 손의 자세를 펴거나 쥐는 자세 중 하나로 특정하도록 동작할 수 있다.

일 실시예에 따라, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고, 상기 팔 탐색부는 상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 픽셀 값들의 합이 최대가 될 때에 상기 가상의 직선의 법선 방향을 몸통의 방향으로 특정하도록 동작할 수 있다.

본 발명의 다른 측면에 따른 신체 트래킹 시스템은, 사용자 머리 위쪽에서 사용자를 내려다 보는 화각으로 촬영된 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부; 상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 픽셀들의 분포로부터 상기 좌우 어깨 위치에서 각각 연장되는 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부; 및 상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함할 수 있다.

본 발명의 또 다른 측면에 따른 신체 트래킹 시스템은, 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라; 상기 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 손의 자세를 순차적으로 특정하는 트래킹 처리부; 상기 특정된 머리 위치, 팔의 위치, 손의 위치 및 손의 자세에 기초하여 사용자의 제스처를 판정하는 제스처 판정부; 상기 판정된 제스처에 따른 명령을 수행하는 제어부; 상기 명령의 수행 결과에 의해 일어나는 화면 상의 변화를 처리하는 영상 처리부; 및 상기 처리된 화면을 스크린에 출력하는 영상 출력부를 포함할 수 있다.

본 발명의 다른 측면에 따른 신체 트래킹 방법은, 사용자의 머리 위쪽에 소정 이격 거리를 두고 설치된 카메라에 의해 내려다 보는 화각으로 사용자의 머리, 어깨, 팔 및 손이 포함된 신체 영상을 획득하는 단계; 상기 신체 영상 중에서 머리 위치를 특정하는 단계; 상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 각각 연장되는 경계선을 따라 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 단계; 및 상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 단계를 포함할 수 있다.

일 실시예에 따라, 상기 머리 위치를 특정하는 단계는, 상기 신체 영상 중에서 국부적으로 또는 전역으로 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 포함하는 일정 영역을 머리 위치로 특정하는 단계를 포함할 수 있다.

일 실시예에 따라, 상기 팔의 위치 또는 자세를 특정하는 단계는, 상기 머리 위치 주변에서 나타나는 소정 범위의 픽셀 값들을 가진 픽셀들로써 특정된 어깨 영역을 특정하는 단계; 상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계; 및 상기 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정하는 단계를 포함할 수 있다.

일 실시예에 따라, 상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계는, 상기 머리 위치를 중심으로 소정 크기의 원과 상기 어깨 영역의 경계선이 만나는 지점을 상기 좌우 어깨 위치로 특정하는 단계를 포함할 수 있다.

일 실시예에 따라, 상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계는, 상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 픽셀 값들의 합이 최대가 될 때에 상기 가상의 직선이 상기 어깨 영역의 경계선과 만나는 지점을 상기 좌우 어깨 위치로 특정하는 단계를 포함할 수 있다.

일 실시예에 따라, 상기 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정하는 단계는, 상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에 신체의 경계를 이루는 픽셀을 찾는 동작을 반복함으로써 팔 영역을 탐색하는 단계를 포함할 수 있다.

일 실시예에 따라, 상기 손의 위치 또는 자세를 특정하는 단계는, 상기 손 영역에 중첩한 원이 만나는 픽셀들의 픽셀 값 변화에 기초하여, 또는 상기 손 영역의 경계선을 이루는 픽셀들의 개수에 기초하여 손의 자세를 펴거나 쥐는 자세 중 하나로 특정하는 단계를 포함할 수 있다.

일 실시예에 따라 상기 신체 트래킹 방법은, 상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 픽셀 값들의 합이 최대가 될 때에 상기 가상의 직선의 법선 방향을 몸통의 방향으로 특정하는 단계를 더 포함할 수 있다.

본 발명의 신체 트래킹 방법 및 시스템에 따르면, 사용자 주변에서 움직이는 사람들의 영향이나, 조작 중에 물체의 투척이나 이탈로 인한 장치의 파손 위험, 제스처 방향의 제한을 극복할 수 있다.

또한, 본 발명의 신체 트래킹 방법 및 시스템에 따르면, 몸과 환경의 경계를 기준으로 하여 연산 요구량이 적고, 사용자의 머리 위에서 촬영한 영상을 기초로 하므로 사용자의 키나 몸집, 손의 크기, 복장, 구부려 앉거나 곳게 선 자세 등에 영향을 받지 않거나 상대적으로 강인할 수 있다.

도 1은 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 방법 및 시스템을 개념적으로 설명하기 위한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 시스템의 트래킹 처리부를 예시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 방법을 예시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 천장 카메라로 촬영된 3D 영상으로부터 머리에 해당하는 위치를 추출하는 절차를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 손 동작에 따른 제스처를 인식하기 위해 팔과 손을 찾는 절차를 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 손의 위치를 파악한 후에 손 모양을 판단하는 절차를 예시한 도면이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 방법 및 시스템을 개념적으로 설명하기 위한 구성도이다.

도 1을 참조하면, 신체 트래킹 시스템(10)은 사용자(11), 스크린(12), 카메라(13), 트래킹 처리부(14)로써 예시적으로 설명될 수 있다.

사용자(11)는 적어도 두부가 나머지 신체보다 높이 위치할 수 있도록 직립 자세를 취하거나, 또는 무릎을 굽히더라도 상체는 머리가 어깨보다 높게 편한 자세를 취한 상태로 스크린(12) 앞에 서 있다.

스크린(12)에는 사용자(11)가 선택하고자 하는 메뉴나 조작하고자 하는 아이템이 표시되어 있어서, 사용자(11)는 스크린(12)을 보면서 팔과 손으로 특정한 제스처를 취하여 원하는 메뉴 또는 아이템을 선택하거나, 이동 내지 회전하는 등의 동작을 개시할 수 있다.

이를 위해, 사용자(11)의 신체를 촬영하는 카메라(13)가 사용자(11)의 정수리 위쪽에서 소정의 이격 거리를 두고 바닥면을 향하도록, 예를 들어 천장 구조물에 고정적으로, 또는 이동식으로 설치된다.

카메라(13)는 방향이나 촬영 각도와 화각을 변경할 수 있는 PTZ(pan, tilt, zoom) 카메라일 수 있다.

또한 카메라(13)는 2D 영상을 획득할 수 있는 가시광선 또는 적외선 카메라이거나, 피사체의 깊이 정보를 가진 3D 영상을 얻을 수 있는 구조광(structured light) 방식 또는 TOF(time of flight) 방식의 3D 카메라, 또는 이러한 2D 카메라와 3D 카메라의 조합을 통해 RGBD(Red, Green, Blue, Depth) 정보를 가진 하이브리드 영상을 얻을 수 있는 복합 카메라로 구현될 수 있다.

카메라(13)의 높이는 카메라(13)로 촬영한 영상에서 사용자(11)의 머리, 어깨, 팔을 충분히 구분할 수 있고 사용자(11)의 움직임을 방해하지 않으면서 너무 큰 공간을 차지하지는 않을 정도로 선택될 수 있다. 예를 들어, 카메라(13)가 2D 가시광선 카메라인 경우에, 렌즈의 특성에 따라, 카메라(13)가 사용자(11)의 머리에 너무 가까우면 사용자(11)의 머리가 실제보다 과장되게 촬상되어, 어깨나 팔을 식별하기 어려울 수 있다. 또는 카메라(13)가 구조광 방식 또는 TOF 방식의 3D 카메라를 포함하는 경우에는 구조광이 사용자(11)의 머리, 어깨, 팔에 충분히 조사될 수 있는 거리 또는 조사광의 왕복 시간이 피사체와의 간격을 판독할 수 있는 최소 시간보다 크게 카메라(13)의 높이가 선택될 수 있다.

카메라(13)는 천장에서 바닥면을 향한 상태로 사용자(11)의 정수리를 중심으로 하는 머리, 어깨, 팔과 손이 모두 영상에 포함되도록 사용자(11)의 신체 영상을 획득한다. 카메라(13)의 종류와 구성에 따라, 사용자(11)의 영상은 2D 영상, 3D 영상 또는 RGBD 하이브리드 영상 중 어느 하나가 될 수 있다.

트래킹 처리부(14)는 카메라(13)로 획득한 신체 영상, 즉 2D 영상, 3D 영상 또는 하이브리드 영상 중 하나에 기초하여 머리, 팔, 손의 위치 및 자세를 순차적으로 특정함으로써 제스처를 판정하기 위한 영상 처리를 수행할 수 있다.

이렇게 특정된 머리, 팔과 손의 위치 및 자세에 관한 정보는 시간적 내지 공간적으로 분석됨으로써 추후에 제스처 인식에 이용될 수 있다.

도 2는 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 시스템을 예시한 블록도이다.

도 2를 참조하면, 신체 트래킹 시스템(10)은 카메라(13), 트래킹 처리부(14), 제스처 판정부(15), 제어부(16), 메모리(17), 영상 처리부(18), 영상 출력부(19)를 포함할 수 있다.

카메라(13)에서 취득한 2D 영상, 3D 영상 또는 하이브리드 신체 영상은 트래킹 처리부(14)에 인가된다.

트래킹 처리부(14)는 2D 영상, 3D 영상 또는 하이브리드 영상 중 하나에 기초하여 머리, 팔, 손의 위치 및 자세를 순차적으로 특정함으로써 제스처를 판정하기 위한 영상 처리를 수행할 수 있다.

구체적으로, 트래킹 처리부(14)의 머리 탐색부(141)는 2D 영상, 3D 영상 또는 하이브리드 영상을 기초로 사용자(11)의 머리 위치와 몸통의 방향을 특정하고, 팔 탐색부(142)는 두 팔의 위치와 자세를 특정하며, 손 탐색부(143)는 팔의 끝부분에서 손의 위치 및 자세를 특정할 수 있다.

트래킹 처리부(14)는 특정된 머리 위치, 몸통 방향, 팔의 위치와 자세, 손의 위치 및 자세 정보 중 적어도 하나 또는 그 조합을 제스처 판정부(15)로 전달한다.

제스처 판정부(15)는 트래킹 처리부(14)에서 전달된 정보들을 기초로 제스처를 판정하며, 판정된 제스처에 따라 지정된 명령이 제어부(16)에 입력된다.

제어부(16)는 메모리(17)에 저장된 프로그램 내지 데이터에 대해 명령을 수행하고, 영상 처리부(18)는 그러한 명령의 수행 결과 일어나는 화면 상의 변화를 생성한다. 변화된 화면은 영상 출력부(19)에 의해 스크린(12)에 표시될 수 있다.

도 3은 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 방법을 예시한 순서도이다.

도 3을 참조하면, 제스처 인식을 위한 신체 트래킹 방법은, 먼저 단계(S31)에서, 사용자(11)의 머리 위쪽에 소정 이격 거리를 두고 설치된 카메라(13)에 의해 내려다 보는 화각으로 사용자(11)의 머리, 어깨, 팔 및 손이 포함된 신체 영상을 획득한다.

이어서, 단계(S32)에서는, 신체 영상 중에서 머리 위치를 머리 영역 내지 머리 중심 좌표로써 특정한다.

이때, 두부가 식별되지 않으면, 카메라(13)는 촬영을 종료하고 오류 메시지를 내거나, 위치 또는 방향, 화각을 변경하면서 두부가 식별되는 영상을 얻을 때까지 촬영을 반복할 수 있다.

2D 영상인 경우에는 머리 부위의 특징점(features), 예를 들어 귀나, 코와 같은 돌출 부위들을 추출하여 머리 영역을 식별하고 그 중심 좌표를 도출하여 머리 중심 좌표를 특정할 수 있다.

3D 영상 또는 하이브리드 영상의 경우에는, 깊이 정보를 픽셀 값으로 하는 히스토그램을 이용하여 영상 내에서 국부적으로 또는 전역으로 카메라에 가장 가깝게 측정된 픽셀의 좌표, 즉 머리 중심 좌표를 찾을 수 있다. 나아가, 머리 중심 좌표를 중심으로 특정 깊이 값 이내의 영역이나, 머리 중심 좌표를 중심으로 깊이 값이 급격하게 변하는 경계선 안쪽의 영역, 또는 머리 중심 좌표를 중심으로 한 소정 크기의 원형 내지 타원형 영역을 머리 영역이라고 특정할 수 있다.

특히, 이전 프레임에서 머리 영역이나 좌표가 특정된 경우에, 이후의 프레임에서는, 이전 프레임의 머리 영역이나 머리 중심 좌표의 일정 범위 이내부터 우선적으로 머리 영역이나 머리 중심 좌표를 찾는 연산을 시작할 수 있다.

다만, 사용자(11)가 손을 머리보다 높게 들고 있다면 국부적이나 전역에서 카메라에 가장 가깝게 측정된 픽셀은 머리가 아닌 손에 해당할 것이므로, 이러한 오류를 피하기 위해, 선택된 영역의 면적이 소정 값 이하라면 머리 영역으로 판정하지 않을 수 있다.

이러한 단계(S32)를 설명하기 위해 도 4를 잠시 참조하면, 도 4는 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 천장 카메라로 촬영된 3D 영상으로부터 머리에 해당하는 위치를 추출하는 절차를 예시한 도면이다.

사용자(11)의 정수리 위쪽에서 획득한 신체 영상은 머리 부분이 카메라(13)에 가장 가까워 픽셀 값들이 밝게 표현되고, 나머지 몸통 부위들이 카메라(13)와의 거리에 따라 어두워지는 픽셀 값들로써 표현되어 있다.

사용자(11)가 자신의 눈높이에 설치된 스크린을 자연스럽게 바라보는 상황을 가정하면, 사용자(11)의 정수리 위쪽에서 획득된 신체 영상의 히스토그램을 분석하면 가장 밝은 픽셀이 위치한 좌표가 정수리에 해당하는 머리 중심 좌표로 간주될 수 있다.

이러한 정수리로 간주되는 머리 중심 좌표를 중심으로 픽셀 값(즉 깊이 정보)이 소정 범위 내에 있는 픽셀들의 영역이나, 또는 머리 중심 좌표를 중심으로 픽셀 값이 갑자기 변하는 경계선 안쪽의 영역을 머리 영역이라고 특정할 수 있다.

또한, 위에서 보았을 때에 사람의 머리를 정수리를 중심으로 대략 원형 내지 타원형으로 단순화할 수 있는데, 본 발명의 신체 트래킹 방법은 머리 부분 영역을 대략적으로 이용할 뿐이므로, 정수리로 간주된 머리 중심 좌표를 중심으로 소정 크기의 원형 또는 타원형 영역을 머리 영역이라고 특정할 수 있다.

이를 위해 단계(S33)에서는, 머리 위치 주변에서 나타나는 소정 범위의 픽셀 값들을 가진 픽셀들로써 특정된 어깨 영역을 탐색하고, 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치를 특정한다.

이때, 만약 사용자(11)가 스크린을 등지고 있다면 사용자(11)의 제스처는 화면의 메뉴 조작을 의도한 것이 아닐 것이므로 무시되어야 하는데, 이를 위해 선택적인 단계(S34)에서는 어깨 영역에 기초하여 몸통의 각도를 더 결정할 수도 있다.

정수리에서 촬영한 사용자(11)의 신체 영상의 히스토그램을 분석하면, 머리를 제외하고 두 번째로 많이 나타나는 깊이 값들은 어깨와 목 주변에 해당할 것이므로, 이러한 범위의 깊이 값들을 갖는 픽셀들로써 어깨 영역을 특정한다.

구체적으로 예시하면, 어깨 영역만을 따로 추출한 임시 영상에서, 머리 중심 좌표를 기준으로 소정 각도씩 회전하는 선분을 가정하자. 이 선분이 소정 각도씩 회전할 때마다 만나는 어깨 영역의 픽셀들의 값들을 더하고 각각의 합산치들을 비교하면, 이 선분이 어깨 영역의 양쪽 끝부분과 만나는 경우에 이 합산치가 최대값을 가질 것이다. 이렇게 합산치를 최대로 만드는 선분이 어깨 영역과 만나는 가장 먼 픽셀들이 있는 부위가 각각 좌우 어깨의 끝이라고 할 수 있다.

따라서, 그러한 합산치를 최대로 만드는 선분에 직각을 이루는 법선이 몸통의 각도가 될 수 있다.

나아가, 사용자(11)가 메뉴 조작을 개시하기 위한 진입 제스처를 하는 시점에는 스크린(12)을 바라보고 있을 것이라고 강하게 추정할 수 있는데, 이러한 진입 제스처 시점에 어깨 영역에서 합산치를 최대로 만드는 선분에 직각을 이루는 법선을 몸의 정면 방향으로 볼 수 있다. 메뉴 조작 중에 언제라도 사용자(11)가 상체를 돌릴 수 있기 때문에, 몸통의 방향은 지속적으로 추적되어야 할 필요는 있다.

한편, 몸의 정면 방향이 결정된 후에는 이러한 정면 방향에 기초하여 어깨 영역 중에 특히 좌측 어깨 위치와 우측 어깨 위치도 특정할 수 있다.

다른 실시예에서는 예를 들어, 머리 중심 좌표 또는 머리 영역을 중심으로 하여 일정한 크기의 원을 가정하면, 이 원이 몸통의 경계와 만나는 지점을 좌우 어깨 위치로 간주할 수 있다.

다시 도 2로 돌아와서, 단계(S35)에서는, 어깨 영역의 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정한다.

구체적으로 팔 영역을 탐색하는 절차를 예시하기 위해 도 5를 참조하면, 도 5는 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 손 동작에 따른 제스처를 인식하기 위해 팔과 손을 찾는 절차를 예시한 도면이다.

좌우 어깨 위치로 간주된 픽셀부터 시작하여 인접한 픽셀들 중에 몸통의 경계선에 해당하는 픽셀들, 즉 픽셀 값이 카메라(13)로부터 팔까지의 거리에 상응하는 특정 범위 내에 있는 픽셀들을 반복적으로 탐색함으로써, 그러한 경계선에 해당하는 픽셀들로써 팔 영역을 특정한다.

예를 들어, 좌우 어깨 위치의 경계선에 있는 한 픽셀에서 시작하여, 그 픽셀의 주변에 있는 8 개의 픽셀들 중에 경계선에 있는 다음 픽셀을 찾는다. 인접한 픽셀 값이 크게 다른 픽셀 중 몸통에 해당하는 픽셀이 팔 영역의 경계선에 있는 픽셀로 결정될 수 있다.

이렇게 하여 팔의 경계선을 이루는 픽셀들이 반복적으로 탐색된다. 탐색된 경계선 픽셀들에 의해 이루어진 영역이 팔 영역에 해당한다.

연산을 좀더 단순화할 수 있도록, 왼팔은 좌측 어깨 위치에서 시계 방향으로 탐색을 하고, 오른팔은 우측 어깨 위치에서 반시계 방향으로 탐색할 수 있다.

나아가, 도 5에서는 오른팔만 탐색되고 왼팔은 탐색되지 않는 경우가 예시되는데, 팔 영역의 연장된 길이가 몸통에서 충분히 멀지 않으면 팔을 펴고 있지 않다고 판정하고, 이후 단계에서 해당 팔에 대해 손 영역을 탐색하지 않을 수 있다.

단계(S36)에서는, 탐색된 팔 영역의 끝에서 손 영역을 탐색하고 손의 위치와 자세를 특정한다.

앞서 단계(S35)에서 탐색된 팔 영역의 끝을 손 영역으로 간주된다. 따라서 팔 영역의 끝 부분에서 소정 면적을 손 영역으로 특정하고, 손 영역 내의 픽셀들이 이루는 형상을 식별하여 손이 이루는 자세를 탐색할 수 있다.

구체적으로 예를 들면, 도 6은 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 손의 위치를 파악한 후에 손 자세를 판단하는 절차를 예시한 도면이다.

예를 들어, 손을 펴거나 주먹을 쥐는 두 가지 종류의 제스처를 판정한다고 가정할 때, 손 영역에 그린 원이 손 영역과 만나면서 기울기(gradient)가 빈번하게 변할 경우에 여러 개의 손가락을 길게 편 자세라고 판정할 수 있을 것이다. 나아가, 기울기가 급변하는 횟수에 근거하여 편 손가락의 개수도 판정할 수 있을 것이다. 또는 손 영역의 경계선을 이루는 픽셀 수가 상대적으로 많으면 손을 편 것으로 판정할 수 있을 것이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다.

10 신체 트래킹 시스템 11 사용자
12 스크린 13 카메라
14 트래킹 처리부 141 머리 탐색부
142 팔 탐색부 143 손 탐색부

Claims

사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라; 및
상기 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 손의 자세를 순차적으로 특정하는 트래킹 처리부를 포함하는 신체 트래킹 시스템.
청구항 1에 있어서,
상기 카메라는 색상 정보를 제공하는 2D 카메라, 깊이 정보를 제공하는 3D 카메라 또는 색상 정보와 깊이 정보를 함께 제공하는 하이브리드 카메라 중 어느 하나인 것을 특징으로 하는 신체 트래킹 시스템.
청구항 1에 있어서, 상기 트래킹 처리부는,
상기 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부;
상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 각각 연장되는 경계선을 따라 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부; 및
상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함하는 것을 특징으로 하는 신체 트래킹 시스템.
청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
상기 머리 탐색부는 상기 신체 영상 중에서 국부적으로 또는 전역으로 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 포함하는 일정 영역을 머리 위치로 특정하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.
청구항 4에 있어서, 상기 머리 위치는 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 중심으로 하여, 깊이 정보가 소정 범위 내에 있는 픽셀들을 포함하거나, 또는 깊이 정보가 소정 값보다 크게 변하는 경계선 이내에 있는 픽셀들을 포함하는 것을 특징으로 하는 신체 트래킹 시스템.
청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
상기 팔 탐색부는 상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에 신체의 경계를 이루는 픽셀을 찾는 동작을 반복함으로써 팔 영역을 탐색하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.
청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
상기 팔 탐색부는 상기 특정된 머리 위치 주변에서 깊이 정보가 소정 범위 내에 있는 픽셀들로써 어깨 영역을 특정하고, 상기 머리 위치를 중심으로 소정 크기의 원과 상기 특정된 어깨 영역의 경계선이 만나는 지점을 상기 좌우 어깨 위치로 특정하며, 상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에서 신체의 경계를 이루는 픽셀들을 찾는 동작을 반복함으로써 팔 영역을 탐색하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.
청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
상기 손 탐색부는 상기 손 영역에 중첩한 원이 만나는 픽셀들의 픽셀 값 변화에 기초하여, 또는 상기 손 영역의 경계선을 이루는 픽셀들의 개수에 기초하여 손의 자세를 펴거나 쥐는 자세 중 하나로 특정하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.
청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
상기 팔 탐색부는 상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 픽셀 값들의 합이 최대가 될 때에 상기 가상의 직선의 법선 방향을 몸통의 방향으로 특정하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.
사용자 머리 위쪽에서 사용자를 내려다 보는 화각으로 촬영된 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부;
상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 픽셀들의 분포로부터 상기 좌우 어깨 위치에서 각각 연장되는 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부; 및
상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함하는 것을 특징으로 하는 신체 트래킹 시스템.
사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라;
상기 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 손의 자세를 순차적으로 특정하는 트래킹 처리부;
상기 특정된 머리 위치, 팔의 위치, 손의 위치 및 손의 자세에 기초하여 사용자의 제스처를 판정하는 제스처 판정부;
상기 판정된 제스처에 따른 명령을 수행하는 제어부;
상기 명령의 수행 결과에 의해 일어나는 화면 상의 변화를 처리하는 영상 처리부; 및
상기 처리된 화면을 스크린에 출력하는 영상 출력부를 포함하는 신체 트래킹 시스템.
사용자의 머리 위쪽에 소정 이격 거리를 두고 설치된 카메라에 의해 내려다 보는 화각으로 사용자의 머리, 어깨, 팔 및 손이 포함된 신체 영상을 획득하는 단계;
상기 신체 영상 중에서 머리 위치를 특정하는 단계;
상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 각각 연장되는 경계선을 따라 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 단계; 및
상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 단계를 포함하는 신체 트래킹 방법.
청구항 12에 있어서, 상기 머리 위치를 특정하는 단계는,
상기 신체 영상 중에서 국부적으로 또는 전역으로 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 포함하는 일정 영역을 머리 위치로 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.
청구항 13에 있어서, 상기 머리 위치는 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 중심으로 하여, 깊이 정보가 소정 범위 내에 있는 픽셀들을 포함하거나, 또는 깊이 정보가 소정 값보다 크게 변하는 경계선 이내에 있는 픽셀들을 포함하는 것을 특징으로 하는 신체 트래킹 방법.
청구항 12에 있어서, 상기 팔의 위치 또는 자세를 특정하는 단계는,
상기 머리 위치 주변에서 나타나는 소정 범위의 픽셀 값들을 가진 픽셀들로써 특정된 어깨 영역을 특정하는 단계;
상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계; 및
상기 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.
청구항 15에 있어서, 상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계는,
상기 머리 위치를 중심으로 소정 크기의 원과 상기 어깨 영역의 경계선이 만나는 지점을 상기 좌우 어깨 위치로 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.
청구항 15에 있어서, 상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계는,
상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 픽셀 값들의 합이 최대가 될 때에 상기 가상의 직선이 상기 어깨 영역의 경계선과 만나는 지점을 상기 좌우 어깨 위치로 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.
청구항 15에 있어서, 상기 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정하는 단계는,
상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에 신체의 경계를 이루는 픽셀을 찾는 동작을 반복함으로써 팔 영역을 탐색하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.
청구항 12에 있어서, 상기 손의 위치 또는 자세를 특정하는 단계는,
상기 손 영역에 중첩한 원이 만나는 픽셀들의 픽셀 값 변화에 기초하여, 또는 상기 손 영역의 경계선을 이루는 픽셀들의 개수에 기초하여 손의 자세를 펴거나 쥐는 자세 중 하나로 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.
청구항 12에 있어서,
상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 픽셀 값들의 합이 최대가 될 때에 상기 가상의 직선의 법선 방향을 몸통의 방향으로 특정하는 단계를 더 포함하는 것을 특징으로 하는 신체 트래킹 방법.