KR20180029488A

KR20180029488A - 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치

Info

Publication number: KR20180029488A
Application number: KR1020160117491A
Authority: KR
Inventors: 박지형; 이준; 오주영; 유범재
Original assignee: 한국과학기술연구원; 재단법인 실감교류인체감응솔루션연구단
Priority date: 2016-09-12
Filing date: 2016-09-12
Publication date: 2018-03-21
Also published as: KR101861096B1

Abstract

본 발명은, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치에 관한 것으로서, 상기 방법은 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손 영역과 손목 위 영역을 분리하는 단계, 상기 사용자의 손 영역과 손목 위 영역이 각각 나타내는 정보에 기초하여 손 모양을 판단하는 단계, 상기 손 모양의 변화에 기초하여 손 동작을 인식하는 단계, 및 상기 손 동작에 대응되는 미리 설정된 실행 명령을 수행함으로써 화면에 표시되는 정보를 제어하는 단계를 수행함으로써, 사용자가 HMD(Head Mounted Display)와 같은 착용형 디스플레이 장치를 장착한 경우, 시선 하단부에서도 손 동작을 인식할 수 있도록 손 영역과 손목 위 영역을 분리하는 방법을 제공한다.

Description

사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING INFORMATION DISPLAYED ON SCREEN BY RECOGNIZING HAND GESTURE OF USER}

본 발명은, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치에 관한 것으로서, 더욱 상세하게는 HMD(Head Mounted Display) 장치를 착용한 상태에서 사용자의 시선 하단부의 손 동작을 인식하고, 상기 손 동작에 대응되는 미리 설정된 실행 명령을 수행함으로써 HMD 화면에 표시되는 정보를 제어하는 방법 및 장치에 관한 것이다.

[국가지원 연구개발에 대한 설명]

본 연구는 한국과학기술연구원의 주관 하에 미래창조과학부의 글로벌프론티어사업(몰입형 VST Glasses 기반 공존현실 UI/UX 및 Human Factor 연구개발, 과제고유번호: 1711029849)의 지원에 의하여 이루어진 것이다.

HMD(Head Mounted Display)는 가상현실, 증강현실을 제공하는 착용형 디스플레이 장치로서 최근 급속히 부각되고 있다. 종전의 HMD는 군사용, 훈련용 등의 특수한 목적으로 활용되었으나 최근 디스플레이 기술의 발달로 소형화, 경량화 되면서 저가의 HMD가 상용화 되고 있는 추세이다. 이러한 저가의 HMD는 최근까지 3D 영화감상 등의 용도로 주로 사용되었으나 고도의 몰입성을 제공할 수 있는 기술적 특성을 배가하여 가상현실, 증강현실의 시각화 장치로 활발한 연구개발이 진행되고 있다.

가상현실에서의 활동 및 몰입을 위해서, 가상현실 세계에 직접 들어간 듯한 몰입감을 주는 HMD의 역할이 중요하다고 할 수 있다. 이러한 HMD를 이용하는 가상현실 세계에서는 키보드, 마우스 등의 전형적인 입력 장치뿐만 아니라, 손 동작 인식을 통해서도 가상 객체 또는 가상 메뉴 등을 선택할 수 있다.

이처럼 손 동작을 사용하여 HMD 화면에 표시되는 가상의 정보를 조작하고 제어하는 경우, 사용자가 키보드나 마우스 등의 입력 장치를 휴대하거나 설치할 필요가 없어서 번거롭지 않고, 디바이스가 아닌 사용자 자신의 손을 사용한다는 점에서 보다 직관적으로 정보를 제어할 수 있으며, 가상 현실 세계에서 보다 높은 실제감 및 몰입감을 제공할 수 있다.

초기에는 입력 장치에 비해 자유도가 높은 손을 추적하기 위하여, 마그네틱 센서가 부착된 데이터 글러브(data glove)를 사용자의 손에 착용함으로써, 손가락 관절들의 움직임을 측정하고 이를 이용하여 손 동작을 인식할 수 있었다. 그러나, 이러한 방식은 사용자가 데이터 글러브를 소지해야 하고, 정보를 제어할 때마다 데이터 글러브를 착용해야 한다는 불편함이 있었다.

이와 같은 문제를 해결하기 위한 방법으로서, 카메라 등의 광학 장치를 통해 촬영한 사용자의 손 영상을 이용하여 손 동작을 인식하고, 상기 손 동작에 기초하여 가상 정보를 제어하는, 컴퓨터 비전(computer vision) 기반의 손 동작 인식 방법이 이용되고 있다. 여기서 사용되는 광학 장치는 RGB-D 센서와 같이 촬영 대상의 깊이를 측정할 수 있으며, 이를 이용하여 사용자는 화면에 디스플레이 되는 가상 정보가 실제로 사용자의 전방에 위치하는 것처럼 인식하고, 손을 전방에 뻗어서 지정된 손 동작을 수행함으로써 가상 정보를 조작할 수 있다.

이 경우 다음과 같은 문제점들이 발생할 수 있는데, 첫 번째로 사용자가 가상 정보 조작을 위해 사용자의 손이 전방 시야 범위에 들어오도록 손을 전방으로 뻗은 상태에서 손을 움직여야 하므로, 장시간 사용할 경우 손과 팔에 피로감이 쌓이게 된다. 두 번째로 카페 등의 공공장소에서 상기 장치를 이용하는 경우, 전방으로 손을 뻗어서 정보를 조작하는 모습이 다른 사람들의 주의를 끌 수 있으므로 사용자가 이를 부담스러워하게 된다. 마지막으로 사용자의 손 영상 촬영이 전방에서 이루어지는 경우, 이에 따른 표시자가 화면에 표시되어 가상 정보가 손 영상에 의해 가려질 수 있으므로 사용자가 정보 제어에 불편함을 느낄 수 있다.

이와 같은 문제를 해결하기 위해, 카메라 등 광학 장치를 HMD 장치의 아래 방향에 부착하여 사용자의 손 영상을 전방 영역이 아닌 시선 하단부에서 취득하는 경우, 사용자의 손 모양은 손바닥이 위나 아래를 향하도록 눕혀져 있는 모양보다 손 날이 세워져 있는 모양으로 촬영되는 경우가 빈번한데, 이 경우 손 영역의 폭이 손목 영역의 폭보다 좁아지게 되므로, 손과 손목 영역을 분리하여 손 동작을 인식하는 것이 매우 어려워진다.

이를 해결하기 위해서는 두 개 이상의 카메라를 이용하여 손과 손목 위 영상을 따로 분리해 내거나, 손목에 컬러 밴드 등을 장착하여 손과 손목 위 영역을 구분하는 방법 등을 이용해야 하는데, 이 경우에는 추가적인 카메라 또는 밴드 등의 장치를 필요로 한다는 문제가 있다. 또한 사용자의 손이 하단부에 위치하는 경우 사용자의 다리 등 신체 일부나 책상 등의 물체가 손과 가까이 있으므로, 손이 전방에 위치하는 경우에 비해 깊이 센서를 통해 손 영역을 인식하기 어렵다는 문제가 있다.

공개번호 10-2014-0064384 공개번호 10-2014-0029901

Ren, Zhou, et al. "Robust part-based hand gesture recognition using kinect sensor." Multimedia, IEEE Transactions on 15.5 (2013): 1110-1120. Chen, Zhi-hua, et al. "Real-Time Hand Gesture Recognition Using Finger Segmentation." The Scientific World Journal 2014 (2014).

이에, 본 발명의 기술적 과제는 종래의 손 동작 인식 방법의 문제점에서 착안된 것으로서, 본 발명의 목적은 HMD(Head Mounted Display) 장치를 착용한 사용자의 시선 하단부에서도 손 동작을 인식할 수 있도록 손 영역과 손목 위 영역을 분리하는 방법을 제공함으로써, 사용자가 보다 편리하게 HMD 화면에 표시되는 정보를 손 동작으로 제어할 수 있도록 하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법은, 사용자의 손과 손목 위를 포함하는 영상을 취득하는 단계, 상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손 영역과 손목 위 영역을 분리하는 단계, 사용자의 손 영역과 손목 위 영역이 각각 나타내는 정보에 기초하여 손 모양을 판단하는 단계, 상기 손 모양의 변화에 기초하여 손 동작을 인식하는 단계, 및 상기 손 동작에 대응되는 미리 설정된 실행 명령을 수행함으로써 화면에 표시되는 정보를 제어하는 단계를 포함한다.

본 발명의 실시예에서, 상기 사용자의 손과 손목 위를 포함하는 영상을 취득하는 단계는, 상기 사용자의 손과 손목이 사용자의 시선 하단부에 위치하는 경우에, 상기 사용자의 손과 손목 위를 포함하는 영상을 취득할 수 있다.

본 발명의 실시예에서, 상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손 영역과 손목 위 영역을 분리하는 단계는, 상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손과 손목 위의 모양 맥락(Shape Context) 정보를 추출하는 단계, 상기 사용자의 손과 손목 위의 모양 맥락 정보를 이용하여 SVM(Support Vector Machine) 학습 모델을 생성하는 단계 및 상기 SVM 학습 모델을 이용하여 상기 사용자의 손 영역과 손목 위 영역을 실시간으로 분리하는 단계를 포함할 수 있다.

본 발명의 실시예에서, 상기 사용자의 손 영역과 손목 위 영역이 각각 나타내는 정보에 기초하여 손 모양을 판단하는 단계는, 상기 사용자의 손 영역을 포함하는 손 영역 경계박스의 너비와 높이를 비교하여, 상기 사용자의 손이 눕혀져 있는 모양인지 세워져 있는 모양인지를 판단하는 단계를 포함할 수 있다.

본 발명의 실시예에서, 상기 사용자의 손 모양의 변화에 기초하여 손 동작을 인식하는 단계는, 상기 사용자의 손 영역을 포함하는 손 영역 경계박스와 상기 사용자의 손목 위 영역을 포함하는 손목 위 영역 경계박스가 이루는 각도를 계산하여, 상기 사용자의 손 동작이 오른쪽으로 이동하는 동작인지 왼쪽으로 이동하는 동작인지를 판단하는 단계를 포함할 수 있다.

본 발명의 실시예에서, 상기 사용자의 손 모양의 변화에 기초하여 손 동작을 인식하는 단계는, 상기 사용자의 손 영역 중 손가락 관절 영역 또는 손바닥 영역에, 하나 이상의 포인트를 매칭(matching)시키는 단계, 및 상기 매칭된 하나 이상의 포인트의 위치 변화 또는 깊이 변화에 기초하여 손 동작을 인식하는 단계를 포함할 수 있다.

본 발명의 실시예에 따르면, 상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손과 손목 위 부분을 제외한 나머지 배경을 제거하는 단계 및 상기 사용자의 손과 손목의 외곽선을 추출하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따르면, 상기 사용자가 손 동작 정보를 추가적으로 저장하는 단계, 및 상기 손 동작 정보에 대응되는 실행 명령을 미리 지정하는 단계를 더 포함할 수 있다.

상기한 본 발명의 목적을 실현하기 위한 실시예에 따른 컴퓨터 프로그램은, 상기 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법을 실행시킬 수 있다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치는, 사용자의 손과 손목 위를 포함하는 영상을 취득하는 영상 취득부, 상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손 영역과 손목 위 영역을 분리하는 손 및 손목 위 영역 분리부, 상기 사용자의 손 영역과 손목 위 영역이 각각 나타내는 정보에 기초하여 손 모양을 판단하는 손 모양 판단부, 상기 손 모양의 변화에 기초하여 손 동작을 인식하는 손 동작 인식부, 및 상기 손 동작에 대응되는 미리 설정된 실행 명령을 수행함으로써 화면에 표시되는 정보를 제어하는 정보 제어부를 포함한다.

본 발명의 실시예에서, 상기 영상 취득부는 상기 사용자의 손과 손목이 사용자의 시선 하단부에 위치하는 경우에, 상기 사용자의 손과 손목 위를 포함하는 영상을 취득할 수 있다.

본 발명의 실시예에서, 상기 손 및 손목 위 영역 분리부는 상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손과 손목 위의 모양 맥락(Shape Context) 정보를 추출하는 모양 맥락 정보 추출 유닛, 사용자의 손과 손목 위의 모양 맥락 정보를 이용하여 SVM(Support Vector Machine) 학습 모델을 생성하는 SVM 학습 모델 생성 유닛, 및 상기 SVM 학습 모델을 이용하여 상기 사용자의 손 영역과 손목 위 영역을 실시간으로 분리하는 손 및 손목 위 영역 분리 유닛을 포함할 수 있다.

본 발명의 실시예에서, 상기 손 모양 판단부는 상기 사용자의 손 영역을 포함하는 손 영역 경계박스의 너비와 높이를 비교하여, 상기 사용자의 손이 눕혀져 있는 모양인지 세워져 있는 모양인지를 판단할 수 있다.

본 발명의 실시예에서, 상기 손 동작 인식부는 상기 사용자의 손 영역을 포함하는 손 영역 경계박스와 상기 사용자의 손목 위 영역을 포함하는 손목 위 영역 경계박스가 이루는 각도를 계산하여, 상기 사용자의 손 동작이 오른쪽으로 이동하는 동작인지 왼쪽으로 이동하는 동작인지를 판단할 수 있다.

본 발명의 실시예에서, 상기 손 동작 인식부는 상기 사용자의 손 영역 중 손가락 관절 영역 또는 손바닥 영역에, 하나 이상의 포인트를 매칭(matching)시키고, 상기 매칭된 하나 이상의 포인트의 위치 변화 또는 깊이 변화에 기초하여 손 동작을 인식할 수 있다.

본 발명의 실시예에서, 상기 장치는 상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손과 손목 위 부분을 제외한 나머지 배경을 제거하는 배경 제거부, 및 상기 사용자의 손과 손목의 외곽선을 추출하는 외곽선 추출부를 더 포함할 수 있다.

본 발명의 실시예에서, 상기 장치는 상기 사용자가 손 동작 정보를 추가적으로 저장하는 손 동작 정보 저장부, 및 상기 손 동작 정보에 대응되는 실행 명령을 미리 지정하는 실행 명령 지정부를 더 포함할 수 있다.

본 발명의 실시예에서, 상기 장치는 헤드 마운티드 디스플레이(Head Mounted Display) 장치 또는 시스루 디스플레이(See-through display) 장치일 수 있다.

상기 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치의 실시예들에 따르면, 사용자가 HMD(Head Mounted Display)와 같은 착용형 디스플레이 장치를 장착한 경우, 시선 하단부에서도 손 동작을 인식할 수 있도록 손 영역과 손목 위 영역을 분리하는 방법을 제공한다. 종래의 기술에서는 시선 하단부에서 손 영상을 촬영하는 경우, 손과 손목 영역을 분리하기 어렵다는 문제나 책상 등의 사물과 손을 분리하기 어렵다는 문제가 있었으나, 본 발명의 실시예에 따른 방법 및 장치는 사용자의 손 영역을 손목 위 영역 및 배경과 용이하게 분리하여 실시간으로 손 동작을 인식할 수 있으므로, 사용자가 보다 편리하게 HMD 화면에 표시되는 정보를 손 동작으로 제어할 수 있도록 한다.

도 1은 일 실시예에 따른 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법을 도시한 흐름도이다.
도 2는 일 실시예에 따른 도 1의 손 영역과 손목 위 영역을 분리하는 단계를 도시한 흐름도이다.
도 3은 일 실시예에 따른 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치의 아래 부분을 도시한 도면이다.
도 4는 일 실시예에 따른 도 3의 장치를 착용한 상태에서, 사용자가 시선 하단부에서 손 동작을 수행하는 것을 도시한 도면이다.
도 5는 일 실시예에 따라, 사용자의 손과 손목 위를 포함하는 영상에서 손과 손목 위의 모양 맥락(Shape Context) 정보를 추출하는 방법의 개념을 나타내는 도면이다.
도 6은 일 실시예에 따라서, 사용자의 손 영역과 손목 영역을 분리한 것을 나타내는 도면이다.
도 7은 일 실시예에 따른 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법에서, 각각의 손 동작에 따라 수행되는 정보 제어 명령을 표로 나타낸 도면이다.
도 8은 일 실시예에 따른 장치를 착용한 상태에서, 사용자가 손 동작을 수행함에 따라 상기 장치가 손 영역을 포함하는 손 영역 경계박스와 손목 위 영역을 포함하는 손목 위 영역 경계박스를 추적하는 것을 나타내는 도면이다.
도 9는 일 실시예에 따른 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치를 도식적으로 나타낸 블록도이다.
도 10은 일 실시예에 따른 도 9의 손 및 손목 위 영역 분리부를 도식적으로 나타낸 블록도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 일 실시예에 따른 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법을 도시한 흐름도이다.

먼저, 사용자의 손과 손목 위를 포함하는 영상을 취득하는 단계가 수행된다(S10). 일 실시예에서 상기 영상을 취득하는 장치는 카메라 등의 촬영 장치일 수 있고, 바람직하게는 촬영 대상의 깊이 정보까지도 획득할 수 있는 촬영 장치(예를 들어, RGB-D 센서)일 수 있다. 상기 촬영은 적어도 하나의 촬영 장치에 의해 수행되며, 상술한 것처럼 하나의 촬영 장치로도 이하 후술할 단계들을 수행할 수 있다.

일 실시예에서 상기 촬영 장치는 사용자의 오른손과 왼손을 각각 촬영하거나, 선택에 따라 한 쪽 손만을 촬영할 수 있다. 일 실시예에서, 사용자는 상기 촬영 장치에 의해 촬영되는 장면을 화면의 일부를 통해 볼 수 있고, 촬영 장면에 사용자의 손이 포함되지 않는 경우에는 손을 움직여 사용자의 손이 촬영 범위 내 들어오도록 할 수 있다.

일 실시예에서, 도 4에 도시된 바와 같이 상기 단계(S10)는 사용자의 손과 손목이 사용자의 시선 하단부에 위치하는 경우에 사용자의 손과 손목 위 영상을 촬영할 수 있다. 이 경우, 도 3에 도시된 것처럼 디스플레이 장치 하단부에 촬영 장치가 장착될 수 있다.

이어서, 사용자의 손과 손목 위 부분을 제외한 나머지 배경을 제거하는 단계가 수행된다(S20). 여기서 배경은 사용자의 손과 손목 위 부분을 제외한 나머지 물체나 사용자의 신체로서, 사용자가 서 있는 경우에는 하늘, 지면 또는 전방의 물체나 풍경 등을 포함하고, 사용자가 앉아 있는 경우에는 책상이나 사용자의 다리, 몸 등의 신체를 포함할 수 있다.

일 실시예에서, 상기 배경은 사용자의 손이나 손목 위의 색상과 상이하거나 깊이가 상이하므로, 깊이 센서가 부착된 카메라 등의 촬영 장치가 촬영한 영상에서 처리부(장치 내부 또는 외부에 위치한 프로세서 등)를 포함하는 배경 제거부에 의해 분리될 수 있다. 일 실시예에서, 상기 배경 제거부는 촬영 장치에 의하여 취득한 영상의 깊이 정보를 바탕으로 배경을 제거한 후 이진화 영상을 획득할 수 있다.

이어서, 상기 배경이 제거된 손 및 손목 위 영상에서 손과 손목의 외곽선을 추출하는 단계가 수행된다(S30). 일 실시예에서 상기 외곽선의 추출은, 외곽선 추출부에서 배경과 상이한 색상 또는 깊이 정보를 가진 영역을 인식하고, 상기 영역의 테두리 정보(예를 들어, 좌표 정보 등)를 저장하거나 화면에 표시함으로써 수행될 수 있다. 일 실시예에서, 이러한 외곽선 정보는 후술할 단계에서 손 및 손목 영역 분리를 용이하게 하기 위해 이용될 수 있다.

이어서, 상기 사용자의 손과 손목 위를 포함하는 영상에서 사용자의 손 영역과 손목 위 영역을 분리하는 단계가 수행된다(S40). 도 2를 참조하면, 일 실시예에서 상기 단계(S40)는 영상에서 모양 맥락(shape context) 정보를 추출하는 단계를 포함할 수 있다(S42). 모양 맥락(shape context)은 영상 객체 정보를 인식하는 경우 객체의 특징을 표현할 수 있는 기술자로서, 객체 간의 유사성과 비교하려는 객체의 윤곽에 샘플링 된 포인트들 간의 대응점을 측정하는 방식을 이용한다.

도 5는 상기 모양 맥락 정보를 추출하는 방식으로 사용자의 손과 손목 위를 포함하는 영상에서 손 영역과 손목 위 영역을 분리하는 것을 나타내고 있다. 일 실시예에 따른 모양 매칭(shape matching) 방법에 의하면, 기존 모양의 테두리에 놓인 일련의 포인트들(N 개의 포인트)을 임의로 선택하고(샘플링), 모양 맥락(shape context)을 계산하기 위해 분석하고자 하는 상기 포인트의 위치를 기준으로 나머지 포인트들의 상대적인 거리를 구하여, 정의된 구역(bin) 내에 얼마나 많은 점들이 분포하는지 로그-폴라 공간(log-polar space)을 구성하여 분석한다. 이어서, 이를 새로 촬영된 손 모양의 테두리에 놓인 일련의 포인트들(N 개의 포인트)과 비교함으로써 손 영역과 손목 위 영역을 추적할 수 있다.

이처럼 두 개의 촬영된 영상을 비교하여 추적하는 알고리즘의 시간 복잡도는 O(N³)로 나타낼 수 있다. 만약 일련의 포인트의 개수(N 개)를 줄인다면, 추적하는데 걸리는 시간은 줄어들겠지만 비교할 수 있는 포인트의 수가 적어 정확도가 떨어진다. 정확도를 높이기 위해 포인트의 개수를 늘린다면, 소요되는 시간이 지수 형태로 증가하므로 실시간으로 모양을 추적하는 것이 어려워진다.

따라서, 이와 같은 문제를 해결하기 위하여 상기 단계(S40)는, 상기 사용자의 손과 손목 위의 모양 맥락 정보를 이용하여 SVM(Support Vector Machine) 학습 모델을 생성하는 단계(S44), 및 상기 SVM 학습 모델을 이용하여 상기 사용자의 손 영역과 손목 위 영역을 실시간으로 분리하는 단계(S46)를 더 포함할 수 있다.

서포트 벡터 머신(support vector machine; SVM)은 기계 학습의 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도 학습 모델이다. SVM 알고리즘은 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단할 수 있게 한다.

일 실시예에서, 상기 단계(S42)에서 추출한 손과 손목 위의 모양 맥락 정보를 이용하여 특징 벡터를 만들고, 각 샘플링 된 점에 대하여 손 영역과 손목 위 영역을 구분하는 라벨 값을 상기 특징 벡터에 추가할 수 있다. 상기 특징 벡터를 이용하여 손 영역과 손목 위 영역을 분리하는 학습 모델을 만들 수 있고, 상기 SVM 학습 모델을 이용하여 촬영 장치에서 취득한 손과 손목 위 영상에서 손 영역과 손목 위 영역을 실시간으로 분리할 수 있다.

일 실시예에서, 상기 SVM 모델을 만들기 위한 학습 데이터를 얻는 과정에서, 사용자가 손목 밴드 등을 착용함으로써 손 영역과 손목 위 영역을 신속하게 분류할 수 있다. 일 실시예에서, 상기 손 및 손목 위를 나타내는 외곽선을 특정 벡터의 각도 및 크기로 고정시키고, 실시간으로 변하는 사용자 손의 위치와 크기를 추적하기 위하여 고정된 각도와 크기를 원래 값으로 복원하여 손 및 손목 위 영역을 구별할 수 있다.

도 6은 상기 실시예들에 따라 사용자의 손 영역(20)과 손목 위 영역(30)을 분리한 것을 나타낸다. 도 8은 일 실시예에 따른 장치를 착용한 상태에서, 사용자가 손 동작을 수행함에 따라 상기 장치가 손 영역(20)과 손목 위 영역(30)을 추적하는 것을 나타내는 도면이다.

이어서, 상기 사용자의 손 영역과 손목 위 영역이 각각 나타내는 정보에 기초하여 손 모양을 판단하는 단계가 수행된다(S50). 일 실시예에서, 상기 손 모양은 촬영된 손이 눕혀져 있거나/세워져 있는 모양인지 여부, 또는 오른손/왼손인지 여부를 포함한다. 이처럼 손 모양을 판단하는 것은 후술할 단계에서 사용자의 손 동작을 보다 정확하게 인식할 수 있도록 한다.

일 실시예에서, 손 모양 판단부는 상기 단계(S40)에서 분리된 손 영역을 포함하는 손 영역 경계박스의 너비와 높이를 비교하여, 상기 사용자의 손이 눕혀져 있는 모양인지 세워져 있는 모양인지 여부를 판단할 수 있다. 일 실시예에서 상기 손 영역 경계박스는 손 영역의 최대 높이/너비만큼의 높이/너비를 갖는 직사각형 모양일 수 있다. 도 8에는 상기 손 영역의 경계박스가 나타나 있다.

만약 손 영역 경계박스의 너비 대비 높이의 비율이 일정 임계 값 이상이면, 사용자의 손 모양이 세로로 세워져 있는(손 날이 위/아래를 향하는) 모양이라고 판단할 수 있고, 그 외의 경우에는 사용자의 손 모양이 가로로 누워 있는(손 바닥이 위/아래를 향하는) 모양이라고 판단할 수 있다. 이러한 판단 기준을 공식으로 나타내면 다음과 같다.

여기서, R_hand는 손 영역, δ는 임계 값, col는 세로 손 모양, row는 가로 손 모양을 나타낸다.

이어서, 상기 손 모양의 변화에 기초하여 손 동작을 인식하는 단계가 수행된다(S60). 일 실시예에 따르면, 손 동작 인식부는 분리된 손 영역에서 손 모양을 판단하고 손 모양이 일정 시간 내 어떻게 변화하는지, 또는 손 영역의 위치가 일정 시간 내 어떻게 변화하는지를 실시간으로 추적하여 사용자의 손 동작을 인식할 수 있다.

일 실시예에서, 손 동작 인식부는 상기 단계(S40)에서 분리된 손 영역을 포함하는 손 영역 경계박스와 상기 손목 위 영역을 포함하는 손목 위 영역 경계박스가 이루는 각도를 계산하여, 상기 사용자의 손 동작이 오른쪽으로 이동하는 동작인지 왼쪽으로 이동하는 동작인지를 판단할 수 있다. 일 실시예에서, 손 동작 인식부는 손목 위 영역 경계박스를 기준으로 손 영역 경계박스가 얼마만큼 회전하였는지를 기준으로 손 동작의 오른쪽/왼쪽 방향을 판단할 수 있다. 도 8에는 상기 손과 손목 위 영역 경계박스 및 이들이 이루는 각도가 표시되어 있다.

사용자의 손 영역 경계박스의 회전 값에서 손목 위 영역 경계박스의 회전 값을 뺀 차이가 일정 임계 값보다 작다면, 사용자의 손 동작이 오른쪽 방향이라고 판단할 수 있고, 그 외의 경우에는 왼쪽 방향이라고 판단할 수 있다. 이러한 판단 기준을 공식으로 나타내면 다음과 같다.

여기서, R_hand는 손 영역, R_arm는 손목 위 영역, δ는 임계값, θ(x)는 영역 x의 회전 값을 나타내며, Right는 오른쪽 방향, Left는 왼쪽 방향임을 나타낸다.

이어서, 상기 손 동작에 대응되는 미리 설정된 실행 명령을 수행함으로써 화면에 표시되는 정보를 제어하는 단계가 수행된다(S70). 예를 들어, 사용자의 손 모양이 왼손이라고 판단하였고, 왼손 영역 경계박스와 왼손목 위 영역 경계박스가 이루는 각도를 계산하여, 사용자의 손 동작이 오른쪽 방향 이동을 지시한다는 것을 판단할 수 있다. 이어서, 단계(S70)에서는 이와 같은 손 동작에 대응되는 미리 설정된 실행 명령을 수행하여 가상 정보를 조작할 수 있는데, 이와 같은 경우에 화면에 표시되는 가상 객체를 오른쪽으로 이동시키는 명령을 수행할 수 있다.

또 다른 예에서, 사용자의 손 모양의 깊이 정보가 일정 시간 후 깊어지게 된다면, 사용자가 손을 위에서 아래로 내리는 동작을 실시하였음을 인식할 수 있고, 이에 대응되는 실행 명령, 예컨대 가상 객체를 아래로 이동시키는 등의 명령을 실행할 수 있다. 이와 같은 기본적인 손 동작과 이에 대응되는 실행 명령의 대응관계를 예시적으로 나타내는 표가 도 7에 도시되어 있다.

일 실시예에서, 상기 사용자가 손 동작 정보를 추가적으로 저장하는 단계 및 상기 손 동작 정보에 대응되는 실행 명령을 미리 지정하는 단계가 더 수행될 수 있다. 사용자는 기본적으로 저장된 손 동작 정보 이외에 새로운 손 동작을 미리 촬영하고 이러한 손 동작 정보를 장치 내부 또는 외부의 저장부에 저장할 수 있다. 또한, 사용자는 기본적으로 저장된 손 동작 또는 새롭게 저장된 손 동작에 대응되는 실행 명령을 미리 지정하거나 임의로 변경할 수 있다.

일 실시예에서, 상기 손 동작을 보다 정확하게 인식하기 위하여, 사용자의 손 영역 일부에 하나 이상의 포인트를 매칭(matching) 시키는 단계, 및 상기 매칭된 하나 이상의 포인트의 위치 변화 또는 깊이 변화에 기초하여 손 동작을 인식하는 단계가 수행될 수 있다. 이와 같은 추가적인 실시예에 의하면, 손 영역 전체가 아닌 특정 포인트의 변화를 추적함으로써 인식 속도를 빠르게 할 수 있고, 손가락영역이나 손바닥 영역 등의 세부적인 움직임을 추적함으로써 단순히 외곽선 또는 RGB-D 정보만으로 손 동작을 인식하는 경우보다 정확도를 높일 수 있다.

상술한 것처럼, 사용자는 본인의 손 영역이 촬영 범위 내 위치하는지를 화면의 일부를 통해 모니터링 하여 손 위치를 변경할 수 있지만, 일 실시예에 따르면 손 영역 중 손가락 영역이 촬영 장치의 촬영 범위에서 벗어남으로써 손가락 영역을 이용한 손 동작이 올바르게 인식되지 않는 문제점을 해결하기 위해, 손바닥 영역에 하나 이상의 포인트를 매칭(matching) 시키고, 상기 매칭된 포인트의 위치 변화 또는 깊이 변화에 기초하여 손 동작을 인식할 수 있다. 이러한 인식 기준을 공식으로 나타내면 다음과 같다.

여기서, δ와 δ'는 임계 값, Fic는 현재 영상의 i번째 손가락의 깊이 값, Fip는 이전 영상의 i번째 손가락의 깊이 값을 나타내고, Pc는 현재 영상의 손 중심의 깊이 값, Pp는 이전 영상의 손 중심의 깊이 값을 나타낸다. "up or down"은 객체 정보를 위/아래로 이동시키는 명령을 나타내고, "lock or unlock"은 장치의 잠금 또는 잠금 해제 명령을 나타낸다.

도 9는 일 실시예에 따른 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치(10)를 도식적으로 나타낸 블록도이다.

일 실시예에서, 상기 장치(10)의 영상 취득부(100)는 사용자의 손 및 손목 위를 포함하는 영상을 취득하는 카메라 등의 촬영장치일 수 있고, 바람직하게는 촬영 대상의 깊이 정보까지도 획득할 수 있는 촬영 장치(예를 들어, RGB-D 센서)일 수 있다.

일 실시예에서, 상기 장치(10)의 배경 제거부(200)는 손과 손목 위 부분을 제외한 나머지 배경을 제거할 수 있다. 여기서 배경은 사용자의 손과 손목 위 부분을 제외한 나머지 물체나 사용자의 신체로서, 사용자가 서 있는 경우에는 하늘, 지면 또는 전방의 물체나 풍경 등을 포함하고, 사용자가 앉아 있는 경우에는 책상이나 사용자의 다리, 몸 등의 신체를 포함할 수 있다.

일 실시예에서, 상기 배경은 사용자의 손이나 손목 위의 색상과 상이하거나 깊이가 상이하므로, 깊이 센서가 부착된 카메라 등의 촬영 장치가 촬영한 영상에서 처리부(장치 내부 또는 외부에 위치한 프로세서 등)를 포함하는 배경 제거부(200)에 의해 분리될 수 있다. 바람직한 실시예에서, 상기 배경 제거부(200)는 촬영 장치에 의하여 취득한 영상의 깊이 정보를 바탕으로 배경을 제거한 후 이진화 영상을 획득할 수 있다.

일 실시예에서, 상기 장치(10)의 외곽선 추출부(300)는 사용자의 손 및 손목 영역의 분리를 용이하게 하기 위해, 상기 배경이 제거된 손 및 손목 위 영상에서 손과 손목의 외곽선을 추출할 수 있다. 일 실시예에서 상기 외곽선의 추출은, 외곽선 추출부에서 배경과 상이한 색상 또는 깊이 정보를 가진 영역을 인식하고, 상기 영역의 테두리 정보(예를 들어, 좌표 정보 등)를 저장하거나 화면에 표시함으로써 수행될 수 있다.

일 실시예에서, 상기 장치(10)의 손 및 손목 위 영역 분리부(400)는 상기 사용자의 손과 손목 위를 포함하는 영상에서 사용자의 손 영역과 손목 위 영역을 분리할 수 있다. 도 10에 도시된 것처럼, 일 실시예에서 상기 손 및 손목 위 영역 분리부(400)는, 영상에서 모양 맥락(shape context) 정보를 추출하는 모양 맥락 정보 추출 유닛(420), 상기 사용자의 손과 손목 위의 모양 맥락 정보를 이용하여 SVM(Support Vector Machine) 학습 모델을 생성하는 SVM 학습 모델 생성 유닛(440), 및 상기 SVM 학습 모델을 이용하여 상기 사용자의 손 영역과 손목 위 영역을 실시간으로 분리하는 손 및 손목 위 영역 분리 유닛(460)을 포함할 수 있다. 모양 맥락 정보의 추출, SVM 학습 모델의 생성 및 이를 이용한 손 및 손목 위 영역 분리 방법은 상술한 바와 유사하므로 중복되는 설명은 생략한다.

일 실시예에서, 상기 장치(10)의 손 모양 판단부(500)는 상기 사용자의 손 영역과 손목 위 영역이 각각 나타내는 정보에 기초하여 손 모양을 판단할 수 있다. 일 실시예에서, 상기 손 모양은 촬영된 손이 눕혀져 있거나/세워져 있는 모양인지 여부, 또는 오른손/왼손인지 여부를 포함한다.

일 실시예에서, 상기 장치(10)의 손 동작 인식부(600)는 상기 손 모양의 변화에 기초하여 손 동작을 인식할 수 있다. 일 실시예에 따르면, 손 동작 인식부(500)는 분리된 손 영역에서 손 모양을 판단하고 손 모양이 일정 시간 내 어떻게 변화하는지, 또는 손 영역의 위치가 일정 시간 내 어떻게 변화하는지를 실시간으로 추적하여 사용자의 손 동작을 인식할 수 있다.

일 실시예에서, 상기 장치(10)의 정보 제어부(700)는 상기 손 동작에 대응되는 미리 설정된 실행 명령을 수행함으로써 화면에 표시되는 정보를 제어할 수 있다. 일 실시예에서 상기 장치(10)는, 사용자가 손 동작 정보를 추가적으로 저장하는 손 동작 정보 저장부(도시되지 않음), 및 상기 손 동작 정보에 대응되는 실행 명령을 미리 지정하는 실행 명령 지정부(도시되지 않음)를 더 포함할 수 있다. 상기 실시예에 따르면 사용자는 기본적으로 저장된 손 동작 정보 이외에 새로운 손 동작을 미리 촬영하고 이러한 손 동작 정보를 장치 내부 또는 외부의 저장부에 저장할 수 있다. 또한, 사용자는 기본적으로 저장된 손 동작 또는 새롭게 저장된 손 동작에 대응되는 실행 명령을 미리 지정하거나 임의로 변경할 수 있다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

HMD(Head Mounted Display)와 같은 착용형 디스플레이 장치가 본격적으로 상용화됨에 따라, 가상현실과 같은 컨텐츠 내 동작 수행뿐만 아니라, 일반적인 전자 디바이스의 조작 또한 HMD 장치에 부착된 촬영 장치를 이용하여 수행되고 있다.

본 발명의 실시예들은, 사용자가 HMD(Head Mounted Display)와 같은 착용형 디스플레이 장치를 장착한 경우, 시선 하단부에서도 손 동작을 인식할 수 있도록 손 영역과 손목 위 영역을 분리하는 방법을 제공한다. 종래의 기술에서는 시선 하단부에서 손 영상을 촬영하는 경우, 손과 손목 영역을 분리하기 어렵다는 문제나 책상 등의 사물과 손을 분리하기 어렵다는 문제가 있었으나, 본 발명의 실시예에 따르면 이러한 상황에서도 손 영역을 손목 위 영역 및 배경과 용이하게 분리하여 실시간으로 손 동작을 인식할 수 있으므로, 사용자가 보다 편리하게 화면에 표시되는 정보를 손 동작으로 제어할 수 있다. 나아가, 본 발명은 HMD와 같은 착용형 디스플레이를 착용한 경우에만 한정되지 않으며, 모니터 등의 종래의 출력 장치를 시청하면서도 별도의 촬영 장치에 의하여 동작을 수행할 수 있는 만큼 전자 디바이스 산업 전반에 걸쳐 이용될 수 있다.

10: 손 동작 인식을 통한 가상 정보 제어 장치
20: 손 영역
30: 손목 위 영역
100: 영상 취득부
200: 배경 제거부
300: 외곽선 추출부
400: 손 및 손목 위 영역 분리부
420: 모양 맥락 정보 추출 유닛
440: SVM 학습 모델 생성 유닛
460: 손 및 손목 위 영역 분리 유닛
500: 손 모양 판단부
600: 손 동작 인식부
700: 정보 제어부

Claims

사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법으로서,
사용자의 손과 손목 위를 포함하는 영상을 취득하는 단계;
상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손 영역과 손목 위 영역을 분리하는 단계;
상기 사용자의 손 영역과 손목 위 영역이 각각 나타내는 정보에 기초하여 손 모양을 판단하는 단계;
상기 손 모양의 변화에 기초하여 손 동작을 인식하는 단계; 및
상기 손 동작에 대응되는 미리 설정된 실행 명령을 수행함으로써 화면에 표시되는 정보를 제어하는 단계를 포함하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법.
제1항에 있어서,
상기 사용자의 손과 손목 위를 포함하는 영상을 취득하는 단계는,
상기 사용자의 손과 손목이 사용자의 시선 하단부에 위치하는 경우에, 상기 사용자의 손과 손목 위를 포함하는 영상을 취득하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법.
제1항에 있어서,
상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손 영역과 손목 위 영역을 분리하는 단계는,
상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손과 손목 위의 모양 맥락(Shape Context) 정보를 추출하는 단계;
상기 사용자의 손과 손목 위의 모양 맥락 정보를 이용하여 SVM(Support Vector Machine) 학습 모델을 생성하는 단계; 및
상기 SVM 학습 모델을 이용하여 상기 사용자의 손 영역과 손목 위 영역을 실시간으로 분리하는 단계를 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법.
제1항에 있어서,
상기 사용자의 손 영역과 손목 위 영역이 각각 나타내는 정보에 기초하여 손 모양을 판단하는 단계는,
상기 사용자의 손 영역을 포함하는 손 영역 경계박스의 너비와 높이를 비교하여, 상기 사용자의 손이 눕혀져 있는 모양인지 세워져 있는 모양인지를 판단하는 단계를 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법.
제1항에 있어서,
상기 사용자의 손 모양의 변화에 기초하여 손 동작을 인식하는 단계는,
상기 사용자의 손 영역을 포함하는 손 영역 경계박스와 상기 사용자의 손목 위 영역을 포함하는 손목 위 영역 경계박스가 이루는 각도를 계산하여, 상기 사용자의 손 동작이 오른쪽으로 이동하는 동작인지 왼쪽으로 이동하는 동작인지를 판단하는 단계를 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법.
제1항에 있어서,
상기 사용자의 손 모양의 변화에 기초하여 손 동작을 인식하는 단계는,
상기 사용자의 손 영역 중 손가락 관절 영역 또는 손바닥 영역에, 하나 이상의 포인트를 매칭(matching)시키는 단계; 및
상기 매칭된 하나 이상의 포인트의 위치 변화 또는 깊이 변화에 기초하여 손 동작을 인식하는 단계를 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법.
제1항에 있어서,
상기 사용자의 손과 손목 위를 포함하는 영상에서, 상기 사용자의 손과 손목 위 부분을 제외한 나머지 배경을 제거하는 단계; 및
상기 사용자의 손과 손목의 외곽선을 추출하는 단계를 더 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법.
제1항에 있어서,
상기 사용자가 손 동작 정보를 추가적으로 저장하는 단계; 및
상기 손 동작 정보에 대응되는 실행 명령을 미리 지정하는 단계를 더 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법.
제1항 내지 제8항 중 어느 하나의 청구항에 따라 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법을 실행하기 위한, 컴퓨터 프로그램.
사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치로서,
사용자의 손과 손목 위를 포함하는 영상을 취득하는, 영상 취득부;
상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손 영역과 손목 위 영역을 분리하는, 손 및 손목 위 영역 분리부;
상기 사용자의 손 영역과 손목 위 영역이 각각 나타내는 정보에 기초하여 손 모양을 판단하는, 손 모양 판단부;
상기 손 모양의 변화에 기초하여 손 동작을 인식하는, 손 동작 인식부; 및
상기 손 동작에 대응되는 미리 설정된 실행 명령을 수행함으로써 화면에 표시되는 정보를 제어하는, 정보 제어부를 포함하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치.
제10항에 있어서, 상기 영상 취득부는,
상기 사용자의 손과 손목이 사용자의 시선 하단부에 위치하는 경우에, 상기 사용자의 손과 손목 위를 포함하는 영상을 취득하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치.
제10항에 있어서, 상기 손 및 손목 위 영역 분리부는,
상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손과 손목 위의 모양 맥락(Shape Context) 정보를 추출하는, 모양 맥락 정보 추출 유닛;
상기 사용자의 손과 손목 위의 모양 맥락 정보를 이용하여 SVM(Support Vector Machine) 학습 모델을 생성하는, SVM 학습 모델 생성 유닛; 및
상기 SVM 학습 모델을 이용하여 상기 사용자의 손 영역과 손목 위 영역을 실시간으로 분리하는, 손 및 손목 위 영역 분리 유닛을 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치.
제10항에 있어서, 상기 손 모양 판단부는,
상기 사용자의 손 영역을 포함하는 손 영역 경계박스의 너비와 높이를 비교하여, 상기 사용자의 손이 눕혀져 있는 모양인지 세워져 있는 모양인지를 판단하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치.
제10항에 있어서, 상기 손 동작 인식부는,
상기 사용자의 손 영역을 포함하는 손 영역 경계박스와 상기 사용자의 손목 위 영역을 포함하는 손목 위 영역 경계박스가 이루는 각도를 계산하여, 상기 사용자의 손 동작이 오른쪽으로 이동하는 동작인지 왼쪽으로 이동하는 동작인지를 판단하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치.
제10항에 있어서, 상기 손 동작 인식부는,
상기 사용자의 손 영역 중 손가락 관절 영역 또는 손바닥 영역에, 하나 이상의 포인트를 매칭(matching)시키고,
상기 매칭된 하나 이상의 포인트의 위치 변화 또는 깊이 변화에 기초하여 손 동작을 인식하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치.
제10항에 있어서, 상기 장치는,
상기 사용자의 손과 손목 위를 포함하는 영상에서, 상기 사용자의 손과 손목 위 부분을 제외한 나머지 배경을 제거하는, 배경 제거부; 및
상기 사용자의 손과 손목의 외곽선을 추출하는 외곽선 추출부를 더 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치.
제10항에 있어서, 상기 장치는,
상기 사용자가 손 동작 정보를 추가적으로 저장하는, 손 동작 정보 저장부; 및
상기 손 동작 정보에 대응되는 실행 명령을 미리 지정하는, 실행 명령 지정부를 더 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치.
제10항 내지 제17항 중 어느 한 항에 있어서,
상기 장치는 헤드 마운티드 디스플레이(Head Mounted Display) 장치 또는 시스루 디스플레이(See-through display) 장치인 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치.