KR20140029222A - 제스처 인식 장치, 그 제어 방법, 표시 기기 및 제어 프로그램이 기록된 기록 매체 - Google Patents

Abstract

본 발명은 유저가 인식영역을 규정할 수 있는 제스처 인식 장치를 제공하는 것으로서, 해결 수단으로 인식영역 규정 수단(124)은, 유저에 의한 제스처의 종류에 의거하여, 동화상 전체의 영역 중 제스처가 인식되는 영역인 인식영역을 규정한다.

Description

제스처 인식 장치, 그 제어 방법, 표시 기기 및 제어 프로그램이 기록된 기록 매체{GESTURE RECOGNITION DEVICE, CONTROL METHOD THEREOF AND DISPLAY DEVICE AND CONTROL RECORDING MEDIUM OF RECORDING PROGRAM}

본 발명은, 유저의 동작으로부터 제스처를 인식하는 제스처 인식 장치, 그 제어 방법, 표시 기기 및 제어 프로그램에 관한 것이다.

근래, 텔레비전 수상기, 퍼스널 컴퓨터, 또는 태블릿 단말 등의 표시 장치에, 조작자가 동작시키는 인식 대상물의 제스처를 인식하는 제스처 인식 장치를 조합시킨 표시 기기가 등장하고 있다. 이와 같은 표시 기기에서, 조작자가 데이터 글로브 등의 특수한 장신구를 장착할 필요가 없고, 또한 조작자가 자연스럽고 원활하게 당해 표시 기기에 대한 조작을 행할 수 있도록, 조작자의 손이나 손가락 등을 이용하여 행하는 제스처를 인식하는 제스처 인식 장치가 요망되고 있다.

여기서, 도 6을 이용하여, 종래의 제스처 인식 장치에서의 제스처 인식의 흐름을 설명하여 둔다. 동 도면에 도시하는 바와 같이, 종래의 제스처 인식에서는, 우선 조작자의 특정/결정이 행하여진다. 즉, 제스처 인식 장치는, 인식한 복수의 인물 중 어느 인물을 조작자로 하는지의의 여부를 판단하거나, 또는, 인식한 인물이 미리 등록된 조작자 리스트에 포함되어 있는지 판단하거나 한다. 다음에, 조작자가, 제스처를 시작하는 것을 제스처 인식 장치에 전달한다. 구체적으로는, 조작자가, 예를 들면 손을 드는 등의 시작 동작을 행하면, 제스처 인식 장치가, 카메라 등의 촬영부를 이용하여 촬영한 상기 시작 동작을 인식하여, 인식 대상물(예를 들면 조작자의 손, 지시봉 등)의 제스처 인식을 행할 수가 있는 상태가 된다. 그 후, 제스처 인식 장치는, 상기 시작 동작의 후에 조작자가 인식 대상물을 이용하여 행하는 제스처를 인식한다.

그런데, 제스처 인식 장치에서는, 인식 대상물의 제스처 인식을 실행할 때, 처리 부하를 저감하는 것 등을 목적으로 하여, 촬영부에 의해 촬영된 화상의 전체 영역에서의 제스처 인식을 행하는 것이 아니라, 화상의 일부 영역을 인식영역으로서 설정하고, 그 인식영역 내에서 제스처 인식을 행하는 경우가 있다.

예를 들면, 특허 문헌 1에는, 동화상 데이터로부터 피부색 영역을 추출하고, 또한 추출된 피부색 영역에 관해, 얼굴형상의 템플릿을 이용함에 의해 얼굴 영역을 산출한 제스처 인식 장치에서, 산출된 얼굴 영역의 가로폭, 세로길이, 면적 등을 이용하여 제스처의 일어날 수 있는 범위를 한정하고, 이 한정된 영역에서, 제스처 인식을 실행하는 것이 기재되어 있다.

또한, 특허 문헌 2에는, 스테레오 카메라를 이용하여 유저를 촬상함에 의해, 실내 공간에서의 유저의 위치를 3차원적으로 특정하고, 상기 스테레오 카메라로부터 취득되는 유저의 거리 정보(x, y,)에 의거하여, 유저의 두부나 손이라는 인식 대상이 되는 영역을 추출하는 정보 통합 인식 장치가 기재되어 있다. 또한, 동 문헌에는, 상기 인식 대상이 되는 영역을 추출함에 있어서, 각 카메라의 시야 내에서, 바닥면으로부터 돌기하고 있고, 또한 실내에서 고정적이 아닌 대상에 관해, 64×64화소 정도의 크기로 높은 곳부터 순차적으로 추출하고, 추출된 대상을 상기 인식 대상으로 하는 것이 기재되어 있다.

특허 문헌 1 : 일본 특개2003-216955호 공보(2003년 7월 31일 공개) 특허 문헌 2 : WO2003/025859호 공보(2003년 3월 27일 공개)

그런데, 유저가 자신의 손을 인식 대상물로서 이용하여 제스처를 행하는 경우, 적절한 인식영역의 범위 및 위치가 유저마다 다르다. 예를 들면, 유저가 어른이라면 큰 범위의 인식영역이 적절한 한편, 아동인 유저에 대해서는, 보다 작은 인식영역이 적절하다. 또한, 유저마다 팔의 길이가 각각 다르기 때문에, 유저의 얼굴의 위치에 대한 인식영역의 위치에 대해서도, 유저마다 각각 다르다.

그러나, 특허 문헌 1 및 특허 문헌 2에 개시된 기술에 의하면, 인식 대상이 되는 영역은 제스처 인식 장치 또는 정보 통합 인식 장치에 의해 결정되는 것이다. 즉, 유저는, 자신에게 적절한 인식영역을 설정하는 것이나, 상황에 응하여 인식영역을 수정한다고 할 수가 없다. 그 때문에, 유저는, 쾌적한 제스처를 행할 수가 없는 경우가 있다는 문제가 있다.

본 발명은, 상기한 과제를 감안하여 이루어진 것이고, 그 목적은, 유저가 인식영역을 규정하는 것이 가능한 제스처 인식 장치를 제공하는 것에 있다.

본 발명에 관한 제스처 인식 장치는, 상기 과제를 해결하기 위해, 유저가 촬영된 동화로부터, 그 유저에 의한 제스처를 인식하는 제스처 인식 장치에 있어서, 상기 제스처의 종류를 판정하는 판정 수단과, 상기 판정 수단에 의해 판정된 제스처의 종류에 의거하여, 동화상 전체의 영역 중 제스처가 인식되는 영역인 인식영역을 규정하는 인식영역 규정 수단을 구비한 것을 특징으로 하고 있다.

또한, 본 발명에 관한 제스처 인식 장치의 제어 방법은, 상기 과제를 해결하기 위해, 유저가 촬영된 동화로부터, 그 유저에 의한 제스처를 인식하는 제스처 인식 장치의 제어 방법으로서, 상기 제스처의 종류를 판정한 후, 판정된 제스처의 종류에 의거하여, 동화상 전체의 영역 중 제스처가 인식되는 영역인 인식영역을 규정하는 것을 특징으로 하고 있다.

상기 구성 및 상기 방법에 의하면, 유저가 실행하는 제스처의 종류의 판정 결과에 의거하여, 인식영역이 규정된다. 즉, 유저는, 제스처를 행함에 의해, 인식영역을 규정할 수 있다. 또한, 상기 제스처의 종류는, 유저가 제스처를 행하기 위해 사용하는 인식 대상물의 형상, 방향, 및/또는 변위에 의해 규정되는 것이라도 좋다. 이에 의해, 유저는, 제스처에 의해 소망하는 위치 및 크기로 인식영역을 설정할 수 있다. 또한, 유저는, 인식 대상물을 이용하여, 형상, 방향, 및/또는 변위가 서로 다른 제스처를 행함에 의해, 인식영역을 수정하는 것도 가능하다. 이와 같이, 유저 자신이 인식영역을 규정할 수 있음에 의해, 유저는 쾌적한 제스처를 행할 수가 있다.

또한, 본 발명에 관한 제스처 인식 장치는, 상기 유저의 손에 의해 제스처가 행하여지고, 상기 제스처를 행할 때의 소정의 손 형상을 포함하는 손 형상 리스트를 기억하는 기억부를 또한 구비하고, 상기 판정 수단이, 상기 손 형상 리스트를 참조함에 의해, 상기 소정의 손 형상을 검출하는 구성이라도 좋다.

상기 구성에 의하면, 유저가 손을 이용하여 행하는 제스처의 종류가, 손 형상 리스트를 이용하여 판정된다. 그리고 그 판정 결과에 의거하여, 인식영역이 규정된다. 유저는, 손의 형상, 방향, 및/또는 변위에 의해 규정된 제스처에 의해, 소망하는 위치 및 크기로 인식영역을 설정할 수 있다. 또한, 손의 형상, 방향, 및/또는 변위를 바꾼 제스처를 행함에 의해, 인식영역을 수정할 수도 있다.

또한, 본 발명에 관한 제스처 인식 장치는, 상기 판정 수단이, 상기 소정의 손 형상을 검출한 경우에, 상기 유저가 상기 소정의 손 형상으로 한 손을 흔드는 범위를 검출하는 동작 검출 수단을 또한 구비하고, 상기 인식영역 규정 수단은, 상기 동작 검출 수단에 의해 검출된 상기 손을 흔드는 범위에 의거하여, 상기 인식영역을 규정하는 구성이라도 좋다.

상기 구성에 의하면, 유저가 손을 흔드는 동작을 행함에 의해, 손을 흔드는 범위에 의거하여, 인식영역이 설정되다. 따라서, 유저는, 손을 흔든다는 간단한 동작에 의해, 스스로 인식영역을 설정할 수 있다. 또한, 손을 흔드는 범위를 조정함에 의해, 인식영역의 크기 및/또는 위치를, 유저 자신이 조정할 수 있다. 이에 의해, 유저는, 소망하는 위치 및 소망하는 크기로 설정한 인식영역 내에서, 제스처를 행할 수가 있다.

또한, 본 발명에 관한 제스처 인식 장치는, 상기 판정 수단이, 상기 소정의 손 형상을 검출한 경우에, 상기 유저가 상기 소정의 손 형상으로 한 손을 이용하여 제스처를 행하고 있는 동안, 상기 손의 특정 부위의 움직임을 감시함에 의해, 상기 특정 부위가 상기 인식영역을 비어져 나오지 않는지 감시하는 동작 범위 감시 수단을 또한 구비하고, 상기 손의 상기 특정 부위가 상기 인식영역을 비어져 나오는 것을 상기 동작 범위 감시 수단이 검출한 경우에, 상기 인식영역 규정 수단은, 상기 인식영역을 소정의 비율로 확대하는 수정을 행하는 구성이라도 좋다.

상기 구성에 의하면, 유저가 자신의 손을 이용하여 제스처를 행하고 있는 동안, 그 손의 특정 부위가, 인식영역을 비어져 나오는 일이 없는지 감시된다. 그리고, 손의 상기 특정 부위가 인식영역을 비어져 나온 경우, 상기 인식영역을 확대하도록 수정이 행하여진다. 또한, 조작자의 손의 상기 특정 부위란, 예를 들면, 검지만을 편 손의 검지의 선단이다.

그런데, 유저가 제스처를 행할 때, 미리 정의된 인식영역을, 유저는 볼 수가 없다. 그 때문에, 유저는 손을 이용하여 제스처를 행하고 있는 사이에, 그 수법이 인식영역으로부터 비어져 나와 버리는 경우가 있다. 또한, 미리 정하여진 인식영역이 유저에 있어서 적절한 크기나 적절한 위치가 아닌 경우, 유저는 쾌적한 조작을 행할 수가 없다. 그러나, 상기 구성 및 상기 방법에 의하면, 유저가 제스처를 행하는 손의 특정 부위가 인식영역을 비어져 나온 경우, 인식영역이 소정의 비율로 확대된다. 따라서, 유저는, 미리 정하여진 인식영역이 너무 좁거나, 또는 위치가 너무 멀거나/너무 가깝거나 하는 경우라도, 제스처를 행하고 있는 손이 인식영역에서 비어져 나오는 것을 걱정할 필요가 없기 때문에, 쾌적한 제스처를 행할 수가 있다.

또한, 본 발명에 관한 제스처 인식 장치는, 상기 기억부가, 상기 손의 방향 및 변위의 적어도 어느 한쪽과 상기 인식영역의 수정 내용을 대응 짓는 인식영역 수정 테이블을 또한 기억하고 있음과 함께, 상기 판정 수단이, 상기 소정의 손 형상을 검출한 경우에, 상기 인식영역 수정 테이블을 참조함에 의해, 상기 손의 방향 및 변위의 적어도 어느 한쪽과 대응하는 상기 인식영역의 수정 내용을 검출하는 동작 검출 수단을 또한 구비하고, 상기 인식영역 규정 수단은, 상기 수정 내용으로 상기 인식영역을 수정하는 구성이라도 좋다.

상기 구성에 의하면, 인식영역을 수정하기 위한 수정 동작이 검출된 경우에, 검출된 수정 동작과 대응하는 수정 내용으로 상기 인식영역이 수정된다. 그래서, 유저는, 상황이나 기호에 응하여 인식영역을 수정하고 싶은 경우, 소망하는 수정 내용에 대응하는 수정 동작을 행한다. 그러면, 유저가 행한 수정 동작이 검출되고, 인식영역이 수정되게 된다. 여기서, 인식영역의 상기 수정 내용이란, 예를 들면, 인식영역의 크기나 위치이다. 따라서, 상기 구성 및 상기 방법에 의하면, 유저는, 현시점의 인식영역이 적절하지 않은 경우에, 수정 동작을 행함에 의해, 인식영역의 크기나 위치를 스스로 수정할 수 있다.

또한, 본 발명에 관한 제스처 인식 장치는, 외부의 기기에 대해, 제스처의 인식 결과에 대응하는 처리를 실행하도록 지시하는 기기 제어 수단을 또한 구비한 구성이라도 좋다.

상기 구성에 의하면, 상술한 바와 같은 제스처의 인식 결과에 대응하는 처리가, 외부의 기기에서 실행된다. 상기 외부의 기기란, 예를 들면 표시 장치를 구비한 표시 기기이다. 이에 의해, 유저는, 상기 표시 기기 등의 외부의 기기를, 제스처로 조작할 수 있다.

또한, 상기 제스처 인식 장치는, 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터를 상기 각 수단으로서 동작시킴에 의해 상기 제스처 인식 장치를 컴퓨터에 실현시키는 제스처 인식 장치의 제어 프로그램도, 본 발명의 범주에 들어간다.

또한, 상기 제스처 인식 장치와, 상기 제스처 인식 장치가 유지하는 각종 정보를 유저에게 표시하기 위한 표시 장치를 구비하고, 상기 제스처 인식 장치에 의해 동작 제어가 행하여지는 표시 기기도 본 발명의 범위에 포함된다.

이상과 같이, 본 발명에 관한 제스처 인식 장치는, 제스처의 종류를 판정하는 판정 수단과, 상기 판정 수단에 의해 판정된 제스처의 종류에 의거하여, 동화상 전체의 영역 중 제스처가 인식되는 영역인 인식영역을 규정하는 인식영역 규정 수단을 구비하고 있다.

또한, 본 발명에 관한 다른 제스처 인식 장치는, 제스처의 종류를 판정한 후, 판정된 제스처의 종류에 의거하여, 동화상 전체의 영역 중 제스처가 인식되는 영역인 인식영역을 규정한다.

이에 의해, 유저가 인식영역을 규정하는 것이 가능한 제스처 인식 장치를 제공할 수 있다.

도 1은 본 발명의 한 실시 형태에 관한 제스처 인식 장치의 구성을 도시하는 블록도.
도 2의 (a)는 수를 흔드는 시작 동작을 도시하는 모식도로서, (b)는 (a)에 Z로 나타내는 동화상 영역에서, 조작자가 손을 흔드는 동작을 촬영한 동화상의 차분을 누적된 누적치를 도시하는 도면.
도 3은 손가락을 이용하여 제스처를 행하는 조작자를 도시하는 모식도.
도 4는 도 1에 도시하는 제스처 인식 장치의 동작을 도시하는 플로 차트.
도 5는 도 1에 도시하는 제스처 인식 장치가 적용된 표시 기기의 외관을 도시하는 도면.
도 6은 일반적인 제스처 인식의 흐름을 설명하는 설명도.

이하, 본 발명의 실시의 형태에 관해, 상세히 설명한다. 또한, 이하의 설명에서, 「우」나 「좌」는, 동화상을 시인하는 자로부터 본 방향을 나타내는 것으로 한다.

[실시 형태 1]

본 발명의 제스처 인식 장치(1)에 관한 실시의 한 형태에 관해 도 1 내지 도 4에 의거하여 설명하면 이하와 같다.

(제스처 인식 장치(1)의 구성)

우선, 제스처 인식 장치(1)의 구성에 관해, 도 1을 이용하여 설명한다. 동 도면은, 제스처 인식 장치(1)의 구성을 도시하는 블록도이다.

도 1에 도시하는 바와 같이, 제스처 인식 장치(1)는, 동화 촬영부(11), 제어 수단(12), 및 기억부(13)를 구비하고 있다. 이하에, 상기한 각 부재의 상세를 각각 설명한다.

(1. 동화 촬영부(11))

동화 촬영부(11)는, 조작자를 포함하는 공간의 화상을 촬영하는 것이다. 동화 촬영부(11)는, 보다 상세하게는, 제스처를 행하는 주체가 되는 조작자, 및, 제스처 인식의 대상이 되는 조작자의 손(인식 대상물)을 촬상하고, 동화 데이터를 생성한다. 또한, 동화 촬영부(11)는, 소정의 시간(예를 들면 1/15초)마다 촬영한 프레임 화상을, 제어 수단(12)에 출력한다.

(2. 제어 수단(12))

제어 수단(12)은, 제스처 인식 장치(1)가 구비하는 각 부분을 통괄 제어하는 것이고, 형상 인식 수단(판정 수단)(121), 동작 범위 감시 수단(122), 동작 검출 수단(123), 인식영역 규정 수단(124), 제스처 인식 수단(125), 및 표시 기기 제어 수단(126)을 포함하는 구성이다. 또한, 제어 수단(12)에 포함되는 각 수단에 관해서는, 그 상세를 후술한다.

(3. 기억부(13))

기억부(13)는, 제스처 인식 장치(1)가 취급하는 각종 데이터를 기억하는 것이고, 데이터를 휘발적으로 기억하는 일시 기억부와, 데이터를 불휘발적으로 기억하는 기억 장치를 포함한다. 상기 일시 기억부는, 제스처 인식 장치(1)가 실행하는 각종 처리의 과정에서, 연산에 사용하는 데이터 및 연산 결과 등을 일시적으로 기억하는 이른바 워킹 메모리이고, RAM 등으로 구성된다. 또한, 상기 기억 장치는, 제어 수단(12)이 실행하는 제어 프로그램 및 OS 프로그램, 및, 제스처 인식 장치(1)가 갖는 각종 기능을 실행할 때에 판독하는 각종 데이터를 기억하는 것이고, ROM 등으로 구성된다.

기억부(13)는, 이하의 3개의 내용을 기억하고 있다.

1. 후술하는 손의 형상(1 내지 3)을 포함하는 손 형상 리스트

2. 형상(2)으로 한 손 방향 및/또는 변위와, 하기 인식영역(OE)의 수정 내용을 대응 짓는 인식영역 수정 테이블

3. 어느 제스처를 인식한 경우에 제어 수단(12)에 의해 실행되는 처리 내용을, 제스처의 종류마다 각각 나타내는 제스처-처리 내용 대응 테이블

또한, 상기 인식영역(OE)은, 상기 유저가 상기 손을 이용하여 행하는 제스처의 종류에 의거하여, 동화상 전체의 영역 중 제스처가 인식되는 영역인 것이다.

(제어 수단(12)의 상세한 구성)

이하에, 제어 수단(12)의 상세한 구성에 관해, 도 1 내지 도 3을 이용하여 설명한다.

(1. 형상 인식 수단(121))

형상 인식 수단(121)은, 조작자의 손의 형상으로서, 특히 이하의 3개의 형상(1 내지 3)을 식별하는 것이다.

형상(1). 5개의 손가락(즉 모든 손가락)을 편 손

형상(2). 2개의 손가락(예를 들면 검지과 중지)을 편 손

형상(3). 1개의 손가락(예를 들면 검지)을 편 손

(손의 형상의 인식 방법에 관해)

손의 형상을 인식하는 방법으로서는, 이하의 3개의 방법을 들 수 있다.

제 1로, 손의 형상마다 템플릿을 작성하여 두고, 템플릿 매칭의 방법에 의해, 동화상에 찍히는 손의 형상을 인식하는 방법.

제 2로, 손의 형상마다 각각 준비한 복수의 학습 샘플을, 통계학적 학습 방법에 의해 학습하여 두고, 학습된 손의 형상과 동화상에 찍히는 손의 형상과의 유사도를 계산함에 의해, 유사도의 높이로부터 동화상에 찍히는 손의 형상을 결정하는 방법.

제 3으로, 멀티 클래스 분류(다(多) 클래스 식별)에 의해, Randomized Trees 등의 하나의 결정목(決定木)(식별기)을 학습하고, 학습된 결정목에 의해 동화상에 찍히는 손의 형상의 클래스를 결정하는 방법.

(템플릿 매칭에 관해)

템플릿 매칭이란, 촬영된 동화상 등의 샘플에 관해, 미리 준비한 모델과의 일치(매칭)의 정도를 계산하는 방법인 것이다.

이하에, 템플릿 매칭의 방법에 의한 손의 형상 인식의 흐름을 간단하게 설명한다. 또한, 템플릿 매칭을 위해, 얼굴형상의 템플릿을 미리 기억부(13)에 기억하여 둔다.

우선, 동작 검출 수단(123)은, 인식영역(OE)으로부터, 인간의 피부의 색을 갖는 영역인 피부색 영역을 추출한다. 이에 의해, 인식영역(OE) 내에 있는 조작자의 손이 추출되게 된다. 다음에, 동작 검출 수단(123)은, 추출한 피부색 영역의 형상에 관해, 기억부(13)에 미리 기억한 형상(1 내지 3)의 손 형상의 템플릿과의 템플릿 매칭을 행한다. 그리고, 동작 검출 수단(123)은, 템플릿 매칭의 결과, 피부색 영역의 형상과의 유사도가 가장 높은 형상(1 내지 3)의 어느 하나를, 상기 피부색 영역의 형상으로부터 인식된 손 형상으로서 결정한다. 단, 동작 검출 수단(123)은, 상기 피부색 영역의 형상과, 각 템플릿과의 유사도가 모두 소정치보다 낮은 경우, 형상(1 내지 3)의 어느 것에도 해당하지 않는다고 판정한다.

(2. 동작 범위 감시 수단(122))

동작 범위 감시 수단(122)은, 조작자가 형상(3)의 모양(形)을 한 손을 이용하여 제스처를 행하고 있는 동안, 그 손의 선단부 즉 검지의 선단(F)(도 3 참조)이 동작하는 동작 범위가, 인식영역(OE)을 비어져 나오는 일이 없는지를 감시하는 것이다. 환언하면, 동작 범위 감시 수단(122)은, 인식영역(OE)의 내측부터 외측으로, 인식영역(OE)의 경계인 사각형의 각 변을 검지의 선단(F)이 가로지르지 않는지를 감시한다.

또한, 본 실시 형태와 같이, 조작자가 검지만을 편 손(형상(3))에 의해 제스처를 행하는 경우, 동작 범위 감시 수단(122)은, 검지의 선단(F)을 추출한다. 그러나, 본 발명은 이것으로 한정되지 않는다. 예를 들면, 조작자가 형상(3) 이외의 형상으로 한 손을 이용하여 제스처를 행하는 경우, 동작 범위 감시 수단(122)은, 그 손의 특정 부위가 인식영역(OE)을 비어져 나오는 일이 없는지를 감시한다.

(검지의 선단(F)의 추출에 관해)

검지의 선단(F)을 추출하기 위해서는, 조작자의 손을 추출한 후, 그 손의 검지를 추출한다는 과정을 거친다. 우선, 동화상으로부터 조작자의 손을 추출하려면, 인식영역(OE)에서, 동화상의 전경(前景)을 추출하면 좋다. 이에 의해, 제스처 실행시에는 동화 촬영부(11)에 대해 가장 가깝게 위치하는 조작자의 손이 추출되게 된다. 또는, 인식영역(OE) 내에서, 피부색을 갖는 영역을 추출하여도 좋다. 또한, 조작자의 손으로부터 검지를 추출하려면, 종 방향으로 소정 이상의 길이로 피부색이 연속하는 한편, 횡 방향으로는 소정 미만의 길이로 피부색이 연속하는, 길고 가늘은 형상을 갖는 영역을 추출하면 좋다. 이에 의해, 검지만을 편 손이 인식 대상물인 경우, 검지가 추출되게 된다. 또한, 이렇게 하여 추출된 길고 가늘은 형상의 영역의 선단부를 추출하면, 검지의 선단(F)이 추출되게 된다.

(3. 동작 검출 수단(123))

동작 검출 수단(123)은, 형상(1 또는 2)의 손의 형상을 만든 조작자가 행하는 설정 동작 및 수정 동작을 검출하는 것이다. 여기서, 상기 설정 동작 및 상기 수정 동작이란, 동화상 전체의 영역 중 제스처가 인식되는 영역인 인식영역(OE)(도 3 참조)을 설정 또는 수정하기 위해 조작자가 행하는 동작인 것이다. 이하에, 동작 검출 수단(123)에 의해 검출된 설정 동작 및 수정 동작을 나타낸다.

설정 동작 : 조작자가, 형상(1) 즉 모든 손가락을 편 형상을 만든 손을 흔드는 동작.

수정 동작 : 조작자가, 형상(2) 즉 검지 및 중지를 편 손의 형상을 만들고, 편 2개의 손가락을 소정의 방향을 향하는 동작. 여기서, 상기 소정의 방향이란, 예를 들면 좌우 방향, 상하 방향, 또는 경사 방향이다.

여기서, 상기 설정 동작에서의 손을 흔드는 동작이란, 상세하게는, 도 2의 (a)에 도시하는 바와 같이, 모든 손가락을 편 형상을 한 손바닥을 제스처 인식 장치(1)(동화 촬영부(11))를 향한 상태로, 조작자가 손을 (상하 좌우 어느 하나의 방향으로) 흔드는 동작이다.

또한, 상기 수정 동작에서, 동작 검출 수단(123)은, 편 손가락이 소정의 방향으로 향하여진 것을 검출하는 대신에, 손이 소정의 방향으로 변위한 것을 검출하는 구성으로 하여도 좋다. 이 경우, 상기 수정 동작은, "조작자가, 형상(2) 즉 검지 및 중지를 편 손의 형상을 만들고, 그 손을 소정의 방향으로 변위시키는 동작"이 된다.

또한, 상기 설정 동작 및 상기 수정 동작은 상기한 내용으로 한정하는, 손의 형상(예를 들면 편 손가락의 갯수), 손 방향(예를 들면, 편 손가락의 방향), 및 손의 변위(예를 들면 변위량)에 의해 규정되는 것이면 좋다.

(손짓 동작의 검출 방법에 관해)

동작 검출 수단(123)은, 조작자를 촬영한 동화의 프레임 화상에 관해, 화상 사이에서 차분을 추출한다. 동작 검출 수단(123)은, 예를 들면 30 프레임 분의 화상에 걸쳐서 화상 사이 차분을 추출하는 처리를 행하고, 이렇게 하여 추출된 각 차분을 누적한다. 이에 의해, 화상 사이에서 변위하고 있는 영역, 즉 움직이고 있는 영역이 추출되게 된다. 도 2의 (a)에 도시하는 손짓 동작을 촬영한 동화에 관해, 상기한 바와 같이 화상 사이 차분을 누적한 차분 누적 결과를, 도 2의 (b)에 도시한다. 또한, 도 2의 (b)는, 도 2의 (a)에서, Z로 나타내는 영역을 확대한 것이다. 도 2의 (b)에서는, 백색이 강한 영역일수록 화상 사이 차분의 누적치가 높은 것을 나타내고 있다. 동작 검출 수단(123)은, 이와 같이 하여 추출된 화상 사이 차분의 누적치가, 소정치보다도 큰 영역이 존재하는 경우, 손짓 동작을 검출하였다고 판정한다.

(4. 인식영역 규정 수단(124))

인식영역 규정 수단(124)은, 동작 범위 감시 수단(122)에 의한 동작 범위의 감시 결과, 및 동작 검출 수단(123)에 의한 수정 동작 및 설정 동작의 검출 결과에 의거하여, 인식영역(OE)의 수정을 행하는 것이다. 이하에, 동작 범위 감시 수단(122) 및 동작 검출 수단(123)의 검출 결과에 의한 인식영역(OE)의 수정 및 설정에 관해, 각각 상세히 설명한다.

(설정 동작에 의한 인식영역(OE)의 설정)

형상 인식 수단(121)에 의해 형상(1)의 손의 형이 인식된 경우, 인식영역 규정 수단(124)은, 동작 검출 수단(123)에 의해 상기 설정 동작이 검출된 후, 인식영역(OE)을 설정한다. 이 때, 인식영역 규정 수단(124)은, 동작 검출 수단(123)이 산출한 상기 차분 누적 결과에 의거하여, 인식영역(OE)을 설정한다. 구체적으로는, 인식영역 규정 수단(124)은, 화상 사이 차분의 누적치가 소정치 이상인 점(화소)을 전부 포함하고, 또한, 화상의 상하 및 좌우 방향에 평행한 변을 갖는 최소의 사각형의 영역을 산출한다. 인식영역 규정 수단(124)은, 이렇게 하여 산출된 사각형의 영역을 인식영역(OE)으로서 설정한다(도 2의 (b) 참조).

그런데, 특허 문헌 1에 기재된 종래의 제스처 인식 장치에서는, 우선 얼굴 영역을 산출하고, 이 얼굴 영역에 의거하여, 제스처를 인식하는 영역을 설정하고 있다. 그 때문에, 조작자가 동화 촬영부에 너무 가까워진 경우 등, 동화상에 조작자의 얼굴이 비치지 않는 경우, 상기 종래의 제스처 인식 장치에서는, 제스처를 인식하는 영역을 설정할 수가 없었다. 한편, 본 실시 형태에 관한 제스처 인식 장치(1)에서는, 인식영역 규정 수단(124)은, 상기한 바와 같이 조작자의 얼굴의 위치를 특정하는 일 없이, 인식영역(OE)의 설정을 행한다. 따라서, 예를 들어 동화상에 조작자의 얼굴이 비치지 않는 경우라도, 인식영역(OE)의 설정을 행할 수가 있다.

(수정 동작에 의한 인식영역(OE)의 수정)

형상 인식 수단(121)에 의해 형상(2)의 손의 형이 인식된 경우, 인식영역 규정 수단(124)은, 전술한 수정 동작에 의거하여, 인식영역(OE)의 수정을 행한다.

인식영역 규정 수단(124)은, 이하와 같이, 상기 인식영역 수정 테이블을 참조함에 의해, 동작 검출 수단(123)에 의해 검출된 수정 동작에 대응하는 수정 내용으로, 인식영역(OE)을 수정한다.

조작자가 손으로 형상(2)의 형태를 만들고, 편 손가락(검지 및 중지)을 어느 방향으로 향하는 수정 동작을, 동작 검출 수단(123)이 검출한 경우, 인식영역 규정 수단(124)은, 검지 및 중지가 펴진 방향에 의거하여, 인식영역(OE)의 수정을 행한다. 예를 들면, 동작 검출 수단(123)은, 검지 및 중지를 좌 방향/우 방향으로 향하는 수정 동작을 검출한 경우, 인식영역을 우 방향/좌 방향으로 소정의 비율(예를 들면, 인식영역의 좌우 방향의 길이의 10%)로 확대한다. 또한, 동작 검출 수단(123)은, 검지 및 중지를 상 방향/하 방향으로 향하는 수정 동작을 검출한 경우, 인식영역을 상 방향/하 방향으로 소정의 비율(예를 들면, 인식영역의 상하 방향의 길이의 10%)로 확대한다. 또한, 동작 검출 수단(123)은, 검지 및 중지를 경사 방향으로 향하는 수정 동작을 검출한 경우, 인식영역을 횡 방향 및 종 방향으로 소정의 비율(예를 들면, 각 변의 길이의 10%)로, 각각 확대한다.

또한, 상기 수정 동작에서, 전술한 바와 같이, 손을 소정의 방향으로 변위시키는 것을, 편 손가락을 소정의 방향으로 향하는 것의 대신으로 하는 구성으로 하여도 좋다. 이 구성인 경우, 손을 소정의 방향에 움직인 때의 손의 변위량에 응하여, 인식영역(OE)의 수정 내용을 다른 것으로 하여도 좋다. 예를 들면, 조작자가 소정의 거리보다 짧은 거리에서 손을 움직인 경우, 인식영역 규정 수단(124)은, 인식영역(OE)을 10%의 비율로 확대하는 한편, 조작자가 소정의 거리 이상의 거리로 손을 움직인 경우, 인식영역 규정 수단(124)은, 인식영역(OE)을 20%의 비율로 확대하여도 좋다.

또한, 상기한 바와 같이 인식영역(OE)을 확대하는 구성 이외에도, 조작자가, 검지, 중지, 및 약지를 편 손의 형상을 만들고, 펴진 3개의 손가락을 소정의 방향으로 향하는 동작을 행한 경우에, 인식영역 규정 수단(124)은, 손가락이 펴진 방향에 의거하여, 인식영역(OE)을 규정하는 사각형의 각 변 중, 손가락이 펴진 측의 변의 길이를 10%의 비율로 축소하는 수정을 행하는 구성으로 하여도 좋다.

이와 같이, 본 발명은, 조작자가 손의 형상·방향이나 변위에 의해 규정되는 수정 동작에 의해 인식영역(OE)의 수정을 행할 수가 있기 때문에, 이하와 같은 이점을 갖는다.

조작자가 동화 촬영부(11)로부터 멀리에 위치하는 경우, 조작자가 동화 촬영부(11)의 가깝게 위치하는 경우에 비하여, 조작자가 제스처를 행한 때의 그 제스처의 해상도가 낮아진다. 그 결과, 제스처 인식의 정밀도가 저하된다. 그 때문에, 조작자가 동화 촬영부(11)로부터 떨어져서 제스처를 행하는 경우, 제스처 인식의 정밀도를 유지하기 위해서는, 인식영역을 확대하는 수정이 필요해진다. 그러나, 특허 문헌 1 및 2에 기재된 종래의 제스처 인식 장치에서는, 조작자가 동화상에서의 인식영역의 범위를 수정할 수가 없다. 한편, 본 실시 형태에 관한 제스처 인식 장치(1)에서는, 상술한 수정 동작 또는 설정 동작을 행함에 의해, 조작자가 인식영역(OE)을 확대할 수 있다. 즉, 본 발명에 의하면, 조작자는, 동화 촬영부(11)로부터 자신까지의 거리에 응하여, 인식영역(OE)이 적절한 범위가 되도록 조정할 수 있다.

(동작 범위의 감시 결과에 의한 인식영역(OE)의 수정)

형상 인식 수단(121)에 의해 형상(3)의 손의 형이 인식된 경우, 인식영역 규정 수단(124)은, 이하와 같이, 동작 범위 감시 수단(122)에 의한 동작 범위의 감시 결과에 의거하여, 인식영역(OE)의 수정을 행한다.

인식영역 규정 수단(124)은, 조작자의 검지 선단(F)이 인식영역(OE)부터 비어져 나온 것을 동작 범위 감시 수단(122)이 검출한 경우, 인식영역(OE)의 각 변에 관해, 소정의 길이, 예를 들면 각 변의 10%의 비율로 확대한다. 또는, 인식영역 규정 수단(124)은, 검지의 선단(F)이 인식영역(OE)을 비어져 나온 때에 가로지른 인식영역(OE)의 변이 우/좌의 변인 경우, 인식영역(OE)을 우 방향/좌 방향으로 10%의 비율로 확대하여도 좋다. 마찬가지로, 인식영역 규정 수단(124)은, 검지의 선단(F)이 인식영역(OE)을 비어져 나온 때에 가로지른 인식영역(OE)의 변이 상/하의 변인 경우, 인식영역(OE)을 상 방향/하 방향으로 10%의 비율로 확대하여도 좋다.

또한, 인식영역 규정 수단(124)은, 검지 선단(F)이 인식영역(OE)으로부터 한번 또는 소정의 회수 비어져 나온 것을 동작 범위 감시 수단(122)이 검출한 경우에, 인식영역(OE)을 확대하여도 좋고, 또는, 검지 선단(F)이 인식영역(OE)으로부터 소정 이상의 빈도(예를 들면 100프레임의 사이에 5회)로 비어져 나온 것을 동작 범위 감시 수단(122)이 검출한 경우에, 인식영역(OE)을 확대하여도 좋다. 그 밖에, 인식영역 규정 수단(124)은, 검지의 선단(F)이 소정 이상의 변위 속도로 인식영역(OE)부터 비어져 나온 것을 동작 범위 감시 수단(122)이 검출한 경우에, 인식영역(OE)을 상술한 바와 같이 확대하는 수정을 행하여도 좋다. 여기서, 상기 소정 이상의 속도란, 예를 들면, 1프레임 동안(1/15초간에 상당)에, 인식영역(OE)의 변의 길이의 10% 이상, 검지의 선단(F)이 변위하는 속도이다.

(5. 제스처 인식 수단(125))

제스처 인식 수단(125)은, 인식영역(OE)(OE') 내에서, 조작자의 손의 위치, 형상, 방향, 및 변위를 인식함에 의해 제스처 인식을 행한다. 또한, 제스처 인식의 방법으로서는, HMM(Hidden Markov Model ; 은닉 마르코브 모델) 또는 연속 DP(Continuous Dynamic Programming) 등을 사용할 수 있다.

제스처 인식을 행하기 위해서는, HMM을 이용한 방법을 사용할 수 있다. HMM을 이용한 방법에서는, 미리, 제스처 인식 장치(1)가 인식하는 제스처의 종류마다의 모델을, 제스처 데이터베이스로서 기억부(13)에 기억하여 둔다. 그 후, 제스처 인식 장치(1)에 입력된 화상에 대해, 제스처 인식 수단(125)은, 상기 제스처 데이터베이스에 포함되는 각 모델의 우도(尤度)를 계산한다. 그 결과, 입력 화상에 대한 우도치가 소정치 이상인 하나 또는 복수의 모델이 발견된 경우, 제스처 인식 수단(125)은, 그들의 모델 중 우도가 가장 높은 모델에 대응하는 제스처를, 입력 화상으로부터 인식한 제스처로서, 표시 기기 제어 수단(126)에 송출한다.

또한, 제스처 인식 수단(125)은, 상술한 바와 같이 HMM을 이용한 제스처 인식을 행하는 외에, 검지 선단(F)의 변위 측정을 행한다. 이에 의해, 후술하는 바와 같이, 표시 기기(1000)에 표시한 포인터(P)(도 5 참조)를, 검지 선단(F)의 동작에 연동시키는 구성을 실현할 수 있다.

(6. 표시 기기 제어 수단(126))

표시 기기 제어 수단(126)은, 제스처 인식 장치(1) 외부의 표시 기기에서, 제스처 인식 수단(125)에 의한 제스처 인식 결과에 대응하는 처리가 실행되도록 제어하는 것이다. 상세하게는, 표시 기기 제어 수단(126)은, 상기 제스처-처리 내용 대응 테이블을 참조하여, 인식된 제스처에 대응하는 처리를 실행하도록, 상기 표시 기기를 제어한다.

다음에, 도 1, 도 5를 참조하면서, 표시 기기 제어 수단(126)에 의한 표시 기기(1000)의 제어를 예로 들어 설명한다. 우선, 표시 기기 제어 수단(126)은, 제스처 인식 결과에 의거하여 결정한 처리 내용을 지시하는 제어 신호를, 표시 기기(1000)가 구비한 제어 기능부(도시 생략)에 송신한다. 그러면, 상기 제어 기능부는, 표시 기기 제어 수단(126)이 송신한 제어 신호를 수신하여, 상기 처리 내용을 실행한다. 상기 처리 내용이란, 예를 들면, 검지 선단(F)의 변위를 인식한 결과에 의거하여, 표시 장치(2)에 표시된 포인터(P)를 검지 선단(F)과 연동시키는 처리이다. 또는, 상기 처리 내용은, 조작자가 손으로 소정의 형상을 만드는 제스처를 행한 경우에, 상기 포인터(P)와 겹쳐지는 위치에 표시되어 있는 아이콘이 선택되는 처리이다. 이와 같이, 조작자는, 표시 장치(2)의 화면에 접촉하거나 글로브 등의 장신구를 사용하거나 하는 일 없이, 자신의 손을 이용한 간단한 제스처에 의해, 표시 기기(1000)의 조작을 행할 수가 있다.

(제스처 감시 처리의 흐름)

여기서는, 제어 수단(12)에 의해 실행되는 제스처 감시 처리의 흐름에 관해, 도 4에 도시하는 플로 차트를 이용하여 설명한다. 제스처 감시 처리에서는, 조작자가 자신의 손을 이용하여 제스처를 행하고 있는 동안, 그 손에 의한 수정 동작 및 설정 동작이 검출됨과 함께, 검지 선단(F)의 동작 범위의 감시가 행하여진다. 그리고, 상기 수정 동작, 상기 설정 동작, 및 상기 동작 범위의 감시 결과에 의거하여, 인식영역(OE)이 수정 또는 설정된다. 이하에, 제스처 감시 처리에 관해 상세히 설명한다.

우선, 형상 인식 수단(121)은, 조작자가 손을 이용하여 제스처를 행하고 있는 동안, 그 손의 형상을 인식한다(S101).

형상 인식 수단(121)에 의해 형상(1)의 손의 형이 인식된 경우, 동작 검출 수단(123)은, 손짓 동작의 범위에 의거하여, 인식영역(OE)을 설정한다(S102A). 또는, 이미 인식영역(OE)이 설정제이였던 경우, 동작 검출 수단(123)은, 손짓 동작의 범위에 의거하여, 인식영역(OE')을 재설정한다.

또는, 형상 인식 수단(121)에 의해 형상(2)의 손의 형이 인식된 경우, 인식영역 규정 수단(124)은, 상기 수정 동작에 의거하여, 인식영역(OE)의 수정을 행한다(S102B).

또는, 형상 인식 수단(121)에 의해 형상(3)의 손의 형이 인식된 경우, 동작 범위 감시 수단(122)은, 인식영역(OE) 내에서 제스처를 행하기 위해 동작하는 손의 검지 선단(F)이, 인식영역(OE)으로부터 비어져 나오지 않든지 감시한다(S102C). 환언하면, 동작 범위 감시 수단(122)은, 검지 선단(F)의 동작 범위를 감시한다. 또한, 이 때, 제스처 인식 수단(125)은, 예를 들면 검지 선단(F)의 변위를 계측하는 등의 제스처 인식을 행하고 있다. 그리고, 인식영역 규정 수단(124)은, 동작 범위 감시 수단(122)이 검지 선단(F)의 동작 범위를 감시하고 있는 동안, 인식영역(OE)의 수정을 행할 필요가 있는지의 여부를 판정한다(S103C). 이 때, 인식영역 규정 수단(124)은, 상세하게는, 검지 선단(F)이 인식영역(OE)부터 비어져 나온 것을, 소정 시간 내에 한번 또는 소정 회수 이상, 또는 소정 이상의 빈도로 동작 범위 감시 수단(122)이 검출한 경우에, 인식영역(OE)을 수정할 것을 결정한다. 인식영역 규정 수단(124)은, 인식영역(OE)의 수정을 행할 필요가 있다고 판정한 경우(S103C에서 yes), 상기 수정 동작에 의거하여, 인식영역(OE)의 수정을 행한다(S104C). 한편, 인식영역 규정 수단(124)은, 인식영역(OE)의 수정을 행할 필요가 없다고 판정한 경우(S103C에서 no), 인식영역(OE)의 수정은 행하지 않는다.

또는, 형상 인식 수단(121)에 의해 형상(1 내지 3) 이외의 손의 형이 인식된 경우, 제스처 인식 수단(125)에 의해, 조작자의 손에 의한 제스처가 인식된다(S102D).

상기 스텝 S102A, S102B, S104C, 또는 S102D가 종료된 후, 형상 인식 수단(121)이 조작자의 손의 형상을 인식하는 처리(S101)로 되돌아간다.

(정리)

이상과 같이, 본 발명에 관한 제스처 인식 장치(1)는, 특정한 손의 형상(1 내지 3)을 인식한 경우에, 인식영역(OE)의 규정(설정 또는 수정)을 행한다. 그러나, 본 발명은, 이것으로 한정되지 않는다. 즉, 조작자가 손을 이용하여 행하는 제스처의 종류에 의거하여, 인식영역 규정 수단(124)이 인식영역(OE)을 규정하는 구성이라면, 본 발명의 범위 내에 포함된다. 또한, 상기 제스처의 종류는, 조작자가 제스처를 행하는 손의 형상, 방향, 및/또는 변위에 의해 규정되는 것이면 좋다. 특히, 상기 손의 변위는, 손의 변위량, 변위 방향, 또는 변위 속도라도 좋다.

[실시 형태 2]

본 실시 형태에 관한 표시 기기(1000)에 관해, 도 5에 의거하여 설명하면, 이하와 같다. 또한, 설명의 편의상, 실시 형태 1에서 설명한 도면과 같은 기능을 갖는 부재에 관해서는, 동일한 부호를 부기하고, 그 설명을 생략하기로 한다.

(표시 기기(1000)의 구성)

도 5로서 외관도를 도시하는 표시 기기(1000)는, 상기 실시 형태 1의 제스처 인식 장치(1)와, 표시 장치(2)를 구비한 것이다. 또한, 표시 기기(1000)는, 구체적으로는 퍼스널 컴퓨터이다. 그러나, 본 발명은 이것으로 한정되지 않고, 표시 기기(1000)는, 텔레비전 수상기, 인터넷 텔레비전, 또는 태블릿 단말 등, 제어 기능 및 표시 기능을 갖는 각종 표시 기기면 좋다.

또한, 도 5에서는, 제스처 인식 장치(1)가 표시 장치(2)의 상측에 설치되어 있지만, 제스처 인식 장치(1)가 설치되는 위치에 관해 특히 제한은 없고, 표시 장치(2)의 하측·좌측·우측에 설치되어도 좋고, 또는 표시 장치(2)와 일체가 된 구성이라도 좋다. 제스처 인식 장치(1)와 표시 장치(2)가 일체가 된 구성으로서는, 예를 들면, 표시 장치(2)의 화면의 주위를 둘러싸는 프레임 분에, 동화 촬영부(11)가 매입된 구성으로 하여도 좋다. 또한, 표시 장치(2)가 웹 카메라를 구비하고 있는 경우에는, 이 웹 카메라를 동화 촬영부(11)의 대용으로 할 수 있다. 이 경우, 표시 기기(1)가 구비한 제어 기능부(도시 생략)에, 제스처 인식 장치(1)의 제어 수단(12)을 포함함에 의해, 제스처 인식 장치(1)의 전체가 소프트웨어적으로 실현되게 된다.

(표시 기기(1)의 제어에 관해)

본 실시 형태에서의 표시 기기 제어 수단(126)은, 제스처 인식 수단(125)으로부터 취득한 제스처 인식 결과에 의거하여, 표시 장치(2)에서의 표시를 제어한다. 표시 기기 제어 수단(126)은, 예를 들면, 상기 표시 기기(1000)가 또한 구비한 제어 기능부와 협동함에 의해, 표시 장치(2)에 표시된 포인터(P)의 동작을 제어한다. 구체적으로는, 제스처 인식 장치(1)가 인식 대상물(검지만을 편 손)의 제스처를 인식한 결과에 의거하여, 포인터(P)는, 인식 대상물의 제스처에 대응하는 동작을 한다. 예를 들면, 조작자가 인식영역(OE) 내에서 검지를 움직이면, 표시 장치(2)의 화면 내에서, 포인터(P)가 검지가 움직인 거리·방향으로 연동한다. 이와 같이, 조작자는, 표시 장치(2)의 화면에 접촉하거나, 또는 리모컨 등의 도구를 사용하거나 하는 일 없이, 화면에 표시된 포인터(P)를 조작할 수 있다.

다음에, 표시 기기(1000)의 사용예를 들어서, 표시 기기 제어 수단(126)의 상세한 처리에 관해 설명한다. 우선, 조작자가, 인식영역(OE) 내에서, 인식 대상물(손)을 이용한 제스처를 행한다. 인식 대상물의 제스처는 동화 촬영부(11)에 의해 촬영되어, 제스처 인식 수단(125)에 의해 인식된 후, 표시 기기 제어 수단(126)에 입력된다. 그러면, 표시 기기 제어 수단(126)은, 제스처의 인식 결과에 의거하여 결정한 포인터(P)의 제어 내용을, 표시 장치(2)가 구비한 상기 제어 기능부에 송신한다. 그리고, 상기 제어 기능부는, 표시 기기 제어 수단(126)과 협동함에 의해, 표시 장치(2)에 표시된 포인터(P)의 동작을 제어한다. 또한, 표시 기기 제어 수단(126)은, 단지 포인터(P)의 변위를 제어할 뿐만 아니라, 인식 대상물의 형상에 대응하는 처리 내용을 상기 제어 기능부에 실행시킬 수 있는 구성이라도 좋다. 이에 의해, 예를 들면, 조작자가 손을 쥐는 동작을 행한 경우, 표시 기기 제어 수단(126)은, 포인터(P)와 겹쳐지는 위치에 표시되어 있는 아이콘이 선택되도록 제어한다는 것이 가능해진다.

또한, 본 발명은 상술한 각 실시 형태 1, 2로 한정되는 것이 아니라, 청구항에 나타낸 범위에서 여러가지의 변경이 가능하고, 실시 형태 1, 2 및 변형예에 각각 개시된 기술적 수단을 적절히 조합시켜서 얻어지는 실시 형태에 대해서도, 본 발명의 기술적 범위에 포함된다.

[소프트웨어에 의한 실현예]

최후로, 제스처 인식 장치(1)의 각 블록, 특히 제어 수단(12)에 포함되는 각 수단은, 집적 회로(IC 칩)상에 형성된 논리 회로에 의해 하드웨어적으로 실현하여도 좋고, CPU(Central Processing Unit)를 이용하여 소프트웨어적으로 실현하여도 좋다.

후자인 경우, 제스처 인식 장치(1)는, 각 기능을 실현한 프로그램의 명령을 실행하는 CPU, 상기 프로그램을 격납한 ROM(Read Only Memory), 상기 프로그램을 전개하는 RAM(Random Access Memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 제스처 인식 장치(1)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터에서 판독 가능하게 기록한 기록 매체를, 상기 제스처 인식 장치(1, 2)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록 매체에 기록되어 있는 프로그램 코드를 판독하고 실행함에 의해서도, 달성 가능하다.

상기 기록 매체로서는, 일시적이 아닌 유형의 매체(non-transitory tangible medium), 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프류, 플로피(등록상표)디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크류, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드류, 마스크 ROM/EPROM/EEPROM(등록상표)/플래시 ROM 등의 반도체 메모리류, 또는 PLD(Programmable logic device)나 FPGA(Field Programmable Gate Array) 등의 논리 회로류 등을 이용할 수 있다.

또한, 제스처 인식 장치(1)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를, 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크는, 프로그램 코드를 전송 가능하면 좋고, 특히 한정되지 않는다. 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상 전용망(Virtual Private Network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 이 통신 네트워크를 구성하는 전송 매체도, 프로그램 코드를 전송 가능한 매체라면 좋고, 특정한 구성 또는 종류의 것으로 한정되지 않는다. 예를 들면, IEEE1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL(Asymmetric Digital Subscriber Line) 회선 등의 유선이라도, IrDA나 리모컨과 같은 적외선, Bluetooth(등록상표), IEEE802. 11 무선, HDR(High Data Rate), NFC(Near Field Communication), DLNA(Digital Living Network Alliance), 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매입된 컴퓨터 데이터 신호의 형태로도 실현될 수 있다.

[산업상의 이용 가능성]

본 발명은, 표시 장치를 구비한 각종 표시 기기, 특히 텔레비전 수상기, 퍼스널 컴퓨터, 및 태블릿 단말 등에 이용할 수 있다.

1 : 제스처 인식 장치
2 : 표시 장치
13 : 기억부
121 : 형상 인식 수단(판정 수단)
122 : 동작 범위 감시 수단
124 : 인식영역 규정 수단
1000 : 표시 기기

Claims (9)

1. 유저가 촬영된 동화로부터, 그 유저에 의한 제스처를 인식하는 제스처 인식 장치에 있어서,
   상기 제스처의 종류를 판정하는 판정 수단과,
   상기 판정 수단에 의해 판정된 제스처의 종류에 의거하여, 동화상 전체의 영역 중 제스처가 인식되는 영역인 인식영역을 규정하는 인식영역 규정 수단을 구비한 것을 특징으로 하는 제스처 인식 장치.
2. 제 1항에 있어서,
   상기 유저의 손에 의해 제스처가 행하여지고,
   상기 제스처를 행할 때의 소정의 손 형상을 포함하는 손 형상 리스트를 기억하는 기억부를 더 구비하고,
   상기 판정 수단이, 상기 손 형상 리스트를 참조함에 의해, 상기 소정의 손 형상을 검출하는 것을 특징으로 하는 제스처 인식 장치.
3. 제 2항에 있어서,
   상기 판정 수단이, 상기 소정의 손 형상을 검출한 경우에, 상기 유저가 상기 소정의 손 형상으로 한 손을 흔드는 범위를 검출하는 동작 검출 수단을 더 구비하고,
   상기 인식영역 규정 수단은, 상기 동작 검출 수단에 의해 검출된 상기 손을 흔드는 범위에 의거하여, 상기 인식영역을 규정하는 것을 특징으로 하는 제스처 인식 장치.
4. 제 2항에 있어서,
   상기 판정 수단이, 상기 소정의 손 형상을 검출한 경우에, 상기 유저가 상기 소정의 손 형상으로 한 손을 이용하여 제스처를 행하고 있는 동안, 상기 손의 특정 부위의 움직임을 감시함에 의해, 상기 특정 부위가 상기 인식영역을 비어져 나오지 않는지 감시하는 동작 범위 감시 수단을 더 구비하고,
   상기 손의 상기 특정 부위가 상기 인식영역을 비어져 나오는 것을 상기 동작 범위 감시 수단이 검출한 경우에, 상기 인식영역 규정 수단은, 상기 인식영역을 소정의 비율로 확대하는 수정을 행하는 것을 특징으로 하는 제스처 인식 장치.
5. 제 2항에 있어서,
   상기 기억부가, 상기 손의 방향 및 변위의 적어도 어느 한쪽과 상기 인식영역의 수정 내용을 대응 짓는 인식영역 수정 테이블을 또한 기억하고 있음과 함께,
   상기 판정 수단이, 상기 소정의 손 형상을 검출한 경우에, 상기 인식영역 수정 테이블을 참조함에 의해, 상기 손의 방향 및 변위의 적어도 어느 한쪽과 대응하는 상기 인식영역의 수정 내용을 검출하는 동작 검출 수단을 더 구비하고,
   상기 인식영역 규정 수단은, 상기 수정 내용으로 상기 인식영역을 수정하는 것을 특징으로 하는 제스처 인식 장치.
6. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
   외부의 기기에 대해, 제스처의 인식 결과에 대응하는 처리를 실행하도록 지시하는 기기 제어 수단을 더 구비한 것을 특징으로 하는 제스처 인식 장치.
7. 제 6항에 기재된 제스처 인식 장치와, 상기 제스처 인식 장치에 의해 동작 제어가 행하여지는 표시 장치를 구비한 것을 특징으로 하는 표시 기기.
8. 유저가 촬영된 동화로부터, 그 유저에 의한 제스처를 인식하는 제스처 인식 장치의 제어 방법으로서,
   상기 제스처의 종류를 판정한 후,
   판정된 제스처의 종류에 의거하여, 동화상 전체의 영역 중 제스처가 인식되는 영역인 인식영역을 규정하는 것을 특징으로 하는 제스처 인식 장치의 제어 방법.
9. 제 8항에 기재된 제스처 인식 장치의 제어 방법의 각 처리를 컴퓨터에 실행시키기 위한 제어 프로그램이 기록된 기록 매체.

Images