KR101631015B1 - 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 - Google Patents

제스처 인식 장치 및 제스처 인식 장치의 제어 방법 Download PDF

Info

Publication number
KR101631015B1
KR101631015B1 KR1020150014673A KR20150014673A KR101631015B1 KR 101631015 B1 KR101631015 B1 KR 101631015B1 KR 1020150014673 A KR1020150014673 A KR 1020150014673A KR 20150014673 A KR20150014673 A KR 20150014673A KR 101631015 B1 KR101631015 B1 KR 101631015B1
Authority
KR
South Korea
Prior art keywords
shape
gesture
pointer
target portion
movement
Prior art date
Application number
KR1020150014673A
Other languages
English (en)
Other versions
KR20150106824A (ko
Inventor
키요아키 타나카
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20150106824A publication Critical patent/KR20150106824A/ko
Application granted granted Critical
Publication of KR101631015B1 publication Critical patent/KR101631015B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

취득한 화상으로부터 제스처를 검출하고, 당해 제스처에 대응하여, 포인터를 이동시키는 명령을 대상 기기에 송신하는 제스처 인식 장치로서, 화상을 취득하는 화상 취득 수단과, 상기 취득한 화상으로부터, 제스처를 행하는 대상 부위의 형상과, 당해 대상 부위의 움직임을 취득하는 제스처 취득 수단과, 상기 대상 부위의 움직임에 대응하여, 포인터를 이동시키는 명령을 생성하고, 상기 대상 기기에 출력하는 포인터 제어 수단을 가지며, 상기 포인터 제어 수단은, 상기 대상 부위의 형상 및 상기 대상 부위의 움직임에 의거하여 포인터의 이동량을 결정하는 것을 특징으로 한다.

Description

제스처 인식 장치 및 제스처 인식 장치의 제어 방법{GESTURE RECOGNITION APPARATUS AND CONTROL METHOD OF GESTURE RECOGNITION APPARATUS}
본 발명은, 제스처에 의한 입력 조작을 인식하는 제스처 인식 장치에 관한 것이다.
컴퓨터나 정보 기기와 같은, 포인팅에 의한 조작이 가능한 기기에 대해, 제스처를 이용하여 입력 조작을 행하는 장치가 실용화되어 있다. 이와 같은 장치에서는, 예를 들면 카메라를 이용하여 이용자를 촬상하고, 이용자의 신체 부위의 움직임을 인식하고, 인식 결과를 기초로 포인터를 이동시킨다. 이에 의해 이용자는, 입력 디바이스에 접촉하는 일 없이, GUI 화면상에서 포인터를 조작할 수 있다.
예를 들면, 특허 문헌 1에는, 취득한 화상으로부터, 제스처를 행하고 있는 부위를 검출하고, 당해 부위에 포함되는 특징점의 이동 방향을 취득함으로써, 당해 부위의 이동 궤적을 검출하는 제스처 인식 장치가 기재되어 있다. 특징점의 이동 방향을 종합적으로 판정함으로써, 제스처를 행하고 있는 부위 전체의 움직임을 정밀도 좋게 취득할 수 있다.
일본 특개2011-076255호 공보 일본 특개2012-058854호 공보
제스처에 의해 포인터를 이동시키는 경우, 이동 방향을 나타내는 것은 가능하여도, 절대적인 이동량을 나타낼 수는 없다. 따라서 제스처 인식 장치는, 이용자가 행한 제스처에 의거하여, 포인터의 최적의 이동량을 결정할 필요가 있다.
그러나, 포인터의 최적의 이동량은, 모든 제스처에서 반드시 동일하지는 않다. 예를 들면, 손가락 끝으로 제스처를 행할 때의 손가락의 이동량과, 팔 전체를 움직여서 제스처를 행할 때의 손의 이동량은 각각 다르다. 따라서 포인터의 이동량을 일률적으로 하여 버리면, 손가락 끝을 움직여도 포인터가 생각하는 바와 같이 이동하지 않는, 또는, 손을 움직이면 포인터가 상정(想定)하는 것보다도 크게 이동하여 버린다는 부적합함이 발생할 수 있다.
이 문제를 해결하기 위해서는, 제스처가 큰 움직임에 의해 행하여지는 것인지, 작은 움직임에 의해 행하여지는 것인지를 판정하여, 포인터의 이동량을 조정할 필요가 있다.
한편, 특허 문헌 2에 기재된 제스처 인식 장치는, 촬상한 화상을 복수의 에어리어로 분할하고, 손이 존재하는 에어리어를 검출함으로써, 제스처 전체의 움직임의 대소를 판정하는 기능을 갖고 있다.
그러나, 특허 문헌 2에 기재된 장치는, 제스처에 의해 묘화된 도형을 검출하는 것으로, 당해 도형을 묘화하기 위해 필요로 한 움직임에 의거하여 제스처의 움직임의 대소를 판정하기 때문에, 제스처가 끝날 때까지 판정을 행할 수가 없다. 즉, 당해 기술은, 제스처에 의해 리얼타임으로 포인터를 이동시키는 장치에는 적용할 수가 없다.
본 발명은 상기한 과제를 고려하여 이루어진 것으로, 입력된 제스처에 대응하여 포인터를 이동시키는 제스처 인식 장치에 있어서, 포인터의 이동량을 적절하게 결정하는 기술을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위해, 본 발명에 관한 제스처 인식 장치는, 제스처를 행하는 신체 부위인 대상 부위의 형상을 판정하고, 당해 형상을 이용하여 포인터의 이동량을 결정한다는 구성을 취하였다.
구체적으로는, 본 발명에 관한 제스처 인식 장치는,
취득한 화상으로부터 제스처를 검출하고, 당해 제스처에 대응하여, 포인터를 이동시키는 명령을 대상 기기에 송신하는 제스처 인식 장치로서, 화상을 취득하는 화상 취득 수단과, 상기 취득한 화상으로부터, 제스처를 행하는 대상 부위의 형상과, 당해 대상 부위의 움직임을 취득하는 제스처 취득 수단과, 상기 대상 부위의 움직임에 대응하여, 포인터를 이동시키는 명령을 생성하고, 상기 대상 기기에 출력하는 포인터 제어 수단을 가지며, 상기 포인터 제어 수단은, 상기 대상 부위의 형상 및 상기 대상 부위의 움직임에 의거하여 포인터의 이동량을 결정하는 것을 특징으로 한다.
대상 부위란, 이용자가 제스처를 행하는 부위이고, 전형적으로는 인간의 손이다. 포인터의 위치는, 대상 부위의 움직임에 의거하여 결정할 수 있는데, 본 발명에 관한 제스처 인식 장치에서는, 대상 부위의 형상에 의거하여 포인터의 이동량을 결정한다.
예를 들면, 이용자가 집게손가락을 세워서 제스처를 행하고 있는 경우, 손가락 끝을 움직임으로써 포인터를 이동시키려고 하고 있다고 추정할 수 있기 때문에, 보다 작은 움직임으로 조작을 가능하게 하기 위해, 손바닥을 펴서 제스처를 행하고 있는 경우보다도 포인터의 이동량을 크게 한다.
본 발명에 관한 제스처 인식 장치는, 이와 같이, 대상 부위의 움직임에 더하여, 대상 부위의 형상에 의거하여 포인터의 이동량을 결정함으로써, 유저빌리티의 향상을 실현하고 있다.
또한, 상기 제스처 취득 수단은, 상기 취득한 화상으로부터, 상기 대상 부위의 크기를 또한 취득하고, 상기 포인터 제어 수단은, 상기 대상 부위의 크기에 또한 의거하여 포인터의 이동량을 결정하는 것을 특징으로 하여도 좋다.
취득한 제스처의 이동량은, 제스처를 행하고 있는 이용자와 장치와의 거리에 의해 변하기 때문에, 이것을 보정하기 위해, 화상 중에서의 대상 부위의 크기에 응하여, 포인터의 이동량을 바꾸도록 하여도 좋다.
또한, 상기 제스처 취득 수단은, 상기 대상 부위의 형상이, 제1의 형상인지, 상기 제1의 형상과는 다른 제2의 형상인지를 판정하고, 상기 포인터 제어 수단은, 상기 대상 부위의 형상이 제1의 형상인 경우에, 상기 대상 부위의 형상이 제2의 형상인 경우와 비교하여, 보다 포인터의 이동량을 크게 하는 것을 특징으로 하여도 좋다.
이와 같이, 대상 부위의 형상에 응하여 포인터의 이동량의 대소를 바꾸도록 하여도 좋다.
또한, 상기 대상 부위는, 인간의 손이고, 상기 제1의 형상은, 손가락 끝을 움직임에 의해 제스처를 행하고 있다고 추정할 수 있는 형상이고, 상기 제2의 형상은, 손 전체를 움직임에 의해 제스처를 행하고 있다고 추정할 수 있는 형상인 것을 특징으로 하여도 좋다.
제1 및 제2의 형상은, 이용자가, 손 전체를 움직임으로써 제스처를 행하고 있는지, 손가락 끝을 움직임으로써 제스처를 행하고 있는지를 판정할 수 있는 형상인 것이 바람직하다. 손 전체가 아니라 손가락 끝을 이용하여 제스처를 행하고 있다고 추정할 수 있는 경우, 포인터의 이동량을 보다 크게 한다. 이에 의해, 손가락 끝의 작은 움직임으로 제스처를 행하는 경우라도, 포인터의 이동량을 확보할 수 있다.
또한, 상기 제스처 취득 수단은, 대상 부위인 손의 형상이, 일부의 손가락이 세워져 있는 형상인 경우에, 제1의 형상이라고 판정하고, 모든 손가락이 펴저 있는 형상인 경우에, 제2의 형상이라고 판정하는 것을 특징으로 하여도 좋다.
5개의 손가락중의 일부가 세워져 있는 경우, 손가락 끝을 이용하여 제스처를 행하고 있다고 추정할 수 있고, 모든 손가락이 펴져 있는 경우, 손 전체를 움직임으로써 제스처를 행하고 있다고 추정할 수 있다. 또한, 일부의 손가락이 세워져 있는 상태란, 손가락을 전부 편 상태는 포함하지 않는다.
또한, 상기 제스처 취득 수단은, 대상 부위인 손의 형상이, 1개의 손가락만이 신전(伸展)하고 있는 형상인 경우에, 제1의 형상이라고 판정하는 것을 특징으로 하여도 좋다.
이와 같이, 늘어나 있는 손가락을 1개만 검출한 경우, 손가락 끝을 이용하여 제스처를 행하고 있다고 추정할 수 있다.
또한, 상기 포인터 제어 수단은, 상기 취득한 화상 중에, 상기 대상 기기가 갖는 표시 화면과 좌표가 대응시켜진 영역인 인식 영역을 설정하고, 상기 인식 영역 중에서의 대상 부위의 움직임을, 상기 표시 화면에 매핑함으로써 포인터의 위치를 결정하고, 상기 대상 부위의 형상에 의거하여, 상기 인식 영역의 크기를 변경하는 것을 특징으로 하여도 좋다.
인식 영역이란, 취득한 화상 중에 설정되는, 대상 기기의 화면과 좌표가 매핑된 영역이다. 즉, 인식 영역이 작은 경우, 인식 영역이 큰 경우와 비교하여, 보다 작은 제스처로 포인터를 보다 크게 움직일 수 있다. 이와 같이, 대상 부위의 형상에 의거하여 인식 영역의 크기를 설정함으로써, 포인터의 이동량을 변경하도록 하여도 좋다.
또한, 본 발명은, 상기 수단의 적어도 일부를 포함한 제스처 인식 장치로서 특정할 수 있다. 또한, 상기 제스처 인식 장치의 제어 방법이나, 상기 제스처 인식 장치를 동작시키기 위한 프로그램, 당해 프로그램이 기록된 기록 매체로서 특정할 수도 있다. 상기 처리나 수단은, 기술적인 모순이 생기지 않는 한에 있어서, 자유롭게 조합시켜서 실시할 수 있다.
본 발명에 의하면, 입력된 제스처에 대응하여 포인터를 이동시키는 제스처 인식 장치에 있어서, 포인터의 이동량을 적절하게 결정하는 기술을 제공할 수 있다.
도 1은 제1의 실시 형태에 관한 제스처 인식 시스템의 구성도.
도 2는 제스처와, 당해 제스처에 대응한 포인터의 움직임을 설명하는 도면.
도 3은 대상 부위의 형상의 차이를 설명하는 도면.
도 4는 포인터의 이동량을 결정하기 위한 보정 데이터를 설명하는 도면.
도 5는 제1의 실시 형태에서 제스처 인식 장치가 행하는 처리를 도시하는 플로차트도.
도 6은 제2의 실시 형태에서 제스처 인식 장치가 행하는 처리를 도시하는 플로차트도.
도 7은 제2의 실시 형태에서의 인식 영역을 설명하는 도면.
도 8은 제2의 실시 형태에서의 인식 영역을 설명한 제2의 도면.
도 9는 제2의 실시 형태에서의 인식 영역을 설명한 제3의 도면.
(제1의 실시 형태)
<시스템 구성>
제1의 실시 형태에 관한 제스처 인식 시스템의 개요에 관해, 시스템 구성도인 도 1을 참조하면서 설명한다. 제1의 실시 형태에 관한 제스처 인식 시스템은, 제스처 인식 장치(100) 및 대상 기기(200)로 이루어지는 시스템이다.
대상 기기(200)는, 화면(부도시)을 가지며, 당해 화면에 표시된 포인터를 통하여 입력 조작을 행하는 기기이다. 대상 기기(200)는, 마우스 등의 포인팅 디바이스에 의해 포인터를 조작할 수 있는 외에, 제스처 인식 장치(100)로부터 수신한 신호에 의해 포인터를 이동시킬 수 있다.
또한, 대상 기기(200)는, 유선 또는 무선에 의해, 제스처 인식 장치(100)로부터 신호를 수신할 수 있으면, 텔레비전, 비디오 레코더, 컴퓨터 등, 어떤 기기라도 좋다. 본 실시 형태의 설명에서는, 대상 기기(200)가 갖는, 포인터가 표시되는 화면을 조작 화면이라고 칭한다.
제스처 인식 장치(100)는, 이용자가 행한 제스처를, 카메라를 이용하여 인식함과 함께, 인식한 제스처에 의거하여 포인터의 이동처(移動先)를 연산하고, 당해 포인터를 이동시키는 명령을 대상 기기(200)에 송신하는 장치이다. 예를 들면, 이용자가, 도 2(A)와 같은 제스처를 행하면, 포인터를 이동시키기 위한 신호가 제스처 인식 장치(100)로부터 대상 기기(200)에 송신되고, 도 2(B)와 같이 포인터가 이동한다.
본 실시 형태에서는, 대상 기기(200)는 텔레비전이고, 제스처 인식 장치(100)는, 당해 텔레비전에 내장된 장치인 것으로 한다. 도 2는 모두, 이용자측에서 텔레비전 화면측을 본 도면이다.
다음에, 도 1을 참조하면서, 제스처 인식 장치(100)에 관해 상세히 설명한다.
제스처 인식 장치(100)는, 화상 취득부(101), 제스처 추출부(102), 포인터 제어부(103), 커맨드 생성부(104)를 갖는다.
화상 취득부(101)는, 외부로부터 화상을 취득하는 수단이다. 본 실시 형태에서는, 텔레비전 화면의 정면(正面) 상부에 부착된 카메라(부도시)를 이용하여, 이용자를 촬상한다. 화상 취득부(101)가 이용하는 카메라는, RGB 화상을 취득하는 카메라라도 좋고, 그레이 스케일 화상이나, 적외선 화상을 취득하는 카메라라도 좋다. 또한, 화상은 반드시 카메라에 의해 취득될 필요는 없고, 예를 들면, 거리 센서가 생성한, 거리의 분포를 나타내는 화상(거리 화상)이라도 좋다. 또한, 거리 센서와 카메라의 조합 등이라도 좋다.
화상 취득부(101)가 취득하는 화상(이하, 카메라 화상)은, 이용자가 행한 제스처의 움직임과, 당해 제스처를 행한 신체 부위의 형상을 취득할 수 있으면, 어떤 화상이라도 좋다. 또한, 카메라 화상의 화각(畵角)은, 텔레비전의 시야각과 개략 동일하면 좋다.
제스처 추출부(102)는, 화상 취득부(101)가 취득한 카메라 화상으로부터, 제스처를 행하는 신체 부위(이하, 대상 부위)를 검출하고, 그 움직임을 추적함으로써 제스처를 추출하는 수단이다. 본 실시 형태의 경우, 이용자는 손을 이용하여 제스처를 행하는 것으로 한다. 제스처 추출부(102)는, 예를 들면, 카메라 화상의 중으로부터, 사람의 손을 나타내는 영역을 검출하고, 그 움직임을 추적함으로써, 제스처를 추출한다.
또한, 제스처 추출부(102)는, 대상 부위의 형상에 관한 정보를 동시에 취득한다. 대상 부위의 형상에 관해서는, 추후에 상세하게 설명한다.
포인터 제어부(103)는, 추출한 제스처에 의거하여, 포인터의 이동처를 결정하는 수단이다. 구체적으로는, 대상 부위의 이동 방향 및 이동량에 의거하여, 포인터의 이동 방향 및 이동량을 결정한다. 또한, 대상 부위의 형상에 관한 정보를 이용하여, 포인터의 이동량을 보정한다. 구체적인 방법에 관해서는 후술한다.
커맨드 생성부(104)는, 포인터 제어부(103)가 결정한 이동처로 포인터를 이동시키기 위한 신호를 생성하고, 대상 기기(200)에 송신하는 수단이다. 생성되는 신호는, 대상 기기(200)에 대해 포인터의 이동을 명령하는 신호이고, 예를 들면 전기 신호라도 좋고, 무선에 의해 변조된 신호나, 펄스 변조된 적외선 신호 등이라도 좋다.
제스처 인식 장치(100)는, 프로세서, 주기억 장치, 보조기억 장치를 갖는 컴퓨터이고, 보조기억 장치에 기억된 프로그램이 주기억 장치에 로드되고, 프로세서에 의해 실행됨에 의해, 전술한 각 수단이 기능한다(프로세서, 주기억 장치, 보조기억 장치는 모두 부도시).
<포인터의 제어 방법 개요>
다음에, 도 3을 참조하면서, 추출한 제스처에 의거하여 포인터의 이동처를 결정하는 방법에 관해, 개요를 설명한다. 도 3은, 카메라 화상의 예이다(대상 부위 이외는 도시를 생략한다). 도 3(A)는, 집게손가락의 손가락 끝을 평행하게 이동하는 제스처를 나타내고, 도 3(B)는, 손바닥을 평행하게 이동하는 제스처를 나타낸다. 당해 2개의 제스처는, 어느 것도 「포인터를 왼쪽으로 이동시키는」 것을 의미한 것이지만, 손가락을 세워서 제스처를 행하는 경우, 손가락 끝이 미세한 움직임에 의해 포인터를 조작하려고 하는 경우가 많고, 손바닥에 의해 제스처를 행하는 경우, 손 전체의 큰 움직임에 의해 포인터를 조작하려고 하는 경우가 많다. 따라서, 단순하게 대상 부위의 이동량에 응하여 포인터의 이동량을 결정하면, 이용자가 의도한 이동량을 얻을 수가 없어서, 유저빌리티의 저하를 초래할 우려가 있다.
그래서, 본 실시 형태에 관한 제스처 인식 장치에서는, 종래의 제스처 인식 장치와 마찬가지로, 대상 부위의 이동 방향 및 이동량에 의거하여 포인터의 이동 방향 및 이동량을 결정한 후에, 대상 부위의 형상에 응하여 포인터의 이동량을 보정한다.
본 실시 형태에서는, 대상 부위의 형상은, 세워져 있는 손가락의 갯수에 의해 식별한다. 예를 들면, 도 3(A)의 경우, 세워져 있는 손가락의 수는 1개이고, 도 3(B)의 경우, 세워져 있는 손가락의 수는 5개라고 판정한다. 이후의 설명에서, 손가락을 1개 세운 상태를 「형상 1」이라고 칭하고, 손을 펴서 손가락을 5개 세운 상태를 「형상 5」라고 칭한다.
세워져 있는 손가락의 수는, 예를 들면, 취득한 카메라 화상에 템플레이트 화상을 적용하여 매칭을 행함으로써 판정하여도 좋고, 템플레이트 매칭에 의해 손바닥을 검출한 다음, 주변 영역에서 손가락을 탐색하여도 좋다. 또한, 손의 골격 모델 등을 이용하여도 좋다. 손가락의 수의 판정에는, 기지(旣知)의 수법을 이용할 수 있기 때문에, 상세한 설명은 생략한다.
본 실시 형태에서는, 포인터 제어부(103)가, 대상 부위의 이동 방향 및 이동량에 의거하여, 포인터의 이동 방향 및 이동량을 결정한 후에, 판정한 손가락의 갯수에 대응하는 보정치를 승산함으로써, 포인터의 이동량을 보정한다.
여기서, 보정치에 관해 설명한다. 도 4는, 포인터 제어부(103)가 갖는, 대상 부위의 형상과 보정치를 대응시킨 데이터이다. 당해 데이터를 보정 데이터라고 칭한다.
보정치는, 세워져 있는 손가락의 갯수가 적을수록 커진다. 예를 들면, 도 4의 예에서는, 대상 부위가 형상 1인 경우에, 보정치로서 3.0을 승산하고, 대상 부위가 형상 5인 경우에, 보정치로서 1.0을 승산한다. 즉, 대상 부위가 형상 1인 경우, 형상 5인 경우와 비교하여 포인터의 이동량이 3배가 된다.
<전체 처리>
다음에, 본 실시 형태에 관한 제스처 인식 장치(100)가 행하는 처리의 전체를, 처리 플로차트인 도 5를 참조하면서 설명한다.
도 5에 도시한 처리는, 입력 시작을 나타내는 조작이 있는 경우(예를 들면, 포인팅이 필요한 기능을 대상 기기측에서 기동한 때 등)에 시작된다.
우선, 화상 취득부(101)가, 카메라 화상을 취득한다(스탭 S11). 본 스탭에서는, 예를 들면 텔레비전 화면의 정면 상부에 구비된 카메라를 이용하여, RGB 칼라 화상을 취득한다.
다음에, 제스처 추출부(102)가, 취득한 카메라 화상으로부터, 대상 부위의 검출을 시도한다(스탭 S12). 대상 부위의 검출은, 예를 들면 패턴 매칭 등에 의해 행할 수 있다. 상정되는 대상 부위의 형상이 복수 있는 경우는, 복수의 화상 템플레이트를 이용하여 매칭을 행하여도 좋다. 여기서, 대상 부위가 검출되지 않은 경우는, 소정의 시간만큼 대기한 후에 새롭게 화상을 취득하고, 마찬가지 처리를 반복한다.
다음에, 제스처 추출부(102)가, 검출한 대상 부위의 형상을 판정한다(스탭 S13). 본 실시 형태에서는, 대상 부위의 형상이 형상 1인지 형상 5인지를 판정한다. 만약, 대상 부위의 형상이, 미리 정의된 것 이외였던 경우는, 처리를 중단하고 스탭 S11로 되돌아와도 좋고, 「해당 없음」으로 하고 처리를 계속하여도 좋다.
다음에, 제스처 추출부(102)가, 스탭 S11에서 취득한 카메라 화상을 이용하여, 대상 부위에 의해 행하여진 제스처를 추출한다(스탭 S14). 또한, 제스처의 추출에는 복수장의 화상이 필요해지기 때문에, 스탭 S14가 처음으로 실행된 경우는, 취득한 화상을 일시적으로 기억하고, 스탭 S11로 되돌아온다.
스탭 S14를 실행함에 의해, 대상 부위의 이동 방향과 이동량을 취득할 수 있다. 대상 부위의 이동 방향과 이동량은, 예를 들면 대상 부위에 포함되는 특징점을 추출하고, 당해 특징점을 추적함으로써 취득할 수 있다. 당해 수법은 기지의 것이기 때문에, 상세한 설명은 생략한다.
다음에, 포인터 제어부(103)가, 스탭 S14에서 취득한, 대상 부위의 이동 방향과 이동량에 의거하여, 포인터의 이동 방향과 이동량을 이하와 같이 하여 결정한다(스탭 S15).
(1) 포인터의 이동 방향 = (이용자가 본) 대상 부위의 이동 방향
이용자가 보아 대상 부위가 우(右)방향으로 이동한 경우, 포인터의 이동 방향도 우방향이 된다.
(2) 포인터의 이동량(픽셀) = 대상 부위의 이동량(픽셀)×계수(C1)
대상 부위의 이동량이란, 취득한 카메라 화상에서의 픽셀 수이다. 또한, 계수(C1)는, 포인터의 디폴트의 이동량을 결정하기 위한 계수이다. 예를 들면, 조작 화면의 해상도가, 카메라의 해상도와 같은 경우, 계수(C1)로서 1.0이라는 값을 이용하여도 좋고, 해상도가 다른 경우, 해상도를 보정하기 위해 임의의 값을 이용하여도 좋다.
또한, 카메라 화상 중의 대상 부위의 크기에 의거하여 계수(C1)를 바꾸도록 하여도 좋다. 예를 들면, 대상 부위의 크기가 화상 사이즈와 비교하여 작은 경우, 이용자가 장치로부터 떨어져서 제스처를 행하고 있는 것으로 생각되기 때문에, 계수(C1)를 크게 하도록 하여도 좋다.
또한, 계수(C1)는, 종방향과 횡방향에서 각각 다른 값을 이용하여도 좋다. 이에 의해, 예를 들면, 조작 화면과 카메라 화상의 애스펙트가 다른 경우, 이것을 보정할 수 있다.
스탭 S15의 처리에 의해, 포인터의 이동 방향과 이동량이 결정된다.
다음에, 포인터 제어부(103)가, 포인터의 이동량을 보정한다(스탭 S16). 예를 들면, 도 4에 도시한 것처럼, 「형상 1」에 대응하는 보정치가 3.0이고, 「형상 5」에 대응하는 보정치가 1.0인 경우로서, 대상 부위가 프레임 사이에서 10픽셀 이동한 경우를 생각한다(계수(C1)는 여기서는 고려하지 않는다). 이 경우, 대상 부위가 형상 5인 경우는, 포인터의 이동량은 10픽셀이 되고, 대상 부위가 형상 1인 경우는, 포인터의 이동량은 30픽셀이 된다.
다음에, 커맨드 생성부(104)가, 포인터를 이동시키기 위한 제어 신호를 생성하고, 대상 기기(200)에 송신한다(스탭 S17). 전술한 예에서는, 예를 들면 「포인터를 우방향으로 30픽셀 이동한다」는 명령을 나타내는 제어 신호를 생성하고, 대상 기기(200)에 송신하다.
또한, 스탭 S11 내지 S17의 처리는 주기적으로 실행된다. 또한, 도 5에 도시한 처리는, 입력 종료를 나타내는 조작이 있는 경우(예를 들면, 포인팅이 필요한 조작을 대상 기기측으로 종료한 때 등)에 종료한다.
이상 설명한 바와 같이, 제1의 실시 형태에 관한 제스처 인식 장치는, 제스처를 행하는 대상 부위의 형상에 의해, 포인터의 이동량을 보정한다. 이에 의해, 손가락 끝으로 제스처를 행하는 경우(즉 제스처의 움직임이 작은 경우)와, 손 전체로 제스처를 행하는 경우(즉 제스처의 움직임이 큰 경우)를 식별할 수 있고, 포인터의 이동량을 적절하게 설정할 수 있다.
또한, 실시 형태의 설명에서는, 스탭 S13에서 대상 부위의 형상을 매회 판정하고 있지만, 당해 스탭은, 대상 부위를 검출한 후의 1회만 실행하고, 제스처가 시작된 후는 스킵하도록 하여도 좋다. 이와 같이 함으로써, 처리량을 억제할 수 있다. 단, 제스처가 종료되고, 계속하고 다른 제스처가 시작되는 경우도 있기 때문에, 이와 같은 경우는, 당해 스탭을 재차 실행하도록 하여도 좋다. 예를 들면, 대상 부위의 형상이나 크기가 현저하게 변화한 경우나, 대상 부위가 화상으로부터 프레임 아웃하고 재차 프레임 인한 경우 등은, 다른 제스처가 시작되었다고 판단하고, 스탭 S13을 재차 실행하도록 하여도 좋다. 또한, 명시적인 조작에 의해 재실행하여도 좋다.
(제2의 실시 형태)
제2의 실시 형태는, 대상 부위의 이동량 및 이동 방향을 이용하여 포인터의 이동처를 결정하는 것이 아니고, 영역 사이를 매핑함으로써 포인터의 이동처를 결정하는 실시 형태이다. 제2의 실시 형태에 관한 제스처 인식 장치의 구성은, 이하에서 설명하는 점을 제외하고, 제1의 실시 형태와 마찬가지이다.
도 6은, 제2의 실시 형태에서 제스처 인식 장치(100)의 처리 플로차트이다. 스탭 S11 내지 S13, S17의 처리에 관해서는, 제1의 실시 형태와 마찬가지이기 때문에, 설명을 생략한다.
스탭 S24에서는, 포인터 제어부(103)가, 취득한 카메라 화상에, 조작 화면에 대응한 영역인 인식 영역을 설정한다.
인식 영역에 관해, 도 7을 참조하면서 설명한다. 도 7(A)는 카메라 화상의 예이고, 도 7(B)는 조작 화면의 예이다. 인식 영역이란, 취득한 카메라 화상에 설정되는 영역이고, 조작 화면과 좌표가 대응시켜진 영역이다.
본 예에서는, 인식 영역(51)이 조작 화면(52)과 대응한다. 즉, 인식 영역(51)의 좌상(左上)이, 조작 화면(52)의 우상에 대응하고, 인식 영역(51)의 우하(右下)가, 조작 화면(52)의 좌하에 대응한다.
그리고, 스탭 S25에서, 제스처 추출부(102)가, 인식 영역 중에 있는 대상 부위의 좌표를 검출하고, 포인터 제어부(103)가 좌표의 변환을 행하여, 조작 화면에서의 대응 좌표를 생성한다.
그리고, 스탭 S17에서, 커맨드 생성부(104)가, 당해 좌표에 포인터를 이동시키는 신호를 생성한다. 이 결과, 제1의 실시 형태와 마찬가지로, 조작 화면상을 포인터가 이동한다.
제2의 실시 형태에서는, 검출한 대상 부위의 형상에 의거하여, 인식 영역의 사이즈를 변경함으로써 포인터의 이동량을 보정한다.
여기서, 스탭 S25에서 행하는, 인식 영역의 구체적인 설정 방법에 관해 설명한다. 본 실시 형태에서는, 인식 영역을 이하와 같이 설정한다.
(1) 인식 영역의 사이즈 = (기정(旣定)의 사이즈×계수(C2))÷보정치
(2) 인식 영역의 중심 좌표 = 대상 부위의 중심 좌표
계수(C2)는, 보정 전의 인식 영역의 사이즈를 결정하기 위한 수치이다. 계수(C2)는 고정치라도 좋고, 대상 부위의 크기에 응하여 증감하는 값이라도 좋다. 예를 들면, 대상 부위의 크기가 카메라 화상과 비교하여 작은 경우, 이용자가 장치로부터 떨어져서 제스처를 행하고 있는 것으로 생각되기 때문에, 계수(C2)를 1 이하로 함으로써 인식 영역을 작게 하여도 좋다.
또한, 제2의 실시 형태에서는, 보정 전의 인식 영역의 사이즈를, 보정치에 의해 제산한다. 예를 들면, 보정 전의 인식 영역의 사이즈가 600×450픽셀이고, 도 4에 도시한 보정 데이터를 이용한 경우를 생각한다.
이 경우, 대상 부위가 형상 5였던 경우, 보정치 1.0로 제산(除算)을 행하고, 그 결과, 인식 영역의 사이즈는 600×450픽셀이 된다. 또한, 대상 부위가 형상 1이였던 경우, 보정치 3.0으로 제산을 행하고, 그 결과, 인식 영역의 사이즈는 200×150픽셀이 된다.
도 6에 도시한 각 스탭은, 제1의 실시 형태와 마찬가지로 주기적으로 실행된다. 또한, 도 6에 도시한 처리의 시작 및 종료 조건은, 제1의 실시 형태와 마찬가지이다.
제2의 실시 형태에 의하면, 예를 들면 대상 부위가 형상 1인 경우, 도 8 및 도 9에 도시한 바와 같이, 형상 5의 경우와 비교하여 인식 영역이 작게 설정된다. 즉, 대상 부위의 이동량에 대해 포인터를 보다 크게 이동하기 때문에, 제1의 실시 형태와 같은 효과를 얻을 수 있다.
또한, 스탭 S13 및 S24는, 대상 부위를 검출한 후의 1회만 실행하고, 제스처가 시작된 후는 스킵한다. 단, 제스처가 종료되고, 계속해서 다른 제스처가 시작되는 경우도 있기 때문에, 이와 같은 경우는, 당해 스탭을 재차 실행하도록 하여도 좋다. 예를 들면, 대상 부위의 형상이나 크기가 현저하게 변화한 경우나, 대상 부위가 화상으로부터 프레임 아웃하고 재차 프레임 인한 경우 등은, 다른 제스처가 시작되었다고 판단하고, 스탭 S13 및 S24를 재차 실행하도록 하여도 좋다. 또한, 명시적인 조작에 의해 재실행하여도 좋다.
또한, 본 실시 형태의 설명에서는, 검출한 대상 부위가 인식 영역의 중심에 오도록 인식 영역의 위치를 설정하고 있지만, 인식 영역의 위치는, 조작 화면에 표시 중의 포인터의 위치에 응하여 변경하여도 좋다. 예를 들면, 포인터가 조작 화면의 좌단(左端)에 있는 경우, 검출한 대상 부위가 인식 영역의 좌단에 오도록 인식 영역의 위치를 설정하여도 좋다.
(변형례)
또한, 각 실시 형태의 설명은 본 발명을 설명함에 있어서의 예시이고, 본 발명은, 발명의 취지를 일탈하지 않는 범위에서 적절히 변경 또는 조합시켜서 실시할 수 있다.
예를 들면, 실시 형태의 설명에서는, 제스처 인식 장치(100)를, 대상 기기(200)에 조립된 장치이라고 하였지만, 제스처 인식 장치(100)는 독립한 장치라도 좋다.
또한, 제스처 인식 장치(100)는, 대상 기기(200)상에서 동작하는 프로그램으로서 실장되어도 좋다. 프로그램으로서 실장하는 경우는, 메모리에 기억된 프로그램을 프로세서가 실행하도록 구성하여도 좋고, FPGA(Field Programmable Gate Array)나 ASIC(Application Specific Integrated Circuit) 등에 의해 실행되도록 구성하여도 좋다.
또한, 실시 형태의 설명에서는, 카메라를 이용하여 화상을 취득하는 예를 들었지만, 제스처를 취득하고, 또한, 대상 부위의 형상을 식별할 수 있으면, 예를 들면 네트워크 경유로 화상을 수신하는 등, 예시한 방법 이외에 의해 화상을 취득하도록 하여도 좋다.
또한, 대상 부위는, 반드시 사람의 손이 아니라도 좋다. 예를 들면, 다른 신체 부위라도 좋고, 제스처 입력용의 마커 등이라도 좋다.
또한, 본 발명에서의 「대상 부위의 형상」이란, 제스처 인식 장치가 화상을 통하여 인식한 형상을 의미하고, 반드시 대상 부위를 물리적으로 변형시킨 것일 필요는 없다. 예를 들면, 카메라에 손바닥을 가까이 댄 경우와, 손등을 가까이 댄 경우에서는, 각각 다른 형상으로서 취급된다. 마찬가지로, 제스처 입력용의 마커를 이용한 경우, 마커를 종방향으로 유지한 경우와, 횡방향으로 유지한 경우에서는, 각각 다른 형상으로서 취급된다.
또한, 실시 형태의 설명에서는, 대상 부위의 형상에 관해, 「형상 1」과 「형상 5」의 2종류를 식별하는 것으로 하였지만, 다른 형상을 식별하도록 하여도 좋다. 다른 형상이란, 예를 들면, 쥔 상태의 손이라도 좋고, 손가락이 2개 세워져 있는 상태라도 좋다. 또한, 3종류 이상의 형상을 식별하도록 하여도 좋다. 어느 경우도, 포인터 제어부(103)에, 각 형상에 관련시켜진 보정치를 기억시켜서, 전술한 방법에 의해 보정을 행하면 좋다.
100 : 제스처 인식 장치
101 : 화상 취득부
102 : 제스처 추출부
103 : 포인터 제어부
104 : 커맨드 생성부
200 : 대상 기기

Claims (9)

  1. 취득한 화상으로부터 제스처를 검출하고, 당해 제스처에 대응하여, 포인터를 이동시키는 명령을 대상 기기에 송신하는 제스처 인식 장치로서,
    화상을 취득하는 화상 취득 수단과,
    상기 취득한 화상으로부터, 제스처를 행하는 대상 부위의 형상과, 당해 대상 부위의 움직임을 취득하는 제스처 취득 수단과,
    상기 대상 부위의 움직임에 대응하여, 포인터를 이동시키는 명령을 생성하고, 상기 대상 기기에 출력하는 포인터 제어 수단을 가지며,
    상기 제스처 취득 수단은, 상기 대상 부위의 형상이, 제1의 형상인지, 상기 제1의 형상과는 다른 제2의 형상인지를 판정하고,
    상기 포인터 제어 수단은, 상기 대상 부위의 형상 및 상기 대상 부위의 움직임에 의거하여 포인터의 이동량을 결정하고, 또한, 상기 대상 부위의 형상이 제1의 형상인 경우에, 상기 대상 부위의 형상이 제2의 형상인 경우와 비교하여, 보다 포인터의 이동량을 크게 하는 것을 특징으로 하는 제스처 인식 장치.
  2. 제1항에 있어서,
    상기 제스처 취득 수단은, 상기 취득한 화상으로부터, 상기 대상 부위의 크기를 또한 취득하고,
    상기 포인터 제어 수단은, 상기 대상 부위의 크기에 또한 의거하여 포인터의 이동량을 결정하는 것을 특징으로 하는 제스처 인식 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 대상 부위는, 인간의 손이고,
    상기 제1의 형상은, 손가락 끝을 움직임에 의해 제스처를 행하고 있다고 추정할 수 있는 형상이고,
    상기 제2의 형상은, 손 전체를 움직임에 의해 제스처를 행하고 있다고 추정할 수 있는 형상인 것을 특징으로 하는 제스처 인식 장치.
  4. 제3항에 있어서,
    상기 제스처 취득 수단은, 대상 부위인 손의 형상이, 일부의 손가락이 세워져 있는 형상인 경우에, 제1의 형상이라고 판정하고, 모든 손가락이 펴져 있는 형상인 경우에, 제2의 형상이라고 판정하는 것을 특징으로 하는 제스처 인식 장치.
  5. 제3항에 있어서,
    상기 제스처 취득 수단은, 대상 부위인 손의 형상이, 1개의 손가락만이 신전하고 있는 형상인 경우에, 제1의 형상이라고 판정하는 것을 특징으로 하는 제스처 인식 장치.
  6. 제1항에 있어서,
    상기 포인터 제어 수단은,
    상기 취득한 화상 중에, 상기 대상 기기가 갖는 표시 화면과 좌표가 대응시켜진 영역인 인식 영역을 설정하고, 상기 인식 영역 중에서의 대상 부위의 움직임을, 상기 표시 화면에 매핑함으로써 포인터의 위치를 결정하고,
    상기 대상 부위의 형상에 의거하여, 상기 인식 영역의 크기를 변경하는 것을 특징으로 하는 제스처 인식 장치.
  7. 취득한 화상으로부터 제스처를 검출하고, 당해 제스처에 대응하여, 포인터를 이동시키는 명령을 대상 기기에 송신하는 제스처 인식 장치의 제어 방법으로서,
    화상을 취득하는 화상 취득 스탭과,
    상기 취득한 화상으로부터, 제스처를 행하는 대상 부위의 형상과, 당해 대상 부위의 움직임을 취득하는 제스처 취득 스탭과,
    상기 대상 부위의 움직임에 대응하여, 포인터를 이동시키는 명령을 생성하고, 상기 대상 기기에 출력하는 포인터 제어 스탭을 포함하고,
    상기 제스처 취득 스탭은, 상기 대상 부위의 형상이, 제1의 형상인지, 상기 제1의 형상과는 다른 제2의 형상인지를 판정하고,
    상기 포인터 제어 스탭에서는, 상기 대상 부위의 형상 및 상기 대상 부위의 움직임에 의거하여 포인터의 이동량을 결정하고, 또한, 상기 대상 부위의 형상이 제1의 형상인 경우에, 상기 대상 부위의 형상이 제2의 형상인 경우와 비교하여, 보다 포인터의 이동량을 크게 하는 것을 특징으로 하는 제스처 인식 장치의 제어 방법.
  8. 제7항에 기재된 제스처 인식 장치의 제어 방법의 각 스탭을 컴퓨터에 실행시키는 제스처 인식 프로그램이 기록된 기록 매체.
  9. 삭제
KR1020150014673A 2014-03-12 2015-01-30 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 KR101631015B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014048910A JP6287382B2 (ja) 2014-03-12 2014-03-12 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JPJP-P-2014-048910 2014-03-12

Publications (2)

Publication Number Publication Date
KR20150106824A KR20150106824A (ko) 2015-09-22
KR101631015B1 true KR101631015B1 (ko) 2016-06-15

Family

ID=54068892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150014673A KR101631015B1 (ko) 2014-03-12 2015-01-30 제스처 인식 장치 및 제스처 인식 장치의 제어 방법

Country Status (4)

Country Link
US (1) US20150261409A1 (ko)
JP (1) JP6287382B2 (ko)
KR (1) KR101631015B1 (ko)
CN (1) CN104914990B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6008904B2 (ja) * 2014-07-03 2016-10-19 Ｎｅｃパーソナルコンピュータ株式会社 表示制御装置、表示制御方法、及び、プログラム
KR20170066021A (ko) * 2015-12-04 2017-06-14 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
WO2017138545A1 (ja) * 2016-02-08 2017-08-17 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
JP2019164440A (ja) * 2018-03-19 2019-09-26 株式会社リコー 情報処理装置及び情報処理方法
JP7186999B2 (ja) * 2018-05-16 2022-12-12 株式会社ネクステッジテクノロジー 操作入力装置、操作入力方法及びプログラム
WO2023055365A1 (en) 2021-09-30 2023-04-06 17Live Japan Inc. System, method and computer-readable medium for video processing
CN114911384B (zh) * 2022-05-07 2023-05-12 青岛海信智慧生活科技股份有限公司 镜子显示器及其远程控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042796A (ja) * 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
JP4897939B2 (ja) * 2010-05-28 2012-03-14 パナソニック株式会社 ジェスチャ認識装置及びジェスチャ認識方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4610942B2 (ja) * 2004-06-22 2011-01-12 アルプス電気株式会社 カーソル移動量の変換比調整装置および方法
KR100960577B1 (ko) * 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
TW201027399A (en) * 2009-01-09 2010-07-16 E Lead Electronic Co Ltd Method for aiding control of cursor movement through a track pad
KR101617645B1 (ko) * 2009-02-24 2016-05-04 삼성전자주식회사 디스플레이 제어 방법 및 이를 이용한 장치
JP5381569B2 (ja) 2009-09-29 2014-01-08 富士通株式会社 ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
JP5412227B2 (ja) * 2009-10-05 2014-02-12 日立コンシューマエレクトロニクス株式会社 映像表示装置、および、その表示制御方法
GB2483168B (en) * 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
EP2507692A2 (en) * 2009-12-04 2012-10-10 Next Holdings Limited Imaging methods and systems for position detection
KR101307341B1 (ko) * 2009-12-18 2013-09-11 한국전자통신연구원 동적 개체 모션 캡쳐 방법 및 그 장치
EP2395413B1 (en) * 2010-06-09 2018-10-03 The Boeing Company Gesture-based human machine interface
US8416187B2 (en) * 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
JP5264844B2 (ja) 2010-09-06 2013-08-14 日本電信電話株式会社 ジェスチャ認識装置及び方法
US8817087B2 (en) * 2010-11-01 2014-08-26 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
CN102073408A (zh) * 2010-12-29 2011-05-25 杨开艳 触控板双指滑动加速光标移动的方法
WO2012171116A1 (en) * 2011-06-16 2012-12-20 Rafal Jan Krepec Visual feedback by identifying anatomical features of a hand
US9292112B2 (en) * 2011-07-28 2016-03-22 Hewlett-Packard Development Company, L.P. Multimodal interface
US9032334B2 (en) * 2011-12-21 2015-05-12 Lg Electronics Inc. Electronic device having 3-dimensional display and method of operating thereof
JP2013164834A (ja) * 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US20150220150A1 (en) * 2012-02-14 2015-08-06 Google Inc. Virtual touch user interface system and methods
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
SE537553C2 (sv) * 2012-08-03 2015-06-09 Crunchfish Ab Förbättrad identifiering av en gest
CN102854983B (zh) * 2012-09-10 2015-12-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
US8890812B2 (en) * 2012-10-25 2014-11-18 Jds Uniphase Corporation Graphical user interface adjusting to a change of user's disposition
US9696867B2 (en) * 2013-01-15 2017-07-04 Leap Motion, Inc. Dynamic user interactions for display control and identifying dominant gestures
CN103926999B (zh) * 2013-01-16 2017-03-01 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
JP2015176253A (ja) * 2014-03-13 2015-10-05 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP6349800B2 (ja) * 2014-03-12 2018-07-04 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US9317129B2 (en) * 2014-03-25 2016-04-19 Dell Products, Lp System and method for using a side camera for a free space gesture inputs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042796A (ja) * 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
JP4897939B2 (ja) * 2010-05-28 2012-03-14 パナソニック株式会社 ジェスチャ認識装置及びジェスチャ認識方法

Also Published As

Publication number Publication date
JP6287382B2 (ja) 2018-03-07
JP2015172886A (ja) 2015-10-01
CN104914990A (zh) 2015-09-16
KR20150106824A (ko) 2015-09-22
CN104914990B (zh) 2018-09-11
US20150261409A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
KR101631015B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US9367732B2 (en) Information processing device, information processing method, and recording medium
US10310675B2 (en) User interface apparatus and control method
JP6201379B2 (ja) 位置算出システム、位置算出プログラム、および、位置算出方法
US20140062866A1 (en) Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
KR20150107597A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP6141108B2 (ja) 情報処理装置およびその方法
TWI496094B (zh) 手勢辨識模組及手勢辨識方法
JP2012027515A (ja) 入力方法及び入力装置
JP5817149B2 (ja) 投影装置
CN104185829A (zh) 显示控制设备、显示控制方法和程序
TWI494792B (zh) 手勢辨識系統及方法
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
KR102001148B1 (ko) 입력 기기 및 그의 이미지 처리 방법
KR101386655B1 (ko) 3d 공간 터치 시스템 및 방법
EP2908218B1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
KR101741671B1 (ko) 3d 동작기반의 프레젠테이션 장치 및 방법
JP2015162079A (ja) タッチ位置補正システムおよび自動取引装置
JP2016118868A (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
KR101414345B1 (ko) 카메라를 이용한 입력장치 및 그 방법
JP2009301382A (ja) 認識装置及びその方法
TW201344551A (zh) 手勢辨識方法與系統

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 4