KR20150034258A - 입력 장치, 입력 방법, 및 기억 매체 - Google Patents
입력 장치, 입력 방법, 및 기억 매체 Download PDFInfo
- Publication number
- KR20150034258A KR20150034258A KR1020157003798A KR20157003798A KR20150034258A KR 20150034258 A KR20150034258 A KR 20150034258A KR 1020157003798 A KR1020157003798 A KR 1020157003798A KR 20157003798 A KR20157003798 A KR 20157003798A KR 20150034258 A KR20150034258 A KR 20150034258A
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- movement
- user
- shape
- input
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
입력 장치는, 선택 영역이 표시된 조작 화면에 대응지어지는 촬상 화상 중의 유저의 손의 움직임에 의거하여, 유저의 입력을 판별하는 장치이다. 입력 장치는, 유저의 손이 이동함으로써 발생하는 촬상 화상 중의 유저의 손의 형상의 변화에 의거하여, 유저의 입력이 선택 가능 영역의 선택 조작인지 또는 제스처 조작인지를 판별하는 입력 판별부(155)를 구비하고 있다. 판별된 입력은, 전달부(156)에 의해 조작 대상이 되는 어플리케이션에 전달된다.
Description
본 발명은 입력 장치, 입력 방법, 및 비일시적인 기억 매체에 관한 것이다.
유저의 손의 움직임에 의거하여 유저의 조작 지령을 판별하는 입력 장치가 알려져 있다. 예를 들면, 특허문헌 1에는, 3차원 디스플레이에 의해 형성된 가상 조작면을 조작하는 유저의 손의 움직임에 의거하여, 유저의 조작을 판별하는 화상인식 장치가 개시되어 있다. 또한, 특허문헌 2에는, 촬영된 유저의 제스처에 의거하여, 디스플레이에 표시되는 화상의 배열 방법을 결정하는 표시 제어 장치가 개시되어 있다. 또한, 특허문헌 3에는, 터치 패널의 터치 동작의 이동량에 의거하여, 유저의 터치 동작이 압하 조작(탭 조작)인지 또는 제스처 조작인지를 판별하는 정보 처리 장치가 개시되어 있다.
특허문헌 1에 기재된 기술에 관련하여, 선택 조작의 대상이 되는 하나 이상의 선택 가능 영역(예를 들면, 버튼이나 아이콘의 표시 영역)이 정의된 조작 화면에 촬상 화상을 대응시켜, 촬상 화상 중의 유저의 손의 움직임(예를 들면, 선택 가능 영역에 상당하는 위치에서의 손의 일정 시간의 정지)에 의거하여, 유저의 선택 가능 영역을 선택하는 조작(이하, 「선택 조작」이라고 함)을 인식하는 장치가 있다. 이러한 입력 장치에 있어서, 선택 조작에 더해서, 선택 조작과는 상이한 제스처 조작을 판별할 수 있으면, 조작의 배리에이션의 수가 증가하고, 유저에 있어서 이변성(利便性)이 높아진다.
터치 패널의 경우, 아이콘 등이 표시된 선택 가능 영역을 탭 조작 등에 의해 선택하는 경우, 유저의 손가락이 접촉하는 것은 선택 가능 영역뿐이며, 손가락이 선택 가능 영역까지 이동할 때에는 손가락은 터치 패널로부터 이간하고 있다. 그 때문에, 선택 가능 영역으로 이동 중의 유저의 손의 움직임은 터치 패널에는 검출되지 않는다. 그 때문에, 예를 들면 특허문헌 3에 나타낸 바와 같이, 입력 장치는, 터치 패널에서 파악한 유저의 손의 이동량의 정보만으로, 터치 동작이 선택 조작(탭 조작 등)인지 또는 제스처 조작인지를 용이하게 구별할 수 있다.
그러나, 터치 패널이 아닌 카메라를 사용하여 유저의 손의 움직임을 촬영하여 유저의 입력을 판별하는 경우, 선택 가능 영역으로 이동 중의 유저의 손의 움직임이 카메라에 촬상된다. 즉, 검출의 유무에 따라 선택 조작에 앞선 손의 이동과 제스처 동작을 구별할 수 없다. 그 때문에, 인용문헌 3이 개시하는 기술로는 선택 가능 영역으로의 선택 조작과 제스처 동작을 구별하기 곤란하므로, 입력 장치를 판별할 수 있는 조작의 베리에이션의 수를 늘리기 어렵다는 문제가 있었다.
본 발명은 이러한 문제를 감안하여 이루어진 것으로서, 선택 조작에 더하여 제스처 조작을 판별할 수 있는 입력 장치, 입력 방법, 및 비일시적인 기억 매체를 제공하는 것을 목적으로 한다.
본 발명의 제1 관점에 따른 입력 장치는,
하나 이상의 선택 가능 영역이 정의된 조작 화면에 대응지어진 촬상 화상 중의 유저의 손의 움직임에 의거하여, 유저의 입력을 판별하는 입력 장치로서,
상기 손이 이동함으로써 발생하는 복수의 상기 촬상 화상에 있어서의 상기 손의 형상의 변화에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 당해 선택 조작과는 다른 제스처 조작인지를 판별하는 입력 판별 수단을 구비한다.
본 발명의 제2 관점에 따른 입력 방법은,
선택 조작의 대상이 되는 하나 이상의 선택 가능 영역이 표시된 조작 화면에 대응지어진 촬상 화상 중의 유저의 손의 움직임에 의거하여, 유저의 입력을 판별하는 입력 방법으로서,
상기 손이 이동함으로써 발생하는 복수의 상기 촬상 화상에 있어서의 상기 손의 형상의 변화에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 당해 선택 조작과는 다른 제스처 조작인지를 판별한다.
본 발명의 제3 관점에 따른 기억 매체는,
프로그램을 기억하는 컴퓨터 판독 가능한 비일시적인 기억 매체로서,
하나 이상의 선택 가능 영역이 표시된 조작 화면에 대응지어진 촬상 화상 중의 유저의 손의 움직임에 의거하여, 유저의 입력을 판별하는 입력 장치를 제어하는 컴퓨터에,
상기 손이 이동함으로써 발생하는 복수의 상기 촬상 화상에 있어서의 상기 손의 형상의 변화에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 당해 선택 조작과는 다른 제스처 조작인지를 판별하는 입력 판별 기능을 실현시키는
프로그램을 기억한다.
본 발명에 의하면, 선택 조작에 더하여 제스처 조작을 판별할 수 있는 입력 장치, 입력 방법, 및 비일시적인 기억 매체를 제공할 수 있다.
도 1은 본 발명의 실시형태에 따른 입력 장치의 입력 상태를 나타낸 도면.
도 2a는 입력 장치의 표시부에 표시되는 조작 화면을 나타낸 도면.
도 2b는 입력 장치의 촬상부에서 촬상되는 촬상 화상을 나타낸 도면.
도 2c는 입력 장치의 조작 화면에 촬상 화상을 대응시킨 것을 나타낸 도면.
도 3a는 제스처 조작을 설명하기 위한 도면.
도 3b는 제스처 조작을 설명하기 위한 도면.
도 3c는 선택 조작을 설명하기 위한 도면.
도 4는 도 1에 나타낸 입력 장치의 내부 구성을 나타낸 블록도.
도 5는 도 4에 나타낸 제어부의 기능을 설명하기 위한 기능 블록도.
도 6은 도 4에 나타낸 기억부에 저장된 제스처 판별 테이블과 커맨드 테이블을 설명하기 위한 도면.
도 7a는 유저의 손의 이동 패턴 중, 시계 방향 회전의 원을 그리는 이동 패턴을 설명하기 위한 도면.
도 7b는 유저의 손의 이동 패턴의 예로서, 반시계 방향 회전의 원을 그리는 이동 패턴을 설명하기 위한 도면.
도 7c는 유저의 손의 이동 패턴의 예로서, 왼쪽 방향의 직선 이동의 이동 패턴을 설명하기 위한 도면.
도 7d는 유저의 손의 이동 패턴의 예로서, 우측 방향의 직선 이동의 이동 패턴을 설명하기 위한 도면.
도 8은 실시형태1의 입력 처리의 플로우차트.
도 9는 입력 처리에서 사용되는 촬상 화상을 설명하기 위한 도면.
도 10은 손 영역을 설명하기 위한 도면.
도 11은 선택 가능 영역으로의 방향을 특정하는 상태를 나타낸 도면.
도 12a는 선택 가능 영역으로의 방향과 유저의 손의 이동 방향을 비교하여, 유저의 손의 이동 방향을 특정하는 상태를 나타낸 도면.
도 12b는 선택 가능 영역으로의 방향과 유저의 손의 이동 방향을 비교하여, 선택 가능 영역으로의 방향과 유저의 손의 이동 방향으로부터 방향 상이도를 산출하는 상태를 나타낸 도면.
도 13a는 선택 조작 시의 유저의 손의 형상의 변화를 나타낸 도면.
도 13b는 제스처 조작 시의 유저의 손의 형상의 변화를 나타낸 도면.
도 14는 실시형태1의 입력 장치의 효과를 설명하기 위한 도면.
도 15는 도 4에 나타낸 기억부에 준비되는 FIFO 큐(queue)를 설명하기 위한 도면.
도 16은 실시형태2의 입력 처리의 플로우차트.
도 17a는 유저의 손의 이동 방향과 형상의 변화를 특정하여, 유저의 손의 이동 방향의 변화를 특정하는 상태를 나타낸 도면.
도 17b는 유저의 손의 이동 방향과 형상의 변화를 특정하여, 유저의 손의 형상의 변화를 특정하는 상태를 나타낸 도면.
도 18은 방향 상이도, 형상 상이도, 및 가산값이 일정 시간 간격으로 산출되는 상태를 나타낸 도면.
도 19는 실시형태2의 입력 장치의 효과를 설명하기 위한 도면.
도 20a는 입력 장치의 변형예를 설명하기 위한 도면이며, 선택 가능 영역으로의 방향과 이동 개시 시점의 유저의 손의 위치를 기준으로 하여 작성된 방향 비교맵을 설명하기 위한 도면.
도 20b는 방향 비교맵에 의거하여 방향 상이도가 특정되는 상태를 나타낸 도면.
도 21a는 피드백부의 동작을 설명하기 위해서, 유저의 손의 이동 궤적이 광적(光跡)으로서 표시되는 상태를 나타낸 도면.
도 21b는 서클 형상의 안내 표시의 투과율이 누적값에 의거하여 변화된 상태를 나타낸 도면.
도 22는 입력 장치의 변형예를 설명하기 위한 도면.
도 23a는 입력 장치의 변형예를 설명하기 위해서, 유저의 손의 이동 속도가 빠른 경우의 처리를 나타낸 도면.
도 23b는 유저의 손의 이동 속도가 느린 경우의 처리를 나타낸 도면.
도 2a는 입력 장치의 표시부에 표시되는 조작 화면을 나타낸 도면.
도 2b는 입력 장치의 촬상부에서 촬상되는 촬상 화상을 나타낸 도면.
도 2c는 입력 장치의 조작 화면에 촬상 화상을 대응시킨 것을 나타낸 도면.
도 3a는 제스처 조작을 설명하기 위한 도면.
도 3b는 제스처 조작을 설명하기 위한 도면.
도 3c는 선택 조작을 설명하기 위한 도면.
도 4는 도 1에 나타낸 입력 장치의 내부 구성을 나타낸 블록도.
도 5는 도 4에 나타낸 제어부의 기능을 설명하기 위한 기능 블록도.
도 6은 도 4에 나타낸 기억부에 저장된 제스처 판별 테이블과 커맨드 테이블을 설명하기 위한 도면.
도 7a는 유저의 손의 이동 패턴 중, 시계 방향 회전의 원을 그리는 이동 패턴을 설명하기 위한 도면.
도 7b는 유저의 손의 이동 패턴의 예로서, 반시계 방향 회전의 원을 그리는 이동 패턴을 설명하기 위한 도면.
도 7c는 유저의 손의 이동 패턴의 예로서, 왼쪽 방향의 직선 이동의 이동 패턴을 설명하기 위한 도면.
도 7d는 유저의 손의 이동 패턴의 예로서, 우측 방향의 직선 이동의 이동 패턴을 설명하기 위한 도면.
도 8은 실시형태1의 입력 처리의 플로우차트.
도 9는 입력 처리에서 사용되는 촬상 화상을 설명하기 위한 도면.
도 10은 손 영역을 설명하기 위한 도면.
도 11은 선택 가능 영역으로의 방향을 특정하는 상태를 나타낸 도면.
도 12a는 선택 가능 영역으로의 방향과 유저의 손의 이동 방향을 비교하여, 유저의 손의 이동 방향을 특정하는 상태를 나타낸 도면.
도 12b는 선택 가능 영역으로의 방향과 유저의 손의 이동 방향을 비교하여, 선택 가능 영역으로의 방향과 유저의 손의 이동 방향으로부터 방향 상이도를 산출하는 상태를 나타낸 도면.
도 13a는 선택 조작 시의 유저의 손의 형상의 변화를 나타낸 도면.
도 13b는 제스처 조작 시의 유저의 손의 형상의 변화를 나타낸 도면.
도 14는 실시형태1의 입력 장치의 효과를 설명하기 위한 도면.
도 15는 도 4에 나타낸 기억부에 준비되는 FIFO 큐(queue)를 설명하기 위한 도면.
도 16은 실시형태2의 입력 처리의 플로우차트.
도 17a는 유저의 손의 이동 방향과 형상의 변화를 특정하여, 유저의 손의 이동 방향의 변화를 특정하는 상태를 나타낸 도면.
도 17b는 유저의 손의 이동 방향과 형상의 변화를 특정하여, 유저의 손의 형상의 변화를 특정하는 상태를 나타낸 도면.
도 18은 방향 상이도, 형상 상이도, 및 가산값이 일정 시간 간격으로 산출되는 상태를 나타낸 도면.
도 19는 실시형태2의 입력 장치의 효과를 설명하기 위한 도면.
도 20a는 입력 장치의 변형예를 설명하기 위한 도면이며, 선택 가능 영역으로의 방향과 이동 개시 시점의 유저의 손의 위치를 기준으로 하여 작성된 방향 비교맵을 설명하기 위한 도면.
도 20b는 방향 비교맵에 의거하여 방향 상이도가 특정되는 상태를 나타낸 도면.
도 21a는 피드백부의 동작을 설명하기 위해서, 유저의 손의 이동 궤적이 광적(光跡)으로서 표시되는 상태를 나타낸 도면.
도 21b는 서클 형상의 안내 표시의 투과율이 누적값에 의거하여 변화된 상태를 나타낸 도면.
도 22는 입력 장치의 변형예를 설명하기 위한 도면.
도 23a는 입력 장치의 변형예를 설명하기 위해서, 유저의 손의 이동 속도가 빠른 경우의 처리를 나타낸 도면.
도 23b는 유저의 손의 이동 속도가 느린 경우의 처리를 나타낸 도면.
이하, 본 발명의 실시형태에 따른 입력 장치에 대해서 도면을 참조하면서 설명한다.
(실시형태1)
본 실시형태의 입력 장치(100)는, 카메라로 촬상된 유저의 손의 움직임에 의거하여, 유저의 기기에 대한 입력(예를 들면, 유저의 기기에 대한 조작 지령, 커맨드, 아이콘 등이 표시된 선택 가능 영역의 선택 등)을 판별하는 기능을 구비한다. 입력 장치(100)는, 예를 들면 도 1에 나타낸 바와 같은 외관을 갖는 퍼스널 컴퓨터이다. 우선, 도 2와 도 3을 참조하여, 입력 장치(100)가 행하는 처리의 개요를 설명한다.
입력 장치(100)는, 선택 가능 영역에 선택 대상이 되는 화상(아이콘이나 버튼)이 표시된, 예를 들면 도 2a에 나타낸 바와 같은 조작 화면을 표시하는 표시부(120)와, 예를 들면 도 2b에 나타낸 바와 같은 화상을 촬상하는 촬상부(130)를 구비하고 있다. 촬상된 화상(이하, 「촬상 화상」이라고 함)은, 도 2c에 나타낸 바와 같이, 조작 화면에 대응지어진다. 예를 들면, 입력 장치(100)는, 촬영 화상 상의 각 좌표점을, 아핀(affine) 변환 등의 좌표 변화에 의해 조작 화면 상의 좌표점과 대응시킨다. 그리고, 촬영 화상 상의 어느 부분에 유저의 손끝이 비치어지면, 조작 화상 상의 대응된 부분을 가리키는 조작으로서 접수한다. 그 때문에, 마우스나 터치 패널 등의 포인팅 디바이스를 사용하지 않고 조작 화면 상의 위치를 지정하는 조작의 입력이 가능해진다. 선택 가능 영역은, 입력 조작의 대상이 되는 어플리케이션의 상태에 따라, 조작 화면 상에 설정된다. 선택 가능 영역에는, 예를 들면 압하가 가능한 버튼의 화상이나, 선택 대상이 되는 아이콘의 화상 등이 동시에 표시되어도 된다. 혹은, 화면의 상단이나 하단과 같은 유저가 인식 가능한 부분이면, 선택 가능 영역에 특별한 화상을 표시하지 않는 설정도 가능하다. 입력 장치(100)는, 예를 들면 어플리케이션과 통신하여 선택 가능 영역의 좌표를 취득하고, 선택 좌표를 RAM에 기억한다. 이하, 선택 가능 영역의 좌표는 수시로 RAM의 미리 정해진 영역을 참조하여 취득 가능하게 한다. 구체적인 조작 입력의 종별로서, 입력 장치(100)는, 촬상 화상 중의 유저의 손의 움직임에 의거하여, 유저의 입력이 선택 조작인지 또는 선택 조작과는 다른 제스처 조작인지를 판별한다. 여기에서, 「제스처 조작」이란, 기기 조작을 위해 미리 정해진 몸짓 손짓 등의 미리 정해진 동작이며, 예를 들면 도 3a에 나타낸 바와 같은 손의 주회(周回) 동작이나, 예를 들면, 도 3b에 나타낸 바와 같은 손가락으로 가리켜져서 손목이나 팔꿈치를 지점(支點)으로 하여 손을 피벗하는 동작(이하, 「플릭 동작」이라고도 함)이나, 손을 회전시키는 동작(이하, 「롤링 동작」이라고도 함) 등의 것을 말한다. 또한, 「선택 조작」(「포인팅 조작」이라고도 함)이란, 유저가 화면에 표시된 선택 가능 영역을 선택하고자 하는 동작을 말한다. 또, 「선택 조작」에는, 포인트 영역으로 이동 중의 유저의 손의 움직임도 포함된다.
유저가 선택 조작을 행하면, 유저의 손은 선택 가능 영역이 있는 방향으로 이동한다. 이 경우, 유저는 조작 화면을 보면서 손을 평행 이동시키는 경우가 많으므로, 예를 들면 도 3c에 나타낸 바와 같이, 촬상되는 손의 형상은 그다지 변화하지 않는다. 한편 제스처 조작의 경우, 유저는 손목을 지점으로 하여 손을 피벗하면서 손을 이동시키는 경우가 많으므로, 예를 들면 도 3a나 도 3b에 나타낸 바와 같이, 촬상되는 손의 형상은 크게 변화한다. 입력 장치(100)는, 이동에 의해 발생하는 유저의 손의 형상의 변화에 의거하여, 유저의 입력이 선택 조작인지 또는 제스처 조작인지를 판별한다.
이하, 입력 장치(100)의 구성에 대해서 상세하게 설명한다.
입력 장치(100)는, 도 4에 나타낸 바와 같이, 조작 장치(110)와, 표시부(120)와, 촬상부(130)와, 화상 기억부(140)와, 제어부(150)와, 기억부(160)로 구성된다.
조작 장치(110)는, 키보드 등의 입력 디바이스로 구성된다. 조작 장치(110)는, 유저로부터의 처리 개시 명령 등을 받아서 후술의 제어부(150)에 송신한다.
표시부(120)는, 액정 디스플레이 등의 표시 장치로 구성된다. 표시부(120)는, 제어부(150)의 제어에 따라서 각종 화상을 표시한다.
촬상부(130)는, CCD(Charge Coupled Device Image Sensor) 카메라나 CMOS(Complementary Metal Oxide Semiconductor) 카메라 등의 촬상 장치로 구성된다. 촬상부(130)는, 예를 들면, 표시부(120)의 상부 중앙에 설치되어 있다. 촬상부(130)는, 유저의 손의 화상(영상을 포함함)을 순차 촬상함과 함께, 각 프레임에 촬영 시각을 부가하고, 순차적으로, 이 화상을 화상 기억부(140)에 송신한다.
화상 기억부(140)는, RAM(Random Access Memory) 등의 비디오 메모리로 구성된다. 화상 기억부(140)는, 촬상부(130)로부터 송신된 화상 데이터를 기억한다.
제어부(150)는, 예를 들면, 프로세서 등의 연산 장치와, 이 연산 장치가 작업 영역으로서 사용 가능한 RAM과, 프로그램이나 초기값 등의 데이터를 기억하는 ROM(Read Only Memory) 등으로 구성된다. 제어부(150)는 ROM에서 RAM으로 로드된 프로그램에 따라 동작하고, 후술의 「입력 처리」를 포함하는 다양한 처리를 실행한다. 제어부(150)는, 「입력 처리」에 따라 동작함으로써, 도 5에 나타낸 바와 같이, 화상 취득부(151), 이동 검출부(152), 방향 비교부(153), 형상 비교부(154), 입력 판별부(155), 및 전달부(156)로서 기능한다. 또, 이들 기능에 대해서는, 후술의 「입력 처리」의 설명의 개소에서 설명한다.
기억부(160)는, DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), 플래시 메모리, 또는 하드디스크 등의 데이터 읽고 쓰기 가능한 기억 장치로 구성된다. 기억부(160)에는, 「제스처 판별 테이블」, 「커맨드 테이블」 등의 각종 데이터가 저장되어 있다.
「제스처 판별 테이블」은, 손의 제스처 및 궤적이 미리 기억된 복수의 이동 패턴 중 어디에 해당하는지를 판별하기 위한 정보이다. 「이동 패턴 정보」는, 도 6에 나타낸 바와 같이, 「식별 정보」와 「특징 데이터」를 관련지은 정보로 구성된다.
「식별 정보」는, 유저의 손의 이동 패턴이며, 미리 기억된 복수의 이동 패턴의 각각을 일의(一意)로 식별하기 위한 정보(식별자)이다. 예를 들면, 도 6의 예에서는, 유저의 손의 움직임으로서, 도 7a에 나타낸 바와 같이 시계 방향 회전의 주회 동작에 대하여 「주회(시계 방향 회전)」, 도 7b에 나타낸 바와 같은 반시계 방향 회전의 주회 동작에 대하여 「주회(반시계 방향 회전)」, 도 7c에 나타낸 바와 같은 왼쪽 방향의 플릭 동작에 대하여 「직선 이동(왼쪽 방향)」 등, 서로 다른 손의 움직임에 대하여 일의적인 식별 정보가 할당되어 있다. 또, 식별 정보의 서식은 특정 서식에 한정되지 않는다. 예를 들면, 1, 2, 3···과 같은 수치여도 되며, A, B, C···와 같은 기호여도 된다.
「특징 데이터」는, 유저의 손의 이동 패턴을 특정하기 위한 정보이다. 특징 데이터는, 예를 들면, 미리 유저의 손이 그리는 이동 궤적의 특징을 추출하여 저장한 특징량 데이터로 구성된다. 특징량 데이터는, 미리 ROM 등의 기억 장치에 기억되고, 이동 벡터를 사용한 패턴 인식에 의한 제스처 조작의 판별 등에 사용된다. 제어부(150)는, 유저의 손의 궤적을 특징 데이터로 체크함으로써, 유저의 손의 이동 궤적이 어느 이동 패턴에 해당하는지 판별한다.
「커맨드 테이블」은, 유저의 제스처 조작이, 복수 있는 조작 커맨드 중 어디에 해당하는지를 판별하기 위한 정보이다. 커맨드 테이블은, 도 6에 나타낸 바와 같이, 「식별 정보」와 「제어 커맨드」를 관련지은 정보를 포함한다.
「제어 커맨드」는, 기기를 제어하기 위한 제어 정보이다. 「제어 커맨드」는, 예를 들면, 음악 재생 소프트웨어 등의 어플리케이션 소프트웨어나 오퍼레이팅 시스템 등에 입력되는, 재생, 정지, 빨리감기, 스킵, 결정, 캔슬, 볼륨 변경 등의 커맨드이다.
다음으로, 이러한 구성을 갖는 입력 장치(100)의 동작에 대해서 설명한다.
제어부(150)는, 조작 장치(110)로부터 처리 개시 명령을 수신하면, 촬상부(130)에 대하여 촬상의 개시를 명령한다. 촬상부(130)는 촬상 개시가 명령되면, 순차적으로, 촬상한 화상을 화상 기억부(140)에 송신한다. 또한, 제어부(150)는, 조작 장치(110)로부터 처리 개시 명령을 수신하면, 어플리케이션 소프트웨어를 실행함과 함께, 그 어플리케이션 소프트웨어에 각종 제어 정보를 입력하기 위한 「입력 처리」를 개시한다. 이하, 도 8의 플로우차트를 참조하여 「입력 처리」에 대해서 설명한다.
제어부(150)의 화상 취득부(151)는, 화상 기억부(140)로부터, 사람의 손이 촬상된 최신의 미리 정해진 기간만큼의 촬상 화상(예를 들면, 도 9에 나타낸 바와 같이, 촬영 시각이 1시 23분 40.50초∼1시 24분 00.50초까지의 20초분의 복수 프레임의 화상 데이터)을 취득한다(스텝 S101). 즉, 제어부(150)는, 화상 취득부(151)로부터, 촬영 타이밍이 다른 복수의 촬상 화상을 취득한다.
도 8의 플로우로 돌아와서, 제어부(150)의 이동 검출부(152)는, 복수 프레임의 촬상 화상 각각으로부터 집게 손가락으로 가리켜져서 손이 촬영된 영역(이하, 「손 영역」이라고 함)을 추출한다(스텝 S102). 또, 추출하는 손 영역은, 손의 형상 그 자체(예를 들면, 도 10의 파선으로 둘러싸인 부분(PA))여도 되며, 손을 둘러싸는 최소의 사각형 영역(예를 들면, 도 10의 파선으로 둘러싸인 부분(PB))이어도 된다.
도 8의 플로우로 돌아와서, 이동 검출부(152)는, 각 프레임의 촬상 화상에 있어서의 손 영역의 위치의 변화에 의거하여, 이동 개시가 검출되는지의 여부를 판별한다(스텝 S103). 구체예로서, 이동 검출부(152)는, 스텝 S101에서 취득한 복수의 촬상 화상의 손 영역의 위치를 비교하고, 각 프레임에 있어서의 손 영역의 위치의 차이(손의 이동량)와 촬영 타이밍의 차이(시간차)에 의거하여 손의 이동 속도를 구한다. 그리고, 구한 속도에 의거하여, 스텝 S101에서 화상이 촬영된 미리 정해진 기간 중에, 유저의 손의 상태가 정지 상태(손의 이동 속도가 일정 속도 이하의 상태)로부터 이동 상태(손의 이동 속도가 일정 속도보다 이상의 상태)로 이행하고 있는 시점이 있는지의 여부를 판별한다. 이행하고 있는 시점이 없는 경우에는, 이동 검출부(152)는 유저의 손이 이동 상태로 이행하지 않는다고 판별하고(스텝 S103 : No), 처리를 스텝 S101로 되돌리고, 이행 시점을 검출할 때까지 스텝 S101∼스텝 S103을 반복한다. 한편, 유저의 손이 이동 상태로 이행하고 있는 경우(스텝 S103 : Yes), 이동 상태로 상태 이행한 시점의 촬영 시각(이하, 이동 개시 시점(T1)이라고 함)을 RAM 등에 보존하고, 스텝 S104로 진행된다.
이동 검출부(152)는, 이동 개시 후의 각 프레임의 손 영역의 위치의 변화에 의거하여, 이동 개시 시점(T1) 이후의 촬상 화상 중에 유저의 손이 이동 상태로부터 정지 상태로 이행하고 있는 시점이 있는지 판별한다(스텝 S104). 이동 검출부(152)는, 손 영역의 위치의 차이(손의 이동량)와 촬영 타이밍의 차이(시간차)에 의거하여 구한 손의 이동 속도에 의거하여, 스텝 S103과는 반대로 유저의 손이 이동 상태로부터 정지 상태로 이행하고 있는 시점이 있는지 판별한다. 그 결과, 유저의 손이 정지 상태로 이행하고 있지 않은 경우(스텝 S104 : No), 스텝 S101로 돌아가, 스텝 S101∼스텝 S104를 반복한다. 정지 상태로 이행하고 있는 경우(스텝 S104 : Yes), 이동 정지 상태로 상태 이행한 시점의 촬영 시각(이하, 이동 정지 시점(T2)이라고 함)을 RAM 등에 보존하고, 스텝 S105로 진행된다.
이동 검출부(152)는, 이동 개시 시점(T1)의 촬상 화상과 이동 정지 시점(T2)의 촬상 화상을 화상 기억부(140)로부터 취득하고, 이 화상을 RAM에 보존한다(스텝 S105). 예를 들면, 스텝 S103에서 이동 개시 시점(T1)으로서 1시 23분 45.67초를 검출하고, 스텝 S104에서 이동 정지 시점(T2)으로서 1시 23분 46.67초를 검출한 것이면, 그 2개의 프레임(1시 23분 45초 67의 프레임과 1시 23분 46초 67의 프레임)의 촬상 화상을 RAM에 보존한다.
제어부(150)의 방향 비교부(153)는, 유저의 손의 이동 개시 시점(T1)의 촬상 화상에 의거하여, 이동 개시 시점(T1)에 있어서의 유저의 손의 위치에 대한 선택 가능 영역으로의 방향을 특정한다(스텝 S106). 이 방향은, 예를 들면 RAM의 미리 정해진 영역에 기록되어 있는 선택 가능 영역의 무게 중심의 좌표와, 스텝 S102에서 추출한 손 영역의 무게 중심에 의거하여 구할 수 있다. 선택 가능 영역이 복수 있는 경우, 선택 가능 영역 각각에 대해서 방향을 특정한다. 예를 들면, 도 11에 나타낸 바와 같이 선택 가능 영역이 4개 있는 경우, 방향 비교부(153)는, 이동 개시 시점(T1)에 있어서의 손 영역의 무게 중심 위치(G1)와 각 선택 가능 영역의 중심(C1∼C4)을 연결하는 선의 각도(예를 들면, 도면 중 상방향과 같은 미리 정해진 기준 방향으로부터의 시계 방향 회전의 각도. 이하, 조작 화면 상의 각도를 설명하는 각 도면에 있어서 동일)를 선택 가능 영역의 방향으로서 특정해도 된다.
도 8의 플로우로 돌아와서, 방향 비교부(153)는, 스텝 S106에서 취득한 선택 가능 영역으로의 방향과, 유저의 손의 이동 방향을 비교한다. 그리고, 그 비교 결과를, 방향의 상이의 정도를 나타내는 「방향 상이도」로서 취득한다. 또, 유저의 손의 이동 방향은, 예를 들면 스텝 S105에서 보존한 이동 개시 시점(T1)과 이동 정지 시점(T2)의 프레임에 있어서의 손 영역의 위치에 의거하여 구할 수 있다. 선택 가능 영역이 복수 있는 경우, 선택 가능 영역 각각에 대해서 방향 상이도를 취득한다(스텝 S107). 예를 들면, 방향 비교부(153)는, 이동 개시 시점(T1)에 있어서의 유저의 손의 무게 중심 위치(G1)와 이동 정지 시점(T2)에 있어서의 유저의 손의 무게 중심 위치(G2)를 연결하는 선의 각도(예를 들면, 도 12a에 나타낸 바와 같이, 도면 중 상방향을 0°로 했을 경우의 각도)를 특정한다. 그리고, 도 12b에 나타낸 바와 같이, 특정한 각도와 선택 가능 영역으로의 방향의 각도의 차분을 산출하고, 산출한 차분 중에서 가장 값이 작은 차분(도 12b의 예이면 17°)을 방향 상이도로서 취득한다. 일반적으로, 선택 조작의 일환으로서 손을 움직이는 경우에는, 유저는 이동 개시 시점(이 예에서는 이동 개시 시점(T1))부터 이동 정지 시점(이 예에서는 이동 정지 시점(T2))까지, 선택 가능 영역 중 어딘가를 향하여 손을 이동시킨다. 한편, 제스처 동작의 경우에는, 도 3b(플릭 동작)나 도 19(롤링 동작)와 같이, 이동 방향은 이동 개시 시점으로부터의 선택 가능 영역을 향하는 방향과는 무관계이다. 이 때문에, 유저의 손이, 조작 화면 상에 설정한 선택 가능 영역 중 어딘가를 향하여 이동하고 있는지의 여부를 나타내는 방향 상이도는, 손의 이동이 선택 조작의 일환인지의 여부의 확실도를 나타내는 계수가 된다. 방향 상이도가 작을수록, 유저의 손이 선택 가능 영역 중 어딘가를 향하여 이동하고 있다는 확실도가 높아진다. 즉, 방향 상이도가 작을수록, 유저의 손의 이동이 선택 조작의 일환일 확실도가 높아진다. 반대로, 방향 상이도가 클수록, 유저의 손의 이동은 선택 조작이 아니며 제스처 조작일 확실도가 높아진다.
도 8의 플로우로 돌아와서, 제어부(150)의 형상 비교부(154)는, 이동을 개시한 시점의 유저의 손의 형상과 이동을 정지한 시점의 유저의 손의 형상을 비교한다. 그리고 그 비교 결과를, 형상의 변화의 정도를 나타내는 「형상 상이도」로서 취득한다(스텝 S108). 예를 들면, 형상 비교부(154)는, 이동 개시 시점(T1)의 손 영역의 무게 중심 위치(G1)와 손끝(F1) 사이의 위치 관계와, 이동 정지 시점(T2)의 손 영역의 무게 중심 위치(G2)와 손끝(F2)의 위치 관계를 비교하여 형상 상이도를 산출한다. 보다 구체적으로는, 형상 비교부(154)는, 이동 개시 시점(T1)의 손 영역의 무게 중심 위치(G1)와 손끝(F1)을 연결한 선의 각도와, 이동 정지 시점(T2)의 손 영역의 무게 중심 위치(G2)와 손끝(F2)을 연결한 선의 각도 사이의 차이(예를 들면, 시계 방향 회전의 각도와 반시계 방향 회전의 각도 중 작은 쪽)를 형상 상이도로서 산출한다. 이와 같이 산출되는 형상 상이도는, 선택 가능 영역 중 어딘가로의 이동과는 달리, 유저의 손이 미리 정해진 제스처 조작의 일환으로서 이동하고 있는 것의 확실도의 지표가 된다. 일반적으로, 선택 조작의 일환으로서 손을 움직이는 경우에는, 유저는 손을 변형시키지 않고 이동시키기 때문이다. 한편, 제스처 동작의 경우에는, 도 3b(플릭 동작)나 도 19(롤링 동작)와 같이, 손은 선택 조작의 경우보다 크게 변형한다. 즉, 형상 상이도가 클수록, 유저의 손이 제스처 조작의 일환으로서 이동하고 있을 확실도가 크다. 도 13a에 예시되는 바와 같이, 유저의 손의 움직임이 선택 조작이라고 생각되는 경우, 형상 상이도는 작은 값(도 13a의 예에서는, 345°와 347°의 차=2°)이 된다. 도 13에 예시되는 바와 같이, 유저의 손의 움직임이 선택 조작과는 다른 제스처 조작이라고 생각되는 경우, 형상 상이도는 선택 조작이라고 생각되는 경우보다 큰 값(도 13a의 예에서는, 328°와 83°의 차=115°)이 된다.
도 8의 플로우로 돌아와서, 제어부(150)의 입력 판별부(155)는, 방향 상이도와 형상 상이도를 미리 정해진 가중치를 갖고 가산한다(스텝 S109). 예를 들면, 스텝 S107에서 취득한 방향 상이도를 D, 스텝 S108에서 취득한 형상 상이도를 S라고 하면, 방향 상이도(D)와 형상 상이도(S)의 가중 계수를 각각, w1, w2로 하여, 이하의 (식 1)에 의해 가산값 ADD를 구한다. 또, 각 가중의 값은, 미리 실험에 의해 구해져서 설정값으로서 ROM에 기억한 값으로 한다. 혹은, 유저가 자신의 조작 습관에 맞춰서 설정 가능하게 해도 된다. 여기에서는, w1과 w2의 값은 모두 양으로 한다.
ADD=w1×D+w2×S···(식 1)
입력 판별부(155)는, 가산한 값(예를 들면, 가산값 ADD)이 미리 정해진 임계값 이하인지의 여부를 판별한다(스텝 S110). 가산한 값이 미리 정해진 임계값 이하의 경우(스텝 S110 : Yes), 유저의 손의 움직임은 선택 조작이라고 판별하여, 처리를 스텝 S111로 진행된다. 가산한 값이 미리 정해진 임계값보다 클 경우(스텝 S110 : No), 유저의 손의 움직임은 제스처 조작이라고 판별하여, 입력 판별부(155)는 처리를 스텝 S112로 진행된다. 이 가산값 ADD는, 유저의 손이 선택 가능 영역 중 어딘가를 향하고 있는 정도를 나타내는 방향 상이도(D)와, 유저의 형상의 변화의 크기를 나타내는 형상 상이도(S)에 의거하여 구해진, 유저의 손의 움직임이 제스처 조작을 위한 것인지, 선택 동작의 일환인지를 나타내는 계수이다. w1과 w2가 양의 값인 경우에는, ADD가 클수록, 제스처 동작일 가능성이 높다. 그 때문에, ADD를 구하여, 그 크기가 임계값을 초과했을 경우에는 제스처 동작으로 판별함으로써, 유저의 의도에 따른 입력 디바이스의 입력 판별이 가능해진다.
유저의 손의 동작이 선택 조작이라고 판별되었을 경우(스텝 S110 : Yes), 입력 판별부(155)는, 스텝 S106에서 취득한 선택 가능 영역의 방향과, 이동 개시 시점(T1)의 유저의 손의 무게 중심 위치(G1)와, 이동 정지 시점(T2)의 유저의 손의 무게 중심 위치(G2)에 의거하여, 어느 선택 가능 영역이 선택되었는지 판별한다. 그리고, 전달부(156)가 입력 판별부(155)가 판별한 정보와 함께 선택 가능 영역이 선택된 것을 나타내는 커맨드를 어플리케이션 소프트웨어에 통지한다(스텝 S111).
스텝 S110으로 돌아가서, 유저의 손의 동작이 제스처 조작이라고 판별되었을 경우(스텝 S110 : No), 입력 판별부(155)는, 이동 개시부터 이동 정지까지의 손의 무게 중심이 그리는 이동 궤적을 도 6에 나타낸 제스처 판별 테이블의 특징 데이터로 체크하여, 유저의 제스처를 판별한다. 그리고, 전달부(156)가, 판별된 제스처(즉, 식별 정보)에 할당되어 있는 제어 커맨드를 커맨드 테이블로부터 취득하고, 취득한 제어 커맨드를 어플리케이션 소프트웨어에 전달한다(스텝 S112). 즉, 전달부(156)는 판별한 입력 결과를 조작 대상이 되는 어플리케이션에 전달한다. 또, 제스처 판별 테이블에 해당의 특징 데이터가 없는 경우, 전달부(156)는 제어 커맨드를 입력하지 않고 그대로 스텝 S112를 종료한다.
입력이 완료하면, 제어부(150)는, 스텝 S101로 돌아가서, 스텝 S101∼스텝 S111의 처리를 반복한다.
이상 설명한 바와 같이, 유저의 손의 형상의 변화의 정보를 사용하여 유저의 손의 움직임을 판별하고 있으므로, 본 실시형태의 입력 장치(100)는, 유저의 손의 움직임이 선택 조작인지 또는 제스처 조작인지를 정밀하게 판별할 수 있다. 예를 들면, 도 13a와 도 13b에 나타낸 바와 같이, 유저의 손이 동일하게 선택 가능 영역의 방향으로 이동했다고 해도, 유저의 손의 형상의 변화의 정보를 사용함으로써, 예를 들면, 도 13a의 케이스는 「선택 조작」, 도 13b의 케이스는 「제스처 조작」이라고 판별할 수 있다. 그 때문에, 입력 장치(100)는, 선택 조작에 더하여 제스처 조작도 동시에 인식하는 것이 가능해지고, 그 결과, 입력 장치(100)는 다양한 배리에이션의 입력 조작을 실현할 수 있고, 유저에 있어서 입력의 이변성이 높아진다.
또한, 손의 형상의 변화에 더하여 손의 이동 방향의 정보도 사용하여 유저의 동작을 판별하고 있다. 따라서, 입력 장치(100)는, 유저의 손의 움직임이 선택 조작인지 또는 제스처 조작인지를 더 정밀하게 판별할 수 있다. 예를 들면, 도 14에 나타낸 바와 같이, 이동에 의해 손의 형상이 그다지 변화하고 있지 않는 경우여도, 선택 가능 영역을 향하여 이동하고 있지 않은 유저의 손의 움직임을 「선택 조작」이 아닌 「제스처 조작」이라고 판별할 수 있다.
(실시형태2)
실시형태1의 입력 장치(100)는, 이동 개시 시점과 이동 정지 시점의 손의 형상의 변화에 의거하여 유저의 입력이 선택 조작인지 또는 제스처 조작인지 판별했다. 그 대신에, 이동 개시부터 이동 정지까지의 손의 형상의 시계열에 따른 단계적인, 혹은 연속적인 변화에 의거하여 유저의 입력을 판별하는 구성도 효과적이다. 본 실시형태에서는, 손의 형상의 시계열에 따른 단계적인 혹은 연속적인 변화에 의거하여, 유저의 입력을 판별하는 입력 장치가 개시된다.
실시형태2의 입력 장치(100)는, 실시형태1과 마찬가지로, 도 4에 나타낸 바와 같이, 조작 장치(110)와, 표시부(120)와, 촬상부(130)와, 화상 기억부(140)와, 제어부(150)와, 기억부(160)를 포함한다.
본 실시형태의 입력 장치(100)에 있어서는, 기억부(160)에, 도 15에 나타낸 바와 같이, 복수 프레임만큼(예를 들면 3개의 프레임)의 화상 데이터를 보존 가능한 FIFO(First In First Out) 형식의 기억 영역(이하, 「FIFO 큐」라고 함)이 확보되어 있다. 각 프레임만큼의 기억 영역에는, 현시점(최신)의 손을 촬영한 촬영 화상, 시간 T만큼 전의 촬영 화상 n-2, 시간 2T만큼 전의 촬영 화상 n-3 등이 기억된다. 제어부(150)는, 시간 간격 T에서 화상 기억부(140)로부터 최신 1개의 프레임만큼의 화상 데이터를 취득하고, 취득한 화상 데이터를 FIFO 큐에 인큐한다. 그 결과, 시간 T마다, FIFO 큐에 새로운 촬상 화상이 기억되고, 현재 기억되어 있는 화상 중에서 처음으로 인큐된 촬상 화상(도 15에서는 촬상 화상 n-4)이 데큐(dequeue)된다. 또, 이하의 설명에서는, FIFO 큐에 보존되는 촬상 화상을, 새로운 순으로 화상 데이터A, 화상 데이터B, 화상 데이터C라고 부른다. 또, 제어부(150)가, 화상 기억부(140)로부터 화상을 취득하는 시간 간격(T)은 특정 간격에 한정되지 않고, 임의로 설정이 가능하다. 예를 들면, 공장 출하 시의 설정이나 유저에 의한 설정 조작에 의거하여, 1초 간격이어도 되며, 1프레임 간격이어도 된다.
입력 장치(100)의 그 외의 부분은, 실시형태1의 동명의 각부와 같은 기능을 발휘한다.
다음으로, 실시형태2의 입력 장치(100)의 동작에 대해서 설명한다.
제어부(150)는, 조작 장치(110)로부터 처리 개시 명령을 수신하면, 촬상부(130)에 대하여 촬상의 개시를 명령한다. 촬상부(130)는 촬상 개시가 명령되면, 순차적으로, 촬상한 화상을 화상 기억부(140)에 송신한다. 또한, 제어부(150)는, 조작 장치(110)로부터 처리 개시 명령을 수신하면, 어플리케이션 소프트웨어를 실행함과 함께, 그 어플리케이션 소프트웨어에 각종 제어 정보를 입력하기 위한 「입력 처리」를 개시한다. 이하, 도 16의 플로우차트를 참조하여 「입력 처리」에 대해서 설명한다.
이동 검출부(152)는, 예를 들면 실시형태1의 스텝 S103과 같은 방법을 사용하여, 유저의 손이 정지 상태로부터 이동 상태로 이행하고 있는지 판별한다(스텝 S201). 유저의 손이 이동 상태로 이행하고 있지 않은 경우(스텝 S201 : No), 유저의 손이 이동 상태로 이행할 때까지 스텝 S201을 반복한다. 유저의 손이 이동 상태로 이행하고 있는 경우(스텝 S201 : Yes), 스텝 S202로 진행된다.
화상 취득부(151)는, 제어부(150)에 의해 FIFO 큐의 내용이 갱신되어 있는지, 즉, 전회의 FIFO 큐 갱신 시로부터 시간 T가 경과해 있는지 판별한다(스텝 S202). FIFO 큐가 갱신되어 있지 않은 경우, 혹은, 유저의 손이 이동 상태로 이행 후, 스텝 S202를 시작하여 실행하는 경우(스텝 S202 : No), FIFO 큐가 갱신될 때까지 스텝 S202를 반복한다. FIFO 큐가 갱신되어 있는 경우(스텝 S202 : Yes), 스텝 S203으로 진행된다.
방향 비교부(153)는, 시간 간격 T 때마다 유저의 손의 이동 방향의 변화를 특정한다. 보다 구체적으로는, 방향 비교부(153)는, 화상 A와 화상 B에 의해 특정되는 시간 2T 전인 전시점부터 시간 T 전인 전시점까지의 유저의 손의 이동 방향(이하, 「전시점의 이동 방향」이라고 함)과, 화상 B와 화상 C에 의해 특정되는 시간 T 전인 전시점부터 현시점까지의 유저의 손의 이동 방향(이하, 「현시점의 이동 방향」이라고 함)을 비교한다. 그리고, 그 비교 결과를, 전시점과 현시점에 있어서의 이동 방향의 상이의 정도를 나타내는 「방향 상이도」로서 취득한다(스텝 S203). 예를 들면, 방향 비교부(153)는, 도 17a에 나타낸 바와 같이, 화상 A의 시점에 있어서의 유저의 손의 무게 중심 위치 GA와 화상 B의 시점에 있어서의 유저의 손의 무게 중심 위치 GB를 연결하는 선의 각도(도면의 예에서는 88°)를 전시점의 이동 방향으로서 특정한다. 또한, 화상 B의 시점에 있어서의 유저의 손의 무게 중심 위치 GB와 화상 C의 시점에 있어서의 유저의 손의 무게 중심 위치GC를 연결하는 선의 각도(도면의 예에서는 96°)를 현시점의 이동 방향으로서 특정한다. 그리고, 특정한 2개의 각도의 차이를 방향 상이도(D)로서 취득한다. 또, 이하의 설명에서는, 이해를 쉽게 하기 위해서, 방향 상이도(D)에는, 도 18에 나타낸 바와 같이, 이동 검출 후, 취득 순으로 D0, D1, D2 등으로 번호를 부여한다(이하, Di : i=0,1,2,3 등으로 표현함). 일반적으로, 선택 조작의 일환으로서 손을 움직이는 경우에는, 유저는 이동 개시 시점부터 이동 정지 시점까지, 방향을 바꾸지 않고 손을 이동시킨다. 그 때문에, 각 기간의 방향 상이도(D)나, 그 누적 가산값이 작을수록, 그 손의 이동이 선택 조작의 일환일 가능성이 높다. 한편, 누적 가산값이 클수록, 그 손의 이동이 선택 조작과는 다른 제스처 조작을 위한 것일 가능성이 높다.
도 16의 플로우로 돌아와서, 형상 비교부(154)는, 일정 시간 간격(T) 때마다 유저의 손의 형상의 변화를 특정한다. 보다 구체적으로는, 형상 비교부(154)는, 화상 B의 시점의 유저의 손의 형상(이하, 「전시점의 형상」이라고 함)과, 화상 C의 시점의 유저의 손의 형상(이하, 「현시점의 형상」이라고 함)을 비교한다. 그리고 그 비교 결과를, 형상의 변화의 정도를 나타내는 「형상 상이도」로서 취득한다(스텝 S204). 예를 들면, 도 17b에 나타낸 바와 같이, 형상 비교부(154)는, 화상 B의 시점의 손 영역의 무게 중심 위치 GB와 손끝 FB를 연결한 선의 각도(도면의 예에서는 351°)와, 화상 C의 시점의 손 영역의 무게 중심 위치 GC와 손끝 FC를 연결한 선의 각도(도면의 예에서는 53°) 사이의 차이를 형상 상이도(S)로서 산출한다. 또, 이하의 설명에서는, 이해를 쉽게 하기 위해서, 형상 상이도(S)에는, 도 18에 나타낸 바와 같이, 이동 검출 후, 취득 순으로 S0, S1, S2 등으로 번호를 부여한다(이하, Si : i=0,1,2,3 등으로 표현함). 일반적으로, 선택 조작의 일환으로서 손을 움직이는 경우에는, 유저는 이동 개시 시점(이 예에서는 이동 개시 시점(T1))부터 이동 정지 시점(이 예에서는 이동 정지 시점(T2))까지, 손의 형태를 바꾸지 않고 손을 이동시킨다. 그 때문에, 각 기간의 형상 상이도(S)나, 그 누적 가산값이 작을수록, 그 손의 이동이 선택 조작의 일환일 가능성이 높다. 한편, 형상 상이도(S)의 누적 가산값이 클수록, 그 손의 이동이 선택 조작과는 다른 제스처 조작을 위한 것일 가능성이 높다.
도 16의 플로우로 돌아와서, 입력 판별부(155)는, 방향 상이도(Di)와 형상 상이도(Si)를 미리 정해진 가중치를 갖고 가산한다(스텝 S205). 예를 들면, 방향 상이도(Di)와 형상 상이도(Si)의 가중 계수를 각각, w1, w2로 하여, 이하의 (식 2)에 의해 가산값 ADDi(i=0, 1, 2, 3 등)를 구한다. 또, 각 가중의 값은, 미리 실험에 의해 구해져서 설정값으로서 ROM에 기억한 값으로 한다. 혹은, 유저가 자신의 조작 습관에 맞춰서 설정 가능하게 해도 된다. 여기에서는, w1과 w2의 값은 모두 양으로 한다.
ADDi=w1×Di+w2×Si···(식 2)
입력 판별부(155)는, 이동 개시 검출 후에 취득한 가산값 ADD를 모두, 누적 가산한다(스텝 S206). 예를 들면, 입력 판별부(155)는, 직전에 산출한 가산값을 ADDn으로 하여, 이하의 (식 3)에 의해 누적값 ACC를 구한다.
ACC=ADD0+ADD1+···+ADDn···(식 3)
입력 판별부(155)는, 누적값 ACC가 미리 정해진 임계값 이상인지 판별한다(스텝 S207). 누적값 ACC가 미리 정해진 임계값 이상일 경우(스텝 S207 : Yes), 입력 판별부(155)는, 유저의 입력은 제스처 조작이라고 판별하여, 스텝 S208로 진행된다. 누적값 ACC가 미리 정해진 임계값보다 작을 경우(스텝 S207 : No), 스텝 S210으로 진행된다. 이 누적값 ACC는, 이동 개시 시점(T1)부터 이동 정지 시점(T2)까지, 유저가 손의 이동 방향을 변경한 정도와, 손의 형상(각도)을 변경한 정도에 의거하여 구해지고, 유저의 손의 움직임이 제스처 조작을 위한 것인지, 선택 동작의 일환인지를 나타내는 계수이다. w1과 w2가 양의 값인 경우에는, ACC가 클수록, 손의 움직임이 제스처 동작일 가능성이 높다. 그 때문에, ACC를 구하여, 그 크기가 임계값을 초과했을 경우에는 손의 움직임을 제스처 동작으로 판별함으로써, 입력 장치는 유저의 의도에 따른 입력 판별이 가능해진다.
누적값 ACC가 미리 정해진 임계값 이상일 경우(스텝 S207 : Yes), 이동 검출부(152)는, 예를 들면 실시형태1의 스텝 S104와 같은 방법을 사용하여, 유저의 손이 이동 상태로부터 정지 상태로 이행하고 있는지 판별한다(스텝 S208). 유저의 손이 정지 상태로 이행하고 있지 않은 경우(스텝 S208 : No), 정지 상태로 이행할 때까지 스텝 S208을 반복한다. 유저의 손이 정지 상태로 이행하고 있는 경우(스텝 S208 : Yes), 스텝 S209로 진행된다.
입력 판별부(155)는, 이동 개시부터 이동 정지까지의 손의 무게 중심이 그리는 이동 궤적을 도 6에 나타낸 제스처 판별 테이블의 특징 데이터로 체크하여, 유저의 제스처를 판별한다. 그리고, 전달부(156)는 판별한 제스처에 할당되어 있는 제어 커맨드를 커맨드 테이블로부터 취득하여 어플리케이션 소프트웨어에 입력한다(스텝 S209).
도 16의 스텝 S207로 돌아가서, 누적값 ACC가 미리 정해진 임계값 미만일 경우(스텝 S207 : No), 이동 검출부(152)는, 예를 들면 실시형태1의 스텝 S104와 같은 방법을 사용하여, 유저의 손이 이동 상태로부터 정지 상태로 이행하고 있는지 판별한다(스텝 S210). 유저의 손이 정지 상태로 이행하고 있지 않은 경우(스텝 S210 : No), 제어부(150)는 스텝 S202로 돌아가, 스텝 S202∼스텝 S210을 반복한다. 유저의 손이 정지 상태로 이행하고 있는 경우(스텝 S210 : Yes), 스텝 S211로 진행된다.
입력 판별부(155)는, 실시형태1의 스텝 S111과 같은 방법을 사용하여, 어느 선택 가능 영역이 선택되었는지 판별한다. 그리고, 전달부(156)가 선택 가능 영역이 선택된 것을 나타내는 정보(제어 신호)를, 어플리케이션 소프트웨어에 통지한다(스텝 S211).
이상 설명한 바와 같이, 본 실시형태에 의하면, 이동 개시 시점이나 이동 정지 시점의 손의 형상 뿐만아니라, 이동 중의 손의 형상이나 방향의 변화의 정보를 사용하여 유저의 입력을 판별하고 있다. 일반적으로, 선택 조작의 일환으로서 손을 움직이는 경우에는, 유저는 이동 개시 시점부터 이동 정지 시점까지, 이동 방향을 그다지 바꾸지 않고 손을 이동시킨다. 또한, 손의 형태를 바꾸지 않고 손을 이동시킨다. 한편, 제스처 동작일 경우에는, 도 3b(플릭 동작)나 도 19(롤링 동작)와 같이 이동 방향이나 손의 형태를 바꾸어서 이동시킨다. 그런데, 제스처 동작이어도, 예를 들면 도 19에 나타낸 바와 같이, 이동 개시 시점(T1)의 손의 형상과 이동 정지 시점(T2)의 손의 형상이 같은 형상이며, 이동 방향이 선택 가능 영역의 방향인 경우도 있다. 상기 실시형태의 입력 장치(100)는, 이러한 경우에도 적합하게 선택 조작인지 또는 제스처 조작인지를 판별할 수 있다. 이 때문에, 판별 정밀도가 높다.
또, 상술의 각 실시형태는 일례일뿐이며, 필요에 따라 다양한 변경 및 응용이 가능하다.
예를 들면, 상술의 각 실시형태에서는, 입력 장치(100)는, 손의 이동 방향과 손의 형상의 변화의 정보에 의거하여 유저의 입력을 판별하고 있지만, 이동 방향의 정보를 사용하지 않고 형상의 변화의 정보에만 의거하여 유저의 입력을 판별해도 된다. 예를 들면, 실시형태1의 예이면, 입력 판별부(155)는, 스텝 S108에서 취득한 형상 상이도(S)가 미리 정해진 임계값 이하일 경우, 유저의 손의 움직임은 선택 조작이라고 판별하고, 형상 상이도(S)가 미리 정해진 임계값보다 클 경우, 유저의 손의 움직임은 제스처 조작이라고 판별해도 된다. 또한, 실시형태2의 예이면, 입력 판별부(155)는, 가산값 ADD0∼ADDn까지의 누적 가산값이 아닌, 형상 상이도 S0∼Sn까지의 누적값에 의거하여 유저의 입력을 판별해도 된다. 또한, 누적 가산값 대신에, 형상 상이도 S0∼Sn의 평균값을 사용해도 된다.
또한, 스텝 S107이나 스텝 S203에서는, 이동 방향의 상이의 정도를 나타내는 「방향 상이도」를 취득하도록 구성되어 있다. 대신에, 방향 비교부(153)는, 선택 가능 영역의 방향과 유저의 손의 이동 방향의 일치의 정도를 나타내거나, 혹은, 현시점의 이동 방향과 전시점의 이동 방향 사이의 일치의 정도를 나타내는 「방향 일치도」를 취득해도 된다.
이때, 방향 비교부(153)는, 유저의 손의 이동 방향에 이동 거리를 가미하여 방향 일치도를 산출해도 된다. 예를 들면, 방향 비교부(153)는, 스텝 S106에서 취득한 선택 가능 영역의 방향과, 이동 개시 시점의 유저의 손의 위치를 기준으로 하여, 단계적으로 영역이 설정된 방향 비교맵을 작성한다(예를 들면, 도 20a에 나타낸 바와 같이, 이동 개시 시점(T1)의 유저의 손의 무게 중심 위치(G1)와 각 선택 가능 영역의 중심을 연결하는 선상에 대각선을 갖는 사각형의 영역 A∼E를 단계적으로 설정함). 그리고, 방향 비교부(153)는, 유저의 손의 무게 중심 위치로부터 떨어진 영역일 수록 큰 값이 되도록, 각 영역에 값을 할당한다. 방향 비교부(153)는, 이동 정지 시점(T2)의 유저의 손의 무게 중심(G2)이 위치하는 영역(도 20b의 예이면 영역C)에 할당된 값을, 방향 일치도로서 취득한다. 즉, 방향이 일치하고 있는 위치가 선택 가능 영역에 가까울 수록, 유저의 손의 움직임이 선택 조작이라고 판별되기 쉬워지도록, 가중의 값을 설정한다. 이러한 구성에 의하면, 정밀도가 높은 입력 판별이 가능해진다.
또한, 스텝 S108이나 스텝 S204에서는, 손의 형상의 변화의 정도를 나타내는 「형상 상이도」를 취득한다. 그러나, 형상 비교부(154)는, 이동 개시 시점(T1)의 손의 형상과 이동 정지 시점(T2)의 손의 형상 사이의 일치의 정도를 나타내거나, 혹은, 전시점의 손의 형상과 현시점의 손의 형상 사이의 일치의 정도를 나타내는 「형상 일치도」를 취득하도록 구성되어 있어도 된다. 이 경우에는, 형상 일치도가 높을수록, 그 손의 이동이 선택 조작의 일환이라고 판별되기 쉬워지도록, 가중의 값이 설정된다.
또한, 스텝 S109나 스텝 S205에서는, 방향 상이도(방향 상이도 D 또는 Di)와 형상 상이도(형상 상이도 S 또는 Si)를 미리 정해진 가중치를 갖고 가산하여 가산값을 구하고, 그 가산값에 의거하여 유저의 손의 움직임이 선택 조작인지 또는 제스처 조작인지를 판별하도록 구성되어 있다. 그 대신에, 입력 판별부(155)는, 방향 일치도와 형상 일치도를 미리 정해진 가중치를 갖고 가산한 값에 의거하여, 유저의 손의 움직임이 선택 조작인지 또는 제스처 조작인지를 판별해도 된다.
또한, 제스처 조작을 지원하는 구성으로서, 입력 장치(100)는, 조작 화면에 제스처 조작의 이상적인 손의 기동을 나타내는 가이드를 표시하는 구성도 유효하다. 예를 들면 도 21a의 RA나 RB와 같이, 유저에게 이상적인 손의 움직임을 안내하는 띠 형상의 반투명의 안내 표시를 출력한다. 이때, 제어부(150)는, 유저의 손이 그린 이동 궤적을 안내 표시를 따라 시인 가능하게 출력하는 기능을 구비한 피드백부를 가지고 있어도 된다. 예를 들면, 피드백부는, 유저의 손이 안내 표시의 띠의 가까운 곳에서 띠에 따라 이동했을 때에, 도 21a에 나타낸 바와 같이, 유저의 손의 위치에 대응하여 띠에 따라 이동하는 별표시의 광적을 표시한다. 또한, 추가적인 입력 지원으로서, 피드백부는, 손의 이동이 제스처 조작인 정도에 따라 가이드의 표시 태양을 변경해도 된다. 이 경우에는, 예를 들면, 스텝 S206에서 산출하는 누적값 ACC의 값의 변화에 의거하여 안내 표시의 투과율을 필요에 따라 변화시킨다. 구체적으로는, 피드백부는, 도 21b의 RC와 같이, 누적값 ACC의 값이 커질수록 안내 표시의 투과율을 낮게 한다. 이러한 구성에 의하면, 유저에 대하여 제스처 조작이라고 판별되어 있는 것을 인식시킬 수 있다.
또한, 상기 실시형태에서는, 스텝 S109나 스텝 S205에서는, 손의 무게 중심 위치와 손끝을 연결한 선의 각도의 변화에 의거하여 손의 형상의 변화(형상 상이도)를 구하고 있다. 대신에, 형상 비교부(154)는, 손의 무게 중심 위치와 손끝 사이의 거리에 의거하여 손의 형상의 변화를 파악해도 된다. 형상 비교부(154)는, 도 22에 나타낸 바와 같이, 이동 개시 시점(T1) 혹은 전시점에 있어서의 손의 무게 중심 위치와 손끝의 거리(L1)와, 이동 정지 시점(T2) 혹은 현시점에 있어서의 손의 무게 중심 위치와 손끝의 거리(L2) 사이의 차분을 형상 상이도로서 산출해도 된다. 형상 상이도의 산출에는, 또한, 손의 무게 중심 위치와 손끝을 연결한 선의 각도의 변화의 정보도 사용해도 된다. 이러한 구성에 의하면, 정밀하게 손의 형상의 변화를 파악할 수 있다.
또한, 형상 비교부(154)는, 손의 이동 거리에 의거하여 산출한 형상 상이도 또는 형상 일치도를 보정해도 된다. 예를 들면, 형상 비교부(154)는, 전시점의 손의 무게 중심 위치부터 현시점의 손의 무게 중심 위치까지의 거리를 손의 이동 거리로서 산출하고, 산출한 이동 거리가 커질수록 형상 상이도가 작아지도록, 또는 이동 거리가 커질수록 형상 일치도가 커지도록, 산출한 형상 상이도 또는 형상 일치도를 보정한다. 예를 들면, 형상 상이도를 이동 거리로 나누어서 새로운 형상 상이도로 해도 된다. 혹은, 형상 일치도를 이동 거리로 곱하여 새로운 형상 일치도로 해도 된다. 예를 들면, 도 23a에 나타낸 바와 같이, 이동 거리가 큰 경우(즉, 손의 이동 속도가 빠른 경우)는 다소의 각도 변화가 있어도, 손의 형상의 변화는 작은 것으로서 판별할 수 있다. 한편, 도 23b에 나타낸 바와 같이, 이동 거리가 작은 경우(즉, 손의 이동 속도가 느린 경우)는 작은 각도 변화여도 손의 형상의 변화는 큰 것으로서 판별할 수 있다. 이러한 구성에 의하면, 이동 속도와 손의 형상의 변화와의 종합적인 평가값에 의거한 판별 처리에 의해, 입력의 판별의 시스템을 향상시킬 수 있다.
또한, 상술의 각 실시형태에서는, 전달부(156)는 판별한 제어 커맨드를 어플리케이션 소프트웨어에 전달하도록 구성한다. 그러나, 입력의 판별 결과에 의거하는 제어 커맨드를 전달하는 대상이 되는 소프트웨어는 어플리케이션 소프트웨어에 한정되지 않는다. 입력 판별부(155)는, 판별한 제어 커맨드를, 예를 들면, 오퍼레이팅 시스템에 입력해도 된다. 또한, 판별한 커맨드를 통신선이나 무선 통신을 거쳐서 입력 장치(100) 이외의 다른 장치에 입력하도록 구성되어 있어도 된다. 즉, 입력 장치와 달리 조작 대상이 되는 어플리케이션이나 오퍼레이션 시스템을 실행하는 장치일 수도 있다. 이 경우, 같은 장치의 어플리케이션에 판별한 입력을 전달하는 대신에, 전달부로서 패러렐 포트나 USB(Universal Serial Bus) 단자를 거쳐서 입력 결과를 어플리케이션을 실행하는 다른 장치에 전달하는 출력 장치를 마련하면 된다.
또한, 상술의 실시형태에서는, 입력 장치(100)의 일례로서 퍼스널 컴퓨터를 나타냈지만, 입력 장치(100)는 퍼스널 컴퓨터에 한정되지 않고, 유저로부터의 입력을 판별하는 기능을 구비한 다른 종류의 전기 기기여도 된다. 예를 들면, 입력 장치(100)는, 텔레비전, 레코더, 게임기, 고정 전화기, 휴대전화기, 스마트폰, 태블릿 단말, 또는 PDA(Personal Digital Assistant)일 수 있다.
본 실시형태의 입력 장치(100)는, 전용의 시스템에 의해 실현해도 되며, 통상의 컴퓨터 시스템에 의해 실현해도 된다. 예를 들면, 상술의 동작을 실행하기 위한 프로그램을 컴퓨터 판독 가능한 비일시적인 기록 매체에 저장하여 배포하고, 당해 프로그램을 컴퓨터에 인스톨하여, 상술의 처리를 실행함으로써 입력 장치(100)를 구성해도 된다. 또한, 인터넷 등의 네트워크상의 서버 장치가 구비하는 디스크 장치에 이러한 프로그램을 저장해 두고, 컴퓨터에 다운로드 등 할 수 있도록 해도 된다. 또한, 상술의 기능을, OS와 어플리케이션 소프트웨어의 공동에 의해 실현해도 된다. 이 경우에는, OS 이외의 부분만을 매체에 저장하여 배포해도 되며, 또한, 컴퓨터에 다운로드 등 해도 된다.
상기 프로그램을 기록하는 예시적인 적용 가능한 비일시적인 기록 매체로서는, USB 메모리, 플렉서블 디스크, CD(Compact Disc), DVD(Digital Versatile Disc), Blu-ray Disc(등록상표), MO(Magneto-Optical disk), SD 메모리카드(Secure Digital memory card), 메모리 스틱(등록상표), 그 외, 자기디스크, 광디스크, 광자기디스크, 반도체 메모리, 자기테이프 등의 컴퓨터 판독 가능한 비일시적인 기록 매체를 사용할 수 있다. 또한, 반송파에 컴퓨터 프로그램을 중첩하고, 통신 네트워크를 거쳐서, 당해 컴퓨터 프로그램을 배신하는 것도 가능하다. 예를 들면, 통신 네트워크상의 BBS(Bulletin Board System)에 당해 컴퓨터 프로그램을 게시하고, 네트워크를 거쳐서 당해 컴퓨터 프로그램을 배신한다. 그리고, 당해 컴퓨터 프로그램을 실행함으로써, 입력 장치(1)의 각 기능을 실현하도록 구성해도 된다.
본 발명은 본 발명의 광의의 사상과 범위를 일탈하지 않고, 각종 실시형태나 변형이 가능하다. 또한, 상술한 실시형태는, 본 발명을 설명하기 위한 것이며, 본 발명의 범위를 한정하는 것은 아니다. 즉, 본 발명의 범위는, 실시형태가 아닌, 첨부된 특허청구범위에 의해 나타낸다. 따라서, 특허청구범위 내 및 그것과 동등한 발명의 의의의 범위 내에서 실시되는 각종 변형이, 본 발명의 범위 내로 간주된다.
상기의 실시형태의 일부 또는 전부는, 이하의 부기와도 같이 기재될 수 있지만, 이하에 한정되는 것은 아니다.
(부기1)
하나 이상의 선택 가능 영역이 정의된 조작 화면에 대응지어진 촬상 화상 중의 유저의 손의 움직임에 의거하여, 유저의 입력을 판별하는 입력 장치로서,
상기 손이 이동함으로써 발생하는 복수의 상기 촬상 화상에 있어서의 상기 손의 형상의 변화에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 당해 선택 조작과는 다른 제스처 조작인지를 판별하는 입력 판별 수단을 구비하는
입력 장치.
(부기2)
상기 입력 판별 수단은, 상기 복수의 촬상 화상에 있어서 상기 손의 이동에 의해 발생하는 상기 손의 형상의 변화와, 또한 상기 손이 이동한 방향에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 제스처 조작인지를 판별하는
부기 1에 기재된 입력 장치.
(부기3)
상기 손의 이동 개시 시점 및 이동 정지 시점을 검출하는 이동 검출 수단을 더 구비하고,
상기 입력 판별 수단은, 상기 이동 개시 시점의 상기 손의 형상과 상기 이동 정지 시점의 상기 손의 형상을 비교하여 특정되는 상기 손의 형상의 변화와, 상기 이동 개시 시점의 상기 손의 위치와 상기 이동 정지 시점의 상기 손의 위치에 의거하여 특정되는 상기 손의 이동 방향에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 제스처 조작인지를 판별하는
부기 2에 기재된 입력 장치.
(부기4)
상기 손의 이동 개시 시점 및 이동 정지 시점을 검출하는 이동 검출 수단을 더 구비하고,
상기 입력 판별 수단은, 상기 이동 개시 시점부터 상기 이동 정지 시점까지의 미리 정해진 시간 간격마다 상기 손의 형상의 변화와, 또한 상기 이동 개시 시점부터 상기 이동 정지 시점까지의 상기 미리 정해진 시간 간격마다 상기 손의 이동 방향의 변화에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 제스처 조작인지를 판별하는
부기 2에 기재된 입력 장치.
(부기5)
상기 이동 개시 시점의 상기 손의 형상과 상기 이동 정지 시점의 상기 손의 형상을 비교하여, 형상의 상이의 정도를 나타내는 형상 상이도 또는 형상의 일치의 정도를 나타내는 형상 일치도를 산출하는 형상 비교 수단과,
상기 이동 개시 시점의 상기 손의 위치와 상기 이동 정지 시점의 상기 손의 위치에 의거하여 상기 손의 이동 방향을 특정하고, 상기 이동 개시 시점의 상기 손의 위치를 기준으로 한 상기 선택 가능 영역의 방향을 특정하고, 특정한 상기 손의 이동 방향과 특정한 상기 선택 가능 영역의 방향을 비교하여, 방향의 상이의 정도를 나타내는 방향 상이도 또는 방향의 일치의 정도를 나타내는 방향 일치도를 산출하는 방향 비교 수단을 더 구비하고,
상기 입력 판별 수단은, 상기 형상 상이도 또는 상기 형상 일치도와, 상기 방향 상이도 또는 상기 방향 일치도를 미리 정해진 가중치를 갖고 가산하고, 당해 가산값에 의거하여 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 제스처 조작인지를 판별하는
부기 3에 기재된 입력 장치.
(부기6)
상기 미리 정해진 시간 간격마다, 현시점의 상기 손의 형상과 미리 정해진 기간 전의 상기 손의 형상을 비교하여, 형상의 상이의 정도를 나타내는 형상 상이도 또는 형상의 일치의 정도를 나타내는 형상 일치도를 산출하는 형상 비교 수단과,
상기 미리 정해진 시간 간격마다, 현시점의 이동 방향과 전(前)시점의 이동 방향을 비교하여, 방향의 상이의 정도를 나타내는 방향 상이도 또는 방향의 일치의 정도를 나타내는 방향 일치도를 산출하는 방향 비교 수단을 더 구비하고,
상기 입력 판별 수단은,
상기 형상 상이도 또는 상기 형상 일치도와, 상기 방향 상이도 또는 상기 방향 일치도를 미리 정해진 가중치를 갖고 가산하고,
상기 이동 개시 시점을 누적 개시 시점으로 하여, 가산한 값을 상기 미리 정해진 시간 간격마다 누적 가산하고,
상기 누적 가산값이 미리 정해진 임계값을 초과할 경우, 유저의 입력은 제스처 조작이라고 판별하고, 상기 이동 정지 시점까지 혹은 상기 누적 개시 후 미리 정해진 기간 내에, 누적 가산값이 상기 미리 정해진 임계값을 초과하지 않았을 경우, 유저의 입력은 상기 선택 가능 영역의 선택 조작이라고 판별하는
부기 4에 기재된 입력 장치.
(부기7)
상기 손은 손가락으로 가리킨 상태의 유저의 손이고,
상기 형상 비교 수단은, 상기 현시점의 상기 손의 무게 중심 위치와 손끝 사이의 위치 관계와, 상기 미리 정해진 기간 전의 상기 손의 무게 중심 위치와 손끝 사이의 위치 관계를 비교하여, 상기 형상 상이도 또는 상기 형상 일치도를 산출하는
부기 6에 기재된 입력 장치.
(부기8)
상기 조작 화면에는, 유저에게 이상적인 상기 손의 이동 궤적을 안내하는 띠(band) 형상의 반투명의 안내 표시가 표시되어 있고,
상기 입력 장치는 상기 손이 그린 이동 궤적을 상기 안내 표시를 따라 시인 가능하게 출력함과 함께, 상기 누적 가산값에 따라 안내 표시의 투과율을 순차적으로 변경하는 피드백 수단을 더 구비하는
부기 6 또는 7에 기재된 입력 장치.
(부기9)
선택 조작의 대상이 되는 하나 이상의 선택 가능 영역이 표시된 조작 화면에 대응지어진 촬상 화상 중의 유저의 손의 움직임에 의거하여, 유저의 입력을 판별하는 입력 방법으로서,
상기 손이 이동함으로써 발생하는 복수의 상기 촬상 화상에 있어서의 상기 손의 형상의 변화에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 당해 선택 조작과는 다른 제스처 조작인지를 판별하는
입력 방법.
(부기10)
프로그램을 기억하는 컴퓨터 판독 가능한 비일시적인 기억 매체로서,
하나 이상의 선택 가능 영역이 표시된 조작 화면에 대응지어진 촬상 화상 중의 유저의 손의 움직임에 의거하여, 유저의 입력을 판별하는 입력 장치를 제어하는 컴퓨터에,
상기 손이 이동함으로써 발생하는 복수의 상기 촬상 화상에 있어서의 상기 손의 형상의 변화에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 당해 선택 조작과는 다른 제스처 조작인지를 판별하는 입력 판별 기능을 실현시키는
프로그램을 기억하는 컴퓨터 판독 가능한 비일시적인 기억 매체.
본 발명은 2012년 8월 17일에 출원된 일본국 특허출원 2012-181223호에 의거한다. 본 명세서 중에 일본국 특허출원 2012-181223호의 명세서, 특허청구범위, 도면 전체를 참조로서 편입되는 것으로 한다.
본 발명은 유저의 손을 촬상한 화상에 의거하여 유저의 입력을 판별하는 입력 장치에 적용할 수 있다.
100 입력 장치
110 조작 장치
120 표시부
130 촬상부
140 화상 기억부
150 제어부
151 화상 취득부
152 이동 검출부
153 방향 비교부
154 형상 비교부
155 입력 판별부
156 전달부
160 기억부
110 조작 장치
120 표시부
130 촬상부
140 화상 기억부
150 제어부
151 화상 취득부
152 이동 검출부
153 방향 비교부
154 형상 비교부
155 입력 판별부
156 전달부
160 기억부
Claims (10)
- 하나 이상의 선택 가능 영역이 정의된 조작 화면에 대응지어진 촬상 화상 중의 유저의 손의 움직임에 의거하여, 유저의 입력을 판별하는 입력 장치로서,
상기 손이 이동함으로써 발생하는 복수의 상기 촬상 화상에 있어서의 상기 손의 형상의 변화에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 당해 선택 조작과는 다른 제스처 조작인지를 판별하는 입력 판별 수단을 구비하는
입력 장치. - 제1항에 있어서,
상기 입력 판별 수단은, 상기 복수의 촬상 화상에 있어서 상기 손의 이동에 의해 발생하는 상기 손의 형상의 변화와, 또한 상기 손이 이동한 방향에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 제스처 조작인지를 판별하는
입력 장치. - 제2항에 있어서,
상기 손의 이동 개시 시점 및 이동 정지 시점을 검출하는 이동 검출 수단을 더 구비하고,
상기 입력 판별 수단은, 상기 이동 개시 시점의 상기 손의 형상과 상기 이동 정지 시점의 상기 손의 형상을 비교하여 특정되는 상기 손의 형상의 변화와, 상기 이동 개시 시점의 상기 손의 위치와 상기 이동 정지 시점의 상기 손의 위치에 의거하여 특정되는 상기 손의 이동 방향에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 제스처 조작인지를 판별하는
입력 장치. - 제2항에 있어서,
상기 손의 이동 개시 시점 및 이동 정지 시점을 검출하는 이동 검출 수단을 더 구비하고,
상기 입력 판별 수단은, 상기 이동 개시 시점부터 상기 이동 정지 시점까지의 미리 정해진 시간 간격마다 상기 손의 형상의 변화와, 또한 상기 이동 개시 시점부터 상기 이동 정지 시점까지의 상기 미리 정해진 시간 간격마다 상기 손의 이동 방향의 변화에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 제스처 조작인지를 판별하는
입력 장치. - 제3항에 있어서,
상기 이동 개시 시점의 상기 손의 형상과 상기 이동 정지 시점의 상기 손의 형상을 비교하여, 형상의 상이의 정도를 나타내는 형상 상이도 또는 형상의 일치의 정도를 나타내는 형상 일치도를 산출하는 형상 비교 수단과,
상기 이동 개시 시점의 상기 손의 위치와 상기 이동 정지 시점의 상기 손의 위치에 의거하여 상기 손의 이동 방향을 특정하고, 상기 이동 개시 시점의 상기 손의 위치를 기준으로 한 상기 선택 가능 영역의 방향을 특정하고, 특정한 상기 손의 이동 방향과 특정한 상기 선택 가능 영역의 방향을 비교하여, 방향의 상이의 정도를 나타내는 방향 상이도 또는 방향의 일치의 정도를 나타내는 방향 일치도를 산출하는 방향 비교 수단을 더 구비하고,
상기 입력 판별 수단은, 상기 형상 상이도 또는 상기 형상 일치도와, 상기 방향 상이도 또는 상기 방향 일치도를 미리 정해진 가중치를 갖고 가산하고, 당해 가산값에 의거하여 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 제스처 조작인지를 판별하는
입력 장치. - 제4항에 있어서,
상기 미리 정해진 시간 간격마다, 현시점의 상기 손의 형상과 미리 정해진 기간 전의 상기 손의 형상을 비교하여, 형상의 상이의 정도를 나타내는 형상 상이도 또는 형상의 일치의 정도를 나타내는 형상 일치도를 산출하는 형상 비교 수단과,
상기 미리 정해진 시간 간격마다, 현시점의 이동 방향과 전(前)시점의 이동 방향을 비교하여, 방향의 상이의 정도를 나타내는 방향 상이도 또는 방향의 일치의 정도를 나타내는 방향 일치도를 산출하는 방향 비교 수단을 더 구비하고,
상기 입력 판별 수단은,
상기 형상 상이도 또는 상기 형상 일치도와, 상기 방향 상이도 또는 상기 방향 일치도를 미리 정해진 가중치를 갖고 가산하고,
상기 이동 개시 시점을 누적 개시 시점으로 하여, 가산한 값을 상기 미리 정해진 시간 간격마다 누적 가산하고,
상기 누적 가산값이 미리 정해진 임계값을 초과할 경우, 유저의 입력은 제스처 조작이라고 판별하고, 상기 이동 정지 시점까지 혹은 상기 누적 개시 후 미리 정해진 기간 내에, 누적 가산값이 상기 미리 정해진 임계값을 초과하지 않았을 경우, 유저의 입력은 상기 선택 가능 영역의 선택 조작이라고 판별하는
입력 장치. - 제6항에 있어서,
상기 손은 손가락으로 가리킨 상태의 유저의 손이고,
상기 형상 비교 수단은, 상기 현시점의 상기 손의 무게 중심 위치와 손끝 사이의 위치 관계와, 상기 미리 정해진 기간 전의 상기 손의 무게 중심 위치와 손끝 사이의 위치 관계를 비교하여, 상기 형상 상이도 또는 상기 형상 일치도를 산출하는
입력 장치. - 제6항 또는 제7항에 있어서,
상기 조작 화면에는, 유저에게 이상적인 상기 손의 이동 궤적을 안내하는 띠(band) 형상의 반투명의 안내 표시가 표시되어 있고,
상기 입력 장치는 상기 손이 그린 이동 궤적을 상기 안내 표시를 따라 시인(視認) 가능하게 출력함과 함께, 상기 누적 가산값에 따라 안내 표시의 투과율을 순차적으로 변경하는 피드백 수단을 더 구비하는
입력 장치. - 선택 조작의 대상이 되는 하나 이상의 선택 가능 영역이 표시된 조작 화면에 대응지어진 촬상 화상 중의 유저의 손의 움직임에 의거하여, 유저의 입력을 판별하는 입력 방법으로서,
상기 손이 이동함으로써 발생하는 복수의 상기 촬상 화상에 있어서의 상기 손의 형상의 변화에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 당해 선택 조작과는 다른 제스처 조작인지를 판별하는
입력 방법. - 하나 이상의 선택 가능 영역이 표시된 조작 화면에 대응지어진 촬상 화상 중의 유저의 손의 움직임에 의거하여, 유저의 입력을 판별하는 입력 장치를 제어하는 컴퓨터에,
상기 손이 이동함으로써 발생하는 복수의 상기 촬상 화상에 있어서의 상기 손의 형상의 변화에 의거하여, 유저의 입력이 상기 선택 가능 영역의 선택 조작인지 또는 당해 선택 조작과는 다른 제스처 조작인지를 판별하는 입력 판별 기능을 실현시키는 프로그램을 기억하는 컴퓨터 판독 가능한 비일시적인 기억 매체.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012181223A JP5665140B2 (ja) | 2012-08-17 | 2012-08-17 | 入力装置、入力方法、及びプログラム |
JPJP-P-2012-181223 | 2012-08-17 | ||
PCT/JP2013/071893 WO2014027666A1 (ja) | 2012-08-17 | 2013-08-13 | 入力装置、入力方法、及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150034258A true KR20150034258A (ko) | 2015-04-02 |
KR101624215B1 KR101624215B1 (ko) | 2016-06-07 |
Family
ID=50286613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157003798A KR101624215B1 (ko) | 2012-08-17 | 2013-08-13 | 입력 장치, 입력 방법, 및 기억 매체 |
Country Status (10)
Country | Link |
---|---|
US (1) | US9753545B2 (ko) |
EP (1) | EP2887318A4 (ko) |
JP (1) | JP5665140B2 (ko) |
KR (1) | KR101624215B1 (ko) |
CN (1) | CN104584080B (ko) |
CA (1) | CA2882004A1 (ko) |
HK (1) | HK1207192A1 (ko) |
IL (1) | IL237225A0 (ko) |
TW (1) | TWI543018B (ko) |
WO (1) | WO2014027666A1 (ko) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
JP6178741B2 (ja) * | 2013-09-24 | 2017-08-09 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
US9996638B1 (en) * | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
US10168786B2 (en) * | 2014-02-18 | 2019-01-01 | Mitsubishi Electric Corporation | Gesture guidance device for moving platform, gesture guidance system for moving platform, and gesture guidance method for moving platform |
US9785247B1 (en) | 2014-05-14 | 2017-10-10 | Leap Motion, Inc. | Systems and methods of tracking moving hands and recognizing gestural interactions |
JP6579866B2 (ja) * | 2015-08-31 | 2019-09-25 | キヤノン株式会社 | 情報処理装置とその制御方法、プログラム、記憶媒体 |
JP6650595B2 (ja) * | 2015-09-24 | 2020-02-19 | パナソニックIpマネジメント株式会社 | 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体 |
EP3182250B1 (en) | 2015-12-18 | 2019-10-30 | Aptiv Technologies Limited | System and method for monitoring 3d space in front of an output unit for the control of the output unit |
US10025376B2 (en) | 2016-04-27 | 2018-07-17 | Rovi Guides, Inc. | Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment |
EP3650994A1 (en) * | 2016-04-27 | 2020-05-13 | Rovi Guides, Inc. | Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment |
JP2018005815A (ja) * | 2016-07-08 | 2018-01-11 | 大日本印刷株式会社 | 入力システム及びその入力装置 |
US10162422B2 (en) * | 2016-10-10 | 2018-12-25 | Deere & Company | Control of machines through detection of gestures by optical and muscle sensors |
JP6719434B2 (ja) * | 2017-09-25 | 2020-07-08 | Kddi株式会社 | 機器制御装置、機器制御方法及び機器制御システム |
JP6958951B2 (ja) * | 2018-03-02 | 2021-11-02 | Necソリューションイノベータ株式会社 | 操作推定装置、操作推定方法、及びプログラム |
CN111062312B (zh) * | 2019-12-13 | 2023-10-27 | RealMe重庆移动通信有限公司 | 手势识别方法、手势控制方法、装置、介质与终端设备 |
WO2021246089A1 (ja) * | 2020-06-01 | 2021-12-09 | 国立研究開発法人産業技術総合研究所 | ジェスチャ認識装置、システム及びそのプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009151691A (ja) | 2007-12-21 | 2009-07-09 | Sony Corp | 情報処理装置及びタッチ動作認識方法 |
JP2011175623A (ja) | 2010-01-29 | 2011-09-08 | Shimane Prefecture | 画像認識装置および操作判定方法並びにプログラム |
JP2011204019A (ja) * | 2010-03-25 | 2011-10-13 | Sony Corp | ジェスチャ入力装置、ジェスチャ入力方法およびプログラム |
WO2011142317A1 (ja) * | 2010-05-11 | 2011-11-17 | 日本システムウエア株式会社 | ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 |
JP2011248606A (ja) | 2010-05-26 | 2011-12-08 | Canon Inc | 表示制御装置および表示制御方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8555207B2 (en) | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
US9772689B2 (en) * | 2008-03-04 | 2017-09-26 | Qualcomm Incorporated | Enhanced gesture-based image manipulation |
US8428368B2 (en) * | 2009-07-31 | 2013-04-23 | Echostar Technologies L.L.C. | Systems and methods for hand gesture control of an electronic device |
IL204436A (en) * | 2010-03-11 | 2016-03-31 | Deutsche Telekom Ag | A system and method for remote control of online TV by waving hands |
US20110289455A1 (en) | 2010-05-18 | 2011-11-24 | Microsoft Corporation | Gestures And Gesture Recognition For Manipulating A User-Interface |
US9262015B2 (en) * | 2010-06-28 | 2016-02-16 | Intel Corporation | System for portable tangible interaction |
CN102236414A (zh) * | 2011-05-24 | 2011-11-09 | 北京新岸线网络技术有限公司 | 三维显示空间中的图片操作方法和系统 |
-
2012
- 2012-08-17 JP JP2012181223A patent/JP5665140B2/ja active Active
-
2013
- 2013-08-13 CN CN201380043996.8A patent/CN104584080B/zh active Active
- 2013-08-13 WO PCT/JP2013/071893 patent/WO2014027666A1/ja active Application Filing
- 2013-08-13 CA CA2882004A patent/CA2882004A1/en not_active Abandoned
- 2013-08-13 US US14/422,124 patent/US9753545B2/en not_active Expired - Fee Related
- 2013-08-13 EP EP13879402.9A patent/EP2887318A4/en not_active Withdrawn
- 2013-08-13 KR KR1020157003798A patent/KR101624215B1/ko active IP Right Grant
- 2013-08-16 TW TW102129418A patent/TWI543018B/zh not_active IP Right Cessation
-
2015
- 2015-02-15 IL IL237225A patent/IL237225A0/en unknown
- 2015-08-08 HK HK15107654.5A patent/HK1207192A1/xx not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009151691A (ja) | 2007-12-21 | 2009-07-09 | Sony Corp | 情報処理装置及びタッチ動作認識方法 |
JP2011175623A (ja) | 2010-01-29 | 2011-09-08 | Shimane Prefecture | 画像認識装置および操作判定方法並びにプログラム |
JP2011204019A (ja) * | 2010-03-25 | 2011-10-13 | Sony Corp | ジェスチャ入力装置、ジェスチャ入力方法およびプログラム |
WO2011142317A1 (ja) * | 2010-05-11 | 2011-11-17 | 日本システムウエア株式会社 | ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 |
JP2011248606A (ja) | 2010-05-26 | 2011-12-08 | Canon Inc | 表示制御装置および表示制御方法 |
Also Published As
Publication number | Publication date |
---|---|
KR101624215B1 (ko) | 2016-06-07 |
JP2014038527A (ja) | 2014-02-27 |
HK1207192A1 (en) | 2016-01-22 |
EP2887318A4 (en) | 2016-04-27 |
EP2887318A1 (en) | 2015-06-24 |
US9753545B2 (en) | 2017-09-05 |
JP5665140B2 (ja) | 2015-02-04 |
CN104584080B (zh) | 2017-03-01 |
US20150234469A1 (en) | 2015-08-20 |
CA2882004A1 (en) | 2014-02-20 |
IL237225A0 (en) | 2015-04-30 |
CN104584080A (zh) | 2015-04-29 |
TWI543018B (zh) | 2016-07-21 |
WO2014027666A1 (ja) | 2014-02-20 |
TW201423482A (zh) | 2014-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101624215B1 (ko) | 입력 장치, 입력 방법, 및 기억 매체 | |
US20210096651A1 (en) | Vehicle systems and methods for interaction detection | |
JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
US9940507B2 (en) | Image processing device and method for moving gesture recognition using difference images | |
EP2864932B1 (en) | Fingertip location for gesture input | |
JP6021335B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
CN109643206B (zh) | 控制装置、显示装置、程序及检测方法 | |
JP5732218B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 | |
EP2933713A1 (en) | Terminal device, screen display method, hover location correction method, and recording medium | |
JP2012068730A (ja) | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 | |
US9535493B2 (en) | Apparatus, method, computer program and user interface | |
US20130285904A1 (en) | Computer vision based control of an icon on a display | |
CN103608761A (zh) | 输入设备、输入方法以及记录介质 | |
CN114360047A (zh) | 举手手势识别方法、装置、电子设备及存储介质 | |
CN104714736A (zh) | 一种退出全屏锁定状态的控制方法及终端 | |
CN113557492B (zh) | 利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质 | |
US9235338B1 (en) | Pan and zoom gesture detection in a multiple touch display | |
JP2014109888A (ja) | 入力装置およびプログラム | |
CN104951211A (zh) | 一种信息处理方法和电子设备 | |
JP5080409B2 (ja) | 情報端末装置 | |
EP3568745B1 (en) | Hover interaction using orientation sensing | |
Lee | New interface design using accelerator sensor for smart phone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190503 Year of fee payment: 4 |