KR20120089992A - 제스처 인식 장치, 제스처 인식 방법, 제어 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 - Google Patents

제스처 인식 장치, 제스처 인식 방법, 제어 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20120089992A
KR20120089992A KR1020110118799A KR20110118799A KR20120089992A KR 20120089992 A KR20120089992 A KR 20120089992A KR 1020110118799 A KR1020110118799 A KR 1020110118799A KR 20110118799 A KR20110118799 A KR 20110118799A KR 20120089992 A KR20120089992 A KR 20120089992A
Authority
KR
South Korea
Prior art keywords
gesture
gesture recognition
temperature
change
unit
Prior art date
Application number
KR1020110118799A
Other languages
English (en)
Other versions
KR101302910B1 (ko
Inventor
다께시 아리하라
마사히로 아베
마사히로 기노시따
Original Assignee
오무론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오무론 가부시키가이샤 filed Critical 오무론 가부시키가이샤
Publication of KR20120089992A publication Critical patent/KR20120089992A/ko
Application granted granted Critical
Publication of KR101302910B1 publication Critical patent/KR101302910B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Vascular Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

사용 장소의 밝기에 상관없이, 고속 처리 또한 고정밀도의 비접촉형 입력 기능을 실현한다. 본 발명의 제스처 인식 장치(1)는, 복수의 적외선 센서가 배치되어 구성된 온도 센서 칩(6)과, 상기 온도 센서의 적외선 센서 각각이 검지한 온도에 기초하여, 온도 변화가 발생한 변화 영역을, 손을 나타내는 영역으로서 특정하는 변화량 산출부(32)와, 상기 변화 영역 특정 수단이 특정한 변화 영역의 이동 궤적을 특정하여, 손의 제스처를 인식하는 제스처 인식부(34)를 구비하고 있는 것을 특징으로 하고 있다.

Description

제스처 인식 장치, 제스처 인식 방법, 제어 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 {GESTURE RECOGNITION DEVICE, GESTURE RECOGNITION METHOD, COMPUTER READABLE RECORDING MEDIUM RECORDING CONTROL PROGRAM}
본 발명은, 제스처를 인식하는 제스처 인식 장치, 제스처 인식 방법, 제어 프로그램 및 기록 매체에 관한 것이다.
종래, 휴대 전화, PDA(Personal Digital Assistant), 텔레비전, 녹화재생 장치, 퍼스널 컴퓨터, 디지털 카메라 등의 전자 기기에 대한 입력 기능은 다양한 형태로 실현되어 왔다. 입력 기능의 실현 방법으로서는, 첫 번째로, 입력 장치(버튼, 터치 패널)에 대상물(손가락, 터치 펜 등)을 접촉시켜 입력을 행하는 방법이 있다(예를 들어, 특허 문헌 1, 2 등). 두 번째로, 입력 장치(카메라 등)에 대상물을 인식시켜, 입력 장치 혹은 전자 기기에 비접촉으로 입력을 행하는 방법이 있다(예를 들어, 특허 문헌 3 등).
제1 접촉형의 입력 실현 방법에서는, 확실하게, 즉시, 다양한 입력을 전자 기기에 대하여 행할 수 있는 한편, 이하와 같은 문제점이 있다.
화면(터치 패널)이 지나치게 크면, 대상물(손가락 등)을 화면의 단부로부터 단부까지 접촉시키는 것이 곤란해지고, 조작성의 저하가 문제가 된다. 전자 기기로부터 이격된 곳에서, 화면을 열람하거나 하여 사용하고 있을 때, 전자 기기에 대하여 조작이 필요하게 되면, 전자 기기를 조작할 수 있는 장소까지 가까이 가지 않으면 안되기 때문에 불편하다. 화면에 지문이나 손의 오염물이 부착되므로, 화면의 오염이 신경쓰이는 사용자에는 부적합한 입력 방법이다. 손이 젖어 있거나, 오염되었거나 한 때는 화면에 접촉하지 않고 조작할 수 없기 때문에 불편하다.
또한, 프로젝터 기능을 갖는 전자 기기에서는, 전자 기기를 정치(靜置)하여, 스크린에 표시 내용(슬라이드 쇼 등)을 영사한다고 하는 유즈 씬(use scene)이 상정되지만, 슬라이드(페이지)를 넘기는 등의 조작을 행하고 싶을 때 화면을 만지면, 적절한 포지션에 놓아둔 전자 기기의 위치가 어긋나거나 하여 스크린의 영상이 흔들려서 불편하다. 또한, 스크린의 옆에서 프리젠테이션을 행하고 있는 사용자가, 전자 기기를 조작하기 위해 이동하는 것은 번거롭다.
상술한 바와 같은 문제가 발생하는, 접촉형의 입력 방법이 부적합한 유즈 케이스(use case)에서는, 전자 기기의 입력 기능은, 특허 문헌 3과 같은 제2 비접촉형의 입력 실현 방법이 채용되어 왔다. 특허 문헌 3의 기술에서는, 카메라로 촬상한 손의 화상 데이터를 화상 처리하여 손을 인식하고, 인식한 손의 움직임(핸드 제스처)을 검지하는 제스처 인식 시스템이 개시되어 있다. 다양한 핸드 제스처를 전자 기기에 인식시킴으로써, 전자 기기에 접촉하는 일 없이 전자 기기에 대한 조작 입력을 행할 수 있다.
일본 특허 출원 공개 제2009―071708호 공보(2009년 4월 2일 공개) 일본 특허 출원 공개 제2009―168647호 공보(2009년 7월 30일 공개) 일본 특허 출원 공개 평08―315154호 공보(1996년 11월 29일 공개)
그러나, 비접촉형의 입력 방법을 상술한 특허 문헌 3의 기술로 실현하면, 이하와 같은 문제가 발생한다.
예를 들어, 어두운 곳(야간의 옥외, 프로젝터 기동 중 등에 조명이 어둡게 되어 있는 옥내 등)에서는, 카메라에 의한 피사체(손)의 촬영이 곤란하여, 손이라고 인식할 수 있는 화상 데이터를 얻을 수 없다. 따라서, 특허 문헌 3의 시스템은, 어두운 곳에서 사용되는 전자 기기의 입력 장치에는 적용할 수 없다고 하는 문제가 있다. 또한, 특허 문헌 3의 시스템에서는, 카메라에 의해 촬상된 화상을 취급하기 위해, 처리 부하가 높은 화상 처리를 행할 필요가 있다. 그로 인해, 고기능의 정보 처리 장치가 필요하게 되거나, 처리 시간이 길어진다고 하는 문제가 있다. 또한, 손의 형태를 인식하기 위해, 배경 화상과 손의 화상을 구별하는 처리가 행해지지만, 손과 유사한 텍스처가 배경 화상에도 포함되어 있는 경우, 정확하게 손의 형상(영역)을 추출할 수 없고, 제스처의 오류 인식이 일어날 가능성이 높다.
본 발명은, 상기한 문제점에 비추어 이루어진 것이며, 그 목적은, 사용 장소의 밝기에 상관없이, 고속 처리 또한 고정밀도의 비접촉형 입력 기능을 실현하는 제스처 인식 장치, 제스처 인식 방법, 제스처 인식 장치의 제어 프로그램 및 상기 제어 프로그램을 기록한 기록 매체를 제공하는 것에 있다.
본 발명의 제스처 인식 장치는, 상기 과제를 해결하기 위해, 복수의 적외선 센서가 배치되어 구성된 온도 센서와, 상기 온도 센서의 적외선 센서 각각이 검지한 온도에 기초하여, 온도 변화가 발생한 변화 영역을, 손을 나타내는 영역으로서 특정하는 변화 영역 특정 수단과, 상기 변화 영역 특정 수단이 특정한 변화 영역의 이동 궤적을 특정하여, 손의 제스처를 인식하는 제스처 인식 수단을 구비하고 있는 것을 특징으로 하고 있다.
상기 구성에 따르면, 제스처 인식 장치에 있어서, 대상물(손)의 움직임을 검지하기 위한 정보는, 복수 배치된 적외선 센서로부터 온도 정보로서 취득된다. 그리고 변화 영역 특정 수단이, 온도 변화가 발생한 변화 영역을, 손을 나타내는 영역으로서 특정하고, 제스처 인식 수단이, 특정된 변화 영역의 이동 궤적을 특정하여, 손의 제스처를 인식한다.
이와 같이 하여, 제스처 인식 장치는, 데이터량이 방대한 화상 데이터를 취급하지 않더라도, 온도 정보만으로 대상물의 움직임을 분석할 수 있고, 제스처를 인식하는 것이 가능해진다. 결과적으로, 제스처 인식 장치에 있어서, 처리 효율의 향상과, 처리 부하의 저감을 실현할 수 있다. 즉, 반응 속도가 빠른 입력 장치를 실현하는 것이 가능하다.
또한, 본 발명의 제스처 인식 장치는, 적외선 센서를 이용하여 대상물의 표면 온도를 취득함으로써, 대상물의 온도와 주위의 환경 온도의 차이에 의해, 대상물의 움직임을 검지하는 것이다. 따라서, 광학계 카메라로 대상물을 촬상하여 제스처를 인식하는 구성에서는, 어두운 곳에서의 사용이 제한되지만, 본 발명의 제스처 인식 장치는, 어두운 곳에서도 제한 없이 입력 장치로서 기능시키는 것이 가능하다.
또한, 광학계 카메라를 사용한 제스처 인식에서는, 대상물과 배경의 텍스처에 큰 차가 없는 경우에, 정확하게 대상물의 위치, 형상 등을 인식할 수 없고, 제스처의 오류 인식이 증가한다고 하는 문제가 있다. 한편, 본 발명의 제스처 인식 장치는, 주위 환경 온도와 다른 표면 온도를 갖는 대상물(손 등)을, 온도 정보에 기초하여 검지하므로, 텍스처의 유사에 의한 오류 인식의 문제는 일어날 수 없다.
결과적으로, 본 발명의 제스처 인식 장치는, 사용 장소의 밝기에 상관없이, 고속 처리 또한 고정밀도의 비접촉형 입력 기능을 실현하는 것이 가능해진다고 하는 효과를 발휘한다.
상기 제스처 인식 장치는, 또한, 상기 변화 영역 특정 수단에 의해 특정된 변화 영역의 무게 중심을 결정하는 무게 중심 결정 수단을 구비하고, 상기 제스처 인식 수단은, 상기 무게 중심의 위치를 추적함으로써 상기 이동 궤적을 특정하는 것이 바람직하다.
이에 의해, 간소화된 처리 수순으로 변화 영역의 이동 궤적을 특정하는 것이 가능해진다.
상기 제스처 인식 장치는, 또한, 적외선 센서 각각이 검지한 각각의 온도와, 소정의 기준 온도를 비교함으로써, 적외선 센서마다 온도 변화량을 산출하는 변화량 산출 수단을 구비하고, 상기 무게 중심 결정 수단은, 적외선 센서마다 얻어진 상기 온도 변화량에 기초하여, 상기 변화 영역의 무게 중심을 결정해도 된다.
상기 구성에 따르면, 상기 변화 영역의 기하학적 형상만에 기초하여 결정된 무게 중심이 아닌, 온도 변화량이 고려되어 변화 영역의 무게 중심이 구해진다.
이와 같이 구해진 무게 중심의 궤적을 추적함으로써, 보다 정확하게 실제의 손의 움직임을 검지하는 것이 가능해지고, 제스처 인식의 정밀도를 향상시킬 수 있다.
상기 제스처 인식 장치는, 또한, 상기 복수의 적외선 센서에 있어서의 유효 무효인 배치 패턴을 나타내는 마스크를, 장치 스스로가 접속하는 전자 기기의 어플리케이션의 종류에 관련지어 기억하는 마스크 기억부와, 상기 전자 기기가 기동 중의 어플리케이션에 관련되어 있는 마스크를 상기 마스크 기억부로부터 선택하는 마스크 선택 수단을 구비하고, 상기 변화 영역 특정 수단은, 상기 마스크 선택 수단에 의해 선택된 마스크가 유효로 하는 적외선 센서에 의해 검지된 온도만에 기초하여 변화 영역을 특정해도 된다.
적외선 센서를 선택적으로 이용하는 구성으로 하면, 처리해야 할 정보량을 줄여 처리 속도를 빠르게 할 수 있는 동시에, 특정한 제스처를 인식할 경우에, 그 인식의 정밀도를 향상시키는 것이 가능하다.
상기 제스처 인식 장치는, 또한, 상기 변화 영역 특정 수단에 의해 특정된 변화 영역의 편차를 산출하는 편차 산출 수단을 구비하고, 상기 제스처 인식 수단은, 시간의 경과에 수반하는 상기 편차의 증감에 기초하여, 제스처를 인식해도 된다.
상기 제스처 인식 수단은, 상기 변화 영역의 편차가 증가할 경우에, 양손 또는 손가락이 벌어지는 방향으로 움직였다고 인식하고, 상기 변화 영역의 편차가 감소할 경우에, 양손 또는 손가락이 모아지는 방향으로 움직였다고 인식할 수 있다.
본 발명의 제스처 인식 방법은, 상기 과제를 해결하기 위해, 복수의 적외선 센서가 배치되어 구성된 온도 센서로부터 적외선 센서마다의 온도를 취득하는 온도 취득 스텝과, 상기 온도 취득 스텝에서 취득한, 상기 적외선 센서 각각이 검지한 온도에 기초하여, 온도 변화가 발생한 변화 영역을, 손을 나타내는 영역으로서 특정하는 변화 영역 특정 스텝과, 상기 변화 영역 특정 스텝에서 특정한 변화 영역의 이동 궤적을 특정하여, 손의 제스처를 인식하는 제스처 인식 스텝을 포함하는 것을 특징으로 하고 있다.
또한, 상기 제스처 인식 장치는, 컴퓨터에 의해 실현해도 되고, 이 경우에는, 컴퓨터를 상기 각 수단으로서 동작시킴으로써 상기 제스처 인식 장치를 컴퓨터에서 실현시키는 제스처 인식 장치의 제어 프로그램 및 그것을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 범주에 들어간다.
본 발명의 제스처 인식 장치는, 복수의 적외선 센서가 배치되어 구성된 온도 센서와, 상기 온도 센서의 적외선 센서 각각이 검지한 온도에 기초하여, 온도 변화가 발생한 변화 영역을, 손을 나타내는 영역으로서 특정하는 변화 영역 특정 수단과, 상기 변화 영역 특정 수단이 특정한 변화 영역의 이동 궤적을 특정하여, 손의 제스처를 인식하는 제스처 인식 수단을 구비하고 있는 것을 특징으로 하고 있다.
본 발명의 제스처 인식 방법은, 복수의 적외선 센서가 배치되어 구성된 온도 센서로부터 적외선 센서마다의 온도를 취득하는 온도 취득 스텝과, 상기 온도 취득 스텝에서 취득한, 상기 적외선 센서 각각이 검지한 온도에 기초하여, 온도 변화가 발생한 변화 영역을, 손을 나타내는 영역으로서 특정하는 변화 영역 특정 스텝과, 상기 변화 영역 특정 스텝에서 특정한 변화 영역의 이동 궤적을 특정하여, 손의 제스처를 인식하는 제스처 인식 스텝을 포함하는 것을 특징으로 하고 있다.
따라서, 사용 장소의 밝기에 상관없이, 고속 처리 또한 고정밀도의 비접촉형 입력 기능을 실현하는 것이 가능해진다고 하는 효과를 발휘한다.
도 1은 본 발명의 실시 형태에 있어서의 제스처 인식 장치가 구비하는 데이터 처리부의 주요부 구성의 상세를 나타내는 블록도.
도 2는 본 발명의 실시 형태에 있어서의 제스처 인식 장치가 탑재된 전자 기기(스마트 폰)의 외관을 도시하는 도면.
도 3은 상기 전자 기기에 내장되는 센서부의 분해 사시도.
도 4는 상기 센서부의 온도 센서 칩에 있어서의 적외선 검지 소자의 배치의 일례를 나타내는 도면.
도 5는 본 발명의 실시 형태에 있어서의 제스처 인식 장치의 주요부 구성을 나타내는 블록도.
도 6은 제스처 인식 장치의 좌표 배치부가 각 센서로부터의 온도를 XY 좌표계에 플롯한 후의 온도 정보의 데이터 구조를 모식적으로 나타내는 도면.
도 7은 XY 좌표계에 플롯된 온도 정보의 구체예를 나타내는 도면.
도 8은 각 검지 타이밍에 있어서의, (1)스마트 폰과 손의 위치 관계와, (2)당해 타이밍에 있어서 검지, 취득된 온도 정보의 관계를 나타내는 도면.
도 9는 도 8에 도시하는 타이밍 T1 내지 T3의 기간에 대해, 제스처 인식 장치의 변화량 산출부에 의해 생성된 정보와, 무게 중심 결정부에 의해 생성된 정보의 구체예를 나타내는 도면.
도 10은 제스처 인식 장치의 제스처 인식부가 무게 중심의 이동 궤적을 특정한 결과의 구체예를 나타내는 도면.
도 11은 각 검지 타이밍에 있어서의, (1)스마트 폰과 손의 위치 관계와, (2)당해 타이밍에 있어서 검지, 취득된 온도 정보의 관계를 나타내는 도면.
도 12는 제스처 인식 장치의 제스처 패턴 기억부에 기억되는 제스처 패턴의 일례를 나타내는 도면.
도 13은 제스처 인식 장치가 구비하는 데이터 처리부의 각 부가 실행하는 제스처 인식 처리의 흐름을 나타내는 흐름도.
도 14는 제스처 인식 장치의 제스처 인식부에 의해 실행되는 제스처 인식 처리의 흐름을 상세하게 나타내는 흐름도.
도 15는 제스처 인식 장치의 마스크 기억부에 기억되는 마스크의 구체예를 나타내는 도면.
도 16은 제스처 인식 장치의 마스크 기억부에 기억되는 마스크의 데이터 구조의 일례를 나타내는 도면.
도 17은 본 발명의 다른 실시 형태에 있어서의, 제스처 인식 장치의 좌표 배치부가 각 센서로부터의 온도를 XY 좌표계에 플롯한 후의 온도 정보의 데이터 구조를 모식적으로 나타내는 도면.
도 18은 각 검지 타이밍에 있어서의, (1)양손의 위치 관계와, (2)당해 타이밍에 있어서 취득된 온도 정보 및 변화 영역의 관계를 나타내는 도면.
도 19는 도 18에 도시하는 타이밍 T1, T2의 타이밍에 있어서, 제스처 인식 장치의 변화량 산출부에 의해 생성된 정보, 무게 중심 결정부에 의해 생성된 정보 및 편차 산출부에 의해 생성된 정보의 구체예를 나타내는 도면.
도 20은 다른 실시 형태에 있어서의 제스처 인식 장치의 제스처 패턴 기억부에 기억되는 제스처 패턴의 일례를 나타내는 도면.
도 21은 다른 실시 형태에 있어서의 제스처 인식 장치의 제스처 인식부에 의해 실행되는 제스처 인식 처리의 흐름을 상세하게 나타내는 흐름도.
≪제1 실시 형태≫
본 발명의 실시 형태에 대해, 도면에 기초하여 설명하면 이하와 같다. 이하에서 설명하는 실시 형태에서는, 일례로서, 본 발명의 제스처 인식 장치를 스마트 폰에 탑재하여, 제스처 인식 장치가 스마트 폰의 입력 기능을 실현한다. 또한, 본 발명의 제스처 인식 장치는, 스마트 폰 이외에도, 휴대 전화, PDA, 휴대형 게임기, 전자 사전, 전자 수첩, 디지털 카메라, 디지털 비디오 카메라, 퍼스널 컴퓨터, 노트북 컴퓨터, 텔레비전, 녹화 생성 장치, 가정용 게임기 등의 각종 전자 기기에 탑재할 수 있고, 이들 전자 기기의 입력 기능을 담당할 수 있다.
〔제스처 인식 장치의 구성〕
도 2는, 본 발명의 실시 형태에 있어서의 제스처 인식 장치의 외관을 도시하는 도면이다. 본 실시 형태에서는, 본 발명의 제스처 인식 장치는, 도 2에 도시하는 바와 같이, 센서부(2)를 구비하고, 스마트 폰(100)에 내장되어 있다.
센서부(2)는, 검지 가능 범위(예를 들어, 도 2의 파선 범위 내)에 있는 대상물의 온도를 검지하는 것이다.
도 3은, 스마트 폰(100)에 내장되는 센서부(2)의 분해 사시도이다. 도 3에 도시하는 바와 같이, 센서부(2)는, 이하와 같이 구성된다. 구체적으로는, 기판(21) 상에, 신호 처리부(7)와 온도 센서 칩(6)이 탑재되고, 그 위에, 이들의 정밀 부품을 보호하는 동시에 렌즈(23)를 고정하기 위한 중간 케이스(22)가 설치되어 있다. 중간 케이스(22) 상에는, 렌즈(23)가 탑재되고, 이들 전체를 피복하도록 외부 케이스(24)가 설치된다.
온도 센서 칩(6)은, 복수의 적외선 검지 소자(적외선 센서)를 면 상에 배치한 것으로 구성되어 있다. 각 적외선 센서는, 적외선을 접수함으로써 발생하는 온도 상승에 기초하여 검지 대상물의 온도 정보를 검지한다.
도 4는, 온도 센서 칩(6)에 있어서의 적외선 검지 소자의 배치의 일례를 나타내는 도면이다. 온도 센서 칩(6)은, 예를 들어 도 4에 나타내는 바와 같이, 종횡으로 4×4개로 배치된 적외선 센서로 이루어져 있다. 각 센서에는, 예를 들어, 0으로부터 15까지의 번지가 할당되어 있고, 이 번지에 의해 각 센서의 면 상의 위치 관계가 파악되고 있다.
이와 같이, 번지에 의해 관리된 복수의 센서를 면 상에 배치함으로써, 상기 검지 가능 범위에 있는 검지 대상물의 표면 온도를 2차원으로 취득할 수 있다. 예를 들어, 도 2에 도시한 바와 같이, 사용자의 손이 검지 가능 범위 내에 있어서 이동하면, 손의 표면 온도를 검지하는 센서의 위치의 차이에 의해, 그 이동을 검지할 수 있다.
다음으로, 상술한 바와 같이 온도 센서 칩(6)으로부터 얻어진 온도 정보를 사용하여 제스처 인식 처리를 행하는 제스처 인식 장치의 기능적 구성에 대해 설명한다.
도 5는, 본 발명의 실시 형태에 있어서의 제스처 인식 장치(1)의 주요부 구성을 나타내는 블록도이다. 도 5에 나타내는 바와 같이, 제스처 인식 장치(1)는, 온도 센서 칩(6)과 신호 처리부(7)를 포함하는 센서부(2)와, 센서부(2)를 포함하는 각 부를 통괄 제어하는 입력 제어부(3)와, 기억부(4) 및 일시 기억부(8)와, 커넥터부(5)를 포함하는 구성으로 되어 있다.
신호 처리부(7)는, 온도 센서 칩(6)의 각 센서가 접수하는 적외선으로부터 얻어진 적외선 신호를 취득하고, 신호 증폭의 처리 등을 행하는 것이다. 신호 처리부(7)는, 예를 들어, 특정 용도용 집적 회로(ASIC; Application Specific Integrated Circuit) 등으로 실현된다.
본 실시 형태에서는, 신호 처리부(7)는, 신호 선택부(13)와 신호 증폭부(14)를 구비하고 있다. 신호 선택부(13)는, 온도 센서 칩(6)으로부터의 적외선 신호를 선택적으로 취득하는 것이다. 구체적으로는, 신호 선택부(13)는, 입력 제어부(3)의 제어에 따라, 특정 번지의 적외선 센서로부터의 적외선 신호를 선택적으로 취득할 수 있다.
신호 증폭부(14)는, 신호 선택부(13)에 의해 취득된 적외선 신호를, 입력 제어부(3)에 있어서 디지털 처리 가능하도록 증폭하여, 입력 제어부(3)에 공급하는 것이다.
이와 같이 하여 신호 처리부(7)에 의해 취득되어, 처리된 적외선 신호는, 입력 제어부(3)에 있어서 디지털화되어, 온도 정보로서 이용된다.
입력 제어부(3)는, 제스처 인식 장치(1)의 각 부의 동작을 통괄 제어하는 것이며, 마이크로 컴퓨터 등으로 실현된다. 혹은, 입력 제어부(3)의 기능은, 스마트 폰(100) 본체의 주제어부가 구비하는 구성이어도 된다. 이 경우, 스마트 폰(100) 자체가 본 발명의 제스처 인식 장치(1)로서 기능한다.
입력 제어부(3)는, 신호 처리부(7)로부터 공급된 적외선 신호를 아날로그 신호로부터 디지털 신호로 변환하는 AD 변환부(12)와, 커넥터부(5)를 통하여, 스마트 폰(100) 본체의 주제어부와 통신하는 통신 제어부(11)와, 디지털화된 온도 정보를 사용하여 제스처 인식 처리를 실행하는 데이터 처리부(10)를 구비하고 있다. 기능 블록으로서의 데이터 처리부(10)의 구성과 동작에 대해서는 별도를 참조하면서 이후에 상세하게 서술한다.
커넥터부(5)는, 제스처 인식 장치(1)와 스마트 폰(100)의 주제어부를 전기적으로 또한 통신 가능하게 접속하는 것이다. 데이터 처리부(10)가 제스처를 인식한 결과는, 통신 제어부(11) 및 커넥터부(5)를 통하여, 스마트 폰(100) 본체의 주제어부에 공급된다. 반대로, 스마트 폰(100)이 현재 어떤 어플리케이션을 기동 중인 것인지 등의 스마트 폰(100)의 상태에 관한 정보는, 스마트 폰(100)의 주제어부로부터 공급된다.
일시 기억부(8)는, 제스처 인식 장치(1)가 실행하는 각종 처리의 과정에서, 연산에 사용하는 데이터 및 연산 결과 등을 일시적으로 기억하는 소위 워킹 메모리이다.
기억부(4)는, 입력 제어부(3)가 실행하는 ① 제어 프로그램, ② OS 프로그램, ③ 입력 제어부(3)가, 제스처 인식 장치(1)가 갖는 각종 기능을 실행하기 위한 어플리케이션 프로그램 및 ④ 상기 어플리케이션 프로그램을 실행할 때에 판독하는 각종 데이터를 기억하는 것이다. 특히, 기억부(4)는, 제스처 인식 장치(1)가 제스처 인식 처리를 실행할 때에 판독하는 각종 프로그램, 데이터를 기억한다.
이와 같이, 제스처 인식 장치(1)에 있어서, 입력 제어부(3)의 데이터 처리부(10)가, 온도 센서 칩(6)으로부터 취득된 온도 정보에 기초하여, 대상물(사용자의 손 등)의 움직임을 제스처로서 인식하고, 통신 제어부(11)가 이 인식 결과를 스마트 폰(100)에 대한 입력으로서, 스마트 폰(100) 본체에 공급한다. 이에 따라, 스마트 폰(100)은, 인식된 제스처에 할당된 동작을 실행할 수 있다.
즉, 제스처 인식 장치(1)는, 스마트 폰(100)의 비접촉형 입력 장치로서 기능할 수 있다.
〔데이터 처리부의 구성〕
도 1은, 제스처 인식 장치(1)의 데이터 처리부(10)의 주요부 구성의 상세를 나타내는 블록도이다.
데이터 처리부(10)는, 기능 블록으로서, 적어도, 온도 정보 취득부(30), 좌표 배치부(31), 변화량 산출부(32) 및 제스처 인식부(34)를 구비하는 구성으로 되어 있다. 데이터 처리부(10)는, 또한, 무게 중심 결정부(33)를 구비하고 있는 것이 바람직하다. 또한, 데이터 처리부(10)는, 또한, 마스크 선택부(35) 및 편차 산출부(36)를 구비하고 있어도 된다.
그리고 기억부(4)는, 데이터 처리부(10)가 식별해야 할 제스처의 패턴을 기억하기 위한 제스처 패턴 기억부(40)를 적어도 포함하고 있다. 기억부(4)는, 또한, 마스크 기억부(41) 및 기준값 기억부(42)를 포함하고 있어도 된다.
상술한 데이터 처리부(10)의 각 기능 블록은, MPU(micro processing unit) 또는 CPU(central processing unit) 등의 중앙 연산 처리 장치가, ROM(read only memory), NVRAM(non―Volatile random access memory) 등으로 실현된 기억 장치[기억부(4)]에 기억되어 있는 프로그램을 RAM(random access memory)[일시 기억부(8)] 등에 판독하여 실행하는 것으로 실현할 수 있다.
온도 정보 취득부(30)는, 디지털 변환된 온도 정보(d1)를, AD 변환부(12)로부터 취득하는 것이다. 본 실시 형태에서는, 온도 정보(d1)는, 각 센서가 검지한 온도의 값에, 0 내지 15번지까지의 각 센서의 번지가 대응시켜진 데이터 구조로 되어 있다. 본 실시 형태에서는, 온도 정보 취득부(30)는, 온도 센서 칩(6)의 각 센서에 의해 리얼 타임으로 검지된 온도 정보(d1)를, 일정 시간 간격(예를 들어, 0.5초마다)으로 취득하여 일시 기억부(8)에 수시 저장한다. 이때, 온도 정보 취득부(30)는, 검지된 타이밍을 식별하는 타이밍 정보 Ti(i＝0, 1, 2, ···, n)를, 취득하는 온도 정보(d1)에 관련지어 둔다.
좌표 배치부(31)는, 각 센서로부터 취득한 온도 정보를, 각 센서의 배치에 대응하도록 2차원 좌표 상에 플롯하는 것이다. 본 실시 형태에서는, 0번지로부터 15번지까지의, 4×4＝16개의 센서의 배치에 대응하도록, 각 센서로부터 취득한 온도 정보를, XY 좌표계에 플롯한다.
도 6은, 좌표 배치부(31)가 각 센서로부터의 온도를 XY 좌표계에 플롯한 후의 온도 정보의 데이터 구조를 모식적으로 나타내는 도면이다.
예를 들어, 도 4에 나타내는 바와 같이, 온도 센서 칩(6)에 있어서, 0 내지 15번지의 16개의 적외선 센서가, 종횡 4×4개가 되도록 배치되어 있는 경우, 좌표 배치부(31)는, 온도 센서 칩(6)의 좌측 하단부를 원점으로 하고, 동일하게, XY 좌표계의 좌측 하단부를 원점으로 하여, 각 센서의 온도를 플롯한다.
구체적으로는, 12번지의 센서가 검지한 온도를, (X, Y)＝(1, 1)의 위치에 플롯하고, 그 우측 옆의 13번지의 센서의 온도를, (X, Y)＝(2, 1)의 위치에 플롯한다. 좌표 배치부(31)는, 이후의 센서에 대해서도 마찬가지로, 센서의 실제의 배치에 대응하도록, 온도를 XY 좌표계에 플롯한다. 최종적으로, 가장 우측 상부의 3번지의 센서의 온도는, (X, Y)＝(4, 4)의 위치에 플롯된다.
이와 같이 XY 좌표계에 플롯된 온도 정보는, 타이밍 정보 Ti와 관련지어 일시 기억부(8)에 저장된다. 도 7은, XY 좌표계에 플롯된 온도 정보의 구체예를 나타내는 도면이다. 도 7에는, 타이밍 T0로부터 Tn까지의 사이에 취득된 온도 정보의 각각에 대해 XY 좌표계가 작성된 예를 나타내고 있다. XY 좌표계의 16개의 셀에 저장되어 있는 두 자리의 숫자는, 각 센서가 검지한 온도(여기서는, 단위는, ℃)를 나타내고 있다.
변화량 산출부(32)는, 소정의 임계값과, 상술한 바와 같이 각 센서로부터 취득된 실제의 온도를 비교하여, 온도 변화 혹은 검지 대상물(손, 손가락 등)의 유무를 판정하는 것이다. 또한, 소정의 기준값과 실제의 온도를 비교하여, 각 센서의 검지 온도의 변화량을 산출하는 것이다.
변화량 산출부(32)는, 소정의 임계값과 비교하여, 각 센서의 온도가 대상물의 온도를 검지하고 있는지 아닌지를 판단한다. 예를 들어, 검지 대상물로서 인간의 손을 검지하고 싶은 경우, 인간의 체온으로서 상정할 수 있는 하한값(경우에 따라서는 상한값이어도 됨)을 임계값으로서 설정한다. 여기에서는, 33℃로 설정되어 있는 것으로 한다.
변화량 산출부(32)는, 각 센서의 온도를 임계값 33℃와 비교하여, 33℃ 이상의 온도가 검지된 센서를, 손을 검지한 센서로서 인식한다. 즉, 손을 검지한 센서의 위치를 확인하면, 그것을, 그대로 손이 존재하는 위치로서 취급하는 것이 가능하다.
상기 임계값은, 원하는 검지 대상물의 성질을 고려하여, 상기 대상물을 특정하기 위해 유효한 온도가 적절하게 설정되면 된다. 설정된 임계값은, 미리 기준값 기억부(42)에 기억되어 있고, 변화량 산출부(32)에 의해 필요에 따라 판독된다.
도 8은, 각 검지 타이밍에 있어서의, 스마트 폰(100)과 손의 위치 관계와, 당해 타이밍에 있어서 검지, 취득된 온도 정보의 관계를 나타내는 도면이다. 도 8에 나타내는 바와 같이, 타이밍 T1에 있어서, 손이 센서부(2)의 검지 범위의 좌측 단부에 위치하고 있다고 한다. 이 경우, 좌표 배치부(31)는, 도 8에 나타내는, 타이밍 T1을 관련되어진 XY 좌표계를 생성한다. 변화량 산출부(32)는, XY 좌표계의 각 좌표 위치에 저장되어 있는 온도와, 임계값(33)을 비교하고, 임계값 이상의 온도의 좌표 위치를 특정하여, 이를 손의 영역으로서 특정한다. 변화량 산출부(32)는, 도 8에 나타내는 예에서는, 상기 손의 실제의 위치와 마찬가지로, XY 좌표계에 있어서도, 좌측 단부의 영역(망점의 영역)을, 손의 영역으로서 특정하고 있다. 다음으로, 타이밍 T2에 있어서, 손이 스마트 폰(100)[센서부(2)]의 정면까지 이동했다고 한다. 이 경우, 좌표 배치부(31)는, 타이밍 T2를 관련되어진 XY 좌표계를 생성한다(도 8). 그리고 변화량 산출부(32)는, XY 좌표계의 전체면(망점의 영역)을, 손의 영역으로서 특정한다. 그리고 타이밍 T3에 있어서, 손이 더욱 이동하여, 상기 검지 범위의 우측 단부까지 이동했다고 한다. 이 경우, 좌표 배치부(31)는, 도 8에 도시하는, 타이밍 T3를 관련되어진 XY 좌표계를 생성한다. 변화량 산출부(32)는, 임계값 33℃ 이상인 우측 단부의 영역(망점의 영역)을, 손의 영역으로서 특정한다.
또한, 변화량 산출부(32)는, 실제로 검지된 온도와 기준값의 차분을, 변화량 ΔT로서 산출한다. 변화량 산출부(32)는, 각 번지(좌표 위치)의 온도에 관해, 변화량 ΔT(X, Y)를 각각 산출한다.
여기서, 기준값은, 상술한 대상물을 검지하기 위한 임계값과 동일해도 되고, 대상물이 아무것도 없는 때의 환경 온도를 고려하여 적절한 값이 정해져도 된다. 본 실시 형태에서는, 스마트 폰(100)의 주위의 환경 온도가 25℃이므로, 기준값이 25℃로 미리 정해져 있는 것으로 한다. 이 규정의 기준값은, 기준값 기억부(42)에 기억되어 있고, 변화량 산출부(32)에 의해 필요에 따라 판독된다.
또한, 이 기준값은, 동적으로 갱신되는 구성이어도 된다. 예를 들어, 온도 센서 칩(6)에 의해 온도가 수시 측정되어, 변화량이 크게 변동하는 일 없이 일정 시간 경과했다고 한다. 이때, 데이터 처리부(10)의 도시하지 않은 평균값 산출부가, 이 기간에 측정된 온도의 평균값을 산출하고, 이를, 기준값으로서 기준값 기억부(42)에 저장해도 된다.
또한, 변화량 산출부(32)는, 각 셀의 번지마다 구한 변화량 ΔT(X, Y)를 모두 합산하고, 타이밍 Ti에 있어서의 XY 좌표계의 변화량 ΔT(X, Y)의 합계(이하, SUM)를 구한다. 구체적으로는, 본 실시 형태에서는, 변화량 산출부(32)는, 다음 식, SUM＝ΔT(1, 1)＋ΔT(1, 2)＋ΔT(1, 3)＋ΔT(1, 4)＋ΔT(2, 1)＋ΔT(2, 2)＋ΔT(2, 3)＋ΔT(2, 4)＋ΔT(3, 1)＋ΔT(3, 2)＋ΔT(3, 3)＋ΔT(3, 4)＋ΔT(4, 1)＋ΔT(4, 2)＋ΔT(4, 3)＋ΔT(4, 4)를 계산한다.
이에 의해, 타이밍 Ti에 있어서의, 검출 범위(도 2의 파선 범위 내)에 발생한 전체의 변화량(SUM)이 명백해진다.
변화량 산출부(32)는, 상술한 바와 같이 각 셀의 번지마다 구한 변화량 ΔT(X, Y) 및 그 합계 SUM을, 타이밍 Ti에 관련짓고, XY 좌표계에 플롯하여, 일시 기억부(8)에 저장한다.
변화량 산출부(32)에 의해 구해진 변화량 ΔT를 참조함으로써, 어느 타이밍에서 어느 위치에 온도의 변화가 보인 것인지를 파악할 수 있다. 또한, 변화량 ΔT 및 SUM은, 제스처 인식 대상물의 유무나, 대상물의 영역(변화량이 큰 영역)의 무게 중심의 좌표 위치(Gx, Gy)를 판단하기 위해 후술의 각 기능 블록에 의해 판독되어, 사용된다.
또한, 변화량 산출부(32)는, 각 센서로부터 취득된 온도 정보에 기초하여, 언제의 타이밍으로부터 언제의 타이밍까지를, 사용자의 조작 기간[사용자가 스마트 폰(100)에 대하여 입력을 행하려고 하여 의도적으로 손을 움직이고 있는 기간]으로서 인식하면 좋은 것인지를 판단하는 것이 바람직하다.
사용자가 조작하고 있는 기간을 판단하는 방법의 몇 개에 대해 구체적으로 설명하면 이하와 같다.
제1 방법은, 기준값 기억부(42)에 기억되어 있는 임계값을 사용하는 방법이다. 변화량 산출부(32)는, 어떤 타이밍에 있어서의 XY 좌표계에 플롯된 각 온도와 임계값(예를 들어, 33℃)을 비교하여, 33℃ 이상을 검출한 센서가 2개 이상 있는 경우에, 변화 있음(조작 개시)이라고 판단한다. 그리고 33℃ 이상을 검출한 센서가 2개 이상 있는 기간을 조작 기간으로서 판단할 수 있다.
제2 방법은, 검지 타이밍마다 구한 XY 좌표계 전체의 변화량 SUM 및 기준값 기억부(42)에 기억되어 있는 기준값을 사용하는 방법이다. 변화량 산출부(32)는, 기준값을 Ta℃로 한 때, (35℃―Ta℃)×2를 변화량의 임계값으로 정하고, SUM이, (35℃―Ta℃)×2 이상인 경우에, 변화 있음(조작 개시)이라고 판단한다. 그리고 SUM이, (35℃―Ta℃)×2 이상인 기간을 조작 기간으로서 판단할 수 있다.
상기 구성에 따르면, 변화량 산출부(32)에 의해 조작 기간으로 판단된 기간의 온도 정보만에 한정하여 이후의 제스처 인식 처리를 진행할 수 있고, 처리에 들이는 정보량을 줄임으로써, 제스처 인식 장치(1)의 처리 효율의 향상과, 처리 부하의 저감을 실현할 수 있다.
무게 중심 결정부(33)는, 각 센서의 변화량 ΔT 및 SUM에 기초하여, XY 좌표계에 있어서 변화가 인정된 영역, 구체적으로는, 손이 검지되는 등에 의해 온도 상승이 있었던 변화 영역(도 8의 망점의 영역)의 무게 중심을 결정하는 것이다. 무게 중심 결정부(33)는, 변화량 ΔT 및 SUM을 참조하면서, 이하의 수순에 따라, 변화 영역의 무게 중심 G의 좌표(Gx, Gy)를 결정한다.
무게 중심 결정부(33)는, 무게 중심 G의 X 좌표(Gx)를 구한다. Gx는, 각 좌표 위치의 변화량 ΔT에, 각 좌표 위치의 X 좌표에 따른 계수를 곱한 것을 합계하고, 이를, 상기 SUM으로 나눔으로써 산출된다. 구체적으로는, 무게 중심 결정부(33)는, 다음 식, Gx＝{(ΔT(1, 1)＋ΔT(1, 2)＋ΔT(1, 3)＋ΔT(1, 4))×1＋(ΔT(2, 1)＋ΔT(2, 2)＋ΔT(2, 3)＋ΔT(2, 4))×2＋(ΔT(3, 1)＋ΔT(3, 2)＋ΔT(3, 3)＋ΔT(3, 4))×3＋(ΔT(4, 1)＋ΔT(4, 2)＋ΔT(4, 3)＋ΔT(4, 4))×4}÷SUM을 계산한다.
또한, 무게 중심 결정부(33)는, 무게 중심 G의 Y 좌표(Gy)를 구한다. Gy는, 각 좌표 위치의 변화량 ΔT에, 각 좌표 위치의 Y 좌표에 따른 계수를 곱한 것을 합계하고, 이를, 상기 SUM으로 나눔으로써 산출된다. 구체적으로는, 무게 중심 결정부(33)는, 다음 식, Gy＝{(ΔT(1, 1)＋ΔT(2, 1)＋ΔT(3, 1)＋ΔT(4, 1))×1＋(ΔT(1, 2)＋ΔT(2, 2)＋ΔT(3, 2)＋ΔT(4, 2))×2＋(ΔT(1, 3)＋ΔT(2, 3)＋ΔT(3, 3)＋ΔT(4, 3))×3＋(ΔT(1, 4)＋ΔT(2, 4)＋ΔT(3, 4)＋ΔT(4, 4))×4}÷SUM을 계산한다.
무게 중심 결정부(33)는, 상술한 바와 같이 하여 구한 타이밍 Ti에 있어서의 변화 영역의 무게 중심 G의 좌표(Gx, Gy)를, 타이밍 Ti에 관련지어 일시 기억부(8)에 저장한다. 무게 중심 결정부(33)는, 좌표 배치부(31)가 생성한 XY 좌표계에, 무게 중심 G(Gx, Gy)를 플롯해도 된다.
도 9는, 도 8에 도시하는 타이밍 T1 내지 T3의 기간에 대해, 변화량 산출부(32)에 의해 생성된 정보와, 무게 중심 결정부(33)에 의해 생성된 정보의 구체예를 나타내는 도면이다.
변화량 산출부(32)는, 타이밍 T1의 온도 정보(도 8의 XY 좌표계 T1)를 취득하고, 각 센서의 온도와 기준값 25℃의 차분을 산출하여, 각 센서의 변화량 ΔT의 값을 플롯한다. 이 플롯의 결과를, 도 9의 XY 좌표계 T1에 나타낸다. 마찬가지로, 도 9의 XY 좌표계 T2, T3은, 각각, 도 8에 나타내는 타이밍 T2, T3의 온도 정보로부터, 변화량 ΔT의 값을 구한 것을 나타내고 있다.
그리고 변화량 산출부(32)는, 또한, 도 9의 XY 좌표계 T1에 기초하여, 타이밍 T1에 있어서의 전체의 변화량 SUM을「105」로 산출한다. 마찬가지로, 타이밍 T2에 있어서의 전체의 변화량 SUM을「168」로 산출하고, 타이밍 T3에 있어서의 전체의 변화량 SUM을「84」로 산출한다.
계속하여, 무게 중심 결정부(33)는, 상술한 바와 같이 하여 구해진 각 센서의 변화량 ΔT와 SUM을 사용하여, 변화 영역(도 8의 망점의 영역)의 무게 중심 G를 결정한다. 도 9에 나타내는 예에서는, 무게 중심 결정부(33)는, 타이밍 T1에 있어서의 무게 중심 G의 좌표(Gx, Gy)를, (1.8, 2.5)로 결정하고, 타이밍 T2에 있어서의 무게 중심 G의 좌표(Gx, Gy)를, (2.5, 2.5)로 결정하고, 타이밍 T3에 있어서의 무게 중심 G의 좌표(Gx, Gy)를, (3.5, 2.5)로 결정한다.
이 무게 중심 G의 위치를 추종하면, 대상물(손)이 언제의 타이밍에서 어떻게 움직였는지를 이후의 공정에서 인식할 수 있다.
이상과 같이, 검지 타이밍마다, 변화 영역의 무게 중심 G의 좌표를 특정함으로써, 변화 영역(손)의 이동의 궤적을 적은 계산량으로 구하는 것이 가능해지므로, 무게 중심 결정부(33)의 구성 및 무게 중심을 결정하는 방법을 채용하는 것은, 처리 효율의 향상 및 처리 부하의 저감의 관점으로부터 바람직하다.
또한, 대상물(손)의 제스처를 인식하기 위해, 손의 이동의 궤적을 추적할 필요가 있지만, 이동 궤적을 추적하는 방법으로서, 상술한 무게 중심을 결정하고, 무게 중심을 추적하는 방법은, 단순히 일례이며, 본 발명의 구성은 이것에 한정되지 않는다.
제스처 인식부(34)는, 대상물의 위치를 추적하고, 대상물의 이동의 궤적에 따라 상기 대상물의 움직임을 제스처로서 인식하는 것이다. 본 실시 형태에서는, 구체적으로는, 무게 중심 결정부(33)에 의해 결정된 대상물의 무게 중심의 위치를 추적하여, 무게 중심의 궤적을 특정하고, 특정한 무게 중심의 궤적에 따라 대상물의 제스처를 식별한다.
도 10은, 제스처 인식부(34)가 무게 중심의 궤적을 특정한 결과의 구체예를 나타내는 도면이다. 또한, 도 10에 나타낸 무게 중심의 궤적은, 제스처 인식부(34)가 특정하는 궤적의 일례를 설명을 위해 구체적으로 기재한 것이며, 실제로는 이와 같은 궤적은, 사용자가 육안 확인 가능하도록 제시되는 것은 아니다.
도 10에 나타내는 바와 같이, 도 9에 나타내는 타이밍 T1 내지 T3의 각각의 무게 중심을, 1개의 좌표계에 플롯하면, 무게 중심의 이동의 궤적이 명백해진다.
제스처 인식부(34)는, 조작 기간의 개시 타이밍 Ts로부터, ···, T1, T2, T3, ···, 그리고 조작기간 종료 타이밍 Te까지의 무게 중심을 추적하고, 그 움직임을 인식한다. 도 10에 나타내는 예에서는, T1의 위치로부터 T3의 위치에 걸쳐, 무게 중심이 좌측으로부터 우측으로 이동하고 있다. 따라서, 제스처 인식부(34)는,「좌측으로부터 우측으로 이동」이라고 하는 제스처가 행해졌다고 인식할 수 있다. 제스처 인식부(34)는, 무게 중심의 궤적에 따라,「우측으로부터 좌측으로 이동」,「상측으로부터 하측으로 이동」,「하측으로부터 상측으로 이동」,「시계 방향으로 이동」,「반시계 방향으로 이동」등의 각종 제스처를 식별할 수 있다.
또한, 본 발명의 제스처 인식 장치(1)에 따르면, 제스처 인식부(34)는, 상술한 X축 방향 또는 Y축 방향의 움직임뿐만 아니라, Z축 방향의 움직임을 검지하고, 이를 제스처로서 식별하는 것이 가능하다.
도 11은, 각 검지 타이밍에 있어서의, 스마트 폰(100)과 손의 위치 관계와, 당해 타이밍에 있어서 검지, 취득된 온도 정보의 관계를 나타내는 도면이다. 도 11에 나타내는 바와 같이, 타이밍 T1에 있어서, 손이 센서부(2)의 검지 범위의 가장 먼 곳에 위치하고 있다고 한다. 이 경우, 좌표 배치부(31)는, 도 11에 도시한 바와 같이, 타이밍 T1가 관련되어진 XY 좌표계를 생성한다. 손은, 스마트 폰(100)의 센서부(2)로부터 Z축 상의 먼 위치에 있기 때문에, 센서부(2)의 온도 센서 칩(6)의 면에 있어서 작게 파악된다. 그로 인해, 온도 센서 칩(6)의 전체면이 아닌, 국소에 있어서 변화 영역(망점 영역)이 특정된다.
한편, 타이밍 T2에 있어서, 손이, 타이밍 T1의 때보다도, 스마트 폰(100)에 가까운 위치에 있다고 한다. 이 경우, 좌표 배치부(31)는, 도 11에 나타내는 바와 같이, 타이밍 T2가 관련되어진 XY 좌표계를 생성한다. 손은, 스마트 폰(100)의 센서부(2)로부터 Z축 상의 가까운 위치에 있기 때문에, 온도 센서 칩(6)의 면에 있어서 크게 파악된다. 도 11에 나타내는 예에서는, 온도 센서 칩(6)의 전체면에 있어서 크게 파악된다. 그로 인해, 온도 센서 칩(6)의 전체면에 있어서 변화 영역이 특정된다. 즉, 변화 영역의 면적이 클(임계값 33℃ 이상의 센서의 수가 많을)수록, 대상물이 스마트 폰(100)의 가까운 곳에 위치하고, 변화 영역의 면적이 작을(임계값 33℃ 이상의 센서의 수가 적을)수록, 대상물이 스마트 폰(100)으로부터 먼 곳에 위치하고 있다고 판단할 수 있다.
따라서, 제스처 인식부(34)는, 검지 타이밍마다 추이하는, 변화 영역의 면적의 증감에 따라, 대상물의 Z축 방향의 움직임을 추적하여, 제스처를 식별한다. 구체적으로는, 제스처 인식부(34)는, 변화 영역의 면적의 증감에 따라,「손을 가까이한다」, 또는,「손을 멀리한다」등의 각종 제스처를 식별할 수 있다.
본 실시 형태에서는, 기억부(4)는, 제스처 패턴 기억부(40)를 구비하고, 여기에, 미리 정해진 제스처의 몇 개의 패턴을 기억시키고 있다. 제스처 인식부(34)는, 무게 중심의 궤적, 또는, 변화 영역의 증감이, 제스처 패턴 기억부(40)에 기억되어 있는 어느 제스처 패턴에 합치하는 것인지를 판단하여, 제스처를 식별한다.
도 12는, 제스처 패턴 기억부(40)에 기억되어 있는 제스처 패턴의 일례를 나타내는 도면이다.
도 12에 나타내는 바와 같이, 제스처 패턴 기억부(40)에는, 제스처 인식부(34)가 인식할 수 있는 몇 개의 제스처 패턴이 기억되어 있다. 본 실시 형태에서는, 이들 제스처를 식별하기 위한 제스처 ID가, 각 제스처 패턴에 대응시켜 기억되어 있다.
예를 들어, 제스처 인식부(34)는, 도 10에 나타내는 무게 중심의 궤적에 따라, 대상물의 제스처를「좌측으로부터 우측으로 이동」이라고 인식한 경우에는,「좌측으로부터 우측으로 이동」의 제스처를 나타내는 제스처 ID「00」을, 인식 결과(d2)로서, 통신 제어부(11)에 출력한다(도 1 참조).
인식 결과(d2)는, 커넥터부(5)를 통해 스마트 폰(100) 본체(의 주제어부)에 입력된다. 스마트 폰(100)의 주제어부는, 제스처 ID「00」이 입력된 것에 따라, 제스처 ID「00」에 할당되어 있는 동작을 실행한다.
또한, 도 12에 나타내는 제스처의 패턴은 일례이며, 본 발명을 한정하는 것은 아니다. 본 발명의 제스처 인식부(34)는, 여러 가지 대상물의 움직임의 패턴(예를 들어, 비스듬한 방향의 움직임 등)을, 도 12에 나타내는 제스처 이외의 제스처로서 인식해도 된다.
〔제스처 인식 처리 흐름〕
도 13은, 본 발명의 제스처 인식 장치(1)가 구비하는 데이터 처리부(10)의 각 부가 실행하는 제스처 인식 처리의 흐름을 나타내는 흐름도이다. 도 14는, 제스처 인식부(34)에 의해 실행되는 제스처 인식 처리의 흐름을 상세하게 나타내는 흐름도이다.
본 실시 형태에서는, 소정 기간 동안의 소정의 검지 타이밍(T0, T1, T2, …, Tn)에서, 센서부(2)가 대상물의 온도 정보를 검지하고, 수시, 데이터 처리부(10)에 공급하고 있는 구성을 상정하고 있다.
우선, 소정의 검지 타이밍에 도달했을 때, 온도 정보 취득부(30)는, 검지 타이밍 Ti를 취득한다(S101). 그리고 취득한 타이밍 Ti에 관련되어진 온도 정보(d1)를, 온도 센서 칩(6)으로부터 취득한다(S102). 좌표 배치부(31)는, 취득된 온도 정보(d1)에 포함되는 센서마다의 온도를, 각 센서의 배치와 대응하는 XY 좌표계에 플롯한다(S103). 그리고 좌표 배치부(31)는, S103와 같이 하여 생성한 데이터를, 취득한 타이밍 Ti에 관련지어 일시 기억부(8)에 저장한다(S104).
변화량 산출부(32)는, 임계값(예를 들어, 33℃)과, XY 좌표계의 각 좌표 위치에 플롯된 온도를 비교하여, 33℃ 이상을 검지한 센서가 2개 이상 있는지 여부를 판정한다(S105). 2개 이상 있는 경우(S105에 있어서 예), 변화량 산출부(32)는, 당해 타이밍 Ti에 있어서, 대상물(손)이 검지 범위에 존재하고, 타이밍 Ti의 시점은 사용자가 조작하고 있는 기간에 포함된다고 판단한다. 그리고 변화량 산출부(32)는, 각 좌표 위치의 온도의 변화량 ΔT를 각각 산출하고, 전체 좌표 위치의 변화량 ΔT를 합계하여 SUM을 산출한다(S106). 계속하여, 무게 중심 결정부(33)는, 변화량 ΔT 및 SUM에 기초하여, 손의 온도를 검지한 센서의 영역, 즉 변화 영역에 있어서의 무게 중심 G의 좌표(Gx, Gy)를 결정한다(S107).
무게 중심 결정부(33)는, 결정한 무게 중심을, S104에서 보존되어 있는 XY 좌표계에 플롯하고, 변화량 산출부(32)는, XY 좌표계에 변화량 ΔT 및 변화 영역을 플롯하는 동시에, SUM을 관련지어 일시 기억부(8)에 보존한다(S108).
한편, 33℃ 이상을 검지한 센서가 2개 이상 없는 경우에는(S105에 있어서 아니오), 변화량 산출부(32)는, 당해 타이밍 Ti에 있어서, 대상물(손)이 검지 범위에 존재하고 있지 않고, 타이밍 Ti의 시점에서는 사용자는 입력 조작을 행하고 있지 않다고 판단한다. 그리고 S106 내지 S108의 처리를 생략한다.
데이터 처리부(10)는, 제스처 인식을 행하는 소정 기간이 종료하고 있지 않으면, 즉, 처리되어 있지 않은 온도 정보(d1)가 센서부(2)로부터 공급되고 있으면(S109에 있어서 아니오), 타이밍 Ti의 i를 1개 증가시키고(S110), 그 다음 검지 타이밍에 있어서의 온도 정보(d1)에 관해, S102 내지 S108의 처리를 반복한다.
그리고 타이밍 Ti가 Tn에 도달하고, 공급된 모든 온도 정보(d1)에 대해 처리가 완료되면(S109에 있어서 예), 계속하여, 제스처 인식부(34)는, 일시 기억부(8)에 저장된 데이터에 기초하여, 검지된 손의 움직임에 대응하는 제스처를 인식한다(S111). 구체적으로는, 상기 소정 기간(T0 내지 Tn)에 있어서의 무게 중심 위치를 추적하여, 혹은, 변화 영역의 면적의 증감에 따라, 제스처 패턴 기억부(40)에 기억되어 있는 제스처 패턴 중에서, 합치하는 제스처를 특정한다.
제스처 인식부(34)는, 특정한 제스처를 나타내는 제스처 ID를, 인식 결과(d2)로서 통신 제어부(11)에 출력한다(S112).
제스처 인식부(34)가 S111에 있어서 실행하는 제스처 인식 처리의 흐름을 도 14를 참조하면서 상세하게 설명하면 이하와 같다.
우선, 제스처 인식부(34)는, 검지 타이밍 Ti마다 결정된 무게 중심 좌표(Gx, Gy)에 기초하여, 손의 무게 중심의 이동 궤적을 취득한다(S201).
여기서, 무게 중심의 이동 거리의 길이가 충분하면(S202에 있어서 예), 제스처 인식부(34)는, 손이 X축 방향 또는 Y축 방향으로 움직인 것으로 판단하고, 무게 중심의 이동 궤적 및 이동 방향을 특정한다(S203).
무게 중심의 이동 방향이, 좌우 방향(X축 방향)이면(S204에 있어서 1), 제스처 인식부(34)는, 이동 궤적에 기초하여, 손이 좌측으로부터 우측으로 이동한 것인지 여부를 판단한다(S205). 손이 좌측으로부터 우측으로 이동했다고 판단한 경우(S205에 있어서 예), 제스처 인식부(34)는, 이 기간에 입력된 제스처를「00:좌측으로부터 우측으로 이동」이라고 인식한다(S206). 한편, 손이 우측으로부터 좌측으로 이동했다고 판단한 경우(S205에 있어서 아니오), 제스처 인식부(34)는, 이 기간에 입력된 제스처를「01:우측으로부터 좌측으로 이동」이라고 인식한다(S207).
혹은, 무게 중심의 이동 방향이, 상하 방향(Y축 방향)이면(S204에 있어서 2), 제스처 인식부(34)는, 손이 상측으로부터 하측으로 이동한 것인지 여부를 판단한다(S208). 손이 상측으로부터 하측으로 이동했다고 판단한 경우(S208에 있어서 예), 제스처 인식부(34)는, 이 기간에 입력된 제스처를「10:상측으로부터 하측으로 이동」이라고 인식한다(S209). 한편, 손이 하측으로부터 상측으로 이동했다고 판단한 경우(S208에 있어서 아니오), 제스처 인식부(34)는, 이 기간에 입력된 제스처를「11:하측으로부터 상측으로 이동」이라고 인식한다(S210).
혹은, 무게 중심의 이동 궤적이 원을 그리는 것 같이 회전하고 있는 경우에는(S204에 있어서 3), 제스처 인식부(34)는, 손이 시계 방향으로 이동한 것인지 여부를 판단한다(S211). 손이 시계 방향으로 이동했다고 판단한 경우(S211에 있어서 예), 제스처 인식부(34)는, 이 기간에 입력된 제스처를「30:시계 방향으로 이동」이라고 인식한다(S212). 한편, 손이 반시계 방향으로 이동했다고 판단한 경우(S211에 있어서 아니오), 제스처 인식부(34)는, 이 기간에 입력된 제스처를「31:반시계 방향으로 이동」이라고 인식한다(S213).
한편, S202에 있어서, 무게 중심의 이동 거리의 길이가 충분하지 않으면(S202에 있어서 아니오), 제스처 인식부(34)는, 손이 X축 방향으로도, Y축 방향으로도 움직이지 않았다고 판단한다. 그리고 Z축 방향으로 움직인 것인지 여부를 판단하기 위한 처리로 이행한다. 즉, 제스처 인식부(34)는, 검지 타이밍 Ti마다, 변화량 산출부(32)에 의해 특정된 변화 영역의 면적(센서의 수)을 취득한다(S214).
제스처 인식부(34)는, 시간의 경과에 따라, 변화 영역의 면적이 증가 경향에 있는지 여부를 판단한다(S215). 면적이 증가 경향에 있는 경우(S215에 있어서 예), 제스처 인식부(34)는, 이 기간에 입력된 제스처를「20:손을 가까이한다」라고 인식한다(S216). 한편, 면적이 감소 경향에 있는 경우(S215에 있어서 아니오), 제스처 인식부(34)는, 이 기간에 입력된 제스처를「21:손을 멀리한다」라고 인식한다(S217).
또한, 도 14에 나타내는 예에서는, 무게 중심의 이동도, 면적의 증감도 없는 케이스에 대해 설명하고 있지 않지만, 이와 같은 케이스는, 제스처 인식 장치(1)가 대상물을 오류 인식했든지, 혹은, 대상물의 움직임이 충분하지 않아, 제스처 인식 장치(1)가 대상물이 정지하고 있는 것처럼 인식해버렸을 때에 일어날 수 있다. 따라서, 이와 같은 케이스에서는, 제스처 인식 장치(1)는, 스마트 폰(100)을 통하여, 기준값이나 임계값을 변경하도록 사용자에 촉구하는 메시지를 표시하거나, 제스처 인식에 실패한 뜻을 나타내는 에러 표시를 행하거나, 제스처의 재입력을 촉진시키는 메시지를 표시하거나 하는 것이 바람직하다.
이상, 지금까지 서술한 바와 같이, 본 발명의 제스처 인식 장치(1)는, 대상물의 온도를 검지하는 센서부(2)와, 상술한 일련의 제스처 인식 처리를 실행하는 데이터 처리부(10)를 구비함으로써, 스마트 폰(100)의 비접촉형 입력 장치를 실현할 수 있다.
상기 구성 및 방법에 따르면, 제스처 인식 장치(1)에 있어서, 대상물의 움직임을 검지하기 위한 정보는, 복수 배치된 적외선 센서로부터 온도 정보로서 취득된다. 그리고 데이터 처리부(10)는, 데이터량이 방대한 화상 데이터를 취급하지 않더라도, 온도 정보만으로 대상물의 움직임을 분석할 수 있고, 제스처를 인식하는 것이 가능해진다. 결과적으로, 입력 장치로서의 제스처 인식 장치(1)에 있어서, 처리 효율의 향상과, 처리 부하의 저감을 실현할 수 있다. 즉, 반응 속도가 빠른 입력 장치를 실현하는 것이 가능하다.
또한, 본 발명의 제스처 인식 장치(1)는, 적외선 센서를 사용하여 대상물의 표면 온도를 취득함으로써, 대상물의 온도와 주위의 환경 온도의 차이에 의해, 대상물의 움직임을 검지하는 것이다. 따라서, 광학계 카메라로 대상물을 촬상하여 제스처를 인식하는 구성에서는, 어두운 곳에서의 사용이 제한되지만, 본 발명의 제스처 인식 장치(1)는, 어두운 곳에서도 제한 없이 입력 장치로서 기능시키는 것이 가능하다.
또한, 광학계 카메라를 사용한 제스처 인식에서는, 대상물과 배경의 텍스처에 큰 차가 없는 경우에, 정확하게 대상물의 위치, 형상 등을 인식할 수 없고, 제스처의 오류 인식이 증가한다고 하는 문제가 있다. 한편, 본 발명의 제스처 인식 장치(1)는, 주위 환경 온도와 다른 표면 온도를 갖는 대상물(손 등)을, 온도 정보에 기초하여 검지하므로, 텍스처의 유사에 의한 오류 인식의 문제는 일어날 수 없다.
본 발명의 제스처 인식 장치(1)를, 프로젝터 기능을 갖는 전자 기기의 입력 장치로서 사용하면, 본 발명의 제스처 인식 장치(1)의 이점을 최대한으로 누릴 수 있다.
예를 들어, 전자 기기의 프로젝터 기능을 사용하여, 전자 기기에 기억되어 있는 사진 등의 슬라이드를, 이격된 곳에 있는 스크린에 영사하여 프리젠테이션을 행한다고 하는 유즈 케이스(use case)가 상정된다. 프로젝터 기능은, 일반적으로, 옥내를 어둡게 하여 이용되기 때문에, 종래의 광학계 카메라를 사용한 제스처 인식의 입력 장치를, 프리젠테이션 중에 기능시키는 것은 곤란했다. 그러나, 본 발명의 제스처 인식 장치(1)에 따르면, 어두운 곳에서도 비접촉형 입력 장치로서 기능시키는 것이 가능하기 때문에, 전자 기기로부터 이격된 위치에서 프레젠데이션을 행하는 사용자도, 전자 기기에 접촉하는 일 없이, 슬라이드의 조작을 용이하게 행하는 것이 가능하다.
〔변형예〕
상술한 실시 형태에서는, 제스처 인식 장치(1)는, 온도 센서 칩(6)의 전체면(모든 적외선 센서)으로부터 취득된 온도 정보를 처리하여, 제스처를 인식하고 있었다. 본 발명의 제스처 인식 장치(1)는, 이 구성에 한하지 않고, 온도 센서 칩(6)에 배치되어 있는 적외선 센서로부터의 온도 정보를 부분적으로 사용하여 제스처 인식을 행해도 된다.
적외선 센서를 선택적으로 사용하는 구성으로 하면, 처리해야 할 정보량을 줄여서 처리 속도를 빠르게 할 수 있는 동시에, 특정한 제스처를 인식할 경우에, 그 인식의 정밀도를 향상시키는 것이 가능하다.
스마트 폰(100)은, 다기능이고, 여러 가지 어플리케이션을 실행하도록 구성되어 있으며, 그 어플리케이션에 대한 지시 입력 형식은, 어플리케이션에 의해 다양하다. 예를 들어, 서적 열람 어플리케이션이나, 슬라이드 쇼 표시 어플리케이션이면, 페이지를 넘기기 위해 좌우 방향의 움직임을 수반하는 지시 입력이 행해질 것이고, 웹 열람 어플리케이션이면, 화면을 스크롤시키기 위해, 상하 방향의 움직임을 수반하는 지시 입력이 행해질 것이다. 또한, 음악 재생 어플리케이션에 있어서는, 볼륨의 조절을 위해, 다이얼을 다단계적으로 돌리는 움직임의 입력이 행해진다고 상정된다.
따라서, 본 발명의 제스처 인식 장치(1)는, 스마트 폰(100)이 어떤 어플리케이션을 기동 중인 것인지에 기초하여, 인식해야 할 제스처를 한정하고, 그 한정된 제스처의 인식에 적합한 제스처 인식 처리를 효율적으로 실행할 수 있다. 그를 위한 구성으로서, 제스처 인식 장치(1)는 이하를 구비하고 있다.
즉, 도 1에 나타내는 바와 같이, 본 변형예에 있어서의 제스처 인식 장치(1)의 데이터 처리부(10)는, 상술한 구성에 더하여, 또한, 마스크 선택부(35)를 구비하고 있다.
마스크 선택부(35)는, 스마트 폰(100) 본체가 기동 중의 어플리케이션의 종류에 따라, 인식해야 할 제스처의 종류를 한정하고, 그 한정된 제스처의 인식에 적합한 마스크를 선택하는 것이다.
본 발명에 있어서의 마스크라 함은, 온도 센서 칩(6)에 배치된 적외선 센서 중, 어느 적외선 센서로부터의 온도를 제스처 인식 처리에 이용할 것인지, 혹은 이용하지 않을 것인지를 나타내는 패턴 정보이다.
마스크는, 어떤 제스처를 인식하고 싶은 것인지에 따라, 그 제스처를 효율적으로 또한 고정밀도로 인식할 수 있도록, 미리 설계되어, 복수 종류 준비되어 있다. 본 변형예에서는, 도 1에 나타내는 바와 같이, 제스처 인식 장치(1)의 기억부(4)는, 마스크 기억부(41)를 구비한다. 마스크 기억부(41)는, 복수 종류의 마스크를 기억하고 있고, 어플리케이션마다 참조해야 할 마스크가 대응시켜져 있다.
도 15는, 마스크의 구체예를 나타내는 도면이다.
도 15에 나타내는 씬(50)과 같이, 손을 좌우 방향으로 움직이는 제스처로 특화하면, 온도 센서 칩(6)에 있어서의 적외선 센서 배치면 중, 좌측 단부와 우측 단부의 센서로 타이밍 좋게 손을 검지할 수 있으면 제스처를 효율적으로 정확하게 인식할 수 있다. 따라서, 좌우의 움직임을 인식하기 위한「좌우 검출용 마스크」는, 배치면의 좌측 단부의 열 및 우측 단부의 열을 유효로 하고, 중앙의 열을 무효로 하도록 설계되어 있다.
도 15에 나타내는 마스크에 있어서, 사선의 영역이 유효, 백지의 영역이 무효를 나타내고 있다. 도 4에 나타내는 4×4의 배치를 예로 들어 구체적으로 설명하면,「좌우 검출용 마스크」는, 0, 4, 8, 12번지 및 3, 7, 11, 15번지의 적외선 센서로부터의 온도 정보만을 이용하도록 설계되어 있다.
씬(51)과 같이, 손을 상하 방향으로 움직이는 제스처로 특화하면, 상기 배치면 중, 상단부와 하단부의 센서로 타이밍 좋게 손을 검지할 수 있으면 제스처를 효율적으로 정확하게 인식할 수 있다. 따라서, 상하의 움직임을 인식하기 위한「상하 검출용 마스크」는, 배치면의 상단부의 행 및 하단부의 행을 유효로 하고, 중앙의 행을 무효로 하도록 설계되어 있다.
도 15에 나타내는 바와 같이,「상하 검출용 마스크」는, 예를 들어, 0 내지 3번지 및 12 내지 15번지의 적외선 센서로부터의 온도 정보만을 이용하도록 설계되어 있다.
씬(52)과 같이, 손을 돌리는 움직임의 제스처로 특화하면, 상기 배치면 중, 외측의 센서로 손을 검지하면, 회전의 제스처를 효율적으로 정확하게 인식할 수 있다. 따라서, 회전을 인식하기 위한「회전 검출용 마스크」는, 예를 들어, 0 내지 4, 7, 8, 11 내지 15번지의 적외선 센서로부터의 온도 정보만을 이용하도록 설계되어 있다.
이와 같이, 씬(검출하고 싶은 손의 움직임)에 따른 마스크가, 마스크 기억부(41)에 복수 종류 기억되어 있다. 도 16은, 마스크 기억부(41)에 기억되어 있는 마스크의 데이터 구조의 일례를 나타내는 도면이다.
도 16에 나타내는 바와 같이, 마스크 기억부(41)에는, 복수 종류의 마스크가 기억되어 있는 동시에, 어플리케이션마다 참조해야 할 마스크의 대응짓기가 기억되어 있다.
이에 의해, 마스크 선택부(35)는, 스마트 폰(100)이 기동 중의 어플리케이션에 따라, 항상, 최적인 마스크를 선택할 수 있다. 보다 상세하게는, 마스크 선택부(35)는, 커넥터부(5) 및 통신 제어부(11)를 통하여, 스마트 폰(100)의 주제어부로부터, 스마트 폰(100) 본체가 현재 어느 어플리케이션을 기동 중인지를 나타내는 상태 정보(d3)를 취득한다(도 1을 참조). 마스크 선택부(35)는, 상태 정보(d3)에 기초하여 기동 중의 어플리케이션을 특정한다. 그리고 마스크 선택부(35)는, 마스크 기억부(41)를 참조하여, 특정한 어플리케이션에 대응하는 마스크를 선택한다.
어플리케이션이 특정되면, 그 어플리케이션에서는, 어떤 움직임이 제스처로서 입력되는 것인지가 한정된다. 예를 들어, 웹 열람 어플리케이션에서는, 상하 방향의 움직임이 입력되고, 서적 열람 어플리케이션에서는, 좌우 방향의 움직임이 입력되고, 음악 재생 어플리케이션에서는, 회전의 움직임이 입력된다.
예를 들어, 도 16에 나타내는 예에서는, TV 어플리케이션(TV_Channel)에는, 좌우 검출용 마스크가 대응시켜져 있다. 즉, 마스크 선택부(35)는, 스마트 폰(100)이 TV 어플리케이션을 기동 중이라고 판단한 경우에, 도 15에 나타내는 좌우 검출용 마스크를 선택한다.
마스크 선택부(35)가 좌우 검출용 마스크를 선택하면, 데이터 처리부(10)의 각 부는, 좌우 방향의 움직임을 효율적으로 또한 정확하게 인식할 수 있게 된다. 구체적으로는, 온도 정보 취득부(30)는, 유효한 영역의 적외선 센서로부터만 온도를 취득하고, 이후의 각 부도 각각의 처리를, 유효한 영역에 저장된 온도에 대해서만 실행한다.
TV 어플리케이션의 이용중, 사용자는 채널 변경을 위해 오로지 좌우 방향의 제스처를 입력하기 때문에, 좌우 방향의 움직임을 효율적으로 또한 정확하게 인식할 수 있게 하면, 스마트 폰(100)의 조작성을 향상시키는 것이 가능해진다.
또한, 어플리케이션과 마스크의 대응짓기에 관해, 도 16에 나타내는 예는 발명을 설명하기 위한 일례이며, 발명의 구성을 한정하는 의도는 없다. 어플리케이션에 대해서는 그 어플리케이션에 필요한 제스처를 고려하여, 미리 최적인 마스크와의 대응짓기를 행해 둔다.
이상과 같이, 마스크 선택부(35)가 선택하는 마스크는 상술한 각 움직임에 특화하고, 이를 효율적으로 또한 고정밀도로 제스처 인식하기 위해 설계된 마스크이다. 따라서, 어플리케이션마다 적합한 마스크를 선택함으로써, 그 어플리케이션에 대하여 입력되는 조작 제스처를 효율적으로 또한 고정밀도로 인식하는 것이 가능해진다.
또한, 마스크 선택부(35)는, 선택한 마스크에 기초하여, 유효한 센서의 번지를 특정하고, 유효한 번지의 센서로부터만 적외선 신호를 취득하도록 신호 처리부(7)의 신호 선택부(13)에 지시하는 구성이어도 된다. 혹은, 마스크 선택부(35)는, 유효한 번지의 센서로부터의 온도만을 처리하도록, 데이터 처리부(10)의 각 부에 지시하는 구성이어도 된다.
≪제2 실시 형태≫
상술한 실시 형태에서는, 온도 센서 칩(6)을 4×4의 적외선 센서를 배치한 구성으로 한 경우에, 거기에서 얻어진 4×4의 온도 정보를 처리하여 제스처를 인식하는 제스처 인식 장치(1)의 구성에 대해 설명했다.
그러나, 본 발명의 제스처 인식 장치(1)의 구성은, 상기에 한정되지 않는다. 온도 센서 칩(6)의 적외선 센서의 배치는, 어떻게라도 구성할 수 있다. 예를 들어, 정사각형에 한하지 않고 직사각형이나 원형 형상으로 적외선 센서를 배치하는 것도 가능하다. 또한, 배치하는 적외선 센서의 수를 늘려 온도 센서 칩(6)을 고해상도로 하여도 된다. 이 구성에 따르면, 온도 정보를 사용하는 것만으로, 복수의 대상물(예를 들어, 양손의 동작)을 검지하거나, 대상물의 위치뿐만 아니라 형상을 정밀하게 검지하거나 할 수 있다. 이로 인해, 화상 처리 기술과 같이 연산량이 방대해지지 않고, 보다 다양한 제스처를 식별하는 것이 가능해지고, 전자 기기에 대하여 복잡한 조작 입력을 행하는 것이 가능해진다.
이하에서는, 온도 센서 칩(6)은, 8×8＝64개의 적외선 센서가 배치되어 구성되어 있는 것으로 하고, 제스처 인식 장치(1)가, 64개의 센서의 온도를 처리하여 양손에 의한 제스처를 인식할 경우의 제스처 인식 장치(1)의 구성 및 제스처 인식 방법에 대해 설명한다. 또한, 설명의 편의상, 상술한 제1 실시 형태에서 설명한 도면과 같은 기능을 갖는 부재에 대해서는, 동일한 부호를 부기하고, 그 설명을 생략한다.
〔제스처 인식 장치의 구성〕
본 실시 형태에 있어서의 제스처 인식 장치(1)에 있어서, 데이터 처리부(10)는, 도 1에 나타내는 바와 같이, 또한, 편차 산출부(36)를 구비하는 구성이다.
편차 산출부(36)는, 좌표 배치부(31), 변화량 산출부(32), 무게 중심 결정부(33)가 생성한 각종 정보에 기초하여, 변화 영역의 편차를 산출하는 것이다. 편차 산출부(36)는, 변화 영역의 X축 방향의 편차(σx2)와, Y축 방향의 편차(σy2)를 산출한다.
우선, 제1 실시 형태에서 설명한 것과 마찬가지의 방법으로, 좌표 배치부(31)가, 8×8의 XY 좌표계에 온도 정보를 플롯한다. 도 17은, 좌표 배치부(31)가 각 센서로부터의 온도를 XY 좌표계에 플롯한 후의 온도 정보의 데이터 구조를 모식적으로 나타내는 도면이다.
다음으로, 변화량 산출부(32)가, 검지 타이밍마다 얻어진 XY 좌표계의 온도 정보에 기초하여, 검지 타이밍마다의 변화 영역을 특정한다. 도 18은, 각 검지 타이밍에 있어서의, 양손의 위치 관계와, 당해 타이밍에 있어서 취득된 온도 정보 및 변화 영역의 관계를 나타태는 도면이다.
양손이 서로 가까이 있는 타이밍 T1에 있어서는, XY 좌표계 T1에 나타내는 바와 같이, 변화 영역(망점의 영역)은 중앙에 모여 있다. 한편, 양손이 수평 방향으로 이격된 타이밍 T2에 있어서는, XY 좌표계 T2에 나타내는 바와 같이, 변화 영역은, 좌우 방향으로 흩어져 있다.
계속하여, 변화량 산출부(32)는, 좌표 위치마다 변화량 ΔT를 구하고, 또한, SUM을 구한다. 무게 중심 결정부(33)는, 변화량 ΔT 및 SUM에 기초하여, 검지 타이밍마다 무게 중심 G의 좌표 위치(Gx, Gy)를 결정한다. 도 19는, 도 18에 나타내는 타이밍 T1, T2의 타이밍에 있어서, 변화량 산출부(32)에 의해 생성된 정보와, 무게 중심 결정부(33)에 의해 생성된 정보와, 편차 산출부(36)에 의해 생성된 정보의 구체예를 나타내는 도면이다.
도 19에 나타내는 바와 같이, 각 좌표 위치의 변화량 ΔT(X, Y)와, 변화량의 합계 SUM과, 변화 영역의 무게 중심 G의 좌표 위치(Gx, Gy)가 구해지면, 이들의 값에 기초하여, 편차 산출부(36)는, 변화 영역의 편차를 산출한다. 구체적으로는, 편차 산출부(36)는, 변화 영역의 X축 방향의 편차(σx2)와, Y축 방향의 편차(σy2)를, 각각, 다음 식에 기초하여 산출한다. 다음 식이라 함은, 즉,
Figure pat00001
및,
Figure pat00002
이다.
도 19에 나타내는 예에서는, 상술한 식에 따라서, 편차 산출부(36)는, 타이밍 T1에 있어서의 X축 방향의 편차(σx2)를 2.394, Y축 방향의 편차(σy2)를 1.222로 산출한다. 또한, 타이밍 T2에 있어서의 편차(σx2)를 6.125, 편차(σy2)를 1.018로 산출한다.
마지막으로, 제스처 인식부(34)는, 편차 산출부(36)가 산출한 검지 타이밍마다의 편차의 추이와, 변화 영역의 면적의 추이에 기초하여, 양손의 제스처를 인식한다. 제1 실시 형태와 마찬가지로, 양손의 제스처 패턴도, 제스처 패턴 기억부(40)에 기억되어 있다.
도 20은, 본 실시 형태에 있어서의 제스처 패턴 기억부(40)에 기억되어 있는 제스처 패턴의 일례를 나타내는 도면이다.
도 20에 나타내는 바와 같이, 제스처 패턴 기억부(40)에는, 도 12에 나타내는 제스처 패턴에 더하여, 또한, 제스처 인식부(34)가 인식할 수 있는 몇 개의 양손의 제스처 패턴이 기억되어 있다. 양손을 사용하면, 사용자는, 양손의 거리를 바꿈(양손을 모으거나, 벌리거나 함)으로써, 여러 가지 종류의 제스처를 장치에 입력할 수 있다.
본 실시 형태에서는, 제스처 인식부(34)는, 편차 산출부(36)가 산출한 편차를 참조하여, 양손이 어느 방향으로 모아졌는지, 벌려졌는지를 식별할 수 있다.
제스처 인식부(34)는, 구체적으로는, 도 19의 예에 있는 바와 같이, 시간의 경과에 수반하여, X축 방향의 편차의 값이 증가한 경우, 양손이 수평 방향으로 벌려졌다고 판단한다. 반대로, 편차의 값이 감소한 경우, 양손이 벌려진 상태로부터, 수평 방향으로 모아졌다고 판단한다. 마찬가지로, 시간의 경과에 수반하여, Y축 방향의 편차의 값이 증가한 경우, 양손이 수직 방향으로 벌려졌다고 판단한다. 반대로, 편차의 값이 감소한 경우, 양손이 세로로 벌려진 상태로부터, 수직 방향으로 모아졌다고 판단한다.
또한, 제스처 인식부(34)는, X축 방향의 편차와 Y축 방향의 편차가 함께 증가한 경우에는, 양손이 비스듬한 방향으로 벌려졌는지, 혹은, 양손 간의 거리는 그대로이고 양손이 Z축 방향에서 장치에 가까워진 가능성이 있다고 판단한다. 이 경우, 제스처 인식부(34)는 또한, 변화 영역의 면적이 증가했는지의 여부에 의해, 비스듬한 방향으로 벌려졌는지, 가까워졌는지를 판단한다.
또한, 제스처 인식부(34)는 X축 방향의 편차와 Y축 방향의 편차가 함께 감소한 경우에는, 양손이 비스듬한 방향으로 모아졌는지, 혹은, 양손 간의 거리는 그대로이고 양손이 Z축 방향에서 장치로부터 멀어진 가능성이 있다고 판단한다. 이 경우, 제스처 인식부(34)는 또한, 변화 영역의 면적이 감소했는지의 여부에 의해, 비스듬한 방향으로 모아졌는지, 멀어졌는지를 판단한다.
또한, 제스처 인식부(34)는 X축 방향의 편차와 Y축 방향의 편차가 함께 그다지 변화되지 않은 경우에는, 양손의 거리는 변경되지 않고, 또한, Z축 방향으로도 움직여지고 있지 않다고 판단한다. 따라서, 이 경우에는, 제1 실시 형태의 한 손의 제스처 인식 수순을 적용할 수 있으므로, 도 14에 나타내는 수순으로, 양손이 X축 방향 또는 Y축 방향으로 어떻게 움직인 것인지를 판단한다.
〔제스처 인식 처리 흐름〕
도 21은 본 실시 형태의 제스처 인식부(34)에 의해 실행되는 제스처 인식 처리의 흐름을 상세하게 나타내는 흐름도이다.
우선, 도 13을 참조하면서, 본 실시 형태에 있어서의 데이터 처리부(10)의 각 부가 실행하는 제스처 인식 처리의 흐름을 설명하면, 제1 실시 형태와 다른 점은 S107에서, 또한, 편차 산출부(36)가 검지 타이밍마다 편차(σX2, σY2)를 구하는 점과, S108에서, 또한, 타이밍 Ti에 관련지어 편차(σX2, σY2)가 보존되는 점이다.
본 실시 형태에 있어서의 S111의 제스처 인식 처리에 대해, 도 21을 참조하면서 설명한다.
제스처 인식부(34)는 우선, 소정 기간(타이밍 T0 내지 Tn)의 타이밍 Ti마다, 편차(σX2, σY2)를 취득한다(S301). 그리고 편차의 값이 시간의 경과와 함께 어떻게 변화하는지(증가, 감소, 또는, 변화 없음)를 판단한다.
제스처 인식부(34)는 편차(σX2)에 변화가 있는 경우(S302에 있어서 아니오), 편차(σX2)가 증가 경향에 있는지 감소 경향에 있는지를 판단한다(S303).
제스처 인식부(34)는 편차(σX2)가 감소 경향에 있는 경우(S303에 있어서 아니오), 다음으로, 편차(σY2)가 감소 경향에 있는지 여부를 판단한다(S304).
편차(σY2)가 감소 경향에 없는 경우, 즉, 편차(σY2)가 증가 경향에 있든지, 또는, 변화 없음의 경우에는(S304에 있어서 아니오), X축 방향의 움직임을 기준으로 하여, 상기 소정 기간에 검지된 움직임을「03:양손을 좌우 방향으로 모은다」제스처로서 인식한다(S305). 한편, 편차(σY2)가 감소 경향에 있는 경우, 즉, 편차(σX2, σY2)가 함께 감소 경향에 있는 경우에는(S304에 있어서 예), 제스처 인식부(34)는, 타이밍 Ti마다, 변화 영역의 면적을 취득한다(S306). 그리고 변화 영역의 면적이, 시간의 경과와 함께 감소 경향에 있는지 여부를 판단한다(S307). 면적이 감소 경향에 없는 경우, 즉, 면적에 변화가 없는 경우에는(S307에 있어서 아니오), 상기 소정 기간에 검지된 움직임을「43:양손을 비스듬한 방향으로 모은다」제스처로서 인식한다(S308). 한편, 면적이 감소 경향에 있는 경우(S307에 있어서 예), 상기 소정 기간에 검지된 움직임을「21:손을 멀리한다」제스처로서 인식한다(S309).
한편, 제스처 인식부(34)는 편차(σX2)가 증가 경향에 있는 경우(S303에 있어서 예), 다음으로, 편차(σY2)가 증가 경향에 있는지 여부를 판단한다(S310).
편차(σY2)가 증가 경향에 없는 경우, 즉, 편차(σY2)가 감소 경향에 있는 또는, 변화 없음의 경우에는(S310에 있어서 아니오), X축 방향의 움직임을 기준으로 하여, 상기 소정 기간에 검지된 움직임을「02:양손을 좌우 방향으로 벌린다」제스처로서 인식한다(S311). 한편, 편차(σY2)가 증가 경향에 있는 경우 즉, 편차(σX2, σY2)가 함께 증가 경향에 있는 경우에는(S310에 있어서 예), 제스처 인식부(34)는 타이밍 Ti마다 변화 영역의 면적을 취득한다(S312). 그리고 변화 영역의 면적이 시간의 경과와 함께 증가 경향에 있는지 여부를 판단한다(S313). 면적이 증가 경향에 없는 경우 즉, 면적에 변화가 없는 경우에는(S313에 있어서 아니오), 상기 소정 기간에 검지된 움직임을「42:양손을 비스듬한 방향으로 벌린다」제스처로서 인식한다(S314). 한편, 면적이 증가 경향에 있는 경우(S313에 있어서 예), 상기 소정 기간에 검지된 움직임을「20:손을 가까이한다」제스처로서 인식한다(S315).
한편, 제스처 인식부(34)는 S302에 있어서, 편차(σX2)에 증감이 인정되지 않는 경우에는(S302에 있어서 예), 다음으로, 편차(σY2)의 증감의 유무를 판단한다(S316).
제스처 인식부(34)는 편차(σY2)에 변화가 없는 경우 즉, 편차(σX2, σY2)가 함께 증감이 없는 경우에는(S316에 있어서 예), 도 14에 나타내는 무게 중심의 궤적에 기초하는 제스처 인식 처리를 실행하여 제스처를 인식한다. 한편, 제스처 인식부(34)는 편차(σY2)에 변화가 있는 경우(S316에 있어서 아니오), 편차(σY2)가 증가 경향에 있는지 감소 경향에 있는지를 판단한다(S317).
제스처 인식부(34)는 편차(σY2)가 감소 경향에 있는 경우(S317에 있어서 아니오), 상기 소정 기간에 검지된 움직임을「13:양손을 상하 방향으로 모은다」제스처로서 인식한다(S318). 한편, 편차(σY2)가 증가 경향에 있는 경우(S317에 있어서 예), 제스처 인식부(34)는 상기 소정 기간에 검지된 움직임을「12:양손을 상하 방향으로 벌린다」제스처로서 인식한다(S319).
상기 구성 및 방법에 따르면, 제1 실시 형태와 비교하여, 보다 고해상도의 온도 정보(d1)를 취득함으로써, 복수의 대상물, 혹은, 대상물의 형상까지 인식하는 것이 가능해진다. 따라서, 화상 처리 기술과 같이 방대한 정보량을 취급하지 않아도, 더욱, 다종다양한 조작 입력을 행할 수 있는 입력 장치를 실현하는 것이 가능해진다.
또한 상술한 실시 형태에서는, 제스처 인식 장치(1)가 양손의 개폐 제스처를 인식하는 구성에 대해 설명했지만, 본 발명의 제스처 인식 장치(1)의 구성은 이에 한정되지 않는다. 본 발명의 제스처 인식 장치(1)는, 상기 수순에 기초하여, 한 손의 손가락의 개폐 제스처를 인식할 수 있다.
〔변형예 2〕
상술한 각 실시 형태에서는, 센서부(2)와 제스처 인식 장치(1)[스마트 폰 폰(100)]를 일체로 구성한 경우에 대해 설명했지만, 본 발명의 제스처 인식 장치(1)의 구성은 이에 한정되지 않는다.
예를 들어, 센서부(2)를 제스처 인식 장치(1)와는 달리 원격으로 설치하고, 적당한 통신 수단을 사용하여 센서부(2)의 검지 신호를 제스처 인식 장치(1)에 취득시키는 구성도 본 발명에 포함된다. 즉, 제스처 인식 장치(1)는, 센서부(2)를 구비하고 있지 않아도 되고, 이 경우에는, 센서부(2)로부터 검지 신호를 취득하는 적절한 통신 수단을 구비하고 있으면 된다.
본 발명은 상술한 각 실시 형태에 한정되는 것이 아닌, 청구항에 나타낸 범위에서 다양한 변경이 가능하고, 다른 실시 형태에 각각 개시된 기술적 수단을 적절하게 조합하여 얻어지는 실시 형태에 대해서도 본 발명의 기술적 범위에 포함된다.
마지막으로, 제스처 인식 장치(1)의 각 블록 특히, 데이터 처리부(10)의 각 부는, 하드웨어 로직에 의해 구성해도 되고, 다음과 같이 CPU를 사용하여 소프트웨어에 의해 실현해도 된다.
즉, 제스처 인식 장치(1)는 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU(central processing unit), 상기 프로그램을 저장한 ROM(read only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 저장하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고 본 발명의 목적은 상술한 기능을 실현하는 소프트웨어인 제스처 인식 장치(1)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터로 판독 가능하게 기록한 기록 매체를, 상기 제스처 인식 장치(1)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록 매체에 기록되어 있는 프로그램 코드를 판독하여 실행하는 것에 의해서도 달성 가능하다.
상기 기록 매체로서는 예를 들어, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록 상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광 디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함함)/광 카드 등의 카드계, 혹은 마스크 ROM/EPROM/EEPROM/플래시 ROM 등의 반도체 메모리계 등을 사용할 수 있다.
또한, 제스처 인식 장치(1)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를, 통신 네트워크를 통해 공급해도 된다. 이 통신 네트워크로서는, 특별히 한정되지 않고, 예를 들어, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상 전용망(virtual private network), 전화 회선망, 이동 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특별히 한정되지 않고, 예를 들어, IEEE 1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL 회선 등의 유선이어도, IrDA나 리모트 컨트롤러와 같은 적외선, Bluetooth(등록 상표), 802.11 무선, HDR, 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이어도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매립된 컴퓨터 데이터 신호의 형태에서도 실현될 수 있다.
본 발명의 제스처 인식 장치는, 스마트 폰, 휴대 전화, PDA, 휴대형 게임기, 전자 사전, 전자 수첩, 디지털 카메라, 디지털 비디오 카메라, 퍼스널 컴퓨터, 노트북 컴퓨터, 텔레비전, 녹화 생성 장치, 가정용 게임기 등의 각종 전자 기기에 탑재할 수 있고, 이들 전자 기기의 입력 기능을 담당할 수 있다. 특히, 프로젝터 기능을 구비한 전자 기기의 입력 장치로서, 매우 효과적으로 사용하는 것이 가능하다.
1 : 제스처 인식 장치
2 : 센서부
3 : 입력 제어부
4 : 기억부
5 : 커넥터부
6 : 온도 센서 칩(온도 센서)
7 : 신호 처리부
8 : 일시 기억부
10 : 데이터 처리부
11 : 통신 제어부
12 : AD 변환부
13 : 신호 선택부
14 : 신호 증폭부
21 : 기판
22 : 중간 케이스
23 : 렌즈
24 : 외부 케이스
30 : 온도 정보 취득부
31 : 좌표 배치부
32 : 변화량 산출부(변화 영역 특정 수단/변화량 산출 수단)
33 : 무게 중심 결정부(무게 중심 결정 수단)
34 : 제스처 인식부(제스처 인식 수단)
35 : 마스크 선택부(마스크 선택 수단)
36 : 편차 산출부(편차 산출 수단)
40 : 제스처 패턴 기억부
41 : 마스크 기억부
42 : 기준값 기억부
100 : 스마트 폰

Claims (8)

  1. 복수의 적외선 센서가 배치되어 구성된 온도 센서와,
    상기 온도 센서의 적외선 센서 각각이 검지한 온도에 기초하여, 온도 변화가 발생한 변화 영역을, 손을 나타내는 영역으로서 특정하는 변화 영역 특정 수단과,
    상기 변화 영역 특정 수단이 특정한 변화 영역의 이동 궤적을 특정하여, 손의 제스처를 인식하는 제스처 인식 수단을 구비하고 있는 것을 특징으로 하는, 제스처 인식 장치.
  2. 제1항에 있어서, 상기 변화 영역 특정 수단에 의해 특정된 변화 영역의 무게 중심을 결정하는 무게 중심 결정 수단을 구비하고,
    상기 제스처 인식 수단은, 상기 무게 중심의 위치를 추적함으로써 상기 이동 궤적을 특정하는 것을 특징으로 하는, 제스처 인식 장치.
  3. 제2항에 있어서, 적외선 센서 각각이 검지한 각각의 온도와, 소정의 기준 온도를 비교함으로써, 적외선 센서마다 온도 변화량을 산출하는 변화량 산출 수단을 구비하고,
    상기 무게 중심 결정 수단은, 적외선 센서마다 얻어진 상기 온도 변화량에 기초하여, 상기 변화 영역의 무게 중심을 결정하는 것을 특징으로 하는, 제스처 인식 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 복수의 적외선 센서에 있어서의 유효 무효인 배치 패턴을 나타내는 마스크를, 장치 스스로가 접속하는 전자 기기의 어플리케이션의 종류에 관련지어 기억하는 마스크 기억부와,
    상기 전자 기기가 기동 중의 어플리케이션에 관련되어 있는 마스크를 상기 마스크 기억부로부터 선택하는 마스크 선택 수단을 구비하고,
    상기 변화 영역 특정 수단은,
    상기 마스크 선택 수단에 의해 선택된 마스크가 유효로 하는 적외선 센서에 의해 검지된 온도만에 기초하여 변화 영역을 특정하는 것을 특징으로 하는, 제스처 인식 장치.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 변화 영역 특정 수단에 의해 특정된 변화 영역의 편차를 산출하는 편차 산출 수단을 구비하고,
    상기 제스처 인식 수단은, 시간의 경과에 수반하는 상기 편차의 증감에 기초하여, 제스처를 인식하는 것을 특징으로 하는, 제스처 인식 장치.
  6. 제5항에 있어서, 상기 제스처 인식 수단은,
    상기 변화 영역의 편차가 증가할 경우에, 양손 또는 손가락이 벌어지는 방향으로 움직였다고 인식하고, 상기 변화 영역의 편차가 감소할 경우에, 양손 또는 손가락이 모아지는 방향으로 움직였다고 인식하는 것을 특징으로 하는, 제스처 인식 장치.
  7. 복수의 적외선 센서가 배치되어 구성된 온도 센서로부터 적외선 센서마다의 온도를 취득하는 온도 취득 스텝과,
    상기 온도 취득 스텝에서 취득한, 상기 적외선 센서 각각이 검지한 온도에 기초하여, 온도 변화가 발생한 변화 영역을, 손을 나타내는 영역으로서 특정하는 변화 영역 특정 스텝과,
    상기 변화 영역 특정 스텝에서 특정한 변화 영역의 이동 궤적을 특정하여, 손의 제스처를 인식하는 제스처 인식 스텝을 포함하는 것을 특징으로 하는, 제스처 인식 방법.
  8. 컴퓨터를, 제1항 내지 제3항 중 어느 한 항에 기재된 제스처 인식 장치의 각 수단으로서 기능시키기 위한 제어 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.

KR1020110118799A 2010-12-08 2011-11-15 제스처 인식 장치, 제스처 인식 방법, 제어 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 KR101302910B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010273691A JP5617581B2 (ja) 2010-12-08 2010-12-08 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
JPJP-P-2010-273691 2010-12-08

Publications (2)

Publication Number Publication Date
KR20120089992A true KR20120089992A (ko) 2012-08-16
KR101302910B1 KR101302910B1 (ko) 2013-09-06

Family

ID=45442819

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110118799A KR101302910B1 (ko) 2010-12-08 2011-11-15 제스처 인식 장치, 제스처 인식 방법, 제어 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체

Country Status (5)

Country Link
US (1) US20120146903A1 (ko)
EP (1) EP2463751A3 (ko)
JP (1) JP5617581B2 (ko)
KR (1) KR101302910B1 (ko)
CN (1) CN102591452B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370263B1 (ko) * 2013-03-15 2014-03-04 전자부품연구원 제스처 기반의 전자기기 리모트 제어 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
KR20170008720A (ko) * 2014-02-17 2017-01-24 메타이오 게엠베하 제1 물체와 제2 물체 사이의 터치를 검출하기 위한 방법 및 디바이스
KR20170035240A (ko) * 2015-09-22 2017-03-30 삼성전자주식회사 영상 처리를 수행하기 위한 방법 및 그 전자 장치

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
JP2013080413A (ja) * 2011-10-05 2013-05-02 Sony Corp 入力装置、入力認識方法
US9587804B2 (en) 2012-05-07 2017-03-07 Chia Ming Chen Light control systems and methods
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
CN103513782A (zh) * 2012-06-20 2014-01-15 鸿富锦精密工业（深圳）有限公司 鼠标
DE102012107739B4 (de) * 2012-08-22 2023-11-02 Avago Technologies International Sales Pte. Ltd. Sensorsystem zum Erkennen einer Bewegung einer Infrarotlichtquelle
JP6019947B2 (ja) * 2012-08-31 2016-11-02 オムロン株式会社 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
US20140340498A1 (en) * 2012-12-20 2014-11-20 Google Inc. Using distance between objects in touchless gestural interfaces
TWI536259B (zh) * 2012-12-28 2016-06-01 緯創資通股份有限公司 手勢辨識模組及手勢辨識方法
TWI512544B (zh) * 2013-01-07 2015-12-11 Eminent Electronic Technology Corp Ltd 電子裝置的控制方法
US9300645B1 (en) * 2013-03-14 2016-03-29 Ip Holdings, Inc. Mobile IO input and output for smartphones, tablet, and wireless devices including touch screen, voice, pen, and gestures
DE102014106681B4 (de) 2013-05-24 2021-08-26 Pyreos Ltd. Schalterbetätigungseinrichtung, mobiles Gerät und Verfahren zum Betätigen eines Schalters durch eine Präsenz eines Wärme emittierenden Teils
CN103279191B (zh) * 2013-06-18 2016-01-06 北京科技大学 一种基于手势识别技术的3d虚拟交互方法及系统
US9423879B2 (en) * 2013-06-28 2016-08-23 Chia Ming Chen Systems and methods for controlling device operation according to hand gestures
US9477314B2 (en) 2013-07-16 2016-10-25 Google Technology Holdings LLC Method and apparatus for selecting between multiple gesture recognition systems
US9717118B2 (en) 2013-07-16 2017-07-25 Chia Ming Chen Light control systems and methods
KR20150028619A (ko) * 2013-09-06 2015-03-16 현대자동차주식회사 오인식 저감형 모션 인식 장치 및 그 방법
WO2015034453A1 (en) * 2013-09-06 2015-03-12 Latypov Ray Providing a wide angle view image
CN103472752B (zh) * 2013-09-17 2015-10-28 于金田 一种红外多档位手势识别开关及手势识别方法
CN105027031A (zh) * 2013-12-19 2015-11-04 谷歌公司 使用在无触摸手势界面中的物体之间的距离
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
US9430046B2 (en) * 2014-01-16 2016-08-30 Denso International America, Inc. Gesture based image capturing system for vehicle
US9600993B2 (en) * 2014-01-27 2017-03-21 Atlas5D, Inc. Method and system for behavior detection
GB2524247B (en) * 2014-03-17 2021-04-21 Sony Interactive Entertainment Europe Ltd Control of data processing
US10406967B2 (en) 2014-04-29 2019-09-10 Chia Ming Chen Light control systems and methods
US9639167B2 (en) 2014-05-30 2017-05-02 Eminent Electronic Technology Corp. Ltd. Control method of electronic apparatus having non-contact gesture sensitive region
JP6401268B2 (ja) * 2014-06-30 2018-10-10 クラリオン株式会社 非接触操作検出装置
US9990043B2 (en) * 2014-07-09 2018-06-05 Atheer Labs, Inc. Gesture recognition systems and devices for low and no light conditions
JP5682899B1 (ja) * 2014-08-04 2015-03-11 求 藤川 撮像装置、撮像装置の制御方法、調整装置、調整装置の制御方法、設定装置、設定装置の制御方法、装置プログラム
CN105571045A (zh) * 2014-10-10 2016-05-11 青岛海尔空调电子有限公司 一种体感识别方法、装置及空调控制器
CN104392204B (zh) * 2014-10-21 2018-03-09 北京智谷睿拓技术服务有限公司 姿态识别方法及姿态识别装置
DE102014116292A1 (de) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System zur Informationsübertragung in einem Kraftfahrzeug
CN104460987B (zh) * 2014-11-07 2019-05-28 惠州Tcl移动通信有限公司 可通过非接触手势操控的电子设备
KR101608906B1 (ko) * 2014-11-17 2016-04-04 구본훈 스마트 레이저 폰 제어 방법
KR101609263B1 (ko) * 2014-12-04 2016-04-05 현대모비스 주식회사 적외선을 이용하여 제스쳐를 인식하기 위한 장치 및 그 방법
US9338627B1 (en) 2015-01-28 2016-05-10 Arati P Singh Portable device for indicating emergency events
JP6534011B2 (ja) 2015-02-10 2019-06-26 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6603024B2 (ja) * 2015-02-10 2019-11-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6561400B2 (ja) * 2015-02-10 2019-08-21 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6519075B2 (ja) 2015-02-10 2019-05-29 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
WO2016168082A1 (en) * 2015-04-13 2016-10-20 Pi Konrad David Method and system for hand washing compliance
DE112016001794T5 (de) 2015-04-17 2018-02-08 Mitsubishi Electric Corporation Gestenerkennungsvorrichtung, Gestenerkennungsverfahren und Informationsverarbeitungsvorrichtung
DE102015006613A1 (de) * 2015-05-21 2016-11-24 Audi Ag Bediensystem und Verfahren zum Betreiben eines Bediensystems für ein Kraftfahrzeug
JP6614831B2 (ja) * 2015-07-10 2019-12-04 キヤノン株式会社 情報処理装置、及び、情報処理装置の電力状態を制御する方法
JP6841232B2 (ja) * 2015-12-18 2021-03-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN107199888A (zh) * 2016-03-18 2017-09-26 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
CN105867685A (zh) * 2016-03-28 2016-08-17 乐视控股（北京）有限公司 终端设备的控制方法和装置
US10338686B2 (en) * 2016-03-31 2019-07-02 Disney Enterprises, Inc. Control system using aesthetically guided gesture recognition
CN107330351A (zh) * 2016-04-28 2017-11-07 中华映管股份有限公司 姿态行为检测方法
CN105975073B (zh) * 2016-04-29 2019-07-02 广东美的制冷设备有限公司 手势识别方法、手势识别装置和设备
CN106289555B (zh) * 2016-07-22 2018-09-18 京东方科技集团股份有限公司 显示基板
JP7083809B2 (ja) 2016-08-02 2022-06-13 アトラス５ディー， インコーポレイテッド プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
JP2018530016A (ja) * 2016-08-30 2018-10-11 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． Ｖｒ制御方法、装置及び電子機器、プログラム、及び記録媒体
CN106406640B (zh) * 2016-09-30 2019-07-26 维沃移动通信有限公司 一种触摸操作确定方法及移动终端
CN106527711A (zh) * 2016-11-07 2017-03-22 珠海市魅族科技有限公司 一种虚拟现实设备的控制方法及虚拟现实设备
CN106527712A (zh) * 2016-11-07 2017-03-22 珠海市魅族科技有限公司 一种虚拟现实设备的信息处理方法及虚拟现实设备
CN106775415A (zh) * 2016-12-28 2017-05-31 珠海市魅族科技有限公司 应用程序启动方法及系统
CN106650704B (zh) * 2017-01-10 2020-10-13 广东美的制冷设备有限公司 手势识别模组、手势识别方法、装置和用电设备
US10649555B2 (en) * 2017-09-28 2020-05-12 Htc Corporation Input interface device, control method and non-transitory computer-readable medium
JP7061883B2 (ja) * 2018-01-22 2022-05-02 マクセル株式会社 画像表示装置および画像表示方法
JP2019175414A (ja) * 2018-03-28 2019-10-10 株式会社東海理化電機製作所 ジェスチャ入力装置
CN112292690A (zh) 2018-06-14 2021-01-29 奇跃公司 增强现实深度手势网络
CN109241932B (zh) * 2018-09-21 2021-07-06 长江师范学院 一种基于运动方差图相位特征的热红外人体动作识别方法
US10649539B1 (en) * 2019-03-05 2020-05-12 Motorola Mobility Llc Hand temperature compensation
US11450151B2 (en) * 2019-07-18 2022-09-20 Capital One Services, Llc Detecting attempts to defeat facial recognition
CN115877989A (zh) * 2022-11-14 2023-03-31 北京深光科技有限公司 触控识别方法、装置、电子设备及存储介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03164923A (ja) * 1989-11-24 1991-07-16 Nec Corp 座標出力装置
JPH07288875A (ja) * 1994-04-14 1995-10-31 Matsushita Electric Ind Co Ltd 人体動作認識センサ及び非接触型操作装置
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
KR19980037590A (ko) * 1996-11-22 1998-08-05 김영귀 오디오의 기능 스위치 구조
JP2002083302A (ja) * 2000-09-07 2002-03-22 Sony Corp 情報処理装置、動作認識処理方法及びプログラム格納媒体
JP2002116859A (ja) * 2000-10-11 2002-04-19 Sony Corp 情報処理装置、命令認識処理方法及びプログラム格納媒体
US8608548B2 (en) * 2002-06-12 2013-12-17 Igt Intelligent wagering token and wagering token tracking techniques
JP2005047331A (ja) * 2003-07-31 2005-02-24 Nissan Motor Co Ltd 制御装置
JP4857770B2 (ja) * 2003-11-18 2012-01-18 ソニー株式会社 入力装置及び入力方法、並びに電子機器
US7115871B1 (en) * 2005-08-25 2006-10-03 Inet Consulting Limited Company Field coverage configurable passive infrared radiation intrusion detection device
US8610670B2 (en) * 2006-08-31 2013-12-17 Japan Display West Inc. Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
US9317124B2 (en) * 2006-09-28 2016-04-19 Nokia Technologies Oy Command input by hand gestures captured from camera
KR20080098763A (ko) * 2007-05-07 2008-11-12 삼성전자주식회사 사용자의 파지 여부에 따라 적응적으로 동작하는 영상기기및 그의 동작제어방법
JP5104150B2 (ja) 2007-09-14 2012-12-19 オムロン株式会社 検知装置および方法、並びにプログラム
US8416198B2 (en) * 2007-12-03 2013-04-09 Apple Inc. Multi-dimensional scroll wheel
JP2009140368A (ja) * 2007-12-07 2009-06-25 Sony Corp 入力装置、表示装置、入力方法、表示方法及びプログラム
TW200930015A (en) * 2007-12-26 2009-07-01 Htc Corp A user interface of portable device and operating method thereof
US20090174679A1 (en) * 2008-01-04 2009-07-09 Wayne Carl Westerman Selective Rejection of Touch Contacts in an Edge Region of a Touch Surface
JP2009168647A (ja) 2008-01-17 2009-07-30 Omron Corp タッチセンサおよびタッチセンサの制御方法、並びにプログラム
CN101609362B (zh) * 2008-06-19 2011-07-20 大同股份有限公司 以视讯为基础的游标控制装置及其控制方法
JP4720874B2 (ja) * 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
TW201020856A (en) * 2008-11-25 2010-06-01 Asustek Comp Inc Electronic device of inputting touch free and input method thereof
JP5177075B2 (ja) * 2009-02-12 2013-04-03 ソニー株式会社 動作認識装置、動作認識方法、プログラム
KR20100095951A (ko) * 2009-02-23 2010-09-01 주식회사 팬택 휴대 전자기기 및 그것의 제어방법
JP5368134B2 (ja) 2009-02-25 2013-12-18 京セラ株式会社 携帯電子機器
US8212788B2 (en) * 2009-05-07 2012-07-03 Microsoft Corporation Touch input to modulate changeable parameter
US8304733B2 (en) * 2009-05-22 2012-11-06 Motorola Mobility Llc Sensing assembly for mobile device
WO2011013400A1 (ja) * 2009-07-30 2011-02-03 シャープ株式会社 携帯型表示装置およびその制御方法、プログラム、記録媒体
US8345022B2 (en) * 2009-12-08 2013-01-01 Getac Technology Corporation Linear compensation method of touch panel

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370263B1 (ko) * 2013-03-15 2014-03-04 전자부품연구원 제스처 기반의 전자기기 리모트 제어 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
KR20170008720A (ko) * 2014-02-17 2017-01-24 메타이오 게엠베하 제1 물체와 제2 물체 사이의 터치를 검출하기 위한 방법 및 디바이스
US10877605B2 (en) 2014-02-17 2020-12-29 Apple Inc. Method and device for detecting a touch between a first object and a second object
US11797132B2 (en) 2014-02-17 2023-10-24 Apple Inc. Method and device for detecting a touch between a first object and a second object
KR20170035240A (ko) * 2015-09-22 2017-03-30 삼성전자주식회사 영상 처리를 수행하기 위한 방법 및 그 전자 장치

Also Published As

Publication number Publication date
CN102591452A (zh) 2012-07-18
JP5617581B2 (ja) 2014-11-05
CN102591452B (zh) 2014-12-31
KR101302910B1 (ko) 2013-09-06
EP2463751A2 (en) 2012-06-13
US20120146903A1 (en) 2012-06-14
EP2463751A3 (en) 2014-06-18
JP2012123617A (ja) 2012-06-28

Similar Documents

Publication Publication Date Title
KR20120089992A (ko) 제스처 인식 장치, 제스처 인식 방법, 제어 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
JP5665140B2 (ja) 入力装置、入力方法、及びプログラム
CN102906671B (zh) 手势输入装置及手势输入方法
WO2006036069A1 (en) Information processing system and method
JP4609557B2 (ja) 情報処理装置及び情報処理方法
CN202584010U (zh) 一种腕上手势操控系统
CN1322329B (zh) 采用扫描传感器的输入设备
US8269842B2 (en) Camera gestures for user interface control
KR101547174B1 (ko) 정보처리장치 및 그 제어 방법
US20160124514A1 (en) Electronic device and method of controlling the same
US20190228139A1 (en) Method for recognizing fingerprint, and electronic device and storage medium therefor
CN102915111A (zh) 一种腕上手势操控系统和方法
CN102681656A (zh) 提供立体人机界面的电子互动装置以及方法
CN113168221B (zh) 信息处理设备、信息处理方法和程序
US20140267384A1 (en) Display apparatus and control method thereof
US20100110003A1 (en) System and method for simulating a computer mouse
CN112486394A (zh) 信息处理方法、装置、电子设备及可读存储介质
JP2013171529A (ja) 操作入力装置、操作判定方法およびプログラム
KR101365083B1 (ko) 모션 인식을 통한 인터페이스 장치 및 이의 제어방법
WO2011096571A1 (ja) 入力装置
CN110007748B (zh) 终端的控制方法、处理装置、存储介质及终端
US20120327118A1 (en) Display control apparatus, display control method and program
KR20140097876A (ko) 영상 촬영 제어 방법 및 장치
KR101491648B1 (ko) 촬영부를 이용한 원격 제어 시스템 및 방법
CN105528059A (zh) 一种三维空间手势操作方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160727

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180816

Year of fee payment: 6