KR20140029223A - 제스처 인식 장치, 그 제어 방법, 표시 기기, 및 제어 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 - Google Patents

제스처 인식 장치, 그 제어 방법, 표시 기기, 및 제어 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20140029223A
KR20140029223A KR1020130100110A KR20130100110A KR20140029223A KR 20140029223 A KR20140029223 A KR 20140029223A KR 1020130100110 A KR1020130100110 A KR 1020130100110A KR 20130100110 A KR20130100110 A KR 20130100110A KR 20140029223 A KR20140029223 A KR 20140029223A
Authority
KR
South Korea
Prior art keywords
gesture
user
face
recognition
gesture recognition
Prior art date
Application number
KR1020130100110A
Other languages
English (en)
Inventor
타카요시 야마시타
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20140029223A publication Critical patent/KR20140029223A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

[과제]
유저가 자연스러운 동작에 의해 제스처 인식을 시작시킬 수 있고, 또한, 유저에 의한 제스처 시작의 의도를 정확하게 판단할 수 있는 제스처 인식 장치를 제공한다.
[해결 수단]
시선방향 추정 수단(122)이 추정한 조작자의 시선방향이, 소정의 방향에서 거의 정지하고 있는 경우에, 의도 판정 수단(123)은, 유저가 제스처를 시작하려고 하고 있다고 판정한다. 피드백부(13)는, 의도 판정 수단(123)이, 상기 유저가 제스처를 시작하려고 하고 있다고 판정한 경우에, 그 판정이 행하여진 취지를 상기 유저에게 통지한다.

Description

제스처 인식 장치, 그 제어 방법, 표시 기기, 및 제어 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체{GESTURE RECOGNITION APPARATUS, CONTROL METHOD THEREOF, DISPLAY INSTRUMENT, AND COMPUTER READABLE RECORDING MEDIUM IN WHICH CONTROL PROGRAM IS RECORDED}
본 발명은, 인식 대상물의 동작으로부터 제스처를 인식하는 제스처 인식 장치, 그 제어 방법, 표시 기기, 및 제어 프로그램에 관한 것이다.
근래, 텔레비전 수상기, 퍼스널 컴퓨터, 또는 태블릿 단말 등의 표시 장치에, 조작자가 동작시키는 인식 대상물의 제스처를 인식하는 제스처 인식 장치를 조합시킨 표시 기기가 등장하여 오고 있다. 이와 같은 표시 기기에서, 조작자가 데이터 글로브 등의 특수한 장신구를 장착할 필요가 없고, 또한 조작자가 자연스럽고 스무스하게 자신의 조작을 당해 표시 기기에 대해 행할 수 있도록, 조작자의 손이나 손가락 등을 이용하여 행하는 제스처를 인식하는 제스처 인식 장치가 요망되고 있다. 또한, 현재의 제스처 인식 장치에서는, HMM(Hidden Markov Model ; 은닉 마르코브 모델) 또는 연속 DP(Continuous Dynamic Programming) 등을 이용한 제스처 인식이 행하여지고 있다.
여기서, 도 8을 이용하여, 종래의 제스처 인식 장치에서의 제스처 인식의 흐름을 설명하여 둔다. 동 도면에 도시하는 바와 같이, 종래의 제스처 인식에서는, 우선 조작자의 특정/결정이 행하여진다. 즉, 제스처 인식 장치는, 인식한 복수의 인물 중 어느 인물을 조작자로 하는지의 여부를 판단하거나, 또는, 인식한 인물이 미리 등록된 조작자 리스트에 포함되어 있는지 판단하거나 한다. 다음에, 조작자가, 제스처를 시작하는 것을 제스처 인식 장치에 전달한다. 구체적으로는, 조작자가, 예를 들면 손을 드는 등의 시작 동작을 행하면, 제스처 인식 장치가, 상기 시작 동작을 인식하여, 인식 대상물(예를 들면 조작자의 손, 포인터 등)의 제스처 인식을 행할 수가 있는 상태가 된다. 그 후, 제스처 인식 장치는, 상기 시작 동작의 후에 조작자가 인식 대상물을 이용하여 행하는 제스처를 인식한다.
상기한 바와 같은 제스처 인식 장치의 예로서, 특허 문헌 1에는, 특정 피사체의 이동 속도가 일정 이상 빠르다고 판단하고, 또한, 이동 패턴이 일정 범위 내에 수속하고 있다고 판단한 경우에, 제스처 인식 처리의 시작 또는 종료의 지시로서 식별하는 제스처 인식 장치가 개시되어 있다. 상기 제스처 인식 장치는, 구체적으로는, 유저의 손을 상기 특정 피사체로 하여, 고속의 손짓 등, 재빠르게 조금씩 움직이는 동작을 상기 특정 피사체로부터 검출한 경우에, 제스처 인식을 시작·종료하는 것이 나타나고 있다.
또한, 특허 문헌 2에는, 촬영한 화상을 해석함에 의해, 미리 정하여진 설정치에 근사하는 특징을 갖는 기준물을 검출하고, 또한 상기 기준물과의 상대적인 관계가 미리 정하여진 특정 조건을 충족시키는 물건을 인식 대상물로서 특정하는 인터페이스 장치가 개시되어 있다. 또한, 상기 기준물이란, 예를 들면 사람의 얼굴이고, 또한 상기 인식 대상물은, 예를 들면 그 사람의 얼굴의 일부를 덮은 손의 형상 및 색인 것이 나타나 있다.
일본 특개2011-192090호 공보(2011년 9월 29일 공개) 일본 특개2011-232894호 공보(2011년 11월 17일 공개)
그러나, 특허 문헌 1에 개시된 기술에서는, 당해 장치에 제스처 인식을 시작 또는 종료시킬 때마다, 유저가 손짓을 행할 필요가 있다.
또한, 특허 문헌 2에 개시된 기술에서는, 상기 기준물과의 상대적인 관계가 미리 정하여진 특정 조건을 충족시키는 물건이, 상기 인터페이스 장치에 의해 자동적으로 상기 인식 대상물로서 특정되기 때문에, 유저가 의도하지 않은 물건이 상기 인식 대상물로서 특정될 가능성이 있다는 문제가 있다.
본 발명은, 상기한 과제를 감안하여 이루어진 것이고, 그 목적은, 유저가 자연스러운 동작에 의해 제스처 인식을 시작시킬 수 있고, 또한, 유저에 의한 제스처 시작의 의도를 정확하게 판단할 수 있는 제스처 인식 장치 등을 제공하는 것에 있다.
본 발명에 관한 제스처 인식 장치는, 상기한 과제를 해결하기 위해, 유저가 촬영된 동화로부터, 그 유저에 의한 제스처를 인식하는 제스처 인식 장치에 있어서, 상기 유저의 시선(視線)방향을 추정하는 시선방향 추정 수단과, 소정 기간에서, 소정의 방향과 상기 시선방향과의 이루는 각도가 소정치보다도 작은 경우에, 상기 유저가 제스처를 시작하려고 하고 있다고 판정하는 판정 수단과, 상기 판정 수단이, 상기 유저가 제스처를 시작하려고 하고 있다고 판정한 경우에, 그 판정이 행하여진 취지를 상기 유저에게 통지하는 통지 수단을 구비한 것을 특징으로 하고 있다.
또한, 본 발명에 관한 제스처 인식 장치의 제어 방법은, 상기한 과제를 해결하기 위해, 유저가 촬영된 동화로부터, 그 유저에 의한 제스처를 인식하는 제스처 인식 장치의 제어 방법으로서, 상기 유저의 시선방향을 추정하고, 소정 기간에서, 소정의 방향과 상기 시선방향과의 이루는 각도가 소정치보다도 작은 경우에, 상기 유저가 제스처를 시작하려고 하고 있다고 판정하고, 상기 유저가 제스처를 시작하려고 하고 있다고 판정한 경우에, 그 판정이 행하여진 취지를 상기 유저에게 통지하는 것을 특징으로 하고 있다.
상기 구성 또는 방법에 의하면, 우선, 유저의 시선방향이 추정된다. 그리고, 추정된 시선방향이 소정의 방향에서 거의 정지하고 있는 경우에, 유저가 당해 제스처 인식 장치에 인식시키고 싶은 제스처를 시작하는 의도를 갖고 있다고 판정한다. 따라서, 유저는, 제스처를 시작하고 싶은 경우에, 시선의 방향을 소정의 방향으로 향할 뿐이면 좋고, 손짓 등의 번잡한 동작을 행할 필요가 없다. 따라서, 시선을 향한다는 자연스러운 방법에 의해, 당해 제스처 인식 장치에 제스처 시작의 의도를 전달하여, 제스처를 실행할 수 있다. 또한, 상기 소정의 방향이란, 예를 들면, 당해 제스처 인식 장치가 구비한 동화 촬영용의 카메라의 방향이다.
또한, 상기 구성 또는 상기 방법에 의하면, 소정의 방향과 유저의 시선방향과의 이루는 각도가 소정치보다도 작은 경우에, 시선방향이 거의 정지하고 있다고 간주된다. 따라서, 유저는, 제스처를 시작하는 의도를 당해 제스처 인식 장치에 통지하고 싶은 경우, 상기 소정의 방향, 예를 들면 카메라의 방향에 대해, 예를 들면 10° 이하의 범위 내에 포함되는 방향으로 시선을 향하면 좋다. 이와 같이, 시선방향이 정지하고 있다고 간주하는 방향에 어느 정도의 범위를 갖게 함에 의해, 시선방향의 흔들림이나, 시선방향 추정 수단에 의한 시선방향의 추정 오차 등이 있는 경우라도, 유저는 당해 제스처 인식 장치에 제스처 시작의 의도를 전달할 수 있다.
또한, 상기 구성 또는 상기 방법에 의하면, 유저는 제스처를 시작하는 의도를 갖고 있다고 판정된 경우에, 그 판정 결과가 유저에게 통지된다.
그 때문에, 유저는, 제스처를 시작하는 의도가 당해 제스처 인식 장치에 전달되었는지의 여부에 헤메는 일이 없다. 따라서, 유저는, 다음에 행하여야 할 동작이, 제스처 시작의 의도를 당해 제스처 인식 장치에 재차 전달하는 것인지, 또는 제스처를 시작하는 것인지를 적절하게 판단할 수 있다.
또한, 본 발명에 관한 제스처 인식 장치에 있어서, 상기 통지 수단은, 당해 제스처의 인식 시작 또는 종료의 적어도 어느 한쪽을 판정한 경우에도, 그 판정이 행하여진 취지를 상기 유저에게 통지하는 구성이라도 좋다.
상기 구성에 의하면, 제스처의 인식 시작 및/또는 종료를 판정한 경우에도, 그 판정 결과가 유저에게 통지된다. 그 때문에, 유저는, 각각의 판정 결과를 확인함에 의해, 제스처를 시작하거나 종료하거나 할 수 있다.
또한, 본 발명에 관한 제스처 인식 장치는, 동화에서 상기 유저의 얼굴의 위치를 검출하는 얼굴 검출 수단을 또한 구비하고, 상기 판정 수단은, 소정 기간에서, 소정의 방향과 상기 시선방향과의 이루는 각도가 소정치보다도 작음과 함께, 상기 얼굴 검출 수단에 의해 검출된 얼굴의 위치의 변화량이 소정치보다도 작은 경우에, 상기 유저가 제스처를 시작하려고 하고 있다고 판정하는 구성이라도 좋다.
또한, 본 발명에 관한 제스처 인식 장치는, 동화에서 상기 유저의 얼굴방향을 추정하는 얼굴방향 추정 수단을 또한 구비하고, 상기 판정 수단은, 소정 기간에서, 소정의 방향과 상기 시선방향과의 이루는 각도가 소정치보다도 작음과 함께, 상기 얼굴방향 추정 수단에 의해 추정된 얼굴방향과 소정의 방향과의 이루는 각도가 소정치보다도 작은 경우에, 상기 유저가 제스처를 시작하려고 하고 있다고 판정하는 구성이라도 좋다.
상기 구성에 의하면, 시선방향이 소정의 방향으로 정지하고 있고, 또한, 얼굴의 위치/얼굴의 방향이 정지하고 있는 경우에, 판정 수단은, 유저가 제스처 시작의 의도를 갖고 있다고 판정한다. 여기서, 제스처 시작의 의도를 당해 제스처 인식 장치에 전달하기 위해 상기 소정의 방향을 향하고 있을 때, 유저의 얼굴의 위치 및 얼굴방향은 정지하고 있다고 생각된다. 따라서, 단지 시선방향이 소정의 방향으로 정지하고 있는 것만을 제스처 시작의 의도의 판정 조건으로 하는 구성에 비하여, 얼굴의 위치/얼굴의 방향이 정지하고 있는 것도 상기 판정 조건에 더하여짐에 의해, 유저가 제스처를 시작하려고 하고 있는지의 여부를 보다 정확하게 판정할 수 있다.
또한, 본 발명에 관한 제스처 인식 장치는, 상기 제스처를 인식하는 영역인 인식영역을 설정하는 인식영역 설정 수단을 또한 구비한 구성이라도 좋다.
상기 구성에 의하면, 당해 제스처 인식 장치는, 동화상의 전체에서 제스처 인식을 행하는 것이 아니라, 동화상의 일부 영역을 상기 인식영역으로서 설정하고, 그 인식영역 내에서 제스처 인식을 행한다. 그 때문에, 인식 대상물의 제스처 인식을 실행할 때, 당해 제스처 인식 장치의 처리 부하를 저감할 수 있다.
또한, 본 발명에 관한 제스처 인식 장치는, 외부의 기기에 대해, 제스처의 인식 결과에 대응하는 처리를 실행하도록 지시하는 기기 제어 수단을 또한 구비한 구성이라도 좋다.
상기 구성에 의하면, 상술한 바와 같은 제스처의 인식 결과에 대응하는 처리가, 외부의 기기에서 실행된다. 상기 외부의 기기란, 예를 들면 표시 장치를 구비한 표시 기기이다. 이에 의해, 유저는, 상기 표시 기기 등의 외부의 기기를, 제스처로 조작할 수 있다.
또한, 상기 제스처 인식 장치는, 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터를 상기 각 수단으로서 동작시킴에 의해 상기 제스처 인식 장치를 컴퓨터에 실현시키는 제스처 인식 장치의 제어 프로그램도, 본 발명의 범주에 들어간다.
또한, 상기 제스처 인식 장치와, 상기 제스처 인식 장치가 유지하는 각종 정보를 유저에게 표시하기 위한 표시 장치를 구비하고, 상기 제스처 인식 장치에 의해 동작 제어가 행하여지는 표시 기기도 본 발명의 범위에 포함된다.
이상과 같이, 본 발명에 관한 제스처 인식 장치는, 유저가 동작시키는 인식 대상물이 촬영된 동화로부터, 그 인식 대상물에 의한 제스처를 인식하는 제스처 인식 장치에 있어서, 상기 유저의 시선방향을 추정하는 시선방향 추정 수단과, 소정 기간에서, 소정의 방향과 상기 시선방향과의 이루는 각도가 소정치보다도 작은 경우에, 상기 유저가 제스처를 시작하려고 하고 있다고 판정하는 판정 수단과, 상기 판정 수단이, 상기 유저가 제스처를 시작하려고 하고 있다고 판정한 경우에, 그 판정이 행하여진 취지를 상기 유저에게 통지하는 통지 수단을 구비하고 있다.
또한, 본 발명에 관한 제스처 인식 장치의 제어 방법은, 유저가 동작시키는 인식 대상물이 촬영된 동화로부터, 그 인식 대상물에 의한 제스처를 인식하는 제스처 인식 장치에 있어서, 상기 유저의 시선방향을 추정하고, 소정 기간에서, 소정의 방향과 상기 시선방향과의 이루는 각도가 소정치보다도 작은 경우에, 상기 유저가 제스처를 시작하려고 하고 있다고 판정하고, 상기 유저가 제스처를 시작하려고 하고 있다고 판정한 경우에, 그 판정이 행하여진 취지를 상기 유저에게 통지한다.
이에 의해, 본 발명에 관한 제스처 인식 장치 및 그 제어 방법은, 유저가 자연스러운 동작에 의해 제스처 인식을 시작시킬 수 있고, 또한, 유저에 의한 제스처 시작의 의도를 정확하게 판단할 수 있다는 효과를 이룬다.
도 1은 본 발명의 한 실시 형태에 관한 제스처 인식 장치의 구성을 도시하는 블록도.
도 2는 도 1에 도시하는 제스처 인식 장치의 동작을 도시하는 플로 차트.
도 3은 도 1에 도시하는 제스처 인식 장치가 구비한 제어 수단에 의해 설정되는 인식영역 및 얼굴 위치를 도시하는 모식도.
도 4(a) 및 (b)는, 도 1에 도시하는 제스처 인식 장치가 구비한 제어 수단에 의해 추정된 얼굴방향 및 시선방향을 도시하는 모식도로서, (a)는 조작자의 시선방향 및 얼굴방향이 정면을 향하고 있는 경우를 도시하고, (b)는 조작자의 시선방향 및 얼굴방향이 옆을 향하고 있는 경우를 도시하는 도면.
도 5는 본 발명의 다른 실시 형태에 관한 제스처 인식 장치의 구성을 도시하는 블록도.
도 6은 도 5에 도시하는 제스처 인식 장치의 동작을 도시하는 플로 차트.
도 7은 본 발명에 관한 제스처 인식 장치가 적용된 표시 기기를 도시하는 외관도.
도 8은 일반적인 제스처 인식의 흐름을 설명하는 설명도.
이하, 본 발명의 실시의 형태에 관해, 실시 형태 1 및 2에서 상세히 설명한다.
[실시 형태 1]
본 발명의 제스처 인식 장치(1)에 관한 실시의 한 형태에 관해 도 1 내지 도 4에 의거하여 설명하면 이하와 같다.
(제스처 인식 장치(1)의 구성)
우선, 제스처 인식 장치(1)의 구성에 관해, 도 1을 이용하여 설명한다. 동 도면은, 제스처 인식 장치(1)의 구성을 도시하는 블록도이다.
도 1에 도시하는 바와 같이, 제스처 인식 장치(1)는, 동화 촬영부(11), 제어 수단(12), 피드백부(통지 수단)(13), 및 기억부(14)를 구비하고 있다. 이하에, 상기한 각 부재의 상세를 각각 설명한다.
(1. 동화 촬영부(11))
동화 촬영부(11)는, 조작자(즉 유저)를 포함하는 공간의 화상을 촬영하는 것이다. 동화 촬영부(11)는, 보다 상세하게는, 제스처를 행하는 주체가 되는 조작자, 및, 제스처 인식의 대상이 되는 인식 대상물을 촬상하고, 동화 데이터를 생성한다. 또한, 동화 촬영부(11)는, 소정의 시간(예를 들면 1/15초)마다 촬영한 프레임 화상을, 후술하는 얼굴 검출 수단(121) 및 제스처 인식 수단(125)에 송출한다.
(2. 제어 수단(12))
제어 수단(12)은, 제스처 인식 장치(1)가 구비하는 각 부분을 통괄 제어하는 것이고, 얼굴 검출 수단(121), 시선방향 추정 수단(122), 의도 판정 수단(판정 수단)(123), 인식영역 설정 수단(124), 제스처 인식 수단(125), 및 표시 기기 제어 수단(126)을 포함하는 구성이다. 또한, 제어 수단(12)에 포함되는 각 수단에 관해서는, 그 상세를 후술한다.
(3. 피드백부(13))
피드백부(13)는, 제스처 인식 장치(1)의 인식 단계를 조작자에게 피드백하는 것이다. 상세하게는, 피드백부(13)는, 제어 수단(12)에 포함되는 의도 판정 수단(123), 인식영역 설정 수단(124), 및 제스처 인식 수단(125)으로부터 입력된 제어 신호에 의거하여, 상기 인식 단계마다, 유저에 대한 피드백을 행한다. 이에 의해, 조작자는, 자신의 조작이나 동작이, 제스처 인식 장치(1)에 인식되어 있는지의 여부를 이해할 수 있다.
이와 같은 피드백의 하나의 수법으로서, 본 실시 형태에 관한 제스처 인식 장치(1)에서는, 피드백부(13)가 LED를 구비하고 있고, 제스처 인식 장치(1)의 인식 단계마다 다른 색으로, 상기 LED를 발광시킨다.
상기 구성에 의하면, 의도 판정 수단(123)에 의한 후술하는 판정 결과가, LED의 색에 의해 유저에게 통지된다. 따라서, 유저는, 상기 LED의 색을 확인함에 의해, 제스처 인식 장치(1)에서, 상기한 각 판정이 행하여진 취지를 이해할 수 있다. 이에 의해, 유저는, 당해 제스처 인식 장치(1)에 대해 행하여야 할 적절한 조작을 판단할 수 있다.
또한, 피드백부(13)는, 제스처 인식 장치(1)의 그 밖의 구성물, 즉 동화 촬영부(11) 등과 일체로 된 구성이라도 좋고, 또는 동화 촬영부(11)로부터 분리한 위치에 배치할 수 있는 구성이라도 좋다. 또한, 상기 LED에 관해, 상기 LED에서의 점등·소등·점멸 등의 각 발광 상태를, 상기 인식 단계마다 다른 것으로 하는 구성으로 하여도 좋고, 또는, 상기 인식 단계를, 표시 장치(도시 생략)의 화면에 표시하는 구성으로 하여도 좋다. 또한, 표시 장치의 화면에 상기 인식 단계를 표시하는 경우, 그 표시의 방법으로서는, 예를 들면 색, 텍스트, 아이콘 등에 의한 것이라도 좋다. 또한, 이들 이외에도, 외부의 음성 출력 장치(도시 생략)로부터 출력하는 음성에 의해, 인식 단계가 변화할 때마다, 그 시점의 인식 단계를 유저에게 통지하는 구성이라도 좋다. 또한, 피드백부(13)는, 인식 단계마다 피드백을 행할 뿐만 아니라, 예를 들면, 인식 대상물이, 후술하는 인식영역(OE)으로부터 벗어나고 있는 경우, 또는, 제스처 인식 장치(1)가 제스처 인식에 실패한 경우 등에, 각각 피드백을 행하는 구성으로 하여도 좋다.
또한, 상기 인식 단계는, 예를 들면 이하와 같은 단계마다, 서로 구별된다.
단계 1 : 조작자를 발견하지 않은 단계(즉, 제스처 인식 장치(1)가 조작자의 특정/결정을 하지 않은 상태), 또는 조작자가 제스처 시작을 의도하고 있지 않다고 판정하고 있는 단계
단계 2 : 조작자가 제스처 시작의 의도를 갖는다고 판정한 단계(즉, 제스처 인식 장치(1)가, 조작자의 얼굴의 위치 및 시선방향으로부터, 조작자가 제스처 시작을 의도하고 있다고 판정한 단계)
단계 3 : 인식 대상물의 인식을 완료한 단계(즉, 제스처 인식 장치(1)가, 인식영역(OE) 내에서 인식 대상물을 검출한 단계)
단계 4 : 제스처 인식이 완료된 단계(즉, 제스처 인식 장치(1)가 인식 대상물에 의한 제스처 인식 처리를 종료한 단계)
(4. 기억부(14))
기억부(14)는, 제스처 인식 장치(1)가 취급하는 각종 데이터를 기억하는 것이고, 데이터를 휘발적으로 기억하는 일시 기억부와, 데이터를 불휘발적으로 기억하는 기억 장치를 포함한다. 상기 일시 기억부는, 제스처 인식 장치(1)가 실행하는 각종 처리의 과정에서, 연산에 사용하는 데이터 및 연산 결과 등을 일시적으로 기억하는 이른바 워킹 메모리이고, RAM 등으로 구성된다. 또한, 상기 기억 장치는, 제어 수단(12)이 실행하는 제어 프로그램 및 OS 프로그램, 및, 제스처 인식 장치(1)가 갖는 각종 기능을 실행할 때에 판독하는 각종 데이터를 기억하는 것이고, ROM 등으로 구성된다.
(제어 수단(12)의 상세한 구성)
여기서는, 제어 수단(12)의 상세한 구성에 관해, 도 1을 이용하여 설명한다.
(1. 얼굴 검출 수단(121))
얼굴 검출 수단(121)은, 동화 촬영부(11)가 촬영한 화상을 취득하고, 그 화상 중으로부터 인간의 얼굴 및 얼굴 위치(FE)(즉 화상중에서 얼굴이 점유하는 영역 ; 도 3 참조)를 검출하는 것이다. 그리고, 얼굴 검출 수단(121)은, 각 프레임 화상에서 추정한 얼굴 위치(FE)를, 기억부(14)에 기억한다. 화상 중으로부터 인간의 얼굴을 추출하려면, 주지의 얼굴 검출 기술을 이용하면 좋다. 예를 들면, 우선 템플릿 매칭을 병용하여 살색 영역을 추출하고, 다음에 상기 살색 영역에서의 색의 변화에 의거하여 눈썹 및 입의 위치를 추정하고, 추정한 눈썹·입을 포함하면서 화상의 종횡 방향과 평행한 변을 갖는 최소의 정방형의 영역을, 얼굴 위치(FE)로서 설정하여도 좋다.
(템플릿 매칭에 관해)
상기 템플릿 매칭이란, 입력 화상 등의 샘플에 관해, 미리 준비한 모델과의 일치(매칭)의 정도를 계산하는 방법인 것이다.
이하에, 템플릿 매칭 처리의 흐름을 간단하게 설명한다. 또한, 템플릿 매칭을 위해, 얼굴형상의 템플릿을 미리 기억부(14)에 기억하여 둔다.
우선, 화상으로부터 추출한 살색 영역의 부분과, 기억부(14)에 준비한 얼굴형상의 템플릿을 비교한다. 그리고, 상기 살색 영역 중, 상기 템플릿과의 유사도가 소정치보다도 작은 부분은, 인간의 얼굴에는 상당하지 않는다고 판정하여 제외한다. 그 후, 남은 살색 영역, 즉 상기 템플릿과의 유사도가 소정치 이상의 영역에 관해, 후술하는 제스처 인식 처리가 행하여지게 된다. 또한, 템플릿으로서, 서로 다른 복수의 템플릿이 존재하는 것이 바람직하다. 이 경우, 템플릿 매칭 처리에서는, 각 템플릿에 관해 샘플과의 매칭이 계산되고, 샘플과의 유사도가 소정치 이상인 템플릿이 존재하면, 이 샘플은 인간의 얼굴에 상당한다고 판정되게 된다.
(2. 시선방향 추정 수단(122))
시선방향 추정 수단(122)은, 조작자의 시선방향(LV)(도 4의 (a) 및 (b) 참조)을 추정하는 것이다. 또한, 시선방향 추정 수단(122)은, 동화 촬영부(11)가 촬영한 모든 프레임 화상마다, 또는 소정의 매수의 프레임 화상마다 추정한 시선방향을 기억부(14)에 기억한다.
(시선방향 추정에 관해)
시선방향의 추정은, 이하와 같이 하여 실현하여도 좋다.
시선방향 추정 수단(122)은, 우선, 얼굴 위치(FE)에 대응하는 화상 영역에서, 눈의 위치를 추출한다. 얼굴 위치(FE)로부터 눈을 추출하기 위해서는, 얼굴 위치(FE)의 중에서, 가장 휘도가 높은 영역을 추출하면 좋다. 이에 의해, 일반적으로는 흰자위의 영역이 추출된다. 추출된 흰자위의 윤곽에 의해 둘러싸지는 영역이, 눈의 영역으로 된다. 계속해서, 시선방향 추정 수단(122)은, 홍채를 추출하다. 또한, 홍채는, 휘도가 높은 영역인 흰자위를 주변 영역으로 하는 영역으로서, 또한 휘도가 낮은 영역을 추출함에 의해 발견할 수 있다. 이와 같이, 눈 및 홍채를 추출한 후, 시선방향 추정 수단(122)은, 눈의 영역에서의 홍채의 좌우 방향의 치우침으로부터, 시선방향을 추정한다. 예를 들면, 도 4의 (a)에서는, 조작자의 시선은 전방 즉 동화 촬영부(11)의 방향을 향하고 있다. 한편, 도 4의 (b)에서는, 조작자의 시선은 동화 촬영부(11)의 왼쪽(즉 조작자로부터 보아 오른쪽)을 향하고 있다.
(3. 의도 판정 수단(123))
의도 판정 수단(123)은, 얼굴 위치(FE) 및 시선방향(LV)을 기억부(14)로부터 취득한다. 의도 판정 수단(123)은, 상세하게는, 연속하는 복수의 프레임 화상(예를 들면 30프레임 화상)에서의 얼굴 위치(FE) 및 시선방향(LV)을 취득한다. 그리고, 의도 판정 수단(123)은, 취득한 프레임 화상 사이에서의 얼굴 위치(FE)의 변화량에 의거하여, 조작자의 얼굴의 위치가 정지하고 있는지를 판정하고, 또한, 프레임 화상 사이에서의 시선방향(LV)의 변화량에 의거하여, 조작자의 시선방향이 정지하고 있는지의 여부를 판정한다. 여기서, 조작자는, 제스처 인식 장치(1)에 제스처를 인식시키고 싶은 경우, 동화 촬영부(11) 즉 카메라를 응시한다. 그 때문에, 조작자가 제스처 시작을 의도하고 있는 경우, 조작자의 얼굴의 위치는 정지하고, 또한, 조작자의 시선방향은 동화 촬영부(11)를 향하여 정지한다. 그래서, 의도 판정 수단(123)은, 소정수의 연속하는 프레임 화상에서, 소정의 방향과 시선방향(LV)과의 이루는 각도가 소정치보다 작고(조건(A)), 또한, 얼굴 위치(FE)의 변화량이 소정치보다도 작은(조건 B) 경우에, 조작자가 제스처의 시작을 의도하고 있다고 판정한다.
상세하게는, 의도 판정 수단(123)은, 이하의 2개의 의도 판정 조건이 모두 채워지는 경우에, 조작자가 제스처의 의도를 갖는다고 판정한다.
조건(A). 시선방향이, 연속하는 30프레임 화상에서, 동화 촬영부(11)와 정면으로 맞서는 방향에 대해 10°의 각도 범위 내에 존재한다. 즉, 시선방향이, 연속하는 30프레임 화상에서, 홍채의 중심을 정점(頂点)으로 하고, 홍채의 중심과 동화 촬영부(11)를 잇는 기준 직선의 주위에 10°의 각도로 퍼지는 원추에 포함된다.
조건 B. 얼굴 위치(FE)의 중심(中心)(또는 중심(重心) 등 소정의 1점)이, 연속하는 30프레임 화상에서, 얼굴 위치(FE)의 폭(좌우 길이)의 10%의 길이를 지름으로 하는 하나의 원에 포함된다.
단, 의도 판정 수단(123)이, 조작자에 의한 제스처 시작의 의도를 판정하는 조건은 이것으로 한정되지 않는다. 예를 들면, 상기 조건 A에서, 조작자의 시선이, 동화 촬영부(11) 대신에 피드백부(13)(도 7 참조)를 향하여 정지하고 있는지의 여부를 판정하여도 좋다. 또는, 그 밖의 소정 방향 또는 복수의 소정 방향 중 어느 하나의 방향에, 조작자의 시선이 정지하고 있는 것을 판정하여도 좋다. 또한, 상기 조건 A 및 B에서, 원추의 각도/원의 지름의 크기는, 조작자의 시선방향/얼굴 위치가 정지하고 있다고 간주할 수 있는 범위 내에서 변경하여도 상관없다. 또한, 원추의 각도/원의 지름을 크게 할수록, 조작자의 시선방향/얼굴 위치가 크게 움직이고 있고, 조작자가 제스처 시작의 의도를 갖는다고는 생각하기 어려운 경우라도, 제스처 인식 장치(1)에 의한 제스처 인식이 시작되게 된다. 역으로, 상기 원추의 각도 또는 상기 원의 지름을 좁게 할수록, 조작자의 시선방향 또는 얼굴 위치가 거의 움직이고 있지 않은 경우에만, 제스처 인식 장치(1)에 의한 제스처 인식 처리가 시작되게 된다.
(4. 인식영역 설정 수단(124))
인식영역 설정 수단(124)은, 얼굴 위치(FE)의 주변, 상세하게는 얼굴 위치(FE)의 좌우의 위치에, 인식영역(OE1, OE2)을 설정하는 것이다(도 3 참조). 또한, 인식영역(OE1, OE2)의 크기는, 그 각 변의 길이가, 얼굴 위치(FE)의 대응하는 각 변의 길이의 1.5배가 되도록 설정된다. 그리고, 인식영역 설정 수단(124)은, 인식영역(OE1 및 OE2) 내에서, 인식 대상물(예를 들면 조작자의 손)을 추출하다. 또한, 조작자가, 대강 얼굴의 옆에 상당하는 위치에서 인식 대상물을 조작하는 경우, 인식영역(OE1, OE2)은, 그 높이 방향의 범위가, 얼굴 위치(FE)의 높이 방향의 범위를 포함하고 있는 것이 바람직하다. 예를 들면, 인식영역(OE1 및 OE2)의 높이 방향에 관한 중심선이, 얼굴 위치(FE)의 높이 방향에 관한 중심선과 일치하도록, 인식영역(OE1, OE2)을 설정한다. 이렇게 함에 의해, 인식영역(OE1, OE2)의 높이 방향의 중심과 얼굴 위치(FE)의 높이 방향의 중심이 일치한다. 또한, 전술한 바와 같이, 인식영역(OE1, OE2)의 변의 길이는 얼굴 위치(FE)의 변의 길이의 1.5배이다. 따라서, 인식영역(OE1, OE2)의 높이 방향의 범위가, 얼굴 위치(FE)의 높이 방향의 범위를 포함하게 된다.
상기 구성에 의하면, 유저의 얼굴의 좌우가 되는 위치에 인식영역(OE1, OE2)이 설정되다. 따라서, 유저는, 자신의 손을 인식 대상물로 하여 제스처를 행하는 경우, 자신의 얼굴의 좌우 어느 하나의 위치에 손을 들면 좋게 된다. 즉, 유저는, 자신의 얼굴의 좌우 어느 한쪽에 손을 든다는 자연스러운 행동으로, 제스처를 행할 수가 있다.
또는, 인식영역 설정 수단(124)은, 인식 대상물이 조작자의 손인 경우, 이하와 같이, 조작자의 손(손가락)을 발견한 후에 인식영역(OE')을 설정하여도 좋다.
인식영역(OE')의 설정에서, 우선, 인식영역 설정 수단(124)은, 얼굴 위치(FE)의 주변의 영역을, 탐색 영역으로서 설정한다. 상기 탐색 영역은, 예를 들면, 얼굴 위치(FE)의 좌우의 측변의 한쪽부터, 화상의 측단(側端)중 그 측변에 가까운 측단까지의 영역이라도 좋고, 또는, 얼굴 위치(FE)를 제외한 화상 영역의 전체라도 좋다.
다음에, 인식영역 설정 수단(124)은, 상기 탐색 영역 내에서, 연속하는 프레임 화상의 배경 차분(差分)을 행함에 의해, 얼굴 위치(FE)를 제외한 화상 영역에서 전경(前景)을 추출한다. 다음에, 인식영역 설정 수단(124)은, 추출한 전경에서의 선단부(보다 정확하게는 상단부)를 추출한다. 여기서, 선단부(상단부)를 추출하려면, 예를 들면, 종방향으로는 소정 이상의 길이로 같은색(同色)(예를 들면 살색)이 연속하는 한편, 횡방향으로 상기 같은색이 연속하는 길이는 소정 미만인 길고 가는 형상의 영역을 추출하면 좋다. 예를 들면, 도 3에 도시하는 바와 같이, 얼굴 위치(FE)의 횡측으로, 조작자가 검지(人指)를 세운 상태인 경우, 인식영역 설정 수단(124)은, 얼굴 위치(FE)를 제외한 화상 영역에서 전경을 추출함에 의해 조작자의 손을 추출한다. 다음에, 인식영역 설정 수단(124)은 전경의 선단부를 추출함에 의해, 조작자의 검지의 선단을 추출하게 된다. 그 후, 인식영역 설정 수단(124)은, 추출한 검지의 선단을 중심으로 하여 인식영역(OE')을 설정한다. 또한, 인식영역(OE')의 크기는, 인식영역(OE1, OE2)과 마찬가지로 얼굴 위치(FE)의 각 변에 대한 각 변이 각각 1.5배의 길이를 갖는 정방형으로 한다.
상기 구성에 의하면, 인식영역 설정 수단(124)은, 우선, 화상으로부터 전경이 되는 영역을 추출하고, 다음에, 추출한 전경 영역에서 특정 형상을 갖는 특정 부위(검지의 선단)를 검출하여, 상기 특정 부위의 특정 위치를 중심으로 하는 인식영역(OE')을 설정한다. 여기서, 유저가 제스처를 실행할 때, 제스처 인식 장치(1)의 직전에 유저가 있고, 제스처 인식 장치(1)와 유저와의 사이에 다른 물체가 존재하지 않는 상태가 된다고 생각되고, 화상에서는, 유저의 얼굴 및 인식 대상물이 전경이 된다고 생각된다. 그 때문에, 인식영역 설정 수단(124)이 화상으로부터 유저의 얼굴을 제외한 전경 영역을 추출함에 의해, 인식 대상물(유저의 손)이 추출되게 된다.
다음에, 상기 전경 영역 즉 인식 대상물의 특정 형상이 검출된다. 또한, 상기 특정 형상은, 유저가 제스처를 행하는 손의 형상, 예를 들면, 본 실시 형태와 같이, 검지만을 편 손의 형상으로 하여도 좋다. 또한, 상기 특정 부위의 특정 위치는, 예를 들면, 본 실시 형태와 같이, 검지의 선단으로 하면 좋다. 이 경우에는, 유저의 손의 검지를 중심으로 하여, 조작 영역(OE')이 설정되게 된다.
따라서 유저는, 자신에게 있어서 제스처를 행하기 쉬운 소망하는 위치까지, 상기 특정 부위를 가져옴에 의해, 인식영역 설정 수단(124)에, 소망하는 위치를 중심으로 하여 조작 영역(OE')을 설정시킬 수 있다.
여기서, 인식영역(OE')의 설정을 행할 때, 추출된 전경에서의 프레임 화상 사이의 차분이 소정치보다도 작아질 때까지, 전경의 선단부를 결정하지 않는 것이 바람직하다. 그 이유는, 전경에서의 프레임 화상 사이의 차분이 큰 때, 조작자는, 제스처를 행하려고 한 소망하는 위치, 예를 들면 얼굴의 옆의 위치까지, 인식 대상물을 이동시키고 있는 도중인 것이 생각된다. 그 경우, 인식 대상물이 이동중에 인식영역이 설정되기 때문에, 그 설정 위치가 조작자의 소망하는 위치와는 다른 위치로 될 가능성이 있기 때문이다.
(5. 제스처 인식 수단(125))
제스처 인식 수단(125)은, 인식영역(OE1 및 OE2) 내에서, 인식 대상물의 위치, 형상, 및 변위를 인식한다. 인식 대상물의 인식의 방법으로서는, 예를 들면, 프레임 화상마다 손의 위치의 변위를 추출하는 방법, 또는 HMM 등의 모델을 이용한 방법 등을 들 수 있다.
(제스처 인식에 관해)
제스처 인식을 행하기 위해, 상술한 바와 같이, 프레임 화상 사이에서 인식 대상물의 위치의 변위를 측정하는 방법, 및/또는 HMM을 이용한 방법을 사용할 수 있다. 상세하게는, 인식 대상물의 위치의 변위를 측정하는 방법에 의하면, 조작자가 인식 대상물을 이동시키면, 제스처 인식 장치(1)와 접속되어 있는 표시 장치에 표시된 포인터(P)를, 인식 대상물이 이동한 방향·거리로 움직인다는 처리가 가능해진다. 또한, HMM을 이용한 방법에서는, 우선, 제스처 인식 장치(1)가 인식하는 제스처의 종류마다의 모델을, 데이터베이스로 하여 기억부(14)에 기억하여 둔다. 그 후, 제스처 인식 장치(1)에 입력된 화상에 대해, 제스처 인식 수단(125)은, 상기 데이터베이스에 포함되는 각 모델의 우도(尤度)를 계산한다. 그 결과, 입력 화상에 대한 우도치가 소정치 이상인 하나 또는 복수의 모델이 발견된 경우, 제스처 인식 수단(125)은, 그들 모델 중 우도가 가장 높은 모델에 대응하는 제스처를, 입력 화상으로부터 인식한 제스처로 한다.
(6. 표시 기기 제어 수단(126))
표시 기기 제어 수단(126)은, 제스처 인식 장치(1) 외부의 표시 기기에서, 제스처 인식 수단(125)에 의한 제스처 인식의 결과에 대응하는 처리를 실행하는 것이다. 상세하게는, 표시 기기 제어 수단(126)은, 우선, 기억부(14)에 기억된, 제스처의 종류마다 각각 대응하는 처리 내용을 나타내는 제스처-처리 내용 대응 테이블을 참조한다. 이에 의해, 표시 기기 제어 수단(126)은, 상기 표시 기기에서, 제스처 인식 수단(125)에 의한 제스처의 인식 결과에 대응하는 처리를 실행한다.
도 7을 참조하면서, 표시 기기 제어 수단(126)에 의한 표시 기기(1000)의 제어를 설명하면, 표시 기기 제어 수단(126)은, 우선, 제스처 인식 결과에 의거하여 결정한 처리 내용을 지시하는 제어 신호를, 표시 기기(1000)가 구비한 제어 기능부(도시 생략)에 송신한다. 그러면, 상기 제어 기능부는, 표시 기기 제어 수단(126)이 송신한 제어 신호를 수신하여, 상기 처리 내용을 실행한다. 상기 처리 내용이란, 예를 들면, 인식 대상물의 변위의 인식 결과에 의거하여, 표시 장치(2)에 표시된 포인터(P)를 이동시키는 처리이다. 또는, 조작자가 손으로 소정의 형상을 만드는 제스처를 행하는 것을 인식한 경우에, 상기 포인터(P)와 겹쳐지는 위치에 표시되어 있는 아이콘이 선택되는 처리라도 좋다. 이와 같이, 조작자는, 표시 장치(2)의 화면에 접촉하는 일 없이, 인식 대상물을 이용한 간단한 조작에 의해, 표시 기기(1000)의 조작을 행할 수가 있다.
(7. 기타 수단에 관해)
또한, 제어 수단(12)은, 이상에 설명한 각 수단 외에, 얼굴 검출 수단(121)이 검출한 인물을 조작자로서 인정하는지의 여부를 결정하고, 또한, 복수의 조작자 후보가 존재하는 경우에, 어느 인물을 조작자로서 인정하는지의 여부를 결정하는 얼굴 인증 수단(도시 생략)을 또한 포함하고 있어도 좋다. 예를 들면, 얼굴 검출 수단(121)에 의해 복수의 얼굴이 검출된 경우, 상기 얼굴 인증 수단은, 검출된 각각의 얼굴의 특징을 추출하여, 기억부(14)에 미리 기억한 조작자 리스트(조작자로서 인정하는 인물)에 포함되는 인물의 얼굴의 특징과 일치하는지의 여부를, 각각 판정한다. 이때, 조작자 리스트에 포함되는 인물에는 우선 순위가 설정되어 있고, 상기 얼굴 인증 수단은, 얼굴 검출 수단(121)이 검출한 모든 인물의 중에서, 우선 순위의 가장 높은 인물을 조작자로서 인정한다. 또는, 복수의 얼굴이 검출된 경우, 상기 얼굴 인증 수단은, 화상에서 얼굴이 가장 큰 영역을 차지하는 인물(즉, 동화 촬영부(11)에 가장 가까운 위치에 있는 인물)을 조작자로서 인정하여도 좋다. 또한, 상기 얼굴 인증 수단은, 얼굴 검출 수단(121)이 검출한 인물이 상기 조작자 리스트에 포함되지 않는다고 판정한 경우에는, 그 인물을 조작자로서 인정하지 않아도 좋다.
(제스처 인식 처리의 흐름)
여기서는, 제어 수단(12)에 의해 실행되는 제스처 인식 처리의 흐름에 관해, 도 2를 이용하여 설명한다. 제스처 인식 처리에서는, 조작자의 얼굴의 위치와 시선의 방향에 의거하여, 조작자가 제스처 시작의 의도를 갖는지의 여부를 판정하고, 조작자가 제스처 시작의 의도를 갖는다고 판정한 경우에, 제스처 인식을 시작한다. 이하에, 도 2에 도시하는 플로 차트에 따라, 제스처 인식 처리의 상세를 설명한다. 또한, 여기서는, 조작자가 취급하는 인식 대상물은 조작자 자신의 손이라고 한다.
여기서, 초기 상태에서, 피드백부(13)가 구비한 LED는 소등되어 있는 상태이다. 또한, 그 밖의 구성례로서, 초기 상태에서, 피드백부(13)는, 제스처 인식 장치(1)가 대기 상태인 것을 나타내는 색으로, 상기 LED를 발광시키고 있어도 좋다.
그런데, 제스처 인식 처리에서는, 우선, 얼굴 검출 수단(121)이 얼굴 검출을 실행한다(S101). 또한, 얼굴 검출의 방법은 전술한 바와 같다. 그리고, 얼굴 검출 수단(121)은, 검출한 얼굴이 점유하는 화상 영역을, 얼굴 위치(FE)로서 설정한다. 얼굴 검출 수단(121)은, 프레임 화상마다 검출한 얼굴 위치(FE)의 데이터를 기억부(14)에 기억한다.
다음에, 시선방향 추정 수단(122)이, 조작자의 시선방향을 추정한다(S102). 상세하게는, 시선방향 추정 수단(122)은, 상기 얼굴 위치(FE)에서, 전술한 바와 같이, 눈 및 홍채를 추출한 후, 그들에 의거하여 시선방향을 추정한다. 시선방향 추정 수단(122)은, 프레임 화상마다 추정한 시선방향의 데이터를 기억부(14)에 기억한다.
그 후, 의도 판정 수단(123)은, 시선방향이 정지하고 있는지의 여부를 판정한다(S103). 상세하게는, 의도 판정 수단(123)은, 연속하는 복수의 프레임 화상(예를 들면 30프레임 화상)에서 시선방향을 기억부(14)로부터 취득하고, 그들의 시선방향에 의거하여, 조작자의 시선방향이 정지하고 있는지의 여부를 판정한다. 의도 판정 수단(123)이, 시선방향은 정지하고 있지 않다고 판정한 경우(스텝 S103에서 no), 시선방향 추정의 스텝 S102로 되돌아간다.
계속해서, 의도 판정 수단(123)은, 얼굴 검출 수단(121)에 의해 검출된 얼굴 위치가 정지하고 있는지의 여부를 판정한다(S104). 상세하게는, 의도 판정 수단(123)은, 연속하는 복수의 프레임 화상(예를 들면 30프레임 화상)에서 얼굴 위치를 기억부(14)로부터 취득하고, 그들의 얼굴 위치에 의거하여, 조작자의 얼굴이 정지하고 있는지의 여부를 판정한다. 의도 판정 수단(123)이, 얼굴 위치는 정지하고 있지 않다고 판정한 경우(스텝 S104에서 no), 얼굴 검출을 행하는 스텝 S101로 되돌아간다.
한편, 의도 판정 수단(123)이, 얼굴 위치는 정지하고 있다고 판정한 경우(스텝 S104에서 yes), 인식영역 설정 수단(124)은, 얼굴 위치(FE)의 주변 영역에 인식영역(OE1, OE2)(도 3 참조)을 설정한다(S105). 즉, 시선방향이 정지하고 있다는 조건(조건(A))과 함께, 얼굴 위치가 정지하고 있다는 조건(조건 B)이 채워진 경우에만, 의도 판정 수단(123)은, 조작자가 제스처 시작을 의도하고 있다고 판정하고, 인식영역 설정 수단(124)에 의한 인식영역(OE1, OE2)의 설정이 행하여지게 된다. 또한, 조작자가 제스처 시작을 의도하고 있다고 판정된 때(즉 스텝 S104의 후, 스텝 S105의 전), 의도 판정 수단(123)은, 피드백부(13)에 대해, LED를 적색으로 발광시키도록 지시하는 제어 신호를 송출한다. 이렇게 하여, LED가 적색으로 발광하기 때문에, 조작자는, 제스처 시작의 의도가 제스처 인식 장치(1)에 인식된 것을 이해할 수 있다.
또한, 상기 스텝 S101 내지 S104의 순번을 이하와 같이 변경하여도 좋다. 즉, 이 경우, 우선 얼굴 검출을 행하고(상기 스텝 S101), 다음에 얼굴 위치의 정지를 판정한다(상기 스텝 S104). 그 후, 얼굴 위치가 정지하고 있는 경우, 시선방향 추정을 행하고(상기 스텝 S102), 다음에 시선방향의 정지를 판정한다(상기 스텝 S103).
계속해서, 제스처 인식 수단(125)은, 인식영역(OE1 및 OE2)에서, 인식 대상물의 검출을 행한다(S106). 인식 대상물을 검출한 후, 제스처 인식 수단(125)은, LED의 색을 청색으로 변화시키도록, 피드백부(13)에 지시하는 제어 신호를 송출한다. 이렇게 하여, LED의 발광색이 적색으로부터 청색으로 변화함에 의해, 조작자는, 제스처 인식 장치(1)가 제스처 인식을 받아들인 상태로 된 것을, 이해할 수 있다.
그 후, 제스처 인식 수단(125b)은, 인식 대상물의 제스처 인식을 시작한다. 제스처 인식 수단(125)은, 상세하게는, 인식 대상물의 위치, 변위, 및 형상을 인식한다(S107). 제스처 인식이 완료된 후, 제스처 인식 수단(125)은, LED의 색을 녹색으로 변화시키도록, 피드백부(13)에 지시한다. 이렇게 하여, LED가 청색으로부터 녹색으로 변화함에 의해, 조작자는, 제스처 인식 장치(1)가 제스처 인식을 완료한 것을 이해할 수 있다.
이와 같이, 조작자는, 제스처 인식 처리의 각 단계에서, 제스처 인식 장치(1)로부터 인식 단계를 피드백된다. 이에 의해, 조작자는, 피드백을 확인함에 의해, 제스처를 시작하여야 할 타이밍을 계획하거나, 또는 제스처의 수정을 행하거나 할 수 있다.
제스처 인식 수단(125)에 의한 제스처 인식이 완료된 후, 표시 기기 제어 수단(126)이, 표시 기기가 구비한 제어 기능부와 협동함에 의해, 그 표시 기기에서, 제스처 인식의 결과에 대응하는 처리를 실행한다.
[변형례]
실시 형태 1에 관한 제스처 인식 장치(1)의 변형례에 관해, 도 5 및 도 6에 의거하여 설명하면, 이하와 같다. 여기서, 도 5는, 본 변형례에 관한 제스처 인식 장치(1a)의 구성을 도시하는 블록도이고, 도 6은, 제스처 인식 장치(1a)가 구비한 제어 수단(22)에 의해 실행되는 제스처 인식 처리(α)의 흐름을 도시하는 플로 차트이다. 이하에서는, 설명의 편의상, 실시 형태 1에서 설명한 도면과 같은 기능을 갖는 부재에 관해서는, 동일한 부호를 부기하고, 그 설명을 생략하기로 한다.
또한, 본 변형례는, 이하의 고찰에 의거하고 있다. 조작자가, 제스처 인식 장치(1)에 제스처를 인식시키기 위해, 동화 촬영부(11)를 응시할 때, 조작자의 시선방향이 동화 촬영부(11)를 향하여 정지함과 함께, 조작자의 얼굴의 방향은, 동화 촬영부(11)에 정면으로 맞서서 정지한다. 그래서, 얼굴 검출 수단(121)에 의해 검출된 얼굴의 위치의 변화량이 소정치보다도 작고, 또한, 얼굴방향 추정 수단(127)에 의해 추정된 얼굴의 방향과 소정의 방향과의 이루는 각도가 소정치보다도 작은 경우, 조작자는 제스처의 시작을 의도하고 있다고 생각된다. 즉, 본 변형례에서는, 상기 실시 형태 1과 같이 얼굴 위치가 정지하고 있는 것을 상기 의도 판정 조건의 하나로 하는 대신에, 얼굴방향이 소정의 방향으로 정지하고 있는 것을 상기 의도 판정 조건의 하나로 하고 있다. 여기서, 얼굴방향의 상기 소정의 방향이란, 구체적으로는 동화 촬영부(11)에 정면으로 맞서는 방향이라도 좋다. 상기 실시 형태 1에서는, 조작자의 얼굴이 소정의 방향, 예를 들면 동화 촬영부(11)의 방향을 향하지 않은 상태에서, 그 얼굴의 위치가 정지하고 있는 경우라도, 제스처 시작을 의도하고 있다고 판정될 가능성이 있다. 한편, 본 변형례에서는, 얼굴의 방향이 소정의 방향으로 정지하고 있음에 의거하여, 조작자가 제스처 시작을 의도하고 있는 것을 판정하기 때문에, 보다 정확하게 조작자의 제스처 시작의 의도를 판정할 수 있다.
본 변형례에 관한 제스처 인식 장치(1a)에서는, 도 5에 도시하는 바와 같이, 제어 수단(22)이, 제어 수단(12)의 구성에 더하여, 조작자의 얼굴방향을 추정하는 얼굴방향 추정 수단(127)을 또한 포함하고 있다. 이 얼굴방향 추정 수단(127)은, 얼굴 검출 수단(121)으로부터 취득한 얼굴 위치(FE)(도 3 참조) 내에서, 조작자의 얼굴방향을 추정하는 것이다. 또한, 얼굴방향을 추정하는 방법에 관해서는, 하기하는 바와 같다. 그리고, 본 변형 예의 제스처 인식 처리(α)에서는, 도 6에 도시하는 바와 같이, 위에서 설명한 제스처 인식 처리에서, 조작자의 얼굴 위치가 정지하고 있는지의 여부가 판정되는(도 2의 스텝 S104 참조) 대신에, 얼굴방향이 정지하고 있는지의 여부가 판정된다(도 6의 스텝 S104a 및 S104b 참조).
(얼굴방향의 추정에 관해)
사람의 얼굴의 방향(환언하면 머리의 방향)을 추정하기 위해서는, 전술한 시선방향의 추정을 응용할 수 있다. 상세하게는, 동화상으로부터 전술한 바와 같이 추출한 두 눈이, 얼굴 위치(FE)의 횡방향의 중심선(CL)에 대해 대칭의 위치에 있는 경우(도 4의 (a) 참조), 얼굴방향 추정 수단(127)은, 얼굴방향은 제스처 인식 장치(1)(정확하게 말하면 동화 촬영부(11))에 대해 정면으로 맞서고 있다고 판단한다. 한편, 추출한 눈의 위치가, 상기 중심선(CL)에 대해 비대칭의 위치에 있는 경우(도 4의 (b) 참조), 얼굴방향 추정 수단(127)은, 얼굴방향은 제스처 인식 장치(1)에 대해 정면으로 맞서고 있지 않다, 즉 조작자는 옆을 향하고 있다고 판단한다.
이하에, 본 변형례의 제스처 인식 장치(1a)에서의 제스처 인식 처리(α)에 관해, 도 6에 도시하는 플로 차트를 이용하여 설명한다. 또한, 제스처 인식 처리(α)에서, 스텝 S101 내지 S103, S105 내지 S107에 관해서는, 상기 실시 형태 1에서의 제스처 인식 처리의 흐름과 마찬가지이기 때문에, 그 설명을 생략한다.
(제스처 인식 처리(α)의 흐름)
스텝 S103에서, 의도 판정 수단(123)이, 시선방향은 정지하고 있다고 판정한 경우(스텝 S103에서 yes), 얼굴방향 추정 수단(127)은, 얼굴방향의 추정을 행한다(S104a). 그 후, 의도 판정 수단(123)은, 연속하는 복수의 프레임 화상(예를 들면 30프레임 화상)에서, 얼굴방향이 소정의 방향으로 정지하고 있는지의 여부를 판정한다(S104b). 얼굴방향이 소정의 방향으로 정지하고 있지 않다고 판정된 경우(스텝 S104b에서 no), 스텝 S102로 되돌아와, 재차 시선방향의 추정이 행하여진다.
한편, 얼굴방향이 정지하고 있다고 판정된 경우(스텝 S104b에서 yes), 스텝 S105로 진행하여, 전술한 제스처 인식 처리와 마찬가지로 인식영역 설정 수단(124)에 의해, 인식영역(OE1, OE2)(도 3 참조)의 설정이 행하여진다.
즉, 본 변형례에서는, 시선방향이 소정의 방향으로 정지하고 있다는 조건(조건(A))과 함께, 얼굴방향이 소정의 방향으로 정지하고 있다는 조건(조건(B'))이 채워진 경우(스텝 S103 및 S104b에서 함께 yes)에만, 의도 판정 수단(123)은, 조작자가 제스처 시작을 의도하고 있다고 판정하고, 인식영역 설정 수단(124)에 의한 인식영역(OE1, OE2)의 설정이 행하여지게 된다. 또한, 조작자의 얼굴이 소정의 방향으로 정지하는 조건(B')은, 상세하게는, 예를 들면 이하와 같다.
조건(B'). 연속하는 30프레임 화상에서, 조작자의 오른쪽 눈으로부터 중심선(CL)까지의 거리와, 조작자의 왼쪽 눈으로부터 중심선(CL)까지의 거리의 차가, 얼굴 위치(FE)의 폭의 10% 이하이다.
또한, 본 변형례에서는, 시선방향이 정지하고 있다는 조건(조건(A))과, 얼굴방향이 정지하고 있다는 조건(조건(B'))이 모두 채워진 경우에, 조작자가 제스처 시작을 의도하고 있는지를 판정한다고 하였지만, 본 발명은 이것으로 한정되지 않고, 상기 조건(B') 대신에, 예를 들면, 조작자의 입이 특정한 형상 변화(예를 들면 「어이」로 외치는 것 같은 입의 형상 변화)를 나타낸 것을 조건(조건(B'1))으로 하여도 좋고, 또는 조작자로부터 특정한 음성(소리나 손뼉을 치는 소리 등)이 발하여진 것을 조건(조건(B'2))으로 하여도 좋다. 또한, 여기서 말한 조건(B'1, B'2)의 양쪽 또는 어느 한쪽을, 조건(A 및 B')에 추가하여, 그 모든 조건이 채워지는 경우에, 의도 판정 수단(123)은, 조작자가 제스처 시작을 의도하고 있다고 판정하여도 좋다. 특히, 조건(B'2)과 같이, 조작자로부터 소정의 음성이 발하여진 것을 의도 판정 조건의 하나로 하는 경우, 제스처 인식 장치(1)는, 2개의 마이크로폰을 또한 구비한다. 이 2개의 마이크로폰은 서로 다른 위치에 설치되어 있고, 음성이 발하여진 때에, 각각의 마이크로폰이 설치되는 위치에서 그 음성을 녹음한다. 이에 의해, 의도 판정 수단(123)은, 상기 2개의 마이크로폰으로 녹음된 음성으로부터, 그 음성이 발하여진 위치를 특정할 수 있다. 그리고, 의도 판정 수단(123)은, 음성이 발하여진 위치에 존재하는 인물이, 얼굴 검출 수단(121)에 의해 얼굴을 검출된 조작자라면, 조건(B'2)은 채워졌다고 판정한다. 이에 의해, 조작자 이외의 인물이 상기 특정한 음성을 발한 경우, 그 인물은 조작자와는 다른 위치에 있기 때문에, 조건(B'2)이 채워지지 않는다고 판정되게 된다.
[실시 형태 2]
본 발명에 관한 표시 기기(1000)에 관해, 도 7에 의거하여 설명하면, 이하와 같다. 또한, 설명의 편의상, 실시 형태 1 및 변형례에서 설명한 도면과 같은 기능을 갖는 부재에 관해서는, 동일한 부호를 부기하고, 그 설명을 생략하기로 한다.
(표시 기기(1000)의 구성)
도 7에 외관을 도시하는 표시 기기(1000)는, 제스처 인식 장치(1) 및 표시 장치(2)를 구비한 것이다. 표시 기기(1000)에서, 제스처 인식 장치(1) 대신에, 상기 변형 예의 제스처 인식 장치(1a)를 적용할 수 있다. 또한, 표시 기기(1000)는, 구체적으로는 퍼스널 컴퓨터이다. 그러나, 본 발명은 이것으로 한정되지 않고, 표시 기기(1000)는, 텔레비전 수상기, 인터넷 텔레비전, 또는 태블릿 단말 등, 제어 기능 및 표시 기능을 구비한 각종 표시 기기라도 좋다.
또한, 제스처 인식 장치(1)는, 표시 장치(2)의 상측에, 당해 표시 장치(2)의 상변과 접하도록 설치되어 있다. 또한, 제스처 인식 장치(1)는, 표시 장치(2)의 화면에 정면으로 맞서는 방향에 위치하는 조작자(유저)로부터, 동화 촬영부(11) 및 피드백부(13)가 보이도록 설치되어 있다. 이에 의해, 조작자는, 피드백부(13)에 의한 피드백을 확인하면서 표시 장치(2)의 화면을 볼 수 있고, 또한, 동화 촬영부(11)는, 화면 앞에 위치하는 조작자의 동화를 촬영할 수 있는 구성으로 되어 있다.
또한, 도 7에서는, 제스처 인식 장치(1)가 표시 장치(2)의 상측에 설치되어 있지만, 제스처 인식 장치(1)가 설치되는 위치에 관해 특히 제한은 없고, 표시 장치(2)의 하측·좌측·우측에 설치되어도 좋고, 또는 표시 장치(2)와 일체가 된 구성이라도 좋다. 제스처 인식 장치(1)와 표시 장치(2)가 일체가 된 구성으로서는, 예를 들면, 표시 장치(2)의 화면의 주위를 둘러싸는 프레임에, 동화 촬영부(11)가 매입된 구성으로 하여도 좋다. 또한, 표시 장치(2)가 웹 카메라를 구비하고 있는 경우에는, 이 웹 카메라를 동화 촬영부(11)의 대용으로 할 수 있고, 이 경우, 제스처 인식 장치(1)의 전체가 소프트웨어적으로 실현되게 된다.
(표시 기기(1000)의 제어에 관해)
본 실시 형태에서의 표시 기기 제어 수단(126)은, 제스처 인식 수단(125)으로부터 취득한 제스처 인식 결과에 의거하여, 표시 장치(2)에서의 표시를 제어한다. 표시 기기 제어 수단(126)은, 예를 들면, 상기 표시 기기(1000)가 또한 구비한 제어 기능부(도시 생략)와 협동함에 의해, 표시 장치(2)에 표시된 포인터(P)를 제어한다. 이 포인터(P)는, 제스처 인식 장치(1)가 인식 대상물의 제스처를 인식한 결과에 의거하여, 인식 대상물의 제스처와 연동한다. 즉, 조작자가 인식영역(OE1, OE2) 내에서 인식 대상물의 조작을 행하면, 표시 장치(2)의 화면 내에서, 포인터(P)가 인식 대상물의 조작에 연동한다. 이와 같이, 조작자는, 표시 장치(2)의 화면에 접촉하거나, 또는 리모컨 등의 도구를 사용하거나 하는 일 없이, 화면에 표시된 포인터(P)의 조작을 행할 수가 있다.
다음에, 표시 기기(1000)의 사용례를 설명한다. 우선, 조작자가, (피드백부(13)가 구비한 LED의 색이 청색인 것, 즉 제스처 인식 장치(1)가 제스처를 받아들인 상태인 것을 확인한 다음) 인식영역(OE1, OE2) 내에서, 인식 대상물(손)을 이용한 제스처를 행한다. 인식 대상물의 제스처는 동화 촬영부(11)에 의해 촬영되어, 제스처 인식 수단(125)에 의해 인식된 후, 표시 기기 제어 수단(126)에 입력된다. 그러면, 표시 기기 제어 수단(126)은, 제스처의 인식 결과에 의거하여 결정한 포인터(P)의 제어 내용을, 표시 장치(2)가 구비한 상기 제어 기능부에 송신한다. 이렇게 하여, 표시 기기 제어 수단(126)은, 상기 제어 기능부와 협동함에 의해, 표시 장치(2)에 표시된 포인터(P)를 제어한다. 또한, 표시 기기 제어 수단(126)은, 단지 포인터(P)의 동작을 제어할 뿐만 아니라, 인식 대상물의 형상에 대응하는 처리 내용을 실행할 수 있는 구성이라도 좋다. 이에 의해, 예를 들면, 조작자가 손을 쥐는 동작을 행한 경우, 표시 기기 제어 수단(126)은, 포인터(P)와 겹쳐지는 위치에 표시되어 있는 아이콘이 선택되도록 제어한다는 것이 가능해진다.
또한, 본 실시 형태에 관한 표시 기기(1000)에서, 피드백부(13)는, 표시 장치(2)와는 별체로서 마련되어 있는 구성이고, 또한 상기 실시 형태 1과 마찬가지로, LED의 발광에 의해 조작자에게 피드백을 행하는 구성이다. 그러나, 본 발명은 이것으로 한정되지 않고, 표시 장치(2)의 표시에 의해, 조작자에 대한 피드백을 행하는 구성으로 하여도 좋다. 예를 들면, 화면의 일부에 표시한 아이콘, 텍스트, 색에 의해, 조작자에 대한 피드백을 행하여도 좋다. 그 밖에, 표시 장치(2)가 구비한 음성 출력 장치(도시 생략)로부터 출력하는 음성에 의해 피드백을 행하여도 좋다. 또한, 이러한 구성의 경우, 피드백부(13)는 소프트웨어적으로 실현되고, 제어 수단(12)에 포함되게 된다.
(정리)
이상과 같이, 본 발명에 의하면, 조작자가, 예를 들면 손을 흔드는 등의 특별한 시작 동작을 행하는 일 없이, 제스처 인식 장치(1, 1a)에 제스처를 인식시킬 수 있다. 또한, 조작자는, 제스처 인식 장치(1, 1a)로부터 인식 단계가 피드백되기 때문에, 이 피드백을 확인함에 의해, 적절한 조작을 행할 수가 있다. 또한, 조작자는, 리모컨, 마우스, 또는 글로브 등의 특별한 도구를 사용하는 일 없이, 또한, 표시 장치(2)의 화면에 접촉하는 일 없이, 조작자 자신의 손 등을 인식 대상물로서 이용하여, 표시 기기(1000)의 조작을 행할 수가 있다. 즉, 본 발명에 관한 제스처 인식 장치(1, 1a)는, 조작자가, 자연스럽고 스무스하고, 또한 인터액티브한 조작을, 표시 기기(1000)에 대해 행하기 위한 인터페이스를 제공한다.
또한, 본 발명은 상술한 각 실시 형태 1, 2 및 변형례로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러 가지의 변경이 가능하고, 실시 형태 1, 2 및 변형례에 각각 개시된 기술적 수단을 적절히 조합시켜서 얻어지는 실시 형태에 대해서도, 본 발명의 기술적 범위에 포함된다.
[소프트웨어에 의한 실현례]
최후로, 제스처 인식 장치(1, 2)의 각 블록, 특히 제어 수단(12, 22)에 포함되는 각 수단은, 집적 회로(IC 칩)상에 형성된 논리 회로에 의해 하드웨어적으로 실현하여도 좋고, CPU(Central Processing Unit)를 이용하여 소프트웨어적으로 실현하여도 좋다.
후자의 경우, 제스처 인식 장치(1, 1a)는, 각 기능을 실현하는 프로그램의 명령을 실행하는 CPU, 상기 프로그램을 격납한 ROM(Read Only Memory), 상기 프로그램을 전개하는 RAM(Random Access Memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 제스처 인식 장치(1, 1a)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터에서 판독 가능하게 기록한 기록 매체를, 상기 제스처 인식 장치(1, 1a)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록 매체에 기록되어 있는 프로그램 코드를 판독하고 실행함에 의해서도, 달성 가능하다.
상기 기록 매체로서는, 일시적이 아닌 유형(有形)의 매체(non-transitory tangible medium), 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프류, 플로피(등록상표)디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크류, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드류, 마스크 ROM/EPROM/EEPROM(등록상표)/플래시 ROM 등의 반도체 메모리류, 또는 PLD(Programmable logic device)나 FPGA(Field Programmable Gate Array) 등의 논리 회로류 등을 이용할 수 있다.
또한, 제스처 인식 장치(1, 1a)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를, 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크는, 프로그램 코드를 전송 가능하면 좋고, 특히 한정되지 않는다. 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상 전용망(Virtual Private Network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 이 통신 네트워크를 구성하는 전송 매체도, 프로그램 코드를 전송 가능한 매체라면 좋고, 특정한 구성 또는 종류의 것으로 한정되지 않는다. 예를 들면, IEEE1394, USB, 전력선 반송, 케이블TV 회선, 전화선, ADSL(Asymmetric Digital Subscriber Line) 회선 등의 유선이라도, IrDA나 리모컨과 같은 적외선, Bluetooth(등록상표), IEEE802. 11 무선, HDR(High Data Rate), NFC(Near Field Communication), DLNA(Digital Living Network Alliance), 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매입된 컴퓨터 데이터 신호의 형태로도 실현될 수 있다.
본 발명은, 표시 장치를 구비한 각종 표시 기기, 특히 텔레비전 수상기, 퍼스널 컴퓨터, 및 태블릿 단말 등에 이용할 수 있다.
1, 1a : 제스처 인식 장치
2 : 표시 장치
1000 : 표시 기기
13 : 피드백부(통지 수단)
121 : 얼굴 검출 수단
122 : 시선방향 추정 수단
123 : 의도 판정 수단(판정 수단)
124 : 인식영역 설정 수단
127 : 얼굴방향 추정 수단

Claims (9)

  1. 유저가 촬영된 동화로부터, 그 유저에 의한 제스처를 인식하는 제스처 인식 장치에 있어서,
    상기 유저의 시선방향을 추정하는 시선방향 추정 수단과,
    소정 기간에서, 소정의 방향과 상기 시선방향과의 이루는 각도가 소정치보다도 작은 경우에, 상기 유저가 제스처를 시작하려고 하고 있다고 판정하는 판정 수단과,
    상기 판정 수단이, 상기 유저가 제스처를 시작하려고 하고 있다고 판정한 경우에, 그 판정이 행하여진 취지를 상기 유저에게 통지하는 통지 수단을 구비한 것을 특징으로 하는 제스처 인식 장치.
  2. 제1항에 있어서,
    상기 통지 수단은, 당해 제스처의 인식 시작 또는 종료의 적어도 어느 한쪽을 판정한 경우에도, 그 판정이 행하여진 취지를 상기 유저에게 통지하는 것을 특징으로 하는 제스처 인식 장치.
  3. 제1항 또는 제2항에 있어서,
    동화에서 상기 유저의 얼굴의 위치를 검출하는 얼굴 검출 수단을 또한 구비하고,
    상기 판정 수단은, 소정 기간에서, 소정의 방향과 상기 시선방향과의 이루는 각도가 소정치보다도 작음과 함께, 상기 얼굴 검출 수단에 의해 검출된 얼굴의 위치의 변화량이 소정치보다도 작은 경우에, 상기 유저가 제스처를 시작하려고 하고 있다고 판정하는 것을 특징으로 하는 제스처 인식 장치.
  4. 제1항 또는 제2항에 있어서,
    동화에서 상기 유저의 얼굴방향을 추정하는 얼굴방향 추정 수단을 또한 구비하고,
    상기 판정 수단은, 소정 기간에서, 소정의 방향과 상기 시선방향과의 이루는 각도가 소정치보다도 작음과 함께, 상기 얼굴방향 추정 수단에 의해 추정된 얼굴방향과 소정의 방향과의 이루는 각도가 소정치보다도 작은 경우에, 상기 유저가 제스처를 시작하려고 하고 있다고 판정하는 것을 특징으로 하는 제스처 인식 장치.
  5. 제1항 또는 제2항에 있어서,
    상기 제스처를 인식하는 영역인 인식영역을 설정하는 인식영역 설정 수단을 또한 구비한 것을 특징으로 하는 제스처 인식 장치.
  6. 제1항 또는 제2항에 있어서,
    외부의 기기에 대해, 제스처의 인식 결과에 대응하는 처리를 실행하도록 지시하는 기기 제어 수단을 또한 구비한 것을 특징으로 하는 제스처 인식 장치.
  7. 제6항에 기재된 제스처 인식 장치와, 상기 제스처 인식 장치에 의해 동작 제어가 행하여지는 표시 장치를 구비한 것을 특징으로 하는 표시 기기.
  8. 유저가 촬영된 동화로부터, 그 유저에 의한 제스처를 인식하는 제스처 인식 장치의 제어 방법으로서,
    상기 유저의 시선방향을 추정하고,
    소정 기간에서, 소정의 방향과 상기 시선방향과의 이루는 각도가 소정치보다도 작은 경우에, 상기 유저가 제스처를 시작하려고 하고 있다고 판정하고,
    상기 유저가 제스처를 시작하려고 하고 있다고 판정한 경우에, 그 판정이 행하여진 취지를 상기 유저에게 통지하는 것을 특징으로 하는 제스처 인식 장치의 제어 방법.
  9. 제8항에 기재된 제스처 인식 장치의 제어 방법의 각 처리를 컴퓨터에 실행시키기 위한 제어 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020130100110A 2012-08-31 2013-08-23 제스처 인식 장치, 그 제어 방법, 표시 기기, 및 제어 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 KR20140029223A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012192036A JP2014048936A (ja) 2012-08-31 2012-08-31 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JPJP-P-2012-192036 2012-08-31

Publications (1)

Publication Number Publication Date
KR20140029223A true KR20140029223A (ko) 2014-03-10

Family

ID=49080698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130100110A KR20140029223A (ko) 2012-08-31 2013-08-23 제스처 인식 장치, 그 제어 방법, 표시 기기, 및 제어 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체

Country Status (5)

Country Link
US (1) US20140062862A1 (ko)
EP (1) EP2706434A3 (ko)
JP (1) JP2014048936A (ko)
KR (1) KR20140029223A (ko)
CN (1) CN103677252A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210003277A (ko) * 2018-05-04 2021-01-11 구글 엘엘씨 자동화된 어시스턴트 기능(들)의 핫-워드 프리 적응
WO2023003420A1 (ko) * 2021-07-23 2023-01-26 삼성전자주식회사 전자 장치 및 그 제어 방법
US11614794B2 (en) 2018-05-04 2023-03-28 Google Llc Adapting automated assistant based on detected mouth movement and/or gaze

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013164834A (ja) * 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
JP6249919B2 (ja) * 2014-10-06 2017-12-20 三菱電機株式会社 操作入力装置
CN104523403B (zh) * 2014-11-05 2019-06-18 陶宇虹 一种判断外骨骼助行机器人穿戴者下肢行动意图的方法
US20170024086A1 (en) * 2015-06-23 2017-01-26 Jamdeo Canada Ltd. System and methods for detection and handling of focus elements
KR102541829B1 (ko) * 2016-01-27 2023-06-09 삼성전자주식회사 전자 장치 및 그 제어 방법
JP6606447B2 (ja) * 2016-03-15 2019-11-13 Ｋｄｄｉ株式会社 動画の処理装置、処理方法及びプログラム
JP6699406B2 (ja) * 2016-07-05 2020-05-27 株式会社リコー 情報処理装置、プログラム、位置情報作成方法、情報処理システム
EP3267289B1 (en) 2016-07-05 2019-02-27 Ricoh Company, Ltd. Information processing apparatus, position information generation method, and information processing system
US10275646B2 (en) 2017-08-03 2019-04-30 Gyrfalcon Technology Inc. Motion recognition via a two-dimensional symbol having multiple ideograms contained therein
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
JP7277569B2 (ja) 2018-05-04 2023-05-19 グーグル エルエルシー 検出されたジェスチャおよび凝視に基づく自動化アシスタントの機能の呼び出し
KR102582863B1 (ko) * 2018-09-07 2023-09-27 삼성전자주식회사 사용자 의도 기반 제스처 인식 방법 및 장치
US11196881B2 (en) * 2019-01-21 2021-12-07 Canon Kabushiki Kaisha Image forming apparatus employs a line-of-sight detection technique to execute user operations in plural modes
CN111815662A (zh) * 2019-04-11 2020-10-23 上海集森电器有限公司 一种基于人脸检测的行为识别实现方法
EP4099134A4 (en) * 2020-01-29 2023-03-22 NEC Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND RECORDING MEDIUM
CN115210781A (zh) * 2021-01-26 2022-10-18 京东方科技集团股份有限公司 控制方法、电子设备及存储介质
WO2023044352A1 (en) * 2021-09-15 2023-03-23 Neural Lab, Inc. Touchless image-based input interface

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3886074B2 (ja) * 1997-02-28 2007-02-28 株式会社東芝 マルチモーダルインタフェース装置
JP2004187125A (ja) * 2002-12-05 2004-07-02 Sumitomo Osaka Cement Co Ltd 監視装置および監視方法
CN1293446C (zh) * 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作系统和方法
US7438414B2 (en) * 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
JP2007094935A (ja) * 2005-09-30 2007-04-12 Omron Corp 情報処理装置および情報処理方法、情報処理システム、プログラム、並びに、記録媒体
WO2007074842A1 (ja) * 2005-12-27 2007-07-05 Matsushita Electric Industrial Co., Ltd. 画像処理装置
WO2010035472A1 (ja) * 2008-09-26 2010-04-01 パナソニック株式会社 視線方向判定装置及び視線方向判定方法
CN102292689B (zh) * 2009-01-21 2016-08-03 汤姆森特许公司 利用脸部检测和热点运动控制媒体的方法
US7810926B2 (en) * 2009-02-15 2010-10-12 International Business Machines Corporation Lateral gaze angle estimation using relative eye separation
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
JP5569062B2 (ja) 2010-03-15 2014-08-13 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
JP2011232894A (ja) 2010-04-26 2011-11-17 Renesas Electronics Corp インタフェース装置、ジェスチャ認識方法及びジェスチャ認識プログラム
JP4897939B2 (ja) * 2010-05-28 2012-03-14 パナソニック株式会社 ジェスチャ認識装置及びジェスチャ認識方法
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
CN102508551B (zh) * 2011-11-18 2014-06-18 北京恒信彩虹科技有限公司 一种目光捕捉方法和采用目光捕捉的人机交互方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210003277A (ko) * 2018-05-04 2021-01-11 구글 엘엘씨 자동화된 어시스턴트 기능(들)의 핫-워드 프리 적응
US11614794B2 (en) 2018-05-04 2023-03-28 Google Llc Adapting automated assistant based on detected mouth movement and/or gaze
US11688417B2 (en) 2018-05-04 2023-06-27 Google Llc Hot-word free adaptation of automated assistant function(s)
WO2023003420A1 (ko) * 2021-07-23 2023-01-26 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
EP2706434A3 (en) 2016-09-21
CN103677252A (zh) 2014-03-26
US20140062862A1 (en) 2014-03-06
EP2706434A2 (en) 2014-03-12
JP2014048936A (ja) 2014-03-17

Similar Documents

Publication Publication Date Title
KR20140029223A (ko) 제스처 인식 장치, 그 제어 방법, 표시 기기, 및 제어 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
JP6011165B2 (ja) ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
CN107846519B (zh) 用于基于手势的管理的系统和方法
US10262204B2 (en) User terminal apparatus and iris recognition method thereof
US9135503B2 (en) Fingertip tracking for touchless user interface
US20150279369A1 (en) Display apparatus and user interaction method thereof
US9930269B2 (en) Apparatus and method for processing image in device having camera
EP3540645A1 (en) Display apparatus and image correction method thereof
WO2017070971A1 (zh) 一种面部验证的方法和电子设备
JP2009288951A (ja) 画像処理装置、画像処理方法、画像処理プログラム
KR20140029222A (ko) 제스처 인식 장치, 그 제어 방법, 표시 기기 및 제어 프로그램이 기록된 기록 매체
US20150009138A1 (en) Information processing apparatus, operation input detection method, program, and storage medium
JP2012079138A (ja) ジェスチャ認識装置
TWI617994B (zh) 使用於互動裝置並用於辨識使用者操作該互動裝置的行為的方法，以及相關互動裝置與電腦可讀媒體
US20130308835A1 (en) Mobile Communication Device with Image Recognition and Method of Operation Therefor
US20200326783A1 (en) Head mounted display device and operating method thereof
US20150009314A1 (en) Electronic device and eye region detection method in electronic device
TWI630507B (zh) 目光偵測、辨識與控制方法
WO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム
JP2015022525A (ja) 情報処理装置、被写体部位の検出方法、及びプログラム
JP6361332B2 (ja) ジェスチャ認識装置およびジェスチャ認識プログラム
KR102119725B1 (ko) 촬영 기능을 가지는 단말 장치와 그 촬영 방법을 실행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment