KR20110103848A - 제스처 인식 장치, 제스처 인식 장치의 제어 방법 및 제어 프로그램 - Google Patents

제스처 인식 장치, 제스처 인식 장치의 제어 방법 및 제어 프로그램 Download PDF

Info

Publication number
KR20110103848A
KR20110103848A KR1020110009372A KR20110009372A KR20110103848A KR 20110103848 A KR20110103848 A KR 20110103848A KR 1020110009372 A KR1020110009372 A KR 1020110009372A KR 20110009372 A KR20110009372 A KR 20110009372A KR 20110103848 A KR20110103848 A KR 20110103848A
Authority
KR
South Korea
Prior art keywords
specific subject
gesture recognition
movement
gesture
moving
Prior art date
Application number
KR1020110009372A
Other languages
English (en)
Other versions
KR101208232B1 (ko
Inventor
쇼 겐
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20110103848A publication Critical patent/KR20110103848A/ko
Application granted granted Critical
Publication of KR101208232B1 publication Critical patent/KR101208232B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 특수한 수단을 이용하지 않고서, 유저에 있어서 자연스러운 조작이면서 장치에 있어서 저부하 처리로, 제스처의 시작과 종료를 제스처 인식 장치에 올바르게 인식시키는 것을 제공하는 것으로서,
이를 위한 수단으로서는, 동화에 찍히는 인식 대상물의 동작으로부터 제스처를 인식하는, 본 발명의 제스처 인식 장치(100)는, 동화에 찍히는 특정한 특징을 갖는 특정 피사체(손 등)를 검출하는 중심 추적부(11)와, 특정 피사체의 단위시간 당의 이동 속도를 산출하는 이동 속도 판정부(12)와, 특정 피사체의 이동 패턴을 추출하는 이동 패턴 추출부(13)와, 이동 속도와 이동 패턴이 미리 정해진 조건을 충족시키는 경우에, 특정 피사체의 움직임을, 자체장치에 대해 입력된 지시(제스처 인식 처리의 시작 또는 종료의 지시 등)로서 식별하는 시작 종료 판단부(14)를 구비하고 있는 것을 특징으로 하고 있다.

Description

제스처 인식 장치, 제스처 인식 장치의 제어 방법 및 제어 프로그램{GESTURE RECOGNIZE DEVICE, CONTROL METHOD OF RECOGNIZE DEVICE AND CONTOL PROGRAM}
본 발명은, 인식 대상물의 동작으로부터 제스처를 인식하는 제스처 인식 장치, 제스처 인식 장치의 제어 방법 및 제어 프로그램에 관한 것이다.
근래, 제스처 인식 기술은, 인간과 컴퓨터와의 커뮤니케이션 수단으로서, 지능 로봇, 게임, 시뮬레이션, 생산 기술 등, 다양한 분야에서 응용되고, 발전하여 왔다. 구체적으로는, 제스처 인식 장치는, 비디오 카메라 등으로 인간의 손이나 손가락의 움직임을 촬영하여 얻어진 동화(動畵)를 화상 처리하여, 특정한 부분의, 일련의 특정한 움직임(이하, 제스처)을 인식한다. 컴퓨터는, 제스처 인식 장치에 의해 인식된 제스처에 응한 다양한 처리를 실행할 수 있다.
상술한 바와 같이, 유저 인터페이스에 응용하는 제스처 인식 기술(예를 들면, 텔레비전 리모트 콘트롤의 대용으로서, 유저의 손가락 자세(제스처) 등을 인식시켜서, 텔레비전의 동작을 원격 제어하는 기술 등)에서는, 유저의 움직임의 어디부터 어디까지가 인식하여야 할 제스처에 해당하는지를 제스처 인식 장치가 올바르게 판단하여야 한다. 즉, 제스처 인식 장치가, 동화에서의 인식 처리의 시작·종료의 시점을 정확히 판단할 수 있는 것이, 오인식(誤認識)이 되기 어려운, 정확한 제스처 인식을 실현하기 위해 중요해진다.
예를 들면, 특허 문헌 1에는, 소정 색을 발광하는 펜 라이트를 유저에게 갖게 하고, 상기 펜 라이트의 점등·소등에 의해, 제스처의 시작·종료를 장치에 인식시키는, 제스처 인식 방법 및 장치가 개시되어 있다.
한편, 특수한 수단에 의해 인식 처리의 시작과 종료를 지시하지 않더라도, 제스처를 제스처로서 올바르게 인식시킨다는 수법도 존재한다.
예를 들면, 특허 문헌 2에는, 인간의 손의 움직임의 방향을 관측 신호로서 파악하고, 관측 신호의 소정 개수의 집합을, 미리 준비된, 제스처의 종류에 대응하는 HMM(숨겨진 마르코브 모델)과 비교함에 의해, 제스처를 인식하는 제스처 인식 장치가 개시되어 있다.
또한, 특허 문헌 3에는, 연속적으로 입력된 프레임 화상으로부터, 이동물체의 동작 방향을 벡터로서 취득·축적하여, 제스처를 나타내는 벡터 특징량을 생성하고, 전후의 상태와 비교하여, 상태의 천이(상태의 진행, 체재, 후퇴)를 판정함에 의해, 상기 벡터 특징량이 제스처로서 성립하는지의 여부를 판정하는 제스처 인식 장치가 개시되어 있다.
[선행 기술 문헌]
[특허 문헌]
특허 문헌 1 : 일본 특개평09-311759호 공보(1997년 12월 2일 공개)
특허 문헌 2 : 일본 특개2007-087089호 공보(2007년 4월 5일 공개)
특허 문헌 3 : 일본 특개2007-272839호 공보(2007년 10월 18일 공개)
[비특허 문헌]
비특허 문헌 1 : Lars Bretzner 외 2명, "Hand Gesture Recognition using Multi-Scale Colour Features, Hierarchical Models and Particle Filtering", Automatic Face and Gesture Recognition, 2002. Proceedings. Fifth IEEE International Conferenceon Volume, Issue, 20-21 May 2002 Page(s) : 423 내지 428
그러나, 특허 문헌 1에 기재된 방법 및 장치에서는, 제스처를 행하는 유저가, 제스처 인식 장치를 이용하기 위해, 펜 라이트 등의 특수한 발광 수단을, 일부러 소지하고 있어야 한다는 문제가 있다.
또한, 특허 문헌 2 및 3에 기재된 제스처 인식 장치에서는, 특수한 수단에 의존하지 않아도 좋은 한편으로, 모든 프레임 화상에 대해, 항상, 본래의 제스처 인식과 동등한 고부하의 화상 인식 처리가 필요해진다는 문제가 있다. 특히, 특정한 손가락 자세 등의 세밀한 제스처를 인식하기 위해서는, 복잡한 제스처 인식 알고리즘이 필수이기 때문에, 장치에의 부하는 더욱 증대한다. 또한, 제스처의 시작과 종료의 시점의 판단을 잘못한 경우에, 제스처가 오인식될 가능성이 높다는 문제가 있다.
본 발명은, 상기한 문제점을 감안하여 이루어진 것으로, 상기 목적은, 특수한 수단에 의존하는 일 없이, 유저에게는 간단하고 장치에 있어서는 저부하 처리로, 제스처 인식 처리에 관한 지시를 올바르게 인식하는 제스처 인식 장치, 제스처 인식 장치의 제어 방법 및 제어 프로그램을 실현하는 것에 있다.
본 발명의 제스처 인식 장치는, 상기 과제를 해결하기 위해, 동화에 찍히는 인식 대상물의 동작으로부터 제스처를 인식하기 위한 제스처 인식 처리를 실행하는 제스처 인식 장치에 있어서, 상기 동화에 찍히는 특정한 특징을 갖는 특정 피사체를 상기 동화로부터 검출하는 특정 피사체 검출 수단과, 상기 특정 피사체의 단위시간 당의 이동 속도를 산출하는 이동 속도 산출 수단과, 상기 특정 피사체의 이동 패턴을 추출하는 이동 패턴 추출 수단과, 상기 이동 속도와 상기 이동 패턴이 미리 정해진 조건을 충족시키는 경우에, 상기 특정 피사체의 움직임을, 자체장치에 대해 입력된 지시로서 식별하는 입력 지시 식별 수단을 구비하고 있는 것을 특징으로 하고 있다.
상기 구성에 의하면, 우선, 특정 피사체 검출 수단 특정의 특징을 갖는 특정 피사체를 검출한다. 그리고, 동화로부터 상기 특정 피사체의 움직임이 분석된다. 즉, 이동 속도 산출 수단이, 특정 피사체의 움직임의 속도를 산출하고, 이동 패턴 추출 수단이, 특정 피사체의 움직임의 패턴을 추출한다.
최후로, 입력 지시 식별 수단은, 특정 피사체의 이동 속도 및 이동 패턴이 소정의 조건을 충족시키는 경우에, 해당 특정 피사체의 움직임이, 자체장치에 대해 입력된 지시(예를 들면, 제스처 인식의 시작 또는 종료의 지시 등)를 의미하는 것이라고 판단한다.
상기 특정 피사체는, 동화에 찍히는 시각적인 특징을 갖고 있고, 특정 피사체 검출 수단이 화상 처리를 하여 검출하는 것이 가능하다. 이와 같이, 제스처 인식 장치의 유저 인터페이스로서 이용하는 특정 피사체는, 동화에 찍히는 특징을 갖고 있으면 무엇이라도 좋고, 특수한 수단일 필요가 없다.
그리고, 이 특정 피사체는, 이동 속도와 이동 패턴이 분석될 뿐이다. 따라서, 종래의 제스처 인식 처리와 같은, 색이나 형상 등에 대한 정밀하고 자세한 분석은 불필요하기 때문에, 부하가 높은 화상 처리를 행하지 않고서, 특정 피사체의 움직임을 감시할 수가 있다. 또한, 한편, 유저에게 있어서는, 특정 피사체를 움직인다는, 극히 자연스러운 조작으로, 제스처 인식 장치에 대해 지시를 보낼 수 있다.
결과로서, 특수한 수단에 의존하는 일 없이, 유저에게는 간단하면서 장치에 있어서는 저부하 처리로, 제스처 인식 처리에 관한 지시를, 제스처 인식 장치에 올바르게 인식시키는 것이 가능해진다는 효과를 이룬다.
본 발명의 제스처 인식 장치는, 동화에 찍히는 인식 대상물의 동작으로부터 제스처를 인식하기 위한 제스처 인식 처리를 실행하는 제스처 인식 장치에 있어서, 상기 동화에 찍히는 특정한 특징을 갖는 특정 피사체를 상기 동화로부터 검출하는 특정 피사체 검출 수단과, 상기 특정 피사체의 단위시간 당의 이동 속도를 산출하는 이동 속도 산출 수단과, 상기 특정 피사체의 이동 패턴을 추출하는 이동 패턴 추출 수단과, 상기 이동 속도와 상기 이동 패턴이 미리 정해진 조건을 충족시키는 경우에, 상기 특정 피사체의 움직임이, 상기 제스처 인식 처리의 시작 또는 종료의 지시라고 판단하는 시작 종료 판단 수단을 구비하고 있는 것을 특징으로 하고 있다.
상기 구성에 의하면, 우선, 특정 피사체 검출 수단 특정의 특징을 갖는 특정 피사체를 검출한다. 그리고, 동화로부터 상기 특정 피사체의 움직임이 분석된다. 즉, 이동 속도 산출 수단이, 특정 피사체의 움직임의 속도를 산출하고, 이동 패턴 추출 수단이, 특정 피사체의 움직임의 패턴을 추출한다.
최후로, 시작 종료 판단 수단은, 특정 피사체의 이동 속도 및 이동 패턴이 소정의 조건을 충족시키는 경우에, 해당 특정 피사체의 움직임이, 제스처 인식의 시작 또는 종료를 지시하고 있다고 판단한다.
상기 특정 피사체는, 동화에 찍히는 시각적인 특징을 갖고 있고, 특정 피사체 검출 수단이 화상 처리를 하여 검출하는 것이 가능하다. 이와 같이, 제스처 인식 처리의 시작 종료의 지시에 이용하는 특정 피사체는, 동화에 찍히는 특징을 갖고 있으면 무엇이라도 좋고, 특수한 수단일 필요가 없다.
그리고, 이 특정 피사체는, 이동 속도와 이동 패턴이 분석될 뿐이다. 따라서, 정식의 제스처 인식 처리가, 예를 들어, 색이나 형상 등에 관한 정밀하고 자세한 분석이 필요한, 부하가 높은 화상 처리라도, 상기 이외의 시간대는, 부하가 낮은 처리에 의해 특정 피사체의 움직임을 감시할 수 있다. 또한, 제스처 인식 처리의 시작·종료를 의미하는 특정 피사체의 움직임(이동 속도 및 이동 패턴)으로서, 정식의 제스처 인식 처리에서 이용되는 제스처와는 중복되는 일이 없는 패턴(조건)을 미리 설정하여 두는 것이 가능하다. 따라서, 제스처와는 다른 조건을 충족시키는 특정 피사체의 움직임을 제스처 인식 처리의 시작·종료의 신호로서 인식하기 때문에, 특정 피사체의 움직임과, 제스처 인식 처리에서 인식되는 제스처를 혼동하는 일 없이, 시작·종료의 신호를 올바르게 인식할 수 있다. 한편, 유저에게 있어서는, 특정 피사체를 움직인다는, 극히 자연스러운 조작으로, 시작·종료의 신호를 제스처 인식 장치에 보낼 수 있다.
결과로서, 특수한 수단에 의존하는 일 없이, 유저에 있어서는 간단하면서 장치에 있어서도 저부하 처리로, 제스처 인식 장치에 제스처의 시작과 종료를 올바르게 인식시키는 것이 가능해진다는 효과를 이룬다.
상기 특정 피사체 검출 수단은, 유저의 기관 또는 기관의 일부를 특정 피사체로서 검출하는 것이 바람직하다.
상기 구성에 의하면, 유저는, 별도 물품을 소지하지 않아도, 자신의 신체의 일부를 움직임에 의해 간단하게, 제스처 인식 처리의 시작·종료를 제스처 인식 장치에 대해 정확히 지시할 수 있다.
또한, 상기 특정 피사체 검출 수단은, 유저의 손을 특정 피사체로서 검출하여도 좋다. 이에 의해, 유저는, 손을 움직인다는 간단하고 자연스러운 동작을 행할 뿐으로, 제스처 인식 처리의 시작·종료를 제스처 인식 장치에 대해 정확히 지시할 수 있다.
제스처 인식 장치는, 또한, 상기 동화에 찍히는 인식 대상물로서의 유저의 손가락 자세를 식별함에 의해 제스처 인식 처리를 실행하는 제스처 인식 수단을 구비하고, 상기 제스처 인식 수단은, 상기 시작 종료 판단 수단에 의해 판단된 시작 시점부터 종료 시점까지의 상기 동화의 프레임으로부터, 상기지 자세를 식별하여도 좋다.
제스처 인식 수단은, 특정 피사체의 신호에 의해, 시작으로부터 종료까지의 사이만, 제스처 인식 처리를 실행하면 좋다. 상기 구성은, 정식의의 제스처 인식 처리가, 손가락 자세를 식별하는 등의 고부하 처리인 경우에는, 부하를 대폭적으로 삭감할 수 있기 때문에 특히 효과가 크다.
또한, 시작·종료의 신호는, 특정 피사체의 움직임을 분석하여 행하기 때문에, 제스처로서 식별되는 손가락 자세와는, 분석 대상이 크게 다르다. 따라서 특정 피사체가 손이고, 제스처 인식 대상물이 손가락이어서, 감시 부위가 비슷하여도, 제스처 인식 장치는, 그것에 의한 오인식을 회피하고, 제스처 인식 처리의 시작·종료를 정확히 판단할 수 있다.
상기 특정 피사체 검출 수단은, 상기 동화의 프레임 상에, 상기 특정 피사체의 적어도 일부를 포함하는 특정 피사체 영역을 특정함과 함께, 상기 특정 피사체 영역의 중심 위치 좌표를 특정하여도 좋다.
이에 의해, 부하가 낮은 처리로, 특정 피사체의 이동 속도 및 이동 패턴을 분석하는 것이 가능해진다.
상기 이동 속도 산출 수단은, 상기 특정 피사체 영역의 중심의, 상기 단위시간 당의 이동 거리를, 상기 특정 피사체 영역의 사이즈로 정규화하고, 정규화에 의해 얻어진 중심 이동량에 의거하여 이동 속도를 산출하는 것이 바람직하다.
이에 의해, 동작을 촬영하는 촬영부와 유저와의 거리 등의 차이에 의해 생기는, 특정 피사체의 찍히는 방식의 차이 등을 흡수하고, 보다 정밀도 좋게, 제스처 인식 처리의 시작·종료를 판단할 수 있다.
상기 이동 패턴 추출 수단은, 상기 동화중의 복수의 프레임에 관해 특정된, 상기 특정 피사체 영역의 중심에 관해, 각 중심의 중심 위치 좌표의 분산을 이동 패턴으로서 추출하여도 좋다.
이에 의해, 유저는, 특정 피사체의 이동영역을 조절함에 의해, 시작 종료의 신호와, 제스처를 구별하여, 정확히, 제스처 인식 장치에 대해 지시를 보낼 수 있다.
상기 입력 지시 식별 수단은, 상기 이동 속도 산출 수단에 의해 산출된 이동 속도가 소정의 임계치보다 크고, 또한, 상기 이동 패턴 추출 수단에 의해 추출된 중심 위치 좌표의 분산이, 소정의 하한 임계치로부터 소정의 상한 임계치까지의 범위에 있는 경우에, 상기 특정 피사체의 움직임을, 상기 제스처 인식 처리의 시작 또는 종료의 지시라고 판단하여도 좋다.
이에 의해, 제스처 인식 장치는, 특정 피사체가 「의도하여 재빠르게 조금씩 움직이는」 패턴에 의해, 시작 종료의 신호를 올바르게 판단하는 것이 가능해진다. 상기 패턴은, 제스처 인식 처리에서의 제스처의 패턴으로서는 통상 이용되는 일이 없다. 또한, 유저는, 특정 피사체를 상기 패턴으로 움직이는 것을 자연스러운 조작으로 행할 수 있다.
결과로서, 특수한 수단에 의존하는 일 없이, 유저에 있어서는 간단하면서 장치에 있어서도 저부하 처리로, 제스처의 시작과 종료를 올바르게 인식하는 제스처 인식 장치를 실현할 수 있다.
상기 특정 피사체 검출 수단은, 색 또는 형상에 특정한 특징을 갖는 유저의 소지품을 특정 피사체로서 검출하여도 좋다.
상기 입력 지시 식별 수단은, 상기 특정 피사체의 상기 이동 속도와 상기 이동 패턴에 의거하여, 상기 특정 피사체의 움직임을, 제스처로서 인식하는 제스처 인식 수단이라도 좋다.
이에 의해, 색이나 형상 등에 대한 정밀하고 자세한 분석이 필요한, 부하가 높은 화상 처리를 행하지 않고서 정식의 제스처 인식 처리를 실행하는 것이 가능해진다. 따라서 제스처 인식 장치에서의 처리 부하를 대폭적으로 경감하는 것이 가능해진다. 또한, 정식의 제스처 인식 처리에서 이용되는 제스처와, 시작·종료의 신호에는, 각각, 서로 비슷하지 않은 이동 속도 또는 이동 패턴의 조건을 미리 할당하여 두면, 오인식을 막는 것이 가능하다.
본 발명의 제스처 인식 장치의 제어 방법은, 상기 과제를 해결하기 위해, 동화에 찍히는 인식 대상물의 동작으로부터 제스처를 인식하기 위한 제스처 인식 처리를 실행하는 제스처 인식 장치의 제어 방법으로서, 상기 동화에 찍히는 특정한 특징을 갖는 특정 피사체를 상기 동화로부터 검출하는 특정 피사체 검출 스텝과, 상기 특정 피사체의 단위시간 당의 이동 속도를 산출하는 이동 속도 산출 스텝과, 상기 특정 피사체의 이동 패턴을 추출하는 이동 패턴 추출 스텝과, 상기 이동 속도와 상기 이동 패턴이 미리 정해진 조건을 충족시키는 경우에, 상기 특정 피사체의 움직임을, 자체장치에 대해 입력된 지시로서 식별하는 입력 지시 식별 스텝을 포함하는 것을 특징으로 하고 있다.
또한, 상기 제스처 인식 장치는, 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터를 상기 각 수단으로서 동작시킴에 의해 상기 제스처 인식 장치를 컴퓨터에 실현시키는 제스처 인식 장치의 제어 프로그램, 및 그것을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 범주에 들어간다.
본 발명의 제스처 인식 장치는, 상기 동화에 찍히는 특정한 특징을 갖는 특정 피사체를 상기 동화로부터 검출하는 특정 피사체 검출 수단과, 상기 특정 피사체의 단위시간 당의 이동 속도를 산출하는 이동 속도 산출 수단과, 상기 특정 피사체의 이동 패턴을 추출하는 이동 패턴 추출 수단과, 상기 이동 속도와 상기 이동 패턴이 미리 정해진 조건을 충족시키는 경우에, 상기 특정 피사체의 움직임을, 자체장치에 대해 입력된 지시로서 식별하는 입력 지시 식별 수단을 구비하고 있는 것을 특징으로 하고 있다.
본 발명의 제스처 인식 장치의 제어 방법은, 상기 동화에 찍히는 특정한 특징을 갖는 특정 피사체를 상기 동화로부터 검출하는 특정 피사체 검출 스텝과, 상기 특정 피사체의 단위시간 당의 이동 속도를 산출하는 이동 속도 산출 스텝과, 상기 특정 피사체의 이동 패턴을 추출하는 이동 패턴 추출 스텝과, 상기 이동 속도와 상기 이동 패턴이 미리 정해진 조건을 충족시키는 경우에, 상기 특정 피사체의 움직임을, 자체장치에 대해 입력된 지시로서 식별하는 입력 지시 식별 스텝을 포함하는 것을 특징으로 하고 있다.
따라서 특수한 수단에 의존하는 일 없이, 유저에 있어서는 간단하면서 장치에 있어서도 저부하 처리로, 제스처 인식 처리에 관한 유저로부터의 지시를 올바르게 인식하는 제스처 인식 장치를 실현할 수 있다는 효과를 이룬다.
도 1은 본 발명의 실시 형태에서의 제스처 인식 장치의 주요부 구성을 도시하는 블록도.
도 2는 본 발명의 실시 형태에서의 제스처 인식 장치의 시작 종료 지시 처리의 개략을 도시하는 플로우 차트.
도 3은 본 발명의 제스처 인식 장치(중심 추적부)가 검출하는 손 영역, 손 영역 사이즈, 및, 손 영역의 중심의 구체예를 도시하는 도면.
도 4는 특정 피사체(손)가 찍히는 동화의 각 프레임의 구체예를 도시하는 도면으로, 본 발명의 제스처 인식 장치(이동 속도 판정부)가, 중심의 이동에 의거하여, 상기 이동 속도를 산출한 동작을 설명하는 도면.
도 5는 이동한 손의 중심 위치 좌표의 분포를 도시하는 도면으로, 본 발명의 제스처 인식 장치(이동 패턴 추출부)가, 이 분포에 의거하여, 분포 범위 사이즈를 산출하는 동작을 설명하는 도면.
도 6은 제스처 인식 장치의 중심 추적부 및 이동 속도 판정부에서의 이동 속도 판정 처리의 흐름을 도시하는 플로우 차트.
도 7은 이동 패턴 추출부 및 시작 종료 판단부에서의 이동 패턴 매칭 처리의 흐름을 도시하는 플로우 차트.
≪실시 형태 1≫
본 발명의 실시 형태에 관해, 도면에 의거하여 설명하면 이하와 같다.
본 발명의 제스처 인식 장치는, 촬영부가 촬영하는 특정 피사체의 이동 속도와 이동 패턴에 의거하여, 제스처의 시작, 종료를 인식한다. 특정 피사체란, 색, 형태 등의 특징이 어느 정도 통일된 물체를 가리킨다. 특정 피사체는, 특수한 수단이 아니라, 유저의 신체의 일부나, 일상적으로 소지하고 있는 휴대품인 것이 바람직하다. 인간의 손은, 대부분 색도 형태도 통일되어 있다. 유저의 신체의 일부이기 때문에, 특정 피사체로서 적합하다. 본 실시 형태에서는, 한 예로서, 유저의 손을 특정 피사체로서 인식하고, 제스처의 시작, 종료를 판단하는 제스처 인식 장치에 관해 설명한다. 또한, 본 실시 형태에서 설명하는 제스처 인식 장치는, 한 예로서, 상기 판단된 시작부터 종료까지의 사이의 본래의 제스처 인식 처리에서, 손가락의 자세를 제스처 인식의 대상이 되는 피사체(인식 대상물)로서 파악하고, 제스처의 종류를 판별하는 것으로 한다.
[제스처 인식 장치의 구성]
도 1은, 본 발명의 실시 형태에서의 제스처 인식 장치(100)의 주요부 구성을 도시하는 블록도이다. 도 1에 도시하는 바와 같이, 제스처 인식 장치(100)는, 제어부(1), 촬영부(2) 및 기억부(3)를 구비하는 구성으로 되어 있다. 또한, 제스처 인식 장치(100)는, 이용 환경에 응하여, 유저가 제스처 인식 장치(100)를 조작하기 위한 조작부, 제스처 인식 장치(100)가 외부의 장치와 통신하기 위한 통신부, 및, 제스처 인식 장치(100)가 보존하는 각종 정보를 유저에게 제시하기 위한 표시부 등을 구비하고 있어도 좋다.
촬영부(2)는, 제스처의 시작, 종료를 판단하기 위한 특정 피사체, 및, 제스처 인식의 대상이 되는 피사체(인식 대상물)를 촬상하고, 동화 데이터를 생성하는 것이다. 상세하게는, 촬영부(2)는, 주로, 프레임 메모리, 메카니컬 기구, 모터 등으로 구성된다. 모터는, 줌렌즈 모터, 포커스 모터, 셔터 모터 등을 포함한다. 촬상 소자로서는, CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등의 광전 변환 소자가 이용된다.
또한, 제스처 인식 장치(100)는, 촬영부(2)를 구비하지 않아도 좋고, 이 경우, 별도로 마련된 촬영부와, 제스처 인식 장치(100)의 통신부(도시 생략)가 통신망을 통하여 통신하고, 제스처 인식 장치(100)가 상기 통신부를 통하여 동화를 취득하는 구성으로 하여도 좋다.
기억부(3)는, 제스처 인식 장치(100)가 취급하는 각종 데이터를 기억하는 것이고, 데이터를 휘발적으로 기억하는 일시 기억부와, 불휘발적으로 기억하는 기억 장치가 포함된다. 일시 기억부는, 제스처 인식 장치(100)가 실행하는 각종 처리의 과정에서, 연산에 사용하는 데이터 및 연산 결과 등을 일시적으로 기억하는 이른바 워킹 메모리이고, RAM 등으로 구성된다. 기억 장치는, 제어부(1)가 실행하는 제어 프로그램 및 OS 프로그램, 및, 제어부(1)가, 제스처 인식 장치(100)가 갖는 각종 기능을 실행할 때에 판독하는 각종 데이터를 기억하는 것이고, ROM 등으로 실현된다.
제어부(1)는, 제스처 인식 장치(100)가 구비하는 각 부분을 통괄 제어하는 것이고, 기능 블록으로서, 적어도, 인식 지시부(10)와 제스처 인식부(20)를 구비하고 있다.
인식 지시부(10)는, 촬영부(2)에 의해 얻어진 동화로부터, 특정 피사체의 이동 속도와 이동 패턴을 분석하고, 상기 분석 결과에 응하여, 제스처 인식 처리의 시작 또는 종료를 지시하는 것이다. 즉, 인식 지시부(10)는, 상기 동화중, 제스처 인식 처리의 시작 또는 종료 시점을 제스처 인식부(20)에 지시한다. 예를 들면, 인식 지시부(10)는, 제스처 인식의 스위치의 온/오프의 전환을 행하여도 좋다.
본 실시 형태에서는, 제스처 인식 장치(100)는, 손을 특정 피사체로 하고, 손가락의 자세를 정식의 제스처 인식 처리에서의 인식 대상물로서 파악한다. 어느것이나 유저의 손을 피사체에 하고 있다. 이와 같은 경우, 제스처 인식의 시작 또는 종료를 지시하는 시작 종료 지시 처리의 사이와, 제스처의 종류를 판별하는 제스처 인식 처리의 사이에서는, 유저의 손의 움직임이 비슷하지 않는 것이 바람직하다.
여기서, 일반적으로, 제스처 인식 처리에서는, 고속의 손짓 등, 재빠르게 조금씩 움직인 동작은, 제스처의 일종으로서 판별하는데 이용되지 않는다. 그래서, 본 실시 형태에서는, 이, 제스처 인식 인터페이스에는 사용되지 않는, 재빠르게 조금씩의 동작 패턴을 특정 피사체의 움직임으로부터 검출함에 의해, 제스처 인식의 시작·종료를 판단한다.
보다 상세하게는, 인식 지시부(10)는, 특정 피사체의 이동 속도와 이동 패턴을 분석하기 위해, 기능적으로, 중심 추적부(11)와, 이동 속도 판정부(12)과, 이동 패턴 추출부(13)와, 시작 종료 판단부(14)를 포함하는 구성으로 되어 있다. 이 각 부분의 상세에 관해서는 후술한다.
제스처 인식부(20)는, 인식 지시부(10)로부터의 지시에 따라, 촬영부(2)에 의해 얻어진 동화중, 지시받았던 시작 시점부터 종료 시점까지의 동화로부터, 제스처를 검출하여, 종류를 특정하고, 상기 제스처의 의미를 이해하는 것이다. 본 실시 형태에서는, 한 예로서, 유저의 손가락의 자세를 검출하고, 그지 자세에 응하여 제스처의 종류를 판별한다. 제스처 인식부(20)의 인식 결과는, 인식된 제스처에 응한 처리를 실행하는 제스처 인식 장치(100)가 도시하지 않는 각종 실행부, 또는, 외부의 실행 장치에 공급된다.
상술한 제어부(1)의 각 기능 블록은, CPU(central processing unit)가, ROM(read only memory) 등으로 실현된 기억 장치에 기억되어 있는 프로그램을 도시하지 않은 RAM(random access memory) 등의 일시 기억부에 판독하여 실행함으로써 실현할 수 있다.
[제스처 인식 장치의 처리의 흐름]
상술한 제스처 인식 장치(100)가, 제스처 인식의 시작 또는 종료를 지시하는 처리의 흐름은, 대체로 이하와 같다. 도 2는, 제스처 인식 장치(100)의 시작 종료 지시 처리의 개략을 도시하는 플로우 차트이다.
동화가 취득되면, 제스처 인식 장치(100)의 중심 추적부(11) 및 이동 속도 판정부(12)가, 이동 속도 판정 처리를 실행한다(S1). 본 실시 형태에서는, 중심 추적부(11)가 유저의 손의 중심을 추적하고, 이동 속도 판정부(12)가 상기 중심의 일정한 시간 내의 이동 속도를 판정한다. 상기 이동 속도가 소정의 임계치 이상이면(S1에서 YES), 충분히 재빠른 움직임이라고 판단된다. 그리고, 이동 패턴 추출부(13)가, 손의 중심의 이동 패턴을 추출하여, 이동 패턴 매칭 처리를 실행한다(S2). 구체적으로는, 이동 패턴 추출부(13)는, 손의 이동이 특정한 범위 내에 수속되어 있는지의 여부를 판정한다. 상기 이동 범위가 소정의 범위 이내면(이동 패턴이 매치하면), 이동 패턴 추출부(13)는, 손의 움직임이, 충분히 조금씩의 움직임이라고 판단한다(S2에서 YES). 최후로, 시작 종료 판단부(14)가, 해당 손의 움직임은 제스처 인식의 시작 또는 종료를 나타내고 있다고 판단하고, 제스처 인식부(20)에 대해, 제스처 인식의 시작 또는 종료를 지시한다(S3).
한편, 손의 움직임이, 충분한 이동 속도를 유지하지 않던지(S1에서 NO), 또는, 일정한 범위에 수속하지 않으면(S2에서 NO), 상기 손의 움직임은 제스처 인식의 시작·종료와는 관계가 없다고 하여, 재차 손의 움직임의 감시로 되돌아온다.
상기 구성 및 방법에 의하면, 동화로부터 특정 피사체의 움직임이 분석된 결과, 이동 속도 판정부(12)가, 특정 피사체의 이동 속도가 일정 이상 빠르다고 판단하고, 또한, 이동 패턴 추출부(13)가, 특정 피사체의 이동 패턴이 일정 범위 내에 수속하고 있다고 판단한 경우에만, 시작 종료 판단부(14)가, 해당 특정 피사체의 움직임이, 제스처 인식의 시작 또는 종료를 지시하고 있다고 판단한다.
이에 의해, 유저는, 특정 피사체를 재빠르게 조금씩 움직인다는 간단한 동작만으로, 제스처 인식 장치(100)에 대해, 제스처의 시작과 종료를 정확히 지시하는 것이 가능해진다.
이와 같이 재빠르게 조금씩 움직인다는 단순한 동작은, 일반적으로, 어플리케이션의 제스처 인식의 인터페이스에는, 그다지 이용되지 않는 특별한 동작 패턴이다. 이 특별한 동작 패턴을, 시작과 종료의 사인에 할당하고 있기 때문에, 정식의 제스처 인식 처리에서, 상기 동작 패턴이, 제스처라고 오인되어 버리는 일은 없다. 따라서 제스처의 판별의 정밀도를 대폭적으로 향상시키는 것이 가능하다.
또한, 특정한 물건의 특정한 움직임을 검출함에 의해, 제스처의 시작과 종료를 정확히 판단할 수 있기 때문에, 특수한 수단에 의존하지 않아도 되고, 유저에게 특수한 수단의 준비, 휴대를 강요하는 일이 없다. 구체적으로는, 인식 지시부(10)가, 시작 종료의 판단을 위해 감시하는 특정 피사체는, 유저 자신의 특정한 기관(수, 팔, 얼굴 등)이나, 또는, 특정한 색이나 특정한 형상 등을 갖는 일용 휴대품(볼펜, 휴대 전화, 사원증 등)이면 좋다. 즉, 유저의 신체의 일부나, 일상적으로 소지하고 있는 물건을 특정 피사체로 할 수가 있기 때문에, 제스처 인증을 위해 특수한 수단을 갖가지 소지할 필요가 없다. 유저는, 언제라도 자연스럽게, 간단한 조작으로 제스처 인식의 시작과 종료를 지시하는 것이 가능해진다.
또한, 제스처 인식부(20)는, 인식 지시부(10)가 지시한 사이의 프레임에 대해서만, 제스처 인식 처리를 실행하기 때문에, 동화의 전(全) 프레임에 대해, 항상 고부하의 제스처 인식 처리를 실행하지 않아도 된다. 특히, 손가락 자세를 인식하는 등의 고부하 처리를, 항상 행할 필요가 없어지기 때문에, 제스처 인식 장치(100)의 부하를 대폭적으로 경감하는 것이 가능하다.
이하에서는, 시작 종료 지시 처리를 실행하는 인식 지시부(10)의 구성과 처리의 흐름에 관해 보다 상세히 설명한다.
[제스처 인식 장치의 상세]
인식 지시부(10)의 중심 추적부(11)는, 동화의 각 프레임으로부터, 특정 피사체의 영역을 특정하고, 특정한 영역의 중심의 좌표를 산출하는 것이다. 본 실시 형태에서는, 중심 추적부(11)는, 특정 피사체로서의 유저의 손을 검출하고, 그 손 영역을 특정한다. 손 영역의 검출, 특정한 방법은, 종래의 기술을 적절히 채용하는 것이 가능하다. 한 예로서, 비특허 문헌 1에 기재되어 있는 손의 검출 방법을 채용할 수 있다. 이 방법에 의하면, 검출된 블로브 특성(blob feature)을 손으로서 정의한다. 구체적으로는, 도 3에 도시하는 바와 같이, 중심 추적부(11)는, 살색의 영역의 대부분을 포함하도록 블로브(원형(圓形) 영역)를 정의하고, 이것을 그대로 손 영역으로서 특정하여도 좋다. 중심 추적부(11)는, 손 영역을 원으로 정의함에 의해, 간단한 계산으로 손 영역의 중심(x_c)를 구하는 것이 가능해진다. 이 방법에 의하면, 복잡한 형상의 살색 영역을 손 영역으로서 검출하는 경우보다도, 계산량을 대폭적으로 줄일 수 있다. 또는, 손 영역은, 도 3에 도시하는 바와 같이, 상기 원의 외접 사각형으로서 정의되고, 손 영역의 사이즈(h_size)는, 상기 외접 사각형의 면적으로 정의되어도 좋다. 즉, 도 3에 도시하는 예에서는, 손 영역의 사이즈(h_size)는, w*h로 정의된다.
또는, 중심 추적부(11)는, 다음 식(수학식 1)에 의거하여, 손 영역의 중심(x_c)을 산출하여도 상관없다. 즉,
Figure pat00001
이다. 여기서, Xj=(xj, yj)는, 검출한 손 영역 내의 점을 나타내고, m은 그 점의 수를 나타낸다.
중심 추적부(11)는, 동화의 전 프레임마다, 손 영역의 검출과 상기 중심 위치 좌표의 검출을 행하여도 좋지만, 처리 효율을 고려하여, 일정 간격의 프레임마다(일정 초마다) 손 검출을 실행하는 것이 바람직하다.
본 실시 형태에서는, 중심 추적부(11)는, 상기 동화의 t_int초(예를 들면, 50밀리초 등)마다, 검출시점을 마련하고, 상기 검출시점의 각 프레임에 관해, 손 영역의 검출과 상기 중심 위치 좌표의 검출을 행한다. 중심 추적부(11)는, 최초의 프레임(Frame0)의 첫회의 검출을 0회째로 하고, i회째에 행한 검출에 의해 구한 손 영역의 중심 위치 좌표를, x_c[i]로서 기억부(3)에 기억한다.
본 실시 형태에서는, 중심 추적부(11)는, 첫회(i=0)의 검출시점의 최초의 프레임(Frame0)부터 검출되는 손 영역의 사이즈(h_size)(예를 들면, 도 3에 도시하는 바와 같이, h_size=w*h)를 산출하여 기억부(3)에 기억하여 둔다. 이 첫회 손 영역의 사이즈(h_size)는, 중심의 이동량을 정규화하기 위해, 이동 속도 판정부(12)에 의해 참조된다. 이동 속도 판정부(12)는, 정규화된 중심의 이동량에 의거하여, 스케일이 통일된 이동 속도를 산출할 수 있다.
손의 3차원 위치 또는 방향에 의해, 프레임상에 찍히여 있는 손의 크기는 여러가지가 되지만, 짧은 기간에 손의 이동 속도를 구하는 경우에는, 그 단기간에 상기 손의 크기가 극단적으로 변화하는 일은 없다고 상정되고, 손 영역 사이즈의 다소의 편차는 무시할 수 있을 정도로 영향이 작다고 생각된다. 그래서, 첫회의 손 영역의 사이즈로, 검출시점의 중심부터 다음 검출시점의 중심까지의 거리를, 첫회 손 영역의 사이즈(h_size)로 정규화함에 의해, 각 프레임에서의 중심의 이동 거리를 스케일이 통일된 이동량으로서 취급할 수 있고, 결과로서, 중심의 이동 속도의 스케일을 통일할 수 있다. 예를 들면, 유저에 의해 카메라의 앞에서의 서있는 위치가 다르거나, 손의 내미는 방식이 다르거나 하여, 카메라에 찍히는 손의 크기에는 큰 오차가 나오는 것이 상정된다. 그러나, 상술한 방법에 의하면, 찍혀 있는 손의 크기에 대한 이동량을 추출할 수 있기 때문에, 유저의 찍히는 방식의 차이에 의한 오차를 무시할 수 있다.
또한, 중심 추적부(11)가 검출한 손 영역이, 원, 사각형 등의 기하학적 도형인 경우에는, 중심 추적부(11)는, 계산에 의해 손 영역의 면적을 구하여 그것을 h_size로 하여도 좋다. 또는, 중심 추적부(11)는, 검출된 손 영역의 외접 사각형의 면적을 손 영역의 h_size로서 취득하여도 좋다. 본 실시 형태에서는, 도 3에 도시하는 바와 같이, 손 영역(망을 그은 원)의 외접 사각형의 폭(w)과 높이(h)를 취득하여, h_size를 정의한다.
이동 속도 판정부(12)는, 중심 추적부(11)가 추적한 손 영역의 중심의 이동 속도를 산출하고, 그것이 일정한 속도에 달하고 있는지의 여부를 판정하는 것이다. 본 실시 형태에서는, 이동 속도 판정부(12)는, 검출시점에서의 프레임 사이에서의, 중심의 이동 속도를 전부 구하고, 상기 평균치인 평균 이동 속도를 소정의 임계치와 비교한다.
이동 속도 판정부(12)는, Frame0에서의 손 영역의 중심 위치 좌표(x_c[0])와, t_int초 후의 Frame1에서의 손 영역의 중심 위치 좌표(x_c[1])의 거리를, 상기한 첫회 손 영역 사이즈(h_size)로 정규화된 중심 이동량을 t_int초로 나누어서, 이동 속( v[0])를 구한다.
그리고, 도 4에 도시하는 바와 같이, 이후의 프레임 사이에서도 마찬가지로, i-1회째의 검출에서 구한, Framei-1에서의 중심 위치 좌표(x_c[i-1])와, Framei에서의 중심 위치 좌표(x_c[i])와의 거리(d)를 h_size로 정규화하고, 그것을 t_int초로 나누어, 이동 속도(v[i-1])를 산출하는 것을 반복한다. 이것은, 최후의 검출시점인 Framen에서, n회째에 검출된 중심 위치 좌표(x_c[n])의 위치까지의, 이동 속도(v[n-1])가 산출될 때까지 반복된다.
이동 속도 판정부(12)는, 각 프레임 사이에서 구한 각 이동 속도(V[i-1])의 평균 이동 속도(V_a)가 소정의 임계치(T_v) 이상인 경우에, 상기 손의 움직임이 충분히 재빠르게, 시작·종료의 지시일 가능성이 있다고 판단한다. 여기서, 중심 추적부(11) 및 이동 속도 판정부(12)에 의해 얻어진 데이터는, 기억부(3)에 기억되고, 이동 패턴 매칭 처리를 실행하는 이동 패턴 추출부(13)에 인도된다.
또한, 검출시점의 시간 간격의 값(t_int), 및, 속도의 임계치(T_v)는, 실험 또는 경험으로부터 최적의 것이 선택된다.
이동 패턴 추출부(13)는, 특정 대상물(손)이 움직인 때의 이동 패턴을 추출하는 것이다. 시작 종료 판단부(14)는, 상기 이동 범위가 일정한 범위 내에 수속하고 있는지의 여부를 판정하고, 판정 결과에 응하여, 동화에서의 시작 또는 종료의 시점을 제스처 인식부(20)에 지시하는 것이다.
본 실시 형태에서는, 이동 패턴 추출부(13)는, 중심 추적부(11)가 추적한 손 영역의 중심 위치 좌표(x_c[i])의 분산(X_v)을 구한다. 분산은, 시작 종료 판단부(14)에 의해, 소정의 임계치과 비교된다. 시작 종료 판단부(14)는, 분산이, 소정의 임계치(T_h와 T_l)와 (T_l<T_h)의 범위 내라면, 제스처 인식의 시작 또는 종료를 제스처 인식부(20)에 지시한다.
본 실시 형태에서는, 이동 패턴 추출부(13)는, 중심 추적부(11)가 구한 손의 중심 위치 좌표를, 중심의 이동 거리의 스케일을 통일하기 위해 정규화한다. 보다 상세하게는, 이동 패턴 추출부(13)는, 손의 중심 위치 좌표의 정규화를, 검출한 중심 위치 좌표의 분포로부터 구한 외접 사각형의 사이즈(hr_size)에 의해 행한다. 상기 외접 사각형의 사이즈(hr_size)는, 손의 중심의 분포 범위 사이즈를 나타낸다. 예를 들면, 도 5에 도시하는 바와 같이, hr_size는, 중심의 집합중, 각 중심의 x좌표치의 최대치(x_max)와 최소치(x_min)의 차를, 외접 사각형의 폭(wr)으로 하고, y좌표치의 최대치(y_max)와 최소치(y_min)의 차를, 외접 사각형의 높이(hr)로 함에 의해 구하여진다.
그리고, 이동 패턴 추출부(13)는, 정규화한 중심 위치 좌표(X_cn[i])의 분산(X_v)을 산출한다. 구체적으로는, 이동 패턴 추출부(13)는, 다음 식(수학식 2)에 의거하여, 분산(X_v)을 산출할 수 있다. 즉,
Figure pat00002
이다. 여기서, X_cn[i]는, 프레임마다의 각 중심의, 정규화된 중심 위치 좌표를 나타내고,
Figure pat00003
는, 모든 중심의 평균 위치 좌표를 나타내고, n+1은, 중심의 개수를 나타낸다.
상기 방법에 의하면, 중심의 이동 거리의 스케일을 통일할 수 있기 때문에, 분산의 범위의 스케일을 통일할 수 있다. 예를 들면, 유저에 의해 카메라의 앞에서의 서있는 위치가 다르거나, 손의 내미는 방식이 다르거나 하여, 카메라에 찍히는 손의 크기에는 큰 편차가 생기는 것이 상정된다. 손의 크기의 차이를 고려하지 않고, 정규화하지 않는 채의 분산치에서는, 공통의 임계치로 분산의 대소를 판정할 수가 없다. 그러나, 상술한 방법에 의하면, 손이 움직인 최대 범위 내에서의 분산을 추출할 수 있기 때문에, 유저의 찍히는 방식의 차이에 의한 편차를 무시하여, 분산의 스케일을 통일할 수 있다.
시작 종료 판단부(14)는, 상술한 바와 같이 하여 구하여진 손의 중심의 분산이, 소정의 임계치(T_h와 T_l)와 (T_l<T_h)의 사이에 있으면, 의도를 갖고서(무의식의 흔들림이 아닌), 또한, 충분히 조금씩 움직이고 있다고 판단하고, 그 손의 움직임을, 제스처 인식의 시작 또는 종료의 지시라고 판단한다. 그리고, 시작 종료 판단부(14)는, 제스처 인식의 시작 또는 종료를 제스처 인식부(20)에 지시한다. 예를 들면, 제스처 인식 처리의 스위치의 온/오프를 전환하는 등을 행한다.
또한, 분산의 상한 임계치(T_h), 및, 하한 임계치(T_l)는, 실험 또는 경험으로부터 최적의 것이 선택된다.
이상의 각 부분의 처리의 흐름에 관해, 도 6 및 도 7을 참조하면서 상세히 설명한다.
[이동 속도 판정 처리의 흐름]
도 6은, 중심 추적부(11) 및 이동 속도 판정부(12)에서의 이동 속도 판정 처리의 흐름을 도시하는 플로우 차트이다.
중심 추적부(11)는, 촬영부(2)가 촬영한 동화를 취득하여(S101), 손의 움직임의 감시를 시작한다(S102). 구체적으로는, 중심 추적부(11)는, 시작 시각(t_0)을 현재 시각(t)로 하여, 손의 감시 및 프레임의 경과시각의 계측을 시작하고, 검출 카운터(i)를 0에 설정한다.
다음에, 중심 추적부(11)는, 손 영역과 상기 중심을 검출하기 위한, 시간 간격(t_int)을 취득한다(S103). t_int는, 예를 들면, 50밀리초, 등이고, 미리 최적의 초수가 정해지고 기억부(3)에 기억되어 있다.
중심 추적부(11)는, 현재 시각(t)이, 감시 시작 시각(t_0)(i=0의 경우)인지, 또는, 현재 시각(t)이, t_0+i*t_int에 도달하였는지의 조건을 충족시키고 있는지의 여부를 판정하고(S104), 조건을 충족시키고 있으면(S104에서 YES), 상기 현재 시각(t)의 프레임에 대해, 손 영역의 검출(S105)의 처리로 진행한다. 상기 조건이 총족되지 않은 경우에는(S104에서 NO), 동화 재생시각의 계측과 손의 감시를 계속한다. 즉, 중심 추적부(11)는, 첫회의 검출시점에서, 최초의 프레임에 대해, 손 영역과 상기 중심의 검출을 행하면, 이후, t_int초 간격으로, 그 때의 프레임을 검출시점이라고 판단한다.
중심 추적부(11)는, i회째의 검출에서, 손 영역의 중심 좌표 위치(x_c[i])를 산출하면, 기억부(3)에서의 사전에 정의되어 있는 중심 배열(X_c[i])(i=0, 1, 2, …, n)에, i회째의 중심 좌표 위치(x_c[i])를 저장한다(S106). 또한, 중심 배열(X_c[i]) 및 그각 요소인 중심 좌표 위치(x_c[i])는, x좌표치와 y좌표치의 정보를 포함하고 있다.
본 실시 형태에서는, S105 및 S106이, 첫회 검출시점(0회째의 검출)의 처리인 경우에는(S107에서 YES), 중심 추적부(11)는, 상기 최초의 프레임으로부터 검출된 손 영역의 사이즈(h_size)를 취득하고, 기억부(3)에 기억하여 둔다. 여기서는, 도 3에 도시하는 바와 같이, 손 영역(망이 그어진 원)의 외접 사각형의 폭(w)과 높이(h)를 취득하고, h_size를 정의한다(S108). 계속해서, 중심 추적부(11)는, 검출 카운터(i)를 하나 잉크리먼트하여(S109), 다음회 검출시점에 도달할 때까지 시간의 계측 및 감시를 계속한다.
한편, S105 및 S106의 검출시점이, 1회째 이후의 처리인 경우에는(S107에서 NO), 전회의 검출시점에서 중심이 산출되어 있기 때문에, 이동 속도 판정부(12)가, 전회의 검출시점의 중심부터 금회의 검출시점의 중심까지의 거리(중심의 이동 거리)와, 시간(t_int)에 의거하여, 중심의 이동 속도를 산출한다.
구체적으로는, 우선, 이동 속도 판정부(12)는, 전회(i-1회째라고 한다)의 검출시점(도 4의 Framei-1)에서 구하여진 중심(x_c[i-1])과, 금회(i회째)의 검출시점, Framei에서 구하여진 중심(x_c)[i]과의 거리(d)를, S108에서 취득된 첫회 손 영역 사이즈(h_size)로 정규화하고, 이동량을 산출한다. 또한, 이동량은, 거리(d)의 절대치를 사용하여 산출된다. 이것은, 이동하는 손의 중심의 위치 좌표의 분산을 후술하는 스텝에서 확인하기 위해, 이동의 방향은 묻지 않기 때문이다. 즉, 이동량은, 다음 식,
이동량=|(x_c[i]-x_c[i-1])/h_size|
에 의해 구하여진다. 이동 속도 판정부(12)는, 이와 같이 하여 구한 이동량을, 걸인 시간(여기서는, 시간 간격(t_int))으로 나눔에 의해, 전회(i-1회째)의 검출시점부터, 금회(i회째)의 검출시점까지의 이동 속도(v[i-1])를 산출한다. 그리고, 기억부(3)에서 사전에 정의되어 있는 속도 배열(V[i-1])(i=1, 2, …, n)에, 상기 이동 속도(v[i-1])를 저장한다(S110). 또한, 여기서는, 중심과의 거리(d)를 정규화하기 위한 손 영역의 사이즈(h_size)를, w*h로 정의하였지만, 이것으로 한정되지 않고, 예를 들면, 손 영역의 폭(w)과 높이(h)의 어느 한쪽 값이 큰 쪽만을 정규화에 이용할 수도 있다. 즉, h_size를, max(w, h)로 정의하여도 좋다. 또는, 거리(d)의 벡터의 x축방향의 길이를 손 영역의 폭(w)으로, 거리(d)의 벡터의 y축방향의 길이를 손 영역의 높이(h)로 정규화하여도 좋다.
그리고, 금회 검출시점(i회째)이, 최종의 검출시점(n회째)에 도달하지 않았으면(S111에서 NO), 중심 추적부(11)는, 검출 카운터(i)를 하나 잉크리먼트하여(S109), 다음회 검출시점에 도달할 때까지 시간의 계측 및 손 영역의 감시를 계속한다.
한편, 최종의 검출시점(n회째)에 도달하고, 각 프레임 사이의 n개의 모든 이동 속도가, 속도 배열(V[i-1])(i=1, 2, …, n)에 저장된 경우에는(S111에서 YES), 이동 속도 판정부(12)는, 속도 배열(V[i-1])로부터, 해당 동화의 특정 피사체인 손의 평균 이동 속도(V_a)를 산출한다(S112). 그리고, 이동 속도 판정부(12)는, 미리 정하여진 평균 이동 속도의 임계치(T_v)와, 상기 평균 이동 속도(V_a)를 비교한다.
평균 이동 속도(V_a)가, 임계치(T_v) 이하인 경우(S113에서 NO), 이동 속도 판정부(12)는, 상기 손의 움직임은 빠르지 않다고 판단하고, 따라서 제스처 인식의 시작·종료의 지시가 아니라고 판단한다. 여기서, 취득된 동화가 아직 계속되는 경우에는, 각종 데이터가 초기화되고, S102로 되돌아와 이후의 처리가 반복된다.
한편, 평균 이동 속도(V_a)가, 임계치(T_v)보다도 큰 경우(S113에서 YES), 이동 속도 판정부(12)는, 상기 손의 움직임이 충분 재빠르고, 당해 장의 움직임은, 제스처 인식의 시작·종료의 지시일 가능성이 있다고 판단한다.
이 경우, 중심 추적부(11)에 의해 출력된 중심 배열(X_c[i]) 및 첫회 손 영역 사이즈(h_size)와, 이동 속도 판정부(12)에 의해 출력된 속도 배열(V[i-1])이, 기억부(3)에 기억되고(S114), 중심 추적부(11) 및 이동 속도 판정부(12)는, 이동 속도 판정 처리를 종료한다. 이동 속도 판정 처리가 종료되면, 이동 패턴 추출부(13) 및 시작 종료 판단부(14)에 의해, 이동 패턴 매칭 처리가 시작된다.
[이동 패턴 매칭 처리의 흐름]
도 7은, 이동 패턴 추출부(13) 및 시작 종료 판단부(14)에서의 이동 패턴 매칭 처리의 흐름을 도시하는 플로우 차트이다.
이동 패턴 추출부(13)는, 중심 추적부(11)가 출력한, 각 프레임의 중심 위치 좌표(x, y좌표)를 취득한다. 즉, 기억부(3)로부터, 중심 배열(X_c[i])을 취득한다(S201). 그리고, 이동 패턴 추출부(13)는, 취득한 중심 배열(X_c[i])로부터, 손의 중심의 분포를 분석하고, 그 분포 범위의 사이즈(중심 분포 범위 사이즈(hr_size))를 특정한다(S202). 이동 패턴 추출부(13)는, 도 5를 참조하여 이미 설명한 바와 같이, 각 중심의 x좌표치의 최대치(x_max)와 최소치(x_min)의 차를, 폭(wr)으로 하고, 각 중심의 y좌표치의 최대치(y_max)와 최소치(y_min)의 차를, 높이(hr)로 하여, 중심 분포 범위 사이즈(hr_size)=wr*hr를 정의한다.
다음에, 이동 패턴 추출부(13)는, 중심 배열(X_c[i])의 각 중심 위치 좌표(x, y좌표)를, S202에서 구한 중심 분포 범위 사이즈(hr_size)로 정규화한다(S203). 즉, 정규화된각 중심 위치 좌표(X_cn[i])를 다음 식,
X_cn[i]=X_c[i]/hr_size
에 의해 구한다. 여기서, i=0, 1, 2, …, n이다. 이에 의해, 중심의 이동 거리의 스케일이 통일된다.
또한, 여기서는, 각 중심 위치 좌표를 정규화하기 위한 중심 분포 범위 사이즈(hr_size)를, wr*hr라고 정의하였지만, 이것으로 한정되지 않고, 예를 들면, 중심 분포 범위 사이즈의 폭(wr)과 높이(hr)의 어느 값이 큰 쪽만을 정규화에 이용할 수도 있다. 즉, hr_size를, max(wr, hr)로 정의하여도 좋다. 또는, x좌표를 폭(wr)으로, y좌표를 높이(hr)로 정규화하여도 좋다.
그리고, 이동 패턴 추출부(13)는, S203에서 구한, 정규화된 손의 중심 위치 좌표의 분산(X_v)을 산출한다(S204). 분산을 산출하기 위한 식은, 상술한 (수학식 2)로 표시하는 바와 같다.
계속해서, 시작 종료 판단부(14)는, S204에서 이동 패턴 추출부(13)에 의해 구하여진 분산에 의거하여, 이동 패턴이 매치하는지의 여부를 판단한다. 제스처 인식의 시작 또는 종료의 지시인 경우의 중심의 이동 패턴은, 미량이 무의식적인 움직임과는 달리, 의도를 갖고 작동되어 있기 때문에, 일정 이상의 분산을 나타내고, 또한, 재빠르게 조금씩 주기적인 움직임을 반복하기 때문에, 상기 분산은 일정한 범위 내로 수속한다고 생각된다.
그래서, 시작 종료 판단부(14)는, 분산(X_v)을, 분산의 상한 임계치(T_h), 및, 하한 임계치(T_l)와 비교하여, 분산(X_v)이, 상기 소정의 임계치의 범위 내에 수납되는 경우에(S205에서 YES), 당해 손의 움직임이, 제스처 인식의 시작 또는 종료의 이동 패턴에 매치하였다고 판정한다(S206). 그리고, 시작 종료 판단부(14)는, 상기 손의 재빠르게 조금씩의 동작이 행하여지고 있는 시점을, 제스처 인식 처리의 시작 또는 종료 시점이라고 판단하고, 제스처 인식부(20)에 통지한다(S207). 시작 종료 판단부(14)는, 시작 또는 종료 시점에 대응하는, 동화상(上)의 프레임 위치를 제스처 인식부(20)에 통지하여도 좋고, 제스처 인식부(20)에 제스처 인식 처리를 지시하는 스위치가 마련되어 있는 경우에는, 상기 스위치의 온/오프를 전환하여도 좋다.
한편, 분산(X_v)이, 상기 소정의 임계치의 범위 내에 수납되지 않는 경우는(S205에서 NO), 상기 손의 움직임은, 시작 또는 종료의 이동 패턴에 매치하지 않는다고 판정한다(S208).
시작 종료 판단부(14)가 S207 또는 S208의 처리를 실행하고, 이동 패턴 매칭 처리가 종료되면, 취득된 동화가 아직 계속되는 경우에는, 각종 데이터가 초기화되고, 중심 추적부(11)가 S102로 되돌아와 이후의 처리를 반복한다.
[변형예 1]
상술한 실시 형태에서는, 제스처 인식 장치(100)는, 2차원 화상으로부터 검출되는 특정 피사체의 2차원의 이동 거리 및 이동 패턴에 의거하여, 제스처 인식 처리의 시작, 종료의 지시를 판정하는 구성이였다. 그러나, 본 발명의 제스처 인식 장치의 구성은, 이것으로 한정되지 않는다. 예를 들면, 특정 피사체의 3차원 위치를 검출할 수 있는 캘리브레이션이 끝난 화상 시스템을 사용하는 경우는, 특정 피사체의 이동 범위가 일정한 3차원 공간 내에 수속하는 것 및 일정 이상의 이동 속도인 것을, 제스처 인식 처리의 시작·종료 지시로서 정의하는 것도 가능하다.
[변형예 2]
상술한 실시 형태에서는, 특정 피사체의 이동 속도 및 이동 패턴의 판정 기준에 이용한 특정 피사체의 움직임을, 정식의 제스처 인식 처리의 시작, 종료의 사인으로서 이용하였다. 한편, 이동 속도 및 이동 패턴을 판정 기준에 이용한 특정 피사체의 움직임을, 정식의의 제스처 인식 처리에서, 어플리케이션에서의 유저 인터페이스의 일종으로서, 즉, 시작 사인 이후, 종료 사인까지의 사이에 이용되는 제스처 자체로서, 취급하는 것도 가능하다.
이 경우, 제스처 인식 처리의 시작·종료의 사인과, 정식의 제스처 인식 처리에서 인식되어야 할 제스처가, 유사한 움직임이 되면, 오인식될 우려가 있다.
그래서, 본원 발명에서는, 제스처 인식 처리의 시작·종료의 사인에 할당한 이동 속도 및 이동 패턴의 조건을, 각 제스처에 할당하는 이동 속도 및 이동 패턴의 조건과는 크게 다르게 함에 의해 상기한 부적합함을 해소하는 것이 가능하다.
예를 들면, 제스처 인식 처리의 시작·종료의 사인에는, 손으로 원을 그리는 운동을 어느 정도 고속에 행하는 패턴을 할당하고, 한편, 그 밖의 제스처에는, 원운동과는 동떨어진, 상하 방향이나 좌우 방향으로 손을 흔드는 패턴을 할당하는 것 등이 생각된다.
상기 구성에 의하면, 제스처 인식 처리의 시작·종료의 지시에 더하여, 제스처 자체도, 이동 속도와 이동 패턴(분산)의 분석에 의해 인식할 수 있다.
따라서, 처리의 부하를 더욱 대폭적으로 삭감하면서, 특수한 수단에 의존하는 일 없이, 유저에게서의 간단한 조작으로, 제스처 인식 처리에 관한 지시를 올바르게 인식하는 제스처 인식 장치를 실현하는 것이 가능해진다.
본 발명은 상술한 실시 형태로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러가지의 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절히 변경한 기술적 수단을 조합시켜서 얻어지는 실시 형태에 관해서도 본 발명의 기술적 범위에 포함된다.
최후로, 제스처 인식 장치(100)의 각 블록, 특히, 중심 추적부(11), 이동 속도 판정부(12), 이동 패턴 추출부(13) 및 시작 종료 판단부(14)는, 하드웨어 로직에 의해 구성하여도 좋고, 다음과 같이 CPU를 이용하여 소프트웨어에 의해 실현하여도 좋다.
즉, 제스처 인식 장치(100)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU(central processing unit), 상기 프로그램을 저장한 ROM(read only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 저장하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 제스처 인식 장치(100)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터에서 판독 가능하게 기록한 기록 매체를, 상기 제스처 인식 장치(100)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록 매체에 기록되어 있는 프로그램 코드를 판독하여 실행함에 의해서도, 달성 가능하다.
상기 기록 매체로서는, 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드계, 또는 마스크 ROM/EPROM/EEPROM/플래시 ROM 등의 반도체 메모리계 등을 이용할 수 있다.
또한, 제스처 인식 장치(100)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를, 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크로서는, 특히 한정되지 않고, 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상 전용망(virtual private network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특히 한정되지 않고, 예를 들면, IEEE1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL 회선 등의 유선이라도, IrDA나 리모트 콘트롤과 같은 적외선, Bluetooth(등록상표), 802. 11 무선, HDR, 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매입된 컴퓨터 데이터 신호의 형태라도 실현될 수 있다.
(산업상의 이용 가능성)
본 발명의 제스처 인식 장치의 구성에 의하면, 유저가 특수한 수단을 이용하지 않고서, 자연스러운 동작으로 정확하면서 간단하게 제스처 인식 처리의 시작, 종료를 지시할 수 있고, 제스처 인식 장치가 고부하 처리의 제스처 인식 처리를 항상 행하지 않아도 된다. 따라서, 제스처의 종류에 응한 처리를 실행하는 시스템을 이용하는 모든 유스 신에서, 장치 성능이나 주변 기기의 제약을 받는 일 없이, 본 발명의 제스처 인식 장치를 채용하는 것이 가능하다.
1 : 제어부
2 : 촬영부
3 : 기억부
10 : 인식 지시부
11 : 중심 추적부(특정 피사체 검출 수단)
12 : 이동 속도 판정부(이동 속도 산출 수단)
13 : 이동 패턴 추출부(이동 패턴 추출 수단)
14 : 시작 종료 판단부 (입력 지시 식별 수단/시작 종료 판단 수단)
20 : 제스처 인식부(입력 지시 식별 수단/제스처 인식 수단)
100 : 제스처 인식 장치

Claims (13)

  1. 동화에 찍히는 인식 대상물의 동작으로부터 제스처를 인식하기 위한 제스처 인식 처리를 실행하는 제스처 인식 장치에 있어서,
    상기 동화에 찍히는 특정한 특징을 갖는 특정 피사체를 상기 동화로부터 검출하는 특정 피사체 검출 수단과,
    상기 특정 피사체의 단위시간 당의 이동 속도를 산출하는 이동 속도 산출 수단과,
    상기 특정 피사체의 이동 패턴을 추출하는 이동 패턴 추출 수단과,
    상기 이동 속도와 상기 이동 패턴이 미리 정해진 조건을 충족시키는 경우에, 상기 특정 피사체의 움직임을, 자체장치에 대해 입력된 지시로서 식별하는 입력 지시 식별 수단을 구비하고 있는 것을 특징으로 하는 제스처 인식 장치.
  2. 제 1항에 있어서,
    상기 입력 지시 식별 수단은,
    상기 특정 피사체의 상기 이동 속도와 상기 이동 패턴에 의거하여, 상기 특정 피사체의 움직임을, 상기 제스처 인식 처리의 시작 또는 종료의 지시라고 판단하는 시작 종료 판단 수단인 것을 특징으로 하는 제스처 인식 장치.
  3. 제 2항에 있어서,
    상기 특정 피사체 검출 수단은,
    유저의 기관 또는 기관의 일부를 특정 피사체로서 검출하는 것을 특징으로 하는 제스처 인식 장치.
  4. 제 3항에 있어서,
    상기 특정 피사체 검출 수단은,
    유저의 손을 특정 피사체로서 검출하는 것을 특징으로 하는 제스처 인식 장치.
  5. 제 4항에 있어서,
    상기 동화에 찍히는 인식 대상물로서의 유저의 손가락 자세를 식별함에 의해 제스처 인식 처리를 실행하는 제스처 인식 수단을 구비하고,
    상기 제스처 인식 수단은, 상기 시작 종료 판단 수단에 의해 판단된 시작 시점부터 종료 시점까지의 상기 동화의 프레임으로부터, 상기지 자세를 식별하는 것을 특징으로 하는 제스처 인식 장치.
  6. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
    상기 특정 피사체 검출 수단은,
    상기 동화의 프레임 상에, 상기 특정 피사체의 적어도 일부를 포함하는 특정 피사체 영역을 특정함과 함께, 상기 특정 피사체 영역의 중심 위치 좌표를 특정하는 것을 특징으로 하는 제스처 인식 장치.
  7. 제 6항에 있어서,
    상기 이동 속도 산출 수단은,
    상기 특정 피사체 영역의 중심의 단위시간 당의 이동 거리를, 상기 특정 피사체 영역의 사이즈로 정규화하고, 정규화에 의해 얻어진 중심 이동량에 의거하여 이동 속도를 산출하는 것을 특징으로 하는 제스처 인식 장치.
  8. 제 6항에 있어서,
    상기 이동 패턴 추출 수단은,
    상기 동화중의 복수의 프레임에 관해 특정된, 상기 특정 피사체 영역의 중심에 관해, 각 중심의 중심 위치 좌표의 분산을 이동 패턴으로서 추출하는 것을 특징으로 하는 제스처 인식 장치.
  9. 제 8항에 있어서,
    상기 입력 지시 식별 수단은,
    상기 이동 속도 산출 수단에 의해 산출된 이동 속도가 소정의 임계치보다 크고, 또한, 상기 이동 패턴 추출 수단에 의해 추출된 중심 위치 좌표의 분산이, 소정의 하한 임계치로부터 소정의 상한 임계치까지의 범위에 있는 경우에, 상기 특정 피사체의 움직임을, 상기 제스처 인식 처리의 시작 또는 종료의 지시로서 식별하는 것을 특징으로 하는 제스처 인식 장치.
  10. 제 1항에 있어서,
    상기 특정 피사체 검출 수단은,
    색 또는 형상에 특정한 특징을 갖는 유저의 소지품을 특정 피사체로서 검출하는 것을 특징으로 하는 제스처 인식 장치.
  11. 제 1항에 있어서,
    상기 입력 지시 식별 수단은,
    상기 특정 피사체의 상기 이동 속도와 상기 이동 패턴에 의거하여, 상기 특정 피사체의 움직임을, 제스처로서 인식하는 제스처 인식 수단인 것을 특징으로 하는 제스처 인식 장치.
  12. 동화에 찍히는 인식 대상물의 동작으로부터 제스처를 인식하기 위한 제스처 인식 처리를 실행하는 제스처 인식 장치의 제어 방법으로서,
    상기 동화에 찍히는 특정한 특징을 갖는 특정 피사체를 상기 동화로부터 검출하는 특정 피사체 검출 스텝과,
    상기 특정 피사체의 단위시간 당의 이동 속도를 산출하는 이동 속도 산출 스텝과,
    상기 특정 피사체의 이동 패턴을 추출하는 이동 패턴 추출 스텝과,
    상기 이동 속도와 상기 이동 패턴이 미리 정해진 조건을 충족시키는 경우에, 상기 특정 피사체의 움직임을, 자체장치에 대해 입력된 지시로서 식별하는 입력 지시 식별 스텝을 포함하는 것을 특징으로 하는 제스처 인식 장치의 제어 방법.
  13. 컴퓨터에, 제 12항에 기재된 제스처 인식 장치의 제어 방법의 각 스텝을 실행시키기 위한 제어 프로그램.
KR1020110009372A 2010-03-15 2011-01-31 제스처 인식 장치, 제스처 인식 장치의 제어 방법 및 제어 프로그램 KR101208232B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010058543A JP5569062B2 (ja) 2010-03-15 2010-03-15 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
JPJP-P-2010-058543 2010-03-15

Publications (2)

Publication Number Publication Date
KR20110103848A true KR20110103848A (ko) 2011-09-21
KR101208232B1 KR101208232B1 (ko) 2012-12-04

Family

ID=43991050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110009372A KR101208232B1 (ko) 2010-03-15 2011-01-31 제스처 인식 장치, 제스처 인식 장치의 제어 방법 및 제어 프로그램

Country Status (5)

Country Link
US (1) US8526675B2 (ko)
EP (1) EP2367140B1 (ko)
JP (1) JP5569062B2 (ko)
KR (1) KR101208232B1 (ko)
CN (1) CN102193626B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233793B1 (ko) * 2011-09-26 2013-02-15 주식회사 매크론 손 동작 인식을 이용한 가상 마우스 구동 방법
WO2014084622A1 (ko) * 2012-11-28 2014-06-05 (주)미디어인터랙티브 동작예측을 통한 동작인식방법
KR101438615B1 (ko) * 2012-12-18 2014-11-03 현대자동차 주식회사 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
WO2015050322A1 (ko) * 2013-10-04 2015-04-09 주식회사 매크론 안경형 디스플레이 디바이스의 동작인식 입력방법

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
US8988240B2 (en) * 2009-01-15 2015-03-24 AvidaSports, LLC Performance metrics
US9767351B2 (en) 2009-01-15 2017-09-19 AvidaSports, LLC Positional locating system and method
US8330611B1 (en) * 2009-01-15 2012-12-11 AvidaSports, LLC Positional locating system and method
GB2474536B (en) * 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US9094813B2 (en) * 2011-04-02 2015-07-28 Open Invention Network, Llc System and method for redirecting content based on gestures
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
JP5840399B2 (ja) * 2011-06-24 2016-01-06 株式会社東芝 情報処理装置
JP5957844B2 (ja) * 2011-10-06 2016-07-27 富士ゼロックス株式会社 電力供給制御装置、画像処理装置、電力供給制御プログラム
EP2590047A1 (en) * 2011-11-04 2013-05-08 Tobii Technology AB Portable device
JP5703194B2 (ja) * 2011-11-14 2015-04-15 株式会社東芝 ジェスチャ認識装置、その方法、及び、そのプログラム
BR112014015915A8 (pt) 2011-12-29 2017-07-04 Intel Corp sistemas, métodos e aparelho para controlar a iniciação e a terminação de gestos
US20130201316A1 (en) 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
JP5756762B2 (ja) * 2012-01-10 2015-07-29 日本電信電話株式会社 ジェスチャ認識装置及びそのプログラム
CN103218035B (zh) * 2012-01-19 2016-10-05 联想(北京)有限公司 一种手势输入方法及电子设备
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9575652B2 (en) * 2012-03-31 2017-02-21 Microsoft Technology Licensing, Llc Instantiable gesture objects
US9239624B2 (en) * 2012-04-13 2016-01-19 Nokia Technologies Oy Free hand gesture control of automotive user interface
JP5148004B1 (ja) * 2012-04-26 2013-02-20 株式会社三菱東京Ｕｆｊ銀行 情報処理装置、電子機器およびプログラム
JP5830653B2 (ja) * 2012-04-27 2015-12-09 パナソニックＩｐマネジメント株式会社 空気調和機
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
JP5895720B2 (ja) 2012-06-06 2016-03-30 富士通株式会社 被写体追跡装置、被写体追跡方法及び被写体追跡用コンピュータプログラム
US9646200B2 (en) * 2012-06-08 2017-05-09 Qualcomm Incorporated Fast pose detector
TWI463371B (zh) * 2012-06-20 2014-12-01 Pixart Imaging Inc 手勢偵測裝置以及根據速度判斷連續手勢的方法
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
CN102799273B (zh) * 2012-07-11 2015-04-15 华南理工大学 交互控制系统及其交互控制方法
US9196219B1 (en) * 2012-07-18 2015-11-24 Amazon Technologies, Inc. Custom color spectrum for skin detection
US10158898B2 (en) 2012-07-26 2018-12-18 Comcast Cable Communications, Llc Customized options for consumption of content
WO2014030442A1 (ja) * 2012-08-22 2014-02-27 日本電気株式会社 入力装置、入力方法、プログラム、及び、電子看板
JP2014048936A (ja) 2012-08-31 2014-03-17 Omron Corp ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
US9697649B1 (en) 2012-09-04 2017-07-04 Amazon Technologies, Inc. Controlling access to a device
US9218114B1 (en) 2012-09-04 2015-12-22 Amazon Technologies, Inc. Providing time-dependent items
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9167404B1 (en) 2012-09-25 2015-10-20 Amazon Technologies, Inc. Anticipating data use in a wireless device
CN103778405B (zh) * 2012-10-17 2017-07-04 原相科技股份有限公司 以自然影像进行的手势辨识方法
TWI454971B (zh) * 2012-12-11 2014-10-01 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
US9171223B2 (en) * 2012-12-18 2015-10-27 Hyundai Motor Company System and method for effective section detecting of hand gesture
CN103926999B (zh) * 2013-01-16 2017-03-01 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
CN103218167B (zh) * 2013-04-02 2015-09-02 长安大学 一种车载终端单点触摸手势图形识别方法
JP6107361B2 (ja) * 2013-04-18 2017-04-05 ブラザー工業株式会社 入力装置
US9104857B2 (en) * 2013-06-14 2015-08-11 Microsoft Technology Licensing, Llc Gesture-based authentication without retained credentialing gestures
KR101374720B1 (ko) 2013-07-15 2014-03-17 전자부품연구원 손동작 기반 가상 마우스 제어장치 및 그 방법
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
DE112014003563B4 (de) 2013-08-02 2023-10-05 Mitsubishi Electric Corporation Vorrichtung und Verfahren zur Gestenbestimmung, Gestenbedienungsvorrichtung, Programm und Aufzeichnungsmedium
JP6221505B2 (ja) * 2013-08-22 2017-11-01 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
RU2013146529A (ru) * 2013-10-17 2015-04-27 ЭлЭсАй Корпорейшн Распознавание динамического жеста руки с избирательным инициированием на основе обнаруженной скорости руки
KR101534742B1 (ko) * 2013-12-10 2015-07-07 현대자동차 주식회사 차량용 제스처 인식 시스템 및 그 방법
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9437000B2 (en) * 2014-02-20 2016-09-06 Google Inc. Odometry feature matching
JP6268526B2 (ja) 2014-03-17 2018-01-31 オムロン株式会社 マルチメディア装置、マルチメディア装置の制御方法、及びマルチメディア装置の制御プログラム
JP6337544B2 (ja) * 2014-03-19 2018-06-06 オムロン株式会社 画像処理装置、移動速度判定方法、および移動速度判定プログラム
CN103978487B (zh) * 2014-05-06 2017-01-11 宁波易拓智谱机器人有限公司 一种基于手势的通用机器人末端位置的操控方法
JP2017525411A (ja) * 2014-06-25 2017-09-07 ケアストリーム ヘルス インク ジェスチャ認識を備えたオペレータインターフェースを用いた口腔内撮像
CN105487646A (zh) * 2014-09-16 2016-04-13 洪永川 一种手势遥控智能终端系统
CN105491425A (zh) * 2014-09-16 2016-04-13 洪永川 识别手势及遥控电视的方法
KR20160036242A (ko) * 2014-09-25 2016-04-04 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법
JP6194327B2 (ja) * 2015-02-27 2017-09-06 西日本電信電話株式会社 認証システム、認証方法及びプログラム
CN105035197B (zh) * 2015-04-23 2018-12-07 河南理工大学 基于手势控制的球型机器人
JP2017068756A (ja) * 2015-10-01 2017-04-06 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR101817583B1 (ko) * 2015-11-30 2018-01-12 한국생산기술연구원 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10268266B2 (en) * 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
US10719697B2 (en) * 2016-09-01 2020-07-21 Mitsubishi Electric Corporation Gesture judgment device, gesture operation device, and gesture judgment method
CN108226636B (zh) * 2016-12-15 2021-06-11 欧姆龙株式会社 自动滤波方法和装置
WO2018170713A1 (zh) * 2017-03-21 2018-09-27 深圳市欸阿技术有限公司 基于手势识别的小车控制方法、装置
US10609342B1 (en) 2017-06-22 2020-03-31 Insight, Inc. Multi-channel sensing system with embedded processing
JP7163649B2 (ja) * 2018-07-18 2022-11-01 学校法人トヨタ学園 ジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラム
US20210342584A1 (en) * 2018-08-29 2021-11-04 Nec Corporation Object recognition device, object recognition method, and program storage medium
CN109948569B (zh) * 2019-03-26 2022-04-22 重庆理工大学 一种利用粒子滤波框架的三维混合表情识别方法
CN110434853B (zh) * 2019-08-05 2021-05-14 北京云迹科技有限公司 一种机器人控制方法、装置及存储介质
CN112748805B (zh) * 2021-01-12 2023-07-04 深圳佑驾创新科技有限公司 手势控制方法、装置、计算机设备和存储介质
CN113407023A (zh) * 2021-03-05 2021-09-17 深圳市尊特数码有限公司 一种蓝牙音箱控制方法、系统及设备
CN113510707A (zh) * 2021-07-23 2021-10-19 上海擎朗智能科技有限公司 一种机器人的控制方法、装置、电子设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09311759A (ja) 1996-05-22 1997-12-02 Hitachi Ltd ジェスチャ認識方法および装置
JP4153818B2 (ja) * 2003-03-31 2008-09-24 本田技研工業株式会社 ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP2005063092A (ja) * 2003-08-11 2005-03-10 Keio Gijuku ハンドパターンスイッチ装置
JP4060261B2 (ja) * 2003-10-16 2008-03-12 独立行政法人科学技術振興機構 画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
EP1904951A1 (en) * 2005-06-30 2008-04-02 Philips Intellectual Property & Standards GmbH A method of recognizing a motion pattern of an object
JP2007087089A (ja) 2005-09-21 2007-04-05 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識プログラムおよびジェスチャ認識方法
JP4613142B2 (ja) 2006-03-31 2011-01-12 日本システムウエア株式会社 ジェスチャ認識装置、これを用いたオンライン動作システム、ジェスチャ認識方法及びコンピュータ可読媒体
JP5030580B2 (ja) * 2006-12-27 2012-09-19 タカタ株式会社 車両用作動システム、車両
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US20100027845A1 (en) * 2008-07-31 2010-02-04 Samsung Electronics Co., Ltd. System and method for motion detection based on object trajectory
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233793B1 (ko) * 2011-09-26 2013-02-15 주식회사 매크론 손 동작 인식을 이용한 가상 마우스 구동 방법
WO2014084622A1 (ko) * 2012-11-28 2014-06-05 (주)미디어인터랙티브 동작예측을 통한 동작인식방법
KR101438615B1 (ko) * 2012-12-18 2014-11-03 현대자동차 주식회사 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
WO2015050322A1 (ko) * 2013-10-04 2015-04-09 주식회사 매크론 안경형 디스플레이 디바이스의 동작인식 입력방법

Also Published As

Publication number Publication date
CN102193626A (zh) 2011-09-21
US20110222726A1 (en) 2011-09-15
JP5569062B2 (ja) 2014-08-13
EP2367140B1 (en) 2017-12-20
US8526675B2 (en) 2013-09-03
KR101208232B1 (ko) 2012-12-04
CN102193626B (zh) 2015-01-21
JP2011192090A (ja) 2011-09-29
EP2367140A1 (en) 2011-09-21

Similar Documents

Publication Publication Date Title
KR101208232B1 (ko) 제스처 인식 장치, 제스처 인식 장치의 제어 방법 및 제어 프로그램
CN107239728B (zh) 基于深度学习姿态估计的无人机交互装置与方法
KR102465532B1 (ko) 객체 인식 방법 및 장치
JP5008269B2 (ja) 情報処理装置、情報処理方法
Xu et al. Online dynamic gesture recognition for human robot interaction
US8831282B2 (en) Imaging device including a face detector
Zhu et al. A real-time approach to the spotting, representation, and recognition of hand gestures for human–computer interaction
US8897490B2 (en) Vision-based user interface and related method
JP5077956B2 (ja) 情報端末装置
CN101437124A (zh) 面向电视控制的动态手势识别信号处理方法
CN107832736B (zh) 实时人体动作的识别方法和实时人体动作的识别装置
KR101279561B1 (ko) 깊이정보 기반 고속 고정밀 얼굴 검출 및 추적 방법
TWI571772B (zh) 虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法
KR20110129042A (ko) 표정인식을 이용한 휴대 기기의 상호작용 방법
JP2021503139A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2010160743A (ja) 物体検知装置及び物体検知方法
Wang et al. A new hand gesture recognition algorithm based on joint color-depth superpixel earth mover's distance
Sarma et al. Hand detection by two-level segmentation with double-tracking and gesture recognition using deep-features
CN112655021A (zh) 图像处理方法、装置、电子设备和存储介质
Mihalache et al. Hand pose estimation using HOG features from RGB-D data
US10140503B2 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus
KR20140095601A (ko) 자세 분류 장치 및 자세 분류 방법
Potnis et al. Real time hand gesture recognition for smart classroom environment
Wang et al. Adaptive visual tracking based on discriminative feature selection for mobile robot
Raheja et al. Real-time robotic hand control using hand gestures

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171107

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181121

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191120

Year of fee payment: 8