JP5802667B2 - ジェスチャ入力装置およびジェスチャ入力方法 - Google Patents

ジェスチャ入力装置およびジェスチャ入力方法 Download PDF

Info

Publication number
JP5802667B2
JP5802667B2 JP2012525320A JP2012525320A JP5802667B2 JP 5802667 B2 JP5802667 B2 JP 5802667B2 JP 2012525320 A JP2012525320 A JP 2012525320A JP 2012525320 A JP2012525320 A JP 2012525320A JP 5802667 B2 JP5802667 B2 JP 5802667B2
Authority
JP
Japan
Prior art keywords
gesture
hand
detected
movement
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012525320A
Other languages
English (en)
Other versions
JPWO2012011263A1 (ja
Inventor
前田 茂則
茂則 前田
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2010163369 priority Critical
Priority to JP2010163369 priority
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America, パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America
Priority to PCT/JP2011/004056 priority patent/WO2012011263A1/ja
Priority to JP2012525320A priority patent/JP5802667B2/ja
Publication of JPWO2012011263A1 publication Critical patent/JPWO2012011263A1/ja
Application granted granted Critical
Publication of JP5802667B2 publication Critical patent/JP5802667B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Description

本発明は、ユーザの手振り等の手の動きをジェスチャとして認識し、認識されたジェスチャに基づいて対象機器の制御を行うことができるジェスチャ入力装置に関する。

従来から、グラフィカルユーザインタフェース(GUI:Graphical User Interface)を備えた機器において、画面上の項目を選択するためのポインタを動かしたり、項目自体を画面上で移動させたりする操作を、同様の手の動きで直感的に入力することを可能とするジェスチャ入力装置が提案されてきた。これらのジェスチャ入力装置では、ユーザは、画面上のポインタや項目を自らの手の動きによって直感的に動かせるようになる。したがって、ジェスチャ入力装置は、キーボードやマウスのような従来の入力装置と比べて、習熟のための訓練が不要であり、かつ誰でも思い通りに操作できるという利点を有する。さらに、これらジェスチャ入力装置の中には、カメラ等のユーザの動きをとらえるセンサを用いることで、リモコン等の入力デバイスを一切把持あるいは装着する必要がないものも提案されている。このようなジェスチャ入力装置を用いれば、ユーザは、いつでも手を動かすだけで対象機器を遠隔操作することもできる。

これらジェスチャ入力装置において、実用的なGUIを構成するためには、画面上の項目の1つを指示するポインタを手の動きに従って移動させることに加えて、少なくとも当該ポインタの指示する項目の選択状態を変更するための手の規定動作を認識することが必要である。これに対して、従来技術には特定の手の形状が認識されたときに選択状態の変更を行うもの(例えば、特許文献1および特許文献2参照)があった。また一方で、特定の手の動きの認識に基づいて選択状態の変更を行うものもあった(例えば特許文献3参照)。

特開2004−078977号公報 特開2008−146243号公報 特開2006−209563号公報

前記特許文献1に開示されたジェスチャ入力装置は、人差し指を立てた状態では手の動きに従ってポインタを動かし、人差し指を曲げて手を握り拳の形状にするとポインタが指示していた項目を選択する。また、前記特許文献2に開示されたジェスチャ入力装置は、指を全て広げた平手形状のときに機能フォーカスを移動させ、指を全て曲げた握り拳形状のときにフォーカスされている機能を選択する。すなわち、これらの技術は、手の形状認識が精度よく実現できることに依存しており、精度の高い手の形状認識に必要となる高い空間解像度での手の形状計測のためにユーザがジェスチャ操作を行える場所を限定せざるを得ず、操作範囲を広くとることと操作の確実性の両立が難しいという課題を有していた。

一方、前記特許文献3に開示されたジェスチャ入力装置は、手の形状認識よりも低い空間解像度のセンサを用いても、手の動き認識に基づいて機器を比較的高精度に制御することができる。このジェスチャ入力装置は、手を上下左右に振ったときに、画面上のオブジェクトのハイライト表示を、手を振った方向に移動させる。また、このジェスチャ入力装置は、手を画面に向かって押し込むように動かしたときに、ハイライト表示されたオブジェクトの選択決定を行う。しかしながら、これらの技術では、操作に用いられる手の動きは、日常生活の中で自然に手を動かす際にも意図せず生じてしまう動きである。したがって、不意に画面上の項目が選択されてしまったり、意図しない機能が実行されてしまったりする。そのため、操作を自然でシンプルな手の動きで実現するということと、誤動作を防ぐ確実性との両立が難しいという課題を有していた。

そこで、本発明は、上記従来の課題を解決するものであって、操作範囲が広く自然でシンプルな手の動きを対象機器の制御に利用することができ、誤動作を抑制することができるジェスチャ入力装置を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係るジェスチャ入力装置は、ユーザのジェスチャに基づいて、対象機器を制御するための制御信号を生成するジェスチャ入力装置であって、ユーザの手の位置に対応する座標を順次検出する座標入力検出部と、前記座標入力検出部によって検出された座標の系列である第1の座標系列の中から、ジェスチャ開始を意図する手の動きとして予め定められた第1の手の動きを示す成分を検出するジェスチャ開始検出部と、前記ジェスチャ開始検出部によって前記第1の手の動きを示す成分が検出された場合に、第2の手の動きを含むジェスチャを行なうように前記ユーザを誘導するためのジェスチャ誘導画像を生成する誘導画像生成部と、前記誘導画像生成部によって生成された前記ジェスチャ誘導画像を画面に表示する画面制御部と、前記画面制御部によって前記ジェスチャ誘導画像が画面に表示された後に前記座標入力検出部によって検出された座標の系列である第2の座標系列の中から、前記第2の手の動きを示す成分を前記ジェスチャの意図動作成分として検出する意図動作成分検出部と、前記意図動作成分検出部によって前記意図動作成分が検出された場合に、前記第2の座標系列の中から、前記ジェスチャに対応する手の動きを示す成分を検出し、検出結果に従って制御信号を生成する制御信号生成部とを備える。

本構成によれば、第2の手の動きを含むジェスチャを行なうようにユーザを誘導するためのジェスチャ誘導画像を画面に表示することができる。したがって、その画面に表示されたジェスチャ誘導画像に従ってユーザがジェスチャを行えば、第2の手の動きを示す成分が検出される。そこで、第2の手の動きを示す成分を意図動作成分として検出し、その意図動作成分が検出された場合に、ジェスチャに対応する手の動きを示す成分の検出を行うことにより、ユーザがジェスチャを行なう意図がないときにジェスチャが検出されることを抑制することができる。つまり、ジェスチャの誤検出による対象機器の誤動作を抑制しつつ、ジェスチャによる機器操作を実現することが可能となる。また、第2の手の動きは、ジェスチャ誘導画像によって誘導されるジェスチャに含まれる動きである。したがって、ユーザがジェスチャ誘導画像に従ってジェスチャを行えば、自然と第2の手の動きが行われることになる。つまり、本構成によれば、操作範囲が広く自然でシンプルな手の動きを対象機器の制御に利用することが可能となる。

また、前記画面制御部は、さらに、前記座標入力検出部によって検出された座標に対応する画面上の位置にカーソルを表示し、前記誘導画像生成部は、前記カーソルが表示されている位置とは異なる位置に前記ジェスチャ誘導画像を表示し、前記第2の手の動きは、前記ジェスチャ誘導画像が表示されている位置に前記カーソルを移動させるための手の動きであることが好ましい。

本構成によれば、ジェスチャ誘導画像が表示されている位置にカーソルを移動させるための手の動きを示す成分を意図動作成分として検出することができる。したがって、より自然でシンプルな手の動きを対象機器の制御に利用することができる。

また、前記画面制御部は、前記カーソルが表示されている位置から、前記第1の手の動きを示す成分が検出された時の前記カーソルの移動方向と異なる向きへ離れた位置に、前記ジェスチャ誘導画像を表示することが好ましい。

本構成によれば、ジェスチャ誘導画像が表示される前の手の動きがそのまま継続されたときに意図動作成分が検出されることを抑制することができる。つまり、ユーザがジェスチャを行なう意図がないときにジェスチャが検出されることを抑制することができる。

また、前記画面制御部は、さらに、前記座標入力検出部によって検出された座標に対応する画面上の位置にカーソルを表示し、前記ユーザから見て、前記カーソルが表示されている位置より画面方向に遠ざかった位置に表示されているような奥行き表現を伴って前記ジェスチャ誘導画像を表示し、前記第2の手の動きは、前記画面方向への手の動きであることが好ましい。

本構成によれば、画面方向への手の動きを示す成分を意図動作成分として検出することができる。一般的に、ジェスチャが行われる際には、ユーザは、画面方向へ手を押し出すように動かすことが多い。ジェスチャ誘導画像を用いて画面方向への手の動きを誘導することにより、より自然でシンプルな手の動きを対象機器の制御に利用することができる。

また、前記座標入力検出部は、前記画面の前方に位置する前記ユーザが撮影された画像に基づいて、前記ユーザの手の位置に対応する座標を検出することが好ましい。

本構成によれば、ユーザの画像に基づいてユーザの手の位置に対応する座標を検出することができるので、簡易な構成でユーザの手の位置に対応する座標を検出することが可能となる。

また、前記座標入力検出部は、モーションセンサを備えたジェスチャ入力リモコンを前記ユーザが手に把持して動かしたときに、前記ジェスチャ入力リモコンのモーションセンサから得られる手の動き情報を基に、前記ユーザの手の位置に対応する座標を検出することが好ましい。

本構成によれば、ジェスチャ入力リモコンが出力する情報に基づいてユーザの手の位置に対応する座標を検出することができるので、簡易な構成でユーザの手の位置に対応する座標を検出することが可能となる。

また、前記ジェスチャ誘導画像は、各々が第2の手の動きを含む複数のジェスチャを行なうように前記ユーザを誘導するための画像であり、前記制御信号生成部は、前記複数のジェスチャのいずれかに対応する手の動きを示す成分を検出し、検出した手の動きを示す成分に対応する前記ジェスチャに従って前記制御信号を生成することが好ましい。

本構成によれば、複数のジェスチャによって対象機器を制御することが可能となるので、ユーザの操作性を向上させることができる。

また、前記画面制御部は、前記意図動作成分検出部によって意図動作成分が検出された場合に、前記画面に表示されている前記ジェスチャ誘導画像の表示態様を変化させることが好ましい。

本構成によれば、意図動作成分が検出されたことをユーザに提示することが可能となるので、対象機器の誤動作をさらに抑制することが可能となるとともに、ユーザの操作性を向上させることも可能となる。

また、前記第1の手の動きは、一定時間の間、予め定められた大きさの空間内で移動または停止する動きであることが好ましい。

本構成によれば、手の動きを止めたときにジェスチャ誘導画像が表示されるので、より自然でシンプルな手の動きを対象機器の制御に利用することが可能となる。

また、前記ジェスチャ入力装置は、集積回路として構成されてもよい。

なお、本発明は、このようなジェスチャ入力装置として実現することができるだけでなく、このようなジェスチャ入力装置が備える特徴的な構成部の動作をステップとするジェスチャ入力方法として実現することができる。また、本発明は、ジェスチャ入力方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc Read Only Memory)等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明によれば、操作範囲が広く自然でシンプルな手の動きを対象機器の制御に利用することができ、誤動作を抑制することができる。

図1は、本発明の実施の形態1におけるジェスチャ入力装置の外観と関連機器とのインタフェースの一例を示す図である。 図2は、本発明の実施の形態1におけるジェスチャ入力装置の機能構成を示すブロック図である。 図3は、本発明の実施の形態1における座標入力検出に関する処理の流れを示すフローチャートである。 図4は、本発明の実施の形態1における制御信号生成に関する処理の流れを示すフローチャートである。 図5Aは、本発明の実施の形態1における座標入力検出方法の詳細を説明するための図である。 図5Bは、本発明の実施の形態1における座標入力検出方法の詳細を説明するための図である。 図6Aは、本発明の実施の形態1における座標入力方法の一例を示す図である。 図6Bは、本発明の実施の形態1における座標入力リモコンの構成を示す図である。 図7は、本発明の実施の形態1におけるジェスチャ入力装置の典型的なユースケースを示す図である。 図8は、本発明の実施の形態2におけるジェスチャ入力装置の典型的なユースケースを示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、本発明の一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲の記載によって限定される。したがって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素は、本発明の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。

(実施の形態1)
図1は、本発明の実施の形態1におけるジェスチャ入力装置100の外観と関連機器とのインタフェースの一例を示す図である。映像表示装置110は、放送番組を受信するためのアンテナに接続されている。また、本実施の形態では、映像表示装置110の上部に1以上のユーザ検出カメラ101などが設置されている。ジェスチャ入力装置100は、ユーザ検出カメラ101により撮像された画像情報を解析することにより検出されるユーザの位置、動き、あるいは身体特徴を利用して、映像表示装置110を制御する。つまり、ジェスチャ入力装置100は、ユーザのジェスチャに基づいて、映像表示装置110などの対象機器を制御するための制御信号を生成する。

なお、ジェスチャ入力装置100は、ジェスチャ入力リモコン601を保持しているユーザの手の位置もしくは動きに基づいて、映像表示装置110を制御してもよい。この場合、ジェスチャ入力リモコン601は、例えば、座標入力リモコンなどである。また、ジェスチャ入力装置100は、ジェスチャ入力リモコン601に対するユーザの操作(例えば、ジェスチャ入力リモコン601上に配置されたボタンの押下など)に基づいて、映像表示装置110を制御してもよい。

また、ジェスチャ入力装置100は、その他の機器(例えば携帯電話など)を保持したユーザの手の位置や動き、同機器上に配置されたボタンの押下といった操作に基づき、映像表示装置110を制御してもよい。

また、映像表示装置110は、ルータ/ハブなどを介してインターネットに接続されており、インターネット上から取得したデジタル情報を表示することができる。

また、図1には示していないが、映像表示装置110は、複数のスピーカーを備えてもよい。その場合、複数のスピーカーは、映像表示装置110の上端と下端、左端と右端というように離れて配置されてもよい。

図2は、本発明の実施の形態1におけるジェスチャ入力装置の機能構成を示すブロック図である。図2において、ジェスチャ入力装置100は、座標入力検出部102、ジェスチャ開始検出部103、誘導画像生成部104、意図動作成分検出部105、制御信号生成部106、および画面制御部107を備える。

座標入力検出部102は、ユーザの手の位置に対応する座標を順次検出する。

ジェスチャ開始検出部103は、座標入力検出部102によって検出された座標の系列である第1の座標系列の中から、ジェスチャ開始を意図する手の動きとして予め定められた第1の手の動きを示す成分を検出する。座標の系列とは、検出された時刻に従って並べられた座標の集合を意味する。

具体的には、ジェスチャ開始検出部103は、例えば、一定時間の間、予め定められた大きさの空間内で手が移動していることを示す座標の系列を、第1の手の動きを示す成分として検出する。また例えば、ジェスチャ開始検出部103は、一定時間の間、手が停止していることを示す座標の系列を、第1の手の動きを示す成分として検出してもよい。

誘導画像生成部104は、第1の手の動きを示す成分が検出された場合に、ジェスチャ誘導画像を生成する。ジェスチャ誘導画像とは、第2の手の動きを含むジェスチャを行なうようにユーザを誘導するための画像である。本実施の形態では、第2の手の動きは、ジェスチャ誘導画像が表示されている位置にカーソルを移動させるための手の動きである。なお、第2の手の動きは、必ずしもこのような手の動きである必要はない。例えば、第2の手の動きは、ジェスチャ誘導画像が示す位置または方向にカーソルを移動させるための手の動きであってもよい。

意図動作成分検出部105は、ジェスチャ誘導画像が画面に表示された後に座標入力検出部102によって検出された座標の系列である第2の座標系列の中から、第2の手の動きを示す成分をジェスチャの意図動作成分として検出する。ジェスチャの意図動作成分とは、ユーザがジェスチャを行う意図があることを示す動作を表す座標の系列である。

制御信号生成部106は、意図動作成分検出部105によって意図動作成分が検出された場合に、第2の座標系列の中から、ジェスチャに対応する手の動きを示す成分を検出する。そして、制御信号生成部106は、検出結果に従って制御信号を生成する。つまり、制御信号生成部106は、意図動作成分検出部105によって意図動作成分が検出された場合にのみ、ジェスチャに対応する手の動きを示す成分の検出結果に従って制御信号を生成する。すなわち、制御信号生成部106は、意図動作成分検出部105によって意図動作成分が検出されない場合には、ジェスチャに対応する手の動きを示す成分の検出を行わない、または検出結果に関わらず制御信号を生成しない。

画面制御部107は、誘導画像生成部104によって生成されたジェスチャ誘導画像を画面108に表示する。つまり、画面制御部107は、ジェスチャ誘導画像が画面108に表示されるように、映像表示装置110に画像信号を送信する。

また、画面制御部107は、座標入力検出部102によって検出された座標に対応する画面108上の位置にカーソルを順次表示する。本実施の形態では、画面制御部107は、このカーソルが表示されている位置とは異なる位置にジェスチャ誘導画像を表示する。より具体的には、画面制御部107は、カーソルが表示されている位置から、第1の手の動きを示す成分が検出された時のカーソルの移動方向と異なる向きへ離れた位置に、ジェスチャ誘導画像を表示する。なお、ジェスチャ誘導画像は、必ずしもこのような位置に表示される必要はなく、予め定められた位置に表示されてもよい。

次に、以上のように構成されたジェスチャ入力装置100における各種動作について説明する。まず、図3および図4を用いて、ジェスチャ入力装置100の動作の概要について説明する。

図3は、本発明の実施の形態1における座標入力検出に関する処理の流れを示すフローチャートである。

まず、座標入力検出部102は、ユーザの手の位置に対応する座標を検出する(S101)。続いて、画面制御部107は、検出された座標に対応する画面108上の位置にカーソルを表示し(S102)、ステップS101の処理に戻る。

なお、図3に示す座標入力検出に関するステップS101およびステップS102の処理は、以降の図4に示す制御信号生成に関する処理に関わらず、予め定められた周期で繰り返される。

図4は、本発明の実施の形態1における制御信号生成に関する処理の流れを示すフローチャートである。

まず、ジェスチャ開始検出部103は、座標入力検出部102によって検出された第1の座標系列の中から、ジェスチャ開始を意図する手の動きとして予め定められた第1の手の動きを示す成分を検出する(S201)。ここで、第1の手の動きを示す成分が検出されなかった場合(S202のNo)、ジェスチャ開始検出部103は、再度、ステップS201の処理を実行する。

一方、第1の手の動きを示す成分が検出された場合(S202のYes)、誘導画像生成部104は、第2の手の動きを含むジェスチャを行なうようにユーザを誘導するためのジェスチャ誘導画像を生成する(S203)。そして、画面制御部107は、誘導画像生成部104によって生成されたジェスチャ誘導画像を画面108に表示する(S204)。

その後、意図動作成分検出部105は、ジェスチャ誘導画像が画面108に表示された後に座標入力検出部102によって検出された第2の座標系列の中から、第2の手の動きを示す成分をジェスチャの意図動作成分として検出する(S205)。ここで、意図動作成分が検出されなかった場合(S206のNo)、処理を終了する。

一方、意図動作成分が検出された場合(S206のYes)、制御信号生成部106は、第2の座標系列の中から、ジェスチャに対応する手の動きを示す成分を検出する(S207)。ここで、ジェスチャに対応する手の動きを示す成分が検出されなかった場合(S208のNo)、そのまま処理を終了する。

一方、ジェスチャに対応する手の動きを示す成分が検出された場合(S208のYes)、制御信号生成部106は、検出結果に従って制御信号を生成する(S209)。つまり、制御信号生成部106は、ジェスチャに対応する制御信号を生成する。そして、制御信号生成部106は、生成した制御信号を、画面制御部107を介して映像表示装置110に出力する。

このように、ジェスチャ入力装置100は、意図動作成分が検出された場合にのみ、ジェスチャに対応する制御信号を生成する。

次に、各処理の詳細について、図面を参照しながら説明する。まず、ユーザの手の位置に対応する座標を検出する処理(S101)の詳細について説明する。

ユーザ検出カメラ101で取得された画像は座標入力検出部102に入力される。座標入力検出部102は、入力された画像からユーザの手に相当する部分を抽出してその座標を算出する。

図5Aおよび図5Bは、本実施の形態における座標入力検出部102におけるユーザの手の位置の検出方法を説明するための図である。

図5Aに示すように、座標入力検出部102は、ユーザ検出カメラ101で撮影された画像から、まずは人物位置を検出し、人物位置の周辺で手の位置の検出を行う。手の位置の検出方法としては例えば以下の方法を用いる。以下、図5Bを用いてユーザの手の位置の検出方法を説明する。

まず、図5Bの(a)に示すように、オフライン処理として、検出したい手の学習画像が大量に用意される(S501)。学習画像における照明環境あるいは照明の向きなどの条件は、実際に手を検出する環境になるべく沿った条件にする。次に、ステップS501で用意された学習画像に基づいて、主成分分析を用いて手の主成分を構成する固有空間が作成される(S502)。また、検出したい手のサンプルとして手のテンプレート画像が用意される。テンプレート画像は、用意された手の学習画像の平均画像でもよいし、グー、パーなど、いくつかの手の画像でもよい。作成された固有空間の射影行列、および手のテンプレート画像が手テンプレートデータベースに格納される(S503)。

次に、実際の手の検出を行うオンライン処理について、図5Bの(b)を用いて説明する。

まず、ユーザ検出カメラ101が映像表示装置110の画面108の前方に存在するユーザを撮影する(S504)。続いて、座標入力検出部102は、撮影画像から顔領域の検出を行う(S505)。

ステップS505で顔領域が検出されると、座標入力検出部102は、その顔領域の周辺で手の検出を行う。具体的には、座標入力検出部102は、顔領域の周辺の走査領域において、手テンプレートデータベースに格納した手テンプレートに類似する領域を走査する(S506)。具体的には、座標入力検出部102は、テンプレートマッチングを行うことにより、手テンプレートに類似する領域を走査する。顔領域の周辺の走査領域は、顔位置を基準としてあらかじめ設定されたサイズの範囲の領域でもよいし、カメラを2つ用いたステレオ視の原理により顔の周辺領域で顔と奥行き距離が近い領域でもよい。これにより、走査領域の範囲を削減することができる。

より具体的には、座標入力検出部102は、例えば、走査領域内から切り出された手の候補領域画像と、手のテンプレート画像とを、あらかじめ用意した射影行列を使って固有空間に射影する。そして、座標入力検出部102は、固有空間上での両者の距離を比較することにより類似度を計算する。このように、座標入力検出部102は、手の主成分を表す空間上で距離を比較することで、手テンプレートと類似する領域の検出において、背景などノイズの影響を低減することが可能となる。座標入力検出部102は、走査領域内で、あらかじめ定めた閾値を満たし、かつ最も手テンプレートに近い距離が得られた領域の位置を手位置として検出する(S507)。

このように、座標入力検出部102は、ユーザ検出カメラ101よって撮影された画像であって、画面108の前方に位置するユーザが撮影された画像に基づいて、ユーザの手の位置に対応する座標を検出する。

なお、探索領域内で閾値を満たす領域が無い場合には、座標入力検出部102は、ユーザが手を画面に向けて出していないとして検出を終了する。

この例では、座標入力検出部102は、手位置の検出にテンプレートマッチングの手法を用いたが、その他の手法、例えばブースティング(Boosting)などの手法を用いて、手位置を検出してもよい。

画面制御部107は、座標入力検出部102によって検出された手位置の情報に基づいて、例えば、図5Aに示すように映像表示装置110の画面108上の対応する位置にカーソル501を表示させる。その結果、ユーザは、カーソル501に指示された選択肢502が選択状態であることを判断することができ、続いて所定の選択動作(手を押し出す、あるいは引き寄せるなど)を行うことで、選択肢502を選択することができる。このようにユーザが手の位置を変えることにより映像表示装置110を操作する方式を、フリーハンドジェスチャによる操作方式と呼ぶ。

次に、図6Aおよび図6Bを用いて、フリーハンドジェスチャによる操作方式とは異なる操作方式について説明する。

図6Aおよび図6Bは、本実施の形態におけるジェスチャ入力リモコンを用いた座標入力方法を説明するための図である。

図6Aに示すように、ユーザは、ジェスチャ入力リモコン601を手に把持した状態で、あらかじめ規定された動き(振る又は回すなど)に従って手を動かすこと、または映像表示装置の所望の位置を手で指示することにより、カーソル602の位置を操作することができる。

図6Bは、ジェスチャ入力リモコン601の構成を示す図である。ジェスチャ入力リモコン601は、その内部に、モーションセンサ6011を備える。モーションセンサ6011は、ジェスチャ入力リモコン601を把持するユーザの手の動きを検出する。また、ジェスチャ入力リモコン601は、図6Bに示すように、ボタンを備えてもよい。

モーションセンサ6011は、加速度センサ、角加速度センサ(レートジャイロ)、および地磁気センサ(電子コンパス)のいずれか、もしくはそれらの2つ以上の組み合わせにより構成される。加速度センサは、所定の軸に対する加速度を検知する。加速度センサは、例えば図6Bに示すように、互いに直交する3軸(X軸、Y軸、Z軸)の加速度を検知する。

例えば、ユーザが、手でジェスチャ入力リモコン601を把持した状態で手首および腕の少なくとも一方を動かしたとする。この場合、ジェスチャ入力リモコン601の位置および姿勢の少なくとも一方が変更される。そこで、座標入力検出部102は、ジェスチャ入力リモコン601によって検知された動きを示すデータと、あらかじめ規定された手の動き(ジェスチャ)を示すデータとの照合を行う。その結果、ジェスチャ入力リモコン601でユーザが指示しようとしている画面上の位置が求められる。

ここでは、ジェスチャ入力リモコン601の位置および姿勢の少なくとも一方の検出手段として、加速度センサを用いる例を示したが、同様の目的で、角加速度センサ(レートジャイロ)、または地磁気センサ(電子コンパス)を利用することもできる。

画面制御部107は、この映像表示装置110の画面108上の位置に対応する位置の入力に基づいて、アプリケーションの制御を行う(例えば、図6Aに示すようにカーソル602を動かす、またはそのカーソル602が指示するアプリケーションを起動するなど)。

このようにユーザがジェスチャ入力リモコン601を手に把持した状態で、あらかじめ規定された手の動き(ジェスチャ)を行うこと、あるいは映像表示装置110の所望の位置を指示することにより、映像表示装置110を操作する方式を、ジェスチャ入力リモコンによる操作方式と呼ぶ。

以上のように、図2の本実施の形態における座標入力検出部102は、フリーハンドジェスチャによる操作方式、およびジェスチャ入力リモコンによる操作方式のいずれの操作方式による場合であっても、ユーザの手の位置に対応する座標を出力する。当該座標は、画面制御部107によって、映像表示装置110の画面108上の位置に対応付けられ、画面108上に表示されるGUIの制御に用いられる。

次に、図7に示すユースケースに従って、図4に示したフローチャートの詳細について説明する。図7の(a)は、画面制御部107がユーザの手の座標に対応する画面108上の位置にカーソル301を提示している様子を例示する図である。

ジェスチャ開始検出部103は、座標入力検出部102から入力されるユーザの手の位置を示す座標の系列の中から、予め規定された手の動きである、ジェスチャの開始を示すユーザの手の動きを示す成分を検出する。つまり、ジェスチャ開始検出部103は、ジェスチャ開始を意図する第1の手の動きを示す成分を検出する。

ここでは、ジェスチャ開始検出部103は、例えば、ユーザが所定時間手の動きを止めること(すなわち、座標入力検出部102から出力される手の座標が所定時間の間所定の小さな空間内から逸脱しないこと)を、ジェスチャ開始を示す第1の手の動きとして判断すればよい。これにより、ユーザは、ジェスチャを開始する意図を示した後に、自然にジェスチャを行うことができる。

ジェスチャ開始検出部103によってジェスチャ開始を示す第1の手の動きが検出された後に、誘導画像生成部104は、ユーザが続けて行うべき手の動きを誘導するようなジェスチャ誘導画像を生成し、画面制御部107に出力する。そして、画面制御部107は、ジェスチャ誘導画像を画面108に表示する。

図7の(b)は、左右上下4方向に手を振るジェスチャ、例えば、それぞれの方向への画面のスクロールを行うためのジェスチャを続けて行うことを誘導するジェスチャ誘導画像の一例を示している。この例では、画面制御部107は、ジェスチャ開始検出部103によって第1の手の動きを示す成分が検出された時のユーザの手の座標に対応する画面上の位置(カーソル301が表示されている位置)からベクトルV2を加算した位置に第1ジェスチャ誘導画像302を表示している。つまり、画面制御部107は、カーソル301が表示されている位置とは異なる位置に第1ジェスチャ誘導画像302を表示している。

なお、ベクトルV2は、ジェスチャ開始を示すユーザの手の動きを示す成分が検出される直前の手の動き方向を示すベクトルV1(図7の(a))と異なる向きであることが好ましい。特に、ベクトルV2は、ベクトルV1と逆向き、または直交する向きであることが好ましい。

つまり、画面制御部107は、カーソル301が表示されている位置から、第1の手の動きを示す成分が検出されたときのカーソルの移動方向(ベクトルV1)と異なる向き(ベクトルV2)へ離れた位置に、ジェスチャ誘導画像を表示することが好ましい。特に、画面制御部107は、カーソル301が表示されている位置から、ベクトルV1と反対の向きまたは直交する方向へ離れた位置に、ジェスチャ誘導画像を表示することが好ましい。

これにより、この後に説明するジェスチャ受入れ状態にユーザの意図に反して入ることが少なくなることが期待できる。つまり、ジェスチャ入力装置100は、ジェスチャ誘導画像が表示される前の手の動きがそのまま継続されたときに意図動作成分が検出されることを抑制することができる。したがって、ジェスチャ入力装置100は、ユーザがジェスチャを行なう意図がないときに、意図動作成分が検出され、制御信号が生成されることを抑制することができる。

この後、ユーザは、カーソル301が第1ジェスチャ誘導画像302の中央部に移動するように手を動かす。このとき、意図動作成分検出部105は、第1ジェスチャ誘導画像302の中央部にカーソル301を移動するための手の動きを示す座標の系列を、座標入力検出部102から取得する。

これにより、意図動作成分検出部105は、誘導画像生成部104が生成した第1ジェスチャ誘導画像302により誘導されたユーザのジェスチャを行う意図を示す意図動作成分を検出する。つまり、意図動作成分検出部105は、ジェスチャ誘導画像が画面に表示された後に検出された第2の座標系列の中から、カーソル301を第1ジェスチャ誘導画像302が表示されている位置に移動させるための手の動きを示す成分を意図動作成分として検出する。

そして、意図動作成分検出部105は、制御信号生成部106にジェスチャ受入れ状態に入るよう指示する。制御信号生成部106は、ジェスチャ受け入れ状態であるときに、座標入力検出部102によって検出される座標の系列の中からジェスチャに対応する手の動きを示す成分を検出する。

このとき、制御信号生成部106は、画面制御部107にジェスチャの受入れ状態に入ったことを示す表示を行うように指示することが望ましい。図7の(c)は、当該表示の一例を示す。図7の(c)では、図7の(b)に示した第1ジェスチャ誘導画像302から第2ジェスチャ誘導画像303に置き換えられている。この第2ジェスチャ誘導画像303は、ジェスチャの受入れ状態に入ったことを示す画像であって、第1ジェスチャ誘導画像302の境界線を明瞭にした画像である。

このように、画面制御部107は、意図動作成分検出部105によって意図動作成分が検出された場合に、画面108に表示されているジェスチャ誘導画像の表示態様を変化させることが好ましい。これにより、ジェスチャ入力装置100は、意図動作成分が検出されたことをユーザに提示することが可能となるので、より誤動作を抑制することが可能となる。また、意図動作成分が検出されていないときに、ユーザは、ジェスチャが受け付けられないことを認識することができる。したがって、ジェスチャ入力装置100は、ユーザが意図的に行なったジェスチャが検出されないことを抑制することができ、ユーザの操作性を向上させることができる。

なお、図7の(c)において、第2ジェスチャ誘導画像303は、第1ジェスチャ誘導画像302の境界線を明瞭にした画像であったが、必ずしもこのような画像である必要はない。第2ジェスチャ誘導画像303は、第1ジェスチャ誘導画像302から変化していることがユーザに認識されるような画像であれば、どのような画像であってもよい。つまり、第2ジェスチャ誘導画像303は、第1ジェスチャ誘導画像302の表示態様を変化させた画像であればよい。例えば、第2ジェスチャ誘導画像303は、第1ジェスチャ誘導画像302の色を変化させた画像であってもよい。

次に、ユーザは、画面108上に示された受入れ可能なジェスチャ(左右上下4方向のいずれかの方向に手を振る動き)を行う。そのとき、制御信号生成部106は、ジェスチャの受入れ状態に入った後に座標入力検出部102によって検出された座標の系列の中から、4方向のいずれかの方向に手を振る動きを示す成分を、ジェスチャに対応する手の動きを示す成分として検出する。

そして、制御信号生成部106は、検出したジェスチャに対応する手の動きを示す成分に従って制御信号を生成する。例えば、ユーザが手を左に振るジェスチャを行った場合、制御信号生成部106は、画面制御部107に「左手振りジェスチャ」を示す制御信号を出力する。そして、画面制御部107は、例えば、画面108上に写真等の多数のコンテンツが整列表示されている場合に、それらのコンテンツ全体が左方向にスクロールして右端に新しいコンテンツが表示されるように、制御信号を映像表示装置110に送信する。つまり、画面制御部107は、制御信号に対応付けられた機能が実行されるように映像表示装置110を制御する。

以上のように、本実施の形態に係るジェスチャ入力装置100は、ユーザが映像表示装置110の画面108上のGUIを規定の手の動きであるジェスチャにより制御する際に、事前に当該ジェスチャを誘導するようなジェスチャ誘導画像を画面108上に表示する。そして、ジェスチャ入力装置100は、そのジェスチャ誘導画像を見たユーザがジェスチャを行う意図を持っている場合に手の動きに含まれると期待できる成分である意図動作成分を検出する。この意図動作成分が検出された場合に、ジェスチャ入力装置100は、ジェスチャ受入れ状態に移行する。これにより、ジェスチャ入力装置100は、意図しない手の動きにより誤動作することを抑制し、確実にジェスチャで映像表示装置の画面上のGUIを制御することができる。

つまり、本実施の形態に係るジェスチャ入力装置100によれば、第2の手の動きを含むジェスチャを行なうようにユーザを誘導するためのジェスチャ誘導画像を画面に表示することができる。したがって、その画面に表示されたジェスチャ誘導画像に従ってユーザがジェスチャを行えば、第2の手の動きを示す成分が検出される。そこで、第2の手の動きを示す成分を意図動作成分として検出し、その意図動作成分が検出された場合に、ジェスチャに対応する手の動きを示す成分の検出を行うことにより、ユーザがジェスチャを行なう意図がないときにジェスチャが検出されることを抑制することができる。つまり、ジェスチャの誤検出による対象機器の誤動作を抑制しつつ、ジェスチャによる機器操作を実現することが可能となる。また、第2の手の動きは、ジェスチャ誘導画像によって誘導されるジェスチャに含まれる動きである。したがって、ユーザがジェスチャ誘導画像に従ってジェスチャを行えば、自然と第2の手の動きが行われることになる。つまり、ジェスチャ入力装置100によれば、操作範囲が広く自然でシンプルな手の動きを対象機器の制御に利用することが可能となる。

なお、本実施の形態において、ジェスチャ開始検出部103は、ユーザの手の位置に対応する座標が所定時間の間、所定の小さな空間内にとどまることを、ジェスチャ開始を意図する手の動きを示す成分として検出していた。しかし、ジェスチャ開始検出部103は、ユーザの手の位置に対応する座標以外の情報も用いて、ジェスチャ開始を検出してもよい。

例えば、ユーザの顔が画面108の方向を向いている場合のみ、ジェスチャ開始検出部103は、ジェスチャ開始を意図する手の動きを示す成分を検出するようにしてもよい。これにより、ユーザが画面108の方を見ておらずジェスチャを行う意図が全くない場合に、誘導画像生成部104が画面108にジェスチャ誘導画像表示されることを回避することができる。なお、ユーザの顔の向きは、例えば、ユーザ検出カメラ101で撮影された画像から検出される顔領域と、様々な方向を向いた顔のテンプレートとを照合することにより検出されればよい。

また、本実施の形態において、ジェスチャ誘導画像によって誘導されるジェスチャは、当該画像の中心にカーソルを移動させるために手を動かした後に、上下左右いずれかの方向へ手を振る動きであったが、本発明はこれらのジェスチャのみに限定されるものではない。例えば、ジェスチャは、手を手前に引く、あるいは手を画面方向に押し出すといった動きであってもよい。さらに、ジェスチャは、手を体の前で時計回りあるいは反時計回りに回転させる動きであってもよい。また、ジェスチャ誘導画像によって誘導されるジェスチャは、複数のジェスチャである必要なく、1つのジェスチャ(例えば、一方向のみジェスチャ)であってもよい。

(実施の形態2)
次に、本発明の実施の形態2について説明する。

図8は、本発明の実施の形態2におけるジェスチャ入力装置の典型的なユースケースを示す図である。本実施の形態においても、ジェスチャ入力装置100の機能構成を示すブロック図は、図2と共通であるが、誘導画像生成部104および意図動作成分検出部105の機能の一部が異なる。誘導画像生成部104および意図動作成分検出部105以外の構成要素については、機能が同じであるので説明を省略する。

図8の(a)は、ジェスチャ開始検出部103がジェスチャ開始を意図する手の動きを示す成分を検出した直後に、誘導画像生成部104により生成された第1ジェスチャ誘導画像402が画面108上に表示された状態を示している。

ここで、図8の(c)に示すように、映像表示装置110の画面108に向かってユーザが手を振るジェスチャをする際に検出される座標の系列T1には、画面108に向かう方向d(screen)(画面108の法線方向と逆向き)の動きを示す成分が含まれやすい傾向がある。そこで、誘導画像生成部104は、ユーザがジェスチャを行う意図がある場合に、画面108に向かう方向d(screen)への手の動きが増幅するような第1ジェスチャ誘導画像402を生成する。

すなわち、図8の(a)に示すように、画面制御部107は、現在のユーザの手の座標に対応する画面108上の位置に表示したカーソル401よりも、奥側にあるように見える3次元的な表示効果を伴って、第1ジェスチャ誘導画像402を表示する。つまり、画面制御部107は、ユーザから見て、カーソル401が表示されている位置より画面方向に遠ざかった位置に表示されているような奥行き表現を伴って第1ジェスチャ誘導画像402を表示する。

例えば、画面制御部107は、第1ジェスチャ誘導画像402をカーソルよりもぼかした状態で表示してもよい。また例えば、画面制御部107は、第1ジェスチャ誘導画像402をカーソルよりも奥側に配置されるように、3次元表示してもよい。また、画面制御部107は、遠近法を利用した奥行き表現を伴って第1ジェスチャ誘導画像402を表示してもよい。

また、意図動作成分検出部105は、ジェスチャ開始を意図する手の動きを示す成分が検出された後に検出された座標の系列(第2の座標系列)の中から、画面108に向かう方向d(screen)と同じ方向の手の動きを示す成分を意図動作成分として検出する。そして、意図動作成分検出部105は、意図動作成分を検出した場合に、制御信号生成部106にジェスチャ受入れ状態に入るように指示するための情報を送信する。つまり、意図動作成分検出部105は、画面方向の手の動きを示す成分を意図動作成分として検出する。

画面制御部107は、ジェスチャ受入れ状態に入ったときに、例えば、図8の(b)に示すように、第1ジェスチャ誘導画像402よりも境界線が明瞭な第2ジェスチャ誘導画像403を表示することを指示するための情報を画面制御部107に送信する。

以上のように、本実施の形態におけるジェスチャ入力装置100は、手振りジェスチャを入力しようとするユーザを、奥行き方向(すなわち画面108に向かう方向d(screen))に手を押し出すようにしながら指示したい方向に手を振るジェスチャを行うように誘導することができる。したがって、ジェスチャ入力装置100は、ユーザが手振りジェスチャを行う意図がなく手を動かした場合(例えば、手振りジェスチャを行った後に手を元の位置に戻すような場合)に、手振りジェスチャが誤って検出されることを防ぐことができる。

(変形例)
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

(1)上記の各ジェスチャ入力装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ROMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各ジェスチャ入力装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

(2)上記の各ジェスチャ入力装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。

(3)上記の各ジェスチャ入力装置を構成する構成要素の一部または全部は、各ジェスチャ入力装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

(4)本発明は、上記に示すジェスチャ入力方法であるとしてもよい。また、これらのジェスチャ入力方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体(例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc(登録商標))、半導体メモリなど)に記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

(5)上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。

本発明の一態様に係るジェスチャ入力装置は、自然でシンプルな手の動きによりGUIを確実に操作できる特徴を有し、大きな画面にコンテンツや情報を提示するディスプレイシステム、例えばテレビやデジタルサイネージの入力手段として有用である。また手の動きを入力に用いるゲーム等の用途にも応用できる。

100 ジェスチャ入力装置
101 ユーザ検出カメラ
102 座標入力検出部
103 ジェスチャ開始検出部
104 誘導画像生成部
105 意図動作成分検出部
106 制御信号生成部
107 画面制御部
108 画面
110 映像表示装置
301、401、501、602 カーソル
302、402 第1ジェスチャ誘導画像
303、403 第2ジェスチャ誘導画像
502 選択肢
601 ジェスチャ入力リモコン
6011 モーションセンサ

Claims (13)

  1. ユーザのジェスチャに基づいて、対象機器を制御するための制御信号を生成するジェスチャ入力装置であって、
    ユーザの手の位置に対応する座標を順次検出する座標入力検出部と、
    前記座標入力検出部によって検出された座標の系列である第1の座標系列の中から、ジェスチャ開始を意図する手の動きとして予め定められた第1の手の動きを示す成分を検出するジェスチャ開始検出部と、
    前記ジェスチャ開始検出部によって前記第1の手の動きを示す成分が検出された場合に、前記ジェスチャ開始検出部によって前記第1の手の動きを示す成分が検出された時に前記座標入力検出部によって検出された座標を開始位置とする所定方向への第2の手の動きを含むジェスチャを続けて行なうように前記ユーザを誘導するために、前記座標入力検出部によって検出された座標に対応する画面上の位置に表示されるカーソルとは異なる位置または位置表現を有するジェスチャ誘導画像を生成する誘導画像生成部と、
    前記座標入力検出部によって検出された座標に対応する画面上の位置に前記カーソルを表示するとともに、前記誘導画像生成部によって生成された前記ジェスチャ誘導画像を画面に表示する画面制御部と、
    前記画面制御部によって前記ジェスチャ誘導画像が画面に表示された後に前記座標入力検出部によって検出された座標の系列である第2の座標系列の中から、前記所定方向への前記第2の手の動きを示す成分を、前記ユーザがジェスチャを行う意図があることを示す動作を表す座標の系列である前記ジェスチャの意図動作成分として検出する意図動作成分検出部と、
    前記意図動作成分検出部によって前記意図動作成分が検出された場合に、前記第2の座標系列の中から、前記ジェスチャに対応する手の動きを示す成分を検出し、検出結果に従って制御信号を生成する制御信号生成部とを備え
    前記誘導画像生成部は、前記カーソルが表示されている位置から、前記第1の手の動きを示す成分が検出された時の前記カーソルの移動方向と異なる向きへ離れた位置に、前記ジェスチャ誘導画像を生成する
    ジェスチャ入力装置。
  2. 前記誘導画像生成部は、前記カーソルが表示されている位置とは異なる位置に前記ジェスチャ誘導画像を生成し、
    前記第2の手の動きは、前記ジェスチャ誘導画像が表示されている位置に前記カーソルを移動させるための手の動きである
    請求項1に記載のジェスチャ入力装置。
  3. 前記誘導画像生成部は、前記ユーザから見て、前記カーソルが表示されている位置より画面方向に遠ざかった位置に表示されているような奥行き表現を有する前記ジェスチャ誘導画像を生成し、
    前記第2の手の動きは、前記画面方向への手の動きである
    請求項1に記載のジェスチャ入力装置。
  4. 前記座標入力検出部は、前記画面の前方に位置する前記ユーザが撮影された画像に基づいて、前記ユーザの手の位置に対応する座標を検出する
    請求項1に記載のジェスチャ入力装置。
  5. 前記座標入力検出部は、モーションセンサを備えたジェスチャ入力リモコンを前記ユーザが手に把持して動かしたときに、前記ジェスチャ入力リモコンのモーションセンサから得られる手の動き情報を基に、前記ユーザの手の位置に対応する座標を検出する
    請求項1に記載のジェスチャ入力装置。
  6. 前記ジェスチャ誘導画像は、各々が第2の手の動きを含む複数のジェスチャを行なうように前記ユーザを誘導するための画像であり、
    前記制御信号生成部は、前記複数のジェスチャのいずれかに対応する手の動きを示す成分を検出し、検出した手の動きを示す成分に対応する前記ジェスチャに従って前記制御信号を生成する
    請求項1に記載のジェスチャ入力装置。
  7. 前記画面制御部は、前記意図動作成分検出部によって前記意図動作成分が検出された場合に、前記画面に表示されている前記ジェスチャ誘導画像の表示態様を変化させる
    請求項1に記載のジェスチャ入力装置。
  8. 前記第1の手の動きは、一定時間の間、予め定められた大きさの空間内で移動または停止する動きである
    請求項1に記載のジェスチャ入力装置。
  9. 前記ジェスチャ入力装置は、集積回路として構成されている
    請求項1に記載のジェスチャ入力装置。
  10. ユーザのジェスチャに基づいて、対象機器を制御するための制御信号を生成するジェスチャ入力方法であって、
    ユーザの手の位置に対応する座標を順次検出する座標入力検出ステップと、
    前記座標入力検出ステップで検出された座標の系列である第1の座標系列の中から、ジェスチャ開始を意図する手の動きとして予め定められた第1の手の動きを示す成分を検出するジェスチャ開始検出ステップと、
    前記ジェスチャ開始検出ステップで前記第1の手の動きを示す成分が検出された場合に、前記ジェスチャ開始検出部によって前記第1の手の動きを示す成分が検出された時に前記座標入力検出ステップで検出された座標を開始位置とする所定方向への第2の手の動きを含むジェスチャを続けて行なうように前記ユーザを誘導するために、前記座標入力検出ステップで検出された座標に対応する画面上の位置に表示されるカーソルとは異なる位置または位置表現を有するジェスチャ誘導画像を生成する誘導画像生成ステップと、
    前記座標入力検出ステップで検出された座標に対応する画面上の位置に前記カーソルを表示するとともに、前記誘導画像生成ステップで生成された前記ジェスチャ誘導画像を画面に表示する画面制御ステップと、
    前記画面制御ステップで前記ジェスチャ誘導画像が画面に表示された後に前記座標入力検出ステップで検出された座標の系列である第2の座標系列の中から、前記所定方向への前記第2の手の動きを示す成分を、前記ユーザがジェスチャを行う意図があることを示す動作を表す座標の系列である前記ジェスチャの意図動作成分として検出する意図動作成分検出ステップと、
    前記意図動作成分検出ステップで前記意図動作成分が検出された場合に、前記第2の座標系列の中から、前記ジェスチャに対応する手の動きを示す成分を検出し、検出結果に従って制御信号を生成する制御信号生成ステップとを含み、
    前記誘導画像生成ステップでは、は、前記カーソルが表示されている位置から、前記第1の手の動きを示す成分が検出された時の前記カーソルの移動方向と異なる向きへ離れた位置に、前記ジェスチャ誘導画像を生成する
    ジェスチャ入力方法。
  11. 請求項10に記載のジェスチャ入力方法をコンピュータに実行させるためのプログラム。
  12. 請求項10に記載のジェスチャ入力方法をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
  13. 前記誘導画像生成部は、前記ジェスチャ開始検出部によって前記第1の手の動きを示す成分が検出された時のユーザの手の座標に対応する画面上の位置から、前記第1の手の動きを示す成分が検出された時の前記カーソルの移動方向と逆向きまたは直交する向きへ離れた位置に、前記ジェスチャ誘導画像を生成する
    請求項に記載のジェスチャ入力装置。
JP2012525320A 2010-07-20 2011-07-15 ジェスチャ入力装置およびジェスチャ入力方法 Expired - Fee Related JP5802667B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010163369 2010-07-20
JP2010163369 2010-07-20
PCT/JP2011/004056 WO2012011263A1 (ja) 2010-07-20 2011-07-15 ジェスチャ入力装置およびジェスチャ入力方法
JP2012525320A JP5802667B2 (ja) 2010-07-20 2011-07-15 ジェスチャ入力装置およびジェスチャ入力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012525320A JP5802667B2 (ja) 2010-07-20 2011-07-15 ジェスチャ入力装置およびジェスチャ入力方法

Publications (2)

Publication Number Publication Date
JPWO2012011263A1 JPWO2012011263A1 (ja) 2013-09-09
JP5802667B2 true JP5802667B2 (ja) 2015-10-28

Family

ID=45496696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012525320A Expired - Fee Related JP5802667B2 (ja) 2010-07-20 2011-07-15 ジェスチャ入力装置およびジェスチャ入力方法

Country Status (4)

Country Link
US (1) US9134800B2 (ja)
JP (1) JP5802667B2 (ja)
CN (1) CN102906671B (ja)
WO (1) WO2012011263A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012014304A1 (ja) * 2010-07-29 2012-02-02 富士通株式会社 生体認証装置および生体認証プログラム
CN103477305B (zh) * 2011-04-20 2017-06-13 皇家飞利浦有限公司 元素或项目的基于手势的控制
JP5848946B2 (ja) * 2011-10-21 2016-01-27 シャープ株式会社 入出力システム、入出力システムの制御方法、制御プログラム、および記録媒体
JP5884584B2 (ja) * 2012-03-19 2016-03-15 富士通株式会社 情報処理装置、メニュー選択プログラム、及びメニュー選択方法
US9128562B2 (en) * 2012-05-25 2015-09-08 Sony Corporation Terminal apparatus, display system, display method, and recording medium for switching between pointer mode and touch-panel mode based on handheld activation
DE202013100255U1 (de) * 2012-06-20 2013-04-12 Samsung Electronics Co. Ltd. Anzeigevorrichtung, Fernbedienungsvorrichtung sowie Bedienungsfunktion derselben
KR101621524B1 (ko) 2012-11-02 2016-05-31 삼성전자 주식회사 디스플레이장치 및 그 제어방법
KR20140087787A (ko) * 2012-12-31 2014-07-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR101713784B1 (ko) * 2013-01-07 2017-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9336779B1 (en) 2013-04-10 2016-05-10 Google Inc. Dynamic image-based voice entry of unlock sequence
CN104243898A (zh) * 2013-06-18 2014-12-24 鸿富锦精密工业(深圳)有限公司 远程指导系统及其指导终端、求助终端
KR101575650B1 (ko) 2014-03-11 2015-12-08 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
US20170031515A1 (en) * 2014-04-15 2017-02-02 Sharp Kabushiki Kaisha Input device
KR101511146B1 (ko) * 2014-07-29 2015-04-17 연세대학교 산학협력단 스마트 3차원 제스처 인식 장치 및 방법
CN105373213A (zh) * 2014-08-25 2016-03-02 乐视致新电子科技(天津)有限公司 一种人机交互中的操作识别方法及装置
KR101839441B1 (ko) 2014-09-17 2018-03-16 (주)에프엑스기어 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
JP6289655B2 (ja) * 2014-09-30 2018-03-14 三菱電機エンジニアリング株式会社 画面操作装置及び画面操作方法
JP6249919B2 (ja) * 2014-10-06 2017-12-20 三菱電機株式会社 操作入力装置
WO2016064186A2 (ko) * 2014-10-21 2016-04-28 주식회사 스위스 건축물 또는 차량의 창틀에 설치되는 블라인드 타입의 스마트 유리 및 이의 모션에 따른 제어 방법
KR101609263B1 (ko) * 2014-12-04 2016-04-05 현대모비스 주식회사 적외선을 이용하여 제스쳐를 인식하기 위한 장치 및 그 방법
US10156909B2 (en) 2015-04-17 2018-12-18 Mitsubishi Electric Corporation Gesture recognition device, gesture recognition method, and information processing device
US20170068416A1 (en) * 2015-09-08 2017-03-09 Chian Chiu Li Systems And Methods for Gesture Input
KR20170104819A (ko) * 2016-03-08 2017-09-18 삼성전자주식회사 제스처를 가이드하는 전자 장치 및 그의 제스처 가이드 방법
US10490063B2 (en) * 2017-03-14 2019-11-26 Fibar Group S.A. Wireless control device for premises automation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315154A (ja) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc ジェスチャ認識システム
JP2001306243A (ja) * 2000-04-21 2001-11-02 Sony Corp 情報処理装置、認識可能動作通知方法及びプログラム格納媒体
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP2009075685A (ja) * 2007-09-19 2009-04-09 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
WO2009108894A1 (en) * 2008-02-27 2009-09-03 Gesturetek, Inc. Enhanced input using recognized gestures
JP2010017388A (ja) * 2008-07-11 2010-01-28 Nintendo Co Ltd 操作システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1148411A3 (en) 2000-04-21 2005-09-14 Sony Corporation Information processing apparatus and method for recognising user gesture
JP2004078977A (ja) 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
JP2006209563A (ja) 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
JP2008146243A (ja) 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP4670860B2 (ja) * 2007-11-22 2011-04-13 ソニー株式会社 記録再生装置
US8384565B2 (en) 2008-07-11 2013-02-26 Nintendo Co., Ltd. Expanding operating device and operating system
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315154A (ja) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc ジェスチャ認識システム
JP2001306243A (ja) * 2000-04-21 2001-11-02 Sony Corp 情報処理装置、認識可能動作通知方法及びプログラム格納媒体
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP2009075685A (ja) * 2007-09-19 2009-04-09 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
WO2009108894A1 (en) * 2008-02-27 2009-09-03 Gesturetek, Inc. Enhanced input using recognized gestures
JP2010017388A (ja) * 2008-07-11 2010-01-28 Nintendo Co Ltd 操作システム

Also Published As

Publication number Publication date
US20130063345A1 (en) 2013-03-14
WO2012011263A1 (ja) 2012-01-26
US9134800B2 (en) 2015-09-15
CN102906671B (zh) 2016-03-02
JPWO2012011263A1 (ja) 2013-09-09
CN102906671A (zh) 2013-01-30

Similar Documents

Publication Publication Date Title
US10401967B2 (en) Touch free interface for augmented reality systems
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
AU2014202245B2 (en) Method for gesture control
US8693732B2 (en) Computer vision gesture based control of a device
EP2817694B1 (en) Navigation for multi-dimensional input
KR101953165B1 (ko) 제스처 인식 디바이스들 및 방법들
JP2019087279A (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
JP5962403B2 (ja) 情報処理装置、表示制御方法及びプログラム
US10198867B2 (en) Display control device, display control method, and program
US10013083B2 (en) Utilizing real world objects for user input
US10545579B2 (en) Remote control with 3D pointing and gesture recognition capabilities
US9740297B2 (en) Motion-based character selection
US9389779B2 (en) Depth-based user interface gesture control
US10102413B2 (en) Biometric imaging device and biometric imaging method
US8959013B2 (en) Virtual keyboard for a non-tactile three dimensional user interface
US9268400B2 (en) Controlling a graphical user interface
EP2480955B1 (en) Remote control of computer devices
US9552071B2 (en) Information processing apparatus, information processing method and computer program
US20160349926A1 (en) Interface device, portable device, control device and module
EP2891950B1 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
US20160180594A1 (en) Augmented display and user input device
JP4609557B2 (ja) 情報処理装置及び情報処理方法
EP2620849B1 (en) Operation input apparatus, operation input method, and program
US7849421B2 (en) Virtual mouse driving apparatus and method using two-handed gestures
US20140375547A1 (en) Touch free user interface

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140514

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150831

R150 Certificate of patent or registration of utility model

Ref document number: 5802667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees