JPWO2012011263A1 - ジェスチャ入力装置およびジェスチャ入力方法 - Google Patents

Abstract

ジェスチャ入力装置（１００）は、ユーザの手の位置に対応する座標を順次検出する座標入力検出部（１０２）と、検出された第１の座標系列の中からジェスチャ開始を意図する第１の手の動きを示す成分を検出するジェスチャ開始検出部（１０３）と、第１の手の動きを示す成分が検出された場合に、第２の手の動きを含むジェスチャを行なうようにユーザを誘導するためのジェスチャ誘導画像を生成する誘導画像生成部（１０４）と、ジェスチャ誘導画像が画面（１０８）に表示された後に検出された第２の座標系列の中から第２の手の動きを示す成分を意図動作成分として検出する意図動作成分検出部（１０５）と、意図動作成分が検出された場合に、第２の座標系列の中から、ジェスチャに対応する手の動きを示す成分を検出し、検出結果に従って制御信号を生成する制御信号生成部（１０６）とを備える。

Description

本発明は、ユーザの手振り等の手の動きをジェスチャとして認識し、認識されたジェスチャに基づいて対象機器の制御を行うことができるジェスチャ入力装置に関する。

従来から、グラフィカルユーザインタフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を備えた機器において、画面上の項目を選択するためのポインタを動かしたり、項目自体を画面上で移動させたりする操作を、同様の手の動きで直感的に入力することを可能とするジェスチャ入力装置が提案されてきた。これらのジェスチャ入力装置では、ユーザは、画面上のポインタや項目を自らの手の動きによって直感的に動かせるようになる。したがって、ジェスチャ入力装置は、キーボードやマウスのような従来の入力装置と比べて、習熟のための訓練が不要であり、かつ誰でも思い通りに操作できるという利点を有する。さらに、これらジェスチャ入力装置の中には、カメラ等のユーザの動きをとらえるセンサを用いることで、リモコン等の入力デバイスを一切把持あるいは装着する必要がないものも提案されている。このようなジェスチャ入力装置を用いれば、ユーザは、いつでも手を動かすだけで対象機器を遠隔操作することもできる。

これらジェスチャ入力装置において、実用的なＧＵＩを構成するためには、画面上の項目の１つを指示するポインタを手の動きに従って移動させることに加えて、少なくとも当該ポインタの指示する項目の選択状態を変更するための手の規定動作を認識することが必要である。これに対して、従来技術には特定の手の形状が認識されたときに選択状態の変更を行うもの（例えば、特許文献１および特許文献２参照）があった。また一方で、特定の手の動きの認識に基づいて選択状態の変更を行うものもあった（例えば特許文献３参照）。

特開２００４−０７８９７７号公報 特開２００８−１４６２４３号公報 特開２００６−２０９５６３号公報

前記特許文献１に開示されたジェスチャ入力装置は、人差し指を立てた状態では手の動きに従ってポインタを動かし、人差し指を曲げて手を握り拳の形状にするとポインタが指示していた項目を選択する。また、前記特許文献２に開示されたジェスチャ入力装置は、指を全て広げた平手形状のときに機能フォーカスを移動させ、指を全て曲げた握り拳形状のときにフォーカスされている機能を選択する。すなわち、これらの技術は、手の形状認識が精度よく実現できることに依存しており、精度の高い手の形状認識に必要となる高い空間解像度での手の形状計測のためにユーザがジェスチャ操作を行える場所を限定せざるを得ず、操作範囲を広くとることと操作の確実性の両立が難しいという課題を有していた。

一方、前記特許文献３に開示されたジェスチャ入力装置は、手の形状認識よりも低い空間解像度のセンサを用いても、手の動き認識に基づいて機器を比較的高精度に制御することができる。このジェスチャ入力装置は、手を上下左右に振ったときに、画面上のオブジェクトのハイライト表示を、手を振った方向に移動させる。また、このジェスチャ入力装置は、手を画面に向かって押し込むように動かしたときに、ハイライト表示されたオブジェクトの選択決定を行う。しかしながら、これらの技術では、操作に用いられる手の動きは、日常生活の中で自然に手を動かす際にも意図せず生じてしまう動きである。したがって、不意に画面上の項目が選択されてしまったり、意図しない機能が実行されてしまったりする。そのため、操作を自然でシンプルな手の動きで実現するということと、誤動作を防ぐ確実性との両立が難しいという課題を有していた。

そこで、本発明は、上記従来の課題を解決するものであって、操作範囲が広く自然でシンプルな手の動きを対象機器の制御に利用することができ、誤動作を抑制することができるジェスチャ入力装置を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係るジェスチャ入力装置は、ユーザのジェスチャに基づいて、対象機器を制御するための制御信号を生成するジェスチャ入力装置であって、ユーザの手の位置に対応する座標を順次検出する座標入力検出部と、前記座標入力検出部によって検出された座標の系列である第１の座標系列の中から、ジェスチャ開始を意図する手の動きとして予め定められた第１の手の動きを示す成分を検出するジェスチャ開始検出部と、前記ジェスチャ開始検出部によって前記第１の手の動きを示す成分が検出された場合に、第２の手の動きを含むジェスチャを行なうように前記ユーザを誘導するためのジェスチャ誘導画像を生成する誘導画像生成部と、前記誘導画像生成部によって生成された前記ジェスチャ誘導画像を画面に表示する画面制御部と、前記画面制御部によって前記ジェスチャ誘導画像が画面に表示された後に前記座標入力検出部によって検出された座標の系列である第２の座標系列の中から、前記第２の手の動きを示す成分を前記ジェスチャの意図動作成分として検出する意図動作成分検出部と、前記意図動作成分検出部によって前記意図動作成分が検出された場合に、前記第２の座標系列の中から、前記ジェスチャに対応する手の動きを示す成分を検出し、検出結果に従って制御信号を生成する制御信号生成部とを備える。

本構成によれば、第２の手の動きを含むジェスチャを行なうようにユーザを誘導するためのジェスチャ誘導画像を画面に表示することができる。したがって、その画面に表示されたジェスチャ誘導画像に従ってユーザがジェスチャを行えば、第２の手の動きを示す成分が検出される。そこで、第２の手の動きを示す成分を意図動作成分として検出し、その意図動作成分が検出された場合に、ジェスチャに対応する手の動きを示す成分の検出を行うことにより、ユーザがジェスチャを行なう意図がないときにジェスチャが検出されることを抑制することができる。つまり、ジェスチャの誤検出による対象機器の誤動作を抑制しつつ、ジェスチャによる機器操作を実現することが可能となる。また、第２の手の動きは、ジェスチャ誘導画像によって誘導されるジェスチャに含まれる動きである。したがって、ユーザがジェスチャ誘導画像に従ってジェスチャを行えば、自然と第２の手の動きが行われることになる。つまり、本構成によれば、操作範囲が広く自然でシンプルな手の動きを対象機器の制御に利用することが可能となる。

また、前記画面制御部は、さらに、前記座標入力検出部によって検出された座標に対応する画面上の位置にカーソルを表示し、前記誘導画像生成部は、前記カーソルが表示されている位置とは異なる位置に前記ジェスチャ誘導画像を表示し、前記第２の手の動きは、前記ジェスチャ誘導画像が表示されている位置に前記カーソルを移動させるための手の動きであることが好ましい。

本構成によれば、ジェスチャ誘導画像が表示されている位置にカーソルを移動させるための手の動きを示す成分を意図動作成分として検出することができる。したがって、より自然でシンプルな手の動きを対象機器の制御に利用することができる。

また、前記画面制御部は、前記カーソルが表示されている位置から、前記第１の手の動きを示す成分が検出された時の前記カーソルの移動方向と異なる向きへ離れた位置に、前記ジェスチャ誘導画像を表示することが好ましい。

本構成によれば、ジェスチャ誘導画像が表示される前の手の動きがそのまま継続されたときに意図動作成分が検出されることを抑制することができる。つまり、ユーザがジェスチャを行なう意図がないときにジェスチャが検出されることを抑制することができる。

また、前記画面制御部は、さらに、前記座標入力検出部によって検出された座標に対応する画面上の位置にカーソルを表示し、前記ユーザから見て、前記カーソルが表示されている位置より画面方向に遠ざかった位置に表示されているような奥行き表現を伴って前記ジェスチャ誘導画像を表示し、前記第２の手の動きは、前記画面方向への手の動きであることが好ましい。

本構成によれば、画面方向への手の動きを示す成分を意図動作成分として検出することができる。一般的に、ジェスチャが行われる際には、ユーザは、画面方向へ手を押し出すように動かすことが多い。ジェスチャ誘導画像を用いて画面方向への手の動きを誘導することにより、より自然でシンプルな手の動きを対象機器の制御に利用することができる。

また、前記座標入力検出部は、前記画面の前方に位置する前記ユーザが撮影された画像に基づいて、前記ユーザの手の位置に対応する座標を検出することが好ましい。

本構成によれば、ユーザの画像に基づいてユーザの手の位置に対応する座標を検出することができるので、簡易な構成でユーザの手の位置に対応する座標を検出することが可能となる。

また、前記座標入力検出部は、モーションセンサを備えたジェスチャ入力リモコンを前記ユーザが手に把持して動かしたときに、前記ジェスチャ入力リモコンのモーションセンサから得られる手の動き情報を基に、前記ユーザの手の位置に対応する座標を検出することが好ましい。

本構成によれば、ジェスチャ入力リモコンが出力する情報に基づいてユーザの手の位置に対応する座標を検出することができるので、簡易な構成でユーザの手の位置に対応する座標を検出することが可能となる。

また、前記ジェスチャ誘導画像は、各々が第２の手の動きを含む複数のジェスチャを行なうように前記ユーザを誘導するための画像であり、前記制御信号生成部は、前記複数のジェスチャのいずれかに対応する手の動きを示す成分を検出し、検出した手の動きを示す成分に対応する前記ジェスチャに従って前記制御信号を生成することが好ましい。

本構成によれば、複数のジェスチャによって対象機器を制御することが可能となるので、ユーザの操作性を向上させることができる。

また、前記画面制御部は、前記意図動作成分検出部によって意図動作成分が検出された場合に、前記画面に表示されている前記ジェスチャ誘導画像の表示態様を変化させることが好ましい。

本構成によれば、意図動作成分が検出されたことをユーザに提示することが可能となるので、対象機器の誤動作をさらに抑制することが可能となるとともに、ユーザの操作性を向上させることも可能となる。

また、前記第１の手の動きは、一定時間の間、予め定められた大きさの空間内で移動または停止する動きであることが好ましい。

本構成によれば、手の動きを止めたときにジェスチャ誘導画像が表示されるので、より自然でシンプルな手の動きを対象機器の制御に利用することが可能となる。

また、前記ジェスチャ入力装置は、集積回路として構成されてもよい。

なお、本発明は、このようなジェスチャ入力装置として実現することができるだけでなく、このようなジェスチャ入力装置が備える特徴的な構成部の動作をステップとするジェスチャ入力方法として実現することができる。また、本発明は、ジェスチャ入力方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明によれば、操作範囲が広く自然でシンプルな手の動きを対象機器の制御に利用することができ、誤動作を抑制することができる。

図１は、本発明の実施の形態１におけるジェスチャ入力装置の外観と関連機器とのインタフェースの一例を示す図である。 図２は、本発明の実施の形態１におけるジェスチャ入力装置の機能構成を示すブロック図である。 図３は、本発明の実施の形態１における座標入力検出に関する処理の流れを示すフローチャートである。 図４は、本発明の実施の形態１における制御信号生成に関する処理の流れを示すフローチャートである。 図５Ａは、本発明の実施の形態１における座標入力検出方法の詳細を説明するための図である。 図５Ｂは、本発明の実施の形態１における座標入力検出方法の詳細を説明するための図である。 図６Ａは、本発明の実施の形態１における座標入力方法の一例を示す図である。 図６Ｂは、本発明の実施の形態１における座標入力リモコンの構成を示す図である。 図７は、本発明の実施の形態１におけるジェスチャ入力装置の典型的なユースケースを示す図である。 図８は、本発明の実施の形態２におけるジェスチャ入力装置の典型的なユースケースを示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、本発明の一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲の記載によって限定される。したがって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素は、本発明の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。

（実施の形態１）
図１は、本発明の実施の形態１におけるジェスチャ入力装置１００の外観と関連機器とのインタフェースの一例を示す図である。映像表示装置１１０は、放送番組を受信するためのアンテナに接続されている。また、本実施の形態では、映像表示装置１１０の上部に１以上のユーザ検出カメラ１０１などが設置されている。ジェスチャ入力装置１００は、ユーザ検出カメラ１０１により撮像された画像情報を解析することにより検出されるユーザの位置、動き、あるいは身体特徴を利用して、映像表示装置１１０を制御する。つまり、ジェスチャ入力装置１００は、ユーザのジェスチャに基づいて、映像表示装置１１０などの対象機器を制御するための制御信号を生成する。

なお、ジェスチャ入力装置１００は、ジェスチャ入力リモコン６０１を保持しているユーザの手の位置もしくは動きに基づいて、映像表示装置１１０を制御してもよい。この場合、ジェスチャ入力リモコン６０１は、例えば、座標入力リモコンなどである。また、ジェスチャ入力装置１００は、ジェスチャ入力リモコン６０１に対するユーザの操作（例えば、ジェスチャ入力リモコン６０１上に配置されたボタンの押下など）に基づいて、映像表示装置１１０を制御してもよい。

また、ジェスチャ入力装置１００は、その他の機器（例えば携帯電話など）を保持したユーザの手の位置や動き、同機器上に配置されたボタンの押下といった操作に基づき、映像表示装置１１０を制御してもよい。

また、映像表示装置１１０は、ルータ／ハブなどを介してインターネットに接続されており、インターネット上から取得したデジタル情報を表示することができる。

また、図１には示していないが、映像表示装置１１０は、複数のスピーカーを備えてもよい。その場合、複数のスピーカーは、映像表示装置１１０の上端と下端、左端と右端というように離れて配置されてもよい。

図２は、本発明の実施の形態１におけるジェスチャ入力装置の機能構成を示すブロック図である。図２において、ジェスチャ入力装置１００は、座標入力検出部１０２、ジェスチャ開始検出部１０３、誘導画像生成部１０４、意図動作成分検出部１０５、制御信号生成部１０６、および画面制御部１０７を備える。

座標入力検出部１０２は、ユーザの手の位置に対応する座標を順次検出する。

ジェスチャ開始検出部１０３は、座標入力検出部１０２によって検出された座標の系列である第１の座標系列の中から、ジェスチャ開始を意図する手の動きとして予め定められた第１の手の動きを示す成分を検出する。座標の系列とは、検出された時刻に従って並べられた座標の集合を意味する。

具体的には、ジェスチャ開始検出部１０３は、例えば、一定時間の間、予め定められた大きさの空間内で手が移動していることを示す座標の系列を、第１の手の動きを示す成分として検出する。また例えば、ジェスチャ開始検出部１０３は、一定時間の間、手が停止していることを示す座標の系列を、第１の手の動きを示す成分として検出してもよい。

誘導画像生成部１０４は、第１の手の動きを示す成分が検出された場合に、ジェスチャ誘導画像を生成する。ジェスチャ誘導画像とは、第２の手の動きを含むジェスチャを行なうようにユーザを誘導するための画像である。本実施の形態では、第２の手の動きは、ジェスチャ誘導画像が表示されている位置にカーソルを移動させるための手の動きである。なお、第２の手の動きは、必ずしもこのような手の動きである必要はない。例えば、第２の手の動きは、ジェスチャ誘導画像が示す位置または方向にカーソルを移動させるための手の動きであってもよい。

意図動作成分検出部１０５は、ジェスチャ誘導画像が画面に表示された後に座標入力検出部１０２によって検出された座標の系列である第２の座標系列の中から、第２の手の動きを示す成分をジェスチャの意図動作成分として検出する。ジェスチャの意図動作成分とは、ユーザがジェスチャを行う意図があることを示す動作を表す座標の系列である。

制御信号生成部１０６は、意図動作成分検出部１０５によって意図動作成分が検出された場合に、第２の座標系列の中から、ジェスチャに対応する手の動きを示す成分を検出する。そして、制御信号生成部１０６は、検出結果に従って制御信号を生成する。つまり、制御信号生成部１０６は、意図動作成分検出部１０５によって意図動作成分が検出された場合にのみ、ジェスチャに対応する手の動きを示す成分の検出結果に従って制御信号を生成する。すなわち、制御信号生成部１０６は、意図動作成分検出部１０５によって意図動作成分が検出されない場合には、ジェスチャに対応する手の動きを示す成分の検出を行わない、または検出結果に関わらず制御信号を生成しない。

画面制御部１０７は、誘導画像生成部１０４によって生成されたジェスチャ誘導画像を画面１０８に表示する。つまり、画面制御部１０７は、ジェスチャ誘導画像が画面１０８に表示されるように、映像表示装置１１０に画像信号を送信する。

また、画面制御部１０７は、座標入力検出部１０２によって検出された座標に対応する画面１０８上の位置にカーソルを順次表示する。本実施の形態では、画面制御部１０７は、このカーソルが表示されている位置とは異なる位置にジェスチャ誘導画像を表示する。より具体的には、画面制御部１０７は、カーソルが表示されている位置から、第１の手の動きを示す成分が検出された時のカーソルの移動方向と異なる向きへ離れた位置に、ジェスチャ誘導画像を表示する。なお、ジェスチャ誘導画像は、必ずしもこのような位置に表示される必要はなく、予め定められた位置に表示されてもよい。

次に、以上のように構成されたジェスチャ入力装置１００における各種動作について説明する。まず、図３および図４を用いて、ジェスチャ入力装置１００の動作の概要について説明する。

図３は、本発明の実施の形態１における座標入力検出に関する処理の流れを示すフローチャートである。

まず、座標入力検出部１０２は、ユーザの手の位置に対応する座標を検出する（Ｓ１０１）。続いて、画面制御部１０７は、検出された座標に対応する画面１０８上の位置にカーソルを表示し（Ｓ１０２）、ステップＳ１０１の処理に戻る。

なお、図３に示す座標入力検出に関するステップＳ１０１およびステップＳ１０２の処理は、以降の図４に示す制御信号生成に関する処理に関わらず、予め定められた周期で繰り返される。

図４は、本発明の実施の形態１における制御信号生成に関する処理の流れを示すフローチャートである。

まず、ジェスチャ開始検出部１０３は、座標入力検出部１０２によって検出された第１の座標系列の中から、ジェスチャ開始を意図する手の動きとして予め定められた第１の手の動きを示す成分を検出する（Ｓ２０１）。ここで、第１の手の動きを示す成分が検出されなかった場合（Ｓ２０２のＮｏ）、ジェスチャ開始検出部１０３は、再度、ステップＳ２０１の処理を実行する。

一方、第１の手の動きを示す成分が検出された場合（Ｓ２０２のＹｅｓ）、誘導画像生成部１０４は、第２の手の動きを含むジェスチャを行なうようにユーザを誘導するためのジェスチャ誘導画像を生成する（Ｓ２０３）。そして、画面制御部１０７は、誘導画像生成部１０４によって生成されたジェスチャ誘導画像を画面１０８に表示する（Ｓ２０４）。

その後、意図動作成分検出部１０５は、ジェスチャ誘導画像が画面１０８に表示された後に座標入力検出部１０２によって検出された第２の座標系列の中から、第２の手の動きを示す成分をジェスチャの意図動作成分として検出する（Ｓ２０５）。ここで、意図動作成分が検出されなかった場合（Ｓ２０６のＮｏ）、処理を終了する。

一方、意図動作成分が検出された場合（Ｓ２０６のＹｅｓ）、制御信号生成部１０６は、第２の座標系列の中から、ジェスチャに対応する手の動きを示す成分を検出する（Ｓ２０７）。ここで、ジェスチャに対応する手の動きを示す成分が検出されなかった場合（Ｓ２０８のＮｏ）、そのまま処理を終了する。

一方、ジェスチャに対応する手の動きを示す成分が検出された場合（Ｓ２０８のＹｅｓ）、制御信号生成部１０６は、検出結果に従って制御信号を生成する（Ｓ２０９）。つまり、制御信号生成部１０６は、ジェスチャに対応する制御信号を生成する。そして、制御信号生成部１０６は、生成した制御信号を、画面制御部１０７を介して映像表示装置１１０に出力する。

このように、ジェスチャ入力装置１００は、意図動作成分が検出された場合にのみ、ジェスチャに対応する制御信号を生成する。

次に、各処理の詳細について、図面を参照しながら説明する。まず、ユーザの手の位置に対応する座標を検出する処理（Ｓ１０１）の詳細について説明する。

ユーザ検出カメラ１０１で取得された画像は座標入力検出部１０２に入力される。座標入力検出部１０２は、入力された画像からユーザの手に相当する部分を抽出してその座標を算出する。

図５Ａおよび図５Ｂは、本実施の形態における座標入力検出部１０２におけるユーザの手の位置の検出方法を説明するための図である。

図５Ａに示すように、座標入力検出部１０２は、ユーザ検出カメラ１０１で撮影された画像から、まずは人物位置を検出し、人物位置の周辺で手の位置の検出を行う。手の位置の検出方法としては例えば以下の方法を用いる。以下、図５Ｂを用いてユーザの手の位置の検出方法を説明する。

まず、図５Ｂの（ａ）に示すように、オフライン処理として、検出したい手の学習画像が大量に用意される（Ｓ５０１）。学習画像における照明環境あるいは照明の向きなどの条件は、実際に手を検出する環境になるべく沿った条件にする。次に、ステップＳ５０１で用意された学習画像に基づいて、主成分分析を用いて手の主成分を構成する固有空間が作成される（Ｓ５０２）。また、検出したい手のサンプルとして手のテンプレート画像が用意される。テンプレート画像は、用意された手の学習画像の平均画像でもよいし、グー、パーなど、いくつかの手の画像でもよい。作成された固有空間の射影行列、および手のテンプレート画像が手テンプレートデータベースに格納される（Ｓ５０３）。

次に、実際の手の検出を行うオンライン処理について、図５Ｂの（ｂ）を用いて説明する。

まず、ユーザ検出カメラ１０１が映像表示装置１１０の画面１０８の前方に存在するユーザを撮影する（Ｓ５０４）。続いて、座標入力検出部１０２は、撮影画像から顔領域の検出を行う（Ｓ５０５）。

ステップＳ５０５で顔領域が検出されると、座標入力検出部１０２は、その顔領域の周辺で手の検出を行う。具体的には、座標入力検出部１０２は、顔領域の周辺の走査領域において、手テンプレートデータベースに格納した手テンプレートに類似する領域を走査する（Ｓ５０６）。具体的には、座標入力検出部１０２は、テンプレートマッチングを行うことにより、手テンプレートに類似する領域を走査する。顔領域の周辺の走査領域は、顔位置を基準としてあらかじめ設定されたサイズの範囲の領域でもよいし、カメラを２つ用いたステレオ視の原理により顔の周辺領域で顔と奥行き距離が近い領域でもよい。これにより、走査領域の範囲を削減することができる。

より具体的には、座標入力検出部１０２は、例えば、走査領域内から切り出された手の候補領域画像と、手のテンプレート画像とを、あらかじめ用意した射影行列を使って固有空間に射影する。そして、座標入力検出部１０２は、固有空間上での両者の距離を比較することにより類似度を計算する。このように、座標入力検出部１０２は、手の主成分を表す空間上で距離を比較することで、手テンプレートと類似する領域の検出において、背景などノイズの影響を低減することが可能となる。座標入力検出部１０２は、走査領域内で、あらかじめ定めた閾値を満たし、かつ最も手テンプレートに近い距離が得られた領域の位置を手位置として検出する（Ｓ５０７）。

このように、座標入力検出部１０２は、ユーザ検出カメラ１０１よって撮影された画像であって、画面１０８の前方に位置するユーザが撮影された画像に基づいて、ユーザの手の位置に対応する座標を検出する。

なお、探索領域内で閾値を満たす領域が無い場合には、座標入力検出部１０２は、ユーザが手を画面に向けて出していないとして検出を終了する。

この例では、座標入力検出部１０２は、手位置の検出にテンプレートマッチングの手法を用いたが、その他の手法、例えばブースティング（Ｂｏｏｓｔｉｎｇ）などの手法を用いて、手位置を検出してもよい。

画面制御部１０７は、座標入力検出部１０２によって検出された手位置の情報に基づいて、例えば、図５Ａに示すように映像表示装置１１０の画面１０８上の対応する位置にカーソル５０１を表示させる。その結果、ユーザは、カーソル５０１に指示された選択肢５０２が選択状態であることを判断することができ、続いて所定の選択動作（手を押し出す、あるいは引き寄せるなど）を行うことで、選択肢５０２を選択することができる。このようにユーザが手の位置を変えることにより映像表示装置１１０を操作する方式を、フリーハンドジェスチャによる操作方式と呼ぶ。

次に、図６Ａおよび図６Ｂを用いて、フリーハンドジェスチャによる操作方式とは異なる操作方式について説明する。

図６Ａおよび図６Ｂは、本実施の形態におけるジェスチャ入力リモコンを用いた座標入力方法を説明するための図である。

図６Ａに示すように、ユーザは、ジェスチャ入力リモコン６０１を手に把持した状態で、あらかじめ規定された動き（振る又は回すなど）に従って手を動かすこと、または映像表示装置の所望の位置を手で指示することにより、カーソル６０２の位置を操作することができる。

図６Ｂは、ジェスチャ入力リモコン６０１の構成を示す図である。ジェスチャ入力リモコン６０１は、その内部に、モーションセンサ６０１１を備える。モーションセンサ６０１１は、ジェスチャ入力リモコン６０１を把持するユーザの手の動きを検出する。また、ジェスチャ入力リモコン６０１は、図６Ｂに示すように、ボタンを備えてもよい。

モーションセンサ６０１１は、加速度センサ、角加速度センサ（レートジャイロ）、および地磁気センサ（電子コンパス）のいずれか、もしくはそれらの２つ以上の組み合わせにより構成される。加速度センサは、所定の軸に対する加速度を検知する。加速度センサは、例えば図６Ｂに示すように、互いに直交する３軸（Ｘ軸、Ｙ軸、Ｚ軸）の加速度を検知する。

例えば、ユーザが、手でジェスチャ入力リモコン６０１を把持した状態で手首および腕の少なくとも一方を動かしたとする。この場合、ジェスチャ入力リモコン６０１の位置および姿勢の少なくとも一方が変更される。そこで、座標入力検出部１０２は、ジェスチャ入力リモコン６０１によって検知された動きを示すデータと、あらかじめ規定された手の動き（ジェスチャ）を示すデータとの照合を行う。その結果、ジェスチャ入力リモコン６０１でユーザが指示しようとしている画面上の位置が求められる。

ここでは、ジェスチャ入力リモコン６０１の位置および姿勢の少なくとも一方の検出手段として、加速度センサを用いる例を示したが、同様の目的で、角加速度センサ（レートジャイロ）、または地磁気センサ（電子コンパス）を利用することもできる。

画面制御部１０７は、この映像表示装置１１０の画面１０８上の位置に対応する位置の入力に基づいて、アプリケーションの制御を行う（例えば、図６Ａに示すようにカーソル６０２を動かす、またはそのカーソル６０２が指示するアプリケーションを起動するなど）。

このようにユーザがジェスチャ入力リモコン６０１を手に把持した状態で、あらかじめ規定された手の動き（ジェスチャ）を行うこと、あるいは映像表示装置１１０の所望の位置を指示することにより、映像表示装置１１０を操作する方式を、ジェスチャ入力リモコンによる操作方式と呼ぶ。

以上のように、図２の本実施の形態における座標入力検出部１０２は、フリーハンドジェスチャによる操作方式、およびジェスチャ入力リモコンによる操作方式のいずれの操作方式による場合であっても、ユーザの手の位置に対応する座標を出力する。当該座標は、画面制御部１０７によって、映像表示装置１１０の画面１０８上の位置に対応付けられ、画面１０８上に表示されるＧＵＩの制御に用いられる。

次に、図７に示すユースケースに従って、図４に示したフローチャートの詳細について説明する。図７の（ａ）は、画面制御部１０７がユーザの手の座標に対応する画面１０８上の位置にカーソル３０１を提示している様子を例示する図である。

ジェスチャ開始検出部１０３は、座標入力検出部１０２から入力されるユーザの手の位置を示す座標の系列の中から、予め規定された手の動きである、ジェスチャの開始を示すユーザの手の動きを示す成分を検出する。つまり、ジェスチャ開始検出部１０３は、ジェスチャ開始を意図する第１の手の動きを示す成分を検出する。

ここでは、ジェスチャ開始検出部１０３は、例えば、ユーザが所定時間手の動きを止めること（すなわち、座標入力検出部１０２から出力される手の座標が所定時間の間所定の小さな空間内から逸脱しないこと）を、ジェスチャ開始を示す第１の手の動きとして判断すればよい。これにより、ユーザは、ジェスチャを開始する意図を示した後に、自然にジェスチャを行うことができる。

ジェスチャ開始検出部１０３によってジェスチャ開始を示す第１の手の動きが検出された後に、誘導画像生成部１０４は、ユーザが続けて行うべき手の動きを誘導するようなジェスチャ誘導画像を生成し、画面制御部１０７に出力する。そして、画面制御部１０７は、ジェスチャ誘導画像を画面１０８に表示する。

図７の（ｂ）は、左右上下４方向に手を振るジェスチャ、例えば、それぞれの方向への画面のスクロールを行うためのジェスチャを続けて行うことを誘導するジェスチャ誘導画像の一例を示している。この例では、画面制御部１０７は、ジェスチャ開始検出部１０３によって第１の手の動きを示す成分が検出された時のユーザの手の座標に対応する画面上の位置（カーソル３０１が表示されている位置）からベクトルＶ２を加算した位置に第１ジェスチャ誘導画像３０２を表示している。つまり、画面制御部１０７は、カーソル３０１が表示されている位置とは異なる位置に第１ジェスチャ誘導画像３０２を表示している。

なお、ベクトルＶ２は、ジェスチャ開始を示すユーザの手の動きを示す成分が検出される直前の手の動き方向を示すベクトルＶ１（図７の（ａ））と異なる向きであることが好ましい。特に、ベクトルＶ２は、ベクトルＶ１と逆向き、または直交する向きであることが好ましい。

つまり、画面制御部１０７は、カーソル３０１が表示されている位置から、第１の手の動きを示す成分が検出されたときのカーソルの移動方向（ベクトルＶ１）と異なる向き（ベクトルＶ２）へ離れた位置に、ジェスチャ誘導画像を表示することが好ましい。特に、画面制御部１０７は、カーソル３０１が表示されている位置から、ベクトルＶ１と反対の向きまたは直交する方向へ離れた位置に、ジェスチャ誘導画像を表示することが好ましい。

これにより、この後に説明するジェスチャ受入れ状態にユーザの意図に反して入ることが少なくなることが期待できる。つまり、ジェスチャ入力装置１００は、ジェスチャ誘導画像が表示される前の手の動きがそのまま継続されたときに意図動作成分が検出されることを抑制することができる。したがって、ジェスチャ入力装置１００は、ユーザがジェスチャを行なう意図がないときに、意図動作成分が検出され、制御信号が生成されることを抑制することができる。

この後、ユーザは、カーソル３０１が第１ジェスチャ誘導画像３０２の中央部に移動するように手を動かす。このとき、意図動作成分検出部１０５は、第１ジェスチャ誘導画像３０２の中央部にカーソル３０１を移動するための手の動きを示す座標の系列を、座標入力検出部１０２から取得する。

これにより、意図動作成分検出部１０５は、誘導画像生成部１０４が生成した第１ジェスチャ誘導画像３０２により誘導されたユーザのジェスチャを行う意図を示す意図動作成分を検出する。つまり、意図動作成分検出部１０５は、ジェスチャ誘導画像が画面に表示された後に検出された第２の座標系列の中から、カーソル３０１を第１ジェスチャ誘導画像３０２が表示されている位置に移動させるための手の動きを示す成分を意図動作成分として検出する。

そして、意図動作成分検出部１０５は、制御信号生成部１０６にジェスチャ受入れ状態に入るよう指示する。制御信号生成部１０６は、ジェスチャ受け入れ状態であるときに、座標入力検出部１０２によって検出される座標の系列の中からジェスチャに対応する手の動きを示す成分を検出する。

このとき、制御信号生成部１０６は、画面制御部１０７にジェスチャの受入れ状態に入ったことを示す表示を行うように指示することが望ましい。図７の（ｃ）は、当該表示の一例を示す。図７の（ｃ）では、図７の（ｂ）に示した第１ジェスチャ誘導画像３０２から第２ジェスチャ誘導画像３０３に置き換えられている。この第２ジェスチャ誘導画像３０３は、ジェスチャの受入れ状態に入ったことを示す画像であって、第１ジェスチャ誘導画像３０２の境界線を明瞭にした画像である。

このように、画面制御部１０７は、意図動作成分検出部１０５によって意図動作成分が検出された場合に、画面１０８に表示されているジェスチャ誘導画像の表示態様を変化させることが好ましい。これにより、ジェスチャ入力装置１００は、意図動作成分が検出されたことをユーザに提示することが可能となるので、より誤動作を抑制することが可能となる。また、意図動作成分が検出されていないときに、ユーザは、ジェスチャが受け付けられないことを認識することができる。したがって、ジェスチャ入力装置１００は、ユーザが意図的に行なったジェスチャが検出されないことを抑制することができ、ユーザの操作性を向上させることができる。

なお、図７の（ｃ）において、第２ジェスチャ誘導画像３０３は、第１ジェスチャ誘導画像３０２の境界線を明瞭にした画像であったが、必ずしもこのような画像である必要はない。第２ジェスチャ誘導画像３０３は、第１ジェスチャ誘導画像３０２から変化していることがユーザに認識されるような画像であれば、どのような画像であってもよい。つまり、第２ジェスチャ誘導画像３０３は、第１ジェスチャ誘導画像３０２の表示態様を変化させた画像であればよい。例えば、第２ジェスチャ誘導画像３０３は、第１ジェスチャ誘導画像３０２の色を変化させた画像であってもよい。

次に、ユーザは、画面１０８上に示された受入れ可能なジェスチャ（左右上下４方向のいずれかの方向に手を振る動き）を行う。そのとき、制御信号生成部１０６は、ジェスチャの受入れ状態に入った後に座標入力検出部１０２によって検出された座標の系列の中から、４方向のいずれかの方向に手を振る動きを示す成分を、ジェスチャに対応する手の動きを示す成分として検出する。

そして、制御信号生成部１０６は、検出したジェスチャに対応する手の動きを示す成分に従って制御信号を生成する。例えば、ユーザが手を左に振るジェスチャを行った場合、制御信号生成部１０６は、画面制御部１０７に「左手振りジェスチャ」を示す制御信号を出力する。そして、画面制御部１０７は、例えば、画面１０８上に写真等の多数のコンテンツが整列表示されている場合に、それらのコンテンツ全体が左方向にスクロールして右端に新しいコンテンツが表示されるように、制御信号を映像表示装置１１０に送信する。つまり、画面制御部１０７は、制御信号に対応付けられた機能が実行されるように映像表示装置１１０を制御する。

以上のように、本実施の形態に係るジェスチャ入力装置１００は、ユーザが映像表示装置１１０の画面１０８上のＧＵＩを規定の手の動きであるジェスチャにより制御する際に、事前に当該ジェスチャを誘導するようなジェスチャ誘導画像を画面１０８上に表示する。そして、ジェスチャ入力装置１００は、そのジェスチャ誘導画像を見たユーザがジェスチャを行う意図を持っている場合に手の動きに含まれると期待できる成分である意図動作成分を検出する。この意図動作成分が検出された場合に、ジェスチャ入力装置１００は、ジェスチャ受入れ状態に移行する。これにより、ジェスチャ入力装置１００は、意図しない手の動きにより誤動作することを抑制し、確実にジェスチャで映像表示装置の画面上のＧＵＩを制御することができる。

つまり、本実施の形態に係るジェスチャ入力装置１００によれば、第２の手の動きを含むジェスチャを行なうようにユーザを誘導するためのジェスチャ誘導画像を画面に表示することができる。したがって、その画面に表示されたジェスチャ誘導画像に従ってユーザがジェスチャを行えば、第２の手の動きを示す成分が検出される。そこで、第２の手の動きを示す成分を意図動作成分として検出し、その意図動作成分が検出された場合に、ジェスチャに対応する手の動きを示す成分の検出を行うことにより、ユーザがジェスチャを行なう意図がないときにジェスチャが検出されることを抑制することができる。つまり、ジェスチャの誤検出による対象機器の誤動作を抑制しつつ、ジェスチャによる機器操作を実現することが可能となる。また、第２の手の動きは、ジェスチャ誘導画像によって誘導されるジェスチャに含まれる動きである。したがって、ユーザがジェスチャ誘導画像に従ってジェスチャを行えば、自然と第２の手の動きが行われることになる。つまり、ジェスチャ入力装置１００によれば、操作範囲が広く自然でシンプルな手の動きを対象機器の制御に利用することが可能となる。

なお、本実施の形態において、ジェスチャ開始検出部１０３は、ユーザの手の位置に対応する座標が所定時間の間、所定の小さな空間内にとどまることを、ジェスチャ開始を意図する手の動きを示す成分として検出していた。しかし、ジェスチャ開始検出部１０３は、ユーザの手の位置に対応する座標以外の情報も用いて、ジェスチャ開始を検出してもよい。

例えば、ユーザの顔が画面１０８の方向を向いている場合のみ、ジェスチャ開始検出部１０３は、ジェスチャ開始を意図する手の動きを示す成分を検出するようにしてもよい。これにより、ユーザが画面１０８の方を見ておらずジェスチャを行う意図が全くない場合に、誘導画像生成部１０４が画面１０８にジェスチャ誘導画像表示されることを回避することができる。なお、ユーザの顔の向きは、例えば、ユーザ検出カメラ１０１で撮影された画像から検出される顔領域と、様々な方向を向いた顔のテンプレートとを照合することにより検出されればよい。

また、本実施の形態において、ジェスチャ誘導画像によって誘導されるジェスチャは、当該画像の中心にカーソルを移動させるために手を動かした後に、上下左右いずれかの方向へ手を振る動きであったが、本発明はこれらのジェスチャのみに限定されるものではない。例えば、ジェスチャは、手を手前に引く、あるいは手を画面方向に押し出すといった動きであってもよい。さらに、ジェスチャは、手を体の前で時計回りあるいは反時計回りに回転させる動きであってもよい。また、ジェスチャ誘導画像によって誘導されるジェスチャは、複数のジェスチャである必要なく、１つのジェスチャ（例えば、一方向のみジェスチャ）であってもよい。

（実施の形態２）
次に、本発明の実施の形態２について説明する。

図８は、本発明の実施の形態２におけるジェスチャ入力装置の典型的なユースケースを示す図である。本実施の形態においても、ジェスチャ入力装置１００の機能構成を示すブロック図は、図２と共通であるが、誘導画像生成部１０４および意図動作成分検出部１０５の機能の一部が異なる。誘導画像生成部１０４および意図動作成分検出部１０５以外の構成要素については、機能が同じであるので説明を省略する。

図８の（ａ）は、ジェスチャ開始検出部１０３がジェスチャ開始を意図する手の動きを示す成分を検出した直後に、誘導画像生成部１０４により生成された第１ジェスチャ誘導画像４０２が画面１０８上に表示された状態を示している。

ここで、図８の（ｃ）に示すように、映像表示装置１１０の画面１０８に向かってユーザが手を振るジェスチャをする際に検出される座標の系列Ｔ１には、画面１０８に向かう方向ｄ（ｓｃｒｅｅｎ）（画面１０８の法線方向と逆向き）の動きを示す成分が含まれやすい傾向がある。そこで、誘導画像生成部１０４は、ユーザがジェスチャを行う意図がある場合に、画面１０８に向かう方向ｄ（ｓｃｒｅｅｎ）への手の動きが増幅するような第１ジェスチャ誘導画像４０２を生成する。

すなわち、図８の（ａ）に示すように、画面制御部１０７は、現在のユーザの手の座標に対応する画面１０８上の位置に表示したカーソル４０１よりも、奥側にあるように見える３次元的な表示効果を伴って、第１ジェスチャ誘導画像４０２を表示する。つまり、画面制御部１０７は、ユーザから見て、カーソル４０１が表示されている位置より画面方向に遠ざかった位置に表示されているような奥行き表現を伴って第１ジェスチャ誘導画像４０２を表示する。

例えば、画面制御部１０７は、第１ジェスチャ誘導画像４０２をカーソルよりもぼかした状態で表示してもよい。また例えば、画面制御部１０７は、第１ジェスチャ誘導画像４０２をカーソルよりも奥側に配置されるように、３次元表示してもよい。また、画面制御部１０７は、遠近法を利用した奥行き表現を伴って第１ジェスチャ誘導画像４０２を表示してもよい。

また、意図動作成分検出部１０５は、ジェスチャ開始を意図する手の動きを示す成分が検出された後に検出された座標の系列（第２の座標系列）の中から、画面１０８に向かう方向ｄ（ｓｃｒｅｅｎ）と同じ方向の手の動きを示す成分を意図動作成分として検出する。そして、意図動作成分検出部１０５は、意図動作成分を検出した場合に、制御信号生成部１０６にジェスチャ受入れ状態に入るように指示するための情報を送信する。つまり、意図動作成分検出部１０５は、画面方向の手の動きを示す成分を意図動作成分として検出する。

画面制御部１０７は、ジェスチャ受入れ状態に入ったときに、例えば、図８の（ｂ）に示すように、第１ジェスチャ誘導画像４０２よりも境界線が明瞭な第２ジェスチャ誘導画像４０３を表示することを指示するための情報を画面制御部１０７に送信する。

以上のように、本実施の形態におけるジェスチャ入力装置１００は、手振りジェスチャを入力しようとするユーザを、奥行き方向（すなわち画面１０８に向かう方向ｄ（ｓｃｒｅｅｎ））に手を押し出すようにしながら指示したい方向に手を振るジェスチャを行うように誘導することができる。したがって、ジェスチャ入力装置１００は、ユーザが手振りジェスチャを行う意図がなく手を動かした場合（例えば、手振りジェスチャを行った後に手を元の位置に戻すような場合）に、手振りジェスチャが誤って検出されることを防ぐことができる。

（変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各ジェスチャ入力装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＯＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各ジェスチャ入力装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各ジェスチャ入力装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各ジェスチャ入力装置を構成する構成要素の一部または全部は、各ジェスチャ入力装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示すジェスチャ入力方法であるとしてもよい。また、これらのジェスチャ入力方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体（例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなど）に記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。

本発明の一態様に係るジェスチャ入力装置は、自然でシンプルな手の動きによりＧＵＩを確実に操作できる特徴を有し、大きな画面にコンテンツや情報を提示するディスプレイシステム、例えばテレビやデジタルサイネージの入力手段として有用である。また手の動きを入力に用いるゲーム等の用途にも応用できる。

１００ ジェスチャ入力装置
１０１ ユーザ検出カメラ
１０２ 座標入力検出部
１０３ ジェスチャ開始検出部
１０４ 誘導画像生成部
１０５ 意図動作成分検出部
１０６ 制御信号生成部
１０７ 画面制御部
１０８ 画面
１１０ 映像表示装置
３０１、４０１、５０１、６０２ カーソル
３０２、４０２ 第１ジェスチャ誘導画像
３０３、４０３ 第２ジェスチャ誘導画像
５０２ 選択肢
６０１ ジェスチャ入力リモコン
６０１１ モーションセンサ

Claims (13)

1. ユーザのジェスチャに基づいて、対象機器を制御するための制御信号を生成するジェスチャ入力装置であって、
   ユーザの手の位置に対応する座標を順次検出する座標入力検出部と、
   前記座標入力検出部によって検出された座標の系列である第１の座標系列の中から、ジェスチャ開始を意図する手の動きとして予め定められた第１の手の動きを示す成分を検出するジェスチャ開始検出部と、
   前記ジェスチャ開始検出部によって前記第１の手の動きを示す成分が検出された場合に、第２の手の動きを含むジェスチャを行なうように前記ユーザを誘導するためのジェスチャ誘導画像を生成する誘導画像生成部と、
   前記誘導画像生成部によって生成された前記ジェスチャ誘導画像を画面に表示する画面制御部と、
   前記画面制御部によって前記ジェスチャ誘導画像が画面に表示された後に前記座標入力検出部によって検出された座標の系列である第２の座標系列の中から、前記第２の手の動きを示す成分を前記ジェスチャの意図動作成分として検出する意図動作成分検出部と、
   前記意図動作成分検出部によって前記意図動作成分が検出された場合に、前記第２の座標系列の中から、前記ジェスチャに対応する手の動きを示す成分を検出し、検出結果に従って制御信号を生成する制御信号生成部とを備える
   ジェスチャ入力装置。
2. 前記画面制御部は、さらに、前記座標入力検出部によって検出された座標に対応する画面上の位置にカーソルを表示し、
   前記誘導画像生成部は、前記カーソルが表示されている位置とは異なる位置に前記ジェスチャ誘導画像を表示し、
   前記第２の手の動きは、前記ジェスチャ誘導画像が表示されている位置に前記カーソルを移動させるための手の動きである
   請求項１に記載のジェスチャ入力装置。
3. 前記画面制御部は、前記カーソルが表示されている位置から、前記第１の手の動きを示す成分が検出された時の前記カーソルの移動方向と異なる向きへ離れた位置に、前記ジェスチャ誘導画像を表示する
   請求項２に記載のジェスチャ入力装置。
4. 前記画面制御部は、さらに、前記座標入力検出部によって検出された座標に対応する画面上の位置にカーソルを表示し、前記ユーザから見て、前記カーソルが表示されている位置より画面方向に遠ざかった位置に表示されているような奥行き表現を伴って前記ジェスチャ誘導画像を表示し、
   前記第２の手の動きは、前記画面方向への手の動きである
   請求項１に記載のジェスチャ入力装置。
5. 前記座標入力検出部は、前記画面の前方に位置する前記ユーザが撮影された画像に基づいて、前記ユーザの手の位置に対応する座標を検出する
   請求項１に記載のジェスチャ入力装置。
6. 前記座標入力検出部は、モーションセンサを備えたジェスチャ入力リモコンを前記ユーザが手に把持して動かしたときに、前記ジェスチャ入力リモコンのモーションセンサから得られる手の動き情報を基に、前記ユーザの手の位置に対応する座標を検出する
   請求項１に記載のジェスチャ入力装置。
7. 前記ジェスチャ誘導画像は、各々が第２の手の動きを含む複数のジェスチャを行なうように前記ユーザを誘導するための画像であり、
   前記制御信号生成部は、前記複数のジェスチャのいずれかに対応する手の動きを示す成分を検出し、検出した手の動きを示す成分に対応する前記ジェスチャに従って前記制御信号を生成する
   請求項１に記載のジェスチャ入力装置。
8. 前記画面制御部は、前記意図動作成分検出部によって前記意図動作成分が検出された場合に、前記画面に表示されている前記ジェスチャ誘導画像の表示態様を変化させる
   請求項１に記載のジェスチャ入力装置。
9. 前記第１の手の動きは、一定時間の間、予め定められた大きさの空間内で移動または停止する動きである
   請求項１に記載のジェスチャ入力装置。
10. 前記ジェスチャ入力装置は、集積回路として構成されている
    請求項１に記載のジェスチャ入力装置。
11. ユーザのジェスチャに基づいて、対象機器を制御するための制御信号を生成するジェスチャ入力方法であって、
    ユーザの手の位置に対応する座標を順次検出する座標入力検出ステップと、
    前記座標入力検出ステップで検出された座標の系列である第１の座標系列の中から、ジェスチャ開始を意図する手の動きとして予め定められた第１の手の動きを示す成分を検出するジェスチャ開始検出ステップと、
    前記ジェスチャ開始検出ステップで前記第１の手の動きを示す成分が検出された場合に、第２の手の動きを含むジェスチャを行なうように前記ユーザを誘導するためのジェスチャ誘導画像を生成する誘導画像生成ステップと、
    前記誘導画像生成ステップで生成された前記ジェスチャ誘導画像を画面に表示する画面制御ステップと、
    前記画面制御ステップで前記ジェスチャ誘導画像が画面に表示された後に前記座標入力検出ステップで検出された座標の系列である第２の座標系列の中から、前記第２の手の動きを示す成分を前記ジェスチャの意図動作成分として検出する意図動作成分検出ステップと、
    前記意図動作成分検出ステップで前記意図動作成分が検出された場合に、前記第２の座標系列の中から、前記ジェスチャに対応する手の動きを示す成分を検出し、検出結果に従って制御信号を生成する制御信号生成ステップとを含む
    ジェスチャ入力方法。
12. 請求項１１に記載のジェスチャ入力方法をコンピュータに実行させるためのプログラム。
13. 請求項１１に記載のジェスチャ入力方法をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体。

Images