JP4267648B2 - インターフェース装置及びその方法 - Google Patents

Description

本発明は、操作者の手を含む画像を撮影し、手の形状及び動きを画像処理によって認識し、その結果に基づき制御対象機器を制御できるようにしたインターフェース装置に関する。

現在、テレビやコンピュータ等の機器を操作するためのインターフェース装置としては、リモコンやキーボード、マウスなどの指示装置を用いて操作を行うものが一般的である。しかしながら、これらのインターフェース装置では、指示装置を介して操作を行うために必ずしも直感的で分かりやすいものとはなっていない。また、指示装置を紛失してしまうとインターフェース装置を利用できなくなってしまう。

そこで、上記の課題を解決するためのインターフェース装置の一つとして、操作者が手を動かしたり手の姿勢を変化させたりすることにより、指示装置を用いることなく機器の操作を実現する、ハンドジェスチャユーザーインターフェース装置に関する技術が提案されてきた。

例えば、特許文献１では、ディスプレイに内蔵されたＣＣＤカメラによって撮影した操作者を含む画像から、操作者の手の形状及び動きを認識し、これに基づき画面に表示されている指示アイコンの形状及び位置を変化させるといった表示制御を行うことにより、ハンドジェスチャによる指示を可能にしたインターフェース装置が開示されている。

一般に、上記のインターフェース装置では、操作者は予め定められた特定のハンドジェスチャ（例えば、手姿勢を作る、特定の手振りを行う、特定の軌跡に沿って手を動かすなどの行為）を行うことにより、特定のコマンドや位置等の指示を行う。
特開２００４−７８９７７公報

しかしながら、上記従来のインターフェース装置においては、操作者は指示に用いるハンドジェスチャを覚える必要があり、ジェスチャによる指示を行う上で負担となっていた。

そこで本発明は、上記問題点に鑑みなされたもので、操作者が指示に用いる特定のハンドジェスチャを覚えることなくスムーズに指示を与えられるようにしたインターフェース装置及びその方法を提供することを目的とする。

本発明は、操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェース装置において、前記操作者の手を含む画像を入力する画像入力部と、前記入力画像から認識対象として１種類以上の前記手形状又は前記手の動きを認識するジェスチャ認識部と、前記認識した手形状又は手の動きに対応した指示情報に基いて前記制御対象装置を制御する制御部と、前記ジェスチャ認識部が認識可能な手形状又は手の動きの模範的な画像を表示するジェスチャ情報表示部と、を備え、前記ジェスチャ認識部は、前記入力画像内の１個以上の部分領域のそれぞれについて、前記手形状又は前記手の動きが含まれる確率を算出するジェスチャ評価部と、前記確率が最も高い部分領域を手候補領域として選択する手候補領域選択部と、前記手候補領域における前記確率が閾値以上のときに前記手形状又は前記手の動きが含まれると認識するジェスチャ判定部と、を備え、前記ジェスチャ情報表示部は、前記認識した手形状又は手の動き及び前記確率を表示する、ことを特徴とするインターフェース装置である。また、本発明は、操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェース装置において、前記操作者の手を含む画像を入力する画像入力部と、前記入力画像から認識対象として１種類以上の前記手形状又は前記手の動きを認識するジェスチャ認識部と、前記認識した手形状又は手の動きに対応した指示情報に基いて前記制御対象装置を制御する制御部と、前記ジェスチャ認識部が認識可能な手形状又は手の動きの模範的な画像を表示するジェスチャ情報表示部と、を備え、前記ジェスチャ認識部は、前記入力画像内の１個以上の部分領域のそれぞれについて、前記手形状又は前記手の動きが含まれる確率を算出するジェスチャ評価部と、前記確率が最も高い部分領域を手候補領域として選択する手候補領域選択部と、前記手候補領域における前記確率が閾値以上のときに前記手形状又は前記手の動きが含まれると認識するジェスチャ判定部と、を備え、前記ジェスチャ情報表示部は、前記手候補領域の画像を表示する、ことを特徴とするインターフェース装置である。さらに、本発明は、操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェース装置において、前記操作者の手を含む画像を入力する画像入力部と、前記入力画像から認識対象として１種類以上の前記手形状又は前記手の動きを認識するジェスチャ認識部と、前記認識した手形状又は手の動きに対応した指示情報に基いて前記制御対象装置を制御する制御部と、前記ジェスチャ認識部が認識可能な手形状又は手の動きの模範的な画像を表示するジェスチャ情報表示部と、を備え、前記ジェスチャ認識部は、前記入力画像内の１個以上の部分領域のそれぞれについて、前記手形状又は前記手の動きが含まれる確率を算出するジェスチャ評価部と、前記確率が最も高い部分領域を手候補領域として選択する手候補領域選択部と、前記手候補領域における前記確率が閾値以上のときに前記手形状又は前記手の動きが含まれると認識するジェスチャ判定部と、を備え、前記ジェスチャ情報表示部は、前記認識した手形状又は手の動き及び前記確率、及び、前記手候補領域の画像を表示する、ことを特徴とするインターフェース装置である。

本発明によれば、操作者はインターフェース装置の操作に用いる手形状や手の動きを覚えることなく操作を行うことができる。

以下、本発明の一実施形態における制御対象装置を操作、制御するためのハンドジェスチャユーザーインターフェース装置（以下、略して「ＨＧＵＩ装置」という）について図面に基づいて説明する。

（第１の実施形態）
以下、第１の実施形態にかかるＨＧＵＩ装置について、図１〜図８に基づいて説明する。

（１）ＨＧＵＩ装置の構成
図１は、第１の実施形態にかかるＨＧＵＩ装置の構成を示すブロック図である。

撮像部１は、例えばＣＣＤビデオカメラなどの撮像装置を用いて、操作者の手を含む画像を撮像し、これをジェスチャ認識部２に供給する。

ジェスチャ認識部２は、入力された画像から、認識対象ジェスチャが含まれる領域及びジェスチャの種類を求め、認識結果として出力する。

制御部３は、ジェスチャ認識部２が出力する認識結果に基づいて、制御対象機器（図示せず）の制御内容を決定し、実際に制御対象機器の制御を行う。

ジェスチャ情報表示部４は、操作者がＨＧＵＩ装置に指示を与える際に参照するための情報を表示する。

（２）ジェスチャ認識部２
ジェスチャ認識部２の構成例として、例えば、米国特許出願公開第２００２／０１０２０２４号に記載されている対象物評価装置を参考にして説明する。

図２は、ジェスチャ認識部２のブロック図である。

部分領域画像生成部２１は、入力画像上のさまざまな位置にさまざまな大きさの部分領域を設定し、前記部分領域内の画像を切り出して対象物検出部２２に供給する。ここで部分領域は、例えば図３に示すように、ｎ種類のウィンドウサイズを用意し、そのそれぞれについて画面を走査させることによって設定する。

対象物検出部２２は、入力として与えられた部分領域画像を所定のサイズに正規化を行った上で、ジェスチャ辞書格納部２３に格納された辞書データを用いることにより、対象物かどうか判定を行う。

対象物であるかどうかの判定は、図４のように直列にｍ個接続された強識別器Ｓ（１），・・・，Ｓ（ｍ）によって行われる。これらの強識別器Ｓは、それぞれｎ（ｍ）個の弱識別器Ｗ（１），・・・，Ｗ（ｎ）によって構成されており、各弱識別器Ｗは、正規化された入力画像中の特定部分を評価することにより、対象物であるかどうかを判定する。

各強識別器Ｓは、構成するｎ（ｍ）個の弱識別器Ｗの判定結果を総合的に評価し、対象物であるかどうかを決定する。直列に接続された全ての強識別器Ｓが対象物であると決定した場合のみ、対象物検出部２２は、入力画像を対象物として決定する。

弱識別器Ｗによる入力画像の評価方法について、図５を用いて説明を行う。

入力として与えられた部分領域画像は、Ｎ×Ｎの大きさに正規化された後、強識別器ｉを構成する各弱識別器Ｗ（ｉ，１），・・・，Ｗ（ｉ，ｎ（ｉ））において対象物かどうか判定される。

対象物判定は、弱識別器Ｗ毎に定義されている領域Ａ及び領域Ｂについて、それぞれ領域内の全画素の輝度値の和ＳＡ及びＳＢを求め、その差を対象物判定閾値Ｔと比較することにより行う。ここで、領域Ａ及び領域Ｂは、それぞれ図５に示すような１乃至２個の矩形領域によって表わされる。具体的な領域Ａ及び領域Ｂの位置や形状及び対象物判定閾値Ｔについては、予め対象物画像及び非対象物画像を用いた学習により、対象物と非対象物を効果的に判別できるようなものを選んでおく。

これら弱識別器Ｗによる判定結果ｈ（ｉ，ｊ，ｘ）は、以下の式によって求められる。

但し、Ｓ_Ａ（ｉ，ｊ，ｘ）、Ｓ_Ｂ（ｉ，ｊ，ｘ）、Ｔ（ｉ，ｊ）は、それぞれ強識別器Ｓｉを構成する弱識別器Ｗｊにおいて、入力画像ｘが与えられたときの領域Ａ及び領域Ｂの輝度値の和及び対象物判定閾値である。また、ｐ（ｉ，ｊ）＝｛１，−１｝はパリティを意味し、ｐ（ｉ，ｊ）＝−１の時は、Ｓ_Ａ（ｉ，ｊ，ｘ）−Ｓ^Ｂ（ｉ，ｊ，ｘ）がＴ（ｉ，ｊ）より小さいときに対象物として判定される。

強識別器ｉの判定結果ｈ（ｉ，ｘ）は、各弱識別器Ｗによる評価結果ｈ（ｉ，ｊ，ｘ）から以下の式によって得られる。

ここでα（ｉ，ｊ）は、弱識別器Ｗ（ｉ，ｊ）の信頼性を表わしており、これは学習用画像における正答率に基づき決定される。

対象物検出部２２における最終的な判定結果は、以下の式によって表わされる。

複数種類の対象物について対象物か否かを判定する場合は、対象物毎に識別器を用意してそれぞれの対象物について上記の判定処理を行う。

なお、上記はジェスチャ認識手法の一例として示したものであり、上記手法に限定されることを意味しない。例えば、入力画像から生成した輪郭画像に対して模範画像との類似性を評価する方法や、入力画像における肌色領域のパターン類似性を評価する方法などを用いることも可能である。

（３）制御部３
制御部３は、ジェスチャ認識部２によって認識されたハンドジェスチャの種類及び位置に基づいて制御内容を決定し、制御対象装置の制御を行う。

ここでは、図６を用いて制御部３が行う制御の一例について説明する。

図６は、モニタ等に表示されるメニュー画面を表わしている。このメニュー画面は、操作者に制御部３の内部状態を知らせるために用いられる。メニュー画面は、複数個の矩形領域３１によって構成されており、これらにはそれぞれ特定のコマンドが関連付けられている。

矩形領域３１ｅは、他の矩形領域と異なる色（図ではハッチングで示されている）で表示されているが、これは矩形領域３１ｅに対応するコマンドが現在選択されていることを意味する。

操作者は、撮像部１に向かって図７（ａ）で表わされる手姿勢を保ちながら手を上下左右に移動させることにより、制御部３は、メニュー画面上で選択されている矩形領域を手の動きにあわせて変更する。例えば、図６の状態において、操作者が図７（ａ）の手姿勢を保ちながら手を左に一定量移動させると、矩形領域３１ｅの選択状態が解除され、矩形領域３１ｄが選択される。

操作者は、撮像部１に向かって図７（ｂ）で表わされる手姿勢を行うことにより、制御部３は、現在選択されている矩形領域に関連付けられたコマンドを実行する。例えば、図６の状態において、操作者が図７（ｂ）の手姿勢を行うと、制御部は矩形領域３１ｅに関連付けられたコマンド（例えば、ビデオレコーダであれば録画予約、映像ライブラリ呼び出しなど）を実行する。

（４）ジェスチャ情報表示部４
上記したように従来のＨＧＵＩ装置は、操作者が指示を行う際に、図７に示すようなハンドジェスチャを覚えている必要がある。このため、操作者は操作に用いるハンドジェスチャを正確に覚える努力をするか、または、手元に説明書などをおいてこれを参照しながら操作を行う必要があり、操作者に大きな負担を強いることになる。

そこで、本実施形態においては、ジェスチャ情報表示部４を用いて操作者に操作に用いるハンドジェスチャを提示している。

本実施形態におけるジェスチャ情報表示部４について図８に基づいて説明する。図８は、図６のメニュー画面を対して、ジェスチャ一覧表示部４を実装したメニュー画面を表わしている。

ジェスチャ情報表示部４は、ジェスチャ認識部２が認識対象とするジェスチャを表示する１個以上の認識対象ジェスチャ表示部４２から構成されるジェスチャ一覧表示部４１を有している。

認識対象ジェスチャ表示部４２は、ジェスチャ画像表示部４３と、ジェスチャ名称表示部４４によって構成される。

ジェスチャ画像表示部４３には、認識対象ジェスチャを視覚的に表わす画像が表示される。表示される画像は静止画像であっても動画像であってもよく、例えば、手形状によるジェスチャであれば、ジェスチャ認識部２が認識しやすい模範的な手姿勢（以後、模範手姿勢という）を示す静止画像を表示する。

また、手振り（手の動き）によるハンドジェスチャであれば、模範的な手の軌跡を表わすイラストを表示しても良いし、実際に手を動かしている動画を表示しても良い。

ジェスチャ名称表示部４４には、認識対象ジェスチャの名称が表示される。

（５）効果
以上のように、第１の実施形態にかかるＨＧＵＩ装置においては、操作に用いるジェスチャをジェスチャ情報表示部４に一覧表示することにより、操作者は操作に用いるジェスチャを予め覚えることなく、ジェスチャ情報を確認しながら装置の操作を行うことが可能となり、装置の操作性を向上させることができる。

（６）変更例
（６−１）変更例１
認識対象ジェスチャ表示部４２の目的は、操作者にジェスチャ認識部２が認識対象としているジェスチャを視覚的に提示することであるから、この目的を達成可能なさまざまな形態をとることができる。例えば、認識対象ジェスチャ表示部４２を、ジェスチャ画像表示部４３のみで構成することも考えられる。

（６−２）変更例２
ジェスチャ情報表示部４は、上記の説明で述べた図６の形態のインターフェース装置への適用に限定されず、異なる形態のインターフェース装置への適用も可能である。例えば、特許文献１で開示されているインターフェイス装置において、ディスプレイの表示画面上の一部の領域にジェスチャ情報表示部４を設けることも可能である。

（６−３）変更例３
ジェスチャ情報表示部４は、操作対象装置を構成する画面上に設ける必要はなく、ジェスチャ情報を表示するための画面表示装置（例えば、小型のディスプレイや、ＰＤＡなど）を別途用意しても良い。

例えば、操作対象装置には図６のようなジェスチャ一覧表示部４１を備えないメニュー画面を表示し、ジェスチャ情報を別途用意した画面表示装置に表示しても良い。また例えば、エアコンなど画面表示装置を備えない装置を操作するためのユーザーインターフェース装置において、ジェスチャ情報を手元にある画面表示装置に表示しても良い。

（第２の実施形態）
以下、第２の実施形態であるＨＧＵＩ装置について、図９〜図１３に基づいて説明する。

第１の実施形態においては、操作に用いるハンドジェスチャの一覧をジェスチャ情報表示部４に表示することにより、操作者は操作に用いるジェスチャの種類及び対応する模範的な手姿勢を覚えることなく、ハンドジェスチャの一覧を確認しながら操作ができる。

ところが、操作者が一覧表示された模範手姿勢を参照しながら手姿勢を行ったとしても、手姿勢が模範手姿勢と完全に一致せず、ＨＧＵＩ装置は操作者の手姿勢を必ずしも適切に認識できないことがある。

このとき、操作者は自分の手姿勢をＨＧＵＩ装置がどのように認識しているかが分からないため、ＨＧＵＩ装置が認識しやすいように自分の手姿勢を修正することができず、操作をスムーズに行うことができない可能性がある。

そこで、本実施形態にかかるＨＧＵＩ装置においては、ジェスチャ認識結果の表示を行う認識結果表示部６１を備えている。これにより、操作者が行う手姿勢がＨＧＵＩ装置からどのように認識されているかを知ることが可能となり、操作者は提示された認識結果に基づいて手姿勢を修正できる。

（１）ＨＧＵＩ装置の構成
図９は、第２の実施形態にかかるＨＧＵＩ装置の構成を示すブロック図である。

本実施形態においては、ジェスチャ認識部５及びジェスチャ情報表示部６の機能が変更されたことが第１の実施形態と異なっている。以後の説明において、第１の実施形態と同一の構成及び機能のブロックについては同一符号を記し、説明を省略する。

撮像部１、制御部３は、図１のものと機能が同一であるため、ここでの説明を省略する。

（２）ジェスチャ認識部５
ジェスチャ認識部５のブロック図を図１０に示す。

ジェスチャ評価部５１は、入力画像中にさまざまな部分領域を設定し、これら部分領域内の画像に検出対象ジェスチャが含まれる可能性を評価してそれぞれスコアを算出し、評価結果をして出力する。

スコアの算出方法としては、図４及び図５で説明したジェスチャ認識手法を用いる場合には、例えば以下の式のように式（２）における弱識別器Ｗの評価結果及び信頼性を用いて算出することができる。

また、入力画像から生成した輪郭画像に対して模範画像との類似性を評価する方法や、入力画像における肌色領域のパターン類似性を評価する方法であれば、模範データとの類似度をスコアとして用いても良い。

手候補領域選択部５２は、ジェスチャ評価部５１によって評価された複数の部分領域から、スコア値が高いものを手候補領域として選択する。

本実施形態では、スコア値が最も高い１個の領域を手候補領域として選択している。 しかし、これに限定されるものではなく、例えば、複数人のジェスチャを同時に認識する場合などには、スコア値の上位複数個の領域を選択することも考えられる。

ジェスチャ判定部５３は、手候補領域が認識対象ジェスチャかどうか判定する。図４及び図５で説明したジェスチャ認識手法を用いる場合は、式（３）を用いて判定する。

（３）ジェスチャ情報表示部６
ジェスチャ情報表示部６のブロック図を図１１に示す。

ジェスチャ一覧表示部４１は、図８のものと機能が同一であるため、ここでの説明を省略する。

認識結果表示部６１は、ジェスチャ認識結果を表示する。ここで、認識結果としては、少なくともジェスチャ認識部５によってどのハンドジェスチャが認識されたかが分かるための情報を含むものとする。前記情報としては、検出されたジェスチャの種類であってもよい。また、手候補領域選択部５２によって選択された手候補領域に関して、ジェスチャ評価部５１によって評価された各ハンドジェスチャである確率、及び各ジェスチャが含まれるかどうかを判定する閾値であってもよい。

ここでは、図１２を用いてジェスチャ情報表示部６の実施形態の一例について説明する。図１２はジェスチャ情報表示部６を備えたメニュー画面の一例を示している。

図１２の例において、認識結果表示部６１は、手候補領域内の部分領域画像を表示する手候補領域画像表示部６２、操作者の手姿勢が検出対象である各ジェスチャとして認識されているかどうかを表示するジェスチャ検出結果表示部６３、及び手候補領域の画像が各ジェスチャである確率を表示するジェスチャ確率表示部６４によって構成される。

手候補領域画像表示部６２は、手候補領域選択部２２によって選択された手候補領域内の画像を切り出して表示する機能を有する。

ジェスチャ検出結果表示部６３は、手候補領域画像表示部６２の外枠として実装されている。ジェスチャ検出結果は、ジェスチャ検出結果表示部６３の色によって示される。すなわち、認識対象ジェスチャ毎に固有の色（例えば、カーソル移動ジェスチャが青、決定ジェスチャが赤、など）を決めておき、認識対象ジェスチャとして認識された時は、ジェスチャ検出結果表示部６３の色を認識されたジェスチャに対応する色に変化させることにより、操作者に該当するジェスチャとして認識されていることを知らせる。また、いずれのジェスチャとしても認識されなかったときは、認識されていないことを示す色（例えば、無色）に変化させることにより、認識されていないことを操作者に知らせる。

ジェスチャ確率表示部６４は、本実施形態では棒グラフとして実装されており、認識対象ジェスチャのそれぞれについて１個ずつ用意される。棒グラフは、それぞれジェスチャ評価部５１によって算出された対応するハンドジェスチャである確率を示すスコア値に基づいた長さで表示される。また、棒グラフの色は、それぞれの認識対象ジェスチャに固有の色（ジェスチャ検出結果表示部６３と同様の色）とすることにより、操作者はどのハンドジェスチャに対応する確率であるかを識別できる。

（４）効果
操作者は、手候補領域画像表示部６２に表示された画像を確認することにより、操作者の行っている手姿勢が撮像部１からどのように見えているかを知ることができる。

また、ジェスチャ検出結果表示部６３の色を確認することにより、ジェスチャ検出結果を操作者が視覚的に確認することができる。

さらに、手候補領域画像表示部６２に表示された画像をジェスチャ画像表示部４３の画像を比較したり、ジェスチャ確率表示部６４に表示された確率値を確認したりすることにより、操作者は自分が行っているハンドジェスチャが模範ジェスチャとどの程度異なっているかを確認できる。これにより、操作者はＨＧＵＩ装置が認識しやすいようにジェスチャを修正することが可能となり、操作対象装置の操作をよりスムーズに行うことができるようになる。

以上のように、第２の実施形態にかかるＨＧＵＩ装置においては、認識結果表示部６１を用いて操作者が行う手姿勢がどのように認識されているかを表示することにより、操作者は認識結果を確認しながら自分が行う手姿勢を装置に認識させやすいように変えることが可能となり、ＨＧＵＩ装置の操作性をさらに向上させることができる。

（５）変更例
（５−１）変更例１
本実施形態において、認識結果表示部６１は手候補領域画像表示部６２とジェスチャ確率表示部６４の双方を備えた構成となっているが、必ずしもこれらの双方を備えている必要はなく、いずれか一つのみを備えた場合にも上記問題点を解決することができる。すなわち、手候補領域画像表示部６２のみを備えた場合には、ここに表示されて画像がジェスチャ画像表示部４３の画像に近づくようにハンドジェスチャを修正することにより、より装置が認識しやすいハンドジェスチャを行うことが可能となる。

（５−２）変更例２
ジェスチャ確率表示部６４のみを備えた場合には、ジェスチャ確率表示部６４を確認しながら自分の行っているジェスチャを何通りかに変化させてジェスチャ確率が高くなるものを見つけることにより、より装置が認識しやすいハンドジェスチャを行うことが可能となる。

（５−３）変更例３
ジェスチャ検出結果表示部６３の機能は、ジェスチャ確率表示部６４で代替することも可能である。すなわち、図１２に示すようにグラフにおけるジェスチャ判定閾値に相当する部分に印を表示しておくことにより、操作者はグラフの長さが閾値を越えたかどうかでジェスチャとして認識されているかどうかを知ることができる。あるいは、ジェスチャ一覧表示部４１に表示された、ハンドジェスチャに対応するジェスチャ名称をハイライト表示しても良い。

（５−４）変更例４
ジェスチャ確率表示部６４は、棒グラフ以外の外観であってもよい。例えば、グラフで表示する代わりに確率値そのものを表示してもよい。

（５−５）変更例５
ジェスチャ一覧表示部４１と認識結果表示部６１は、別々の領域に表示する必要はなく、図１３に示すようにこれらの機能を融合した表示部を設けても良い。

図１３の例では、ジェスチャ検出結果表示部６３は、手候補領域画像表示部６２の周囲に配置する代わりに、ジェスチャ一覧表示部４１に表示されたジェスチャ画像表示部の周囲にジェスチャの種類毎に実装されており、これらは対応するジェスチャが認識されたときに色が変化することにより、ハンドジェスチャが認識されていることを操作者に知らせる。また、ジェスチャ確率表示部６４をジェスチャ一覧表示部４１における各ジェスチャ名称表示部の下部に配置することにより、どのジェスチャに対応した確率であるかを操作者がより判別しやすくなっている。

（５−６）変更例６
認識結果表示部６１を用いた認識結果の表示は、手振りによるハンドジェスチャに対しても行うことができる。

例えば、検出された一連の手候補領域（以下、手振り候補という）について、位置の時系列情報及び手候補領域画像によって構成される手振り候補の情報を手候補領域情報記憶部（図示しない）に記憶しておく。

ここで、手振り候補の検出方法としては、手の輪郭等に着目した公知のトラッキング手法を用いることができる。ここで検出された手振り候補の位置に関する時系列情報について、理想的な手振りの時系列情報との距離ｄを算出することにより、理想的な手振りと操作者の手振りとの違いの大きさを算出する。

距離の算出方法としては、ＤＰマッチングなどの公知の手法を用いることができる。ここで算出した距離ｄ、及び該当する手振りに対応する正規分布Ｎ（μ，ρ２）に基づき、操作者の手振りが該当する手振りである確率ｐを以下のようにして算出する。

ここで算出した確率ｐをジェスチャ確率表示部６３に表示すると共に、手振り候補の情報に含まれる一連の手候補領域画像を、ジェスチャ一覧表示部４１に表示された理想的な手振りを表わす動画と同期して手候補領域画像表示部６２に表示することにより、操作者に自分が行う手振りが装置からどのように認識されているかを知らせることができる。

本発明の第１の実施形態のＨＧＵＩ装置の構成例である。 ジェスチャ認識部２の構成例を示すブロック図である。 部分領域生成部２１が生成する部分領域を説明する図である。 対象物検出部２２における対象物検出方法について説明するための図である。 対象物検出部２２における対象物検出方法について説明するための図である。 制御部３の制御の一例について説明するための図である。 操作に用いるジェスチャの一例を示す図である。 ジェスチャ情報表示部４を備えたハンドジェスチャユーザーインターフェースの例である。 第２の実施形態のＨＧＵＩ装置の構成例である。 ジェスチャ認識部５の構成例を示すブロック図である。 ジェスチャ情報表示部６の構成例を示すブロック図である。 ジェスチャ情報表示部６を備えたハンドジェスチャユーザーインターフェースの例である。 ジェスチャ情報表示部６を備えたハンドジェスチャユーザーインターフェースの他の例である。

符号の説明

１ 撮像部
２ ジェスチャ認識部
３ 制御部
４ ジェスチャ情報表示部
５ ジェスチャ認識部
６ ジェスチャ情報表示部
２１ 部分領域生成部
２２ 対象物検出部
２３ ジェスチャ辞書格納部
３１ 矩形領域
４１ ジェスチャ一覧表示部
４２ 認識対象ジェスチャ表示部
４３ ジェスチャ画像表示部
４４ ジェスチャ名称表示部
５１ ジェスチャ評価部
５２ 手候補領域選択部
５３ ジェスチャ判定部
６１ 認識結果表示部
６２ 手候補領域画像表示部
６３ ジェスチャ検出結果表示部
６４ ジェスチャ確率表示部

Claims (9)

1. 操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェース装置において、
   前記操作者の手を含む画像を入力する画像入力部と、
   前記入力画像から認識対象として１種類以上の前記手形状又は前記手の動きを認識するジェスチャ認識部と、
   前記認識した手形状又は手の動きに対応した指示情報に基いて前記制御対象装置を制御する制御部と、
   前記ジェスチャ認識部が認識可能な手形状又は手の動きの模範的な画像を表示するジェスチャ情報表示部と、
   を備え、
   前記ジェスチャ認識部は、
   前記入力画像内の１個以上の部分領域のそれぞれについて、前記手形状又は前記手の動きが含まれる確率を算出するジェスチャ評価部と、
   前記確率が最も高い部分領域を手候補領域として選択する手候補領域選択部と、
   前記手候補領域における前記確率が閾値以上のときに前記手形状又は前記手の動きが含まれると認識するジェスチャ判定部と、
   を備え、
   前記ジェスチャ情報表示部は、前記認識した手形状又は手の動き、及び、前記確率を表示する、
   ことを特徴とするインターフェース装置。
2. 操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェース装置において、
   前記操作者の手を含む画像を入力する画像入力部と、
   前記入力画像から認識対象として１種類以上の前記手形状又は前記手の動きを認識するジェスチャ認識部と、
   前記認識した手形状又は手の動きに対応した指示情報に基いて前記制御対象装置を制御する制御部と、
   前記ジェスチャ認識部が認識可能な手形状又は手の動きの模範的な画像を表示するジェスチャ情報表示部と、
   を備え、
   前記ジェスチャ認識部は、
   前記入力画像内の１個以上の部分領域のそれぞれについて、前記手形状又は前記手の動きが含まれる確率を算出するジェスチャ評価部と、
   前記確率が最も高い部分領域を手候補領域として選択する手候補領域選択部と、
   前記手候補領域における前記確率が閾値以上のときに前記手形状又は前記手の動きが含まれると認識するジェスチャ判定部と、
   を備え、
   前記ジェスチャ情報表示部は、前記手候補領域の画像を表示する、
   ことを特徴とするインターフェース装置。
3. 操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェース装置において、
   前記操作者の手を含む画像を入力する画像入力部と、
   前記入力画像から認識対象として１種類以上の前記手形状又は前記手の動きを認識するジェスチャ認識部と、
   前記認識した手形状又は手の動きに対応した指示情報に基いて前記制御対象装置を制御する制御部と、
   前記ジェスチャ認識部が認識可能な手形状又は手の動きの模範的な画像を表示するジェスチャ情報表示部と、
   を備え、
   前記ジェスチャ認識部は、
   前記入力画像内の１個以上の部分領域のそれぞれについて、前記手形状又は前記手の動きが含まれる確率を算出するジェスチャ評価部と、
   前記確率が最も高い部分領域を手候補領域として選択する手候補領域選択部と、
   前記手候補領域における前記確率が閾値以上のときに前記手形状又は前記手の動きが含まれると認識するジェスチャ判定部と、
   を備え、
   前記ジェスチャ情報表示部は、前記認識した手形状又は手の動き、前記確率、及び、前記手候補領域の画像を表示する、
   ことを特徴とするインターフェース装置。
4. 操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェース方法において、
   前記操作者の手を含む画像を入力する画像入力ステップと、
   前記入力画像から認識対象として１種類以上の前記手形状又は前記手の動きを認識するジェスチャ認識ステップと、
   前記認識した手形状又は手の動きに対応した指示情報に基いて前記制御対象装置を制御する制御ステップと、
   前記ジェスチャ認識ステップにおいて認識可能な手形状又は手の動きの模範的な画像をジェスチャ情報表示部に表示するジェスチャ情報表示ステップと、
   を備え、
   前記ジェスチャ認識ステップは、
   前記入力画像内の１個以上の部分領域のそれぞれについて、前記手形状又は前記手の動きが含まれる確率を算出するジェスチャ評価ステップと、
   前記確率が最も高い部分領域を手候補領域として選択する手候補領域選択ステップと、
   前記手候補領域における前記確率が閾値以上のときに前記手形状又は前記手の動きが含まれると認識するジェスチャ判定ステップと、
   を備え、
   前記ジェスチャ情報表示ステップは、前記認識した手形状又は手の動き、及び、前記確率を前記ジェスチャ情報表示部に表示する、
   ことを特徴とするインターフェース方法。
5. 操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェース方法において、
   前記操作者の手を含む画像を入力する画像入力ステップと、
   前記入力画像から認識対象として１種類以上の前記手形状又は前記手の動きを認識するジェスチャ認識ステップと、
   前記認識した手形状又は手の動きに対応した指示情報に基いて前記制御対象装置を制御する制御ステップと、
   前記ジェスチャ認識ステップにおいて認識可能な手形状又は手の動きの模範的な画像をジェスチャ情報表示部に表示するジェスチャ情報表示ステップと、
   を備え、
   前記ジェスチャ認識ステップは、
   前記入力画像内の１個以上の部分領域のそれぞれについて、前記手形状又は前記手の動きが含まれる確率を算出するジェスチャ評価ステップと、
   前記確率が最も高い部分領域を手候補領域として選択する手候補領域選択ステップと、
   前記手候補領域における前記確率が閾値以上のときに前記手形状又は前記手の動きが含まれると認識するジェスチャ判定ステップと、
   を備え、
   前記ジェスチャ情報表示ステップは、前記手候補領域の画像を前記ジェスチャ情報表示部に表示する、
   ことを特徴とするインターフェース方法。
6. 操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェース方法において、
   前記操作者の手を含む画像を入力する画像入力ステップと、
   前記入力画像から認識対象として１種類以上の前記手形状又は前記手の動きを認識するジェスチャ認識ステップと、
   前記認識した手形状又は手の動きに対応した指示情報に基いて前記制御対象装置を制御する制御ステップと、
   前記ジェスチャ認識ステップにおいて認識可能な手形状又は手の動きの模範的な画像をジェスチャ情報表示部に表示するジェスチャ情報表示ステップと、
   を備え、
   前記ジェスチャ認識ステップは、
   前記入力画像内の１個以上の部分領域のそれぞれについて、前記手形状又は前記手の動きが含まれる確率を算出するジェスチャ評価ステップと、
   前記確率が最も高い部分領域を手候補領域として選択する手候補領域選択ステップと、
   前記手候補領域における前記確率が閾値以上のときに前記手形状又は前記手の動きが含まれると認識するジェスチャ判定ステップと、
   を備え、
   前記ジェスチャ情報表示ステップは、前記認識した手形状又は手の動き、前記確率、及び、前記手候補領域の画像を前記ジェスチャ情報表示部に表示する、
   ことを特徴とするインターフェース方法。
7. 操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェースプログラムにおいて、
   コンピュータに、
   前記操作者の手を含む画像を入力する画像入力機能と、
   前記入力画像から認識対象として１種類以上の前記手形状又は前記手の動きを認識するジェスチャ認識機能と、
   前記認識した手形状又は手の動きに対応した指示情報に基いて前記制御対象装置を制御する制御機能と、
   前記ジェスチャ認識機能において認識可能な手形状又は手の動きの模範的な画像をジェスチャ情報表示部に表示するジェスチャ情報表示機能と、
   を実現させるためのインターフェースプログラムであり、
   前記ジェスチャ認識機能は、
   前記入力画像内の１個以上の部分領域のそれぞれについて、前記手形状又は前記手の動きが含まれる確率を算出するジェスチャ評価機能と、
   前記確率が最も高い部分領域を手候補領域として選択する手候補領域選択機能と、
   前記手候補領域における前記確率が閾値以上のときに前記手形状又は前記手の動きが含まれると認識するジェスチャ判定機能と、
   を実現させ、
   前記ジェスチャ情報表示機能は、前記認識した手形状又は手の動き、及び、前記確率を前記ジェスチャ情報表示部に表示する、
   ことを特徴とするインターフェースプログラム。
8. 操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェースプログラムにおいて、
   コンピュータに、
   前記操作者の手を含む画像を入力する画像入力機能と、
   前記入力画像から認識対象として１種類以上の前記手形状又は前記手の動きを認識するジェスチャ認識機能と、
   前記認識した手形状又は手の動きに対応した指示情報に基いて前記制御対象装置を制御する制御機能と、
   前記ジェスチャ認識機能において認識可能な手形状又は手の動きの模範的な画像をジェスチャ情報表示部に表示するジェスチャ情報表示機能と、
   を実現させるためのインターフェースプログラムであり、
   前記ジェスチャ認識機能は、
   前記入力画像内の１個以上の部分領域のそれぞれについて、前記手形状又は前記手の動きが含まれる確率を算出するジェスチャ評価機能と、
   前記確率が最も高い部分領域を手候補領域として選択する手候補領域選択機能と、
   前記手候補領域における前記確率が閾値以上のときに前記手形状又は前記手の動きが含まれると認識するジェスチャ判定機能と、
   を実現させ、
   前記ジェスチャ情報表示機能は、前記手候補領域の画像を前記ジェスチャ情報表示部に表示する、
   ことを特徴とするインターフェースプログラム。
9. 操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェースプログラムにおいて、
   コンピュータに、
   前記操作者の手を含む画像を入力する画像入力機能と、
   前記入力画像から認識対象として１種類以上の前記手形状又は前記手の動きを認識するジェスチャ認識機能と、
   前記認識した手形状又は手の動きに対応した指示情報に基いて前記制御対象装置を制御する制御機能と、
   前記ジェスチャ認識機能において認識可能な手形状又は手の動きの模範的な画像をジェスチャ情報表示部に表示するジェスチャ情報表示機能と、
   を実現させるためのインターフェースプログラムであり、
   前記ジェスチャ認識機能は、
   前記入力画像内の１個以上の部分領域のそれぞれについて、前記手形状又は前記手の動きが含まれる確率を算出するジェスチャ評価機能と、
   前記確率が最も高い部分領域を手候補領域として選択する手候補領域選択機能と、
   前記手候補領域における前記確率が閾値以上のときに前記手形状又は前記手の動きが含まれると認識するジェスチャ判定機能と、
   を実現させ、
   前記ジェスチャ情報表示機能は、前記認識した手形状又は手の動き、前記確率、及び、前記手候補領域の画像を前記ジェスチャ情報表示部に表示する、
   ことを特徴とするインターフェースプログラム。

Images