JP6103875B2 - ハンドジェスチャ認識装置及びその制御方法 - Google Patents

Description

本発明は操作者のハンドジェスチャを認識し、該当する処理を行う技術に関するものである。

近年、３次元の多種多様なセンシング技術が開発され、操作者の手の動きを指示操作として認識し、情報操作を行う装置が開発されている。ＴＶ等の家電にその技術を利用すると、リモコン無しに離れた所から操作を行うことが実現できる。

ただし、多くの家庭では、複数人が存在するし、狭い空間であれば隣り合って座って居る場合も多い。係る点に鑑み、複数人の空間ジェスチャを取り扱う技術を開示したものとして以下に示す文献がある。

特許文献１のジェスチャ認識方法では、複数の被写体を全方位視覚センサにより撮像し、当該撮像の結果を画像処理装置において人物範囲内を３×３に等分割する。そして、各々の被写体を含む画像に分割し、当該分割した画像から時間差分画像を取得するステップに引き渡すことで認識を行っている。

特許第３７８４４７４号公報

しかし、特許文献１のジェスチャ認識方法では、各ユーザが隣り合っている場合など、ジェスチャの手の動きが隣に干渉する状況において、認識が困難になる場合があった。

本発明は係る問題に鑑みなされたものであり、複数のユーザが存在したとしても、それぞれのユーザのハンドジェスチャを高い精度で認識する技術を提供しようとするものである。

この課題を解決するため、例えば本発明のハンドジェスチャ認識装置は以下の構成を備える。すなわち、
撮像手段で時系列に撮像された画像中の、少なくとも１人のユーザの顔領域を検出する顔検出手段と、
前記顔検出手段で検出された顔領域それぞれに対し、予め定義された顔領域との相対的位置情報が示す前記画像中の領域を、該顔領域に対応するユーザが行うハンドジェスチャを検出するための検出領域として決定する決定手段と、
前記撮像手段で時系列に撮像された画像のうち、前記決定手段によって決定される１以上の検出領域内で検出されるユーザの手の移動軌跡に基づいて、前記ユーザが行うハンドジェスチャを認識する認識手段と、
前記撮像手段で時系列に撮像された画像のうち、前記決定手段によって決定される１以上の検出領域内で検出されるユーザの手の時系列の画像を保持する保持手段と、
前記保持手段に保持されている、前記撮像手段で時系列に撮像された画像のうち前記検出領域内で検出される前記ユーザの手の画像のうち、前記検出領域の外部から前記検出領域の内部に侵入することが検出された手の画像を、前記保持手段から削除する削除手段とを備え、
前記認識手段は、前記検出領域内から検出される前記ユーザの手の画像の移動軌跡のうち、前記検出領域の外部から内部に侵入する移動の軌跡は、前記ハンドジェスチャを認識する処理の対象とせず、
前記認識手段は、前記保持手段に保持されている前記ユーザの手の時系列の画像に基づいて、前記移動軌跡を認識し、
前記認識手段は、前記削除手段による削除処理の結果、前記保持手段に保持されている前記ユーザの手の時系列の画像に基づいて、前記移動軌跡を認識することを特徴とする。

本発明によれば、複数のユーザが存在したとしても、それぞれのユーザのハンドジェスチャを高い精度で認識することが可能になる。

実施形態における使用形態を表す図。 実施形態における情報機器のブロック図。 実施形態例の処理構成図。 検出した顔領域とハンドジェスチャのハンドジェスチャ開始領域を表す図。 ハンドジェスチャとハンドジェスチャ開始領域の関係を表した概念図。 ハンドジェスチャ開始領域決定処理のフローチャート。 ハンドジェスチャ開始領域調整処理のフローチャート。 ジェスチャデータを選別する処理のフローチャート。 ハンドジェスチャ開始領域調整処理時の調整前と調整後を表わした概念図。 第２の実施形態の処理構成図。 第２の実施形態の表示例を示す図。 ハンドジェスチャ開始領域表示処理のフローチャート。 第３の実施形態の処理構成図。 第３の実施形態の処理内容を示す図。 ハンドジェスチャ画像検出補正処理のフローチャート。 補間処理のフローチャートである。 画像削除と補間処理を説明するための図。 画像削除と補間処理を説明するための図。 画像削除と補間処理を説明するための図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
図１は実施形態の装置の使用形態を表している。図中、１は、撮像手段としてのカメラ部でありＴＶ画面の上に設置され、時系列（予め設定されたフレームレート）に撮像した画像中のユーザの動きを捕える事ができる。２は本実施形態のデバイスが組み込まれているＴＶである。ユーザが行うハンドジェスチャをカメラ部で撮影し、その手の動きをコマンドとして認識し、ＴＶのリモコン代わりに、チャンネルを変えたり、２画面にしたり操作を行う。３と４はソファに座っているユーザを表している。本実施形態では、２人のユーザが座った状態で、ＴＶ２をハンドジェスチャで操作する例を表している。

図２は本発明実施形態の情報処理機器のブロック図である。本装置は、表示部５、カメラ部６、ハードディスク、ＣＰＵ８、ＲＡＭ９、ＲＯＭ１０、及び、それらを接続するバス１１を有する。なお、実施形態における装置は、ユーザのハンドジェスチャの検出とその処理内容に特徴があるので、図示では、ＴＶ２として機能するための回路（例えばチューナ等の回路）は示していない。

表示部５は、一般的な表示部で、液晶表示素子、液晶制御回路、表示メモリから構成され、システムバス１１経由でＣＰＵ８に接続している。そして。ＣＰＵ８からの指示で、画像の表示や文字の表示が実行される。この表示部５はデジタルに制御可能な一般的な表示装置で構わない。

カメラ部６は、一般的なものでよく、CCD等のセンサ、レンズ、撮影画像メモリから構成され、システムバス１１経由でＣＰＵ８に接続している。そして、ＣＰＵ８からの指示で、レンズをズームしたり、画像を撮影したり、撮影された画像をＲＡＭ９に転送したりする。

ハードディスク７は、TV番組等の録画データを記録するためのものである。ＣＰＵ８は、システムバス１１を介して、ＲＡＭ９、ＲＯＭ１０、ハードディスク７等と接続されていて、ＲＯＭ１０に記憶されているプログラムによって処理動作を行う。ＲＡＭ９は、ＣＰＵ８のワークエリアとして使われる。

図３は、本実施形態の装置の機能構成図である。個々の機能は、幾つかのハードウェア資源とＣＰＵ８が実行するプログラムによって実現するものである。

ハンドジェスチャ画像記録部１２は、カメラ部６と、そのカメラ部６を使った処理プログラムで構成されている。このハンドジェスチャ画像記録部１２は、複数ユーザのハンドジェスチャ画像を検出し、そのハンドジェスチャ画像をハンドジェスチャ画像制御部１４に送る。

ハンドジェスチャ開始領域決定部１３は、カメラ部６で撮影した画像内から顔の画像を検出し、顔の画像の位置を基に、各ユーザ毎に、ハンドジェスチャ開始領域（検出領域）を決定する処理を行う。この処理を、検出したユーザの人数分を行う。ハンドジェスチャ開始領域が複数存在し、各ハンドジェスチャ開始領域が隣接する場合、隣接するハンドジェスチャ開始領域の位置を基にハンドジェスチャ開始領域のサイズを調整する処理を行う。そして、決定したハンドジェスチャ開始領域情報を、ハンドジェスチャ画像制御部１４に送る。以下、注目するハンドジェスチャ開始領域においてジェスチャを認識する対象となるユーザをターゲットと呼ぶ。

ハンドジェスチャ画像制御部１４は、着目する検出領域内で検出した手の移動を記録した画像の中から、その領域外からその領域の内側に入って、出て行った手の画像を取り除く処理を行う。各ユーザは、各ハンドジェスチャ開始領域内で、ハンドジェスチャ操作を行う。ハンドジェスチャ画像制御部１４は、当該領域の対象ではないユーザの手の動きや、外乱光等によるノイズ画像を取り除く処理を行う。ハンドジェスチャ画像制御部１４は、着目検出領域に対し、その外から着目検出領域内に入った画像（その後、領域外に出たかは問わない）を判別する削除画像判定部１４ａと、判別された画像を削除する指定画像削除部１４ｂで構成される。処理の詳細はフローチャートに沿って後述する。

ハンドジェスチャ認識部１５は、撮影された手の動きから特徴量を抽出し、ハンドジェスチャ辞書の特徴量とマッチングを行い、一番近いハンドジェスチャコマンドを認識結果として出力する。例えば、手を回転させる動作をジェスチャ辞書に、TVの音量を変えるジェスチャコマンドとして登録しておく。例えば、右回転を認識した場合には音量を大きくし、左回転を認識した場合には音量を小さくする。また、例えば手の上下の動きをジェスチャコマンドとして登録し、手の上昇の動作でTVのチャンネルの番号を加算し、手の下降の動作でTVのチャンネルの番号を減算する。この様にジェスチャ辞書にジェスチャコマンドを登録する事により、手の操作でTVを操作する機器を実現する。そして、ハンドジェスチャ認識部１５は、認識されたハンドジェスチャに応じた制御処理（チャネル変更、ボリューム変更等）を行うが、この処理そのものは制御対象装置に依存する。本実施形態では、制御対象装置はＴＶであるものとして説明を続けるが、これに限らない。

図４は、検出した顔領域と、それに応じたハンドジェスチャのハンドジェスチャ開始領域を表した概念図である。図中の符号１６がユーザＡとして検出した矩形の顔領域である。符号１７は、ユーザＢとして検出した矩形の顔領域である。符号１８は、ユーザＡの顔領域１６を基に設定したハンドジェスチャのハンドジェスチャ開始領域（ユーザＡのジェスチャの検出領域）である。符号１９は、ユーザＢの顔領域１７を基に設定したハンドジェスチャのハンドジェスチャ開始領域（ユーザＢのジェスチャの検出領域）である。

図５(A)は、ハンドジェスチャとハンドジェスチャ開始領域の関係を表した概念図である。図４と同じ符号は同じ意味である。すなわち、符号１８はユーザＡのハンドジェスチャのハンドジェスチャ開始領域であり、１９はユーザＢのハンドジェスチャのハンドジェスチャ開始領域である。２０は、カメラの全画像領域を表している。２１は、ユーザAのハンドジェスチャの開始位置を表している、２２は、ユーザＡのハンドジェスチャの終了位置を表している。２３は、ユーザＢの無意識の手の動きの開始点で、２４は、ユーザＢの無意識の手の動きの終了点を表している。この様に複数人が隣接していると、隣の人の手の動きが邪魔をする場合がある。

図５(B)は、ハンドジェスチャとハンドジェスチャ開始領域の関係を表した概念図である。図５(A) から、ユーザＡのハンドジェスチャ開始領域のみに注目した時の概念図である。

図５(C)は、図５(B)の状態からハンドジェスチャ開始領域外からのハンドジェスチャ画像データ削除した後の概念図である。図５(B)で表した、２３〜２４の、ユーザＢの手の動きは、ハンドジェスチャ開始領域外から侵入しているので、そのデータを、図３の処理部１４で削除し、この様に２１〜２２のユーザＡのハンドジェスチャの動きのみの画像データにする。

図６は、ハンドジェスチャ開始領域決定処理のフローチャートである。

ステップS6-1において、装置が起動されたことに応じて、ワーク領域等の確保と初期化が行われ、ハンドジェスチャ開始領域決定処理が開始される。

ステップS6-2において、ハンドジェスチャ開始領域決定部１３は、カメラ画像から少なくとも一人のユーザの顔検出を行う。まず、図４で表したような画像がカメラ部６で、撮影される。撮影された画像から肌色で、ある大きさ以上の楕円形の領域を抽出すれば、顔の候補領域は検出できる。検出した領域から画像特徴量を抽出し、顔辞書とマッチングを取ればより確からしい顔領域を検出できる。図４の符号１６，１７のような顔領域が検出される。検出した顔領域の矩形情報をステップS6-3に渡す。

ステップS6-3において、ハンドジェスチャ開始領域決定部１３が、顔の矩形領域位置と大きさ情報とそれぞれの顔の矩形領域位置とサイズから、予め設定された相対的位置に各ハンドジェスチャ開始領域を決定する。図４の例だと、顔領域１６の位置からハンドジェスチャ開始領域１８が決定される。例えば、顔の領域から顔の高さ２個分下で、縦が顔の高さと同一、横が顔の横の１．５倍等に決定する。この値は、例であり、実際のハンドジェスチャの動きを複数人サンプリングして決定する様にする。また、学習処理等をいれ、誤認識が多ければ自動的に補正する様にしても良い。

ステップS6-4において、ハンドジェスチャ開始領域決定部１３が、各ハンドジェスチャ開始領域をX軸でソートする処理を行う。図４の例だと、顔領域１７を検出した後に、顔領域１６を検出した場合、ユーザＢの人の後に、ユーザＡの人が来た場合でも、ハンドジェスチャ開始領域の矩形をＸ軸でソートする事により、同じ順番で処理を行える。

ステップS6-5において、ハンドジェスチャ開始領域決定部１３が、１ハンドジェスチャ開始領域のデータを読み込む処理を行う。例えば、図４の例と、顔領域１６のデータを読み込む。次にまたこのステップに来る場合は、顔領域１７のデータを読み込む。

ステップS6-6において、ハンドジェスチャ開始領域決定部１３が、ハンドジェスチャ開始領域の調整処理を行う。詳細は、図７のフローチャートで説明する。例えば、図９で表した様に、顔の位置で設定したハンドジェスチャ開始領域２３と２４のハンドジェスチャ開始領域が一部重なっている。それを調整する事により、領域２５，２６のように分離した位置に設定する様にする。初めから離れた位置であれば、調整する必要はないので、この処理はスキップされる。

ステップS6-7において、ハンドジェスチャ開始領域決定部１３が、全ハンドジェスチャ開始領域の処理が終わったかをチェックする。顔検出したユーザが２人いれば、２つのハンドジェスチャ開始領域をチェックし、３人いれば、３つのハンドジェスチャ開始領域をチェックする。

ステップS6-8において、ハンドジェスチャ開始領域決定処理は終了する。ハンドジェスチャ開始領域決定部１３が、決定したハンドジェスチャ開始領域の情報をハンドジェスチャ画像制御部１４に送る。

図７は、ハンドジェスチャ開始領域調整処理のフローチャートである。この処理は、先に説明したステップS6−6の詳細な処理の説明を表している。

ステップS7-1において、ハンドジェスチャ開始領域決定部１３が、ハンドジェスチャ開始領域調整処理を開始する。

ステップS7-2において、ハンドジェスチャ開始領域決定部１３が、ターゲットのハンドジェスチャ画像のハンドジェスチャ開始領域をセットする。図９の例であれば、矩形領域２３の座標値Xmin、Xmax、Ymin、Ymaxがセットされる。
ステップS7-3において、ハンドジェスチャ開始領域決定部１３が、隣接するハンドジェスチャ開始領域をセットする。図９の例であれば、矩形領域２４の座標をセットする。この実施形態の説明では、２個のハンドジェスチャ開始領域が対象であるが、３個の場合であれば、真ん中のデータを調整する場合は、左隣、右隣の隣接するデータをセットして調整する。ここでは、RXmin、RXmax、RYmin、RYmaxがセットされる。

ステップS7-4において、Xmax＞RXminでXmax＜RXmaxであるかがチェックされ、条件に合致すればステップS7-5に進み、そうでなければステップS7-7に進む。図９の例であれば、領域２３は、その右側が隣接しているので、ステップS7-5に進み、右側の枠を修正する。
隣接するハンドジェスチャ開始領域がX軸方向に重なる場合、その重なりの値をDXで表す。

ステップS7-5において、ハンドジェスチャ開始領域決定部１３が、領域の横幅DXの設定を行う。ここではDX=RXmin-Xmaxとする。ステップS7-6において、新たなXmaxの値を設定する。Xmax=Xmax-DXとする。

ステップS7-7において、Xmin＜RXmaxでXmin＞RXminであるかがチェックされる。条件に合致すればステップS7-8に進み、そうでなければステップS7-10に進み処理を終わる。図９の例であれば、領域２４は、左側が隣接しているので、ステップS7-8に進み、左側の枠を修正する。

ステップS7-8において、ハンドジェスチャ開始領域決定部１３が、域の横幅DXの設定を行う。DX=RXmin-Xminとする。ステップS7-9において、新たなXminの値を設定する。Xmin=Xmin+DXとする。このフローチャートでは横の調整処理を説明したが、場合によっては、縦の調整処理が発生する場合があるが、それはＸをＹに置き換えた調整処理になる。

ステップS7-10において、ハンドジェスチャ開始領域調整処理を終了する。

図８は、ハンドジェスチャ開始領域を基にジェスチャデータを選別する処理のフローチャートである。

ステップS8-1において、ハンドジェスチャ画像制御部１４が、ハンドジェスチャ開始領域を基にジェスチャデータを選別する処理を開始する。

前記のフローチャートで、ハンドジェスチャ開始領域は設定されており、ハンドジェスチャの手の画像データを、カメラ部６により取得されている状態でこの処理が呼ばれる。

ステップS8-2において、削除画像判定部１４ａが、ハンドジェスチャ開始領域内画像データを時系列順にバッファ領域に読み込む処理を行う。図５(B)の例であれば、手の画像２１から２２と、手の画像２３から２４までの間の、領域１８内の手の画像データが読み込まれる。

ステップS8-3において、削除画像判定部１４ａが、ハンドジェスチャ開始領域に対し、その領域を外から中へ横切った手の画像データを検出する。図５(B)の例であれば、手の画像２１から２２は領域１８内で完結しているのでそのままである。一方、手の画像２３から２４は、ハンドジェスチャ開始領域の境界領域を外から中へ横切っているので、この手の画像２３〜２４のデータが検出される。

ステップS8-4において、指定画像削除部１４ｂが、前ステップで、検出した手の画像データをバッファから削除する。図５(B)の例では、検出した画像を削除し、図５(C)の状態にする。

ステップS8-5において、ハンドジェスチャ認識手段１５が、バッファ内の時系列記憶画像データから一定時間経過しても動きの無い手の画像を検出する。そして、一定時間以上経過した後に動いて停止するまでの手の動きの一連の動作を一アクションとして、認識する処理を行う。図５(C)の例であれば、手の画像２１がその位置で一定時間停止して、そこから右へ移動、すこしして上へ移動して、手の画像２２の位置で停止している。

ステップS8-6において、ハンドジェスチャ認識手段１５が、検出した停止画像から時系列の手の中心座標の移動軌跡を抽出する。ステップS8-7において、ハンドジェスチャ認識手段１５が、軌跡データから特徴量を抽出する。例えば手の画像２１から２２の軌跡を１０等分し、方向ベクトル化する。本実施形態では、方向ベクトル化は、通常方向角度360度を8等分または16等分してベクトル化する。

ステップS8-8において、ハンドジェスチャ認識手段１５は、辞書の特徴量とマッチング処理を行い、ジェスチャコードを決定する処理を行う。入力データが“Ｌ”のような形で、辞書に“Ｌ”“１”の方向ベクトルデータが記憶されていれば、“Ｌ”のジェスチャコードに決定する。

ステップS8-9において、この処理を終了する。

図９は、ハンドジェスチャ開始領域調整処理時の調整前と調整後を表わした概念図である。この様に、本実施形態の処理を行うことにより、ユーザ毎にハンドジェスチャ開始領域を決定できる。各ハンドジェスチャ開始領域において、その領域の外から入って出て行く手の画像は除外してジェスチャの認識を行うため、隣り合った２人がハンドジェスチャを行っても誤認識せずに快適にTVをコントロールする様な機器を実現できる。

［第２の実施形態］
第２実施形態では、ハンドジェスチャ開始領域の領域をユーザに知らせ、ハンドジェスチャ開始領域内に手を検出した場合、ハンドジェスチャの認識が開始可能であることをユーザに明示する機構を説明する。第１実施形態では、内部処理により、ハンドジェスチャの領域を設定し、誤認識を防ぐ処理を説明した。第２の実施形態では、設定された領域をユーザに明示する事により、ユーザがジェスチャを行う位置を調整可能とし、よりわかり易く、精度の高いユーザインタフェースを提供することができる。

本第２の実施形態では、第１実施形態の構成に、ハンドジェスチャ開始領域状態表示部２７を追加する事により、ハンドジェスチャ開始領域をユーザに知らせる事を実現する。

図１０は、第２の実施形態の装置の機能構成図である。第１実施形態と同じ参照番号は同じ構成要素であるものとし、その説明は省略する。ハンドジェスチャ開始領域状態表示部２７は、ハンドジェスチャ開始領域決定部１３が決定したハンドジェスチャ開始領域をユーザに明示するため、図１のＴＶ２の画面上にハンドジェスチャ開始領域を表わす領域情報を表示する。

図１１は、第２実施形態の表示例である。TVの画面が２画面表示になっており領域２８にユーザＡが見ているチャンネルＡの番組が表示され、領域２９にユーザＢが見ているチャンネルＢの番組が表示されている。領域３０はユーザＡのハンドジェスチャ開始領域を示し、領域３１がユーザＢのハンドジェスチャ開始領域を示す。本実施形態でも、検出領域内で手が所定時間以上停止しているのを検出すると、ハンドジェスチャの認識処理に移行する。その際、領域３０のように所定のマーク（図示では手の画像）をその枠内に表示して、現在の手の位置でジェスチャの認識が可能であることをユーザに通知する。この例では、番組の画像とハンドジェスチャ開始領域を別の位置に示したが、当然オーバレイで画像内の一部に表示する構成でも良い。又、TVの画面の額縁部分にLEDを設け、ハンドジェスチャ認識開始をLEDの点滅で知らせるようにしても良い。多色のLEDで、認識開始、認識中、認識終了を知らせるようにしても良い。

図１２は、ハンドジェスチャ開始領域の領域表示処理のフローチャートである。

ステップS12-1において、ハンドジェスチャ開始領域状態表示部２７が、ハンドジェスチャ開始領域の領域表示処理を開始する。

ステップS12-2において、ハンドジェスチャ開始領域調整処理で、ハンドジェスチャ開始領域決定部１３が決定したハンドジェスチャ開始領域情報を読み込む。ステップS12-3において、ハンドジェスチャ開始領域状態表示部２７は、カメラ部６の情報からユーザ位置を推定する。カメラの情報から撮影距離と顔の大きさとの情報からユーザの現在の位置は推定できる。ステップS12-4において、ハンドジェスチャ開始領域状態表示部２７は、ユーザ位置の情報に応じた大きさを決定し、画面上に、相当する枠を表示する。その枠が、ハンドジェスチャ開始領域をユーザに示すガイドとなり、ユーザはガイド枠を見ることによりどの位置に手を持っていけばジェスチャ認識が行われるかが明確になる。

ステップS12-5において、ハンドジェスチャ開始領域状態表示部２７は、全ハンドジェスチャ開始領域ガイド表示処理が終了したかのチェックを行う。図１１の例であれば、２つのガイド枠を表示すれば処理は終了する。もし３人で見ていれば３つのガイド枠を表示するまで、上記の処理を繰り返す。

ステップS12-6において、カメラ部６により、ハンドジェスチャ開始領域の現在画像を読み込む処理を行う。

ステップS12-7において、ハンドジェスチャ開始領域状態表示部２７は、領域内に手があるかのチェックを行う。肌色の手の大きさ状の領域を検出したら、ステップS12-8に進み、そうでなければ、ステップS12-9に進む。本実施形態では、手の大きさ状の肌色領域を検出したら、手の形状が登録された画像辞書とマッチング処理を行って、確からしさが高い場合に手であると判定するため、手の誤認識は防げる。

ステップS12-8において、ハンドジェスチャ開始領域状態表示部２７が、手の表示をハンドジェスチャ開始領域ガイド表示内に表示する。カメラで撮影して検出した、肌色の画素を切り出して、それを表示する様にしてもいい。

この処理が、ハンドジェスチャスキャン開始領域内にユーザの手が存在する時に明示する部の処理である。

ステップS12-9において、ハンドジェスチャ開始領域状態表示部２７は、全ハンドジェスチャ開始領域内の手のチェックが終了したかをチェックする。すべてのチェックが終了していれば、ステップS12-10に進み、そうでなければ、ステップS12-6に進む。図１１の例であれば、２つのハンドジェスチャ開始領域内の手のチェックが終了したらこのステップは終了する。ステップS12-10において、このハンドジェスチャ開始領域の領域表示処理を終了する。

この様に処理を行う事により、ハンドジェスチャ開始領域の領域をユーザに知らせ、使い易い機械を実現できる。

以上、本発明の実施形態の一例について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

［第３の実施形態］
第３実施形態では、ハンドジェスチャ対象の手と他の手の重なりを検出し、他の手との重なりによる画像消失部分を補正する。

第１実施形態では、ユーザ毎にハンドジェスチャの領域を設定し、異なるユーザのジェスチャと混同する誤認識を防ぐ処理を説明した。その際、ターゲットのハンドジェスチャと削除するハンドジェスチャが重なる場合が存在する。カメラから見て削除するハンドジェスチャが上にあり、ターゲットのハンドジェスチャ下にある場合がある。このとき、ターゲットのジェスチャは上で行われたジェスチャに隠されて、カメラに撮像されないため、上のハンドジェスチャ画像を削除すると、空白部分が存在し、下のハンドジェスチャ画像の流れは分断される。分断された画像をそのまま認識させると、正常の画像と異なるため、認識できないか異なる認識結果を出力する。例えば“Ｌ”のような動きだとしても真ん中で分断されると、”｜““＿”の２つのジェスチャになる。その削除による空白部分を検出し、補正する事により、分断されたハンドジェスチャ画像の移動画像を再現し、認識させる。”｜““＿”を補正して“Ｌ”にする訳である。

第１実施形態の構成に、重なり検出部３２と、ハンドジェスチャ画像補正部３３を追加する事により、重なりによる分断画像でも正しく認識できる機器を実現する。

図１３は、第３実施形態の処理構成図である。第１の実施形態と同じ参照符号は同一のものを指すものとし、その説明は省略する。

重なり検出部３２は、枠外から侵入したハンドジェスチャと、ターゲットのハンドジェスチャと、領域外から侵入した異なるユーザの手によるハンドジェスチャとが交差して、ターゲットが下になったことを検出する。そして、検出時の、領域内でのジェスチャの位置情報（削除される画像領域との境界接点）を、ハンドジェスチャ画像補正部３３に送る。ハンドジェスチャ画像補正部３３は、削除画像領域との境界接点の４点を基に、隣の人の手によって消失したハンドジェスチャ画像を補正する。消失したハンドジェスチャ画像の補正により、２つに分かれたハンドジェスチャ画像は接続され、一連の画像になる。

図１４は、第３実施形態の処理表示イメージ図である。図１４(A)は、２つのジェスチャの重なり合った状態の画面例である。図１４(A)のハンドジェスチャの開始領域１８がターゲットハンドジェスチャの検出を行う領域であり、ハンドジェスチャ開始領域１９が、隣にいるユーザのハンドジェスチャを検出する領域である。

図１４(B)は、第１の実施形態の処理を実行し、領域外からのハンドジェスチャ画像を削除した後の状態の画面例である。ここで、ターゲットの手が、隣のユーザの手に隠されて撮像されない部分があったため、検出対象のユーザのハンドジェスチャ画像は、２つに分断されている。

図１４(C)は、第３の実施形態の処理により、分断されていたハンドジェスチャ画像を補正した後の画面例である。

図１７は、図１４(A)の画面を拡大した表示例である。手の移動する領域を、手の幅の領域で表している。図示の領域３５、３６が、ターゲットハンドジェスチャの手が移動した領域である。領域３４は、隣の人の手が移動した領域である。領域３５と３６は同じ手が移動した画像であるが、領域３４の手のよって分断されている。

図１８は、図１７から領域３４の隣の人の手の画像を削除した後の画面例である。点３７、３７、３９、４０の４点が、削除画像領域との境界接点である。領域３５が開始位置からの領域であり、領域３６が終了位置側の領域である。点４１は、点３７の位置に手が存在した以前に手が存在した時の位置である。例えば、カメラの撮影単位が、１秒間に３０コマ撮影する物であれば、１/３０秒前の位置である。点４１と３７を結んだ延長線上に次の手の画像が推定される。

点４２は、点３８の位置に手が存在した以前に手が存在した時の位置である。点４３は、点３９の位置に手が存在した後に手が存在した時の位置である。点４４は、点４０の位置に手が存在した後に手が存在した時の位置である。

図１５は、削除ハンドジェスチャ画像下のハンドジェスチャ画像検出処理のフローチャートである。第１の実施形態で説明した処理により、領域外からのハンドジェスチャ画像を削除した後でこの処理が呼ばれる。図１６は、空白部分を補間する処理のフローチャートである。

ステップS15-1において、重なり検出部３２が、削除ハンドジェスチャ画像下のハンドジェスチャ画像検出処理を開始する。ワーク領域等を確保し、初期化を行う。第１の実施形態で説明した領域外からのハンドジェスチャ画像の削除後にその削除領域の情報がもたらされる。

ステップS15-2において、重なり検出部３２が、指定画像削除部１４ｂから、削除ハンドジェスチャ画像の領域情報を読み込む処理を行う。手の移動画像領域なので、ある幅を持った軌跡と考えれば良い。図５の例だと、開始点２３から終了点２４へ移動した手の移動軌跡で表された領域の情報が、ＸＹ座標点列で渡される。

ステップS15-3において、重なり検出部３２が、ターゲットハンドジェスチャ始点画像から終点までの移動軌跡と削除ハンドジェスチャ画像の領域との接点を求める。ターゲットハンドジェスチャと、削除ハンドジェスチャ画像が交差している場合は、接点があるので、そこを求める。もし、ターゲットハンドジェスチャと、削除ハンドジェスチャ画像が離れている場合はこの処理は必要ないので呼ばれない。図１８の例では、削除画像領域との境界接点の４点とその座標を次にように定義する。始点から削除ハンドジェスチャ画像の領域との接点の左側の点３７（x1，y1）、右側の点３８（x2，y2）、終点から削除ハンドジェスチャ画像の領域との接点の左側の点３９（x3,y3）、右側の点４０（その座標を（x4,y4）。

ステップS15-4において、重なり検出部３２が、始点から接点と終点からの接点で囲まれる領域が空白であるかをチェックする。図１８の例であれば、点３７、３８、３９、４０で囲まれた領域が空白であるかをチェックする。もし、隣の人の手の画像が、ターゲットの画像の影の部分に存在する場合は、この削除画像領域との境界接点の４点はそのままターゲットのハンドジェスチャ画像が存在する。

空白であれば、補正する必要があるのでステップS15-5に進み、空白でなければ、ステップS15-8に進み処理を終了する。ターゲットハンドジェスチャの画像がカメラ部６から見て上（手前）にあり、削除ハンドジェスチャ画像が下側（奥）を移動したのであれば、このステップでは、空白でないと判断される。ターゲットハンドジェスチャの画像がカメラから見て下（奥）にあり、削除ハンドジェスチャ画像が上側（手前）を移動したのであれば、下側にあった手の移動は撮影されない為に空白が生じる。

ステップＳ15-5において、ハンドジェスチャ画像補正部３３が、空白領域の境界接点の４点をセットする。図１８の例では、点３７、３８、３９、４０のＸＹ座標点(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)が記憶される。

ステップS15-6において、ハンドジェスチャ画像補正部３３が、空白部分を補間する処理を行う。詳細な処理の説明は図１６のフローチャートにおいて説明する。ステップS15-7において、補間したハンドジェスチャ画像を出力する。図１８で表した、領域３５と３６の分断されたハンドジェスチャ画像が補正され、図１９の様に点３７，３８，３９，４０で囲まれた領域に、手の画像が追加され、領域３５と３６の手の画像が１つのハンドジェスチャ画像に補正された画像を出力する。

そのジェスチャを認識すれば、“」”ジェスチャと認識できる。分断したままだと、“＿”“｜”の2つにわかれているので正しく認識できない。ステップS15-8において、処理を終了し、ワーク領域等を解放する。

次にステップS15-6の処理内容を、図１６のフローチャートに従い説明する。

ステップS16-1において、ハンドジェスチャ画像補正部３３は、空白部分を補間する処理を開始する。ワーク領域等を確保し、初期化する。

ステップS16-2において、ハンドジェスチャ画像補正部３３は、空白領域情報として４点の座標を記憶する。図１８の例の場合、点３７乃至点４０の座標（x1,y1）、（x2,y2）、（x3,y3）、（x4,y4）に記憶する。

ステップS16-3において、ハンドジェスチャ画像補正部３３は、手の始点方向から（x1,y1）、（x2,y2）の方向角度を検出し、（x1,y1）、（x2,y2）からその方向角度に線を延長する。手の画像の中心点の100分の1秒毎の移動点の（x1,y1）、（x2,y2）に到達する前の数点から方向角度を求める。そこから同じ方向に手が移動したと推測できる。図１８の例で説明すると、点３７の位置の手の画像の撮影時間の１／１００秒前の手の画像の位置が点４１の位置である。点４１から点３７の方向の直線の延長が図の様な矢印になる。点３８の位置の手の画像の撮影時間の１／１００秒前の手の画像の位置が点４２の位置である。点４２から点３８の方向の直線の延長が図の様な矢印になる。

ステップS16-4において、ハンドジェスチャ画像補正部３３は、手の終点方向から（x3,y3）、（x4,y4）の方向角度を検出し、（x3,y3）、（x4,y4）からその方向角度に線を延長する。（x3,y3）、（x4,y4）から手の終点方向への手の画像の中心点の100分の1秒毎の移動点の数点から方向角度を求め、その逆方向を求める。逆方向から同じ方向に手が移動したと推測できるのでそのようにする。図１８の例で説明すると、点３９（x3,y3）の位置の手の画像の撮影時間の１／１００秒後の手の画像の位置が点４３の位置である。点４３から点３９の方向の直線の延長が図の様な矢印になる。点４０（x4,y4）の位置の手の画像の撮影時間の１／１００秒後の手の画像の位置が点４４の位置である。点４４から点４０の方向の直線の延長が図の様な矢印になる。

ステップS16-5において、ハンドジェスチャ画像補正部３３は、始点方向からの線と終点方向から線を中間点で接続する。そして、その線上に、（x1,y1）、（x2,y2）の位置の手の画像を撮影時間のタイミングで、同一の速度間隔で複写して、ハンドジェスチャ画像を補間する。図１９の例で説明すると、点４１から３７の延長線と、点４３から３９への延長線が点４５の位置で接続する。点４２から３８の延長線と、点４４から４０の延長線が点４６の位置で接続する。その点３７、３８、４６、４０、３９、４５で囲まれた領域に、手の画像を撮影タイミングと同一の１／１００秒間隔で、点３７の位置の手の画像を複写して、その位置に描画してハンドジェスチャ画像を補間する。ステップS16-6において、処理を終了する。ワーク領域を解放し、ステップS15-6に進む。

この様に、処理を行う事により、ターゲットのハンドジェスチャと、削除するハンドジェスチャが重なっても、隠れてしまった画像を補間する事により再現したハンドジェスチャ画像を正しく認識する機器を実現する。

以上説明したように本実施形態によれば、複数のユーザが存在したとしても、それぞれのユーのハンドジェスチャを高い精度で認識することが可能になる。さらに、各ユーザの位置情報から決定した各ハンドジェスチャ開始領域の隣接する領域の重なりを検出し、調整する事により、より認識精度を向上させる事を実現する。また、ハンドジェスチャスキャン開始領域内にユーザの手を検出した事を明示する事により、ジェスチャ認識の開始ができる状態であることをユーザに知らせることが実現でき、操作が容易になる。追加する部はソフトウエアによって実現できるので他の検出部を追加する必要が無いためコスト的にも改善する。また、他のユーザの手により分断されたハンドジェスチャ画像でも、補正部で補正する事により認識を可能にする。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 撮像手段で時系列に撮像された画像中の、少なくとも１人のユーザの顔領域を検出する顔検出手段と、
   前記顔検出手段で検出された顔領域それぞれに対し、予め定義された顔領域との相対的位置情報が示す前記画像中の領域を、該顔領域に対応するユーザが行うハンドジェスチャを検出するための検出領域として決定する決定手段と、
   前記撮像手段で時系列に撮像された画像のうち、前記決定手段によって決定される１以上の検出領域内で検出されるユーザの手の移動軌跡に基づいて、前記ユーザが行うハンドジェスチャを認識する認識手段と、
   前記撮像手段で時系列に撮像された画像のうち、前記決定手段によって決定される１以上の検出領域内で検出されるユーザの手の時系列の画像を保持する保持手段と、
   前記保持手段に保持されている、前記撮像手段で時系列に撮像された画像のうち前記検出領域内で検出される前記ユーザの手の画像のうち、前記検出領域の外部から前記検出領域の内部に侵入することが検出された手の画像を、前記保持手段から削除する削除手段とを備え、
   前記認識手段は、前記検出領域内から検出される前記ユーザの手の画像の移動軌跡のうち、前記検出領域の外部から内部に侵入する移動の軌跡は、前記ハンドジェスチャを認識する処理の対象とせず、
   前記認識手段は、前記保持手段に保持されている前記ユーザの手の時系列の画像に基づいて、前記移動軌跡を認識し、
   前記認識手段は、前記削除手段による削除処理の結果、前記保持手段に保持されている前記ユーザの手の時系列の画像に基づいて、前記移動軌跡を認識する
   ことを特徴とするハンドジェスチャ認識装置。
2. 前記決定手段は、
   前記顔検出手段で複数のユーザの顔領域が検出され、それぞれの顔領域に対する検出領域が互いに重なる場合、重なりが無くなるようにそれぞれの検出領域のサイズを調整する手段を含む
   ことを特徴とする請求項１に記載のハンドジェスチャ認識装置。
3. 前記認識手段は、
   前記削除手段による削除の結果、ハンドジェスチャを認識する対象の手の画像が分断されている場合、当該分断された消失部分を、分断された境界の座標に基づき補間する手段を含む
   ことを特徴とする請求項１に記載のハンドジェスチャ認識装置。
4. 前記決定手段で決定した検出領域内において、予め設定された時間が経過しても動きが無い手の画像を検出した場合、当該動きの無い手の画像を含む検出領域にて、ハンドジェスチャの認識が可能になったことを明示する明示手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載のハンドジェスチャ認識装置。
5. 撮像手段で時系列に撮像された画像中の、少なくとも１人のユーザの顔領域を検出する顔検出手段と、
   前記顔検出手段で検出された顔領域それぞれに対し、予め定義された顔領域との相対的位置情報が示す前記画像中の領域を、該顔領域に対応するユーザが行うハンドジェスチャを検出するための検出領域として決定する決定手段と、
   前記撮像手段で時系列に撮像された画像のうち、前記決定手段によって決定される１以上の検出領域内で検出されるユーザの手の移動軌跡に基づいて、前記ユーザが行うハンドジェスチャを認識する認識手段と、
   前記決定手段で決定した検出領域内において、予め設定された時間が経過しても動きが無い手の画像を検出した場合、当該動きの無い手の画像を含む検出領域にて、ハンドジェスチャの認識が可能になったことを明示する明示手段とを備え、
   前記認識手段は、前記検出領域内から検出される前記ユーザの手の画像の移動軌跡のうち、前記検出領域の外部から内部に侵入する移動の軌跡は、前記ハンドジェスチャを認識する処理の対象としないことを特徴とするハンドジェスチャ認識装置。
6. 前記明示手段は、前記撮像手段で撮像した画像における、前記検出領域に相当する枠内に、所定のマークを表示する手段を含むことを特徴とする請求項４又は５に記載のハンドジェスチャ認識装置。
7. ハンドジェスチャ認識装置の制御方法であって、
   顔検出手段が、撮像手段で時系列に撮像された画像中の、少なくとも１人のユーザの顔領域を検出する顔検出工程と、
   決定手段が、前記顔検出工程で検出された顔領域それぞれに対し、予め定義された顔領域との相対的位置情報が示す前記画像中の領域を、該顔領域に対応するユーザが行うハンドジェスチャを検出するための検出領域として決定する決定工程と、
   認識手段が、前記撮像手段で時系列に撮像された画像のうち、前記決定工程によって決定される１以上の検出領域内で検出されるユーザの手の移動軌跡に基づいて、前記ユーザが行うハンドジェスチャを認識する認識工程と、
   保持手段が、前記撮像手段で時系列に撮像された画像のうち、前記決定工程によって決定される１以上の検出領域内で検出されるユーザの手の時系列の画像を保持する保持工程と、
   削除手段が、前記保持工程で保持されている、前記撮像手段で時系列に撮像された画像のうち前記検出領域内で検出される前記ユーザの手の画像のうち、前記検出領域の外部から前記検出領域の内部に侵入することが検出された手の画像を、前記保持工程から削除する削除工程とを備え、
   前記認識工程は、前記検出領域内から検出される前記ユーザの手の画像の移動軌跡のうち、前記検出領域の外部から内部に侵入する移動の軌跡は、前記ハンドジェスチャを認識する処理の対象とせず、
   前記認識工程は、前記保持工程で保持されている前記ユーザの手の時系列の画像に基づいて、前記移動軌跡を認識し、
   前記認識工程は、前記削除工程による削除処理の結果、前記保持工程で保持されている前記ユーザの手の時系列の画像に基づいて、前記移動軌跡を認識する
   ことを特徴とするハンドジェスチャ認識装置の制御方法。
8. ハンドジェスチャ認識装置の制御方法であって、
   顔検出手段が、撮像手段で時系列に撮像された画像中の、少なくとも１人のユーザの顔領域を検出する顔検出工程と、
   決定手段が、前記顔検出工程で検出された顔領域それぞれに対し、予め定義された顔領域との相対的位置情報が示す前記画像中の領域を、該顔領域に対応するユーザが行うハンドジェスチャを検出するための検出領域として決定する決定工程と、
   認識手段が、前記撮像手段で時系列に撮像された画像のうち、前記決定工程によって決定される１以上の検出領域内で検出されるユーザの手の移動軌跡に基づいて、前記ユーザが行うハンドジェスチャを認識する認識工程と、
   明示手段が、前記決定工程で決定した検出領域内において、予め設定された時間が経過しても動きが無い手の画像を検出した場合、当該動きの無い手の画像を含む検出領域にて、ハンドジェスチャの認識が可能になったことを明示する明示工程とを備え、
   前記認識工程は、前記検出領域内から検出される前記ユーザの手の画像の移動軌跡のうち、前記検出領域の外部から内部に侵入する移動の軌跡は、前記ハンドジェスチャを認識する処理の対象としないことを特徴とするハンドジェスチャ認識装置の制御方法。
9. 撮像手段を有するコンピュータに、請求項７又は８に記載の方法に記載の各工程を実行させることで、前記コンピュータをハンドジェスチャ認識装置として機能させるためのプログラム。
10. 請求項９に記載のプログラムを記憶したことを特徴とする、コンピュータが読み込み可能な記憶媒体。