JP5703194B2 - ジェスチャ認識装置、その方法、及び、そのプログラム - Google Patents

Description

本発明の実施形態は、ジェスチャ認識装置、その方法、及び、そのプログラムに関する。

従来のジェスチャ認識装置においては、特定部位の現在の運動が高速運動であると検出された場合に、現高速運動の履歴の中から、過去の高速運動のベクトル情報である直前高速運動を抽出し、現高速運動の方向と直前高速運動の方向とがなす角を用いて、特定部位の現在の状態が、予め定められた方向へ特定部位が高速動作していることを示す送り動作であるか否かを判定する。すなわち、このジェスチャ認識装置は、ユーザの手の動きからジェスチャコマンドを判定する。

特開２０１０−１８２０１４号公報 特開２００１−３１２３５６号公報

しかし、上記従来のジェスチャ認識装置では、手の動きの速度から送り動作を判定しているため、ユーザが送り動作を行う後に発生する戻し動作が、閾値以上の早さである場合に、その戻し動作も送り動作であると誤判定するという問題点があった。

そこで本発明の実施形態は、上記問題点に鑑み、指先動きに応じた送り動作の誤判定を軽減できるジェスチャ認識装置、その方法、及び、そのプログラムを提案することを目的とする。

本実施形態は、動画像を取得する画像取得部と、前記動画像からユーザの指先位置の軌跡を検出する検出部と、前記指先位置の軌跡から送り動作か否かの判定を行うための有効範囲を設定するものであって、前記有効範囲の一方向の大きさを前記指先の位置の軌跡から決める設定部と、前記指先位置の軌跡が、前記有効範囲に含まれている場合に、前記指先位置の軌跡が送り動作か否かを判定する判定部と、前記指先位置の軌跡が前記送り動作の場合に、前記送り動作から前記ユーザのジェスチャを認識する認識部と、を有するジェスチャ認識装置である。

実施形態１のジェスチャ認識装置のブロック図。 ジェスチャ認識装置のフローチャート。 有効範囲における指先動きの説明。 実施形態２の有効範囲における指先動きの説明。 実施形態３のジェスチャ認識装置のブロック図。 実施形態３のジェスチャ認識装置のフローチャート。 実施形態４のジェスチャ認識装置を応用した説明図。 ヘッドマウントディスプレイの表示画面。

一実施形態のジェスチャ認識装置について図面に基づいて説明する。

実施形態１

実施形態１のジェスチャ認識装置１０について図１〜図３に基づいて説明する。

本実施形態に係わるジェスチャ認識装置１０は、ユーザの１本の指Ｆの指先動きにより画面を操作するためのものであり、ユーザの送り動作を検知して対応する方向に画面の表示内容を遷移させる。なお、「送り動作」とは、ユーザの一方向への指先動きである。なお、一方向とは、上方向、下方向、左方向、右方向、又は、斜め上方向、斜め下方向などの一つの方向を意味する。

ユーザの指先の送り動作を繰り返し行う場合、送り動作の後に指先を元の位置に戻す動作を「戻し動作」という。

ジェスチャ認識装置１０の構成について図１のブロック図に基づいて説明する。

ジェスチャ認識装置１０は、撮像部１１、画像取得部１２、検出部１３、判定部１４、設定部１５、認識部１６、表示部１７とを有する。

撮像部１１は、ユーザの１本の指Ｆの指先動きを動画像で撮像する。撮像部１１は、イメージセンサなどの撮像素子、又は、カメラなどであり、単眼の撮像素子に限らず、各画素にセンサからの各画素に撮像された物体までの推定した距離が付加される距離センサ、同様にセンサからの距離が取得できる複数の撮像素子を用いてもよい。

画像取得部１２は、撮像部１１で取得した動画像を取得する。

検出部１３は、動画像から１本の指Ｆの指先位置の軌跡を検出する。

判定部１４は、検出した１本の指Ｆの指先位置の軌跡、設定部１５から送られた有効範囲Ａに基づいて指先動きが送り動作か否かを判定する。

設定部１５は、指先動きが送り動作か否かを判定するのに用いる有効範囲Ａを設定する。

認識部１６は、判定部１４が判定した送り動作から、ユーザのジェスチャを認識する。

表示部１７は、画像取得部１２で取得した動画像を表示すると共に、設定部１５で設定した有効範囲Ａを重畳して表示する。

ジェスチャ認識装置１０の動作について図２のフローチャートに基づいて説明する。

ステップＳ１０１において、撮像部１１が、ユーザの１本の指Ｆの指先動きを撮像し、画像取得部１２は、撮像された動画像の各画像（各フレーム）を取得し、取得した各フレームを検出部１３へ送り、ステップＳ１０２に進む。

ステップＳ１０２において、検出部１３は、送られてきた動画像の各フレームに写っている１本の指Ｆの指先位置をそれぞれ検出する。以下、この検出方法を順番に説明する。

第１に、検出部１３は、予め指先のパターンと背景のパターンから２クラス識別器を学習し、取得した１フレーム中から指先パターンに識別される矩形領域を探索する。指先の領域は、特徴的なテクスチャが少ないため、次の傾向の異なる特徴を相補的に利用し，カスケード接続することで高速で高精度な検出処理を実現する。

第２に、検出部１３は、顔検出向けに開発された共起関係のＨａａｒ−ｌｉｋｅ特徴であるＪｏｉｎｔ Ｈａａｒ−ｌｉｋｅ特徴量を用いて、ＡｄａＢｏｏｓｔアルゴリズムで学習した識別器（T. Mita, T. Kaneko, B. Stenger, and O. Hori, Discriminative feature co-occurrence selection for object detection, IEEE Trans. Pattern Anal. Mach. Intell.,Vol.30,No.7,pp.1257-1269, 2008.参照）により指先の候補領域を抽出する。

第３に、検出部１３は、人物検出向けに開発された輝度勾配の組み合わせによる２次元ヒストグラムから得られる共起行列であるＣｏ−ｏｃｃｕｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ特徴を用いて、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅで学習した識別器（T. Watanabe, S. Ito, and K. Yokoi, Co-occurrence histograms of oriented gradients of pedestrian detection, In PSIVT 2009, LNCS, Vol. 5414, pp. 37-47, 2009.参照）で最終的に指先位置を検出する。

なお、前段の識別器は、非常に高速に識別できるという特徴を有し、後段の識別器は前記識別器よりも高速でないものの詳細な特徴を用いて精度よく識別できる特徴を有する。

また、検出部１３は、過去フレームにおいて指先検出した結果が存在する場合、その結果に基づき追跡処理を行う。

上記の検出方法は、いずれもテクスチャに着目した特徴（例えば、特徴量）から指先か否かを検出するため、モーションブラーによる指先のテクスチャが精細に撮像できないと、検出できない。そのため、色情報を用いて指先を、非特許文献（D.Comaniciu, V .Ramesh and P. Meer, Kernel Based Object Tracking, PAMI,Vol.25,No.5,pp.564-577,2003.）に記載された方法に基づき追跡してもよい。

検出部１３は、現フレームで検出した１本の指Ｆの指先位置と、過去の指先位置の軌跡を論理和で統合した結果を、最終的な現フレームの指先位置とする。

検出部１３は、検出した現フレームの１本の指Ｆの指先位置（例えば、左上の座標と右下の座標で表す長方形）を設定部４と判定部５へ送る。

検出部１３は、引き続き動画像のフレーム毎に１本の指Ｆの指先位置の検出を行う。これにより、検出部１３は、検出した指先位置の軌跡を送ることとなる。

ステップＳ１０３において、判定部１４は、送られてきた現フレームから過去のフレームの１本の指Ｆの指先位置の軌跡と、設定部１５から送られた有効範囲Ａに基づいて、１本の指Ｆの指先動きが送り動作であるか否かを図３に示すように判定する。この指先位置の軌跡は、検出部１３から送られてきた任意のフレーム数Ｎ（例えば、５フレーム）のそれぞれの指先位置を用いる。

また、判定部１４は、有効範囲Ａ内でのみ指先動きを判定する。この有効範囲Ａは、設定部１５が前フレームまでの指先動きから設定されるものであり、この設定については後から説明する。また、判定部１４は、この有効範囲Ａ以外の範囲については、指先動きは判定しない。

まず、判定部１４は、指先位置の軌跡が、有効範囲Ａ内に含まれるか否かを判定し、有効範囲Ａ内のときは次の処理に移行し、有効範囲Ａ外のときは送り動作でないと判定する。

次に、判定部１４は、指先位置の軌跡から求まる画像中の現時点での指先の速度（ｘ成分とｙ成分）と加速度（ｘ成分とｙ成分）からなる特徴量をもとに、予め学習した動き（一方向の指先動き）であるか否かを判定する。この判定には識別器を用い、例えばｋ−Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｕｒ Ｃｌａｓｓｉｆｉｃａｔｉｏｎでもよいし、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅでもよいが、予め動き（一方向の指先動き）を学習しておく。判定部１４は、この判定により指先がジクザクに動いたりする動作を排除できる。

また、速度の閾値と加速度に閾値とを予め決定しておき、判定部１４は、指先動きが送り動作であっても、ゆっくりした指Ｆの動作を排除できる。

但し、上記判定では、戻し動作については排除できないため、図３に示すように、ユーザは、戻し動作については、有効範囲Ａ以外で行う。

判定部１４は、送り動作と判定した指先動きの判定結果を認識部１６に送り、ステップＳ１０４に進む。

ステップＳ１０４において、設定部１５は、検出部１３から送られてきたＮフレーム間の１本の指Ｆの指先位置の軌跡から、次フレームにおける指先動きの判定に用いる有効範囲Ａを設定して判定部１４に送り、表示部１７に写っている画像中に有効範囲Ａを重畳して表示する。

まず、設定部１５は、有効範囲Ａの初期範囲を画像全体に設定する。

次に、設定部１５は、検出部１３が検出したＮフレーム間の１本の指Ｆの指先位置の軌跡から、指先の動いた範囲を有効範囲Ａとして設定する。例えば、Ｎ＝５とした場合に、設定部１５は、過去のｎフレーム目の指先位置から（ｎ＋４）フレーム目の指先位置の軌跡で表現される領域を有効範囲Ａとして設定する。この有効範囲Ａは、厳密に指先が移動した領域である必要はなく、図３に示すように、矩形領域で表現し、例えば、横方向の大きさは、ｎフレーム目の指先位置と（ｎ＋４）フレーム目の指先位置とによって決まり、縦方向は指先の１〜３倍の大きさに設定する。

次に、設定部１５は、設定した（ｎ＋４）フレーム目の有効範囲Ａを判定部１４と表示部１７へ送る。判定部１４は、上記したように（ｎ＋５）フレーム目の判定に用いる。また、表示部１７は、図３に示すように、画像中に有効範囲Ａを重畳して表示する。

なお、設定部１５は、ｎフレーム目において検出された指先位置と（ｎ＋１）フレーム目において検出された指先位置が、閾値以上の距離が離れている場合は、有効範囲Ａを初期化する。

ステップＳ１０５において、認識部１６は、判定部１４で判定した送り動作に基づいて、ユーザのジェスチャを認識して終了する。この認識方法は、例えば、特許文献１に記載した方法を用いる。

本実施形態によれば、送り動作のみを判定でき、戻し動作を送り動作と誤判定することを軽減できる。すなわち、ユーザが、表示部１７に写った有効範囲Ａ以外で戻し動作を行うことにより、従来のように戻し動作を送り動作と誤判定することを軽減できる。

実施形態２

次に、実施形態２に係わるジェスチャ認識装置１０について図４に基づいて説明する。

本実施形態のジェスチャ認識装置１０と実施形態１のジェスチャ認識装置１０の異なる点は、判定部１４と設定部１５の機能にある。

本実施形態では、設定部１５は、画像中に有効範囲Ａを設定するのではなく、送り動作を示す１次元の方向ベクトルも設定する。

判定部１４は、図４に示すように、有効範囲Ａ中の指先動きに関して、指先位置の軌跡から求めた指先動きベクトルと方向ベクトルのなす角度θ１と判定角度θ０（例えば、−３０°＜＝θ０＜＝３０°）とを比較し、判定部１４は、θ１＜＝θ０のときを送り動作と判定する。なお、図４においては、送り動作がθ１＝０°で示し、戻し動作はθ１＝１８０°で示している。

そして、設定部１５は、設定した有効範囲Ａと指先位置との距離が閾値以上となると、有効範囲Ａを初期化する。

なお、本実施形態の場合は、有効範囲Ａを表示部１７に表示する必要がない。

本実施形態であると、実施形態１のようにユーザが表示部１７に写った有効範囲Ａ以外で戻し動作を行う必要がなく、有効範囲Ａで戻し動作を行っても、送り動作のみを判定できる。

実施形態３

次に、実施形態３に係わるジェスチャ認識装置１００について図５と図６に基づいて説明する。

本実施形態のジェスチャ認識装置１００と実施形態１のジェスチャ認識装置１０の異なる点は、本実施形態のジェスチャ認識装置１００が管理部１１８を有する点にある。すなわち、実施形態１のジェスチャ認識装置１０は一本の指Ｆの指先動きによるジェスチャ認識していたが、本実施形態のジェスチャ認識装置１００は、管理部１１８を設けることにより複数本の指Ｆの指先動きによるジェスチャ認識を行う。

なお、ジェスチャ認識装置１００の中でジェスチャ認識装置１０と同様な部分については説明を省略する。

ジェスチャ認識装置１００の構成について図５のブロック図に基づいて説明する。

ジェスチャ認識装置１００は、図５に示すように、撮像部１１１、画像取得部１１２、検出部１１３、判定部１１４、設定部１１５、認識部１１６に加えて、上記したように管理部１１８を有する。

撮像部１１１は、ユーザの複数本の指Ｆの指先を撮像する。

画像取得部１１２は、その撮像した動画像を取得する。

検出部１１３は、各フレーム中の各指先位置をそれぞれ検出し、管理部１１８にその検出結果を送る。この検出方法は実施形態１と同様である。

管理部１１８は、複数本の指Ｆの指先から１本の指Ｆの指先を特定し、その特定指先位置の軌跡のみを判定部１１４、設定部１１５に送る。

判定部１１４は、管理部１１８が特定した指先に関して、検出部１１３から管理部１１８を経て送られてきたその特定指先位置の軌跡と、設定部１１５で設定された有効範囲Ａとを基に指先動きが送り動作であるか否かを判定する。この判定方法は実施形態１と同様である。

設定部１１５は、検出部１１３から管理部１１８を経て送られてきたその特定指先位置の軌跡から有効範囲Ａを設定し、判定部１１４へ送る。この設定方法は実施形態１と同様である。

管理部１１８は、１本の指先動きが送り動作であるか否かを判定した後に、次の指先動きを判定するように、判定部１１４、設定部１１５に特定指先位置の軌跡を送り、全ての指Ｆの指先動きの判定が終了すると、この制御を終了する。

認識部１１６は、判定した各指先動き（送り動作）を統合し、複数の指先動きで定義されるジェスチャであるか否かを認識する。例えば、２本の指先動きで定義されるジェスチャには、２本の指が異なる方向に移動し間を広げる操作である「ピンチアウト」や、２本の指を縮める操作である「ピンチイン」などがある。このとき片手の２本の指で行うジェスチャであってもよいし、両手で１本ずつ行うジェスチャであってもよいし、２人のユーザのそれぞれの指を用いたジェスチャであってもよい。

また、判定部１１４で判定可能な１次元方向の指先動きであれば、２本以上の指先動きで定義できるジェスチャであればよく、片手の全ての指（５本）を手の中央から外側へはじく動作で表示してある複数オブジェクトがばらばらに散らばるようなジェスチャを定義してもよい。

ジェスチャ認識装置１００の動作について図６のフローチャートに基づいて説明する。なお、ジェスチャ認識装置１００の動作のうち、図６のステップＳ１０１〜Ｓ１０２は、図２のステップＳ１０１〜Ｓ１０２と同様であるため説明を省略する。

ステップＳ３０３において、管理部１１８は、検出部２０３が検出した指Ｆの本数と、それら指Ｆの指先位置がそれぞれフレーム毎に入力される。管理部１１８は、指先動きを判定した指Ｆを順番に特定して、特定指先位置の軌跡を判定部１１４と設定部１１５に送る。

ステップＳ３０４において、判定部１４は、特定指先位置の軌跡に関して、設定部１１５で設定された有効範囲Ａを基に指先動作が送り動作か否かを判定する。設定部１１５は、判定結果を認識部１１６へ送る。

ステップＳ３０５において、設定部１１５は、指先動きの判定に用いる次フレームからの有効範囲Ａを特定指先位置の軌跡から設定し、判定部１１４へ送る。

ステップＳ３０６において、認識部１１６は、全ての指Ｆの指先動きの組み合わせが、予め設定したジェスチャであるか否かを認識して終了する。

実施形態４

次に、実施形態４について図７と図８に基づいて説明する。本実施形態は、実施形態１のジェスチャ認識装置１をヘッドマウントディスプレイ３０２に適用した例である。

図７に示すように、本実施形態は、ヘッドマウントディスプレイ３０２の表示項目送りをジェスチャで行う。ハンズフリーを目的として開発されたヘッドマウントディスプレイ３０２は、ハンズフリーな操作が可能なジェスチャ認識による操作が有益である。

ヘッドマウントディスプレイ３０２は、ウェアラブルコンピュータ３００、表示部１７、撮像部１１を有する。ジェスチャ認識装置１０は、ウェアラブルコンピュータ３００にプログラムとして内蔵されている。

撮像部１１は、ユーザの視線方向を撮影している。

表示部１７は、ヘッドマウントディスプレイ３０２に画像を表示する。

ウェアラブルコンピュータ３００（ジェスチャ認識装置１０）は、ユーザの指Ｆによる送り動作を認識し、図８に示すように、その指Ｆの送り動作に基づいて、表示部１７によってヘッドマウントディスプレイ３０２で表示中の複数項目を動作の方向へスクロールさせるコマンドを実行する。

本実施形態によれば、ユーザは送り動作によって、送った方向に項目をスクロールさせ詳細を閲覧できる。

変更例

上記各実施形態の変更例について説明する。

変更例１は、判定部１４が判定に用いる特徴量の変更例である。上記実施形態の以外の他の特徴量としては、次のようなものもある。

第１の他の特徴量としては、Ｎフレームの平均ｘ速度、Ｎフレームの平均ｘ加速度、Ｎフレームの平均ｙ速度、Ｎフレームの平均ｙ加速度の４次元特徴量を用いる。

第２の他の特徴量としては、に、使用する履歴数がＮ−１の速度と、Ｎ−２の加速度を要素としてもつ４Ｎ−６次元の特徴量を用いる。

上記実施形態４はヘッドマウントディスプレイ３０２で説明したが、これに限らず、ジェスチャ認識装置１０を他の機器に適用してもよく、また、実施形態２のジェスチャ認識装置１００を適用してもよい。

ジェスチャ認識装置１０，１００は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、画像取得部１２．１１２、検出部１３，１１３、判定部１４，１１４、設定部１５，１１５、管理部１１８は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、ジェスチャ認識装置１０，１００は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記録して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。また、画像取得部１２．１１２、検出部１３，１１３、判定部１４，１１４、設定部１５，１１５、管理部１１８は、上記のコンピュータに内蔵又は外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現できる。

上記では本発明の一実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０，１００・・・ジェスチャ認識装置、１２，１１２・・・画像取得部、１３，１１３・・・検出部、１４，１１４・・・判定部、１５，１１５・・・設定部、１６，１１６・・・認識部、１１７・・・管理部

Claims (8)

1. 動画像を取得する画像取得部と、
   前記動画像からユーザの指先位置の軌跡を検出する検出部と、
   前記指先位置の軌跡から送り動作か否かの判定を行うための有効範囲を設定するものであって、前記有効範囲の一方向の大きさを前記指先の位置の軌跡から決める設定部と、
   前記指先位置の軌跡が、前記有効範囲に含まれている場合に、前記指先位置の軌跡が送り動作か否かを判定する判定部と、
   前記指先位置の軌跡が前記送り動作の場合に、前記送り動作から前記ユーザのジェスチャを認識する認識部と、
   を有するジェスチャ認識装置。
2. 前記動画像と前記有効範囲を重畳して表示する表示部をさらに有する、
   請求項１に記載のジェスチャ認識装置。
3. 前記設定部は、前記有効範囲に加えて、前記送り動作の指先動きを示す方向ベクトルも設定し、
   前記判定部は、前記指先位置の軌跡が前記有効範囲に含まれ、かつ、前記指先位置の軌跡が表す指先動きベクトルと前記方向ベクトルとのなす角度が判定角度より小さいときに前記送り動作と判定する、
   請求項１に記載のジェスチャ認識装置。
4. 前記検出部が複数本の指の各指先位置の軌跡をそれぞれ検出した場合に、前記指毎の前記指先位置の軌跡を前記判定部と前記設定部に順番に送る管理部をさらに有し、
   前記設定部は、前記指毎に前記有効範囲を設定し、
   前記判定部は、前記指毎に前記送り動作か否かを判定し、
   前記認識部は、前記複数本の指の前記送り動作を統合して、前記ユーザのジェスチャを認識する、
   請求項１乃至３のいずれか一項に記載のジェスチャ認識装置。
5. 前記有効範囲が矩形領域である、
   請求項１乃至４のいずれか一項に記載のジェスチャ認識装置。
6. 前記設定部は、前記矩形領域からなる前記有効範囲の一方向の大きさを前記指先の位置の軌跡から決め、他方向の大きさを指先の大きさから決める、
   請求項５に記載のジェスチャ認識装置。
7. 動画像を取得し、
   前記動画像からユーザの指先位置の軌跡を検出し、
   前記指先位置の軌跡から送り動作か否かの判定を行うための有効範囲を設定するものであって、前記有効範囲の一方向の大きさを前記指先の位置の軌跡から決め、
   前記指先位置の軌跡が、前記有効範囲に含まれている場合に、前記指先位置の軌跡が送り動作か否かを判定し、
   前記指先位置の軌跡が前記送り動作の場合に、前記送り動作から前記ユーザのジェスチャを認識する、
   ジェスチャ認識方法。
8. 動画像を取得する画像取得機能と、
   前記動画像からユーザの指先位置の軌跡を検出する検出機能と、
   前記指先位置の軌跡から送り動作か否かの判定を行うための有効範囲を設定するものであって、前記有効範囲の一方向の大きさを前記指先の位置の軌跡から決める設定機能と、
   前記指先位置の軌跡が、前記有効範囲に含まれている場合に、前記指先位置の軌跡が送り動作か否かを判定する判定機能と、
   前記指先位置の軌跡が前記送り動作の場合に、前記送り動作から前記ユーザのジェスチャを認識する認識機能と、
   をコンピュータによって実現するためのジェスチャ認識プログラム。

Images