JPWO2011142317A1 - ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 - Google Patents

Abstract

【課題】自由空間におけるユーザのジェスチャーを正確に認識することが可能なジェスチャー認識装置を提供する。【解決手段】本発明は、処理装置に搭載され、動画像を介して自由空間における人間の手によるジェスチャーを認識し、該認識したジェスチャーに応じた所定の操作を前記処理装置に実行させるジェスチャー認識装置（１０００）であり、前記手の掌部分の重心を特定する掌重心特定手段（３０）と、前記手の掌部分の面積を特定する掌面積特定手段（４０）と、前記重心と手の指先との間の距離を求める指長さ算出手段（５０）と、前記重心と指先とを結んだ直線がなす角度を求める角度算出手段（５０）と、前記手の掌部分の重心の変位と、前記手の掌部分の面積の変動と、前記重心と手の指先との間の距離の変動と、前記重心と指先とを結んだ直線がなす角度の変動と、の組み合わせによって、前記ジェスチャーを識別するジェスチャー識別手段（６０）と、を備える。【選択図】図１

Description

本発明は、ジェスチャーを認識する装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体に関し、より詳細には、ユーザに直観的な操作を提供可能なジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体に関する。

パーソナルコンピュータの操作を目的とした種々の入力デバイスが市販されている。この入力デバイスの例としては、マウス、トラックボール、ジョイスティック、タッチパネルなどが挙げられる。このような入力デバイスはキーボードとは異なり、ユーザに種々の直観的な操作を提供することができる。

特にタッチパネルは他の入力デバイスと異なり、専用の作業領域を必要とせず、指や専用のペンをディスプレイの表面に接触させることで様々な操作が可能となるため、主にモバイル用のコンピュータに加え、自動販売機、携帯電話、カーナビ、ＯＡ機器など多種の機器に搭載されている。

タッチパネルは、液晶などのディスプレイの表面に接触を検知するための素子を配置し、さらにそれを透明なスクリーンで覆うことで作成される。画面への接触を感知する方式は感圧式と静電式との２種類があり、前者は圧力の変化を感知し、後者は静電気による電気信号を感知する（特許文献１参照）。

しかし、タッチパネルは常にユーザの指やペンによって触れられるため、ディスプレイの表面が汚れて視認し難くなる。さらに、強く押圧することにより、ディスプレイの表面に傷がつく、あるいは破損する等の不具合が発生するおそれがある。

上述の不具合点を改善したものがジェスチャー認識装置である。特許文献２はジェスチャー認識装置の一例を開示している。このように、ジェスチャー認識装置は自由空間にユーザの手などで行われるジェスチャーをカメラで撮像し、その画像を基にそのジェスチャーを認識し、それに応じた操作を処理装置に行わせている。これは、タッチパネルと異なって非接触方式を採用しているため、ディスプレイに悪影響を与えることはない。

特開２００７−４３３１１ 特開２００４−７８９７７

しかし、現行のジェスチャー認識装置はいくつかの改善すべき問題点がある。
ユーザによるジェスチャーは自由空間内で行われるため、その挙動は複雑かつ不安定になる。そのため、ユーザによる意図的な動作なのか、あるいは無意識な動作なのかを判別する、あるいは特定のジェスチャーの開始点、終了点などを認識することが困難である。また、三次元の動きをカメラで撮像して二次元の画像で判定するため、カメラに対して遠近方向の動きと、上下左右の動きとを明確に区分けすることができず、そのためには複数のカメラでジェスチャーを撮像するなど複雑な構成を用いねばならない。

本発明の目的は、単純な構成で自由空間におけるユーザのジェスチャーを正確に認識することが可能なジェスチャー認識装置、該装置によるジェスチャー認識方法、該方法を実行するプログラム、並びに該プログラムを格納したコンピュータ可読媒体を提供することである。

本発明の別の目的は、ジェスチャーの開始および終了を正確に認識することが可能なジェスチャー認識装置、該装置によるジェスチャー認識方法、該方法を実行するプログラム、並びに該プログラムを格納したコンピュータ可読媒体を提供することである。

本発明のさらに別の目的は、より直感的な操作をユーザに提供可能なジェスチャー認識装置、該装置によるジェスチャー認識方法、該方法を実行するプログラム、並びに該プログラムを格納したコンピュータ可読媒体を提供することである。

前記課題を解決するために創案された請求項１の発明は、処理装置に搭載され、動画像を介して自由空間における人間の手によるジェスチャーを認識し、該認識したジェスチャーに応じた所定の操作を前記処理装置に実行させるジェスチャー認識装置であって、前記手の掌部分の重心を特定する掌重心特定手段と、前記手の掌部分の面積を特定する掌面積特定手段と、前記重心と手の指先との間の距離を求める指長さ算出手段と、前記重心と指先とを結んだ直線がなす角度を求める角度算出手段と、前記手の掌部分の重心の変位と、前記手の掌部分の面積の変動と、前記重心と手の指先との間の距離の変動と、前記重心と指先とを結んだ直線がなす角度の変動と、の組み合わせによって、前記ジェスチャーを識別するジェスチャー識別手段と、を備える。

前記課題を解決するために創案された請求項２の発明は、請求項１に記載のジェスチャー認識装置において、前記ジェスチャー識別手段が前記手の掌部分の重心が変位したときに、前記手が上下左右の何れかに移動したと判断することである。

前記課題を解決するために創案された請求項３の発明は、請求項１または２に記載のジェスチャー認識装置において、前記ジェスチャー識別手段が前記手の掌部分の面積が変動したときに、前記手が前後の何れかに移動したと判断することである。

前記課題を解決するために創案された請求項４の発明は、請求項１ないし３の何れか一項に記載のジェスチャー認識装置において、前記ジェスチャー識別手段が前記手の掌部分の面積が一定で、かつ前記重心と手の指先との間の距離が変動したときに、前記手の指が示す形状が変化したと判断することである。

前記課題を解決するために創案された請求項５の発明は、請求項１ないし４の何れか一項に記載のジェスチャー認識装置において、前記ジェスチャー識別手段が前記重心と指先とを結んだ直線がなす角度が変動したときに、前記手の掌部分が回転していると識別することである。

前記課題を解決するために創案された請求項６の発明は、請求項１ないし５の何れか一項に記載のジェスチャー認識装置において、前記ジェスチャーは、操作開始を示すジェスチャーと、操作を実行するジェスチャーと、操作終了を示すジェスチャーと、を含むことである。

前記課題を解決するために創案された請求項７の発明は、請求項１ないし６の何れか一項に記載のジェスチャー認識装置において、前記操作終了を示すジェスチャーが前記掌の重心が下方向に移動し、前記掌の面積が減少し、前記重心と手の指先との間の距離が短縮した場合に該当することである。

前記課題を解決するために創案された請求項８の発明は、請求項１ないし７の何れか一項に記載のジェスチャー認識装置において、前記処理装置に実行させる操作が、該処理装置の画面にメニューを表示させること、該処理装置の画面に表示されたオブジェクトの大きさを変えること、該処理装置の画面に表示されたオブジェクトを移動および回転させること、該処理装置の画面に表示された複数の画像をスクロールまたはコマ送りすること、を含むことである。

前記課題を解決するために創案された請求項９の発明は、請求項１ないし８の何れか一項に記載のジェスチャー認識装置において、前記ジェスチャー認識装置が複数のジェスチャーを同時に認識し、該認識したジェスチャーのそれぞれに応じた操作を前記処理装置に同時に実行させることである。

前記課題を解決するために創案された請求項１０の発明は、請求項１ないし９の何れか一項に記載のジェスチャー認識装置において、前記処理装置がパーソナルコンピュータと、携帯端末と、カーナビゲーションと、携帯電話と、を含むことである。

前記課題を解決するために創案された請求項１１の発明は、動画像を介して自由空間における人間の手によるジェスチャーを認識し、該認識したジェスチャーに応じた所定の操作を処理装置に実行させるジェスチャー認識方法であって、前記手の掌部分の重心を特定する掌重心特定段階と、前記手の掌部分の面積を特定する掌面積特定段階と、前記重心と手の指先との間の距離を求める指長さ算出段階と、前記重心と指先とを結んだ直線がなす角度を求める角度算出段階と、前記手の掌部分の重心の変位と、前記手の掌部分の面積の変動と、前記重心と手の指先との間の距離の変動と、前記重心と指先とを結んだ直線がなす角度の変動と、の組み合わせによって、前記ジェスチャーを識別するジェスチャー識別段階と、を含む。

前記課題を解決するために創案された請求項１２の発明は、請求項１１に記載のジェスチャー認識方法において、前記ジェスチャー識別段階で、前記手の掌部分の重心が変位したときには、前記手が上下左右の何れかに移動したと判断することである。

前記課題を解決するために創案された請求項１３の発明は、請求項１１または１２に記載のジェスチャー認識方法において、前記ジェスチャー識別段階で、前記手の掌部分の面積が変動したときには、前記手が前後の何れかに移動したと判断することである。

前記課題を解決するために創案された請求項１４の発明は、請求項１１ないし１３の何れか一項に記載のジェスチャー認識方法において、前記ジェスチャー識別段階で、前記手の掌部分の面積が一定で、かつ前記重心と手の指先との間の距離が変動したときには、前記手の指が示す形状が変化したと判断することである。

前記課題を解決するために創案された請求項１５の発明は、請求項１１ないし１４の何れか一項に記載のジェスチャー認識方法において、前記ジェスチャー識別段階で、前記重心と指先とを結んだ直線がなす角度が変動したときには、前記手の掌部分が回転していると識別することである。

前記課題を解決するために創案された請求項１６の発明は、請求項１１ないし１５の何れか一項に記載のジェスチャー認識方法において、前記ジェスチャーが、操作開始を示すジェスチャーと、操作を実行するジェスチャーと、操作終了を示すジェスチャーと、を含むことである。

前記課題を解決するために創案された請求項１７の発明は、請求項１１ないし１６の何れか一項に記載のジェスチャー認識方法において、前記操作終了を示すジェスチャーが、前記掌の重心が下方向に移動し、前記掌の面積が減少し、前記重心と手の指先との間の距離が短縮した場合に該当することである。

前記課題を解決するために創案された請求項１８の発明は、請求項１１ないし１７の何れか一項に記載のジェスチャー認識方法において、前記処理装置に実行させる操作が、該処理装置の画面にメニューを表示させること、該処理装置の画面に表示されたオブジェクトの大きさを変えること、該処理装置の画面に表示されたオブジェクトを移動および回転させること、該処理装置の画面に表示された複数の画像をスクロールまたはコマ送りすること、を含むことである。

前記課題を解決するために創案された請求項１９の発明は、請求項１１ないし１８の何れか一項に記載のジェスチャー認識方法を実行する電子回路である。

前記課題を解決するために創案された請求項２０の発明は、請求項１１ないし１８の何れか一項に記載のジェスチャー認識方法を前記処理装置に実行させるプログラムである。

前記課題を解決するために創案された請求項２１の発明は、請求項２０に記載のプログラムを格納したコンピュータ可読媒体である。

請求項１および請求項１１の発明では、人間の手のジェスチャーを認識するために、掌の重心と、掌の面積と、指の長さと、指の角度と、からなる要素の組み合わせを用いている。これらの要素を組み合わせれば、自由空間のような三次元の不安定な領域におけるジェスチャーであっても正確に認識することができる。

請求項２および請求項１２の発明では、手の水平方向（上下左右）の移動を掌の重心の移動で判別する。人間が意図的に手を上下左右に動かせば、掌の重心のみが動き、他の要素は変わらない。したがって、手の水平方向の動きを正確に認識することができる。

請求項３および請求項１３の発明では、手の遠近方向の移動を掌の面積の変化で判別する。掌の面積は、指の形状（グー、パー、チョキ等）には依存しない。したがって、人間が意図的に手を遠近方向に動かせば、掌の面積のみ変化し、他の要素は変わらない。したがって、手の遠近方向の動きを正確に認識することができる。

請求項４および請求項１４の発明では、手の指が示す形状の変化を指の長さの変化で判別する。上述のように掌の面積が一定ならば手と撮像装置との距離は変化していない。したがって、掌の面積が一定で、かつ指の長さが変化しているときは、指を動かしている場合である。したがって、指の長さの変化によって、指が示す形状の変化を認識することができる。

請求項５および請求項１５の発明では、掌の回転の有無を手の指の角度の変化によって判別する。したがって、掌の回転を正確に認識することができる。

請求項６および請求項１６の発明では、ジェスチャーを一連のサブジェスチャーの集合としており、これらのサブジェスチャーには操作の開始および終了を示すものが含まれている。従来、自由空間におけるジェスチャーでは、その開始および終了を認識することが困難であった。しかし、本発明では、ジェスチャーの開始および終了を正確に認識することで、ユーザにより直感的な操作を提供することができる。

請求項７および請求項１７の発明では、人間の手の無意識の動作を認識し、これを操作終了のジェスチャーとしている。人間は無意識な状態になると脱力状態になる。したがって、人間の手の掌は下を向き、指が若干曲がる。本発明では、この状態を認識することで操作の終了を判断している。その結果、ユーザにより直感的な操作を提供している。

請求項８および請求項１８の発明では、処理装置に行わせる操作を規定している。このように、本発明では多彩な操作を可能にしている。

請求項９の発明では、タッチパネルにおけるマルチタッチの操作と同様の操作をジェスチャー認識装置で実現している。

請求項１０の発明では、本発明を多種の処理装置に適用することが可能である。

請求項１９の発明は、本発明を電子回路の形態で提供している。

請求項２０の発明は、本発明をプログラムの形態で提供している。

請求項２１の発明は、本発明をコンピュータ可読媒体の形態で提供している。

本発明によって、より認識確度の高いジェスチャー認識方法、該方法を実行するプログラム、並びに該プログラムを格納したコンピュータ可読媒体を提供することができる。また、本発明は、単一の撮像装置と、パーソナルコンピュータ等の処理装置とから構成される単純なシステムで実現することができる。

本発明によって、ジェスチャーの開始および終了、並びに、意図的な動作と無意識な動作とを判別することが可能であり、その結果、ユーザにより直感的で、かつ多彩な操作を提供することができる。

本発明の一実施形態に係るジェスチャー認識装置の機能ブロック図である。 本発明の一実施形態に係る掌重心特定部が求める掌の重心の求め方を説明するための図である。 本発明の一実施形態に係る掌面積特定部が求める掌の面積の求め方を説明するための図である。 本発明の一実施形態に係る指長さ／角度特定部が求める指長さおよび角度の求め方を説明するための図である。 本発明の一実施形態に係るジェスチャー認識装置によって行われるジェスチャー認識方法のフロー図である。 本発明の一実施形態に係るジェスチャー認識装置によって行われるジェスチャー認識方法の実施例１を説明するための図である。 本発明の一実施形態に係るジェスチャー認識装置によって行われるジェスチャー認識方法の実施例１のフロー図である。 本発明の一実施形態に係るジェスチャー認識装置によって行われるジェスチャー認識方法の実施例２を説明するための図である。 本発明の一実施形態に係るジェスチャー認識装置によって行われるジェスチャー認識方法の実施例２のフロー図である。 本発明の一実施形態に係るジェスチャー認識装置によって行われるジェスチャー認識方法の実施例３を説明するための図である。 本発明の一実施形態に係るジェスチャー認識装置によって行われるジェスチャー認識方法の実施例３のフロー図である。 本発明の一実施形態に係るジェスチャー認識装置によって行われるジェスチャー認識方法の実施例４を説明するための図である。 本発明の一実施形態に係るジェスチャー認識装置によって行われるジェスチャー認識方法の実施例４のフロー図である。

本発明の一実施形態に係るジェスチャー認識装置の構成や機能について添付図面を参照して以下に詳細に説明する。このジェスチャー認識装置は、コンピュータなどの処理装置に搭載され、動画像を介してユーザの手によるジェスチャーを認識し、この認識したジェスチャーに対応する操作を当該処理装置に実行される機能を有する。特に、掌の重心の変位と、掌の面積の変動と、掌の重心から各指先までの距離の変動と、掌の重心から各指先とを結んだ線の角度の変動と、の組み合わせによって、ユーザのジェスチャーを識別する機能を有する。

図１は、本発明の一実施形態に係るジェスチャー認識装置１０００の機能ブロック図を示している。図示のように、物体認識装置１０００は、機能要素として、フレーム画像受信部１０と、手領域検出部２０と、掌重心特定部３０と、掌面積特定部４０と、指長さ／角度特定部５０と、ジェスチャー識別部６０と、操作決定部７０と、記憶部８０と、から構成される。また、入力部には撮像装置が接続され、出力部には処理装置が接続されている。撮像装置は、ユーザの手を所定のフレームレートで撮像し、その撮像したデータを所定の形式の動画像データとして出力する機能を有する。この撮像装置には汎用ビデオカメラを用いてよい。また、処理装置には汎用コンピュータを用いてよい。

［フレーム画像受信部］
フレーム画像受信部１０は、撮像装置から動画像データを受け取る機能を有する。具体的には、撮像装置が生成した所定の形式の動画像データを受け取り、必要に応じてその動画像データを後段の機能要素が処理可能なデータ形式に変換する。

［手領域検出部］
手領域検出部２０は、フレーム画像受信部１０から受け取った動画像データを構成する複数のフレーム画像内の手の領域を求める機能を有する。手の領域の求め方に特に限定するものではなく、既存の手法を用いてよい。例えば、テンプレートマッチング手法を用いてよい。あるいは、特開２００７−４３３１１で開示している、赤外線などの光を手に照射して、その反射光で手の領域を検出する手法を用いてもよい。検出した手の領域の画素座標は掌重心特定部３０に送られる。

［掌重心特定部］
掌重心特定部３０は、手領域検出部２０が検出した手の領域における掌部分の重心を求める機能を有する。図２を参照して掌の重心を求める方法を説明する。
１）手の領域において最も水平方向に大きい個所を検出する。そしてこの検出箇所の水平方向における中点を仮の重心とする（図２（ａ）参照）。
２）仮の重心を中心とし、手の領域よりも小さい正方形を描く（図２（ｂ）参照）。
３）描いた正方形の少なくとも一辺が手の領域の何れかのエッジに接触するまで拡大する（図２（ｃ）参照）。
４）この状態で正方形を未接触のエッジ方向（図では下方向）にシフトさせながら、さらに正方形を拡大させ、すべての辺が手の領域のエッジに達したら拡大を終了する（図２（ｄ））。
５）このときの正方形の中心を掌の重心とする。
手が撮像装置に対して水平方向に移動すると掌の重心も同様に移動することになる。従って、掌の重心は手の前後左右の変位を把握するための要素として利用する。

［掌面積特定部］
掌面積特定部４０は、手領域検出部２０が検出した手の領域における掌部分の面積を求める機能を有する。図３を参照して掌の面積を求める方法を説明する。
１）掌重心特定部３０が求めた重心を中心とし、かつ手の領域よりも小さい真円を描く（図３（ａ）参照）。
２）描いた真円の円周が手の領域の何れかのエッジに接触するまで拡大する（図３（ｂ）参照）。
３）このときの真円の面積を掌の面積とする。
手と撮像装置と間の距離が一定ならば、掌の面積は指の形状に左右されずに常に一定となる。すなわち、手が撮像装置に対して遠近方向に移動すると掌の面積が変動する。したがって、掌の面積は、撮像装置と手との間の距離の変動を把握するための要素として利用する。

［指長さ／角度特定部］
指長さ／角度特定部５０は、手領域検出部２０が検出した手の領域における指部分の長さおよびその角度を求める機能を有する。図４を参照して指の長さおよび角度を求める方法を説明する。
１）掌重心特定部３０が求めた重心から手の領域のエッジの各座標までの間隔を求める。
２）求めた間隔のうち、最も長い順に５つの座標を選択する（図中のａ、ｂ、ｃ、ｄ、ｅ）。これらの座標が各指先の座標に相当する。
３）選択した５つの座標のそれぞれと重心との距離を求めその値を加算する。これを指の長さとする。
４）それぞれの指先と重心とを結んだ線と水平線または垂直線とでなす角度を求める。
指の長さは、手の形状、例えばグー、パー、チョキ形状等を判別するための要素として利用する。そして、指の角度は、掌の回転を判別するための要素として利用する。

［ジェスチャー識別部］
ジェスチャー識別部６０は、上述の掌重心特定部３０が求めた掌の重心の変位と、掌面積特定部４０が求めた掌の面積の変動と、指長さ／角度特定部５０が求めた指の長さおよび角度の変動とからなる要素の組み合わせを基に、手によるジェスチャーを認識する機能を有する。具体的には、記憶部８０にアクセスして、上記の要素の組み合わせに対応したジェスチャーを取得する。
以下に要素の組み合わせとジェスチャーとの関係の例を示す。

表１に示すように、手の重心の変位と、掌の面積の変動と、指の長さおよび角度の変動とからなる要素を組み合わせれば、様々な手の状態を正確に識別することができる。なお、表１の最後の行において、手の状態が「無意識動作」としているが、これは、人間の手が脱力状態になるとその重心が下方に移動し、掌の面積が減少し、指の長さが短縮することが発明者等の種々の実験および経験より判明した（この場合、指の角度は問わない）。そのため、この状態を無意識動作として、他の意識的な動作と区分けしている。

［操作決定部］
操作決定部７０は、記憶部８０にアクセスして、ジェスチャー識別部６０が認識したジェスチャーに対応する操作を取得し、そのコマンドの後段の処理装置に送付する。例えば、表１の「手が右に移動中」の状態に対応する操作が「カーソルを右に移動させる」の場合、カーソルを右に移動させるコマンドを出力する。

［記憶部］
手の重心の変位と、掌の面積の変動と、指の長さの変動および角度とからなる要素の組み合わせと、ジェスチャーとの関係、並びに、ジェスチャーと実行する操作との関係が格納されたデータベース機能を有する。主に、メモリ、ハードディスク、ＣＤ、ＤＶＤなどの格納手段によって実装される。

以上の機能要素を有するジェスチャー認識装置１０００が行うジェスチャー認識方法のフロー図を図５に示す。次に、このジェスチャー認識装置１０００が処理装置に所定の操作を行わせる場合の実施例を以下に示す。なお、以下の実施例においては、図５のフロー図に示す処理が継続的に行われていることに留意されたい。

（操作内容） 処理装置の画面上にメニューを表示させる。
（条件） 手が一本指の状態で画面上の所定の位置に一定の期間（０．５秒間とする）停止させると開始の合図となって画面上のカーソルが変化する。さらにその状態で一定の期間（３秒間とする）停止させると画面上にメニューが表示される。
（処理内容）
図６は処理装置の画面とそれをジェスチャーで操作する手を示す図で、図７はこの処理のフロー図である。まず、手領域検出部２０がユーザの手の形状が一本指であるかどうかを判断する（ステップＳ１００）。一本指形状と判断した場合に（ステップＳ１００で「ＹＥＳ」）、手に重心の移動方向に合わせて画面上のカーソルを移動させる（図６（ａ））。次に、ジェスチャー識別部６０が掌の重心が変動中で、掌の面積が一定で、指の長さが一定であるかどうかを判断する（ステップＳ１３０）。掌の重心が変動中で、掌の面積が一定で、指の長さが一定であると判断した場合（ステップＳ１３０で「ＹＥＳ」）、この状態で経過時間をカウントする（ステップＳ１４０）。経過時間が０．５秒になったら（ステップＳ１４０で「ＹＥＳ」）、画面上のカーソルの形状や色を変化させ、メニューが表示されることをビジュアル的にユーザに知らせる（ステップＳ１５０）（図６（ｂ）（ｃ））。この状態で経過時間を再びカウントし、経過時間が３秒となったら（ステップＳ１６０で「ＹＥＳ」）、画面上にメニューを表示させて、この処理を終了する（ステップＳ１７０）（図６（ｄ））。

（操作内容） 画面上のオブジェクトの拡大／縮小
（条件） 手を二本指形状にして、かつカーソルを画面上の所定の位置で一定の期間（０．５秒間とする）静止させると開始の合図。その状態で当該二本指の間隔を狭めると画面に表示されたオブジェクトが縮小し、広げると拡大する。そして、無意識動作（表１参照）になると終了の合図とする。
（処理内容）
図８は、ユーザの手と画面との対応を示したものであり、図９はこの時に行う処理のフロー図である。まず、手領域検出部２０がユーザの手の形状が二本指であるかどうかを判断する（ステップＳ２００）。二本指であると判断したら（ステップＳ２００で「ＹＥＳ」）、次はカーソルが画面上の予め決められた所定の領域内にあるかどうかを判断する（ステップＳ２１０）。所定の位置にあると判断したら（ステップＳ２１０で「ＹＥＳ」）、ジェスチャー識別部６０が掌の重心が静止で、掌の面積が一定で、指の長さが一定であるかどうかを判断する（ステップＳ２２０）。手の重心が静止中で、掌の面積が一定で、指の長さが一定であると判断したら（ステップＳ２２０で「ＹＥＳ」）、オブジェクトの拡大／形状の操作の開始と判断し、この状態で経過時間をカウントする（ステップＳ２３０）。０．５秒経過したら（ステップＳ２３０で「ＹＥＳ」）、指の長さの変化、すなわち伸長／短縮に応じて画面上のオブジェクトを拡大／縮小する（ステップＳ２４０）。このとき、掌の重心が移動、面積が縮小、指の長さが短縮、すなわち、ユーザの手が無意識動作になったことを認識し（ステップＳ２５０）、さらに、画面上でカーソルが所定の領域外に移動したと判断した場合（ステップＳ２６０）、操作の終了と判断し、処理を終了する。

（操作内容） 画面上のオブジェクトの回転／移動
（条件） 手を二本指形状にして、かつカーソルを画面上の所定の領域内で一定の期間（０．５秒間とする）静止させると開始の合図。その状態で二本指の位置を移動させるとオブジェクトも移動し、手を回転させるとオブジェクトも回転する。そして、無意識動作（表１参照）になると終了の合図。
（処理内容）
図１０は、ユーザの手と画面との対応を示したものであり、図１１はこの時に行う処理のフロー図である。このフロー図において、図９のフロー図の手順と同一のものには同一のステップ番号を付与してその説明を省略する。操作開始の判断後（ステップＳ２３０で「ＹＥＳ」）、掌の重心が一定で、かつ指の角度が変動していると判断した場合には、画面上のオブジェクトをその変動した角度に応じて回転させる（ステップＳ３４０）。一方、指の角度が一定で、かつ掌の重心が変動した場合には、画面上のオブジェクトをその移動に合わせて移動させる（ステップＳ３４５）。

以上が本発明の一実施形態に係るジェスチャー認識装置１０００が実施する操作の例である。しかし、ジェスチャー認識装置１０００の実施内容は当然のことながら上述の例に限定されるものではない。例えば、ユーザの指先の動きを用いて、画面上に並んだフォルダや画像などを水平または垂直方向にスクロールやコマ送りをしてもよい。以下にこの手法を用いた実施例４を説明する。

（操作内容） 画面上のオブジェクトの移動、回転、拡大、縮小
（条件） 手を二本指形状にして一定の期間（０．５秒間とする）静止させると開始の合図。その状態で二本指の位置を移動させるとオブジェクトが移動し、二本指の角度を変えるとオブジェクトが回転する。さらに、二本指の間隔を変更するとオブジェクトが拡大または縮小する。そして、手を二本指形状にして一定の期間（３秒間とする）静止させると終了の合図。
（処理内容）
図１２は、ユーザの手と画面との対応を示したものであり、図１３はこの時に行う処理のフロー図である。まず、手領域検出部２０がユーザの手の形状が二本指であるかどうかを判断する（ステップＳ４００）。二本指であると判断したら（ステップＳ４００で「ＹＥＳ」）、ジェスチャー識別部６０が二本指の指先が静止、すなわち指先の座標が一定であるかどうかを判断する（ステップＳ４１０）。二本指の指先が静止状態であると判断したら（ステップＳ４１０で「ＹＥＳ」）、この状態で経過時間をカウントする（ステップＳ４２０）。０．５秒経過したら（ステップＳ４２０で「ＹＥＳ」）、操作開始と判断する。また、このときの二本指の指先の座標を基点とする。次に、ステップＳ４３０、Ｓ４４０、Ｓ４５０の処理を行う。なお、説明の便宜上、フロー図ではこれらの処理は相互に独立して行われるように記載しているが、実際は同時に行われる。
二本指の指先の座標の間の中点を求め、その中点の位置の移動に応じて対象のオブジェクトを移動する（ステップＳ４３０）。
二本指の指先の座標の間の距離を求め、その距離の変動に応じて対象のオブジェクトを拡大または縮小する（ステップＳ４４０）。例えば、指先の座標間の距離が大きくなれば、その増加分に応じてオブジェクトを拡大し、距離が小さくなれば、その減少分に応じてオブジェクトを縮小する。
二本指の指先の座標を結んだ直線の角度を求め、その角度の変動に応じて対象のオブジェクトを回転する（ステップＳ４５０）。例えば、指先の座標を結んだ直線が右回りに所定の角度だけ回転すれば、オブジェクトを右回りにその角度だけ回転する。
二本指の指先の座標が静止状態であると判断したら（ステップＳ４６０で「ＹＥＳ」）、この状態で経過時間をカウントする（ステップＳ４７０）。３秒経過したら（ステップＳ４７０で「ＹＥＳ」）、操作の終了と判断し、処理を終了する。

なお、以上のステップＳ４３０ないしＳ４５０の処理では、指先の座標の相対位置に基づいて動作を確定するため、指先の座標の絶対位置は考慮しない。従って、指先の位置は操作対象となるオブジェクトの上に位置する必要はなく、画面上の任意の領域内に位置してよい。

上記実施例１ないし３では、操作期間中における手の挙動を掌面積、指の長さ、指の角度等の組み合わせで判断しているが、実施例４では２本の指先の位置のみに基づいて判断している。これは、操作期間中はユーザの手の位置が撮像装置に対して大きくブレない（変動しない）という根拠に基づく。実施例４のジェスチャーの操作終了には一定の時間が掛かるが、認識処理が単純なため指の素早い動きにも好適に追従することができる。

以上に渡り、ジェスチャー認識装置１０００が処理装置に所定の操作を行わせる場合の実施例を説明した。また、上記実施例には記載していないが、同時に複数の指の状態を個別に認識して、それぞれの指の状態に応じた複数の操作を同時に行ってもよい。あるいは、両手のジェスチャーを同時に認識して、それぞれのジェスチャーに応じた操作を同時に行ってもよい。

本発明の一実施形態に係るジェスチャー認識装置１０００が適応される処理装置は特に限定するものではない。例えばパーソナルコンピュータ、携帯端末、ＡＴＭ、カーナビゲーション、自動販売機、携帯電話、ＯＡ機器等の様々な機器に適用してよい。

なお、本発明の一実施形態にジェスチャー認識装置１０００が有する機能は、特定のハードウェア資源またはソフトウェア処理に限定されないことに留意されたい。すなわち、この機能を実現できる限り、如何なるハードウェア（電子回路等）、ソフトウェア（プログラム）、あるいはそれらの組み合わせ等を用いてよい。

上述した本発明の一実施形態に係るジェスチャー認識方法を、プログラムとして実装する場合には、このプログラムを外部のサーバ等から該方法を実行する情報処理装置にダウンロードするか、あるいはコンピュータ可読媒体の形態で分配されることが好ましい。コンピュータ可読媒体の例としては、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、フレキシブルディスク、光磁気ディスク、ハードディスク、メモリ媒体などが挙げられる。

以上、本発明を図面に示した実施形態を用いて説明したが、これらは例示的なものに過ぎず、本技術分野の当業者ならば、本発明の範囲および趣旨から逸脱しない範囲で多様な変更および変形が可能なことは理解できるであろう。したがって、本発明の範囲は、説明された実施形態によって定められず、特許請求の範囲に記載された技術的趣旨により定められねばならない。

１０ フレーム画像受信部
２０ 手領域検出部
３０ 掌重心特定部
４０ 掌面積特定部
５０ 指長さ／角度特定部
６０ ジェスチャー識別部
７０ 操作決定部
８０ 記憶部
１０００ ジェスチャー認識装置

Claims (21)

1. 処理装置に搭載され、動画像を介して自由空間における人間の手によるジェスチャーを認識し、該認識したジェスチャーに応じた所定の操作を前記処理装置に実行させるジェスチャー認識装置であって、
   前記手の掌部分の重心を特定する掌重心特定手段と、
   前記手の掌部分の面積を特定する掌面積特定手段と、
   前記重心と手の指先との間の距離を求める指長さ算出手段と、
   前記重心と指先とを結んだ直線がなす角度を求める角度算出手段と、
   前記手の掌部分の重心の変位と、前記手の掌部分の面積の変動と、前記重心と手の指先との間の距離の変動と、前記重心と指先とを結んだ直線がなす角度の変動と、の組み合わせによって、前記ジェスチャーを識別するジェスチャー識別手段と、
   を備えることを特徴とするジェスチャー認識装置。
2. 前記ジェスチャー識別手段は、前記手の掌部分の重心が変位したときに、前記手が上下左右の何れかに移動したと判断することを特徴とする請求項１に記載のジェスチャー認識装置。
3. 前記ジェスチャー識別手段は、前記手の掌部分の面積が変動したときに、前記手が前後の何れかに移動したと判断することを特徴とする請求項１または２に記載のジェスチャー認識装置。
4. 前記ジェスチャー識別手段は、前記手の掌部分の面積が一定で、かつ前記重心と手の指先との間の距離が変動したときに、前記手の指が示す形状が変化したと判断することを特徴とする請求項１ないし３の何れか一項に記載のジェスチャー認識装置。
5. 前記ジェスチャー識別手段は、前記重心と指先とを結んだ直線がなす角度が変動したときに、前記手の掌部分が回転していると識別することを特徴とする請求項１ないし４の何れか一項に記載のジェスチャー認識装置。
6. 前記ジェスチャーは、操作開始を示すジェスチャーと、操作を実行するジェスチャーと、操作終了を示すジェスチャーと、を含むことを特徴とする請求項１ないし５の何れか一項に記載のジェスチャー認識装置。
7. 前記操作終了を示すジェスチャーは、前記掌の重心が下方向に移動し、前記掌の面積が減少し、前記重心と手の指先との間の距離が短縮した場合に該当することを特徴とする請求項６に記載のジェスチャー認識装置。
8. 前記処理装置に実行させる操作は、該処理装置の画面にメニューを表示させること、該処理装置の画面に表示されたオブジェクトの大きさを変えること、該処理装置の画面に表示されたオブジェクトを移動および回転させること、該処理装置の画面に表示された複数の画像をスクロールまたはコマ送りすること、を含むことを特徴とする請求項１ないし７の何れか一項に記載のジェスチャー認識装置。
9. 前記ジェスチャー認識装置は複数のジェスチャーを同時に認識し、該認識したジェスチャーのそれぞれに応じた操作を前記処理装置に同時に実行させることを特徴とする請求項１ないし８の何れか一項に記載のジェスチャー認識装置。
10. 前記処理装置は、パーソナルコンピュータと、携帯端末と、カーナビゲーションと、携帯電話と、を含むことを特徴とする請求項１ないし９の何れか一項に記載のジェスチャー認識装置。
11. 動画像を介して自由空間における人間の手によるジェスチャーを認識し、該認識したジェスチャーに応じた所定の操作を処理装置に実行させるジェスチャー認識方法であって、
    前記手の掌部分の重心を特定する掌重心特定段階と、
    前記手の掌部分の面積を特定する掌面積特定段階と、
    前記重心と手の指先との間の距離を求める指長さ算出段階と、
    前記重心と指先とを結んだ直線がなす角度を求める角度算出段階と、
    前記手の掌部分の重心の変位と、前記手の掌部分の面積の変動と、前記重心と手の指先との間の距離の変動と、前記重心と指先とを結んだ直線がなす角度の変動と、の組み合わせによって、前記ジェスチャーを識別するジェスチャー識別段階と、
    を含むことを特徴とするジェスチャー認識方法。
12. 前記ジェスチャー識別段階で、前記手の掌部分の重心が変位したときには、前記手が上下左右の何れかに移動したと判断することを特徴とする請求項１１に記載のジェスチャー認識方法。
13. 前記ジェスチャー識別段階で、前記手の掌部分の面積が変動したときには、前記手が前後の何れかに移動したと判断することを特徴とする請求項１１または１２に記載のジェスチャー認識方法。
14. 前記ジェスチャー識別段階で、前記手の掌部分の面積が一定で、かつ前記重心と手の指先との間の距離が変動したときには、前記手の指が示す形状が変化したと判断することを特徴とする請求項１１ないし１３の何れか一項に記載のジェスチャー認識方法。
15. 前記ジェスチャー識別段階で、前記重心と指先とを結んだ直線がなす角度が変動したときには、前記手の掌部分が回転していると識別することを特徴とする請求項１１ないし１４の何れか一項に記載のジェスチャー認識方法。
16. 前記ジェスチャーは、操作開始を示すジェスチャーと、操作を実行するジェスチャーと、操作終了を示すジェスチャーと、を含むことを特徴とする請求項１１ないし１５の何れか一項に記載のジェスチャー認識方法。
17. 前記操作終了を示すジェスチャーは、前記掌の重心が下方向に移動し、前記掌の面積が減少し、前記重心と手の指先との間の距離が短縮した場合に該当することを特徴とする請求項１６に記載のジェスチャー認識方法。
18. 前記処理装置に実行させる操作は、該処理装置の画面にメニューを表示させること、該処理装置の画面に表示されたオブジェクトの大きさを変えること、該処理装置の画面に表示されたオブジェクトを移動および回転させること、該処理装置の画面に表示された複数の画像をスクロールまたはコマ送りすること、を含むことを特徴とする請求項１１ないし１７の何れか一項に記載のジェスチャー認識方法。
19. 請求項１１ないし１８の何れか一項に記載のジェスチャー認識方法を実行する電子回路。
20. 請求項１１ないし１８の何れか一項に記載のジェスチャー認識方法を前記処理装置に実行させるプログラム。
21. 請求項２０に記載のプログラムを格納したコンピュータ可読媒体。
    

Images