JP6155786B2 - ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体 - Google Patents

Description

本発明は、本発明は、ユーザの動作からジェスチャを認識するジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体に関する。

近年、テレビジョン受像機、パーソナルコンピュータ、またはタブレット端末などに、ユーザの手指等によるジェスチャを認識するジェスチャ認識装置を組み込んだ電子機器が登場してきている。このような電子機器は、ユーザが手指等を動かすことにより、直感的な操作が可能になるという利点があり、ジェスチャ認識に関して様々な技術が開発されている。

例えば、特許文献１には、外形凸包頂点、手領域、腕領域等を検出して、ユーザの指による指示点を高精度に特定する技術が記載されている。また、特許文献２には、テンプレートマッチングにより、ユーザのジェスチャを認識する技術が記載されている。

特開２０１２−５９２７１号公報（２０１２年３月２２日公開） 特開平８−２７９０４４号公報（１９９６年１０月２２日公開）

ここで、ジェスチャ認識装置には、種々のジェスチャを高精度に、かつ、リアルタイムに（簡易な処理で）認識できることが求められる。しかしながら、上述のような従来技術は、上記の点に関して不十分である。具体的には、特許文献１に記載の技術は、ユーザの手の所定の形状の認識に特化したものであり、他の形状のジェスチャ認識に応用することが難しく、汎用性がない。また、特許文献２に記載の技術は、精度を向上させるためには、マッチングするパターン数を増やすこととなる。この場合、リソースが増大し、現実的には精度の向上に限界がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、種々のジェスチャを高精度に、かつ、簡易な処理で認識するジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体を実現することにある。

上記の課題を解決するために、本発明の一態様に係るジェスチャ認識装置は、ユーザを撮像した画像から手のジェスチャを認識するジェスチャ認識装置であって、上記画像から指先候補を検出する指先候補検出手段と、上記指先候補検出手段が検出した指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出手段と、上記指検出手段が検出した指の本数に基づいて、ジェスチャの種別を特定するジェスチャ種別特定手段と、を備えている。

上記の課題を解決するために、本発明の一態様に係るジェスチャ認識装置は、ユーザを撮像した画像から手のジェスチャを認識するジェスチャ認識装置であって、上記画像から指先候補を検出する指先候補検出手段と、上記指先候補検出手段が検出した指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出手段と、上記指検出手段が検出した指の指先位置を、ユーザが指示する位置として特定する指示位置特定手段と、を備えている。

上記の課題を解決するために、本発明の一態様に係るジェスチャ認識方法は、ユーザを撮像した画像から手のジェスチャを認識するジェスチャ認識方法であって、上記画像から指先候補を検出する指先候補検出ステップと、上記指先候補検出ステップにおいて検出された指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出ステップと、上記指検出ステップにおいて検出された指の本数に基づいて、ジェスチャの種別を特定するジェスチャ種別特定ステップと、を含む。

上記の課題を解決するために、本発明の一態様に係るジェスチャ認識方法は、ユーザを撮像した画像から手のジェスチャを認識するジェスチャ認識方法であって、上記画像から指先候補を検出する指先候補検出ステップと、上記指先候補検出ステップにおいて検出された指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出ステップと、上記指検出ステップにおいて検出された指の指先位置を、ユーザが指示する位置として特定する指示位置特定ステップと、を含む。

本発明の一態様によれば、種々のジェスチャを高精度に、かつ、簡易な処理で認識することができるという効果を奏する。

本発明の実施形態を示すものであり、ジェスチャ認識装置の要部構成を示すブロック図である。 上記ジェスチャ認識装置が認識する手のジェスチャの種別を示す図である。 ２値画像から検出される指先候補の一例を示す図である。 指先候補の重心位置からの肌領域の延伸方向を示す図である。 指先候補に基づいて、２値画像から指を検出する方法を示す図である。 指候補と手のひらとの位置関係を示す図である。 指候補に基づいて、２値画像から手のひらを検出する方法を示す図である。 検出された手のひら領域を示す図である。 指検出および手のひら検出の検出結果を示す図である。 上記ジェスチャ認識装置が実行するジェスチャ認識処理の一例を示すフローチャートである。

本発明の一実施形態について図１から図１０に基づいて説明すると以下の通りである。

〔ジェスチャ認識装置の構成〕
本発明に係るジェスチャ認識装置は、ユーザを撮像した画像から手のジェスチャを認識するものである。ジェスチャ認識装置は、テレビジョン受像機、パーソナルコンピュータ、携帯電話機、スマートフォン、タブレット端末、ゲーム機、デジタルカメラ、デジタルビデオカメラ等の電子機器に搭載される。また、ジェスチャ認識装置は、電子機器において、ユーザの操作入力インターフェースである操作部として機能するものである。

ここで、本実施形態に係るジェスチャ認識装置が認識するジェスチャについて図２に基づいて説明する。図２は、本実施形態に係るジェスチャ認識装置が認識する各種ジェスチャを示す図である。

図２に示すように、ジェスチャ認識装置は、６種の手のジェスチャを認識する。ここでは、図２（ａ）の手の形状を「０指形状」、（ｂ）の手の形状を「１指形状」、（ｃ）の手の形状を「２指形状」、（ｄ）の手の形状を「３指形状」、（ｅ）の手の形状を「４指形状」、（ｆ）の手の形状を「５指形状」と称するとする。

本実施形態に係るジェスチャ認識装置は、例えば、図２（ｃ）に示すように人差し指および中指を立てた形状と、人差し指および小指を立てた形状とを区別せず、どちらも「２指形状」として認識する。すなわち、本実施形態に係るジェスチャ認識装置は、指が立てられた本数に基づいて、手の形状を認識する。ただし、これに限るものではなく、ジェスチャ認識装置は、指が立てられた本数および立っている指の種別に基づいて、手の形状を認識してもよい。

図１は、ジェスチャ認識装置１の要部構成の一例を示すブロック図である。図１に示すように、ジェスチャ認識装置１は、制御部１１、記憶部１２、画像入力部１３および通信部１４を備えている。

画像入力部１３は、ジェスチャ認識装置１の外部の装置（図１に示す例ではカメラ２）とのインターフェースであり、ジェスチャ認識装置１が外部から画像を取得するためのものである。

通信部１４は、無線通信手段または有線通信手段によって、他の装置と通信を行い、制御部１１の指示に従って、データのやりとりを行うものである。本実施形態では、上述のように、ジェスチャ認識装置１は電子機器に搭載されており、通信部１４は、制御部１１の指示に従って、電子機器を統括的に制御する機器制御部３に信号を出力する。

制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ジェスチャ認識装置１が備える各部を統括的に制御するものである。

本実施形態では、制御部１１は、機能ブロックとして、画像取得部２１、手領域検出部２２、２値画像生成部２３、指先候補検出部（指先候補検出手段）２４、指検出部（指検出手段）２５、手のひら検出部（手のひら検出手段）２６、形状特定部（ジェスチャ種別特定手段）２７、指示位置特定部（指示位置特定手段）２８および制御信号出力部２９を備える構成である。これらの制御部１１の各機能ブロック（２１〜２９）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。

画像取得部２１は、画像入力部１３を介して、カメラ２が撮像したユーザの画像を取得するものである。ここで、画像取得部２１がカメラ２から取得した画像を入力画像と称する。画像取得部２１は、取得した入力画像を手領域検出部２２に出力する。なお、記憶部１２に画像が記憶されている場合、画像取得部２１は、記憶部１２から画像を読み出してもよい。

なお、画像取得部２１が取得する入力画像は、２次元画像であってもよいし、３次元画像であってもよい。すなわち、入力画像は、各画素の画素値（絵素値）に加え、各画素における奥行情報を有していてもよい。

手領域検出部２２は、画像取得部２１から入力画像を取得し、取得した入力画像からユーザの手を検出し、検出した手を含む手領域を入力画像から抽出するものである。手領域検出部２２は、抽出した手領域画像を２値画像生成部２３に出力する。

手領域検出部２２は、任意の公知技術を用いて、ユーザの手を検出することができる。例えば、手領域検出部２２は、予め記憶している背景画像と入力画像との差分に基づいて動領域を特定し、その特定した動領域を手領域として抽出してもよい。また、手領域検出部２２は、連続した複数の入力画像を取得し、フレーム間差分の累積が大きな領域を手領域として抽出してもよい。また、手領域検出部２２は、例えば、BoostingやＳＶＭ（Support Vector Machine）等、一般的に顔検出に用いられているものと同様の手法を用いて手を検出してもよい。また、ユーザに対して顔の横の所定の位置で手ジェスチャを行うように指示している場合、手領域検出部２２は、ユーザの顔を検出し、検出した顔を基準とした所定の位置の領域を手領域として抽出してもよい。また、手領域検出部２２は、奥行情報を利用して手領域を特定してもよい。

２値画像生成部２３は、手領域検出部２２から手領域画像を取得し、取得した手領域画像に対して２値化処理を行い、手領域画像において、肌領域とその他の領域とを区別した２値画像を生成するものである。２値画像生成部２３は、生成した２値画像を指先候補検出部２４、指検出部２５および手のひら検出部２６に出力する。

２値画像生成部２３は、任意の公知技術を用いて、手領域画像から２値画像を生成することができる。例えば、２値画像生成部２３は、背景差分で得られた領域を肌領域としてもよい。また、２値画像生成部２３は、予め定義した肌色モデルを利用して肌領域を抽出してもよい。また、２値画像生成部２３は、手領域画像の所定の位置（例えば、中央付近）の色を肌色モデルとして、肌領域を抽出してもよい。また、２値画像生成部２３は、エッジ検出（SobelやCanny等）を利用し、Snake等の輪郭抽出手法により閉輪郭を特定し、その閉輪郭によって閉じられた領域を肌領域として抽出してもよい。また、２値画像生成部２３は、奥行情報を利用して肌領域を特定してもよい。

指先候補検出部２４は、２値画像生成部２３から２値画像を取得し、２値画像から１または複数の指先候補を検出するものである。ここで、指先候補とは、２値画像において、指先と考えられる肌領域である。

具体的には、指先候補検出部２４は、２値画像上に対して、所定の大きさの矩形領域で走査し、当該矩形領域に含まれる肌領域の割合が所定範囲内であり、かつ、当該矩形領域に含まれる当該肌領域の重心位置が矩形領域の下半分に位置する肌領域を指先候補として特定する。例えば、指先候補検出部２４は、矩形領域に対する肌領域の割合が６０％〜８０％であり、かつ、当該肌領域の受信位置が矩形領域の下半分に位置する場合、当該肌領域を指先候補とする。

ここでは、ユーザがカメラに対して、図２に示すような指先が上側となる手ジェスチャを実行することを想定している。そのため、肌領域の重心位置が矩形領域の下半分に位置するという条件を用いて、指先候補であるか否かを判定している。

図３に示す例では、指先候補検出部２４は、２値画像５１に対して所定の大きさの矩形領域で走査し、上記の条件を満たす矩形領域５２に含まれる肌領域を指先候補とする。また、指先候補検出部２４は、指先候補の重心位置５３を特定する。

なお、指先候補検出部２４が検出する指先候補の数に上限を設けてもよい。例えば、指先候補検出部２４は、最大１０個まで指先候補を検出するようにしてもよい。

指先候補検出部２４は、検出した指先候補の重心位置を指検出部２５に出力する。指先候補検出部２４は、２値画像から指先候補が検出できなかった場合、指先候補が検出できなかったことを手のひら検出部２６に通知する。

指検出部２５は、指先候補検出部２４から指先候補の重心位置を取得し、取得した指先候補の重心位置から或る方向に連続的に所定距離延伸する肌領域を、指として検出するものである。

具体的には、指検出部２５は、指先候補の重心位置から肌領域が最も延伸する延伸方向を特定する。ここで、図４に示すように、本実施形態では、指検出部２５は、指先候補の重心位置５３から、上下左右斜めの８方向について探索する。図４に示す例では、下方向に最も肌領域が延伸しているため、指検出部２５は、延伸方向を「下方向」とする。

次に、指検出部２５は、図５に示すように、重心位置５３から延伸方向に向かって一定距離ごとに肌領域が延伸しているか否かを判定する。この判定結果を基に、肌領域が重心位置から延伸方向に所定距離延伸していれば、当該肌領域を指候補として特定する。

より具体的には、指検出部２５は、指先候補の重心位置における、特定した延伸方向と直交する方向の肌領域の基準幅ｗ１を特定する。そして、重心位置から延伸方向に一定距離離れた位置における、延伸方向と直交する方向の肌領域の幅と、上記基準幅ｗ１との差分値が所定値（例えば、基準幅ｗ１の１５％）以下であれば、一定距離離れた位置まで延伸方向に肌領域が延伸していると判定する。次に、肌領域が延伸していると判定した位置から一定距離離れた位置に対して判定を行う。このようにして、基準幅ｗ１との差分値が所定値以下でない、または、２値画像の領域外になるまで判定を行う。そして、指検出部２５は、肌領域が延伸していると判定した位置であって、延伸方向の末端の位置を特定する。指検出部２５は、指先候補の重心位置から、この特定した指末端位置までの距離が所定の範囲内であれば、指先候補から指末端位置まで延伸方向に延伸する肌領域を指候補として特定する。

ここで、指検出部２５は、指候補として特定した肌領域を「指」と判定してもよいが、本実施形態では、さらに、特定した指候補の延伸方向に手のひら領域が存在するか否かを判定する。指検出部２５は、特定した指候補の延伸方向に手のひら領域があれば、当該指候補の肌領域を「指」と判定する。

そこで、指検出部２５は、まだ１本も「指」を検出していない場合、手のひら検出部２６に、特定した指候補の指末端位置および延伸方向を出力する。そして、手のひら検出部２６から、手のひら領域の検出結果を取得し、特定した指候補の延伸方向に手のひら領域があるか否かを判定する。一方、指検出部２５は、既に１本以上「指」を検出している場合、手のひら検出部２６から既に取得している手のひら領域の検出結果に基づいて、特定した指候補の延伸方向に手のひら領域があるか否かを判定する。

例えば、図６に示すように、２本目以降の指として、指検出部２５が線分５８で示される指候補と、線分５９で示される指候補とを検出したとする。この場合、指検出部２５は、延伸方向に手のひら領域が存在するため、線分５８で示される指候補を指であると判定する。一方、指検出部２５は、延伸方向に手のひら領域が存在しないため、線分５９で示される指候補を指ではないと判定する。

なお、指検出部２５は、さらに、エッジ検出をしたり、奥行情報を参照したりして、指検出の精度を上げてもよい。

指検出部２５は、検出した指の本数を形状特定部２７に通知する。また、指検出部２５は、さらに、検出した指の指先の重心位置、延伸方向、指末端位置の少なくとも１つを形状特定部２７に通知してもよい。

また、指検出部２５は、検出した指の少なくとも１つの指先の重心位置を指示位置特定部２８に通知する。

手のひら検出部２６は、２値画像生成部２３から２値画像を取得し、取得した２値画像から手のひら領域を検出するものである。

具体的には、図７に示すように、手のひら検出部２６は、指検出部２５から指候補の指末端位置５６および延伸方向を取得し、指末端位置５６における、延伸方向と直交する方向の肌領域の基準幅ｗ２を特定する。そして、指末端位置から延伸方向に一定距離離れた位置における、延伸方向と直交する方向の肌領域の幅と、上記基準幅ｗ２との差分値が所定値（例えば、基準幅ｗ２の３０％）以下であるか否かを判定する。上記基準幅ｗ２との差分値が所定値以下であると判定した場合、その位置からさらに一定距離離れた位置に対して同じ判定を行う。このようにして、基準幅ｗ２との差分値が所定値以下でない、または、２値画像の領域外になるまで判定を行う。そして、手のひら検出部２６は、上記基準幅ｗ２との差分値が所定値以下であると判定した位置であって、延伸方向の末端の位置である手のひら末端位置を特定する。手のひら検出部２６は、指末端位置から、この特定した手のひら末端位置までの連続的に延伸する肌領域を手のひら領域として特定する。図８に示す例では、手のひら検出部２６は、肌領域５７を手のひら領域として特定する。

なお、手のひら検出部２６は、後述の初期情報、エッジ情報、奥行情報等に基づいて、指末端位置から手のひら末端位置までの肌領域が所定の大きさの範囲内であるか否かを判定して、手のひら領域の検出精度を上げてもよい。

また、手のひら検出部２６は、指先候補検出部２４から指先候補が検出できなかったことを通知されると、２値画像から手のひら領域を検出する。ここで、手のひら検出部２６は、予めユーザの手のひらの大きさを示す初期情報を設定しておく。そして、手のひら検出部２６は、初期情報に基づいて、２値画像から手のひら領域を検出する。手のひら検出部２６は、例えば、ジェスチャ操作の開始時などに、ユーザに対して所定の手ジェスチャをするように指示し、その時撮像された画像からユーザの手のひらの大きさを取得して、初期情報を設定してもよい。また、初期情報は、ユーザの手の位置、背景画像等を示す情報を含んでいてもよい。

なお、手のひら検出部２６は、その他の任意の公知技術を用いて手のひらを検出してもよい。

手のひら検出部２６は、指検出部２５および形状特定部２７に手のひら領域の検出結果を通知する。手のひら検出部２１６は、指検出部２５には、検出結果として、手のひら領域の有無を通知し、手のひら領域を検出した場合、検出した手のひら領域の位置を通知する。手のひら検出部２６は、形状特定部２７に、少なくとも手のひら領域の有無を通知する。手のひら検出部２６は、形状特定部２７に、手のひら領域の位置も通知してもよい。

形状特定部２７は、指検出部２５が検出した指の本数に基づいて、手ジェスチャの種別を特定するものである。具体的には、形状特定部２７は、指検出部２５が検出した指の本数に基づいて、「０指形状」、「１指形状」、「２指形状」、「３指形状」、「４指形状」または「５指形状」のいずれのジェスチャであるかを特定する。

例えば、図９に示すように、指検出部２５が指を５本検出した場合、形状特定部２７は、「５指形状」のジェスチャであると判定する。

ここで、指検出部２５が検出した指が０本、つまり、指検出部２５が指を検出できなかった場合、ユーザが「０指形状」のジェスチャを実行している状態か、または、ユーザが有効なジェスチャを実行していない状態が考えられる。そこで、形状特定部２７は、さらに、手のひら検出部２６から手のひら領域の検出結果を取得し、指検出部２５が検出した指の本数が０であり、かつ、手のひら検出部２６が手のひら領域を検出した場合、「０指形状」のジェスチャであると判定してもよい。この場合、形状特定部２７は、指検出部２５が検出した指の本数が０であり、かつ、手のひら検出部２６が手のひら領域を検出しなかった場合、該当するジェスチャ無しとする。

さらに、形状特定部２７は、指検出部２５が検出した指の位置および長さ（指先（例えば、重心位置）から指末端位置までの距離）、並びに、手のひら検出部２６が検出した手のひら領域の位置および大きさ（面積）、並びに、エッジ情報および奥行情報等を利用して、統計的識別手法（ＳＶＭまたはニューラルネットワーク等）に基づいて、ジェスチャの種別を判別してもよい。

指示位置特定部２８は、指検出部２５が検出した何れかの指の指先の重心位置を指示位置として特定するものである。指示位置特定部２８は、さらに、形状特定部２７が特定したジェスチャの種別、並びに、指検出部２５が検出した指の位置および長さ、並びに、手のひら検出部２６が検出した手のひら領域の位置および大きさ（面積）、並びに、エッジ情報および奥行情報等を利用して、所定の指（例えば、人差し指）の指先の重心位置を指示位置として特定してもよい。

制御信号出力部２９は、形状特定部２７が特定したジェスチャの種別および指示位置特定部２８が特定した指示位置の少なくとも１つを示す制御信号を生成し、生成した制御信号を通信部１４を介して機器制御部３に出力するものである。

記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記の初期情報等を格納している。

〔ジェスチャ認識装置が実行するジェスチャ認識処理〕
次に、ジェスチャ認識装置１が実行するジェスチャ認識処理について図１０に基づいて説明する。図１０は、ジェスチャ認識装置１が実行するジェスチャ認識処理の流れを示すフローチャートである。

図５に示すように、まず、画像取得部２１は、画像入力部１３を介して、ユーザが撮像された入力画像を取得する（Ｓ１）。次に、手領域検出部２２は、入力画像からユーザの手を検出し、検出した手を含む手領域を入力画像から抽出する（Ｓ２）。そして、２値画像生成部２３は、手領域画像に対して２値化処理を行い、２値画像を生成する（Ｓ３）。

指先候補検出部２４は、２値画像から１または複数の指先候補の検出を実行する（Ｓ４）。ここで、指先候補検出部２４が１以上の指先候補を検出した場合（Ｓ５でＹＥＳ）、指先候補検出部２４は、検出した指先候補を保存する（Ｓ６）。

次に、指検出部２５は、指先候補検出部２４が検出した指先候補から１つ選択する（Ｓ７）。指検出部２５は、選択した指先候補の重心位置から或る方向に所定距離延伸する肌領域があるか否かを判定して、指候補の検出を実行する（Ｓ８）。ここで、指検出部２５が選択した指先候補に基づいて指候補を検出できなかった場合（Ｓ９でＮＯ）、Ｓ１８に進む。一方、指検出部２５が選択した指先候補に基づいて指候補を検出した場合（Ｓ９でＹＥＳ）、既に「指」が検出されているか否かを判定する（Ｓ１０）。

指検出部２５がまだ１本も指を検出していない場合（Ｓ１０でＮＯ）、手のひら検出部２６は、指検出部２５が検出した指候補に基づいて、手のひら領域の検出を実行する（Ｓ１１）。ここで、手のひら検出部２６が手のひら領域を検出した場合（Ｓ１２でＹＥＳ）、指検出部２５は、検出した指候補を指であると判定する（Ｓ１３）。一方、手のひら検出部２６が手のひら領域を検出しなかった場合（Ｓ１２でＮＯ）、指検出部２５は、検出した指候補を指ではないと判定する（Ｓ１４）。

Ｓ１０において、指検出部２５が既に１本以上指を検出している場合（Ｓ１０でＹＥＳ）、指検出部２５は、検出した指候補の延伸方向に、手のひら検出部２６が検出した手のひら領域が存在するか否かを判定する（Ｓ１５）。指検出部２５は、検出した指候補の延伸方向に手のひら領域が存在する場合（Ｓ１５でＹＥＳ）、検出した指候補を指であると判定する（Ｓ１６）。一方、指検出部２５は、検出した指候補の延伸方向に手のひら領域が存在しない場合（Ｓ１５でＮＯ）、検出した指候補を指ではないと判定する（Ｓ１７）。

ここで、指検出部２５は、指先候補検出部２４が検出した全ての指先候補に対して処理を行ったかどうか判定する（Ｓ１８）。指検出部２５は、全ての指先候補に対して処理を行っていなければ（Ｓ１８でＮＯ）、Ｓ７に戻り、指先候補検出部２４が検出した別の指先候補を選択する。一方、指検出部２５は、全ての指先候補に対して処理を行った場合（Ｓ１８でＹＥＳ）、指検出部２５が指を１本以上検出したか否かを判定する（Ｓ１９）。

指検出部２５が指を１つも検出できなかった場合（Ｓ１９でＮＯ）、および指先候補検出部２４が指先候補を１つも検出できなかった場合（Ｓ５でＮＯ）、手のひら検出部２６は、初期情報に基づいて２値画像から手のひらの検出を実行する（Ｓ２０）。手のひら検出部２６が手のひらを検出できなければ（Ｓ２１でＮＯ）、ジェスチャ認識処理を終了する。一方、手のひら検出部２６は、手のひらを検出した場合（Ｓ２１でＹＥＳ）、検出結果を形状特定部２７に通知する。

また、指検出部２５は、指を１本以上検出した場合（Ｓ１９でＹＥＳ）、検出結果を形状特定部２７および指示位置特定部２８に通知する。

形状特定部２７は、指検出部２５および手のひら検出部２６の検出結果に基づいて、手ジェスチャの種別を特定する（Ｓ２２）。また、指示位置特定部２８は、指検出部２５の検出結果に基づいて、指示位置を特定する（Ｓ２３）。そして、制御信号出力部２９は、ジェスチャに応じた制御信号を生成し、生成した制御信号を機器制御部３に出力する（Ｓ２４）。

〔ソフトウェアによる実現例〕
ジェスチャ認識装置１の制御ブロック（特に制御部１１）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、ジェスチャ認識装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係るジェスチャ認識装置は、ユーザを撮像した画像から手のジェスチャを認識するジェスチャ認識装置であって、上記画像から指先候補を検出する指先候補検出手段と、上記指先候補検出手段が検出した指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出手段と、上記指検出手段が検出した指の本数に基づいて、ジェスチャの種別を特定するジェスチャ種別特定手段と、を備えている。

上記の構成によれば、上記指先候補検出手段がユーザを撮像した画像から指先と考えられる指先候補を検出し、上記指検出手段が、当該指先候補から或る方向に所定距離延伸する肌領域を、指として検出する。すなわち、ジェスチャ認識装置は、簡易な処理で画像から指を検出することができる。

また、上記ジェスチャ種別特定手段は、検出された指の本数に基づいて、ジェスチャの種別を特定する。ここで、本発明に係るジェスチャ認識装置は、手のジェスチャを認識するものであり、当該ジェスチャは立てられた指の本数で分類される。そのため、ジェスチャ認識装置は、指の本数に基づいて、ジェスチャの種別を正確に判別することができる。

よって、種々のジェスチャを高精度に、かつ、簡易な処理で認識することができるという効果を奏する。

本発明の態様２に係るジェスチャ認識装置は、ユーザを撮像した画像から手のジェスチャを認識するジェスチャ認識装置であって、上記画像から指先候補を検出する指先候補検出手段と、上記指先候補検出手段が検出した指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出手段と、上記指検出手段が検出した指の指先位置を、ユーザが指示する位置として特定する指示位置特定手段と、を備えている。

上記の構成によれば、上記指先候補検出手段がユーザを撮像した画像から指先と考えられる指先候補を検出し、上記指検出手段が、当該指先候補から或る方向に所定距離延伸する肌領域を、指として検出する。すなわち、ジェスチャ認識装置は、簡易な処理で画像から指を検出することができる。

ここで、ユーザは、手によって位置を示す場合、何れかの指先でその位置を指し示すと考えられる。そのため、上記指示位置特定手段が指先位置をユーザの指示位置として特定することにより、ジェスチャ認識装置は、ジェスチャによってユーザが指示する位置を認識することができる。

よって、種々のジェスチャを高精度に、かつ、簡易な処理で認識することができるという効果を奏する。

本発明の態様３に係るジェスチャ認識装置は、上記態様１または２において、上記指検出手段は、上記或る方向を、上記指先候補検出手段が検出した指先候補の重心位置から肌領域が最も延伸する方向としてもよい。

ここで、指先の重心位置から肌領域が最も延伸する方向は、指が延伸する方向である。そのため、上記の構成によれば、上記指検出手段は、指が延伸する方向を正しく特定することができる。

本発明の態様４に係るジェスチャ認識装置は、上記態様１〜３の何れかにおいて、上記指検出手段は、上記指先候補検出手段が検出した指先候補の重心位置における、上記或る方向と直交する方向の肌領域の基準幅ｗ１を特定し、上記直交方向の肌領域の幅と上記基準幅ｗ１との差分値が所定値以下であれば、上記或る方向に肌領域が延伸していると判定してもよい。

ここで、指は、或る方向に所定の長さ延伸する肌領域であって、指先の幅とほぼ同程度の幅を有する肌領域である。そのため、上記の構成によれば、指先候補から延伸する肌領域が指であるか否かを正確に判定することができる。

本発明の態様５に係るジェスチャ認識装置は、上記態様１〜４の何れかにおいて、上記指先候補検出手段は、上記画像上に対して、所定の大きさの矩形領域で走査し、当該矩形領域に含まれる肌領域の割合が所定範囲内であり、かつ、当該肌領域の重心位置が上記矩形領域の下半分に位置する肌領域を上記指先候補としてもよい。

ここで、本発明に係るジェスチャ認識装置は、指先がカメラ（画像）の上に向くようにユーザがジェスチャをすることを想定している。そのため、画像上の指先を含む領域を抽出した場合、抽出した領域の下方に指先が位置すると考えられる。よって、上記の構成のように、指先候補を検出することにより、指先の可能性が高いものを指先候補として検出することができる。

本発明の態様６に係るジェスチャ認識装置は、上記態様１〜５の何れかにおいて、上記画像から手のひらを検出する手のひら検出手段をさらに備え、上記指検出手段は、上記指先候補から或る方向に所定距離延伸する肌領域を指候補とし、当該指候補から上記或る方向に上記手のひら検出手段が検出した手のひらが位置する場合、当該指候補を指として検出してもよい。

上記の構成によれば、上記指検出手段は、指候補が延伸する方向に手のひらが位置する場合、当該指候補を指として検出する。そのため、指検出手段は、より正確に指を検出することができる。

本発明の態様７に係るジェスチャ認識装置は、上記態様４において、上記画像から手のひらを検出する手のひら検出手段をさらに備え、上記指検出手段は、上記指先候補から或る方向に所定距離延伸する肌領域を指候補とし、当該指候補から上記或る方向に上記手のひら検出手段が検出した手のひらが位置する場合、当該指候補を指として検出し、上記指検出手段は、既に１本以上指を検出している場合、１本目の指の上記基準幅ｗ１を用いて、２本目以降の指検出を実行してもよい。

上述のように、指候補が延伸する方向に手のひらが位置する場合、当該指候補が指である可能性が高い。また、５本の指の太さはほぼ同程度である。そのため、確度の高い指の幅を参照することにより、２本目以降の指検出の精度を向上させることができる。

本発明の態様８に係るジェスチャ認識装置は、上記態様６または７において、上記手のひら検出手段は、上記指検出手段が検出した指候補の末端位置における、当該指候補の上記或る方向と直交する方向の肌領域の基準幅ｗ２を特定し、上記末端位置から上記或る方向に連続的に延伸する肌領域であって、上記直交方向の肌領域の幅と上記基準幅ｗ２との差分値が所定値以下である肌領域を手のひらとして検出してもよい。

ここで、手のひらは、指が延伸する方向に連続的に延伸する肌領域であって、指の末端位置（指の付け根）の幅とほぼ同程度の幅を有する肌領域である。そのため、上記の構成によれば、指候補の末端位置から延伸する肌領域が手のひらであるか否かを正確に判定することができる。

また、上記ジェスチャ認識装置を備えている電子機器も本発明の範疇に含まれる。

本発明の態様１０に係るジェスチャ認識方法は、ユーザを撮像した画像から手のジェスチャを認識するジェスチャ認識方法であって、上記画像から指先候補を検出する指先候補検出ステップと、上記指先候補検出ステップにおいて検出された指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出ステップと、上記指検出ステップにおいて検出された指の本数に基づいて、ジェスチャの種別を特定するジェスチャ種別特定ステップと、を含む。

本発明の態様１１に係るジェスチャ認識方法は、ユーザを撮像した画像から手のジェスチャを認識するジェスチャ認識方法であって、上記画像から指先候補を検出する指先候補検出ステップと、上記指先候補検出ステップにおいて検出された指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出ステップと、上記指検出ステップにおいて検出された指の指先位置を、ユーザが指示する位置として特定する指示位置特定ステップと、を含む。

本発明の各態様に係るジェスチャ認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記ジェスチャ認識装置が備える各手段として動作させることにより上記ジェスチャ認識装置をコンピュータにて実現させるジェスチャ認識装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、ジェスチャにより操作可能な電子機器に利用することができる。

１ ジェスチャ認識装置
２１ 画像取得部
２２ 手領域検出部
２３ ２値画像生成部
２４ 指先候補検出部（指先候補検出手段）
２５ 指検出部（指検出手段）
２６ 手のひら検出部（手のひら検出手段）
２７ 形状特定部（ジェスチャ種別特定手段）
２８ 指示位置特定部（指示位置特定手段）
２９ 制御信号出力部

Claims (12)

1. ユーザを撮像した画像から手のジェスチャを認識するジェスチャ認識装置であって、
   上記画像から指先候補を検出する指先候補検出手段と、
   上記指先候補検出手段が検出した指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出手段と、
   上記指検出手段が検出した指の本数に基づいて、ジェスチャの種別を特定するジェスチャ種別特定手段と、を備えており、
   上記指先候補検出手段は、上記画像上に対して、所定の大きさの矩形領域で走査し、当該矩形領域に含まれる肌領域の割合が所定範囲内であり、かつ、当該肌領域の重心位置が上記矩形領域の下半分に位置する肌領域を上記指先候補とする
   ことを特徴とするジェスチャ認識装置。
2. ユーザを撮像した画像から手のジェスチャを認識するジェスチャ認識装置であって、
   上記画像から指先候補を検出する指先候補検出手段と、
   上記指先候補検出手段が検出した指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出手段と、
   上記指検出手段が検出した指の指先位置を、ユーザが指示する位置として特定する指示位置特定手段と、を備えており、
   上記指先候補検出手段は、上記画像上に対して、所定の大きさの矩形領域で走査し、当該矩形領域に含まれる肌領域の割合が所定範囲内であり、かつ、当該肌領域の重心位置が上記矩形領域の下半分に位置する肌領域を上記指先候補とする
   ことを特徴とするジェスチャ認識装置。
3. 上記指検出手段は、上記或る方向を、上記指先候補検出手段が検出した指先候補の重心位置から肌領域が最も延伸する方向とすることを特徴とする請求項１または２に記載のジェスチャ認識装置。
4. 上記指検出手段は、上記指先候補検出手段が検出した指先候補の重心位置における、上記或る方向と直交する方向の肌領域の基準幅ｗ１を特定し、上記直交方向の肌領域の幅と上記基準幅ｗ１との差分値が所定値以下であれば、上記或る方向に肌領域が延伸していると判定することを特徴とする請求項１〜３の何れか１項に記載のジェスチャ認識装置。
5. 上記画像から手のひらを検出する手のひら検出手段をさらに備え、
   上記指検出手段は、上記指先候補から或る方向に所定距離延伸する肌領域を指候補とし、当該指候補から上記或る方向に上記手のひら検出手段が検出した手のひらが位置する場合、当該指候補を指として検出することを特徴とする請求項１〜４の何れか１項に記載のジェスチャ認識装置。
6. 上記画像から手のひらを検出する手のひら検出手段をさらに備え、
   上記指検出手段は、上記指先候補から或る方向に所定距離延伸する肌領域を指候補とし、当該指候補から上記或る方向に上記手のひら検出手段が検出した手のひらが位置する場合、当該指候補を指として検出し、
   上記指検出手段は、既に１本以上指を検出している場合、１本目の指の上記基準幅ｗ１を用いて、２本目以降の指検出を実行することを特徴とすることを特徴とする請求項４に記載のジェスチャ認識装置。
7. 上記手のひら検出手段は、上記指検出手段が検出した指候補の末端位置における、当該指候補の上記或る方向と直交する方向の肌領域の基準幅ｗ２を特定し、上記末端位置から上記或る方向に連続的に延伸する肌領域であって、上記直交方向の肌領域の幅と上記基準幅ｗ２との差分値が所定値以下である肌領域を手のひらとして検出することを特徴とする請求項５または６に記載のジェスチャ認識装置。
8. 請求項１〜７の何れか１項に記載のジェスチャ認識装置を搭載する電子機器。
9. ユーザを撮像した画像から手のジェスチャを認識するジェスチャ認識方法であって、
   上記画像から指先候補を検出する指先候補検出ステップと、
   上記指先候補検出ステップにおいて検出された指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出ステップと、
   上記指検出ステップにおいて検出された指の本数に基づいて、ジェスチャの種別を特定するジェスチャ種別特定ステップと、を含み、
   上記指先候補検出ステップは、上記画像上に対して、所定の大きさの矩形領域で走査し、当該矩形領域に含まれる肌領域の割合が所定範囲内であり、かつ、当該肌領域の重心位置が上記矩形領域の下半分に位置する肌領域を上記指先候補とする
   ことを特徴とするジェスチャ認識方法。
10. ユーザを撮像した画像から手のジェスチャを認識するジェスチャ認識方法であって、
    上記画像から指先候補を検出する指先候補検出ステップと、
    上記指先候補検出ステップにおいて検出された指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出ステップと、
    上記指検出ステップにおいて検出された指の指先位置を、ユーザが指示する位置として特定する指示位置特定ステップと、を含み、
    上記指先候補検出ステップは、上記画像上に対して、所定の大きさの矩形領域で走査し、当該矩形領域に含まれる肌領域の割合が所定範囲内であり、かつ、当該肌領域の重心位置が上記矩形領域の下半分に位置する肌領域を上記指先候補とする
    ことを特徴とするジェスチャ認識方法。
11. 請求項１〜７の何れか１項に記載のジェスチャ認識装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
12. 請求項１１に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images