JP6153051B2 - 位置検出装置、位置検出方法及びプログラム - Google Patents

Description

本発明は、画像から人物の手の位置を検出する技術に関するものである。

近年、人物をカメラで撮影し、人物の手の動きによるジェスチャを認識することにより家電機器等の遠隔操作を可能とする技術が普及しつつある。ジェスチャを認識するためには、人物を撮影した画像から手の位置を検出することが不可欠である。手の位置を検出するための技術としては、例えば下記特許文献１には、画像から人物の顔を検出し、画像内における顔の位置から人物の姿勢を推定した後、推定した姿勢に基づいて人物の手の位置を検出する技術が記載されている。

特開２０１２−９８９８８号公報

しかしながら、特許文献１に記載された技術にあっては、画像から人物の手の位置を検出するためには、画像内に、単に人物の顔が存在するだけでなく、人物の姿勢が推定できるだけの顔以外の部位が含まれている必要があるという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、より多様な状態の画像から人物の手の位置を検出することが可能となる位置検出装置、位置検出方法及びプログラムを提供することを目的とする。

前記課題を解決するため、本発明にあっては、動画像を構成する各々の画像から、手の色情報に基づいて人物の手に対応する手領域の検出を行う手領域検出手段と、前記動画像を構成する各々の画像から人物の顔を、二値化、輪郭抽出及びパターンマッチングのうちの少なくともいずれかによる画像認識により検出する顔検出手段と、前記顔検出手段によって検出された顔の肌の色情報を検出する肌色検出手段と、前記手領域検出手段による前記手領域の検出動作で用いる手の色情報を、前記肌色検出手段により検出された前記肌の色情報に基づいて設定する検出制御手段と、前記手領域検出手段により検出された手領域の画像内における位置を示す位置情報を取得する位置取得手段とを備え、前記手領域検出手段は、前記顔検出手段により顔が検出されていない場合、基準となる手の色情報に基づいて人物の手に対応する手領域の検出を行うことを特徴とする。

本発明によれば、より多様な状態の画像から人物の手の位置を検出することが可能となる。

本発明の実施形態を示すデジタルカメラのブロック図である。 デジタルカメラの自動撮影モードでの処理内容を示すフローチャートである。

以下、本発明の実施形態について説明する。図１は、本発明の位置検出装置としての機能を備えたデジタルカメラ１の電気的構成の概略を示したブロック図である。

図１に示したように、デジタルカメラ１は、制御部２と、レンズ部３、撮像部４、表示部５、画像記憶部６、プログラム記憶部７、操作部８、顔検出部９、手領域検出部１０、手検出部１１の各部を備えている。

制御部２は、ＣＰＵ（Central Processing Unit）、及びその周辺回路等や、ＲＡＭ（Random Access memory）等の作業用の内部メモリを含み、デジタルカメラ１の各部を制御する。

レンズ部３は、フォーカス調整用、及びズーム用のレンズを含むレンズ群、及びレンズ群を駆動するモータと、絞り、及び絞りを開閉駆動して開度を調整するアクチュエータ等から構成される。

撮像部４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta1 0xide Semiconductor）型の撮像素子と、撮像素子から出力された撮像信号に対して所定のアナログ処理を行った後、デジタル信号に変換するＡＦＥ（Analog Front End）とから構成される。撮像部４は、デジタルカメラ１に撮影モードが設定されている間、レンズ部３のレンズ群を介して被写体を所定のフレームレートで逐次撮像し、被写体の画像データ（撮像データ）を制御部２へ供給する。

制御部２へ供給された画像データは、制御部２において画素毎のＲＧＢデータに変換され、さらに輝度（Ｙ）成分及び色差（ＵＶ）成分からなるＹＵＶデータに変換された後、表示部５へ供給され、表示部５においてライブビュー画像として表示される。

また、撮影時において撮像部４から制御部２へ供給された画像データは、ＹＵＶデータに変換された後、ＪＰＥＧ（Joint Photographic Expert Group）方式により圧縮される。圧縮後の画像データは、種々の属性情報が付加され、Ｅｘｉｆ（Exchangeable Image File Format）規格に準拠した静止画ファイルとして画像記憶部６に記憶される。

画像記憶部６は、例えばデジタルカメラ１に内蔵されたフラッシュメモリや、デジタルカメラ１に着脱自在な各種のメモリカード、及びメモリカードへのデータの入出力を可能とするカードインターフェイスにより構成される。

画像記憶部６に静止画ファイルとして記憶された画像データは、デジタルカメラ１に再生モードが設定されている間、制御部２によって読み出され伸張された後、表示部５へ供給されて画面表示される。

表示部５は、カラー液晶表示パネルと、制御部２から供給される画像データ等に応じてカラー液晶表示パネルを駆動する表示駆動回路とから構成され、前述したように撮影モードにおいては被写体画像をライブビュー表示し、再生モードにおいては画像記憶部６に静止画ファイルとして記憶されている画像データからなる既存の撮影画像を表示する。

プログラム記憶部７は、例えばＲＯＭ（Read Only Memory）や、フラッシュメモリ等の記憶データが随時書き換え可能な不揮発性メモリにより構成される。プログラム記憶部７には、制御部２に後述する処理を行わせるためのプログラムが予め記憶されている。

また、プログラム記憶部７には、制御部２にＡＥ（Auto Exposure）制御、ＡＦ（Auto Focus）制御や、ＡＷＢ（Auto White Balance）制御等を行わせるためのプログラム、及びＡＥ制御に際して使用されるシャッタ速度、ＩＳＯ感度、絞り値の組み合わせを示すプログラム線図を構成するデータ等の各種データも格納されている。

操作部８は、電源キーやシャッターキー、及びデジタルカメラ１の基本の動作モードである撮影モードと再生モードとの切り替えに使用されるモード切替キー等の複数の操作キーから構成される。操作部８における操作キーの操作状態は制御部２において随時監視される。

顔検出部９、手領域検出部１０、手検出部１１の各部は、撮影モードにおいて撮像部４により所定のフレームレートで撮像される画像を対象として特定の画像認識処理を行うための画像処理回路や、各種のパラメータが記憶されたメモリ、作業用の記憶メモリ等から構成される。

顔検出部９は、各フレームの画像内における任意の人物の顔部分を検出し、検出した顔部分に対応する領域（以下、顔領域という。）を示す領域情報を取得し、それを制御部２へ供給する。顔検出部９による顔検出は、例えば二値化や輪郭抽出、パターンマッチング等の画像認識技術を用いて、一定範囲の位置関係にある目や鼻や口が存在する画像内の特定部分を探索する公知の技術によって行われる。

手領域検出部１０は、各フレームの画像から、各画素の色情報に基づいて人物の手に対応する領域（以下、手領域という。）を検出し、検出した手領域の画像内の位置を示す位置情報を取得し、それを制御部２へ供給する。

具体的には、各画素の色情報としてＨＳＶ表色系のＨ（Hue，色相）成分の値を演算し、各フレームの画像について、Ｈ成分の値が人物の手の色の値を中心する一定の範囲にある画素群からなる特定領域を抽出するとともに、相前後するフレーム間で特定領域の差分を演算し、係る差分が最大面積となる部分を手領域として検出する。

つまり、手領域検出部１０は、画像内における、人物の手の色、及びそれと近似する色の任意の動体に対応する領域を手領域として検出する。なお、人物の手の色は、後述するように制御部２により検出色として設定される。また、手領域検出部１０は、検出した手領域の位置情報として、例えば手領域を囲む最小の円又は四角形の中心位置を示す座標情報を取得する。

手検出部１１は、画像内における任意の人物の手を検出し、検出した手の位置を示す位置情報を制御部２へ供給する。手検出部１１による手検出は、形状認識によるものであり、予め用意されている多数の手の形状データを用い、例えば二値化や輪郭抽出、パターンマッチング等によって画像内における人物の手を探索することにより行われる。また、手検出部１１は、検出した手の画像内の位置を示す位置情報として、例えば手を囲む最小の円又は四角形の中心位置を示す座標情報を取得する。

そして、本実施形態のデジタルカメラ１には、撮影モードの下位モードとして自動撮影モードが設けられている。自動撮影モードは、撮影待機状態でライブビュー表示を行っている間、逐次撮像した画像から人物の手の動きを検出し、手の動きが予め決められている所定の動作（ジェスチャ）であると認識できたとき、それをトリガーとして撮影を行うモードである。なお、自動撮影モードにおいてデジタルカメラ１が認識するジェスチャは、例えば円やＳ字を描くような単純な手の動きである。

次に、デジタルカメラ１の本発明に係る動作を図２に従い説明する。なお、後述する動作は、デジタルカメラ１が自動撮影モードにおいて認識するジェスチャが、ジェスチャ認識による撮影を１回だけ行わせるためのものと、ジェスチャ認識による撮影を繰り返し行わせるためのものとの２種類である場合の動作である。

図２は、ユーザによって、デジタルカメラ１に自動撮影モードが設定されたとき、制御部２がプログラム記憶部７に記憶されているプログラムに従い実行する処理を示したフローチャートである。

制御部２は、自動撮影モードの設定とともに撮像部４による被写体画像の取り込みを開始し、表示部５におけるライブビュー表示を開始する（ステップＳ１）。

さらに、制御部２は、手領域検出部１０が検出すべき手領域の色である検出色として、予め決められている平均的な手の色である基準色を設定した後（ステップＳ２）、手領域検出部１０による手領域の検出と、顔検出部９による顔検出とを並行して開始させる（ステップＳ３）。

また、制御部２は、手領域検出部１０による手領域の検出開始に伴い、手領域検出部１０により取得された手領域の画像内の位置を示す位置情報を、人物の手の移動軌跡を示す軌跡データとして作業用の内部メモリに蓄積（記憶）する処理を開始する（ステップＳ４）。

その後、制御部２は、顔検出部９において任意の人物の顔が検出できるまでの間は、所定の待ち時間を限度として、動体の移動軌跡を示す軌跡データの蓄積を継続する（ステップＳ５：ＮＯ、ステップＳ１２：ＮＯ）。

やがて、制御部２は、顔検出部９によって任意の人物の顔が検出できると（ステップＳ５：ＹＥＳ）、その時点で手領域検出部１０による手領域の検出動作を一時停止する（ステップＳ６）。

引き続き、制御部２は、顔検出部９によって検出された画像内の顔領域から、任意の人物の顔部分の肌色を検出する（ステップＳ７）。具体的には、顔検出部９から供給された領域情報により示される顔領域の各画素についてＨＳＶ表色系のＨ成分の値を取得して、色のヒストグラムを算出し、度数が最大のＨ成分を顔部分の肌色を示す色情報として取得する。

さらに、制御部２は、ステップＳ２の処理で設定した検出色が、ステップＳ７の処理で検出した顔部分の肌色とほぼ同色であるか否かを確認する（ステップＳ８）。具体的には、検出色と顔部分における実際の肌色との差（Ｈ成分の値の差）が、予め決められている許容範囲内であるか否かを確認する。

ここで、制御部２は、検出色が顔部分の肌色とほぼ同色ではないとき、つまり、それまで手領域検出部１０によって検出されていた手領域が人物の手に対応する領域ではない可能性が高いと判断できるときには（ステップＳ８：ＮＯ）、既に蓄積している手の軌跡データを破棄する（ステップＳ９）。

引き続き、制御部２は、手領域検出部１０が検出すべき検出色をステップＳ７の処理で取得した顔の肌色に更新し（ステップＳ１０）、手領域検出部１０による手領域の検出動作を再開する（ステップＳ１１）。そして、制御部２は、それ以降に手領域検出部１０により新たに検出される手領域の位置情報を、手の移動軌跡を示す軌跡データとして順次蓄積する（ステップＳ１６）。

したがって、これ以降においては、顔検出部９によって顔が検出された後、手領域検出部１０により新たに検出される手領域の位置情報のみが、手の移動軌跡を示す軌跡データとして蓄積される。

また、制御部２は、上記とは逆に検出色が顔部分の肌色とほぼ同色であるとき、つまりそれまで手領域検出部１０によって検出されていた手領域が人物の手に対応する領域であると判断できるときには（ステップＳ８：ＹＥＳ）、直ちに手領域検出部１０による手領域の検出動作を再開する（ステップＳ１１）。そして、制御部２は、手領域検出部１０により新たに検出される手領域の位置情報を、手の移動軌跡を示す軌跡データとして順次蓄積する（ステップＳ１６）。

したがって、これ以降においては、顔検出部９によって顔が検出される以前から蓄積している既存の軌跡データに続いて、顔検出部９によって顔が検出された以降に新たに検出される手領域の位置情報が軌跡データとして蓄積される。

一方、制御部２は、ステップＳ３の処理で顔検出部９による顔検出を開始した後、所定の待ち時間が経過しても、任意の人物の顔が検出できなかったときには（ステップＳ１２：ＹＥＳ）、まず、手領域検出部１０による手領域の検出と、顔検出部９による顔検出とを終了する（ステップＳ１３）。

さらに、制御部２は、既に蓄積している手の軌跡データを破棄した後（ステップＳ１４）、手検出部１１における形状認識による手検出を開始する（ステップＳ１５）。以後、制御部２は、手検出部１１により取得された画像内での手の位置を示す位置情報を、手の移動軌跡を示す軌跡データとして順次蓄積する（ステップＳ１６）。

その後、制御部２は、手領域検出部１０、又は手検出部１１により取得された位置情報を手の移動軌跡を示す軌跡データとして新たに蓄積する毎に、軌跡データにより示される手の移動軌跡、つまり手の動きが既定の動き（ジェスチャ）と一致するか否かを判断する（ステップＳ１７）。すなわち制御部２はジェスチャ認識を行う。

なお、ここで認識するジェスチャは先に述べたように２種類であり、ステップＳ１７の処理おいて制御部２は、軌跡データにより示される手の移動軌跡が、２種類のジェスチャの少なくともいずれか一方のジェスチャの手の動きと一致するか否かを判断する。

そして、制御部２は、軌跡データにより示される手の動きが既定の動き一致すると判断できるまでの間（ステップＳ１７：ＮＯ）、軌跡データの蓄積を継続する。

やがて軌跡データにより示される手の動きが既定の動き一致すると判断できたら（ステップＳ１７：ＹＥＳ）、制御部２は、それをトリガーとして撮影処理を行う（ステップＳ１８）。すなわち制御部２は、撮像部４により記録用の画像を取得し、取得した画像、すなわち撮影画像を画像記憶部６に記憶させる。

次に、制御部２は、撮影を終了すべきであるか否かを確認する（ステップＳ１９）。すなわち、制御部２は、ステップＳ１７の処理で認識できたジェスチャが、ジェスチャ認識による撮影を１回だけ行わせるためのものであったか否かを確認する。

そして、制御部２は、ステップＳ１７の処理で認識できたジェスチャが、ジェスチャ認識による撮影を１回だけ行わせるためのものであって、撮影を終了すべきである場合には（ステップＳ１９：ＹＥＳ）、その時点で自動撮影モードによる処理を終了する。

一方、制御部２は、ステップＳ１７の処理で認識できたジェスチャが、ジェスチャ認識による撮影を繰り返し行わせるためのものであって、撮影を終了すべきでない場合には（ステップＳ１９：ＮＯ）、既に蓄積している手の軌跡データをいったん破棄する（ステップＳ２０）。そして、制御部２は、ステップＳ４の処理に戻って新たな軌跡データの蓄積を開始した後、前述したステップＳ５以降の処理を繰り返す。

これにより、ユーザは、画角内においてジェスチャ認識による撮影を繰り返し行わせるためのジェスチャを行えば、連続して複数回の撮影を行うことができる。また、例えばユーザが自己を被写体とした撮影を行った後、画角内の場所から他の場所に移動し、代わりに他のユーザが画角内の場所に移動して既定のジェスチャを行えば、他のユーザも自己を被写体とした撮影を行うことができる。

その後、制御部２は、ジェスチャ認識によって何回目かの撮影処理を行った後（ステップＳ１８）、ステップＳ１７の処理で認識できたジェスチャが、ジェスチャ認識による撮影を１回だけ行わせるためのものであって、撮影を終了すべきであれば（ステップＳ１９：ＹＥＳ）、その時点で自動撮影モードによる処理を終了する。

なお、図２では省略したが、制御部２は、ステップＳ１８の撮影処理を、手の動きが既定の動き一致すると判断できた後、一定時間（例えば０．５秒）が経過した後に実施することによって所定のジェスチャが終了した後の状態のユーザを撮影する。

以上説明したように本実施形態のデジタルカメラ１では、自動撮影モードでの動作において手の動きによるジェスチャを認識する際、手の色情報に基づいて画像内における人物の手に対応する手領域の検出することによって人物の手の位置を取得する。そのため、画像内に人物の顔さえ存在していれば、画像内に人物の姿勢が推定できるだけの顔以外の部位が含まれていない場合であっても、人物の手の位置を確実に検出することができる。したがって、より多様な状態の画像から人物の手の位置を検出することができる。

しかも、本実施形態においては、人物の顔が検出できる以前から人物の手の位置を取得するとともに、人物の顔が検出できた後には、検出色を更新することによって各フレームの画像から手領域を検出する動作を、予め決められている平均的な手の色である基準色、つまり基準となる手の色情報に基づいた検出動作から、実際の人物の顔の肌色に基づいた検出動作に変更する。そのため、人物の顔が検出できた後には、人物の手の位置として、人物の顔が検出できる以前よりも、より正確な位置を取得することができる。

その結果、本実施形態においては、人物の手の動きによるジェスチャをより高速に、かつより正確に認識することができる。

また、本実施形態においては、各フレームの画像から手領域を検出する際、人物の顔が検出できる以前は、検出色として基準色を設定し、検出色及び検出色と近似する色を有する動体部分に対応する領域を領域として検出し、また、人物の顔が検出できた以降は実際の人物の顔の肌色、及びその肌色と近似する色を有する動体部分に対応する領域を手領域として検出するようにした。

したがって、各フレームの画像から、人物の手に対応する手領域をより正確に検出することができ、その結果、人物の手の動きによるジェスチャをより一層正確に認識することができる。

なお、２回目以降の撮影において、人物の顔が検出できる以前の検出色は前回の撮影時に検出された顔の肌色である。

また、本実施形態においては、人物の顔が検出できる以前に、各フレームの画像からの手領域の検出に使用していた検出色が、人物の顔が検出できた時点で取得した実際の人物の顔の肌色と同一又は近似する色ではない場合には、人物の顔が検出できる以前に記憶した手領域の位置情報をいったん破棄するようにした。

つまり、人物の顔が検出できる以前の検出色が実際の人物の顔の肌色と同一又は近似する色ではない場合には、人物の顔が検出できた以降に取得し、記憶した手領域の位置情報のみに基づいて、手の動きが既定の動き（ジェスチャ）と一致するか否かを判断するようにした。

したがって、人物の顔が検出できる以前に取得した一連の手領域の位置情報に、設定した検出色が実際の人物の顔の肌色と大きく異なることに起因する誤りがあった場合に生ずるジェスチャの誤認識を未然に防止することができる。

また、本実施形態においては、各フレームの画像から所定の待ち時間内に人物の顔が検出できなかった場合には、各フレームの画像に対して形状認識による手検出を行うことにより、手の移動軌跡を示す軌跡データ（手の位置情報）を取得するようにした。したがって、人物の顔が検出できない状況下であっても、確実に人物の手の動きによるジェスチャを認識することができる。

なお、本実施形態においては、人物の顔が検出できる以前に各フレームの画像から手領域を検出する際の検出色として、予め決められている平均的な手の色である基準色を設定したが、上記の検出色には、基準色をユーザの肌の色により近い色に補正した後の色を設定するようにしてもよい。基準色を補正する場合には、例えばデジタルカメラ１に設定されている使用言語や、ユーザの個人情報（名前やＥメールアドレス等）など、ユーザの肌の色を類推するために使用することができる任意の情報を用いることができる。

さらに、基準色として複数種類の肌の色を予め用意しておき、自動撮影モードが設定された時点や、それ以前の段階で、基準色として使用する肌の色をユーザに選択させてもよい。その場合には、それぞれの顔（肌）の色を異なる基準色に加工した見本となる顔写真を用意し、ユーザに任意の顔、つまり基準色を選択させてもよい。

また、本実施形態においては、顔検出部９、手領域検出部１０、手検出部１１の各部を備えたデジタルカメラ１について説明したが、本発明に実施に際しては、例えば顔検出部９、手領域検出部１０、手検出部１１の各部による前述した各々の画像認識処理を、プログラム記憶部７に予め記憶したプログラムに従い制御部２に行わせてもよい。

また、本発明は、デジタルカメラに限らず他の家電機器等の任意の装置にも適用することができる。さらに、本発明は、例えば各フレームの画像における人物の手の位置を示す位置情報を有線又は無線によりリアルタイムで外部の装置に供給し、外部の装置においてジェスチャ認識を行わせるものにも適用することができる。

以上、本発明のいくつかの実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。
以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
動画像を構成する各々の画像から人物の顔を検出する顔検出手段と、前記顔検出手段によって検出された顔の肌の色情報を検出する肌色検出手段と、前記動画像を構成する各々の画像から、手の色情報に基づいて人物の手に対応する手領域の検出を行う手領域検出手段と、前記手領域検出手段により検出された手領域の画像内における位置を示す位置情報を取得する位置取得手段と、前記手領域検出手段による前記手領域の検出動作で用いる手の色情報を、前記肌色検出手段により検出された前記肌の色情報に基づいて変更する検出制御手段とを備えることを特徴とする位置検出装置。
［請求項２］
前記手領域検出手段は、前記顔検出手段により顔が検出されていない場合、基準となる手の色情報に基づいて人物の手に対応する手領域の検出を行うことを特徴とする請求項１記載の位置検出装置。
［請求項３］
検出制御手段は、前記肌色検出手段により検出される肌の色情報が変化する毎に、前記手領域検出手段による前記手領域の検出動作で用いる手の色情報を変化させることを特徴とする請求項１又は２記載の位置検出装置。
［請求項４］
前記位置取得手段により取得された前記各々の画像における前記手領域の位置を示す位置情報を順に記憶する記憶手段と、前記記憶手段に順に記憶された一連の位置情報に基づいて人物の手の動きによる所定のジェスチャを認識する認識手段とを更に備えることを特徴とする請求項１又は２，３記載の位置検出装置。
［請求項５］
前記手領域検出手段による前記手領域の検出動作で用いられた手の色情報により示される色が、前記肌色検出手段により検出された前記肌の色情報により示される色と同一又は近似する色であるか否かを判断する判断手段を更に備え、前記認識手段は、前記判断手段により、前記手領域検出手段による前記手領域の検出動作で用いられた手の色情報により示される色が、前記肌色検出手段により検出された前記肌の色情報により示される色と同一又は近似する色ではないと判断された場合、前記顔検出手段により顔が検出された以降に前記位置取得手段により取得され前記記憶手段に記憶された位置情報のみに基づいて人物の手の動きによる所定のジェスチャを認識することを特徴とする請求項４記載の位置検出装置。
［請求項６］
前記手領域検出手段は、前記各々の画像から、前記手の色情報により示される色、及び当該色と近似する色を有する動体部分に対応する領域を前記手領域として検出することを特徴とする請求項１乃至５いずれか記載の位置検出装置。
［請求項７］
前記顔検出手段によって前記検出動作の開始後の所定時間内に人物の顔が検出できない場合に、前記各々の画像から人物の手を形状認識技術を用いて検出する手検出手段を更に備え、前記位置取得手段は、前記顔検出手段によって前記検出動作の開始後の所定時間内に人物の顔が検出できない場合に、前記手領域検出手段により検出された手領域の画像内における位置を示す位置情報に代えて、前記手検出手段により検出された人物の手の前記各々の画像における位置を示す位置情報を取得することを特徴とする請求項１乃至６いずれか記載の位置検出装置。
［請求項８］
動画像を構成する各々の画像から人物の顔を検出する工程と、検出した顔の肌の色を検出する工程と、前記動画像を構成する各々の画像から、手の色情報に基づいて人物の手に対応する手領域を検出する工程と、検出した手領域の画像内における位置を示す位置情報を取得する工程と、前記手領域の検出に用いる手の色情報を、前記顔の肌の色情報に基づいて変更する工程とを含むことを特徴とする位置検出方法。
［請求項９］
動画像を構成する各々の画像から人物の手の位置を検出する位置検出装置が有するコンピュータに、前記動画像を構成する各々の画像から人物の顔を検出する処理と、検出した顔の肌の色情報を検出する処理と、前記動画像を構成する各々の画像から、手の色情報に基づいて人物の手に対応する手領域の検出を行う処理と、検出した手領域の画像内における位置を示す位置情報を取得する処理と、前記手領域の検出に用いる手の色情報を、前記顔の肌の色情報に基づいて変更する処理とを実行させることを特徴とするプログラム。

１ デジタルカメラ
２ 制御部
３ レンズ部
４ 撮像部
５ 表示部
６ 画像記憶部
７ プログラム記憶部
８ 操作部
９ 顔検出部
１０ 手領域検出部
１１ 手検出部

Claims (11)

1. 動画像を構成する各々の画像から、手の色情報に基づいて人物の手に対応する手領域の検出を行う手領域検出手段と、
   前記動画像を構成する各々の画像から人物の顔を、二値化、輪郭抽出及びパターンマッチングのうちの少なくともいずれかによる画像認識により検出する顔検出手段と、
   前記顔検出手段によって検出された顔の肌の色情報を検出する肌色検出手段と、
   前記手領域検出手段による前記手領域の検出動作で用いる手の色情報を、前記肌色検出手段により検出された前記肌の色情報に基づいて設定する検出制御手段と、
   前記手領域検出手段により検出された手領域の画像内における位置を示す位置情報を取得する位置取得手段と
   を備え、
   前記手領域検出手段は、前記顔検出手段により顔が検出されていない場合、基準となる手の色情報に基づいて人物の手に対応する手領域の検出を行う
   ことを特徴とする位置検出装置。
2. 検出制御手段は、前記肌色検出手段により検出される肌の色情報が変化する毎に、前記手領域検出手段による前記手領域の検出動作で用いる手の色情報を変化させることを特徴とする請求項１記載の位置検出装置。
3. 前記位置取得手段により取得された前記各々の画像における前記手領域の位置を示す位置情報を順に記憶する記憶手段と、
   前記記憶手段に順に記憶された一連の位置情報に基づいて人物の手の動きによる所定のジェスチャを認識する認識手段と
   を更に備えることを特徴とする請求項１又は２記載の位置検出装置。
4. 動画像を構成する各々の画像から、手の色情報に基づいて人物の手に対応する手領域の検出を行う手領域検出手段と、
   前記動画像を構成する各々の画像から人物の顔を検出する顔検出手段と、
   前記顔検出手段によって検出された顔の肌の色情報を検出する肌色検出手段と、
   前記顔検出手段により人物の顔が検出されている場合、前記手領域検出手段による前記手領域の検出動作で用いる手の色情報を、前記肌色検出手段により検出された前記肌の色情報に基づいて変更する検出制御手段と、
   前記手領域検出手段により検出された手領域の画像内における位置を示す位置情報を取得する位置取得手段と、
   前記位置取得手段により取得された前記各々の画像における前記手領域の位置を示す位置情報を順に記憶する記憶手段と、
   前記記憶手段に順に記憶された一連の位置情報に基づいて人物の手の動きによる所定のジェスチャを認識する認識手段と、
   前記手領域検出手段による前記手領域の検出動作で用いられた手の色情報により示される色が、前記肌色検出手段により検出された前記肌の色情報により示される色と同一又は近似する色であるか否かを判断する判断手段と
   を備え、
   前記認識手段は、前記判断手段により、前記手領域検出手段による前記手領域の検出動作で用いられた手の色情報により示される色が、前記肌色検出手段により検出された前記肌の色情報により示される色と同一又は近似する色ではないと判断された場合、前記顔検出手段により顔が検出された以降に前記位置取得手段により取得され前記記憶手段に記憶された位置情報のみに基づいて人物の手の動きによる所定のジェスチャを認識する
   ことを特徴とする位置検出装置。
5. 前記手領域検出手段は、前記各々の画像から、前記手の色情報により示される色、及び当該色と近似する色を有する動体部分に対応する領域を前記手領域として検出することを特徴とする請求項１乃至４いずれか記載の位置検出装置。
6. 動画像を構成する各々の画像から、手の色情報に基づいて人物の手に対応する手領域の検出を行う手領域検出手段と、
   前記動画像を構成する各々の画像から人物の顔を検出する顔検出手段と、
   前記顔検出手段によって検出された顔の肌の色情報を検出する肌色検出手段と、
   前記顔検出手段により人物の顔が検出されている場合、前記手領域検出手段による前記手領域の検出動作で用いる手の色情報を、前記肌色検出手段により検出された前記肌の色情報に基づいて変更する検出制御手段と、
   前記手領域検出手段により検出された手領域の画像内における位置を示す位置情報を取得する位置取得手段と、
   前記顔検出手段によって前記検出動作の開始後の所定時間内に人物の顔が検出できない場合に、前記各々の画像から人物の手を、形状認識技術を用いて検出する手検出手段と
   を備え、
   前記位置取得手段は、前記顔検出手段によって前記検出動作の開始後の所定時間内に人物の顔が検出できない場合に、前記手領域検出手段により検出された手領域の画像内における位置を示す位置情報に代えて、前記手検出手段により検出された人物の手の前記各々の画像における位置を示す位置情報を取得する
   ことを特徴とする位置検出装置。
7. 動画像を構成する各々の画像から人物の顔を検出する顔検出手段と、
   前記顔検出手段によって検出された顔の肌の色情報を検出する肌色検出手段と、
   前記顔検出手段により人物の顔が検出されている場合、前記動画像を構成する各々の画像から、前記肌色検出手段により検出された前記肌の色情報に基づいて人物の手に対応する手領域の検出を行う一方、検出されていない場合、前記動画像を構成する各々の画像から人物の手を、形状認識技術を用いて検出する検出手段と、
   前記検出手段により検出された手領域又は人物の手の画像内における位置を示す位置情報を取得する位置取得手段と
   を備えることを特徴とする位置検出装置。
8. 動画像を構成する各々の画像から、手の色情報に基づいて人物の手に対応する手領域を検出する処理と、
   前記動画像を構成する各々の画像から人物の顔を、二値化、輪郭抽出及びパターンマッチングのうちの少なくともいずれかによる画像認識により検出する処理と、
   検出した顔の肌の色を検出する処理と、
   前記手領域の検出に用いる手の色情報を、前記顔の肌の色情報に基づいて設定する処理と、
   検出した手領域の画像内における位置を示す位置情報を取得する処理と
   を含み、
   前記手領域を検出する処理において、前記人物の顔を検出する処理で顔が検出されていない場合、基準となる手の色情報に基づいて人物の手に対応する手領域の検出を行う
   ことを特徴とする位置検出方法。
9. 動画像を構成する各々の画像から人物の手の位置を検出する位置検出装置が有するコンピュータに、
   前記動画像を構成する各々の画像から、手の色情報に基づいて人物の手に対応する手領域の検出を行う機能と、
   前記動画像を構成する各々の画像から人物の顔を、二値化、輪郭抽出及びパターンマッチングのうちの少なくともいずれかによる画像認識により検出する機能と、
   検出した顔の肌の色情報を検出する機能と、
   前記手領域の検出に用いる手の色情報を、前記顔の肌の色情報に基づいて設定する機能と、
   検出した手領域の画像内における位置を示す位置情報を取得する機能と
   を実行させ、
   前記手領域を検出する機能において、前記人物の顔を検出する処理で顔が検出されていない場合、基準となる手の色情報に基づいて人物の手に対応する手領域の検出を行う
   ことを特徴とするプログラム。
10. 動画像を構成する各々の画像から人物の顔を検出する処理と、
    検出した顔の肌の色情報を検出する処理と、
    人物の顔が検出されている場合、前記動画像を構成する各々の画像から、検出した前記肌の色情報に基づいて人物の手に対応する手領域の検出を行う一方、検出されていない場合、前記動画像を構成する各々の画像から人物の手を、形状認識技術を用いて検出する処理と、
    検出した手領域又は人物の手の画像内における位置を示す位置情報を取得する処理と
    を含むことを特徴とする位置検出方法。
11. 動画像を構成する各々の画像から人物の手の位置を検出する位置検出装置が有するコンピュータに、
    動画像を構成する各々の画像から人物の顔を検出する機能と、
    検出した顔の肌の色情報を検出する機能と、
    人物の顔が検出されている場合、前記動画像を構成する各々の画像から、検出した前記肌の色情報に基づいて人物の手に対応する手領域の検出を行う一方、検出されていない場合、前記動画像を構成する各々の画像から人物の手を、形状認識技術を用いて検出する機能と、
    検出した手領域又は人物の手の画像内における位置を示す位置情報を取得する機能と
    を実行させることを特徴とするプログラム。

Images