JP6221505B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、例えば、ユーザの手指の検知に用いる画像処理装置、画像処理方法および画像処理プログラムに関する。

従来から、プロジェクタを用いて文書画像を投影する方法が用いられている。近年においては、手指の動きなどのジェスチャーを用い、投影された投影画像に対してインタラクション操作を行うことで、ユーザの作業支援を実現させる為の技術が開発されている。例えば、投影画像に含まれる任意の単語を手指で示した場合、当該単語に関連付けられた注釈などを提示する拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が開発されている。

上述のインタフェースでは、任意の場所に固定されたカメラ、または自由に移動が可能なカメラを用いて、ユーザの手指の位置を正確に特定することが必要となる。手指の位置を特定する方法として、例えば、撮像画像から、例えば肌色の色成分（色特徴量）を抽出することで、手領域輪郭を抽出し、当該手領域輪郭から手指の位置を特定する技術が開示されている。

C. Prema et al., "Survey on Skin Tone Detection using Color Spaces," International Journal of Applied Information Systems, 2(2):18-26, May 2012, Published by Foundation of Computer Science, New York, USA.

上述の色特徴量を用いるユーザの手指の位置を検出する方法は、演算負荷（処理コスト）が比較的小さく、高速な処理が可能である特徴を有する。しかしながら、色特徴量を用いるユーザの手指の位置を検出する方法においては、誤検出が発生する場合がある。本発明は、検出精度を向上させた画像処理装置を提供することを目的とする。

本発明が開示する画像処理装置は、ユーザの第１部位を含む画像を取得する取得部と、画像から色特徴量または輝度勾配特徴量を抽出する抽出部と、色特徴量または輝度勾配特徴量に基づいて第１部位を検出する検出部とを備える。更に、当該画像処理装置は、異なる時刻に取得される複数の画像の第１部位の比較から算出される、第１部位の移動の速さに関する第１情報に基づいて、検出部が色特徴量と輝度勾配特徴量の何れかを用いて第１部位を検出するかを選択する選択部を備える。

なお、本発明の目的及び利点は、例えば、請求項におけるエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示される画像処理装置では、背景色に依存せずにユーザの手指の位置を正確に特定することが可能となる。

一つの実施形態による画像処理装置の機能ブロック図である。 第１特徴量モデルのポジティブ画像の概念図である。 第１特徴量モデルのデータ構造の一例を示すテーブルである。 検出部が色特徴量を用いて検出した第１部位のデータ構造の一例を示すテーブルである。 （ａ）は、背景の肌色領域と第１部位の重畳による、第１部位の移動量の第１概念図である。（ｂ）は、背景の肌色領域と第１部位の重畳による、第１部位の移動量の第２概念図である。 選択部による特徴量選択処理の第１フローチャートである。 検出部が検出する手指の本数と選択部が選択する特徴量を含むデータ構造の一例を示すテーブルである。 選択部による手指ベクトル移動量の算出に用いるデータ構造の一例を示すテーブルである。 検出部が検出する手指の本数と選択部が手指ベクトルの変化量に基づいて選択する特徴量を含むデータ構造の一例を示すテーブルである。 選択部による特徴量選択処理の第２フローチャートである。 画像処理装置による画像処理のフローチャートである。 一つの実施形態による画像処理装置として機能するコンピュータのハードウェア構成図である。

まず、従来技術における問題の所在を説明する。この問題は本発明者らが従来技術を仔細に検討した結果として新たに見出したものであり、従来は知られていなかったものである。誤検出は、投影画像が投影される壁面または紙面の背景が肌色の場合に発生していることが判明した。これは、当該背景の肌色領域を手指として誤検出し、正確な手指の位置の特定が困難となっているためである。従って、背景色に依存せずにユーザの手指の位置を特定することができれば、問題点は発生しないこととなる。ユーザの手指の位置を検出する画像処理において、本発明者らの鋭意検証によって以下の事項が新たに検証された。例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量、またはＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量等の輝度勾配特徴量を用いる場合は、輝度勾配特徴量の特性上、背景の肌色領域と手指を正確に識別することが可能である。しかしながら、輝度勾配特徴量は、色特徴量と比較した場合、演算負荷が大きい為、即時性が要求される投影画像に対するインタラクション操作に遅延が発生し、画像処理装置の操作性が低下する問題が発生し得る。換言すると輝度勾配特徴量は、高い堅牢性を有するが、演算負荷が大きい特徴を有する。この為、輝度勾配特徴量のみを用いてユーザの手指の位置を検出することは実用上の観点から難しい。一方、色特徴量は処理負荷が小さい特徴を有する。換言すると、色特徴量は、堅牢性は高くはないが、演算負荷が小さい特徴を有する。

本発明者らは、色特徴量の低い演算負荷と輝度勾配特徴量の高い堅牢性に着目し、色特徴量と輝度勾配特徴量を各種状況に応じて動的に選択することで、背景色に依存せずにユーザの手指の位置を高い堅牢性かつ低い演算負荷で検出することが可能となることを新たに見出した。

上述の本発明者らの鋭意検証によって、新たに見出された技術的特徴を考慮しつつ、以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。

（実施例１）
図１は、一つの実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、取得部２、抽出部３、記憶部４、検出部５、選択部６を有する。なお、画像処理装置１は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことによりネットワークリソースを用いることが可能である。

取得部２は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部２は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部２は、外部装置が撮像する画像を受け取る。なお、取得部２が受け取る画像の解像度や取得頻度は、画像処理装置１に要求される処理速度や処理精度等に応じて任意の値に規定すれば良い。例えば、取得部２は、ＶＧＡ（６４０×４８０）の解像度の画像を、３０ＦＰＳ（１秒間に３０フレーム）の取得頻度で取得すれば良い。なお、画像を撮像する外部装置は、例えば撮像素子である。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。撮像素子は、例えば、ユーザの第１部位として、ユーザの手指を含む画像を撮像する。なお、撮像素子を、必要に応じて画像処理装置１に含めることも可能である。取得部２は、取得した画像を抽出部３に出力する。

抽出部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、抽出部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。抽出部３は、取得部２から画像を受け取り、当該画像の色特徴量または、輝度勾配特徴量を抽出する。抽出部３は、例えば、ＲＧＢ色空間における画素値を色特徴量として抽出することが出来る。また、抽出部３は、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量、またはＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量を、輝度勾配特徴量として抽出することが出来る。なお、輝度勾配特徴量は、例えば、一定の矩形領域内で計算可能な特徴量であれば良い。実施例１においては、説明の便宜上、主にＨＯＧ特徴量を輝度勾配特徴量として説明する。また、抽出部３は、例えば、「N. Dalal et al., “Histograms of Oriented Gradients for Human Detection,” 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2005.」に開示される方法を用いて、輝度勾配特徴量の一例となるＨＯＧ特徴量を抽出することが出来る。抽出部３は、抽出した色特徴量または輝度勾配特徴量を検出部５に出力する。なお、後述する選択部６から色特徴量または輝度勾配特徴量の何れか一方のみの特徴量を抽出することを指示される場合は、色特徴量または輝度勾配特徴量の何れか一方のみの特徴量を抽出すれば良い。

記憶部４は、例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスクなどの記憶装置である。なお、記憶部４は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよい。なお、記憶部４は、必ずしも画像処理装置１に含まれる必要はない。例えば当該各種データは、画像処理装置１に含まれる各機能部の図示しないキャッシュやメモリ等に記憶しても良い。また、画像処理装置１に設けられる図示しない通信部を用いて通信回線を介することによって、記憶部４を画像処理装置１以外の外部装置に設けることも可能である。

記憶部４には、例えば、第１部位の特徴量を予め抽出した第１特徴量モデル（識別器と称しても良い）が事前学習により予め記憶される。また、記憶部４には、画像処理装置１の各機能が取得または保持する各種データが必要に応じて記憶されても良い。なお、第１特徴量モデルは、上述のＨＯＧ特徴量またはＬＢＰ特徴量に基づいて生成することが出来る。実施例１においては、第１特徴量モデルを、ＨＯＧ特徴量に基づいて生成するものとして説明する。なお、事前学習は、例えば、対象物（第１部位の一例となる手指）が撮像された画像（ポジティブ画像）と、対象物が撮像されていない画像（ネガティブ画像）を用いて実施され、ＡｄａｂｏｏｓｔやＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の様々な公知の識別器の学習手法を用いることが可能である。例えば、識別器の学習手法として、上述の「N. Dalal et al., “Histograms of Oriented Gradients for Human Detection,” 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2005.」に開示されているＳＶＭを用いた識別器の学習手法を用いることが出来る。なお、輝度勾配特徴量は、上述の通り一定の矩形領域内で計算可能な特徴量である。この為、ポジティブ画像においては、第１部位（例えば、ユーザの手指）が左右対称に配置されるように矩形領域を規定し、その矩形領域内で輝度勾配特徴量を計算すれば良い。また、矩形領域内での手指先位置も合わせて登録しても良い。また、識別器の事前学習においては、必要に応じて全てのポジティブ矩形領域内における手指先位置の平均値を算出しても良い。

図２は、第１特徴量モデルのポジティブ画像の概念図である。なお、第１特徴量モデルは、上述の通り識別器と称しても良い。図２のポジティブ画像においては、例えば、画像の左上端が座標原点として設定され、画像の右方向をｘ軸の正方向、画像の下方向をｙ軸の正方向として規定されている。また、図２のポジティブ画像においては、任意の数のブロック数に区切られており、ユーザの第１部位となる手指が真直状態、かつ、矩形領域内で左右対称に配置された状態で撮像されている。なお、図２に示すポジティブ画像として、例えば、複数のユーザの第１部位や、照明条件や背景を変化させた複数のポジティブ画像を用いても良い。また、当該複数のポジティブ画像に対する事前学習の過程において、手指先の位置を規定の座標位置に一律的に定める様に設定しても良い。この場合、複数のポジティブ画像から抽出される何れの第１特徴量モデルを使用しても、実際に検出されるユーザの指先と、ポジティブ画像の指先位置を正確に適合することが可能となり、ユーザの手指先の位置を正確に特定出来る。更に、図２に示すポジティブ画像においては、必要に応じて手指付根位置が適宜設定されても良い。なお、手指付根位置は、例えば、画像下端付近に撮像される手指の中心位置に設定されれば良い。

図３は、第１特徴量モデルのデータ構造の一例を示すテーブルである。図３のテーブル３０には、手指付根位置、手指先位置、手指先方向、ＨＯＧ特徴量の項目が格納される。更に、ＨＯＧ特徴量の項目には、図２に示すブロックＮｏと、各ブロック内を、９分割した分割領域の勾配の強度の項目が格納されている。第１特徴量モデルにおけるブロック数や輝度勾配間隔は任意のパタメータであり、必要に応じて適宜変化させることが可能である。例えば、第１特徴量モデルは、縦６セル、横６ブロックの領域に分割し、各ブロック内の輝度勾配を０、３０、６０、９０、１２０、１５０度の６段階のヒストグラムに分類することが出来る。なお、輝度勾配の強度は、例えば、１〜６４の値に正規化されれば良い。手指付根位置と手指先位置の項目には、例えば、図２で説明したｘ座標とｙ座標が格納される。手指先方向は、例えば、手指付根位置と手指先位置のｘ座標の差分に基づいて規定されれば良い。

図１の検出部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、検出部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。検出部５は、抽出部３が抽出する色特徴量または輝度勾配特徴量を抽出部３から受け取る。検出部５は、色特徴量または輝度勾配特徴量に基づいて第１部位を検出する。なお、検出部５は、後述する選択部６の選択に基づいて色特徴量または輝度勾配特徴量を用いて第１部位を検出する。また、検出部５は、輝度勾配特徴量に基づいて第１部位を検出する場合、必要に応じて記憶部４に記憶されている第１特徴量モデルを参照しても良い。検出部５の検出方法の詳細は後述するが、画像処理装置１の画像処理開始時は、演算負荷を考慮して、検出部５は色特徴量を優先的に用いて第１部位を検出しても良い。検出部５は、検出した手指の本数と検出に使用した特徴量を選択部６に出力する。

（検出部５の色特徴量による第１部位の検出方法）
検出部５が色特徴量を用いて第１部位を検出する方法について説明する。検出部５は抽出部３から受け取った色特徴量を用いて肌色領域の抽出を行い、当該肌色領域に基づいて手領域（手指と手の甲を合わせた領域）を様々な公知の手法を用いて検出する。検出部５は、例えば、特許第３８６３８０９号に開示される方法を用いて手領域を検出することが出来る。検出部５は、手領域を検出した後、当該手領域における手指の本数を認識し、手領域の輪郭から、手指と手指先位置の検出を行うことが出来る。また、検出部５は、必要に応じて以下に示す方法を用いて、手領域の重心位置を取得しても良い。検出部５は、重心位置の算出方法として、例えば、フレームtの画像における肌色領域として抽出された領域Ｐｓ内のピクセルＰｉの座標を（ｘｉ、ｔ、ｙｉ、ｔ）、ピクセル数をＮｓと定義した場合、重心位置Ｇｔ(ｘｔ、ｙｔ)を次式により算出することが出来る。
（数１）

図４は、検出部５が色特徴量を用いて検出した第１部位のデータ構造の一例を示すテーブルである。なお、図４のテーブル４０における座標系は、取得部２が取得する画像の左上端を原点とし、画像の右方向をｘ軸の正方向、画像の下方向をｙ軸の正方向として規定されている。テーブル４０は、例えば、検出部５が有する図示しないキャッシュまたはメモリに格納されれば良い。テーブル４０に示す例では、ユーザが片手で手を広げた場合における、各手指の先端部の座標と重心位置（単位はｐｉｘｅｌ）が格納されている。なお、テーブル４０では、検出されている手の本数は１本であるが、検出部５は必要に応じて２本以上の手を検出することも可能である。また、検出部５は、色特徴量による検出の堅牢性を向上させるために、必要に応じて下記に示す輝度勾配特徴量による検出を組み合わせて、第１部位を検出しても良い。

（検出部５の輝度勾配特徴量による第１部位の検出方法）
検出部５が輝度勾配特徴量を用いて第１部位を検出する方法について説明する。図１の検出部５は、抽出部３から受け取った輝度勾配特徴量の一例となるＨＯＧ特徴量と、記憶部４に記憶されている第１特徴量モデルのＨＯＧ特徴量と比較して、類似度が所定の第１閾値（例えば７０％）以上の画像に含まれる物体を第１部位として検出することが出来る。

また、検出部５は、スコアを用いた第１部位となる手指の検出を行ってもよい。先ず、検出部５は、色特徴量から特定される手指先位置から、手指方向の算出を行う。ここで、手指方向は、例えば、指先位置周辺における輪郭に直交する方向とすれば良い。次に、検出部５は、手指先位置と手指先方向から所定の矩形領域を設定する。検出部５は、事前学習による第１特徴量モデルの平均的な手指先位置を、検出部５が色特徴量を用いて設定した手指先位置と一致させ、矩形領域の方向は先に計算した手指先方向と一致させる。その後、検出部５は、例えば、ＨＯＧ特徴量を用いて矩形領域内に対する輝度勾配特徴量を算出する。次に、第１特徴量モデルに基づいて、検出部５は当該矩形領域で抽出される輝度勾配特徴量を用いて手指先らしさの推定を行う。例えば、ＳＶＭの場合、出力スコアは−１〜１までのスコアとなり、手指でない時は負の値、手指の時は正の値を示す。検出部５は当該スコアを閾値判定し、所定の閾値未満の場合は推定結果を棄却し、閾値以上の場合は推定結果を採択することが出来る。検出部５は、当該推定結果に基づき、手指の検出と手指先の位置を算出することが出来る。

また、検出部５は、取得部２が取得する画像の二次元座標内の回転運動に対応させる為に、一定間隔（角度）で回転させた複数の回転画像を用い、全ての回転画像に対して検出処理を実施しても良い。更に検出部５は、必要に応じて上述の色特徴量から抽出される肌色領域に基づいて用いて、輝度勾配特徴量の探索範囲を限定してもよい。即ち、抽出部３が抽出する輝度勾配特徴量から規定される矩形領域内に、色特徴量に基づいて抽出された肌色領域が一画素でも含まれている場合、検出部５は、第１特徴量モデルのＨＯＧ特徴量と比較判定を実施し、肌色領域が含まれていない場合は検出処理を実施しない。当該処理によって、検出部５の演算負荷を大幅に削減することが可能となる。検出部５は、第１部位（手指）として検出された矩形領域内における、平均化された指先位置を指先として特定しても良い。更に、複数の矩形領域が検出された場合は、検出部５は、第１特徴量モデル（識別器と称しても良い）の類似度が最大の矩形領域を選択しても良い。

図１の選択部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、選択部６は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。選択部６は、検出部５が検出した手指の本数、手指の移動量、または、検出に使用した特徴量を検出部５から受け取り、第１部位となる手指の移動の速さに関する第１情報を算出する。当該第１情報は、色特徴量による手指検出結果の信頼度を示す情報となる。換言すると、背景に肌色領域が存在する場合、色特徴量による手指検出結果の信頼性は低いものとなる。この為、選択部６は、検出部５が色特徴量か輝度勾配特徴量の何れかを用いて手指を検出するのかを、第１情報に基づいて選択する。また、選択部６は必要に応じて、抽出部３に対して色特徴量または輝度勾配特徴量の何れか一方のみの特徴量を抽出することを指示しても良い。

次に、第１情報の技術的意義と選択部６の選択処理の詳細について説明する。先ず、第１情報の技術的意義について説明する。本発明者らは、鋭意検証の結果、低い演算負荷の特徴を有する色特徴量を用い手指の検出ならびに手指先の位置の検出が正確に実行されない場合に共通して観測される現象を新たに見出した。当該現象は、手指領域と背景の肌色領域が重畳することで、手指の本数が短時間内で増減するか、手指先の位置が短時間内で大きく変動する特徴を有する。換言すると、手指領域と背景の肌色領域が重畳することで、第１部位となる手指が任意の時間内（第１時刻と第２時刻の差分となる第３時刻内と称しても良い）の移動量が、所定の閾値（第１閾値と称しても良い）以上となる場合が発生する。

図５（ａ）は、背景の肌色領域と第１部位の重畳による、第１部位の移動量の第１概念図である。図５（ｂ）は、背景の肌色領域と第１部位の重畳による、第１部位の移動量の第２概念図である。なお、図５（ａ）は、例えば、色特徴量を用いる場合において、手指領域と背景の肌色領域が重畳することで、手指の本数が短時間内で増減する概念図である。図５（ｂ）は、例えば、色特徴量を用いる場合において、手指領域と背景の肌色領域が重畳することで、手指先の位置が短時間内で大きく変動する概念図である。また、図５（ａ）と図５（ｂ）においては、検出部５の検出処理速度が、３０ＦＰＳ（１秒間に３０フレーム処理）の場合の手指の移動量の様子を示している。更に、図５（ａ）と図５（ｂ）においては、手の甲の付根付近（手首付近）から描画されている実線の数が検出される手指の本数、実線の大きさと方向が、手指ベクトルを示している。なお、手指ベクトルは、例えば、任意の２点（例えば、手指先位置と手の重心位置）を用いて手指の長手方向に規定されれば良い。

図５（ａ）においては、手指の本数が３フレームの間（０.０６秒）という短時間で１本から２本に増えた後に再度１本に減っている。これは、背景の肌色領域と第１部位の重畳が、時刻ｔ０＋０．０３の時刻で発生した後に、時刻ｔ０＋０．０６の時刻で非重畳状態に戻った為である。当該変化は、０．０６秒という非常に短時間で発生しており、ユーザの通常の動作速度とは異なる特徴を有する。図５（ｂ）においては、手指先の位置が２フレームの間（０.０３秒）で大幅に変動（２６ピクセル程度変動）している。これは、背景の肌色領域と第１部位の重畳が時刻ｔ０＋０．０３の時刻で発生した時に、背景の肌色領域が、手指の一部と誤検出されることにより、手指先の位置が大幅に変化する為である。当該変化も図５（а）と同様に、０．０３秒という非常に短時間で発生しており、ユーザの通常の動作速度とは異なる特徴を有する。

上述の図５（а）と図５（ｂ）から理解出来る通り、色特徴量は、手指領域と背景の肌色領域が重畳することで、手指の本数が、ユーザの通常の動作時間に比較して短時間で増減するか、手指先の位置が短時間内で大きく変動する特徴を有する。即ち、第１情報は、異なる時間に取得される画像の第１部位の比較から算出される第１部位の移動の速さに関する情報であり、選択部６は、第１情報に基づいて、検出部５が色特徴量と輝度勾配特徴量の何れかを用いて第１部位となるユーザの手指を検出するかを選択することで、背景色に依存せずにユーザの手指の位置を高い堅牢性かつ低い演算負荷で検出することが可能となる。換言すると、選択部６は、第１部位以外となる画像の背景領域の色特徴量が、第１部位の色特徴量と類似し、かつ、背景領域と第１部位が重畳していると判定した場合は、輝度勾配特徴量を選択する。

次に、選択部６の選択処理の詳細について説明する。なお、説明の便宜上、以降の説明においては、検出部５が色特徴量を使用して第１部位を検出する状態を色特徴量モード、輝度勾配特徴量を使用して第１部位を検出する状態を輝度勾配特徴量モードと称する。図６は、選択部６による特徴量選択処理の第１フローチャートである。なお、図６は、選択部６が色特徴量モードを選択している場合に、色特徴量モードから輝度勾配特徴量モードに移行するか否を判定する処理である。なお、選択部６は、画像処理装置１が画像処理を開始する時は、例えば、色特徴量モードを選択すれば良い。

図６において、選択部６が色特徴量モードを選択している場合は、以下の処理を実行する。先ず、選択部６は、過去一定時間以内に、色特徴量に基づく手指検出において、手指の本数の増減があるかを判定する（ステップＳ６０１）。なお、手指本数の増減の判定処理の詳細については後述する。ステップＳ６０１において、手指の本数に増減が有る場合（ステップＳ６０１−Ｙｅｓ）、選択部６は、輝度勾配特徴量モードを選択する（ステップＳ６０２）。ステップＳ６０１において、手指の本数に増減が無い場合（ステップＳ６０１−Ｎｏ）、選択部６は、異なる時刻（例えば、前時間（第２時刻と称しても良い）と現時間（第１時刻と称しても良い））に基づいて、手指ベクトルの移動量（変化量と称しても良い）を算出する（ステップＳ６０３）。なお、手指ベクトルの移動量の算出処理の詳細については後述する。ステップＳ６０３において、手指毎に計算する手指ベクトルの移動量が、いずれか一つでも所定の閾値以上の場合（ステップＳ６０３−Ｙｅｓ）、選択部６は輝度勾配特徴量モードを選択する（ステップＳ６０２）。ステップＳ６０３において、手指ベクトルの移動量が所定の閾値未満の場合（ステップＳ６０３−Ｎｏ）、選択部６は色特徴量モードを継続的に選択する（ステップＳ６０４）。

（手指本数の増減の判定処理）
ここで、手指本数の増減の判定処理の詳細について説明する。先ず、手指本数の増減については、ユーザが意図的に手指の本数を増加させた場合（例えば手を握った状態から一本の手指を出す様な場合）と、背景の肌色領域と手指が重畳することによって手指の本数が誤検出で増加する場合を区別する必要がある。この為、選択部６は、手指の本数が、ある時刻に変化した時に、一定の短時刻ｔｍ前に発生した指の本数の増減を調べる。例えば、時刻ｔ［ｓｅｃ］に手指の本数が２本から１本に変化した場合、時刻ｔ−ｔｍ［ｓｅｃ］までに手指の本数が１本から２本に変化したか否かを調べる。変化した場合、手指の本数の増減有りとみなす。なお、時刻ｔｍは、人間が動かせる指の速度を考慮した値に設定することが出来る。例えば、３０ＦＰＳの場合、０．０６秒の間に人間が手指の本数を増やして減らす（または減らして増やす）ことは不可能（現実的では無い）であると仮定し、ｔｍ＝０．０６（２フレーム間）と設定することが出来る。なお、ｔｍを第３時刻と称しても良い。また、上述の第１閾値は、例えば、手指の本数の変化量と設定することが出来る。

図７は、検出部５が検出する手指の本数と選択部６が選択する特徴量を含むデータ構造の一例を示すテーブルである。図７のテーブル７０において、手指本数真値は、客観的に観測される手指の真の本数であり、手指本数推定値は、検出部５が検出する手指の本数である。テーブル７０において、フレームＮｏ.がｔ−６の時刻からｔ−４の時刻で、色特徴量モードで検出する手指の本数が１本→２本→１本と変化している為、選択部５は、ｔ−４の時刻から輝度勾配特徴量モードを選択する。なお、検出部５が検出する手の本数は２本以上であっても良く、その場合、選択部６は、手毎に色特徴量モード、輝度勾配特徴量モードの選択を実施すれば良い。なお、テーブル７０は、例えば、検出部５が有する図示しないキャッシュまたはメモリに格納されれば良い。

（手指ベクトルの移動量の算出処理）
ここで、手指ベクトルの移動量の算出処理の詳細について説明する。手指ベクトルの移動量については、例えば、手の甲の重心から各手指へのベクトルを算出し、前時刻と現時刻でのベクトルに基づいて移動量を算出することが出来る。なお、手指ベクトルは大きさの他に方向の成分を有する為、ユーザの手指の移動方向が想定されない方向（例えば、手指が下方向から上方向に向かって移動している際に、ある時刻間のみ左右に移動する等）に移動したことを検出することが出来る。また、当該移動量の算出において、色特徴量に基づき特定された手指先位置の変動を用いると、手指を高速に動かした場合に、輝度勾配特徴量モードに移行する必要がない状況でも輝度勾配特徴量モードに移行することも想定される。一方、手指ベクトルの変化量を用いて判定を行うことで、輝度勾配特徴量モードに移行する必要がない状況において輝度勾配特徴量モードに移行することを抑制することが可能となる。

図８は、選択部６による手指ベクトル移動量の算出に用いるデータ構造の一例を示すテーブルである。テーブル８０は、例えば、検出部５が有する図示しないキャッシュまたはメモリに格納されれば良い。図８のテーブル８０において、任意の手指ＩＤ（ｎ）に対して、ある時刻ｔ（第１時刻と称しても良い）と、その１つ前のフレームの時刻ｔ−１（第２時刻と称しても良い）での手指ベクトルＶｎ,ｔ, Ｖｎ,ｔ−１を選択部６が算出する。なお、複数の手指が存在する場合は、例えば、時刻ｔの手指先の座標に一番近い座標の時刻ｔ−１の手指を、同じ手指と見做せば良い。なお、手指ベクトル変化量ｖａｒ（Ｖｎ,ｔ, Ｖｎ,ｔ−１）は、次式に基づいて算出することが出来る。
（数２）

上述の（数２）において、右辺前半の項は、手指ベクトルの大きさの前フレームからの差分を意味しており、０に近いほど手指ベクトルの大きさが変化しないことを意味する。また、上述の（数２）において、右辺後半の項は、ベクトル同士のなす角（単位［ｒａｄ］）を正規化した値を意味しており、０に近いほどなす角が小さくなる。換言すると、手指ベクトル変化量ｖａｒが０に近いほど、検出部５の検出結果の信頼度が高いことを意味する。換言すると、当該手指ベクトルの変化量がある閾値θを下回る場合は、検出部５の検出結果の信頼度は高いと見做すことが出来る。なお、閾値θの設定方法は様々な任意の方式を適用できるが、例えば、事前に背景に肌色が含まれない領域で複数のユーザに手指を動かしてもらい、そこで得られた手指ベクトル変化量ｖａｒの値の最大値を用いるなどの方法を適用することが出来る。例えば、画像処理装置１における画像処理の速度が３０ＦＰＳの場合、手指ベクトルの大きさの前フレームからの差分は０．２５、手指ベクトル同士のなす角は１５度（π／６［ｒａｄ］）を最大値として定めるとすると、閾値θは０．０４となる。また、この閾値は輝度勾配特徴量モードへの入り易さを意味する為、使用用途に応じて適宜変更することが出来る。

図９は、検出部５が検出する手指の本数と選択部６が手指ベクトルの変化量に基づいて選択する特徴量を含むデータ構造の一例を示すテーブルである。図９のテーブル９０は、例えば、検出部５が有する図示しないキャッシュまたはメモリに格納されれば良い。テーブル９０において、手指本数真値は、客観的に観測される手指の真の本数であり、手指本数推定値は、検出部５が検出する手指の本数である。テーブル９０において、手指本数真値ならびに手指本数推定値は常に２本のままだが、手指ベクトル変化量がｔ−４からｔ−３にかけて手指ＩＤ（ｎ）＝２で大幅に上昇している。そこで、選択部６は、時刻ｔ−３において、選択する特徴量を色特徴量から輝度勾配特徴量へ変化させている。

次に、図１の選択部６による特徴量選択の第１フローチャートにおいて、選択部が輝度勾配特徴量モードを選択した場合（ステップＳ６０２）の以降の処理について説明する。図１０は、選択部６による特徴量選択処理の第２フローチャートである。なお、図１０は、選択部６が輝度勾配特徴量モードを選択している場合に、色特徴量モードに移行するか否かを判定する処理である。

図１０において、選択部６が輝度勾配特徴量モードを選択している場合は、以下の処理を実行する。先ず、選択部６は、過去一定時間ｔｈ以内（例えば、過去１０フレームとなる０．３秒以内）の全時間に、輝度勾配特徴量に基づく手指検出で、手指の本数の増減があるか否かを判定する（ステップＳ１００１）。ステップＳ１００１において、手指の本数に増減が無い場合（ステップＳ１００１−Ｎｏ）、選択部６は輝度勾配特徴量モードを継続的に選択する（ステップＳ１００４）。ステップＳ１００１において、手指の本数に増減が有る場合（ステップＳ１００１−Ｙｅｓ）、選択部６は、過去一定時間ｔｈ以内の全時間で、前時刻と現時刻での手指ベクトルの変化量を算出する（ステップＳ１００２）。ステップＳ１００２において、手指毎に計算する手指ベクトルの移動量が、いずれか一つでも所定の閾値（ｔｈ）以上の場合（ステップＳ１００２−Ｙｅｓ）、選択部６は色特徴量モードを選択する（ステップＳ１００３）。ステップＳ１００２において、手指ベクトルの移動量が所定の閾値（ｔｈ）未満の場合（ステップＳ１００２−Ｎｏ）、選択部６は色特徴量モードを継続的に選択する（ステップＳ１００４）。なお閾値（ｔｈ）は任意に調整可能な値であり、閾値となる時間を増やすことで、輝度勾配特徴量モードから色特徴量モードに移行し難くなる効果を奏する。また、外乱による検出・選択結果の不安定性に対応する為に、過去一定時間（ｔｈ）の間に、色特徴量モード移行の判定回数と移行保留の判定回数をカウントし、移行判定回数が保留判定回数を上回った時のみ移行する時間を閾値（ｔｈ）に用いることも可能である。

図１１は、画像処理装置１による画像処理のフローチャートである。取得部２は、例えば、撮像素子が撮像する画像を撮像素子から取得する（ステップＳ１１０１）。ステップＳ１１０１において、取得部２が画像を取得していない場合（ステップＳ１１０１−Ｎｏ）は、画像処理装置１は図１１のフローチャートに示す処理を終了する。ステップＳ１１０１において、取得部２が画像を取得している場合（ステップＳ１１０１−Ｙｅｓ）、取得部２は取得した画像を抽出部３へ出力する。

抽出部３は、取得部２から画像を受け取り、当該画像の色特徴量または、輝度勾配特徴量を抽出する（ステップＳ１１０２）。抽出部３は、例えば、ＲＧＢ色空間における画素値を色特徴量として抽出することが出来る。また、抽出部３は、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量、またはＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量を、輝度勾配特徴量として抽出することが出来る。なお、ステップＳ１１０２において、抽出部３は、後述する選択部６から色特徴量または輝度勾配特徴量の何れか一方のみの特徴量を抽出することを指示される場合は、色特徴量または輝度勾配特徴量の何れか一方のみの特徴量を抽出すれば良い。抽出部３は、抽出した色特徴量または輝度勾配特徴量を検出部５に出力する。

検出部５は、抽出部３が抽出する色特徴量または輝度勾配特徴量を抽出部３から受け取る。検出部５は、色特徴量または輝度勾配特徴量に基づいて第１部位を検出する（Ｓ１１０３）。なお、ステップＳ１１０３において、検出部５は、選択部６の選択に基づいて色特徴量または輝度勾配特徴量を用いて第１部位を検出する。また、検出部５は必要に応じて第１部位の一例となる手指の手指先位置を検出しても良い。

選択部６は、検出部５が色特徴量か輝度勾配特徴量の何れかを用いて手指を検出するのかを、第１情報に基づいて選択し、検出部５に対して指示する（ステップＳ１１０４）。また、ステップＳ１１０４において、選択部６は必要に応じて、抽出部３に対して色特徴量または輝度勾配特徴量の何れか一方のみの特徴量を抽出することを指示しても良い。なお、ステップＳ１１０４における詳細フローは図６ならびに図１０に示すフローチャートに対応する。

実施例１の画像処理装置においては、背景色に依存せずにユーザの手指の位置を正確に特定することが可能となる。更に、色特徴量と輝度勾配特徴量を各種状況に応じて動的に選択することで、背景色に依存せずにユーザの手指の位置を高い堅牢性かつ低い演算負荷で検出することが可能となる。

（実施例２）
実施例２では、図１の検出部５の輝度勾配特徴量の走査範囲を限定することで、演算負荷を軽減させ処理速度を向上させる方法について開示する。検出部５が、輝度勾配特徴量を用いる場合、演算負荷を低減させる為、可能な限り、輝度勾配特徴量の抽出回数、第１特徴量モデル（識別器）を用いる判定回数を減少させた方が好ましい。この為、検出部５は、輝度勾配特徴量モード時に矩形領域の探索範囲を設定する際に、手指ベクトルの変化量に応じて探索範囲を限定する。具体的には、ある前後時刻における手指ベクトルの変化量ｖａｒ（Ｖｎ、ｔ, Ｖｎ、ｔ−１）が、所定閾値θｓ以下である場合、検出部５は、前後時刻の手の重心位置の移動速度ＶＧを計算する。例えば、手の重心をＧｔ ＝（ｘｔ, Ｙｔ）、Ｇｔ−１ ＝ （ｘｔ−１, ｙｔ−１）とすると、移動速度はＶＧ ＝Ｇｔ −Ｇｔ−１となる。その場合、検出部５は、探索する矩形領域を、前時刻の手指の領域から周囲ＶＧだけ移動した範囲のみに限定する。また、検出部５は、回転運動に対応した処理として、画像の回転を、次式で表現されるαの範囲に限定する。
（数３）

前後時刻における手指ベクトルの移動量が低い場合、前の時刻から手指の位置は大幅には変化していない。そのため、矩形領域の範囲と回転領域を上記の様に限定することで、探索領域を大幅に減少させることが出来る。更に、実施例２においては、手指先位置ではなく重心位置を用いて探索範囲を限定している。この理由は、実施例２においては、重心は抽出された肌色領域より算出している。その際、肌色領域はある一定の大きさ以上のものを抽出するため、重心は比較的安定して取得される。一方、手指先位置は、抽出された肌色領域から、輪郭の曲率に基づき指先位置を推定している。そのため輪郭の状況によっては、安定的に指先の位置が取得され難い状況が生じる場合がある。実施例２における画像処理装置１では、手指先位置ではなく重心位置を用いて探索範囲を限定している為、動作の安定性を具現化している。

実施例２の画像処理装置においては、背景色に依存せずにユーザの手指の位置を正確に特定することが可能となる。更に、色特徴量と輝度勾配特徴量を各種状況に応じて動的に選択することで、背景色に依存せずにユーザの手指の位置を高い堅牢性かつ低い演算負荷で検出することが可能となる。

（実施例３）
図１２は、一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。図１２に示す通り、画像処理装置１は、コンピュータ１００、およびコンピュータ１００に接続する入出力装置（周辺機器）を含んで構成される。

コンピュータ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２と複数の周辺機器が接続されている。なお、プロセッサ１０１は、マルチプロセッサであってもよい。また、プロセッサ１０１は、例えば、ＣＰＵ、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）である。更に、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

ＲＡＭ１０２は、コンピュータ１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

バス１０９に接続されている周辺機器としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。

ＨＤＤ１０３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ１０３は、例えば、コンピュータ１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することも出来る。

グラフィック処理装置１０４には、モニタ１１０が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令にしたがって、各種画像をモニタ１１０の画面に表示させる。モニタ１１０としては、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）を用いた表示装置や液晶表示装置などがある。

入力インタフェース１０５には、キーボード１１１とマウス１１２とが接続されている。入力インタフェース１０５は、キーボード１１１やマウス１１２から送られてくる信号をプロセッサ１０１に送信する。なお、マウス１１２は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク１１３に記録されたデータの読み取りを行う。光ディスク１１３は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク１１３には、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。可搬型の記録媒体となる光ディスク１１３に格納されたプログラムは光学ドライブ装置１０６を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１より実行可能となる。

機器接続インタフェース１０７は、コンピュータ１００に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１０７には、メモリ装置１１４やメモリリーダライタ１１５を接続することが出来る。メモリ装置１１４は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ１１５は、メモリカード１１６へのデータの書き込み、またはメモリカード１１６からのデータの読み出しを行う装置である。メモリカード１１６は、カード型の記録媒体である。

ネットワークインタフェース１０８は、ネットワーク１１７に接続されている。ネットワークインタフェース１０８は、ネットワーク１１７を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。

コンピュータ１００は、たとえば、コンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、上述した画像処理機能を実現する。コンピュータ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことが出来る。上記プログラムは、１つのまたは複数の機能モジュールから構成することが出来る。例えば、図１に記載の取得部２、抽出部３、記憶部４、検出部５、選択部６の処理を実現させた機能モジュールからプログラムを構成することが出来る。なお、コンピュータ１００に実行させるプログラムをＨＤＤ１０３に格納しておくことができる。プロセッサ１０１は、ＨＤＤ１０３内のプログラムの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。また、コンピュータ１００に実行させるプログラムを、光ディスク１１３、メモリ装置１１４、メモリカード１１６などの可搬型記録媒体に記録しておくことも出来る。可搬型記録媒体に格納されたプログラムは、例えば、プロセッサ１０１からの制御により、ＨＤＤ１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することも出来る。

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが出来る。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することが出来る。

さらに、ＣＣＤやＣＭＯＳなどの撮像素子は、外部装置を例として説明したが、本実施の形態はこれに限られるものではなく、画像処理装置が撮像素子を備えていてもよい。

本実施の形態では、手指が肌色、背景も肌色に類似している場合を例として説明したが、本実施の形態はこれに限定されない。例えば、手指が手袋などで覆われていて、手袋の色に類似した背景を使用する場合などにも、本実施の形態が適用できることは言うまでもない。

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
ユーザの第１部位を含む画像を取得する取得部と、
前記画像から色特徴量または輝度勾配特徴量を抽出する抽出部と、
前記色特徴量または前記輝度勾配特徴量に基づいて前記第１部位を検出する検出部
と、
異なる時刻に取得される複数の前記画像の前記第１部位の比較から算出される、前記第１部位の移動の速さに関する第１情報に基づいて、前記検出部が前記色特徴量と前記輝度勾配特徴量の何れかを用いて前記第１部位を検出するかを選択する選択部と
を備えることを特徴とする画像処理装置。
（付記２）
前記選択部は、前記第１情報が、前記異なる時刻となる第１時刻と第２時刻から規定される第３時刻内において、所定の第１閾値未満の場合は前記色特徴量を選択し、前記第１閾値以上の場合は、前記輝度勾配特徴量を選択することを特徴とする付記１記載の画像処理装置。
（付記３）
前記選択部は、前記第１閾値以上の場合、前記第１部位以外となる前記画像の背景領域の色特徴量が、前記第１部位の色特徴量と類似し、かつ、前記背景領域と前記第１部位が重畳していると判定し、前記輝度勾配特徴量を選択することを特徴とする付記２記載の画像処理装置。
（付記４）
前記第１部位は手指であり、前記選択部は、前記第３時刻内における前記手指の移動量に基づいて前記色特徴量と前記輝度勾配特徴量の何れかを用いて前記第１部位を検出するかを選択することを特徴とする付記２または付記３記載の画像処理装置。
（付記５）
前記第１部位は手指であり、前記選択部は、前記手指の長手方向に規定される、前記第３時刻内で複数算出されるベクトルの移動量に基づいて前記色特徴量と前記輝度勾配特徴量の何れかを用いて前記第１部位を検出するかを選択することを特徴とする付記２ないし付記４の何れか１つに記載の画像処理装置。
（付記６）
前記第３時刻は、前記第１時刻と前記第２時刻の差分時間であり、
前記第１閾値は、予め計測される前記差分時間における前記ユーザの前記移動量であることを特徴とする付記４または付記５に記載の画像処理装置。
（付記７）
前記検出部は、前記移動量に基づいて、前記輝度勾配特徴量の抽出領域を規定することを特徴とする付記４記載の画像処理装置。
（付記８）
前記第１部位の特徴量を予め抽出した第１特徴量モデルを記憶する記憶部を更に備え、
前記検出部は、前記第１特徴量モデルとの類似度が、所定の第２閾値以上となる前記画像に含まれる物体を前記第１部位として検出することを特徴とする付記１記載の画像処理装置。
（付記９）
ユーザの第１部位を含む画像を取得し、
前記画像から色特徴量または輝度勾配特徴量を抽出し、
前記色特徴量または前記輝度勾配特徴量に基づいて前記第１部位を検出し、
異なる時刻に取得される複数の前記画像の前記第１部位の比較から算出される、前記第１部位の移動の速さに関する第１情報に基づいて、前記検出部が前記色特徴量と前記輝度勾配特徴量の何れかを用いて前記第１部位を検出する
ことを含むことを特徴とする画像処理方法。
（付記１０）
前記選択することは、前記第１情報が、前記異なる時刻となる第１時刻と第２時刻から規定される第３時刻内において、所定の第１閾値未満の場合は前記色特徴量を選択し、前記第１閾値以上の場合は、前記輝度勾配特徴量を選択することを特徴とする付記９記載の画像処理方法。
（付記１１）
前記選択することは、前記第１閾値以上の場合、前記第１部位以外となる前記画像の背景領域の色特徴量が、前記第１部位の色特徴量と類似し、かつ、前記背景領域と前記第１部位が重畳していると判定し、前記輝度勾配特徴量を選択することを特徴とする付記１０記載の画像処理方法。
（付記１２）
前記第１部位は手指であり、前記選択することは、前記第３時刻内における前記手指の移動量に基づいて前記色特徴量と前記輝度勾配特徴量の何れかを用いて前記第１部位を検出するかを選択することを特徴とする付記１０または付記１１記載の画像処理方法。
（付記１３）
前記第１部位は手指であり、前記選択することは、前記手指の長手方向に規定される、前記第３時刻内で複数算出されるベクトルの移動量に基づいて前記色特徴量と前記輝度勾配特徴量の何れかを用いて前記第１部位を検出するかを選択することを特徴とする付記１０ないし付記１２の何れか１つに記載の画像処理方法。
（付記１４）
前記第３時刻は、前記第１時刻と前記第２時刻の差分時間であり、
前記第１閾値は、予め計測される前記差分時間における前記ユーザの前記移動量であることを特徴とする付記１２または付記１３に記載の画像処理方法。
（付記１５）
前記検出することは、前記移動量に基づいて、前記輝度勾配特徴量の抽出領域を規定することを特徴とする付記１２記載の画像処理方法。
（付記１６）
前記第１部位の特徴量を予め抽出した第１特徴量モデルを記憶することを含み、
前記検出することは、前記第１特徴量モデルとの類似度が、所定の第２閾値以上となる前記画像に含まれる物体を前記第１部位として検出することを特徴とする付記１記載の画像処理方法。
（付記１７）
コンピュータに、
ユーザの第１部位を含む画像を取得し、
前記画像から色特徴量または輝度勾配特徴量を抽出し、
前記色特徴量または前記輝度勾配特徴量に基づいて前記第１部位を検出し、
異なる時刻に取得される複数の前記画像の前記第１部位の比較から算出される、前記第１部位の移動の速さに関する第１情報に基づいて、前記検出部が前記色特徴量と前記輝度勾配特徴量の何れかを用いて前記第１部位を検出する
ことを実行させることを特徴とする画像処理プログラム。

１ 画像処理装置
２ 取得部
３ 抽出部
４ 記憶部
５ 検出部
６ 選択部

Claims (7)

1. ユーザの第１部位を含む画像を取得する取得部と、
   前記画像から色特徴量または輝度勾配特徴量を抽出する抽出部と、
   前記色特徴量または前記輝度勾配特徴量に基づいて前記第１部位を検出する検出部と、
   異なる時刻に取得される複数の前記画像の前記第１部位の比較から算出される、前記第１部位の移動の速さに関する第１情報に基づいて、前記検出部が前記色特徴量と前記輝度勾配特徴量の何れかを用いて前記第１部位を検出するかを選択する選択部と
   を備え、
   前記選択部は、前記第１情報が、前記異なる時刻となる第１時刻と第２時刻から規定される第３時刻内において、所定の第１閾値未満の場合は前記色特徴量を選択し、前記第１閾値以上の場合は、前記輝度勾配特徴量を選択することを特徴とする画像処理装置。
2. 前記選択部は、前記第１閾値以上の場合、前記第１部位以外となる前記画像の背景領域の色特徴量が、前記第１部位の色特徴量と類似し、かつ、前記背景領域と前記第１部位が重畳していると判定し、前記輝度勾配特徴量を選択することを特徴とする請求項１記載の画像処理装置。
3. 前記第１部位は手指であり、前記選択部は、前記第３時刻内における前記手指の移動量に基づいて前記色特徴量と前記輝度勾配特徴量の何れかを用いて前記第１部位を検出するかを選択することを特徴とする請求項１または請求項２記載の画像処理装置。
4. 前記第１部位は手指であり、前記選択部は、前記手指の長手方向に規定される、前記第３時刻内で複数算出されるベクトルの移動量に基づいて前記色特徴量と前記輝度勾配特徴量の何れかを用いて前記第１部位を検出するかを選択することを特徴とする請求項１ないし請求項３の何れか一項に記載の画像処理装置。
5. 前記第３時刻は、前記第１時刻と前記第２時刻の差分時間であり、
   前記第１閾値は、予め計測される前記差分時間における前記ユーザの前記移動量であることを特徴とする請求項３または請求項４に記載の画像処理装置。
6. ユーザの第１部位を含む画像を取得し、
   前記画像から色特徴量または輝度勾配特徴量を抽出する抽出処理を実行し、
   前記色特徴量または前記輝度勾配特徴量に基づいて前記第１部位を検出する検出処理を実行し、
   異なる時刻に取得される複数の前記画像の前記第１部位の比較から算出される、前記第１部位の移動の速さに関する第１情報に基づいて、前記検出処理において前記色特徴量と前記輝度勾配特徴量の何れかを用いて前記第１部位を検出するかを選択する選択処理を実行し、
   前記選択処理は、前記第１情報が、前記異なる時刻となる第１時刻と第２時刻から規定される第３時刻内において、所定の第１閾値未満の場合は前記色特徴量を選択し、前記第１閾値以上の場合は、前記輝度勾配特徴量を選択する
   ことを含むことを特徴とする画像処理方法。
7. コンピュータに、
   ユーザの第１部位を含む画像を取得し、
   前記画像から色特徴量または輝度勾配特徴量を抽出する抽出処理を実行し、
   前記色特徴量または前記輝度勾配特徴量に基づいて前記第１部位を検出する検出処理を実行し、
   異なる時刻に取得される複数の前記画像の前記第１部位の比較から算出される、前記第１部位の移動の速さに関する第１情報に基づいて、前記検出処理において前記色特徴量と前記輝度勾配特徴量の何れかを用いて前記第１部位を検出するかを選択する選択処理を実行し、
   前記選択処理は、前記第１情報が、前記異なる時刻となる第１時刻と第２時刻から規定される第３時刻内において、所定の第１閾値未満の場合は前記色特徴量を選択し、前記第１閾値以上の場合は、前記輝度勾配特徴量を選択する
   ことを実行させることを特徴とする画像処理プログラム。

Images