JP6273686B2

JP6273686B2 - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP6273686B2
Application number: JP2013070893A
Authority: JP
Inventors: 厚一郎新沼; 村瀬　太一; 太一村瀬
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2013-03-29
Filing date: 2013-03-29
Publication date: 2018-02-07
Anticipated expiration: 2033-03-29
Also published as: US20140292644A1; EP2784720B1; EP2784720A2; JP2014194685A; EP2784720A3; US9471171B2

Description

本発明は、例えば、ユーザの手指の検知に用いる画像処理装置、画像処理方法および画像処理プログラムに関する。

従来から、プロジェクタを用いて文書画像を投影する方法が用いられている。近年においては、投影された投影画像に対してインタラクション操作を行うことで、ユーザの作業支援を実現させる為の技術も開発されている。例えば、投影画像に含まれる任意の単語を手指で示した場合、当該単語に関連付けられた注釈などを提示する拡張現実感（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：ＡＲ）技術が開示されている。

上述のインターフェースでは、任意の場所に固定されたカメラ、または自由に移動が可能なカメラを用いて、ユーザの手指の位置を正確に特定することが必要となる。手指の位置を特定する方法として、例えば、撮像画像から、例えば肌色の色成分（色特徴量）を抽出することで、手領域輪郭を抽出し、当該手領域輪郭から手指の位置を特定する技術が開示されている。

Survey on Skin Tone Detection using Color Spaces, C. Prema et al., International Journal of Applied Information Systems 2(2):18-26, May 2012. Published by Foundation of Computer Science, New York, USA. Skin Detection - a Short Tutorial, Ahmed et al., Encyclopedia of Biometrics by Springer-Verlag Berlin Heidelberg 2009. A survey of skin-color modeling and detection methods, Kakumanu et al., Pattern Recognition, Volume 40, Issue 3, March 2007, Pages 1106-1122 A Survey on Pixel-Based Skin Color Detection Techniques, Vladimir et al., IN PROC. GRAPHICON-2003.

しかしながら、色特徴量を用いたユーザの手指の位置を検出する技術においては、投影画像が投影される壁面または紙面の背景が肌色の場合は、手指の位置の特定が困難となる。また、色特徴量は照明環境によっても大きく特徴量が変動する問題が存在する。この様な状況から、照明変動や背景色に依存せずにユーザの手指の位置を正確に特定する画像処理装置は提唱されていない。本発明は、照明変動や背景色に依存せずにユーザの手指の位置を正確に特定する画像処理装置を提供することを目的とする。

本発明が開示する画像処理装置は、ユーザの第１部位と第２部位を含む画像を取得する取得部と、前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出する検出部を備える。更に、当該画像処理装置は、前記第１部位と前記第２部位の生体的位置関係を満たさない前記第１部位の候補及び前記第２部位の候補を、時系列において前記画像の前に取得された前画像において選定された前記第１部位及び前記第２部位に依存することなく、前記第１候補群及び前記第２候補群からそれぞれ除外することにより、前記第１候補群と前記第２候補群から単一の前記第１部位及び単一の前記第２部位を選定する選定部を備え、前記第１部位は手指であり、前記第２部位は手背または手掌である。

なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示される画像処理装置では、少数の手特徴モデルでユーザの手指の位置を正確に特定することが可能となる。

一つの実施形態による画像処理装置１の機能ブロック図である。第１特徴量モデルのポジティブ画像の概念図である。第１特徴量モデルのデータ構造の一例を示すテーブルである。第２特徴量モデルのポジティブ画像の概念図である。第２特徴量モデルのデータ構造の一例を示すテーブルである。取得部２が取得する画像と、当該画像から検出された第１候補群の概念図である。検索領域データのデータ構造の一例を示すテーブルである。（ａ）は、１つの第１候補群に対する角度範囲の検索領域の概念図である。（ｂ）は、１つの第１候補群に対するスケール範囲の検索領域の概念図である。取得部２が取得する画像から選定部５が第１部位と第２部位を選定した概念図となる。画像処理装置１による画像処理のフローチャートである。一つの実施形態による画像処理装置１のハードウェア構成図である。

以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。

（実施例１）
図１は、一つの実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、取得部２、検出部３、記憶部４、選定部５を有する。なお、画像処理装置１は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことによりネットワークリソースを用いることが可能である。

取得部２は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部２は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部２は、外部装置が撮像する画像を受け取る。画像を撮像する外部装置は、例えば撮像素子である。撮像素子は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。また、撮像素子をＨＭＣ（ＨｅａｄＭｏｕｎｔｅｄＣａｍｅｒａ）として利用することも可能である。撮像素子は、例えば、ユーザの手を含む画像を撮像する。なお、撮像素子を、必要に応じて画像処理装置１に含めることも可能である。
取得部２は、取得した画像を検出部３に出力する。

検出部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、検出部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。検出部３は、取得部２から画像を受け取り、当該画像に含まれるユーザの第１部位の候補となる第１候補群と、ユーザの第２部位の候補となる第２候補群を検出する。なお、第１部位は例えば手指であり、第２部位は例えば手の甲（手背と称しても良い）または手掌である。実施例１においては、第２部位の手の甲として説明する。なお、検出部３による検出処理の詳細については後述する。

記憶部４は、例えば、フラッシュメモリ（ｆｌａｓｈｍｅｍｏｒｙ）などの半導体メモリ素子、または、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、光ディスクなどの記憶装置である。なお、記憶部４は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）であってもよい。

なお、記憶部４は、必ずしも画像処理装置１に含まれる必要はない。例えば当該各種データは、画像処理装置１に含まれる各機能部の図示しないキャッシュやメモリ等に記憶しても良い。また、画像処理装置１に設けられる図示しない通信部を用いて通信回線を介することによって、記憶部４を画像処理装置１以外の外部装置に設けることも可能である。

記憶部４には、例えば、第１部位の特徴量を予め抽出した第１特徴量モデルと、第２部位の特徴量を予め抽出した第２特徴量モデルが事前学習により予め記憶される。なお、第１特徴量モデルと第２特徴量モデルは、ＨＯＧ（ＨｉｓｔｏｇｒａｍｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓ）特徴量またはＬＢＰ（ＬｏｃａｌＢｉｎａｒｙＰａｔｔｅｒｎ）特徴量に基づいて生成することが出来る。実施例１においては、第１特徴量モデルと第２特徴量モデルを、ＨＯＧ特徴量に基づいて生成するものとして説明する。なお、事前学習は、例えば、対象物（第１部位または第２部位）が撮像された画像（ポジティブ画像）と、対象物が撮像されていない画像（ネガティブ画像）を用いて実施され、ＡｄａｂｏｏｓｔやＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）等の様々な公知の手法を用いることが可能である。また、ＨＯＧ特徴量の抽出方法は、例えば、「Navneet et al., Histograms ｏｆ Oriented Gradients for Human Detection, 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05)」に開示される方法を用いることが出来る。

図２は、第１特徴量モデルのポジティブ画像の概念図である。図２のポジティブ画像においては、例えば、左上端が原点として設定され、横方向がｘ座標、縦方向がｙ座標として規定されている。また、図２のポジティブ画像においては、任意の数のブロック数に区切られており、ユーザの第１部位となる手指が真直状態で撮像されている。なお、図２に示すポジティブ画像として、例えば、複数のユーザの第１部位や、照明条件や背景を変化させた複数のポジティブ画像を用いても良い。また、当該複数のポジティブ画像に対する事前学習の過程において、手指先の位置を規定の座標位置に一律的に定める様に設定しても良い。この場合、複数のポジティブ画像から抽出される何れの第１特徴量モデルを使用しても、実際に検出されるユーザの指先と、ポジティブ画像の指先位置を正確に適合することが可能となり、ユーザの手指先の位置を正確に特定出来る。更に、図２に示すポジティブ画像においては、手指付根位置が適宜設定される。手指付根位置は、例えば、画像下端付近に撮像される手指の中心位置に設定されれば良い。

図３は、第１特徴量モデルのデータ構造の一例を示すテーブルである。図３のテーブル３０には、手指付根位置、手指先位置、手指先方向、ＨＯＧ特徴量の項目が格納される。更に、ＨＯＧ特徴量の項目には、図２に示すブロックＮｏと、各ブロック内を、９分割した分割領域の勾配の強度の項目が格納されている。なお、勾配の強度は、例えば、１〜６４の値に正規化されている。手指付根位置と手指先位置の項目には図２で説明したｘ座標とｙ座標が格納される。手指先方向は、例えば、手指付根位置と手指先位置のｘ座標の差分に基づいて規定されれば良い。

図４は、第２特徴量モデルのポジティブ画像の概念図である。図４のポジティブ画像においては、例えば、左上端が原点として設定され、横方向がｘ座標、縦方向がｙ座標として規定されている。また、図４のポジティブ画像においては、任意の数のブロック数に区切られており、ユーザの第２部位となる手の甲が撮像されている。なお、図４に示すポジティブ画像として、例えば、複数のユーザの第２部位や、照明条件や背景を変化させた複数のポジティブ画像を用いても良い。なお、図４に示すポジティブ画像においては、手指付根位置が適宜設定される。手指付根位置は、例えば、手の甲と手指を連接する、何れかの手根骨の中心位置に設定されれば良い。

図５は、第２特徴量モデルのデータ構造の一例を示すテーブルである。図５のテーブル５０には、手指付根位置、手指先位置、ＨＯＧ特徴量の項目が格納される。テーブル５０において、手指先は、図４のポジティブ画像には撮像されない為、例えば、図３のテーブル３０に格納される手指先位置と手指付根位置のｙ座標の差分値（６０）を用いて、仮想的に設定されれば良い。この為、図５のテーブル５０において、手指先位置のｙ座標の値は負の値（−４０）となる。図５のテーブル５０におけるその他のデータ項目は、図３のテーブル３０と同様の為、詳細な説明は省略する。

図１の検出部３は、取得部２から受け取った画像からＨＯＧ特徴量を抽出し、記憶部４に記憶されている第１特徴量モデルのＨＯＧ特徴量と比較して、類似度が所定の第１閾値（例えば７０％）以上の、画像に含まれる物体を第１候補群として検出する。図６は、取得部２が取得する画像と、当該画像から検出された第１候補群の概念図である。図６において、取得部２が取得する画像には、ユーザの手、ペン、鍵、携帯電話ならびに封筒が撮像されている。実施例１においては、ユーザの手指、ペンの後端、鍵の先端、ならびに携帯電話のテンキー部分が、第１候補群として検出部３により検出されている。なお、検出部３は、第１候補群を検出する際に、ＨＯＧ特徴量に加えて、色特徴量を併用しても良い。検出部３は、色特徴量を併用することにより第１候補群の検出数を削除することが可能となる。また、検出部３は、取得部２から受け取った画像からＨＯＧ特徴量を抽出し、記憶部４に記憶されている第２特徴量モデルのＨＯＧ特徴量と比較して、類似度が所定の第２閾値（例えば７０％）以上の、画像に含まれる物体を第２候補群として検出する。なお、第２候補群の図示については省略する。

図１の選定部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、選定部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。選定部５は、第１部位と第２部位の生体的位置関係に基づいて、第１候補群と第２候補群から第１部位または第２部位を選定する。
なお、生体的位置関係は、例えば、第１部位の一端と第２部位の外縁が、連接点において可動状態で連接していることを特徴とする。換言すると、生体的位置関係は、ユーザの手指の付根（連接点と称しても良い）と手の甲が連接している位置関係を指す。

ここで、図１の記憶部４は、第１部位の所定の基準位置に対して第２部位が検出され得る、生体的位置関係に基づいた検索領域データを更に記憶しているものとする。図７は、検索領域データのデータ構造の一例を示すテーブルである。図７のテーブル７０においては、例えば、基準位置、位置探索範囲、基準角度、角度探索範囲、基準スケール、スケール探索範囲の項目が格納される。図７のテーブル７０に示す各項目は、ユーザの手指と手の甲が連接している生体的位置関係に基づいて規定される。更に、図７のテーブル７０に示す各項目は、ユーザの手指と手の甲の相対的な可動域に基づいて設定される。これにより、様々な形状の手が撮像された場合においても頑健な手指位置の検出が可能となる。

図７のテーブル７０において、基準位置の項目は、手の甲に対して規定される基準位置であり、例えば、図５のテーブル５０の手指付根位置の座標が格納される。位置探索範囲の項目は、基準位置からの第１部位の探索範囲であり、ｘ方向とｙ方向にそれぞれ規定される。選定部５は、基準位置±位置探索範囲（２０±１０、２０±２０）の領域において、第２特徴群が検出されているかを判定する。

図７のテーブル７０において、基準角度の項目は、手の甲に対して規定される基準角度であり、例えば、図５のテーブルの手指付根位置と手指先位置のｘ座標の差分に基づいて規定されれば良い。図７のテーブル７０において、角度探索範囲の項目は、基準角度からの第１部位の探索範囲となる。図８（ａ）は、１つの第１候補群に対する角度範囲の検索領域の概念図である。図８（ａ）に示す通り、選定部５は、基準位置を基点とし、基準角度±角度探索範囲（０±２０）の領域において、第２特徴群が検出されているかを判定する。

図７のテーブル７０において、基準スケールの項目は、手の甲に対して規定される基準スケール（手の甲の大きさ）であり、例えば、図５のテーブルの手指付根位置と手指先位置のｙ座標の差分に基づいて規定されれば良い。スケール探索範囲の項目は、基準スケールからの探索範囲となり、例えば、最小値は基準スケールの０．７倍であり、最大値は基準助スケールの１．３倍であれば良い。図８（ｂ）は、１つの第１候補群に対するスケール範囲の検索領域の概念図である。図８（ｂ）に示す通り、選定部５は、基準位置を基点としたスケール探索範囲に、第２特徴群が検出されているかを判定する。

図１の選定部５は、例えば、検出部３が検出した第１候補群に対して、図７のテーブル７０を参照して、検索領域に第２候補群が存在するか否かを確認して、第１候補群と第２候補群の中から第１部位または第２部位を選定する。なお、選定部５は、図７のテーブル７０の何れかの項目を選択的に使用しても良いし、組み合わせて使用しても良い。図６に示す通り、取得部２が取得する画像に第１部位と第２部位の双方が撮像されている場合においては、検索領域に第２候補群が存在し、選定部５は、第２部位を選定することが可能である。しかし、取得部２が取得する画像に第１部位のみが撮像されている場合などにより、第２特徴群が検出されない場合は、異なる時間（例えば、次フレーム）に取得部２が取得する画像を用いて、検出部３の検出処理と選定部５の選定処理が実行される。

図９は、取得部２が取得する画像から選定部５が第１部位と第２部位を選定した概念図となる。ユーザの手指と手の甲が連接している拘束条件に基づいて選定している為、選定部５は、検出部３が第１候補群として検出したユーザの手指以外の、ペンの後端、鍵の先端、ならびに携帯電話のテンキー部分をユーザの手指として誤検出ことを排除することが出来る。図１の選定部５は、選定した第１部位に対して、図３のテーブル３０の指先位置、手指先方向と、取得部２が取得する画像の原点（例えば、左上端）の関係から、当該画像中の指先位置を正確に算出することが出来る。更に、第１部位となる手指ならびに第２部位となる手の甲形状に着目すると、手の可動域の影響を排除した、単純な構造をしている為、単純な特徴量モデルを用いることが可能となる為、記憶容量や演算処理負荷が軽減を具現化することが可能となる。また、比較例として、ＨＯＧ特徴量やＬＢＧ特徴量を用いた、様々な形状の手特徴モデルを使用することが考えられる。しかしながら、この場合、可動域が自在な手に対して十分な数の手特徴モデルを使用することは、記憶容量や演算負荷の観点から現実的ではない。一方、手特徴モデルの数を少なくすると、ユーザの手指を検出すること自体が出来なくなる場合や、概算的な位置推定によって、手指の位置を正確に特定出来なく場合が生じるが、実施例１に係る画像処理装置はこの影響を排除している。

実施例１においては、検出部３が第１候補群と第２候補群を検出してから選定部５が第１部位または第２部位を選定している。これに加えて、検出部３が、第１候補群のみを検出した後に、選定部５が検出部３に対して検索領域に基づいた第２候補群の検出を実行させても良い。これにより、画像処理装置１の処理負荷の軽減を図ることが可能となる。また、検出部３が、第２候補群のみを検出した後に、選定部５が検出部３に対して検索領域に基づいた第１候補群の検出を実行させても良い。これにより、画像処理装置１の処理負荷の軽減を図ることが可能となる

図６ならびに図９においては、ユーザの手指が一本のみ撮像されているが、ユーザの手指が２本以上撮像されている場合も想定される。この場合、複数の第１部位の一端が、１つの第２部位の外縁に連接しているとみなすことが可能であり、選定部５は、１つの第２部位にそれぞれ対応する第１部位として、複数の第１部位を選定する。第２部位となる手の甲が同一であるかの否かの判定は、選定部５が選定した第２候補群の位置、角度、スケールの項目を用いて類似度を算出することで可能となる。例えば、第１候補群の中の候補Ａ１に対応する第２候補群の中の候補Ａ２と、第１候補群の中の候補Ｂ１に対応する第２候補群の中の候補Ｂ２について、次式の通りの条件を満たす場合に、１つの第２部位にそれぞれ対応する複数の第１部位と判定（選定）することが出来る。
（数１）
（ｘ１−ｘ２）^２＋（ｙ１−ｙ２）^２＜ＴＨ１
｜ａ１ − ａ２｜＜ＴＨ２
｜ｗ１ − ｗ２｜＜ＴＨ３
但し、（ｘ１、ｙ１）は、Ａ２の中心位置、ａ１はＡ２の中心位置の画像原点に対する角度、ｗ１は、Ａ２の幅とする。また、（ｘ２、ｙ２）は、Ｂ２の中心位置、ａ２はＢ２の中心位置の画像原点に対する角度、ｗ２は、Ｂ２の幅とする。更に、ＴＨ１、ＴＨ２、ＴＨ３は任意の閾値である。更に、選定部５は、１つの第２部位に対応する第１部位を選定した場合は、第１部位に対してラベリングを行う統合処理を行っても良い。

なお、画像処理装置１は、例えば、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）やＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などの集積回路で構成しても良い。

図１０は、画像処理装置１による画像処理のフローチャートである。取得部２は、例えば、撮像素子が撮像する画像を撮像素子から受け取る（ステップＳ１０１）。取得部２は取得した画像を検出部３へ出力する。検出部３は、取得部２から画像を受け取り、当該画像に含まれるユーザの第１部位の候補となる第１候補群と、ユーザの第２部位の候補となる第２候補群を、第１特徴量モデルと第２特徴量を用いて上述の方法を用いて検出する（ステップＳ１０２）。ここで、図示はしないが、ステップＳ１０２において、第２特徴群が検出されない場合は、異なる時間（例えば、次フレーム）に取得部２が画像を取得し（ステップＳ１０１）、検出部３はステップＳ１０２の処理を再度実行する。

選定部５は、第１部位と第２部位の生体的位置関係に基づいて、第１候補群と第２候補群から第１部位または第２部位を上述の方法を用いて選定する（ステップＳ１０３）。選定部５は、選定された第１部位が１つのみか否かを判定する（ステップＳ１０４）。選定された第１部位が１つのみの場合（ステップＳ１０４−Ｙｅｓ）、選定した第１部位に対して、図３のテーブル３０の指先位置、手指先方向と、取得部２が取得する画像の原点（例えば、左上端）の関係から、当該画像中の第１部位の先端位置（指先位置）を算出する（ステップＳ１０７）。

ステップＳ１０４において、選定された第１部位が１つのみで無い場合（ステップＳ１０４−Ｎｏ）、選定部５は、複数の第１部位のそれぞれが、１つの共通の第２部位に対応するか否かを判定する（ステップＳ１０５）。当該判定方法は、例えば、上述の（数１）を用いることが出来る。複数の第１部位のそれぞれが、１つの共通の第２部位に対応しない場合（ステップＳ１０５−Ｎｏ）、画像処理装置１は、ステップＳ１０１〜Ｓ１０５の処理を繰り返す。複数の第１部位のそれぞれが、１つの共通の第２部位に対応する場合（ステップＳ１０５−Ｙｅｓ）、選定部５は、複数の第１部位に対してラベリングを行い、統合処理を実施する（ステップＳ１０６）。選定部５は、ラベリングを行った任意の第１部位の画像中における先端位置（指先位置）を算出する（ステップＳ１０７）ことで、画像処理装置１は図１０のフローチャートに示す画像処理を終了する。

実施例１の画像処理装置においては、照明変動や背景色に依存せずにユーザの手指の位置を正確に特定することが可能となる。

（実施例２）
図１１は、一つの実施形態による画像処理装置１のハードウェア構成図である。図１１に示すように、画像処理装置１は、制御部６、主記憶部７、補助記憶部８、ドライブ装置９、ネットワークＩ／Ｆ部１１、入力部１２、表示部１３を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部６は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部６は、主記憶部７や補助記憶部８に記憶されたプログラムを実行する演算装置であり、入力部１２や記憶装置からデータを受け取り、演算、加工した上で、表示部１３や記憶装置などに出力する。

主記憶部７は、ＲＯＭやＲＡＭなどであり、制御部６が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶または一時保存する記憶装置である。

補助記憶部８は、ＨＤＤなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置９は、記録媒体１０、例えばフレキシブルディスクからプログラムを読み出し、補助記憶部８にインストールする。また、記録媒体１０に、所定のプログラムを格納し、この記録媒体１０に格納されたプログラムはドライブ装置９を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１により実行可能となる。

ネットワークＩ／Ｆ部１１は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置１とのインターフェースである。

入力部１２は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部１３の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部１２は、ユーザが制御部６に操作指示を与えたり、データを入力したりするためのユーザインタフェースである。

表示部１３は、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等により構成され、制御部６から入力される表示データに応じた表示が行われる。

なお、上述した画像処理方法は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、上述した画像処理方法を実現することが出来る。

また、このプログラムを記録媒体１０に記録し、このプログラムが記録された記録媒体１０をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体１０は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることが出来る。

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが出来る。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することが出来る。

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
ユーザの第１部位と第２部位を含む画像を取得する取得部と、
前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出する検出部と、
前記第１部位と前記第２部位の生体的位置関係に基づいて、前記第１候補群と前記第２候補群から前記第１部位または前記第２部位を選定する選定部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記第１部位の特徴量を予め抽出した第１特徴量モデルと、前記第２部位の特徴量を予め抽出した第２特徴量モデルを記憶する記憶部を更に備え、
前記検出部は、
前記第１特徴量モデルとの類似度が、所定の第１閾値以上の前記画像に含まれる物体を前記第１候補群として検出し、
前記第２特徴量モデルとの類似度が、所定の第２閾値以上の前記画像に含まれる物体を前記第２候補群として検出する
ことを特徴とする付記１記載の画像処理装置。
（付記３）
前記生体的位置関係は、前記第１部位の一端と前記第２部位の外縁が、連接点において可動状態で連接していることを特徴とする付記１または付記２記載の画像処理装置。
（付記４）
前記記憶部は、前記第１部位の所定の基準位置に対して前記第２部位が検出され得る、前記生体的位置関係に基づいた検索領域データを記憶しており、
前記選定部は、前記検索領域データに基づいて、前記第１候補群と前記第２候補群から前記第１部位と前記第２部位を選定することを特徴とする付記２または付記３記載の画像処理装置。
（付記５）
前記第１部位は手指であり、前記第２部位は手背または手掌であることを特徴とする付記１ないし付記４の何れか一つに記載の画像処理装置。
（付記６）
前記選定部は、複数の前記第１部位の一端が前記第２部位の外縁に連接している場合は、前記第２部位にそれぞれ対応する前記第１部位として、前記複数の前記第１部位を選定することを特徴とする付記１ないし付記３の何れか一つに記載の画像処理装置。
（付記７）
前記記憶部は、ＨＯＧ特徴量またはＬＢＰ特徴量に基づく前記第１特徴量モデルと前記第２特徴量モデルを記憶しており、
前記検出部は、前記第１候補群と前記第２候補群を、ＨＯＧ特徴量またはＬＢＰ特徴量を用いて検出することを特徴とする付記１ないし付記６いずれか一つに記載の画像処理装置。
（付記８）
前記検出部は、色特徴量を更に用いて前記第１候補群と前記第２候補群を検出することを特徴とする付記７記載の画像処理装置。
（付記９）
前記選定部は、前記画像における前記第１部位の先端位置を算出することを特徴とする付記１ないし付記８いずれか一つに記載の画像処理装置。
（付記１０）
ユーザの第１部位と第２部位を含む画像を取得し、
前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出し、
前記第１部位と前記第２部位の生体的位置関係に基づいて、前記第１候補群と前記第２候補群から前記第１部位または前記第２部位を選定すること
を含むことを特徴とする画像処理方法。
（付記１１）
前記第１部位の特徴量を予め抽出した第１特徴量モデルと、前記第２部位の特徴量を予め抽出した第２特徴量モデルを記憶することを更に含み、
前記検出することは、
前記第１特徴量モデルとの類似度が、所定の第１閾値以上の前記画像に含まれる物体を前記第１候補群として検出し、
前記第２特徴量モデルとの類似度が、所定の第２閾値以上の前記画像に含まれる物体を前記第２候補群として検出する
ことを特徴とする付記１０記載の画像処理方法。
（付記１２）
前記生体的位置関係は、前記第１部位の一端と前記第２部位の外縁が、連接点において可動状態で連接していることを特徴とする付記１０または付記１１記載の画像処理方法。
（付記１３）
前記記憶することは、前記第１部位の所定の基準位置に対して前記第２部位が検出され得る、前記生体的位置関係に基づいた検索領域データを記憶しており、
前記選定することは、前記検索領域データに基づいて、前記第１候補群と前記第２候補群から前記第１部位と前記第２部位を選定することを特徴とする付記１１または付記１２記載の画像処理方法。
（付記１４）
前記第１部位は手指であり、前記第２部位は手背または手掌であることを特徴とする付記１０ないし付記１３の何れか一つに記載の画像処理方法。
（付記１５）
前記選定することは、複数の前記第１部位の一端が前記第２部位の外縁に連接している場合は、前記第２部位にそれぞれ対応する前記第１部位として、前記複数の前記第１部位を選定することを特徴とする付記１０ないし付記１２の何れか一つに記載の画像処理方法。
（付記１６）
前記記憶することは、ＨＯＧ特徴量またはＬＢＰ特徴量に基づく前記第１特徴量モデルと前記第２特徴量モデルを記憶しており、
前記検出することは、前記第１候補群と前記第２候補群を、ＨＯＧ特徴量またはＬＢＰ特徴量を用いて検出することを特徴とする付記１０ないし付記１５いずれか一つに記載の画像処理方法。
（付記１７）
前記検出することは、色特徴量を更に用いて前記第１候補群と前記第２候補群を検出することを特徴とする付記１６記載の画像処理方法。
（付記１８）
前記選定することは、前記画像における前記第１部位の先端位置を算出することを特徴とする付記１１ないし付記１７いずれか一つに記載の画像処理方法。
（付記１９）
コンピュータに、
ユーザの第１部位と第２部位を含む画像を取得し、
前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出し、
前記第１部位と前記第２部位の生体的位置関係に基づいて、前記第１候補群と前記第２候補群から前記第１部位または前記第２部位を選定すること
を実行させることを特徴とする画像処理プログラム。

１画像処理装置
２取得部
３検出部
４記憶部
５選定部

Claims

ユーザの第１部位と第２部位を含む画像を取得する取得部と、
前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出する検出部と、
前記第１部位と前記第２部位の生体的位置関係を満たさない前記第１部位の候補及び前記第２部位の候補を、時系列において前記画像の前に取得された前画像において選定された前記第１部位及び前記第２部位に依存することなく、前記第１候補群及び前記第２候補群からそれぞれ除外することにより、前記第１候補群と前記第２候補群から単一の前記第１部位及び単一の前記第２部位を選定する選定部と、
を備え、
前記第１部位は手指であり、前記第２部位は手背または手掌である
ことを特徴とする画像処理装置。
前記第１部位の特徴量を予め抽出した第１特徴量モデルと、前記第２部位の特徴量を予め抽出した第２特徴量モデルを記憶する記憶部を更に備え、
前記検出部は、
前記第１特徴量モデルとの類似度が、所定の第１閾値以上の前記画像に含まれる物体を前記第１候補群として検出し、
前記第２特徴量モデルとの類似度が、所定の第２閾値以上の前記画像に含まれる物体を前記第２候補群として検出する
ことを特徴とする請求項１記載の画像処理装置。
前記生体的位置関係は、前記第１部位の一端と前記第２部位の外縁が、連接点において可動状態で連接していることを特徴とする請求項１または請求項２記載の画像処理装置。
前記記憶部は、前記第１部位の所定の基準位置に対して前記第２部位が検出され得る、前記生体的位置関係に基づいた検索領域データを記憶しており、
前記選定部は、前記検索領域データに基づいて、前記第１候補群と前記第２候補群から前記第１部位と前記第２部位を選定することを特徴とする請求項２記載の画像処理装置。
前記選定部は、複数の前記第１部位の一端が前記第２部位の外縁に連接している場合は、前記第２部位にそれぞれ対応する前記第１部位として、前記複数の前記第１部位を選定することを特徴とする請求項１ないし請求項３の何れか一項に記載の画像処理装置。
コンピュータによって実行される画像処理方法であって、
ユーザの第１部位と第２部位を含む画像を取得し、
前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出し、
前記第１部位と前記第２部位の生体的位置関係を満たさない前記第１部位の候補及び前記第２部位の候補を、時系列において前記画像の前に取得された前画像において選定された前記第１部位及び前記第２部位に依存することなく、前記第１候補群及び前記第２候補群からそれぞれ除外することにより、前記第１候補群と前記第２候補群から単一の前記第１部位及び単一の前記第２部位を選定すること
を含み、
前記第１部位は手指であり、前記第２部位は手背または手掌である
ことを特徴とする画像処理方法。
コンピュータに、
ユーザの第１部位と第２部位を含む画像を取得し、
前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出し、
前記第１部位と前記第２部位の生体的位置関係を満たさない前記第１部位の候補及び前記第２部位の候補を、時系列において前記画像の前に取得された前画像において選定された前記第１部位及び前記第２部位に依存することなく、前記第１候補群及び前記第２候補群からそれぞれ除外することにより、前記第１候補群と前記第２候補群から単一の前記第１部位及び単一の前記第２部位を選定すること
を実行させ、
前記第１部位は手指であり、前記第２部位は手背または手掌である
ことを特徴とする画像処理プログラム。