WO2012124686A1

WO2012124686A1 - 爪領域検出方法、プログラム、記憶媒体、及び爪領域検出装置

Info

Publication number: WO2012124686A1
Application number: PCT/JP2012/056403
Authority: WO
Inventors: 聖星野
Original assignee: Hoshino Kiyoshi
Priority date: 2011-03-14
Filing date: 2012-03-13
Publication date: 2012-09-20
Also published as: US20140003665A1; US9239962B2; JPWO2012124686A1; JP5969460B2

Abstract

　カラーカメラ６１と、画像データ記憶部７１と、撮像画像データをＲＧＢ表色系からＨＬＳ表色系に変換する表色変換プロット部７３と、第１プロット領域に対してＨ軸にしきい値を設定して変化させるしきい値設定部７４と、第１プロット領域のしきい値以上の各プロットデータを２次元平面の第２グラフに再プロットする第２プロット部７５と、第２グラフの複数の第２プロット領域の物理量又はその比率を検出する検出部７６と、しきい値設定部７４で、しきい値を変化させながら、しきい値以上の各データを再プロットし物理量又はその比率を検出する処理をくり返すくり返し制御部７７と、物理量又はその比率の変化量の勾配が所定値以下である第２プロット領域を爪領域と判定する爪判定部７８とを有する爪領域検出装置。

Description

爪領域検出方法、プログラム、記憶媒体、及び爪領域検出装置

　本発明は、カラーカメラで撮像した手指画像から爪領域を検出する爪領域検出方法、プログラム、記憶媒体、及び爪領域検出装置に関する。

　近年、カラーカメラで使用者を撮像した手指画像のシルエット形状から、手の移動方向や移動量（hand tracking）を用いるジェスチャー入力の製品への採用が増加している。そのため、手の移動方向や移動量を検出するための技術である高速かつ高精度の３次元手指形状推定（hand pose estimation）の必要性が増大している。

　一方、従来のジェスチャー入力では必要な、特殊な身体動作やポーズを記憶したり、習熟する必要性を無くしたり、直感的に操作することを可能にするために、３次元手指形状推定を、より正確にして用いたり、応用して情報処理装置やゲーム装置等に用いたいという要望がある。例えば、手の移動方向や移動量を検出するだけでなく、その手を検出する技術を利用して「手の形や姿勢」を検出して、情報処理装置やゲーム装置等の動作に対応させることが要望されている。

　３次元手指形状を推定するためのアプローチの一つの方法として、カメラで撮像した画像からの特徴抽出は行わず、入力画像と、照合用データベースに格納されている画像とを情報処理装置で直接比較する2-D-apprearance-basedの方法がある。入力画像にはカメラで撮像したシルエット形状を用いることができ、情報処理装置は、表示される手指形状から概略の手指のシルエット形状を推定することができる。

　「手の形や姿勢」をカメラで撮像した画像中から検出する場合、以下の（ａ）、（ｂ）、（ｃ）の３点の特徴を有することから、シルエット形状により、手指形状をより正確に推定する事は困難だった。
（ａ）手指は、多関節構造であるため形状変化が複雑である点。
（ｂ）手指は、関節を曲げたり、握った場合に、シルエット形状としては手の甲や手のひらに手指が隠れてしまう自己遮蔽が多い点。
（ｃ）手指は、身体全体に対する部位の占める比率は小さいが、可動空間が広い点。

　本願発明者は、上記のように従来の手指のシルエット形状のみからでは「手の形や姿勢」を正確に検出することが困難であったことから、「手の形や姿勢」をより正確に推定するために、爪位置情報を追加することを試みた（例えば、非特許文献１参照）。また、本願発明者は、入力画像と直接比較する画像を格納する照合用データベースの構造について、爪の位置情報を用いれば効率を改善できることを示した（例えば、非特許文献２参照）。
玉城絵美, 星野聖: "手首関節動作を含んだ手指形状の３次元推定," 信学技報WIT, 107, 179, pp.59-62, 2007。佐野亮介, 冨田元將, 星野聖: "爪の相対的な位置情報をふるい分けに用いた３次元手指形状推定," 映像情報メディア学会技報, 33, 17, pp.21-24, 2009。

　しかしながら、非特許文献１の場合は、一人の使用者の例で手指画像から所定のアルゴリズムで爪位置情報を検出することを示しているが、どのような使用者の手指画像からでも、同じアルゴリズムで同様に爪位置情報を抽出できるかを確認しておらず、普遍性及び再現性が確認されているアルゴリズムではない。また、シルエット形状の情報に爪位置の情報を効率的に割り当てる方法についても言及していない。

　また、非特許文献２の場合は、爪位置情報を正確に抽出できたという前提で照合用データベースの構造について効率改善を試みたものであり、手指画像の肌領域から爪領域を判別する方法について記載していない。

　すなわち、従来の方法では、任意の使用者に対して手指画像の肌領域から爪領域の位置情報を得ることができず、シルエット形状の情報に爪情報を有効に追加したり、シルエット形状の情報に各々の爪位置の情報を効率的に割り当てできなかった。従って、従来の方法では、手指の形状をより正確に推定する事の困難性を解消することができなかった。

　そこで本発明は、上記の課題を解決するために、任意の使用者に対して手指画像の肌領域から爪領域の位置情報を得ることができ、手指の形状をより正確に推定できる爪領域検出方法、プログラム、記憶媒体、及び爪領域検出装置を提供することを目的とする。

　上記課題を解決するために、本発明に係る爪領域検出方法は、カラーカメラで撮像された手指画像の撮像画像データが３次元色空間の第１グラフにプロットされて変換された第１プロット領域を、２次元平面の第２プロット領域に写像する処理を、前記３次元色空間の１軸の値に沿ってしきい値を変更しつつ複数回実施し、その各回の処理において、前記２次元平面の第２プロット領域おける少なくとも一つの物理量又はその比率を検出し、その第２プロット領域の物理量又はその比率が各回の処理で変化する変化量の勾配が所定値以下である第２プロット領域を爪領域と判定することを少なくとも含む。

本発明に係る第１実施形態の概略の構成を示すブロック図である。第１実施形態で手指の画像データをＲＧＢ表色系からＨＬＳ表色系に変換した場合のデータ領域の変化を示す図である。第１実施形態の第１例のＨＬＳ表色系に変換した画像データを示す図である。第１実施形態の第２例のＨＬＳ表色系に変換した画像データを示す図である。第１実施形態の第３例のＨＬＳ表色系に変換した画像データを示す図である。第１実施形態の第４例のＨＬＳ表色系に変換した画像データを示す図である。第１実施形態の第５例のＨＬＳ表色系に変換した画像データを示す図である。第１実施形態の第６例のＨＬＳ表色系に変換した画像データを示す図である。第１実施形態のＨＬＳ表色系に変換した画像データをＨＳ座標にプロットして領域設定した様子を示す図である。第１実施形態のＨＳ座標上の可変するしきい値以上のプロットデータ領域の増減する様子を示す図である。第１実施形態のＨＳ座標上の可変するしきい値により爪領域と他の肌領域で長軸方向の長さ寸法の変化勾配が異なる様子を示す図である。第１実施形態のＨＳ座標上の第１高（最高）のしきい値以上のプロットデータ領域の様子を示す図である。第１実施形態のＨＳ座標上の第２高のしきい値以上のプロットデータ領域の様子を示す図である。第１実施形態のＨＳ座標上の第３高のしきい値以上のプロットデータ領域の様子を示す図である。第１実施形態のＨＳ座標上の第４高（最低）のしきい値以上のプロットデータ領域の様子を示す図である。第１実施形態の手指の変換したＨＬＳ表色系の画像データを可変するしきい値によりしきい値以上のプロットデータを検出してその領域の変化量の勾配により爪領域を判定する概略の方法を示すフローチャートである。第１実施形態の可変するしきい値以上のプロットデータを検出してその領域の変化量の勾配により爪領域を判定するより詳細な方法を示すフローチャートである。第１実施形態の図１７で判定された爪領域の個数と重心を求める方法を示すフローチャートである。本発明の第２実施形態で手指の画像データをＹＩＱ表色系に変換した場合のデータ領域の相違を示す図である。爪候補が粗の分布が一様ではないことを示す図である。本発明に係る第３実施形態の概略の構成を示すブロック図である。第３実施形態のＨＬＳ表色系に変換した画像データを示す図である。第３実施形態の方法の説明図である。

発明の詳細な説明

全般的説明
　（１）本発明に係る爪領域検出方法は、カラーカメラで撮像された手指画像の撮像画像データが３次元色空間の第１グラフにプロットされて変換された第１プロット領域を、２次元平面の第２プロット領域に写像する処理を、前記３次元色空間の１軸の値に沿ってしきい値を変更しつつ複数回実施し、その各回の処理において、前記２次元平面の第２プロット領域おける少なくとも一つの物理量又はその比率を検出し、その第２プロット領域の物理量又はその比率が各回の処理で変化する変化量の勾配が所定値以下である第２プロット領域を爪領域と判定することを少なくとも含む。

　本爪領域検出方法では、３次元色空間の第１プロット領域を２次元平面に写像する際に、しきい値を変えて得られた第２プロット領域の物理量又はその比率の変化量の勾配を用いて、第２プロット領域を爪領域と判定するので、手指画像から爪領域を確実に判定でき、手のシルエット形状の情報に爪の位置を容易に割り当てできるので、手指の形状をより正確に推定することができる。

　（２）本発明に係る爪領域検出方法は、カラーカメラにより使用者の手指を含んで撮像された撮像画像データを、カラーカメラで使用された表色系から、当該カラーカメラで使用された表色系とは異なる３種類の物理量の３軸により表現される所定の表色系に変換して３次元色空間の第１グラフにプロットする第１ステップと、前記所定の表色系に変換してプロットされたデータが分布する１個以上の第１プロット領域に対して、前記３軸の中の１軸の値に沿って、他の軸には平行なしきい値を設定する第２ステップと、前記第１プロット領域における前記１軸のしきい値以上の各プロットデータのみを前記一軸に前記しきい値において直交する２次元平面の第２グラフに再プロットして第２プロット領域とする第３ステップと、前記第２グラフの複数の第２プロット領域における少なくとも一つの物理量又はその比率を検出する第４ステップと、前記第２ステップのしきい値を前記１軸に沿って前記第１プロット領域を横断する方向に変化させ、前記第３および第４ステップを繰り返す第５ステップと、前記第５ステップでしきい値毎に得られる第２プロット領域の物理量又はその比率の変化量を検出し、変化量の勾配が所定値以下である第２プロット領域を爪領域と判定する第６ステップとを有する。

　本爪領域検出方法では、第１ステップで撮像画像データを所定の表色系に変換した第１プロットデータから、第２ステップで設定されたしきい値を第５ステップで可変させながら、第３ステップでそのしきい値以上のものを再プロットされたデータが分布する第２プロット領域の物理量又はその比率を第４ステップで検出し、第６ステップで物理量又はその比率の変化量の勾配が他の領域よりも小さい（例えば最小である）第２プロット領域を爪領域と判定する。この所定の表色系に変換したプロット領域の物理量又はその比率の変化量の勾配を用いて、プロット領域が爪領域か否かを判断することにより、従来よりも確実に撮像画像データから爪領域を認識することができる。

　（３）本発明に係る爪領域検出方法の前記第１ステップでは、前記撮像画像データに対して、３次元色空間の第１グラフにプロットする前に少なくとも外部エッジの除去と影の影響除去を含む所定の前処理を行うステップと、爪らしい色相の爪候補色相画素領域を含む肌領域を第１プロット領域として検出するステップとを少なくとも含むようにしてもよい。

　本爪領域検出方法の第１ステップでは、例えば、前処理として、撮像画像データの最外周の輪郭から内側に数画素を削除することで、細かいノイズが乗りやすい画像中の外部エッジを除去することができ、あるいは、８ビットで示される赤色のビット値で判別した局所内にガンマ補正処理を実施することで影の影響を軽減することができる。

　（４）本発明に係る爪領域検出方法の前記第４ステップ及び第６ステップでは、第２プロット領域における物理量又はその比率が少なくとも一つの軸方向の長さ寸法であるようにしてもよい。

　第２プロット領域内の一つの軸方向の長さ寸法を、しきい値を可変させながら複数回検出し、その軸方向の長さ寸法の変化量の勾配が他の領域よりも小さい第２プロット領域を爪領域と判定することで、手指画像の爪領域を簡単に検出でき、手指の形状をより容易に推定できる。

　（５）本発明に係る爪領域検出方法の前記第４ステップ及び第６ステップでは、前記軸方向の長さ寸法が、最大寸法である長軸方向の長さ寸法であるようにしてもよい。

　軸方向の長さ寸法を長軸方向にすることで、さらに簡単に手指画像の爪領域を検出でき、手指の形状もさらに容易に推定できる。

　（６）本発明に係る爪領域検出方法の前記第４ステップ及び第６ステップでは、第２プロット領域における物理量又はその比率が面積であるようにしてもよい。

　（７）本発明に係る爪領域検出方法の前記第４ステップ及び第６ステップでは、第２プロット領域における面積が、当該第２プロット領域に対して平滑化処理を実施後の画素が密である密領域の画像の面積であるようにしてもよい。

　（８）本発明に係る爪領域検出方法の前記第４ステップ及び第６ステップでは、第２プロット領域における面積が、当該第２プロット領域に対して平滑化処理を実施後の画素が密である密領域を、前記第２プロット領域から排他的論理和で除去した粗領域の面積であるようにしてもよい。

　（９）本発明に係る爪領域検出方法の前記第４ステップ及び第６ステップでは、第２プロット領域における物理量の比率が、当該第２プロット領域に対して平滑化処理を実施後の画素が密である密領域の画像の面積と、前記第２プロット領域から前記密領域を除いた粗領域の面積と、の比率であるようにしてもよい。

　第２プロット領域内の面積を、しきい値を可変させながら複数回検出し、その面積の変化量の勾配、又は、密領域の面積の変化量の勾配、又は、粗領域の面積の変化量の勾配、又は、密領域の画像の面積と粗領域の面積との比率の変化量の勾配、の少なくとも何れか一つが他の領域よりも小さい第２プロット領域を爪領域と判定することで、手指画像の爪領域を簡単に検出でき、手指の形状をより容易に推定できる。

　（１０）本発明に係る爪領域検出方法の前記第４ステップ及び第６ステップでは、第２プロット領域における物理量又はその比率が画素数であるようにしてもよい。

　（１１）本発明に係る爪領域検出方法の前記第４ステップ及び第６ステップでは、第２プロット領域における画素数が、当該第２プロット領域に対して平滑化処理を実施後の画素が密である密領域の画像の画素数であるようにしてもよい。

　（１２）本発明に係る爪領域検出方法の前記第４ステップ及び第６ステップでは、第２プロット領域における画素数が、当該第２プロット領域に対して平滑化処理を実施後の画素が密である密領域を、前記第２プロット領域から排他的論理和で除去した粗領域の画素数であるようにしてもよい。

　（１３）本発明に係る爪領域検出方法の前記第４ステップ及び第６ステップでは、第２プロット領域における物理量の比率が、当該第２プロット領域に対して平滑化処理を実施後の画素が密である密領域の画像の画素数と、前記第２プロット領域から前記密領域を除いた粗領域の画素数と、の比率であるようにしてもよい。

　第２プロット領域内の画素数を、しきい値を可変させながら複数回検出し、その画素数の変化量の勾配、又は、密領域の画素数の変化量の勾配、又は、粗領域の画素数の変化量の勾配、又は、密領域の画像の画素数と粗領域の画素数との比率の変化量の勾配、の少なくとも何れか一つが他の領域よりも小さい第２プロット領域を爪領域と判定することで、手指画像の爪領域を簡単に検出でき、手指の形状をより容易に推定できる。

　（１４）本発明に係る爪領域検出方法の前記第１ステップでは、前記３次元色空間の第１グラフが、前記３種類の物理量の前記３軸の中の２軸を用いた２次元平面のグラフであるようにしてもよい。

　本爪領域検出方法の第１ステップでは、表色系が３種類の物理量を用いるものであっても、２軸を用いた２次元平面のグラフとすることで、しきい値を、３次元色空間のグラフにおける捩れた方向に設定する必要がなくなるので設定を容易にできる。そのため、しきい値の設定を自動化したり、しきい値の変更処理が容易であり、使用者はディスプレイを目視することで容易に確認でき、第２プロット領域の認識や、爪領域の判定を容易にできる。

　（１５）本発明に係る爪領域検出方法の前記第１ステップでは、前記所定の表色系が少なくとも色相を含むようにしてもよい。

　本爪領域検出方法の第１ステップでは、爪の検出に用いる表色系の物理量に色相を用いることで、従来よりも明確に指と爪を判別することができる。

　（１６）本発明に係る爪領域検出方法の前記第２ステップでは、前記しきい値が沿う１軸が色相であるようにしてもよい。

　本爪領域検出方法の第２ステップでは、色相の１軸に沿ってしきい値の値を設定したり、変化させることで、設定や変化させる度に複数の軸の値を考慮する必要がなくなり、設定を容易にできる。そのため、しきい値の設定を自動化したり、しきい値の変更処理が容易であり、使用者はディスプレイを目視することで容易に確認でき、第２プロット領域の認識や、爪領域の判定を容易にできる。

　（１７）本発明に係る爪領域検出方法の前記第２ステップでは、前記しきい値の１軸は、前記第１プロット領域から、前記１軸における最大値と最小値の少なくとも一方を求め、前記最大値又は最小値の一方側よりも外側に前記しきい値の初期値を設定するようにしてもよい。

　本爪領域検出方法の第２ステップでは、第１プロット領域の１軸における最大値よりも外側（より大きい値）にしきい値の初期値を設定するか、或いは、第１プロット領域の１軸における最小値よりも外側（より小さい値）にしきい値の初期値を設定して、第３ステップから第６ステップを実施するので、第３ステップにおいて、第１プロット領域のしきい値以上の各プロットデータを漏れなく第２グラフに再プロットすることができる。

　（１８）本発明に係る爪領域検出方法の前記第４ステップでは、第２プロット領域に膨張処理と縮退処理を繰り返すことにより画定してもよい。

　本爪領域検出方法の第４ステップでは、各プロットデータに対して、各プロットデータの個別領域が近傍の他のプロットデータの個別領域と充分に重なるまで膨張処理を行い、その後、各プロットデータの個別領域が重なった大きな領域に対して縮退処理を行うことで、容易に第２プロット領域を画定することができる。

　（１９）本発明に係る爪領域検出方法の前記第４ステップ及び第６ステップでは、第２プロット領域における物理量の比率が、最大の軸方向の長さ寸法である長軸方向の第１寸法と、最小の軸方向の長さ寸法である短軸方向の第２寸法との比率であるようにしてもよい。

　本爪領域検出方法の第４ステップでは、第２グラフの複数の第２プロット領域における物理量を検出する際に、単純に少なくとも一つの軸方向についての最大寸法である長軸方向の長さ寸法のみを検出するのではなく、第１寸法として長軸方向の最大長さ寸法を求め、第２寸法として最小の軸方向の長さ寸法である短軸方向（一般的に長軸と直交する）の最大長さ寸法を求め、さらに第２寸法／第１寸法比を求め、第６ステップでは、しきい値毎に得られる第２プロット領域の第２寸法／第１寸法比の変化量を検出し、変化量の勾配が他の領域よりも小さい第２プロット領域を爪領域と判定することで、例えば、しきい値毎に得られる第２プロット領域の形状が変わり、短軸方向の長さ寸法の変化量が少なく長軸方向の長さ寸法の変化量のみが多い場合等に、長軸方向の長さ方向に延伸される座標上の方向が変わったりして、長軸方向の長さ方向に延伸される座標上の方向を正確に検出できない事態の発生を抑制することができる。また、第４ステップの膨張／縮退処理により形状が変化して、長軸方向の長さ方向に延伸される座標上の方向が正確に検出できない事態の発生についても抑制することができる。

　（２０）本発明に係る爪領域検出方法の前記第４ステップ及び第６ステップでは、第２プロット領域における物理量の比率が、最大の軸方向の長さ寸法である長軸方向の第１寸法と、最小の軸方向の長さ寸法である短軸方向の第２寸法との、第１寸法／（第１寸法＋第２寸法）の比率であるようにしてもよい。

　本爪領域検出方法の第４ステップでは、第２グラフの複数の第２プロット領域における長軸方向の最大長さ寸法を検出する際に、単純に長軸方向の最大長さ寸法のみを検出するのではなく、第１寸法として長軸方向の最大長さ寸法を求め、第２寸法として短軸方向の最大長さ寸法を求め、さらに第１寸法／（第１寸法＋第２寸法）比を求め、第６ステップでは、しきい値毎に得られる第２プロット領域の第１寸法／（第１寸法＋第２寸法）比の変化量を検出し、変化量の勾配が他の領域よりも小さい第２プロット領域を爪領域と判定することで、例えば、しきい値毎に得られる第２プロット領域の形状が変わり、短軸方向の長さ寸法の変化量が少なく長軸方向の長さ寸法の変化量のみが多い場合等に、長軸方向の長さ方向に延伸される座標上の方向が変わったりして、長軸方向の長さ方向に延伸される座標上の方向を正確に検出できない事態の発生を抑制することができる。また、この場合も第４ステップの膨張／縮退処理により形状が変化して、長軸方向の長さ方向に延伸される座標上の方向が正確に検出できない事態の発生についても抑制することができる。

　（２１）本発明に係る爪領域検出方法の前記第１ステップでは、前記所定の表色系が色相（ＨＵＥ）、彩度（ＳＡＴＵＲＡＴＩＯＮ）、輝度（ＬＵＭＩＮＡＮＣＥ）よりなるＨＬＳ表色系であるようにしてもよい。

　本実施形態では、手指画像から肌と爪を分離するために、カラーカメラにより撮像された手指画像の画像データにおけるＲ（赤，700nm）、Ｇ（緑，546.1nm）、Ｂ（青，435.8nm）とするＲＧＢ表色系を、次の数式によりＨＬＳ表色系に変換したものである

但し、Ｈ：色相、Ｌ：輝度、Ｓ：彩度、Ｃ：明るさ

　本爪領域検出方法では、カラーカメラにより撮像されたＲＧＢ表色系の撮像画像データを、ＨＬＳ表色系のデータにして、ＨＳ座標の２軸を用いた２次元平面のグラフにプロットすることで、爪の検出に用いる表色系の物理量にＨ（色相）を用い、Ｈ（色相）の１軸に沿ってしきい値の値を設定したり、変化させることが容易になり、使用者はディスプレイを目視することで容易に確認でき、第２プロット領域の認識や、爪領域の判定を容易にできる。

　（２２）本発明に係るプログラムは、上記した何れか一つの爪領域検出方法における各ステップを実施する。

　プログラムにより情報処理装置で上記何れか一つの爪領域検出方法における各ステップを実行させることで、任意の情報処理装置を利用して、カラーカメラにより撮像された撮像画像データから本発明の爪領域検出方法で、任意の使用者に対して手指画像の肌領域から爪領域の位置情報を得ることができる。

　（２３）本発明に係る記憶媒体は、上記した何れか一つの爪領域検出方法における各ステップを実施するプログラムを記憶する。

　記憶媒体に本発明に係るプログラム記憶させることで、プログラムに可搬性を持たせて、記憶媒体を移動させるのみで、異なる場所の任意の情報処理装置で、本発明の複数の爪領域検出方法を実行することができる。

　（２４）本発明に係る爪領域検出装置は、カラーで使用者の手指を含む画像を撮像するカラーカメラと、前記カラーカメラから出力される画像データを処理する情報処理装置とを少なくとも含んで構成され、前記情報処理装置は、上記した何れか一つの爪領域検出方法における各ステップを実施するプログラムがインストールされたプログラム記憶部と、前記プログラムを実行可能にするための構成を含む。

　（２５）本発明に係る爪領域検出装置は、カラーで使用者の手指を含む画像を撮像するカラーカメラと、前記カラーカメラにより使用者の手指を含んで撮像された撮像画像データを記憶する画像データ記憶部と、前記撮像画像データを、カラーカメラで使用された表色系から、当該カラーカメラで使用された表色系とは異なる３種類の物理量の３軸により表現される所定の表色系に変換して３次元色空間の第１グラフにプロットする表色変換プロット部と、前記所定の表色系に変換してプロットされたデータが分布する１個以上の第１プロット領域に対して、前記３軸の中の１軸の値に沿って、他の軸には平行なしきい値を設定し、さらにしきい値を前記第１プロット領域を横断する方向に変化させるしきい値設定部と、前記第１プロット領域における前記１軸のしきい値以上の各プロットデータのみを前記一軸に前記しきい値において直交する２次元平面の第２グラフに再プロットして第２プロット領域とする第２プロット部と、前記第２グラフの複数の第２プロット領域における少なくとも一つの物理量又はその比率を検出する検出部と、前記しきい値設定部で、しきい値を前記１軸に沿って前記第１プロット領域を横断する方向に変化させながら、前記第２プロット部で前記しきい値以上の各プロットデータのみを第２グラフに再プロットし、前記検出部で第２グラフの複数の第２プロット領域における物理量又はその比率を検出する処理をくり返すくり返し制御部と、前記くり返し制御部によりしきい値毎に得られる第２プロット領域の物理量又はその比率の変化量を検出し、変化量の勾配が所定値以下である第２プロット領域を爪領域と判定する爪判定部とを有する。

　本爪領域検出装置では、撮像画像データを所定の表色系に変換した第１プロットデータから、設定されたしきい値を可変させながら、そのしきい値以上のものを再プロットされたデータが分布する第２プロット領域の物理量又はその比率を検出し、物理量又はその比率の変化量の勾配が他の領域よりも小さい第２プロット領域を爪領域と判定する。この所定の表色系に変換したプロット領域の物理量又はその比率の変化量の勾配を用いて、プロット領域が爪領域か否かを判断することにより、従来よりも確実に撮像画像データから爪領域を認識することができる。従って、任意の使用者に対して手指画像の肌領域から爪領域の位置情報を得ることができ、シルエット形状の情報に爪情報を有効に追加したり、シルエット形状の情報に各々の爪位置の情報を効率的に割り当てでき、手指の形状をより正確に推定することができる。

　（２６）本発明に係る爪領域検出装置は、カラーカメラで撮像された手指画像の撮像画像データが３次元色空間の第１グラフにプロットされて変換された第１プロット領域を、２次元平面の第２プロット領域に写像する処理を、前記３次元色空間の１軸の値に沿ってしきい値を変更しつつ複数回実施し、その各回の処理において、前記２次元平面の第２プロット領域おける少なくとも一つの物理量又はその比率を検出する制御部と、その第２プロット領域の物理量又はその比率が各回の処理で変化する変化量の勾配が所定値以下である第２プロット領域を爪領域と判定する爪判定部とを少なくとも含む。

　本爪領域検出装置では、制御部で、３次元色空間の第１プロット領域を２次元平面に写像する際に、しきい値を変えて第２プロット領域の物理量又はその比率を得て、爪判定部で、得られた物理量又はその比率の変化量の勾配を用いて、第２プロット領域を爪領域と判定するので、手指画像から爪領域を確実に判定でき、手のシルエット形状の情報に爪の位置を容易に割り当てできるので、手指の形状をより正確に推定することができる。

発明の効果
　本発明の爪領域検出方法、プログラム、記憶媒体、及び爪領域検出装置によれば、従来よりも確実に撮像画像データから爪領域を認識することができるので、任意の使用者に対して手指画像の肌領域から爪領域の位置情報を得ることができ、シルエット形状の情報に爪情報を有効に追加したり、シルエット形状の情報に各々の爪位置の情報を効率的に割り当てでき、手指の形状をより正確に推定することができる。

図示された実施形態の説明
＜第１実施形態＞
　図１に示された本発明の第１実施形態に係る爪領域検出装置は、カラーで使用者の手指を含む画像を撮像可能なカラーカメラ６１と、そのカラーカメラ６１にケーブル等で接続された情報処理装置７０から構成される。カラーカメラ６１は、例えば、高速カメラ（Ｄｒａｇｏｎｆｌｙ　Ｅｘｐｒｅｓｓ，　Ｐｏｉｎｔ　Ｇｒｅｙ社製）である。情報処理装置７０は、入力するカラー画像データに対して、本発明の爪領域検出方法を実施できる構成を有していればよく、より詳しくは、本発明の爪領域検出方法のプログラムをインストールできるプログラム記憶部と、そのプログラムを実行可能にするための構成を含んでいれば、パーソナルコンピュータであってもゲーム装置であってもよい。

　本実施形態の情報処理装置７０は、画像データ記憶部７１と、プログラム記憶部７２と、表色変換プロット部７３と、しきい値設定部７４と、第２プロット部７５と、長軸検出部７６と、くり返し制御部７７と、爪判定部７８と、データ合成部７９と、形状判定部８０と、概略シルエット形状推定部９１とを有している。画像データ記憶部７１とプログラム記憶部７２は、一つの記憶部に統合してもよい。他の構成は、ＲＡＭ等の記憶装置と演算装置にプログラムを実行させることで機能部として構成されても良い。

　画像データ記憶部７１は、カラーカメラ６１により使用者の手指を含んで撮像された撮像画像データを記憶する。プログラム記憶部７２は、本発明の爪領域検出方法のプログラムをインストールされた状態で記憶するが、インストールする前のプログラムを記憶しても良い。また、インストールする前のプログラムは、メモリーカードや、ＣＤ－Ｒ等の円盤状記憶媒体のように、着脱可能で、可搬性の記憶媒体に記憶させても良い。

　表色変換プロット部７３は、撮像画像データを、カラーカメラで使用されたＲＧＢ表色系からＨＬＳ表色系に変換し、変換したデータを３次元色空間の第１グラフにプロットする。ＲＧＢ表色系の色空間は、赤のＲ軸と、緑のＧ軸と、青のＢ軸で構成され、オリジナルの手指の撮像画像データはそのＲＧＢ表色系の色空間内で所定の位置にプロットされる。例えば、図２（ａ）に示された中指の指肌部１の先端部に爪１０が位置している場合、図２（ｂ）に示されたようにそのＲＧＢ画像データの各プロットデータの分布により構成される肌領域１ａは、ＲＧ平面に対して斜め上に向かう方向に位置しており、言わば、肌領域１ａは３次元のＲＧＢ空間でねじれの位置に存在している。同様のプロットデータの分布により構成される爪領域１０ａはその肌領域１ａの上に乗る位置であり、同様にＲＧＢ空間でねじれの位置に存在している。

　また、爪領域１０ａと肌領域１ａは、図２（ｂ）に示したように楕円（扁平な円）の円板形状であり、身の回りのもので近い形状は、例えば、楕円のハンバーグステーキ、楕円のさつま揚げ、五平餅等の形状である。爪領域１０ａと肌領域１ａの両者の境界面を設定するには、両者の位置関係から、ＲＧ平面から斜め上に立ち上がる平面を設定しなければならず、境界面を設けることが困難である。

　一方、図２（ｂ）の撮像画像データをＨＬＳ表色系に変換し、変換したデータをＨＬＳ座標系の３次元色空間の第１グラフにプロットすると図２（ｃ）のようになる。肌領域１ｂは、Ｈ軸に垂直でありＬ軸と平行であり、爪領域１０ｂはその肌領域１ｂの上に乗る位置であり、やはりＨ軸に垂直でありＬ軸と平行である。従って、爪領域１０ｂと肌領域１ｂの両者の境界面を設定するにはＨＳ平面に平行な面を設定するだけでよく、境界面を設けることは容易である。また、爪領域１０ｂと肌領域１ｂは、図２（ｂ）の場合と同様に扁平な楕円の円板形状である。肌領域１ｂは、楕円の円板形状であるので長軸ＬＡ１と短軸ＳＡ１を設定することができ、同様に爪領域１０ｂも、楕円の円板形状であるので、長軸ＬＡ１０と短軸ＳＡ１０を設定することができる。

　図３（ａ）は、第１の実施例であり、手指を人差し指と中指の２本だけ伸ばして残り３本は曲げ、人差し指と中指の指肌部１の先端部に爪１０が位置している状態を、カメラで手の甲側から撮影した、ＲＧＢ表色系の画像データである。それに対して図３（ｂ）は図３（ａ）の画像データをＨＬＳ表色系に変換してＨＬＳ座標系の色空間にプロットした図である。

　図３（ｂ）では、ＨＬＳ座標系の色空間にプロットされた数多くの小さいドットが密集してグレーの固まり形状に示される領域部分が肌領域１ｂであり、比較的少数の大きいドットが少し粗く集まった形状に示される領域部分が爪領域１０ｂである。図３（ｂ）の肌領域１ｂは、概ね、Ｈ軸の一つの所定値に位置するＬＳ平面の近傍の所定領域の範囲内に収まっている。また、図３（ｂ）の爪領域１０ｂも、概ね、Ｈ軸の別の所定値（肌領域１ｂの所定値よりは小さい値）に位置するＬＳ平面の近傍の所定領域の範囲内に収まっている。従って、図３（ｂ）の場合も、肌領域１ｂと爪領域１０ｂの領域形状は異なるが、概ね、図２（ｃ）と同様にＨＳ平面に平行な境界面で領域を分割できることがわかる。

　肌領域１ｂと爪領域１０ｂの領域形状が、図２（ｃ）の楕円の円板形状と異なる点については、例えば、プロット領域の各プロットデータに対して、各プロットデータの個別領域が近傍の他のプロットデータの個別領域と充分に重なるまで膨張処理を行い、その後、各プロットデータの個別領域が重なった大きな領域に対して縮退処理を行うことを繰り返すことで、各領域の周縁端部が凹凸する量を減らし、各領域の周縁端部を滑らかな弧に近い形状にでき、最終的に各領域を楕円の円板形状に近づけることができる。従って、肌領域１ｂには長軸ＬＡ１と短軸ＳＡ１を設定することができ、同様に爪領域１０ｂにも、長軸ＬＡ１０と短軸ＳＡ１０を設定することができる。

　図４（ａ）は、第２の実施例であり、手指を人差し指と中指と薬指の３本だけ伸ばして残り２本は曲げ、人差し指と中指と薬指の指肌部１の先端部に爪１０が位置している状態を、カメラで手の甲側から撮影した、ＲＧＢ表色系の画像データである。それに対して図４（ｂ）は図４（ａ）の画像データをＨＬＳ表色系に変換してＨＬＳ座標系の色空間にプロットした図である。

　図４（ｂ）にも、図３（ｂ）と同様にＨＬＳ座標系の色空間にプロットされた肌領域１ｂと爪領域１０ｂが示され、両領域が、概ね、Ｈ軸の所定値に位置するＬＳ平面の近傍の所定領域の範囲内に、各々収まっており、領域形状は異なるが、概ね、ＨＳ平面に平行な境界面で領域を分割できることがわかる。肌領域１ｂと爪領域１０ｂの領域形状を、プロット領域の各プロットデータに対して膨張処理と縮退処理を繰り返すことで、最終的に各領域を楕円の円板形状に近づけることができることも、図３（ｂ）の場合と同様である。従って、肌領域１ｂには長軸ＬＡ１と短軸ＳＡ１を、爪領域１０ｂに長軸ＬＡ１０と短軸ＳＡ１０を設定することができることも同様である。

　図５（ａ）は、第３の実施例であり、人差し指と親指の２本だけ伸ばして残り３本は曲げ、中指と薬指と小指の指肌部１の先端部に爪１０が位置している状態を、カメラで手の平側から撮影した、ＲＧＢ表色系の画像データである。それに対して図５（ｂ）は図５（ａ）の画像データをＨＬＳ表色系に変換してＨＬＳ座標系の色空間にプロットした図である。

　図５（ｂ）の場合も、図３（ｂ）又は図４（ｂ）の場合と同様に、ＨＬＳ座標系の色空間にプロットされた肌領域１ｂと爪領域１０ｂが示され、両領域が、概ね、Ｈ軸の所定値に位置するＬＳ平面の近傍の所定領域の範囲内に、各々収まっていることから、概ね、ＨＳ平面に平行な境界面で領域を分割でき、最終的に各領域を楕円の円板形状に近づけることができ、肌領域１ｂには長軸ＬＡ１と短軸ＳＡ１を、爪領域１０ｂに長軸ＬＡ１０と短軸ＳＡ１０を設定することができることがわかる。

　図６（ａ）は、第４の実施例であり、人差し指と親指と小指の３本だけ伸ばして残り２本は曲げ、中指と薬指の指肌部１の先端部に爪１０が位置している状態を、カメラで手の平側から撮影した、ＲＧＢ表色系の画像データである。それに対して図６（ｂ）は図６（ａ）の画像データをＨＬＳ表色系に変換してＨＬＳ座標系の色空間にプロットした図である。

　図６（ｂ）の場合も、図３（ｂ）又は図４（ｂ）又は図５（ｂ）の場合と同様に、ＨＬＳ座標系の色空間にプロットされた肌領域１ｂと爪領域１０ｂが示され、両領域が、概ね、Ｈ軸の所定値に位置するＬＳ平面の近傍の所定領域の範囲内に、各々収まっていることから、概ね、ＨＳ平面に平行な境界面で領域を分割でき、最終的に各領域を楕円の円板形状に近づけることができ、肌領域１ｂには長軸ＬＡ１と短軸ＳＡ１を、爪領域１０ｂに長軸ＬＡ１０と短軸ＳＡ１０を設定することができることがわかる。

　図７（ａ）は、第５の実施例であり、人差し指と中指の２本だけ伸ばして残り３本は曲げ、親指と小指の指肌部１の先端部に爪１０が位置し、薬指の指肌部１の先端部に位置する爪１０は親指により隠されている状態を、カメラで手の平側から撮影した、ＲＧＢ表色系の画像データである。それに対して図７（ｂ）は図７（ａ）の画像データをＨＬＳ表色系に変換してＨＬＳ座標系の色空間にプロットした図である。

　図７（ｂ）の場合も、図３（ｂ）～図６（ｂ）の場合と同様に、ＨＬＳ座標系の色空間にプロットされた肌領域１ｂと爪領域１０ｂが示され、両領域が、概ね、Ｈ軸の所定値に位置するＬＳ平面の近傍の所定領域の範囲内に、各々収まっていることから、概ね、ＨＳ平面に平行な境界面で領域を分割でき、最終的に各領域を楕円の円板形状に近づけることができ、肌領域１ｂには長軸ＬＡ１と短軸ＳＡ１を、爪領域１０ｂに長軸ＬＡ１０と短軸ＳＡ１０を設定することができることがわかる。

　図８（ａ）は、第６の実施例であり、親指と薬指と小指の３本だけ伸ばして、残りの人差し指と中指の２本は曲げ、人差し指と中指の指肌部１の先端部に爪１０が位置している状態を、カメラで手の平側から撮影した、ＲＧＢ表色系の画像データである。それに対して図８（ｂ）は図８（ａ）の画像データをＨＬＳ表色系に変換してＨＬＳ座標系の色空間にプロットした図である。

　図８（ｂ）の場合も、図３（ｂ）～図７（ｂ）の場合と同様に、ＨＬＳ座標系の色空間にプロットされた肌領域１ｂと爪領域１０ｂが示され、両領域が、概ね、Ｈ軸の所定値に位置するＬＳ平面の近傍の所定領域の範囲内に、各々収まっていることから、概ね、ＨＳ平面に平行な境界面で領域を分割でき、最終的に各領域を楕円の円板形状に近づけることができ、肌領域１ｂには長軸ＬＡ１と短軸ＳＡ１を、爪領域１０ｂに長軸ＬＡ１０と短軸ＳＡ１０を設定することができることがわかる。

　図９（ａ）と図９（ｂ）は、３次元のＨＬＳ座標系の色空間にプロットされた肌領域１ｂと爪領域１０ｂ（１０ｃ）に分布する画像データを、２次元のＨＳ座標の平面への分布となるように再プロット（写像）し、さらにその再プロットデータに対して膨張処理と縮退処理の繰り返して各データが分布する各領域を楕円の円板形状に近づけ、爪領域１０ｂ（１０ｃ）に長軸ＬＡ１０と短軸ＳＡ１０を設定したものである。

　図９（ａ）には２つの爪領域１０ｂと１０ｃが示されている。これについては、図３（ｂ）～図７（ｂ）からわかるように、肌領域１ｂと爪領域１０ｂの間の距離は、手指のポーズや撮影方向／撮影角度等により変動することから、爪領域１０ｂの場合は肌領域１ｂに対して距離が離れており、爪領域１０ｃの場合は肌領域１ｂに対して距離が近いことを示している。

　図９（ｂ）は、肌領域１ｂと爪領域１０ｂに対して、色相（ＨＵＥ）の軸の値に沿って、他の軸には平行なしきい値ＳＬ２１とＳＬ２０を設定できることを示している。このしきい値により、肌領域１ｂの画像データと、爪領域１０ｂの画像データから、しきい値以上のデータを抽出することが可能になる。なお、図９（ａ）に示したように、肌領域１ｂと爪領域１０ｂの間の距離が変動するので、爪領域１０ｂが肌領域１ｂに近接したり、重なる可能性もあるが、爪領域１０ｂが肌領域１ｂと完全に一体化しない限りは、各領域の画像データから、しきい値以上のデータを抽出することが可能である。

　図９（ｂ）で、しきい値ＳＬ２１とＳＬ２０は、ＨＳ座標（ＨＳ空間）２軸中の色相（ＨＵＥ）の軸に沿って軸値を、第１のプロット領域である肌領域１ｂと爪領域１０ｂの最大値又は最小値を演算処理により求め、その最大値又は最小値の一方側よりも外側に初期値を設定し、当該肌領域１ｂと爪領域１０ｂを横断する方向に変化させる。

　ここで、爪領域１０ｂはその周りの肌領域１ｂよりもＳ軸値の寸法幅が小さく、逆の肌領域１ｂが爪領域１０ｂよりもＳ軸値の寸法幅が小さくなることはあり得ない。従って、どこの部位であるか未確認である複数のプロットデータの分布領域に対して、そのＳ軸値の最大寸法を求め、最大寸法が所定値（爪領域１０ｂを示す）以下であれば、爪領域１０ｂである可能性が高く、２領域のＳ軸値の最大寸法を比較する場合は、小さい方が爪領域１０ｂである可能性が高くなる。しかし、最大寸法については、爪領域１０ｂと肌領域１ｂの楕円の円板形状における長軸ＬＡ１０とＬＡ１が、都合良くＳ軸に平行な場合のみとは限らず、例えば、データの分布がＳ軸から傾いて長軸も傾いている場合には、長軸ＬＡ１０とＬＡ１の差が無くなる場合がある。

　より具体的には、例えば、爪領域１０ｂに対しては、その色相（ＨＵＥ）の軸値の最大値よりも外側（数値が大きい側）にしきい値ＳＬ２０の初期値を設定し、爪領域１０ｂを横断する方向に変化させる。なお、ここでは、逆に最少値よりも外側（数値が小さい側）にしきい値ＳＬ２０の初期値を設定して、爪領域１０ｂを横断する方向に変化させてもよい。そして、しきい値ＳＬ２０を変化させながら、各プロットデータのうち色相（ＨＵＥ）の軸値がしきい値ＳＬ２０以上（最小値スタートの場合はしきい値ＳＬ２０以下）の各プロットデータのみを第２グラフに再プロットする。そして第２グラフの複数の第２プロット領域における長軸を検出して、その長軸方向の最大長さ寸法を計測する。

　同様に肌領域１ｂに対しては、その色相（ＨＵＥ）の軸値の最大値よりも外側にしきい値ＳＬ２１の初期値を設定し、肌領域１ｂを横断する方向に変化させる。ここでは、逆に最少値よりも外側（数値が小さい側）にしきい値ＳＬ２１の初期値を設定して、肌領域１ｂを横断する方向に変化させてもよい。そして、しきい値ＳＬ２１を変化させながら、各プロットデータのうち色相（ＨＵＥ）の軸値がしきい値ＳＬ２１以上（最小値スタートの場合はしきい値ＳＬ２１以下）の各プロットデータのみを第２グラフに再プロットする。そして第２グラフの複数の第２プロット領域における長軸を検出して、その長軸方向の最大長さ寸法を計測する。

　ここで、上記した爪領域１０ｂと肌領域１ｂは、上記では説明の便宜上から領域毎に爪領域と肌領域と記載しているが、複数のプロットデータ分布領域から何れが爪領域であるかが判明していない状況を仮定した場合、両領域の長軸に沿った寸法を単純に比較することでは、爪領域を判別できない場合も有りえる。より具体的には、例えば、長軸がＳ軸に平行ではなくデータの分布がＳ軸から傾いて長軸も傾いている場合には、両者の寸法の差が無くなったり、場合によっては逆転する場合が考えられる。

　そこで、図１０（ａ）に示した手指は、図２（ａ）に示した手指と同様な画像データであり、図５（ａ）に示した手指の画像データと類似する。図１０（ａ）では、爪部４０、爪部４０と色相が近似する指腹部３０と、同様に爪部４０と色相が近似する親指の付け根部分である母指丘５０について、色相（ＨＵＥ）の軸値の最大値よりも外側からしきい値を領域を横断する方向に変化させた場合の、ＨＳ座標上の可変するしきい値以上のプロットデータ領域が増加する様子を調査した。この調査結果が、図１０（ｂ）～（ｄ）に示されている。

　図１０（ｂ）は、指腹部３０のプロットデータ領域について、しきい値を色相の軸値の最大値よりも外側から領域を横断する方向に変化させた場合の、各しきい値における、各プロットデータのうち色相の軸値がしきい値ＳＬ２１以上の各プロットデータのみを第２グラフに再プロットし、第２プロット領域３０ａを得たものである。第２プロット領域３１は、しきい値が初期値に近い時のもので小さな領域となっている。この場合の長軸は、図１０の紙面で縦方向であり、最終的な短軸ＳＡ３０に平行な軸となる。ところが、しきい値が変化するに従い、第２プロット領域３１は、紙面で横方向に増加して第２プロット領域３２から、３３、３４となるに従い、横長の形状になる。そして最終的な第２プロット領域３４では、長軸ＬＡ３０は、図１０の紙面で横方向であり、短軸ＳＡ３０は紙面で縦方向である。以上から、指腹部３０の場合、しきい値によって第２プロット領域３０ａの長軸方向の長さ寸法の方向が縦から横に変化することがあり、最初の長軸（最終的な短軸ＳＡ３０）については変化量が少ないが、最初の短軸（最終的な長軸ＬＡ３０）については変化量が大きく、長軸方向の長さ寸法のみで判断するとしきい値より長軸を誤判断する可能性がある。

　図１０（ｃ）は、爪部４０のプロットデータ領域について、しきい値を色相の軸値の最大値よりも外側から領域を横断する方向に変化させた場合の、各しきい値における、各プロットデータのうち色相の軸値がしきい値ＳＬ２０以上の各プロットデータのみを第２グラフに再プロットし、第２プロット領域４０ａを得たものである。第２プロット領域４１は、しきい値が初期値に近い時のもので小さな領域となっている。この場合の長軸は、図１０の紙面で横方向であり、最終的な長軸ＬＡ４０に平行な軸となる。そして、この場合はしきい値が変化するに従い、第２プロット領域４１は、紙面でわずかに縦と横方向に増加して第２プロット領域４２から、４３、４４となるに従い、ほぼ同じ形状でわずかに大きい寸法になる。そして最終的な第２プロット領域４４では、長軸ＬＡ４０は、図１０の紙面で横方向であり、短軸ＳＡ４０は紙面で縦方向である。以上から、爪部４０の場合、しきい値による第２プロット領域４０ａの寸法の変化は僅少であり、長軸方向の長さ寸法と短軸方向の長さ寸法の双方について変化量が少ない。

　図１０（ｄ）は、母指丘５０のプロットデータ領域について、しきい値を色相の軸値の最大値よりも外側から領域を横断する方向に変化させた場合の、各しきい値における、各プロットデータのうち色相の軸値がしきい値ＳＬ２１以上の各プロットデータのみを第２グラフに再プロットし、第２プロット領域５０ａを得たものである。第２プロット領域５１は、しきい値が初期値に近い時のもので小さな領域となっている。この場合の長軸は、図１０の紙面で縦方向から時計回りに２０度程度傾けた角度の方向であり、最終的な短軸ＳＡ５０に平行な軸となる。ところが、しきい値が変化するに従い、第２プロット領域５１は、紙面で長軸ＬＡ５０方向に増加して第２プロット領域５２から、５３、５４となるに従い、長軸ＬＡ５０方向に横長の形状になる。そして最終的な第２プロット領域５４では、長軸ＬＡ５０は、図１０の紙面で横方向から時計回りに２０度程度傾けた角度であり、短軸ＳＡ５０は紙面で縦方向から時計回りに２０度程度傾けた角度である。以上から、母指丘５０の場合、しきい値によって第２プロット領域５０ａの長軸の方向が、縦に近い短軸ＳＡ５０から、横に近い長軸ＬＡ５０に変化することがあり、最初の長軸（最終的な短軸ＳＡ５０）については変化量が少ないが、最初の短軸（最終的な長軸ＬＡ５０）については変化量が大きく、長軸方向の長さ寸法のみで判断するとしきい値より長軸を誤判断する可能性がある。

　図１１（ａ）は、左端の図が、図１０（ｂ）の指腹部３０の第２プロット領域３０ａ（プロットデータ領域）について、しきい値ＳＬ２１を色相の軸値の最大値よりも外側から領域を横断する方向に変化させた場合の、各しきい値における、各プロットデータのうち色相の軸値がしきい値ＳＬ２１以上の各プロットデータの第２プロット領域３１、３２、３３、３４を示す。
　中央の図は、指腹部３０の第２プロット領域３０ａにおける長軸ＬＡ３０としきい値ＳＬ２１の方向がほぼ同じ場合で、しきい値ＳＬ２１をプロットデータ領域の横断方向に変化させた場合の長軸ＬＡ３０の幅の変化を示す図である。
　右端の図は、指腹部３０の第２プロット領域３０ａにおける短軸ＳＡ３０としきい値ＳＬ２１の方向がほぼ同じ場合で、しきい値ＳＬ２１をプロットデータ領域の横断方向に変化させた場合の短軸ＳＡ３０の幅の変化を示す図である。
　中央の図と右端の図を比較した場合で、しきい値ＳＬ２１をプロットデータ領域の横断方向に変化させた場合には、長軸ＬＡ３０の幅の変化は大きいが、短軸ＳＡ３０については幅の変化が小さい。

　図１１（ｂ）は、左端の図が、図１０（ｃ）の爪部４０の第２プロット領域４０ａ（プロットデータ領域）について、しきい値ＳＬ２０を色相の軸値の最大値よりも外側から領域を横断する方向に変化させた場合の、各しきい値における、各プロットデータのうち色相の軸値がしきい値ＳＬ２０以上の各プロットデータの第２プロット領域４１、４２、４３、４４を示す。
　中央の図は、爪部４０の第２プロット領域４０ａにおける長軸ＬＡ４０としきい値ＳＬ２０の方向がほぼ同じ場合で、しきい値ＳＬ２０をプロットデータ領域の横断方向に変化させた場合の長軸ＬＡ４０の幅の変化を示す図である。
　右端の図は、爪部４０の第２プロット領域４０ａにおける短軸ＳＡ４０としきい値ＳＬ２０の方向がほぼ同じ場合で、しきい値ＳＬ２０をプロットデータ領域の横断方向に変化させた場合の短軸ＳＡ４０の幅の変化を示す図である。
　中央の図と右端の図を比較した場合で、しきい値ＳＬ２０をプロットデータ領域の横断方向に変化させた場合には、長軸ＬＡ４０と短軸ＳＡ４０共に幅の変化が小さい。

　図１１（ｃ）は、左端の図が、図１０（ｄ）の母指丘５０の第２プロット領域５０ａ（プロットデータ領域）について、しきい値ＳＬ２１を色相の軸値の最大値よりも外側から領域を横断する方向に変化させた場合の、各しきい値における、各プロットデータのうち色相の軸値がしきい値ＳＬ２１以上の各プロットデータの第２プロット領域５１、５２、５３、５４を示す。
　中央の図は、母指丘５０の第２プロット領域５０ａにおける長軸ＬＡ５０としきい値ＳＬ２１の方向がほぼ同じ場合で、しきい値ＳＬ２１をプロットデータ領域の横断方向に変化させた場合の長軸ＬＡ５０の幅の変化を示す図である。
　右端の図は、母指丘５０の第２プロット領域５０ａにおける短軸ＳＡ５０としきい値ＳＬ２１の方向がほぼ同じ場合で、しきい値ＳＬ２１をプロットデータ領域の横断方向に変化させた場合の短軸ＳＡ５０の幅の変化を示す図である。
　中央の図と右端の図を比較した場合で、しきい値ＳＬ２１をプロットデータ領域の横断方向に変化させた場合には、長軸ＬＡ５０の幅の変化は大きいが、短軸ＳＡ５０については幅の変化が小さい。

　図１１（ａ）、（ｂ）、（ｃ）からわかるように、爪部４０の第２プロット領域４０ａは、指腹部３０の第２プロット領域３０ａや母指丘５０の第２プロット領域５０ａと比較して、長軸ＬＡ４０の変化する割合（変化勾配）が、他の長軸ＬＡ３０（指腹部３０）や長軸ＬＡ５０（母指丘５０）よりも小さい。従って、複数のプロットデータ分布領域から何れが爪領域であるかが判明していない状況で、各プロットデータ分布領域の長軸方向の長さ寸法の変化する割合（変化勾配）により、爪領域を判別できることがわかる。

　図１１（ｄ）は、図１１（ａ）、（ｂ）、（ｃ）の中央の図を横に並べ、しきい値を変化させた状態を示す図である。本実施形態では、しきい値を低下させると、各領域の長軸方向の寸法が拡大されるように面積が増大し、画素の分散する程度が大きいが、爪部の場合は、その面積の拡大量が比較的少なく、画素の分散する程度も比較的小さい。

　図１２（ａ）は、第７の実施例であり、図１０（ａ）の手指の画像データに対して、色相（ＨＵＥ）の軸値における画像データの最大値の近傍に第１のしきい値ＳＬ２０を設定した場合の、各プロットデータのうち色相の軸値が第１のしきい値ＳＬ２０以上の各プロットデータのみを第２グラフに再プロットした分布図である。
　図１２（ｂ）は、図１２（ａ）の再プロットした分布図が元の図１０（ａ）の手指の画像データに対してどの位置に対応するかが判断しづらいので、元の図１０（ａ）の手指の画像データ上に図１２（ａ）の再プロットしたデータを重ねて合成した図である。
　図１２（ａ）、図１２（ｂ）からは、第１のしきい値ＳＬ２０が色相（ＨＵＥ）の軸値における画像データの最大値の近傍であっても、爪部４０の再プロットデータは比較的多くプロットされて爪部４０の実際の寸法に近い寸法でプロットデータ領域を形成するが、指腹部３０や母指丘５０の再プロットデータはほとんどプロットされないことから、指腹部３０の実際の寸法に近い寸法や、母指丘５０の実際の寸法に近い寸法でプロットデータ領域を形成することが困難であり、実際の寸法よりも非常に小さい寸法でプロットデータ領域が形成される。

　図１３（ａ）は、第８の実施例であり、図１０（ａ）の手指の画像データに対して、色相（ＨＵＥ）の軸値における図１２（ａ）の第１のしきい値ＳＬ２０よりも低い第２のしきい値ＳＬ２０を設定した場合の、各プロットデータのうち色相の軸値が第２のしきい値ＳＬ２０以上の各プロットデータのみを第２グラフに再プロットした分布図である。
　図１３（ｂ）は、図１３（ａ）の再プロットした分布図が元の図１０（ａ）の手指の画像データに対してどの位置に対応するかが判断しづらいので、元の図１０（ａ）の手指の画像データ上に図１３（ａ）の再プロットしたデータを重ねて合成した図である。
　図１３（ａ）、図１３（ｂ）からは、第２のしきい値ＳＬ２０が図１２（ａ）の第１のしきい値ＳＬ２０よりも低くなると、爪部４０の再プロットデータはさらに多くプロットされるが、図１２（ａ）の場合もすでに爪部４０の実際の寸法に近い寸法でプロットデータ領域が形成されているので、それよりやや大きい程度の爪部４０の寸法でプロットデータ領域を形成することがわかる。また、指腹部３０や母指丘５０の再プロットデータもプロットされ始め、図１２（ａ）よりは大きくプロットデータ領域を形成できる。しかし、指腹部３０の実際の寸法に近い寸法や、母指丘５０の実際の寸法に近い寸法でプロットデータ領域を形成することは依然として困難であり、実際の寸法よりもかなり小さい寸法でプロットデータ領域が形成される

　図１４（ａ）は、第９の実施例であり、図１０（ａ）の手指の画像データに対して、色相（ＨＵＥ）の軸値における図１３（ａ）の第２のしきい値ＳＬ２０よりもさらに低い第３のしきい値ＳＬ２０を設定した場合の、各プロットデータのうち色相の軸値が第３のしきい値ＳＬ２０以上の各プロットデータのみを第２グラフに再プロットした分布図である。
　図１４（ｂ）は、図１４（ａ）の再プロットした分布図が元の図１０（ａ）の手指の画像データに対してどの位置に対応するかが判断しづらいので、元の図１０（ａ）の手指の画像データ上に図１４（ａ）の再プロットしたデータを重ねて合成した図である。
　図１４（ａ）、図１４（ｂ）からは、第３のしきい値ＳＬ２０が図１３（ａ）の第２のしきい値ＳＬ２０よりも低くなると、爪部４０の再プロットデータはさらに多くプロットされるが、図１３（ａ）の場合もすでに爪部４０の実際の寸法に近い寸法でプロットデータ領域が形成されているので、それよりやや大きい程度の爪部４０の寸法でプロットデータ領域を形成することがわかる。また、指腹部３０や母指丘５０の再プロットデータのプロットされる量も増加し、図１３（ａ）よりもさらに大きくプロットデータ領域を形成できる。しかし、指腹部３０の実際の寸法に近い寸法や、母指丘５０の実際の寸法に近い寸法でプロットデータ領域を形成することは依然として困難であり、実際の寸法よりもやや小さい寸法でプロットデータ領域が形成される。

　図１５（ａ）は、第１０の実施例であり、図１０（ａ）の手指の画像データに対して、色相（ＨＵＥ）の軸値における図１４（ａ）の第３のしきい値ＳＬ２０よりもさらに低い第４のしきい値ＳＬ２０を設定した場合の、各プロットデータのうち色相の軸値が第４のしきい値ＳＬ２０以上の各プロットデータのみを第２グラフに再プロットした分布図である。
　図１５（ｂ）は、図１５（ａ）の再プロットした分布図が元の図１０（ａ）の手指の画像データに対してどの位置に対応するかが判断しづらいので、元の図１０（ａ）の手指の画像データ上に図１５（ａ）の再プロットしたデータを重ねて合成した図である。
　図１５（ａ）、図１５（ｂ）からは、第４のしきい値ＳＬ２０が図１４（ａ）の第３のしきい値ＳＬ２０よりもさらに低くなると、爪部４０の再プロットデータはさらにまた一層多くプロットされるが、図１４（ａ）の場合もすでに爪部４０の実際の寸法に近い寸法でプロットデータ領域が形成されているので、それよりやや大きい程度の爪部４０の寸法でプロットデータ領域を形成することがわかる。また、指腹部３０や母指丘５０の再プロットデータのプロットされる量もさらに増加し、図１３（ａ）よりもさらに大きくプロットデータ領域を形成できる。しかし、指腹部３０の実際の寸法に近い寸法や、母指丘５０の実際の寸法に近い寸法でプロットデータ領域を形成することは依然として困難であり、実際の寸法よりもやや小さい寸法でプロットデータ領域が形成される。

　本実施形態に係る爪領域検出方法は、図１６に示したように、カラーカメラ６１により使用者の手指を含んで撮像された撮像画像データを情報処理装置７０内の画像データ記憶部７１に出力する（Ｓ１）。情報処理装置７０ではプログラム記憶部７２からプログラムが読み出されて演算装置と記憶部により本発明を実施するための各部が構成される。次に表色変換プロット部７３で撮像画像データを、カラーカメラ６１で使用されたＲＧＢ表色系から、当該カラーカメラで使用された表色系とは異なる３種類の物理量（ＨＬＳ）の３軸により表現される所定のＨＬＳ表色系に変換する（Ｓ２）。さらに表色変換プロット部７３で、変換されたＨＬＳデータをＨＳ座標系の３次元の色空間の第１グラフにプロットする（Ｓ３）。

　次に、表色変換プロット部７３では、ＨＬＳ表色系に変換してプロットされた複数のデータ分布における各データに対して膨張処理と縮退処理を繰り返して１個以上の第１プロット領域を認識する（Ｓ４）。その後、くり返し制御部７７の制御下でしきい値設定部７４では、その第１プロット領域の各データに対して、ＨＬＳ表色系の３軸の中の１軸であるＨ軸の値に沿って、他のＳ軸には平行なしきい値を設定する（Ｓ５）。さらにくり返し制御部７７の制御下で第２プロット部７５では、第１プロット領域におけるＨ軸のしきい値以上の各プロットデータのみを第２グラフに再プロットする（Ｓ６）。次にくり返し制御部７７の制御下で長軸検出部７６では、再プロットされた第２グラフの分布から膨張／縮退処理を用いて複数の第２プロット領域を認識し（Ｓ７）、各第２プロット領域における長軸を検出して、当該長軸方向の最大長さ寸法を計測する（Ｓ８）。

　さらに次にくり返し制御部７７は、しきい値設定部７４を用いて、しきい値を第１プロット領域を横断する方向で次の値に、例えば最高位側から開始した場合には低位側の次の値に変化させ、逆に例えば最低位側から開始した場合には高位側の次の値に変化させ（Ｓ９）、しきい値は最終値であるか否かを判断する（Ｓ１０）。

　しきい値が最終値ではない場合（Ｓ１０：ＮＯ）には、くり返し制御部７７は、再度ステップＳ６から処理をくり返し、しきい値が最終値である場合（Ｓ１０：ＹＥＳ）には、長軸検出部７６で各領域毎に長軸方向の最大長さ寸法の変化量（勾配）を検出する（Ｓ１１）。次に爪判定部７８では検出された各領域毎に長軸方向の最大長さ寸法の変化量（勾配）を比較し（Ｓ１２）、各領域毎に長軸方向の最大長さ寸法の変化量が所定値以下であるか否かを判断する（Ｓ１３）。爪判定部７８は、変化量が所定値以下でない場合には、ステップＳ１２に戻って検出された各領域毎に長軸方向の最大長さ寸法の変化量（勾配）を比較し、変化量が所定値以下である場合には、当該領域を爪領域と判定して（Ｓ１４）処理を終了する。

　一方、画像データ記憶部７１に記憶された画像データは、従来と同様な概略のシルエット形状推定部９１にも入力され、概略のシルエット形状が推定される。推定された概略のシルエット形状は、データ合成部７９で、爪判定部７８で判定された爪領域と合成され、形状判定部８０で爪領域と概略のシルエット形状により、従来よりも正確な手指の形状判定が実施される。

　ステップＳ５～Ｓ１４の可変するしきい値以上のプロットデータ領域における長軸方向の最大長さ寸法の変化量を比較し、変化量が所定値以下である場合に当該領域を爪領域と判定する処理については、さらに詳しくは図１７に示したように、以下の処理が実施される。

　くり返し制御部７７の制御下でしきい値設定部７４では最初に色相のしきい値を上限（初期値）に設定し（Ｓ２１）、くり返し制御部７７内のカウンタを０にリセットする（Ｓ２２）。くり返し制御部７７の制御下で第２プロット部７５では、プロットデータ領域の各プロットデータからしきい値以上の画素を抽出し（Ｓ２３）、くり返し制御部７７の制御下で長軸検出部７６でしきい値以上の各プロットデータに対して膨張処理と、縮退処理をくり返し領域Ｌを画定する（Ｓ２４）。

　次に爪判定部７８では、画定された各領域Ｌ（Ｌは自然数）に対してラベリング処理によりラベルＬを付与し（Ｓ２５）、抽出された領域Ｌの縦横比を計算し（Ｓ２６）、縦横比を記憶し（Ｓ２７）、くり返し制御部７７のカウンタを１つ上げ（Ｓ２８）、くり返し制御部７７の制御下でしきい値設定部７４でしきい値を１段階下げ（Ｓ２９）、くり返し制御部７７でカウンタが１以下であるか否かを判断する（Ｓ３０）

　ステップＳ３０でカウンタが１以下である場合（Ｓ３０：ＹＥＳ）には、くり返し制御部７７の制御下の第２プロット部７５は、ステップＳ２３に戻りプロットデータ領域Ｌの各プロットデータからしきい値以上の画素を抽出し（Ｓ２３）、以降の処理を繰り返して実施する。ステップＳ３０でカウンタが１よりも大きい場合（Ｓ３０：ＮＯ）には、領域Ｌの現在のカウンタ値の縦横比と、領域Ｌの現在より一つ前の縦横比の差を求め、その縦横比の差がある値（所定値）以上であるか否かを判断する（Ｓ３１）。

　縦横比の差がある値（所定値）以上である場合（Ｓ３１：ＹＥＳ）には、爪判定部７８は、領域Ｌは爪領域ではないと判断し（Ｓ３２）、爪領域ではない領域のラベル番号Ｌを記憶し、全ての抽出された領域Ｌが爪領域ではないか否かを判断する（Ｓ３５）。

　縦横比の差がある値（所定値）以上でない場合（Ｓ３１：ＮＯ）には、爪判定部７８は、カウンタがある値（所定値）以上であるか否かを判断し（Ｓ３４）、カウンタがある値（所定値）以上である場合（Ｓ３４：ＮＯ）には、ステップＳ２３に戻りプロットデータ領域Ｌの各プロットデータからしきい値以上の画素を抽出し（Ｓ２３）、以降の処理を繰り返して実施する。カウンタがある値（所定値）以上でない場合（Ｓ３４：ＹＥＳ）には、爪判定部７８は、爪領域の個数とそれぞれの重心を計算する（Ｓ３６）。

　爪判定部７８では、全ての抽出された領域Ｌが爪領域ではないと判断した場合（Ｓ３５：ＹＥＳ）には、爪領域の個数とそれぞれの重心を計算し（Ｓ３６）、全ての抽出された領域Ｌが爪領域であると判断した場合（Ｓ３５：ＮＯ）には、カウンタがある値（所定値）以上であるか否かを判断し（Ｓ３４）、以降の処理を実施する。

　ステップＳ３６の爪領域の個数とそれぞれの重心を計算する処理は、さらに詳しくは図１８に示したように、以下の処理が実施される。

　爪判定部７８は、爪領域ではないと判断された領域Ｌ以外の領域Ｍのラベル番号「Ｍ」（Ｍは自然数）を取得し（Ｓ４１）、領域Ｍの個数Ｎ（０≦Ｎ≦５）を出力する。
　さらに爪判定部７８は、領域Ｍの重心ｐ[Ｍ]（x,y）を計算し（Ｓ４３）、重心ｐ[Ｍ]を出力する（Ｓ４４）。

　本爪領域検出装置では、撮像画像データを所定の表色系に変換した第１プロットデータから、設定されたしきい値を可変させながら、そのしきい値以上のものを再プロットされたデータが分布する第２プロット領域の長軸方向の最大長さ寸法を計測し、長軸方向の最大長さ寸法の変化量の勾配が他の領域よりも小さい第２プロット領域を爪領域と判定する。この所定の表色系に変換したプロット領域の長軸方向の最大長さ寸法の変化量の勾配を用いて、プロット領域が爪領域か否かを判断することにより、従来よりも確実に撮像画像データから爪領域を認識することができる。従って、任意の使用者に対して手指画像の肌領域から爪領域の位置情報を得ることができ、シルエット形状の情報に爪情報を有効に追加したり、シルエット形状の情報に各々の爪位置の情報を効率的に割り当てでき、手指の形状をより正確に推定することができる。従って、本実施形態の爪領域検出方法によれば、従来よりも確実に撮像画像データから爪領域を認識することができるので、任意の使用者に対して手指画像の肌領域から爪領域の位置情報を得ることができ、シルエット形状の情報に爪情報を有効に追加したり、シルエット形状の情報に各々の爪位置の情報を効率的に割り当てでき、手指の形状をより正確に推定することができる。

＜第２実施形態＞
　図１９（ａ）、（ｂ）は、本発明の第２実施形態であり、手指の画像データをＲＧＢ表色系からＹＩＱ表色系に変換し、ＹＩＱ表色系の３属性の中で爪と肌が重なりにくい２属性を選び、３次元の色空間の画像データを２次元平面の画像データに写像した分布形状を模式的に示した図である。

　ＹＩＱ表色系はＮＴＳＣ信号を得る前段階で使用されるコンポーネント信号である。現在使用されている色差コンポーネント信号のクロマ成分（Ｃｂ，Ｃｒ）に対して３３度回転した色相となり、Ｉ軸とＱ軸は直交する。Ｙ軸（明度）、Ｉ軸（暖色系：オレンジ－ライトブルー間）、Ｑ軸（寒色系：青紫－黄緑間）である。

　図１９（ａ）のＹＩＱ表色系の場合でも３次元の色空間の画像データを２次元平面の画像データに写像した後、肌領域１ｂと爪領域１０ｄの２領域が比較的離れて分布する傾向を示すのが分かる。しかし、図１～１８の第１実施形態のＨＬＳ表色系の場合と比較すると、図１９（ａ）のＹＩＱ表色系では、爪領域１０ｄは、ある点を中心に回転するように分布しており、そのため、一つの軸に沿ったしきい値ＳＬ２０すなわち分離平面が取りにくい。

　ＹＩＱ表色系の場合でも、図１９（ｂ）のように、肌領域１ｂに対して爪領域１０ｄの向きを爪領域１５ｄのように回転させて揃え、一つの軸に沿ったしきい値ではないが、しきい値ＳＬ２０を設定することで、上記した第１実施形態と同様な効果を得ることができる。

　上記した第１実施形態及び第２実施形態では、カラーカメラ６１の撮像画像に用いられているＲＧＢ表色系をＨＬＳ表色系又はＹＩＱ表色系に変換することで、爪領域と肌領域とを分離したが、爪領域と肌領域との分離のために用いる表色系は、３次元の色空間の画像データを２次元平面の画像データに写像した場合に爪と肌の２領域の重なりが少ない表色系であれば、ＨＬＳ表色系とＹＩＱ表色系に限定する必要は無い。
　また、主成分分析を用いて長軸と短軸を求める代わりに、判別分析を用いても良い。同手法は、事前に与えられているデータが異なるグループに分かれることが明らかな場合、新しいデータが得られた際に、どちらのグループに入るのかを判別するための基準（判別関数）を得るための手法である。
　あらかじめ多数の被験者の手指画像で爪・拇指丘・指腹などの領域の形状データを取得しておき、未知の手指画像入力があった場合、ＨＬＳ表色系の色相軸閾値を変化させた時に現れる領域形状を、過去のデータにしたがってグループ分けすれば良い。この方法によれば、長軸方向の長さ寸法と短軸方向の長さ寸法の縦横比変化のように判別のための判断基準が明確に決められない場合でも、過去のデータに応じて妥当なグループ分けを行うことができる。

＜第３実施形態＞
　上記した第１実施形態と第２実施形態では、図１１（ａ）～（ｄ）に示されたような検出された爪候補領域の軸方向の長さ寸法の変化を利用して爪領域を検出している。しかし、後述するように、上記した第１実施形態と第２実施形態で検出された爪候補領域は、理想的な楕円形や長方形に近い形で得られるわけではないので、軸方向の長さ寸法の検出が困難である場合がある。

　また、爪候補領域の軸方向の長さ寸法の変化に限らず、色相で検出された爪候補領域の面積又は当該領域中の画素数の変化を利用しても、手の甲側の肌領域から爪領域を検出することは可能である。この場合、例えば、手の甲側の肌領域と爪領域との両者の色相（色合い）の違いが比較的大きいことを利用する。但し、手の甲側の肌領域と爪領域とは比較的検出が容易であるが、掌（手の平）側の肌領域と爪領域とは検出が容易ではない。これは、掌（手の平）側の肌領域の色相のうち、指腹と拇脂丘は色相で検出された爪候補領域に近い色相を有しているので、例えば、手の画像が爪だけでなく指腹と拇脂丘を含む場合等に、色相のみでは、爪領域と指腹領域と拇脂丘領域を判別することが困難なためである。

　また、爪候補領域の検出は、例えば、図１６のステップ４に示されたように、「プロットされた各データに対して膨張処理と縮退処理を繰り返す」ことにより領域を検出することが可能であるが、爪候補領域が、毎回、理想的な楕円形や長方形に近い形で得られるわけではない。さらに、各爪候補領域毎に、爪候補の色相を有する画素（爪候補画素）の密集度が異なっている。これについては、図２０（ａ）～（ｅ）に示したように、カメラと手の向きや照明の当たり具合により異なっている。一般的には、爪甲部分の光の反射が強く爪候補画素の密集度が高くなる傾向にあるが、指腹領域と拇脂丘領域においても、カメラと手の向きや照明によって、爪候補画素の密集度が高くなる場合もある。従って、色相と爪候補画素の密集度を組み合わせても、爪領域と指腹領域と拇脂丘領域を判別することが困難な場合がある。

＜＜第３実施形態の実施例１＞＞
　そこで、本実施形態の実施例１では、まず第１段階として、爪らしい色相で検出された爪候補領域の原画像Ｏｉに対して、平滑化を実施して密領域の画像（密画像）Ｃｉを得る。この場合の平滑化とは、例えば、所定領域内の中央値を領域中央の画素の濃度として出力するメディアンフィルターでゴマ塩状の雑音（ノイズ）を除去するように平滑化を実施する事により、エッジ部をぼけさせないで平滑化することである。この密画像Ｃｉが良好に得られる条件化に限れば、密画像Ｃｉの領域の形状、面積及び密集度等から手の甲側の肌領域と爪領域とを判別することができる。

　これは、例えば、爪の場合には周囲に境界線があり、周囲の手の甲側の肌領域との間の色相の相違が明確であり、爪甲の光の反射率と手の甲側の肌領域の光の反射率との相違も明確であるので、カメラと手の向きや照明の当たり具合が最適であるような条件が良い場合に限れば、爪領域の密画像Ｃｉの領域は、指腹領域及び拇脂丘領域の密画像Ｃｉの領域よりも形状が長方形や楕円に近くなり、面積も爪の面積に対応する所定範囲内になり、密集度が高くなる傾向にあるので、検出が可能である。しかし、カメラと手の向きや照明の当たり具合が最適ではない場合には、指腹領域及び拇脂丘領域の密画像Ｃｉの領域も、爪領域の密画像Ｃｉの領域に近似する形状、面積及び密集度等となる場合があり、検出できない場合もあることがわかった。

　そこで実施例１では、第２段階として、色相のしきい値を変化させつつ爪候補領域の原画像Ｏｉを複数回得て、その密画像Ｃｉの領域面積又は領域内画素数の各回毎の変化量を利用して検出する。この場合、爪の場合の密画像Ｃｉの領域面積又は領域内画素数の変化量は小さい。これは、上記したように爪と周囲の肌との間に明確な境界があって、色相差及び光沢差は比較的大きいためである。一方、指腹領域と拇脂丘領域の場合の密画像Ｃｉの領域面積又は領域内画素数の変化量は大きい。これは、指腹領域や拇脂丘領域はその周囲の肌との間に明確な境界が無く、色相及び光沢は徐々に変化し、色相差及び光沢差が比較的小さいため、密画像Ｃｉの領域面積又は領域内画素数の変化量が大きくなる。従って、カメラと手の向きや照明の当たり具合が最適ではない場合でも爪領域の検出が可能になる。

　従って、実施例１で、第２プロット領域における物理量又はその比率が面積で、その面積が第２プロット領域に対する密領域の画像の面積である場合には、爪領域の密画像Ｃｉの領域面積の小さい変化量と、指腹領域と拇脂丘領域の密画像Ｃｉの領域面積の大きい変化量とにより、爪領域を指腹領域と拇脂丘領域から判別することができる。また、実施例１で、第２プロット領域における物理量が画素数で、その画素数が第２プロット領域に対する密領域の画像の画素数である場合には、爪領域の密画像Ｃｉの領域画素数の小さい変化量と、指腹領域と拇脂丘領域の密画像Ｃｉの領域画素数の大きい変化量とにより、爪領域を指腹領域と拇脂丘領域から判別することができる。

＜＜第３実施形態の実施例２＞＞
　さらに本実施形態の実施例２では、原画像Ｏｉ中の密画像Ｃｉを除いた残り（粗領域の画像）を粗画像Ｓｉとして、その粗画像を用いた爪検出についても検討を行った。この場合も、粗画像Ｓｉが良好に得られる条件下に限れば、粗画像Ｓｉの形状、面積及び密集度等から手の甲側の肌領域と爪領域とを判別することができる。

　これは、上記した爪の場合の周囲の境界線により、カメラと手の向きや照明の当たり具合が最適であるような条件が良い場合に限れば、爪領域の粗画像Ｓｉの領域は、爪の境界線近辺のみとなるので、指腹領域及び拇脂丘領域の粗画像Ｓｉの領域よりも形状が爪に近似して長方形や楕円に近くなり、面積も爪の周囲の狭い所定範囲内になる傾向にあるので、検出が可能である。しかし、カメラと手の向きや照明の当たり具合が最適ではない場合には、指腹領域及び拇脂丘領域の粗画像Ｓｉの領域も、爪領域の粗画像Ｓｉの領域に近似する形状及び面積等となる場合があり、検出できない場合もあることがわかった。

　そこで実施例２でも、第２段階として、色相のしきい値を変化させつつ爪候補領域の原画像Ｏｉを複数回得て、その粗画像Ｓｉの領域面積又は領域内画素数の各回毎の変化量を利用して検出する。この場合、爪の場合の粗画像Ｓｉの領域面積又は領域内画素数の変化量は小さい。これは、上記したように爪と周囲の肌との間に明確な境界があるためである。一方、指腹領域と拇脂丘領域の場合の粗画像Ｓｉの領域面積又は領域内画素数の変化量は大きい。これは、指腹領域や拇脂丘領域はその周囲の肌との間に明確な境界が無く、色相及び光沢は徐々に変化し、色相差及び光沢差が比較的小さいため、粗画像Ｓｉの領域面積又は領域内画素数の変化量が大きくなるためである。従って、カメラと手の向きや照明の当たり具合が最適ではない場合でも爪領域の検出が可能になる

　従って、実施例２で、第２プロット領域における物理量又はその比率が面積で、その面積が第２プロット領域に対する粗領域の画像の面積である場合には、爪領域の粗画像Ｓｉの領域面積の小さい変化量と、指腹領域と拇脂丘領域の粗画像Ｓｉの領域面積の大きい変化量とにより、爪領域を指腹領域と拇脂丘領域から判別することができる。また、実施例２で、第２プロット領域における物理量が画素数で、その画素数が第２プロット領域に対する密領域の画像の画素数である場合には、爪領域の粗画像Ｓｉの領域画素数の小さい変化量と、指腹領域と拇脂丘領域の粗画像Ｓｉの領域画素数の大きい変化量とにより、爪領域を指腹領域と拇脂丘領域から判別することができる。

＜＜第３実施形態の実施例３＞＞
　さらに本実施形態の実施例３では、上記した密画像Ｃｉの領域と粗画像Ｓｉの領域との比率を用いた爪検出についても検討を行った。この場合も、密画像Ｃｉの領域と粗画像Ｓｉの領域とが良好に得られる条件下に限れば、爪領域の密画像Ｃｉの領域に対する粗画像Ｓｉの領域の比率は、指腹領域と拇脂丘領域の密画像Ｃｉの領域に対する粗画像Ｓｉの領域の比率よりも小さくなるから、手の甲側の肌領域と爪領域とを判別することができる。

　これは、上記したように、カメラと手の向きや照明の条件が良い場合、爪の密画像Ｃｉの領域は、比較的形状も長方形や楕円に近くなり、領域面積又は領域内画素数も所定範囲内に収まり、その結果、原画像Ｏｉから密画像Ｃｉを除いた粗画像Ｓｉについても、領域面積又は領域内画素数も所定範囲内に収まることから、爪の密画像Ｃｉの領域と粗画像Ｓｉの領域との比率も所定範囲内に収まるので、爪領域の検出が可能である。しかし、カメラと手の向きや照明の当たり具合が最適ではない場合には、指腹領域及び拇脂丘領域の密画像Ｃｉの領域と粗画像Ｓｉの領域との比率も、爪領域の密画像Ｃｉの領域と粗画像Ｓｉの領域との比率に近似する場合があり、爪領域が検出できない場合もあることがわかった。

　そこで実施例３でも、第２段階として、色相のしきい値を変化させつつ爪候補領域の原画像Ｏｉを複数回得て、その密画像Ｃｉの領域面積又は領域内画素数と粗画像Ｓｉの領域面積又は領域内画素数との比率の各回毎の変化量を利用して検出する。この場合、爪領域の場合の密画像Ｃｉと粗画像Ｓｉとの領域面積の比率の変化量は小さく、密画像Ｃｉと粗画像Ｓｉの領域内画素数の比率の変化量も小さい。一方、指腹領域と拇脂丘領域の場合の密画像Ｃｉと粗画像Ｓｉとの領域面積の比率の変化量は大きく、密画像Ｃｉと粗画像Ｓｉの領域内画素数の比率の変化量も大きいので、カメラと手の向きや照明の当たり具合が最適ではない場合でも爪領域の検出が可能になる。

　従って、実施例３で、第２プロット領域における物理量又はその比率が物理量の比率で、その比率が第２プロット領域の密画像と粗画像の面積の比率である場合には、爪領域の密画像Ｃｉと粗画像Ｓｉの各領域面積の変化量も小さく、各領域面積の変化パターンの相違も影響しないことから、各領域面積の比率の変化量も小さくなるが、指腹領域と拇脂丘領域の密画像Ｃｉと粗画像Ｓｉの各領域面積の変化量は大きく、各領域面積の変化パターンの相違が影響することから、各領域面積の比率の変化量も大きくなることにより、爪領域を指腹領域と拇脂丘領域から判別することができる。

　また、実施例３で、第２プロット領域における物理量又はその比率が物理量の比率で、その比率が第２プロット領域の密画像と粗画像の画素数の比率である場合には、爪領域の密画像Ｃｉと粗画像Ｓｉの各領域画素数の変化量も小さく、各領域画素数の変化パターンの相違も影響しないことから、各領域画素数の比率の変化量も小さくなるが、指腹領域と拇脂丘領域の密画像Ｃｉと粗画像Ｓｉの各領域画素数の変化量は大きく、各領域画素数の変化パターンの相違が影響することから、各領域画素数の比率の変化量も大きくなることにより、爪領域を指腹領域と拇脂丘領域から判別することができる。

　図２１に示された本発明の第３実施形態に係る爪領域検出装置は、第１実施形態に係る爪領域検出装置の一部が変更された構成であるので、第１実施形態と同様な部分については同じ符号を付与して説明を省略し、変更された部分についてのみ説明する。具体的には、カラーカメラ６１、画像データ記憶部７１、データ合成部７９、形状判定部８０及び概略シルエット形状推定部９１については、第１実施形態と同様であるので記載を省略する。以下に、第１実施形態との相違点につき、各領域画素数の比率の変化量で、爪領域を指腹領域と拇脂丘領域から判別する場合について説明する。

　情報処理装置１７０は、入力するカラー画像データに対して、本実施形態の爪領域検出方法を実施できる構成を有しており、概略的には第１実施形態と同様であるが、主に爪領域の検出に関する部分が異なり、本実施形態に適合する構成になっている。本実施形態のプログラム記憶部１７１は、概略的に第１実施形態と同様に本実施形態を情報処理装置７０で実施するためのプログラムが記憶されるが、その記憶されるプログラムは第１実施形態と異なり、本実施形態に適合するプログラムになっている。

　表色変換プロット部７３は、前処理部１７２と爪候補色相画素領域検出部１７３を有する。爪候補色相画素領域検出部１７３は、カラーカメラで使用されたＲＧＢ表色系の撮像画像データを、ＨＬＳ表色系に変換し、変換したデータを３次元色空間の第１グラフにプロットする。図２（ｃ）、図３（ｂ）～図８（ｂ）には、ＨＬＳ表色系に変換されたデータをＨＬＳ座標系の３次元色空間の第１グラフにプロットした第１プロット領域の状態が示されている。

　前処理部１７２は、細かなノイズが乗りやすい画像中の外部エッジを除去する処理、及び／又は、影の影響を軽減させる処理を実施する。外部エッジを除去する処理は、例えば、第１プロット領域の手領域の各画素データに対して、ラベリング処理でグループ属性を付加し、その手領域の同グループの画素データ群に対して、その輪郭部分から中心部分に向けって２つ分だけ内側（深さ方向）に画素データを削除することによって行われる。この場合の削除する深さは２より大きい値でも可能である。しかし、本実施形態では、外部エッジを除去する処理の最小限の値として２とする。この最小限の２とする理由は、例えば、カメラに対して前腕（手首）が回旋された位置になり爪が斜めから撮像されると、爪領域が一部の領域のみ撮像されて残りの領域が撮像されなくなって画素データが減少し、そこでさらに外部エッジを除去するために画素データを削除することは、爪の検出精度が劣化する危険性があるためである。

　一方、影の影響を軽減させる処理は、例えば、第１プロット領域の手領域の各画素データに対して、局所的にガンマ補正を実施する処理である。画素データにガンマ補正を実施する基準は、例えば、８ビットで表す赤色のビット値によって判別することとすると、画素データのガンマ補正は、以下の３式のように表すことができる。

　ここで、Ｒ’、Ｇ’、Ｂ’は、Ｒ、Ｇ、Ｂそれぞれの補正後の画素値である。また、γの値は、例えば、γ＝１．３を使用することができ、補正後も局所的に不自然な色とならないようにする。

　爪候補色相画素領域検出部１７３は、図１及び図２（ａ）～（ｃ）を用いて第１実施形態のところで前述したように、図２（ｂ）のようなＲＧＢ表色系の撮像画像データを、図２（ｃ）のようにＨＬＳ表色系に変換して３次元色空間の第１グラフにプロットし、第１プロット領域を得る。この第１プロット領域では、図３（ｂ）、図４（ｂ）、図６（ｂ）、図７（ｂ）に示されるように、Ｈ軸に垂直でありＬ軸と平行な面により、爪領域１０ｂと肌領域１ｂを分離させることができる。これから、Ｈ軸のしきい値により爪領域１０ｂの画像データと、肌領域１ｂの画像データとを分離させることができることがわかる。

　このことを理解する補助として、図２２（ａ）には、ＨＬＳ表色系に変換した第１プロット領域に爪領域１０ｂの画像データ群と肌領域１ｂの画像データ群が、それぞれＨ軸のしきい値ｔｈの上側と下側に分かれているようすを示し、図２２（ｂ）には、爪領域１０ｂの画像データ群と肌領域１ｂの画像データ群の間に、Ｈ軸のしきい値ｔｈとなるＨ軸に垂直でありＬ軸と平行な平面（分離平面）を挿入することで、爪領域１０ｂの画像データ群と肌領域１ｂの画像データ群を分離させることができることがわかる。

　図２２（ａ）、（ｂ）では、爪領域１０ｂの画像データ群と肌領域１ｂの画像データ群の一部が重なった画素分布になっている。図２２（ａ）、（ｂ）中で、薄い灰色でプロットしているのが肌領域１ｂの画像データ（画素）群であり、黒色で大きめにプロットしているのが爪領域１０ｂの画像データ（画素）群である。肌領域１ｂの画像データ（画素）群と爪領域１０ｂの画像データ（画素）群とが重なる領域には、爪と色合いが似ている肌領域の画像データ（画素）群がいくらかは存在する。拇指丘や指腹の画像データ（画素）群では、この爪と色合いが似ている肌領域の画像データ（画素）群の量が増加する。

　図２２（ｂ）のＨ軸のしきい値ｔｈとなるＨ軸に垂直でありＬ軸と平行な面については、２次元のＨＳ座標の平面へ転写後の図９（ｂ）を用いて前述したように、Ｈ軸における爪領域１０ｂ又は肌領域１ｂの最大値又は最小値の一方側よりも外側に初期値を設定し、当該肌領域１ｂと爪領域１０ｂをＨ軸に沿って横断する方向に変化させる。この処理がくり返し制御部１７８の制御下でしきい値設定部１７４により実施される。

　くり返し制御部１７８は、第１実施形態のくり返し制御部７７の制御内容と同様に、しきい値ｔｈを第１プロット領域をＨ軸に沿って横断させる方向で次の値に、例えば最高位側から開始した場合には低位側の次の値に変化させ、逆に例えば最低位側から開始した場合には高位側の次の値に変化させ、しきい値ｔｈが最終値であるか否かを判断しつつ、しきい値設定部１７４、第２プロット部１７５、密領域画像検出部１７６、粗領域画像検出部１７７を制御する。

　次に、くり返し制御部１７８の制御下で第２プロット部１７５では、第１プロット領域におけるＨ軸のしきい値ｔｈ以上の各プロットデータのみを第２グラフに再プロットし、その再プロットされたしきい値ｔｈ以上の第２プロット領域のデータを後段の密領域画像検出部１７６と、粗領域画像検出部１７７の両方に出力する。この処理を、Ｈ軸のしきい値ｔｈを変化させながら繰り返す。Ｈ軸のしきい値ｔｈ毎の第２プロット領域のデータは、例えば、図１２（ａ）、図１３（ａ）、図１４（ａ）、図１５（ａ）のように変化する。

　次に、くり返し制御部１７８の制御下で密領域画像検出部１７６では、しきい値ｔｈ以上の第２プロット領域のデータに対して、例えば、１１×１１の領域でメディアン平滑化により、領域結合処理とノイズ除去処理を実施した後、そのデータに対してラベリング処理を実施する。この処理により、爪らしい色相を持つ爪候補色相画素の密画像領域ｉと、各密画像領域ｉの重心を求めることができる。

　次に、くり返し制御部１７８の制御下で粗領域画像検出部１７７では、密領域画像検出部１７６で得られた各密画像領域ｉのデータと、第２プロット領域のデータを原画像データとして用いて、以下の式により密画像領域ｉのデータとの排他的論理和を求めて粗画像領域のデータを検出する。得られた粗画像領域のデータは、密画像領域ｉのデータと共に後段の爪判定部１７９に出力される。この状態を図示したのが図２３（ａ）である。

　ここで、Ｏｉは原画像、Ｃｉは密画像、Ｓｉは粗画像である。

　次に、爪判定部１７９では、原画像データのそれぞれの領域毎に、且つ、Ｈ軸のしきい値毎に入力する密画像領域ｉのデータと粗画像領域のデータから、Ｈ軸のしきい値毎の密画像中の画素数と粗画像中の画素数との比率を以下の式により求める。求められた比率は、各しきい値における各領域の特徴量となる。

　ここで、Ｎ^ｉ _ｃは密画像中の画素数、Ｎ^ｉ _ｓは粗画像中の画素数、ｐａｒ^ｉ _ｔｈはしきい値ｔｈにおける領域ｉの密画像と粗画像の面積の比である。

　上記処理時に、くり返し制御部１７８の制御下でしきい値設定部１７４は、爪領域１０ｂの画像データ群と肌領域１ｂの画像データ群の分離平面のしきい値ｔｈを２つ以上設定するので、爪判定部１７９では、各しきい値ｔｈにより求められるそれぞれの領域ｉの面積比ｐａｒ^ｉ _ｔｈを算出する。その際に、各領域ｉには、図１１（ａ）～（ｃ）に例示したように、爪領域と、拇指丘領域又は指腹領域とでは、色相の勾配が異なることから、爪領域ではしきい値毎に領域ｉの面積比ｐａｒ^ｉ _ｔｈが大きく変化しないのに対して、拇指丘領域や指腹領域ではしきい値毎に領域ｉの面積比ｐａｒ^ｉ _ｔｈが大きく変化する。

　なお、本実施形態では、密領域と粗領域の領域画素数の比率の変化量を用いる場合について説明したが、密領域の領域画素数の変化量を用いる場合、粗領域の領域画素数の変化量を用いる場合、密領域と粗領域の領域面積の比率の変化量を用いる場合、密領域の領域面積の変化量を用いる場合、粗領域の領域面積の変化量を用いる場合の何れの場合についても、同様な方法、又は、一部を簡略化／削除した方法により実施することができる。

［符号の説明］
　１　手指画像、
　１ａ　（ＲＧＢ表色系）肌領域、
　１ｂ　（ＨＬＳ表色系）肌領域、
　１ｄ　（ＹＩＱ表色系）肌領域、
　１０　爪画像、
　１０ａ　（ＲＧＢ表色系）爪領域、
　１０ｂ、１０ｃ　（ＨＬＳ表色系）爪領域、
　１０ｄ　（ＹＩＱ表色系）爪領域、
　３０　指腹部、
　３０ａ、３１、３２、３３、３４　（指腹部３０の）第２プロット領域、
　４０　爪部、
　４０ａ、４１、４２、４３、４４　（爪部４０の）第２プロット領域、
　５０　母指丘、
　５０ａ、５１、５２、５３、５４　（母指丘５０の）第２プロット領域、
　６１　カラーカメラ、
　７０　情報処理装置、
　７１　画像データ記憶部、
　７２、１７１　プログラム記憶部、
　７３　表色変換プロット部、
　７４、１７４　しきい値設定部、
　７５、１７５　第２プロット部、
　７６　長軸検出部、
　７７、１７８　くり返し制御部、
　７８、１７９　爪判定部、
　７９　データ合成部、
　８０　形状判定部、
　１７２　前処理部、
　１７３　爪候補色相画素領域検出部、
　１７６　密領域画像検出部、
　１７７　粗領域画像検出部、
　ＬＡ３０　（指腹部３０の）長軸、
　ＬＡ４０　（爪部４０の）長軸、
　ＬＡ５０　（母指丘５０の）長軸、
　ＳＡ３０　（指腹部３０の）短軸、
　ＳＡ４０　（爪部４０の）短軸、
　ＳＡ５０　（母指丘５０の）短軸、
　ＳＬ２０　（爪部４０の）しきい値、
　ＳＬ２１　（指腹部３０又は母指丘５０の）しきい値。

Claims

　カラーカメラで撮像された手指画像の撮像画像データが３次元色空間の第１グラフにプロットされて変換された第１プロット領域を、２次元平面の第２プロット領域に写像する処理を、前記３次元色空間の１軸の値に沿ってしきい値を変更しつつ複数回実施し、
　その各回の処理において、前記２次元平面の第２プロット領域おける少なくとも一つの物理量又はその比率を検出し、
　その第２プロット領域の物理量又はその比率が各回の処理で変化する変化量の勾配が所定値以下である第２プロット領域を爪領域と判定する
　ことを少なくとも含む爪領域検出方法。
　カラーカメラにより使用者の手指を含んで撮像された撮像画像データを、カラーカメラで使用された表色系から、当該カラーカメラで使用された表色系とは異なる３種類の物理量の３軸により表現される所定の表色系に変換して３次元色空間の第１グラフにプロットする第１ステップと、
　前記所定の表色系に変換してプロットされたデータが分布する１個以上の第１プロット領域に対して、前記３軸の中の１軸の値に沿って、他の軸には平行なしきい値を設定する第２ステップと、
　前記第１プロット領域における前記１軸のしきい値以上の各プロットデータのみを前記一軸に前記しきい値において直交する２次元平面の第２グラフに再プロットして第２プロット領域とする第３ステップと、
　前記第２グラフの複数の第２プロット領域における少なくとも一つの物理量又はその比率を検出する第４ステップと、
　前記第２ステップのしきい値を前記１軸に沿って前記第１プロット領域を横断する方向に変化させ、前記第３および第４ステップを繰り返す第５ステップと、
　前記第５ステップでしきい値毎に得られる第２プロット領域の物理量又はその比率の変化量を検出し、変化量の勾配が所定値以下である第２プロット領域を爪領域と判定する第６ステップと
　を有する爪領域検出方法。
　前記第１ステップでは、前記撮像画像データに対して、第１グラフにプロットする前に少なくとも外部エッジの除去と影の影響除去を含む所定の前処理を行うステップと、爪らしい色相の爪候補色相画素領域を含む肌領域を第１プロット領域として検出するステップとを少なくとも含む
　請求項２に記載の爪領域検出方法。
　前記第４ステップ及び第６ステップでは、第２プロット領域における物理量又はその比率が少なくとも一つの軸方向の長さ寸法である
　請求項２又は３に記載の爪領域検出方法。
　前記第４ステップ及び第６ステップでは、前記軸方向の長さ寸法が、最大寸法である長軸方向の長さ寸法である
　請求項４に記載の爪領域検出方法。
　前記第４ステップ及び第６ステップでは、第２プロット領域における物理量又はその比率が面積である
　請求項２又は３に記載の爪領域検出方法。
　前記第４ステップ及び第６ステップでは、第２プロット領域における面積が、当該第２プロット領域に対して平滑化処理を実施後の画素が密である密領域の画像の面積である
　請求項６に記載の爪領域検出方法。
　前記第４ステップ及び第６ステップでは、第２プロット領域における面積が、当該第２プロット領域に対して平滑化処理を実施後の画素が密である密領域を、前記第２プロット領域から排他的論理和で除去した粗領域の面積である
　請求項６に記載の爪領域検出方法。
　前記第４ステップ及び第６ステップでは、第２プロット領域における物理量の比率が、当該第２プロット領域に対して平滑化処理を実施後の画素が密である密領域の画像の面積と、前記第２プロット領域から前記密領域を除いた粗領域の面積と、の比率である
　請求項請求項２又は３に記載の爪領域検出方法。
　前記第４ステップ及び第６ステップでは、第２プロット領域における物理量又はその比率が画素数である
　請求項２又は３に記載の爪領域検出方法。
　前記第４ステップ及び第６ステップでは、第２プロット領域における画素数が、当該第２プロット領域に対して平滑化処理を実施後の画素が密である密領域の画像の画素数である
　請求項１０に記載の爪領域検出方法。
　前記第４ステップ及び第６ステップでは、第２プロット領域における画素数が、当該第２プロット領域に対して平滑化処理を実施後の画素が密である密領域を、前記第２プロット領域から排他的論理和で除去した粗領域の画素数である
　請求項１０に記載の爪領域検出方法。
　前記第４ステップ及び第６ステップでは、第２プロット領域における物理量の比率が、当該第２プロット領域に対して平滑化処理を実施後の画素が密である密領域の画像の画素数と、前記第２プロット領域から前記密領域を除いた粗領域の画素数と、の比率である
　請求項請求項２又は３に記載の爪領域検出方法。
　前記第１ステップでは、前記第１グラフが、前記３種類の物理量の前記３軸の中の２軸を用いた２次元平面のグラフである
　請求項２～１３の何れか一つに記載の爪領域検出方法。
　前記第１ステップでは、前記所定の表色系が少なくとも色相を含む
　請求項２～１４の何れか一つに記載の爪領域検出方法。
　前記第２ステップでは、前記しきい値が沿う１軸が色相である
　請求項２～１５の何れか一つに記載の爪領域検出方法。
　前記第２ステップでは、前記しきい値の１軸は、前記第１プロット領域から、前記１軸における最大値と最小値の少なくとも一方を求め、前記最大値又は最小値の一方側よりも外側に前記しきい値の初期値を設定する
　請求項２～１６の何れか一つに記載の爪領域検出方法。
　前記第４ステップでは、第２プロット領域に膨張処理と縮退処理を繰り返すことにより画定する
　請求項２～１７の何れか一つに記載の爪領域検出方法。
　前記第４ステップ及びと第６ステップでは、第２プロット領域における物理量の比率が、最大の軸方向の長さ寸法である長軸方向の第１寸法と、最小の軸方向の長さ寸法である短軸方向の第２寸法との比率である
　請求項２又は３に記載の爪領域検出方法。
　前記第４ステップ及び第６ステップでは、第２プロット領域における物理量の比率が、最大の軸方向の長さ寸法である長軸方向の第１寸法と、最小の軸方向の長さ寸法である短軸方向の第２寸法との、第１寸法／（第１寸法＋第２寸法）の比率である
　請求項２又は３に記載の爪領域検出方法。
　前記第１ステップでは、前記所定の表色系が色相（ＨＵＥ）、彩度（ＳＡＴＵＲＡＴＩＯＮ）、輝度（ＬＵＭＩＮＡＮＣＥ）よりなるＨＬＳ表色系である
　請求項２～１９の何れか一つに記載の爪領域検出方法。
　請求項１～２０の何れか一つの爪領域検出方法における各ステップを実施するプログラム。
　請求項２１のプログラムを記憶する記憶媒体。
　カラーで使用者の手指を含む画像を撮像するカラーカメラと、
　前記カラーカメラから出力される画像データを処理する情報処理装置とを
　少なくとも含んで構成され、
　前記情報処理装置は、
　請求項２１のプログラムがインストールされたプログラム記憶部と、
　前記プログラムを実行可能にするための構成を含む
　手指画像からの爪領域検出装置。
　カラーで使用者の手指を含む画像を撮像するカラーカメラと、
　前記カラーカメラにより使用者の手指を含んで撮像された撮像画像データを記憶する画像データ記憶部と、
　前記撮像画像データを、カラーカメラで使用された表色系から、当該カラーカメラで使用された表色系とは異なる３種類の物理量の３軸により表現される所定の表色系に変換して第１グラフにプロットする表色変換プロット部と、
　前記所定の表色系に変換してプロットされたデータが分布する１個以上の第１プロット領域に対して、前記３軸の中の１軸の値に沿って、他の軸には平行なしきい値を設定し、さらにしきい値を前記第１プロット領域を横断する方向に変化させるしきい値設定部と、
　前記第１プロット領域における前記１軸のしきい値以上の各プロットデータのみを前記一軸に前記しきい値において直交する２次元平面の第２グラフに再プロットして第２プロット領域とする第２プロット部と、
　前記第２グラフの複数の第２プロット領域における少なくとも一つの物理量又はその比率を検出する検出部と、
　前記しきい値設定部で、しきい値を前記１軸に沿って前記第１プロット領域を横断する方向に変化させながら、前記第２プロット部で前記しきい値以上の各プロットデータのみを第２グラフに再プロットし、前記検出部で第２グラフの複数の第２プロット領域における物理量又はその比率を検出する処理をくり返すくり返し制御部と、
　前記くり返し制御部によりしきい値毎に得られる第２プロット領域の物理量又はその比率の変化量を検出し、変化量の勾配が所定値以下である第２プロット領域を爪領域と判定する爪判定部と
　を有する手指画像からの爪領域検出装置。
　カラーカメラで撮像された手指画像の撮像画像データが３次元色空間の第１グラフにプロットされて変換された第１プロット領域を、２次元平面の第２プロット領域に写像する処理を、前記３次元色空間の１軸の値に沿ってしきい値を変更しつつ複数回実施し、
　その各回の処理において、前記２次元平面の第２プロット領域おける少なくとも一つの物理量又はその比率を検出する制御部と、
　その第２プロット領域の物理量又はその比率が各回の処理で変化する変化量の勾配が所定値以下である第２プロット領域を爪領域と判定する爪判定部と
　を少なくとも含む手指画像からの爪領域検出装置。