JP4470848B2 - 顔部品抽出方法及び顔認証装置 - Google Patents

Description

本発明は、顔認証に必要な顔部品抽出方法及び顔認証装置に関するものである。

顔認証に用いる顔の目や口等の部品を探索する装置としては顔領域の画像部分の濃淡を検出し、この濃淡に基づいて、顔部品を検出する顔部品探索方法が提供されている（特許文献１）。

また、濃淡変化やヒストグラムなどの画素値情報を用いた目や口の領域を決定して顔部品領域を切り出す装置も提供されている（特許文献２）。
特開２００３−２８１５３９公報（公報（１）頁の左欄） 特開平８−２２１５９１号公報（段落番号００１５、００２３）

ところで、特許文献１，２に開示されているような濃淡を用いて顔部品を検出したり切り出す方法では、画像の明るさやコントラスト、照明照射方向などの影響を受け、例えば二値化画像として顔部品画像を抽出する場合、二値化画像が上述の影響により変化してしまうという問題があった。

本発明は、上述の点に鑑みて為されたもので、その目的とするところは、画像の明るさやコントラスト、照明照射方向などの影響を受けることなく、安定した二値化画像からなる顔部品画像を抽出することができる顔部品抽出方法及び顔認証装置を提供することにある。

上述の目的を達成するために、請求項１の顔部品抽出方法の発明では、人物が撮像された濃淡画像から顔部位を探索した後、顔部位の濃淡画像において濃度変化の激しい画素及びその近隣の画素に顔部品を示す情報を含むものとしてこれら濃度変化の激しい画素及びその近隣の画素を選択して二値化画像を顔部品画像として抽出する顔部品抽出方法であって、顔部位探索後、顔部位の濃淡画像を微分処理して微分強度画像とし、この微分強度画像の内、抽出したい顔部品がそれぞれに含まれるともに照明方向によって同じように影響を受ける領域毎にグループ化した領域を複数の所定領域とし、所定領域ごとに、所定領域内で画素を微分強度順に並び替え、この並び替え後に微分強度順に基づいて顔部品に対応付けてある指定画素数分だけ画素を選択し、その選択した画素と、その他の画素とを二値化した微分強度二値化画像を顔部品画像として抽出することを特徴とする。

請求項１の顔部品抽出方法の発明によれば、微分強度の並び替え対象とする所定領域に含まれる顔部品の画素数を用いて、閾値で二値化した顔部品画像を抽出することができるため、画像の明るさやコントラスト、照明照射方向などの影響を受けることなく安定した顔部品抽出ができる。また、請求項１の顔部品抽出方法の発明によれば、明るさ分布の影響をなくした微分強度順の並び替えが行え、明るさ分布の差の影響を受けない顔部品画像の抽出ができる。

請求項２の顔部品抽出方法の発明では、請求項１の発明において、前記微分強度の並び替えを微分強度の大きい順とし、この微分強度の大きい方から顔部品に対応付けてある指定画素数分だけ画素を選択し、該選択した画素を濃度の変化の激しい画素、それ以外の画素を濃度変化の激しくない平坦な画素として二値化することを特徴とする。

請求項２の顔部品抽出方法の発明によれば、微分強度の大きく、濃度変化の激しい画素に注目する形で顔部品を抽出して、請求項１と同様に画像の明るさやコントラスト、照明照射方向などの影響を受けることなく安定した顔部品抽出ができる。

請求項３の顔部品抽出方法の発明では、請求項１の発明において、記微分強度の並び替えを微分強度の小さい順とし、この微分強度の小さい方から顔部品に対応付けてある指定画素数分だけ画素を選択し、該選択した画素を濃度の変化の激しくない平坦な画素とし、それ以外の画素を濃度変化の激しい画素として二値化することを特徴とする。

請求項３の顔部品抽出方法の発明によれば、微分強度が小さく濃度変化が激しくない平坦な画素に注目する形で顔部品を抽出して、請求項１と同様に画像の明るさやコントラスト、照明照射方向などの影響を受けることなく安定した顔部品抽出ができる。

請求項４の顔部品抽出方法の発明では、請求項１乃至３の何れか記載の顔部品を構成する画素数を基準となる顔画像から予め求めておき、この基準の画素数を基に抽出対象の顔の大きさに応じて前記指定画素数を決定することを特徴とする。

請求項４の顔部品抽出方法の発明によれば、抽出対象となる顔の大きさに応じて二値化の閾値を設定できるため、顔部品抽出が的確に行える。

請求項５の顔部品抽出方法の発明では、請求項１乃至４の何れかの発明において、顔認証に有効で且つ個人差の大きな部位について顔認証に必要な画素数を上記指定画素数とは別に予め求めておくことを特徴とする。

請求項５の顔部品抽出方法の発明によれば、抽出した顔部品画像に基づいて顔認証を行う際に、鼻の横のしわ、顎のライン、眼鏡の枠など個人差が大きく位置による指定が困難な顔部品による認証も可能となる。

請求項６の顔部品抽出方法の発明では、請求項１乃至５の何れかの発明において、微分強度二値化画像として抽出される領域を膨張処理することを特徴とする。

請求項６の発明によれば、微分強度の大きい周辺の画素が持つ顔部品固有の情報を用いることを可能とする。

請求項７の顔部品抽出方法の発明では、請求項１乃至６の何れかの発明において、前記並べ替え後に、前記指定画素数での最下位置付近の微分強度が所定の微分強度値を満たさないときには、所定の微分強度値を越えるように撮像カメラの撮像パラメータを制御することを特徴とする。

請求項７の顔部品抽出方法の発明によれば、適正な顔部品抽出を行うための微分強度を確保することができる。

請求項８の顔部品抽出方法の発明では、請求項１乃至７の発明において、前記濃淡画像の濃度値分布が所定の範囲の分布広さを満たさないときには、濃度値分布が所定の範囲の分布広さを満たすように撮像カメラの撮像パラメータを制御することを特徴とする。

請求項８の顔部品抽出方法の発明によれば、適正な顔部品抽出を行うための微分強度を確保することができる。
請求項９の顔部品抽出方法の発明では、請求項１乃至８の何れかの発明において、前記複数の所定領域は、前記微分強度画像を上下または左右に２分割した領域であることを特徴とする。
請求項１０の顔部品抽出方法の発明では、請求項１乃至８の何れかの発明において、前記複数の所定領域は、前記微分強度画像を上下に２分割かつ左右に２分割した領域であることを特徴とする。

請求項１１の顔認証装置の発明では、請求項１乃至１０の顔部品抽出方法によって二値化画像として顔部品を抽出する顔部品抽出手段と、該顔部品抽出手段からの二値化画像を取り込み、顔部品に対応付けてある場所の画素値を用いて濃淡マッチング或いは濃度勾配方向マッチングにより顔認証判断処理を行うことを特徴とする。

請求項１１の顔認証装置の発明によれば、画像の明るさやコントラスト、照明照射方向などの影響を受けることなく安定して抽出される顔部品を用いて顔認証を行うため、高い確度で顔認証が行える。

本発明は、微分強度の並び替え対象とする所定領域に含まれる顔部品の画素数を用いた閾値で二値化した顔部品画像を抽出することができるため、画像の明るさやコントラスト、照明照射方向などの影響を受けることなく、安定した顔部品抽出ができる顔部品抽出方法を提供でき、また高い確度で顔認証が行える顔認証装置を提供できるという効果がある。

以下本発明を実施形態により説明する。

（実施形態１）
図１は本実施形態の顔部品抽出方法として採用した顔認証装置Ｘの全体構成を示しており、この顔認証装置Ｘは、撮像カメラ１と、画像データ入力部２と、顔位置探索部３と、本実施形態を採用した顔部品抽出部４と、抽出された顔部品画像によって顔認証を行う顔認証部５等から構成される。

この顔認証装置Ｘは、図２（ａ）に示すフローチャートに沿って認証処理を行う。

つまり、撮像カメラ１により撮影された認証対象の人物の例えば上半身の濃淡画像からなる撮像画像データを画像データ入力部２に入力する（ステップＳ１）。この画像データ入力部２では撮像画像データを画像データバッファ２ａに格納する処理を行う。
次に顔位置探索部３が画像データバッファ２ａ上の撮像画像から顔位置を探索して切り出す処理を行う（ステップＳ３）。

この顔位置探索部３での顔位置探索方法は特に限定されるものではなく、周知の方法を適宜採用すれば良く、例えば撮像画像及び予め準備されている顔検出用テンプレート画像から濃度勾配方向画像を抽出し、この抽出した濃度勾配方向画像上の基準点と参照とする座標点との距離及び基準点と座標点とを結ぶ線が座標点を通る水平軸と交差する角度の情報を抽出し、この抽出した距離及び角度の情報を顔検出用テンプレート画像の濃度勾配方向の値毎に形状特徴を分離し、撮像画像の濃度勾配方向画像の参照とする座標点における濃度勾配方向の値及び上記の形状特徴に基づいて撮像画像の濃度勾配方向画像における基準点候補点に対する投票処理を行って投票結果に基づいて顔位置を検出する方法等がある。

さて顔位置探索部３で探索された顔位置の濃淡画像、つまり顔画像（例えば図３（ａ）参照）は顔部品抽出部４に送られ、顔部品抽出部４で目、口等の顔部品の二値化画像を抽出する（ステップＳ４）。

ここで顔部品抽出部４は、顔画像において濃度変化の激しい画素及びその近隣の画素に顔部品を示す情報を含むものとしてこれら濃度変化の激しい画素及びその近隣の画素を選択して二値化画像を顔部品画像として抽出するものであって、図２（ｂ）のフローチャートに沿った処理動作を行う。つまり、まず顔部位の濃淡画像を入力し（ステップＳ３０）、この濃淡画像をステップＳ３１で微分処理して微分強度画像とし、この微分強度画像の内、抽出したい顔部品が含まれる所定領域内で画素を微分強度の大きい順に並び替える処理を行う（ステップＳ３２）。

ここで所定領域とは、被写体である人物に撮影時に照射する照明方向で明るさ分布の差が同じ領域をグルーピングしたものである。例えば、顔の場合、顔と照明の位置関係で想定されるものは次の３通りである。
（１）顔の横方向に照明が配置されている場合は、顔の左右のどちらかが明るく、その反対が暗い。
（２）顔の上方又は下方に照明が配置されている場合は、顔の上、下のどちらかが明るく、その反対が暗い。
（３）顔の斜め上方又は斜め下方に照明が配置されている場合は、例えば顔を４分割して照明に近い側が明るく、その反対が暗い。

尚顔を４分割すれば、照明を横方向に配置した場合も、上又は下に配置した場合も同様に得られることは容易に想像できる。

また予め照明と顔位置関係が判っていれば、それに従って領域分割すれば良く、逆に判らない場合には、何れにも対応できる分割として、例えば４分割を採用する。

更に、また上下左右方向の明るさに隔たりが少ないであろうと想定されれば、顔全体を一つの領域として扱ってもよい。

そして４分割或いは２分割した場合において、上下左右の明るさの隔たりが少なくても、同様の効果が得られることは、容易に想像できる。

図３（ａ）は顔の上下左右毎の明るさ部分に大きな差がなく、隔たりが少ない状況であることが予め判っている場合において、顔全体を一つの領域として、その領域全体で微分強度の並び替えを行う場合を、図３（ｂ）は顔を左右に２分割した場合を、図３（ｃ）は上下左右に４分割した場合を示す。

ここで微分強度順に並べ替えるアルゴリズムとして例えばバブルソートを採用する。このバブルソートは、ランダムに並んだ配列の最終の要素の値Ａと、その一つ上の要素の値Ｂを比較して，Ａ＞Ｂの場合には値Ａの要素と、値Ｂの要素との並び順を逆転する。次に最終の一つ上の要素（先の値Ａの要素）と、最終から二つ上の要素の値Ｃとの比較を行い、例えばＡ＞Ｃの場合には値Ａの要素と値Ｃの要素との並び順を逆転させる。このような比較と並び替えを順次行って、配列の最初の要素の値との比較を終了した段階で、配列の一番初めの要素としては最も値が大きな要素が入っていることになる。そして再度配列の最後の要素の値と、その一つ上の要素の値との比較から始め、配列の最初から２番目までを行った段階で、最初の要素が最も大きい値、２番目の要素が２番目に大きな値が入ることになる。このようにして順次比較と並び替えを繰り返すことで、配列の全ての要素についての並び替えが行えることになる。

さて上述のように並び替え処理を終えると、ステップＳ３４で微分強度条件が適正であるか否かを判断し、適正であると判断した場合に微分強度の大きさの上位から抽出したい顔部品に対応付けてある指定の画素数分だけ選択した部位を濃度変化の激しい部位、それ以外の部位を濃度変化の激しくない平坦な部位として閾値を設定し、この閾値で微分強度画像を２値化画像として出力する（ステップＳ３５）。ここで指定する画素数はグルーピンした領域に分割された顔部品に対応付けてある画素数を振り分けて指定する。尚顔部品に対応して指定する画素数としては、目・口・眉・鼻孔を構成する画素数とする。また鼻横しわ、口横しわ、顎のライン、眼鏡の枠など目、口に比べて位置の個人差が大きく、位置を指定しにくいが、顔認証に有効な部位の場合には、顔認証に有効な画素を選択するのに必要な画素数を別途実測して、顔認証時に使用するようにしても良い。

図４に図３（ｂ）のグルーピングに対応した微分強度画像の２値化画像を示す。

例えば照明なしで撮像した場合の顔位置の濃淡画像は図４（ａ−１）となり、その微分強度順に並べて替えて上述の条件で２値化した画像は、図４（ａ−２）となる。また照明照射方向を人物の顔に対して向かって左側から照射した場合の顔位置の濃淡画像は図４（ｂ−１）となり、その微分強度順に並べて替えて上述の条件で２値化した画像は、図４（ｂ−２）となり、照明照射方向を人物の顔に対して正面から照射した場合の顔位置の濃淡画像は図４（ｃ−１）となり、その微分強度順に並べて替えて上述の条件で２値化した画像は図４（ｃ−２）となる。更に照明照射方向を人物の顔に対して向かって右側から照射した場合の顔位置の濃淡画像は、図４（ｄ−１）となり、その微分強度順に並べて替えて上述の条件で２値化した画像は、図４（ｄ−２）となる。

上述した閾値を設定するための指定の画素数は、予め抽出したい顔部品を構成する画素数を予め基準となる顔画像を用いて調べて記憶部４ａに登録したもので、この画素数を用いて微分強度順に並べ替え後の２値化の閾値を設定することで、図４に示すように画像の明るさや、コントラスト、照明照射方向（照明照射条件）の影響を受けることなく安定に必要な顔部品が抽出することができるのである。

ちなみに微分強度画像を固定された閾値で二値化すると、図５（ａ−１）で示す照明なしで撮像した場合の顔位置の濃淡画像の場合には図５（ａ−２）となり、また図５（ｂ−１）で示す照明照射方向を人物の顔に対して向かって左側から照射した場合の顔位置の濃淡画像の場合には図５（ｂ−２）となり、図５（ｃ−１）で示す照明照射方向を人物の顔に対して正面から照射した場合の顔位置の濃淡画像の場合には図５（ｃ−２）となる。更に図５（ｄ−１）に示す照明照射方向を人物の顔に対して向かって右側から照射した場合の顔位置の濃淡画像の場合には、図５（ｄ−２）となる。

この図５の場合には照明照射方向の影響を受けて、微分強度二値化画像が変化していることが判る。このような固定閾値を用いた場合には、画像の明るさやコントラストの影響をも受け、例えば、コントラストの大きい濃淡画像では、微分強度値も大きくなるが、コントラストの小さい濃淡画像では微分強度値も小さくなるので、得られる微分強度二値化画像が変化する。つまり顔認証を行う際に用いる顔部品画像が安定せず、顔認証の精度が低くなってしまう。

ところで、上述のステップＳ３４で微分強度が適正でないと判断されると、本実施形態では、撮像カメラ１の撮像パラメータ（例えばコントラスト、オフセット値）を変換制御する信号を顔部品抽出部４から撮像カメラ１に送って制御し（ステップＳ３６）、再度図２のステップＳ１からの処理を行う。

つまり逆光による中間階調における低コントラストや、明るすぎ又は暗すぎによって上限値又は下限値に張り付いて飽和している状態で、微分強度の最下位値が所定の微分強度値を満たさない場合が起きる。例えば図６（ａ）に示す適正なコントラストの顔画像における輝度分布ヒストグラムは図６（ｂ）のよう、また微分強度分布ヒストグラムは図６（ｃ）のようになるが、図７（ａ）に示すようにコントラストが不足している顔画像における輝度分布ヒストグラムは、図７（ｂ）のように、また微分強度分布ヒストグラムは図７（ｃ）のようになる。そして微分強度値が小さい状態は、明るさ変化がない平坦な状態で、僅かなノイズによって方向値がばらつき可能性がある。このような場合に上述のように顔部品抽出部４から撮像パラメータを撮像カメラ１に送って制御し、適正な微分強度を得るのである。

尚撮像カメラ１の制御を行う判断としては、微分強度分布の平均値、或いは微分強度の並び替えの途中段階での微分強度分布からの最下位値の類推結果に基づく判断、更には微分処理前の濃淡画素の画素値（濃淡値）の分布の状態、例えば所定範囲の分布の広さを満たしていないときに撮像カメラ１を制御するという判断等でも良い。

以上のように本実施形態の顔部品抽出では、顔部品が含まれる所定領域での微分強度値の並び替え後、予め実際に求めた基準となる顔における顔部品に対応付けてある指定画素数分だけ微分強度値の上位から選択し、その選択部位を濃度変化の激しいところ、それ以外を濃度の変化の激しくない平坦な部位として二値化を行って、顔部品画像の抽出を行うようにしているので、画像の明るさ、コントラスト、照明照射方向などの影響を受けることなく、顔認証に必要な顔部品を含む二値化画像が安定良得られることになり、その結果顔認証の精度も高くなる。

また上述の場合には、二値化の閾値として用いる顔部品の画素数は、予め基準となる顔部品の画素数を実測したものを使用しているが、抽出したい顔部品の大きさが変われば比例して指定する画素数も変化させるようにしても良い。例えば認証対象となる顔の大きさを面積等により測定して、基準となる画素数を実測した顔の大きさと比較し、その比較結果に応じて基準となる画素数を変化させて指定画素数を決定すれば、認証対象の人物の顔部品の大きさに合った顔部品画像を抽出することができる。

更に上述の場合には所定領域は顔画像の左右、上下左右、或いは全体において、強度微分の並び替えを行っているが、図８に示すように予め基準となる顔画像から目、口、更には鼻の領域を定めて、その領域の画素数、つまり顔部品の画素数と各領域の位置を記憶部４ａに登録しておき、この登録した基準の顔画像での各顔部品の領域を、微分強度値順に並び替えを行う所定領域とするようにしても良い。

図９は目、口の各領域での微分強度順の並び替えを行った場合を示し、図９（ａ−１）で示す照明なしで撮像した場合の顔位置の濃淡画像の場合には図９（ａ−２）となり、また図９（ｂ−１）で示す照明照射方向を人物の顔に対して向かって左側から照射した場合の顔位置の濃淡画像の場合には図９（ｂ−２）となり、図９（ｃ−１）で示す照明照射方向を人物の顔に対して正面から照射した場合の顔位置の濃淡画像の場合には図１０（ｃ−２）となる。更に図９（ｄ−１）に示す照明照射方向を人物の顔に対して向かって右側から照射した場合の顔位置の濃淡画像の場合には、図９（ｄ−２）となる。

上述の微分強度順の並べ替えは、微分強度値の大きい方から順に並び替えたが、微分強度値の小さい方から順に並べ替えても良い。つまり微分強度の順の並び替えを行う所定領域に含まれる顔部品が構成する画素数が全画素数の５０％以上の場合のように、微分強度の大きい方を選択する数が多い場合に有効で、微分強度の大きい順に並べるよりは、微分強度の小さい方から順に並べる並び替え処理の時間を短縮することができるのである。尚上述のバブルソートの並び替え方法を用いる場合には、要素の値の比較時において値が小さいときに配列の位置を逆転すれば良い。そしてこの場合では、予め実測した顔部品に対応付けてある指定画素数分だけ小さい方から選択した部位を濃度変化の激しくない平坦な部位とし、それ以外の部位を濃度変化の激しい部位として二値化を行う。

更に上述の方法では、微分強度の大きいところの抽出ができるが、濃度変化はその領域の外側の１画素にはまだ存在する可能性も大きい。つまり微分強度が小さいところは方向値もばらつきが大きくて信頼性に欠けるので、微分強度順に並べ替えて平坦な場所として除外しているが、微分強度の画素にはその物体固有の情報を持っていると考えられるのである。そこで、上述の二値化した画像を抽出後に、膨張処理して、その膨張処理した領域を濃度の激しい、つまり顔部品の領域として抽出するようにしても良い。

図１０は目、口の各領域での微分強度順の並び替えを行い、且つ膨張処理を行った場合を示し、図１０（ａ−１）で示す照明なしで撮像した場合の顔位置の濃淡画像の場合には図１０（ａ−２）となり、また図１０（ｂ−１）で示す照明照射方向を人物の顔に対して向かって左側から照射した場合の顔位置の濃淡画像の場合には図９（ｂ−２）となり、図１０（ｃ−１）で示す照明照射方向を人物の顔に対して正面から照射した場合の顔位置の濃淡画像の場合には図１０（ｃ−２）となる。更に図１０（ｄ−１）に示す照明照射方向を人物の顔に対して向かって右側から照射した場合の顔位置の濃淡画像の場合には、図１０（ｄ−２）となる。

ここで上述のように顔部品抽出部４で微分強度の二値化画像が作成されると、顔認証部５はその二値化画像を取り込み、顔部品に対応付けてある場所の画素値を用いて濃淡マッチング或いは上述の濃度勾配方向マッチングにより顔認証判断処理を行い（ステップＳ４）、その認証結果を外部へ出力する処理を行う（ステップＳ５）。

顔認証部５における顔認証方法は適宜な方法を用いれば良いが、顔認証部５の顔認証方法の一例としては濃度勾配方向値を用いたテンプレートマッチングを用いる方法がある。この場合、濃度勾配方向値としては次式で示すように隣接画素間の差分値の大きさによって決定する濃度勾配方向値を用いている。従って信頼性の高いテンプレートマッチングを行うためには、信頼性の高い濃度勾配方向値が必要であり、そのためには本例では隣接画素間のコントラストの大きい顔部品画像が必要となる。

ｄｘ＝（ｃ＋２ｆ＋ｉ−ａ＋２ｄ＋ｇ）
ｄｙ＝（ｇ＋２ｈ＋ｉ−ａ＋２ｂ＋ｃ）
θ＝ｔａｎ^−１ （ｄｙ／ｄｘ）
｜Ｇ（ｉ、ｊ）｜＝［ｄｘ^２（ｉ，ｊ）＋ｄｙ^２（ｉ，ｊ）］^１／２
尚上記式はマスクサイズ３×３のソーベルフィルタを用いた場合で、ｄｘ、ｄｙは画素におけるｘ方向、ｙ方向の微分値、ａ〜ｉは注目画素とその８近傍の画素における画素値（濃度値）を示し、θは濃度勾配方向、｜Ｇ（ｉ，Ｊ）｜は画素（ｉ，ｊ）における微分強度値を示す。

次に顔部品抽出部４から出力される微分強度２値化画像中の顔部品を示す白部分をテンプレートマッチングさせる部位として決定後、顔認証を行う場合における顔認証部５でのテンプレートマッチングの相関値の計算方法の例を簡単に説明する。

例１
顔認証部５が画像入力部２から画像データバッファ２ａを通じて入力する入力画像Ａ（Ｉ，Ｊ）と、認証用に登録している顔画像からなるテンプレート画像Ｂ（Ｉ，Ｊ）とを何れも２５６階調とし、画素毎差分値Ｃ（Ｉ，Ｊ）＝｜Ａ（Ｉ，Ｊ）−Ｂ（Ｉ，Ｊ）｜とし、相関値計算対象となる画素の総数をＮとすると、テンプレートマッチングの相関値は
相関値＝１−（ΣＣ（Ｉ，Ｊ））／Ｎ／２５６と計算される。

例２
本例は異なる重みを付けた計算方法の例であって、顔認証部５が画像入力部２から画像データバッファ２ａを通じて入力する入力画像Ａ（Ｉ，Ｊ）と、認証用に登録している顔画像からなるテンプレート画像Ｂ（Ｉ，Ｊ）とを何れも２５６階調とし、画素毎差分値Ｃ（Ｉ，Ｊ）の算出時に係数αを乗算する。このαは上述のように膨張処理した領域に対しては０以上１未満の指定値、最初から計算対象の領域には１とする。従って画素毎差分値Ｃ（Ｉ，Ｊ）は、
Ｃ（Ｉ，Ｊ）＝α×｜Ａ（Ｉ，Ｊ）−Ｂ（Ｉ，Ｊ）｜となる。

また相関値計算対象となる画素の総数Ｎは、膨張前の画素数ｎと膨張したときの画素数ｍを加算した値（Ｎ＝ｎ＋ｍ）となる。

そしてテンプレートマッチングの相関値は、
相関値＝１−（ΣＣ（Ｉ，Ｊ））／Ｋ／２５６ （但しＫ＝ｎ＋α×ｍ）
と計算される。

本例の計算方法は、信頼性に欠ける分だけ、相関値計算に重みを付ける（最初から計算対象の画素と比べると相関値への影響を及ぼさないように重みを付ける）ことは合理的と言える。

例えば、膨張前の最初からの計算対象画素における差分値をＣ（Ｉ，Ｊ）＝６４、画素総数をＮ＝ｎ＝１００とし、膨張後の計算対象画素における差分値をＣ（Ｉ，Ｊ）＝３２とし、その総数をｍ＝１００とすると、膨張前の相関値は、０．７５、膨張後の相関値（重みを付けない計算による）は、０．８１２５となる。

一方、重みの係数αを０．１とした場合に膨張後の相関値は０．７６１４（小数点５位を四捨五入）となり、また重みの係数αを０．８とした場合には０，８０５６（小数点５位を四捨五入）となる。

つまり本例の計算方法では、係数αを小さな値にすることで、膨張分も加味するが膨張前の値に近い相関値を算出することができるのである。

一実施形態を用いた顔認証装置の全体構成図である。 （ａ）は一実施形態を用いた顔認証装置の動作説明用フローチャート、（ｂ）は顔認証装置内の顔部品抽出部の動作説明用フローチャートである。 一実施形態における顔画像のグルーピングの説明図である。 一実施形態において、微分強度の並び替えを行う所定領域を顔画像の左右とした場合の顔部品画像の抽出例の説明図である。 比較例における顔部品画像の抽出例の説明図である。 一実施形態において、顔部品抽出に用いる適正コントラストの顔画像の説明図であって、（ａ）は顔画像例図、（ｂ）は輝度分布ヒストグラム、（ｃ）は微分強度分布ヒストグラムである。 一実施形態において、顔部品抽出に用いるコントラスト不足の顔画像の説明図であって、（ａ）は顔画像例図、（ｂ）は輝度分布ヒストグラム、（ｃ）は微分強度分布ヒストグラムである。 一実施形態において、微分強度の並び替えを行う所定領域を目、口とした場合の説明図である。 一実施形態において、微分強度の並び替えを行う所定領域を目、口とした場合の顔部品画像の抽出例の説明図である。 一実施形態において、膨張処理を行い且つ微分強度の並び替えを行う所定領域を目、口とした場合の顔部品画像の抽出例の説明図である。

符号の説明

１ 撮像カメラ
２ 画像データ入力部
２ａ 画像データバッファ
３ 顔位置探索部
４ 顔部品抽出部
４ａ 記憶部
５ 顔認証部
Ｘ 顔認証装置

Claims (11)

1. 人物が撮像された濃淡画像から顔部位を探索した後、顔部位の濃淡画像において濃度変化の激しい画素及びその近隣の画素に顔部品を示す情報を含むものとしてこれら濃度変化の激しい画素及びその近隣の画素を選択して二値化画像を顔部品画像として抽出する顔部品抽出方法であって、
   顔部位探索後、顔部位の濃淡画像を微分処理して微分強度画像とし、この微分強度画像の内、抽出したい顔部品がそれぞれに含まれるともに照明方向によって同じように影響を受ける領域毎にグループ化した領域を複数の所定領域とし、所定領域ごとに、所定領域内で画素を微分強度順に並び替え、この並び替え後に微分強度順に基づいて顔部品に対応付けてある指定画素数分だけ画素を選択し、その選択した画素と、その他の画素とを二値化した微分強度二値化画像を顔部品画像として抽出することを特徴とする顔部品抽出方法。
2. 前記微分強度の並び替えを微分強度の大きい順とし、この微分強度の大きい方から顔部品に対応付けてある指定画素数分だけ画素を選択し、該選択した画素を濃度の変化の激しい画素、それ以外の画素を濃度変化の激しくない平坦な画素として二値化することを特徴とする請求項１記載の顔部品抽出方法。
3. 前記微分強度の並び替えを微分強度の小さい順とし、この微分強度の小さい方から顔部品に対応付けてある指定画素数分だけ画素を選択し、該選択した画素を濃度の変化の激しくない平坦な画素とし、それ以外の画素を濃度変化の激しい画素として二値化することを特徴とする請求項１記載の顔部品抽出方法。
4. 顔部品を構成する画素数を基準となる顔画像から予め求めておき、この基準の画素数を基に抽出対象の顔の大きさに応じて前記指定画素数を決定することを特徴とする請求項１乃至３の何れか記載の顔部品抽出方法。
5. 顔認証に有効で且つ個人差の大きな部位について顔認証に必要な画素数を上記指定画素数とは別に予め求めておくことを特徴とする請求項１乃至４の何れか記載の顔部品抽出方法。
6. 微分強度二値化画像として抽出される領域を膨張処理することを特徴とする請求項１乃至５の何れか記載の顔部品抽出方法。
7. 前記並べ替え後に、前記指定画素数での最下位置付近の微分強度が所定の微分強度値を満たさないときには、所定の微分強度値を越えるように撮像カメラの撮像パラメータを制御することを特徴とする請求項１乃至６の何れか記載の顔部品抽出方法。
8. 前記濃淡画像の濃度値分布が所定の範囲の分布広さを満たさないときには、濃度値分布が所定の範囲の分布広さを満たすように撮像カメラの撮像パラメータを制御することを特徴とする請求項１乃至７の何れか記載の顔部品抽出方法。
9. 前記複数の所定領域は、前記微分強度画像を上下または左右に２分割した領域であることを特徴とする請求項１乃至８の何れか記載の顔部品抽出方法。
10. 前記複数の所定領域は、前記微分強度画像を上下に２分割かつ左右に２分割した領域であることを特徴とする請求項１乃至８の何れか記載の顔部品抽出方法。
11. 請求項１乃至１０の顔部品抽出方法によって二値化画像として顔部品を抽出する顔部品抽出手段と、該顔部品抽出手段からの二値化画像を取り込み、顔部品に対応付けてある場所の画素値を用いて濃淡マッチング或いは濃度勾配方向マッチングにより顔認証判断処理を行うことを特徴とする顔認証装置。