JP5285401B2 - 顔認証システム - Google Patents

Description

本発明は、濃度勾配画像を用いて撮像された画像における認証対象者の顔を認証する顔認証システムに関する。

従来から、認証対象の人の顔を含む画像を撮像し、撮像された画像から抽出された認証対象者の顔画像と予め登録された登録者の顔を示す基準顔画像とを比較して認証対象者が登録者であるか否かを判定する顔認証システムが提供されており、例えば特許文献１に開示されているようなものがある。特許文献１に記載の従来例は、個人識別を実現する顔画像照合装置であって、対象人物の顔画像の入力処理を行う画像入力手段と、入力顔画像の輝度補正等の濃淡処理を行う濃度変換手段と、入力された顔画像の位置・大きさに関する正規化を行う位置正規化処理手段と、正規化された顔画像から照合の際に必要な特徴パタンを抽出する処理を行う特徴抽出手段と、抽出された特徴パタンを予め登録された各人物の顔画像の標準パタンと照合する照合処理手段と、照合の結果から個人識別の判定を行う判定処理手段とを有する。
特開平５−２０４４２号公報

しかしながら、上記従来例では、入力画像を正規化する際に入力画像の位置をずらしたり大きさを変更したりすることから量子化誤差が発生する。そして、目や鼻などの顔の各器官の境界部分において量子化誤差が発生した場合、当該境界部分に表れる各個人の特徴が失われ、認証対象者本人と他人との区別が困難になるという問題があった。尚、ステレオカメラ等で用いられるサブピクセルマッチングといった方法により量子化誤差の発生を出来る限り抑える技術が知られているが、顔認証システムにおいては時系列変化等により全く同じ表情、同じ顔の角度で撮像されることがほとんど無いため、効果を発揮することができない。

本発明は、上記の点に鑑みて為されたもので、量子化誤差による影響を受け難くすることのできる顔認証システムを提供することを目的とする。

請求項１の発明は、上記目的を達成するために、認証対象の人の顔を含む画像を撮像する撮像手段と、撮像手段で得られた撮像画像から顔に該当する顔領域を検出する顔検出手段と、顔領域の画像から認証に用いる画像のサイズ及び角度に合わせて正規化切り出し画像を切り出す切り出し条件を各々変更して複数の正規化切り出し画像を切り出す切り出し手段と、切り出し手段における切り出し条件を変更する切り出し条件変更手段と、切り出し手段で得られた複数の正規化切り出し画像の各々について各画素の画素値を対象画素の位置での濃度勾配の向きに応じた数値に置き換えた複数の濃度勾配画像を生成する濃度勾配画像生成手段と、濃度勾配画像生成手段で得られた全ての濃度勾配画像から量子化誤差を低減した１枚の認証用画像を生成する認証用画像生成手段と、認証用画像生成手段で得られた認証用画像を用いて顔認証を行う認証手段とを備えたことを特徴とする。尚、認証用画像は認証対象者の認証に用いられるが、認証対象者の基準顔画像が登録されていない場合には認証用画像が認証対象者の基準顔画像として記憶される。

請求項２の発明は、請求項１の発明において、切り出し条件変更手段は、前記顔領域を少なくとも上下左右方向の何れか一方向に変位させて切り出し条件を変更することを特徴とする。

請求項３の発明は、請求項２の発明において、切り出し条件変更手段は、変位量を前記顔領域のサイズに応じて変化させることを特徴とする。

請求項４の発明は、請求項１の発明において、切り出し条件変更手段は、前記顔領域のサイズの倍率を変化させて切り出し条件を変更することを特徴とする。

請求項５の発明は、請求項１の発明において、切り出し条件変更手段は、前記顔領域を回転させる角度を変化させて切り出し条件を変更することを特徴とする。

請求項６の発明は、請求項２乃至５の何れか１項の発明において、認証用画像生成手段は、各濃度勾配画像の全ての画素について対象画素と周辺画素との濃度勾配の向きを示す角度の差分を演算するとともに、全ての画素について、対象画素における全ての濃度勾配画像の濃度勾配の向きを示す角度の平均値を認証用画像の画素値とすることを特徴とする。

請求項７の発明は、請求項２乃至５の何れか１項の発明において、認証用画像生成手段は、各濃度勾配画像の全ての画素について対象画素と周辺画素との濃度勾配の向きを示す角度を演算するとともに、全ての画素について、対象画素における全ての濃度勾配画像の濃度勾配の向きを示す角度の中間値を認証用画像の画素値とすることを特徴とする。

請求項８の発明は、請求項２乃至５の何れか１項の発明において、認証用画像生成手段は、各濃度勾配画像の全ての画素について対象画素と周辺画素との濃度勾配の向きを示す角度を演算するとともに、対象画素における濃度勾配の向きを示す角度の分布を演算し、全ての画素について、対象画素において最も分布が大きくなる濃度勾配の向きを示す角度を認証用画像の画素値とすることを特徴とする。

請求項９の発明は、請求項６乃至８の何れか１項の発明において、認証用画像生成手段は、認証用画像と各濃度勾配画像との間の濃度勾配の向きを示す角度の差分を全ての画素について演算するとともに、各画素において差分結果と予め設定された第１の閾値とを比較して第１の閾値を超える画像の枚数を計数し、計数した画像の枚数と予め設定された第２の閾値とを比較して第２の閾値を超える場合にはマスク処理を施すことを特徴とする。

請求項１０の発明は、請求項９の発明において、第２の閾値を予め設定された固定値とすることを特徴とする。

請求項１１の発明は、請求項９の発明において、第２の閾値は、正規化画像及び非正規化画像全体の枚数と濃度勾配の向きを示す角度の差分が第２の閾値を超える画像の枚数との割合が所定値となるよう設定されることを特徴とする。

本発明によれば、認証対象の人の顔を含む撮像画像から各々切り出し条件を変更して複数の正規化切り出し画像を生成し、複数の正規化切り出し画像の濃度勾配画像から生成した認証用画像を用いて顔認証を行うので、予め設定された切り出し条件で切り出した１枚の正規化切り出し画像のみから濃度勾配画像を生成して顔認証を行う場合と比較して量子化誤差による影響を受け難くすることができる。

以下、本発明に係る顔認証システムの実施形態について図面を用いて説明する。本実施形態は、図１（ａ）に示すように、検出対象の人の顔を含む画像を撮像する撮像手段１と、撮像手段１で得られた撮像画像から顔領域を検出する顔検出手段２と、撮像手段１で得られた撮像画像を記憶する第１の記憶手段３と、第１の記憶手段３から撮像画像を読み出して顔検出手段２で検出された顔領域の画像から認証に用いる画像のサイズ及び角度に合わせて正規化切り出し画像を切り出す切り出し条件を各々変更して複数の正規化切り出し画像を切り出す切り出し手段４と、切り出し手段４における切り出し条件を変更する切り出し条件変更手段５と、切り出し手段４で得られた複数の正規化切り出し画像の各々から濃度勾配画像を生成する濃度勾配画像生成手段６と、濃度勾配画像生成手段６で得られた複数の濃度勾配画像を記憶する第２の記憶手段７と、第２の記憶手段７から読み出された複数の濃度勾配画像から１枚の認証用画像を生成する認証用画像生成手段８と、認証用画像生成手段８で得られた認証用画像を記憶する第３の記憶手段９と、認証用画像を用いて顔認証を行う認証手段１０とから構成される。

撮像手段１は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等の撮像機器から成り、認証対象者の顔を含んだ濃淡画像を撮像して顔検出手段２に入力するとともに、撮像した画像を第１の記憶手段３に入力して記憶させる。

顔検出手段２は、図２（ａ）に示すように、撮像手段１で撮像された濃淡画像（同図におけるア）から顔に該当する部位を含んだ例えば矩形状の領域、即ち顔領域（同図におけるイ）を検出し、検出結果を切り出し手段４及び切り出し条件変更手段５に入力する。尚、撮像された濃淡画像から顔領域を検出する方法は周知であるので、ここでは詳細な説明を省略するものとする。

切り出し手段４は、図２（ｂ）に示すように、顔検出手段２の検出結果に基づいて第１の記憶手段３から読み出された濃淡画像から顔画像を切り出す。そして、当該顔画像を適宜回転するとともにそのサイズを適宜拡大又は縮小することで、予め設定されたサイズ及び角度の一致した正規化切り出し画像Ａを得る。例えば、予め設定された所定のサイズが２０×２０ピクセルで、切り出された顔画像のサイズが３０×３０ピクセルである場合には、顔画像のサイズを縦横各々２／３倍に縮小する。また、切り出し手段４では、後述する切り出し条件変更手段５から与えられた切り出し条件に応じて濃淡画像から顔画像を切り出し、正規化切り出し画像Ａとは別に複数の正規化切り出し画像Ｂを得る。

切り出し条件変更手段５は、前記領域の濃淡画像に対する位置やサイズを変更することで切り出し手段４において切り出す際の切り出し条件を変更し、当該切り出し条件を切り出し手段４に入力する。例えば、前記領域を左右方向（ｘ方向）又は上下方向（ｙ方向）の少なくとも何れか一方向に位置を変位させて切り出し条件を変更する。本実施形態では、図３（ａ）に示すように、ｘ方向において前記領域を０．５画素又は１画素変位させた場合と、ｙ方向において前記領域を０．５画素又は１画素変位させた場合とを組み合わせて合計２４通りに切り出し条件を変化させて、当該切り出し条件で２４枚の正規化切り出し画像Ｂを切り出し手段４において切り出している。尚、本実施形態では前記領域を０．５画素又は１画素変位させているが、変位量はこれに限定される必要は無く、前記領域のサイズに応じて変化させればよい。

濃度勾配画像生成手段６は、先ず合計２５枚の正規化切り出し画像Ａ，Ｂの各画素についてそれぞれ当該画素の位置でのｘ方向についての濃度勾配ｄｘと、ｙ方向についての濃度勾配ｄｙとを演算する。濃度勾配ｄｘ，ｄｙの演算には、例えば周知のソーベルフィルタを用いる。そして、濃度勾配の演算の対象となっている対象画素、及び対象画素の近傍の左上、上、右上、左、右、左下、下、右下の８つの各画素（８近傍の画素）に対して３×３のｘ方向ソーベルフィルタ及びｙ方向ソーベルフィルタを適用することで、対象画素におけるｘ軸方向の微分値である濃度勾配ｄｘと、ｙ軸方向の微分値である濃度勾配ｄｙを求めることができる。

ここで、右方向を０°として時計回りに数値が増加する角度表現を用いて、対象画素の位置での濃度勾配の向き（即ち、正規化切り出し画像Ａ，Ｂにおいて画素値が低くなる向き）を示す角度（以下、「濃度勾配方向値」と呼ぶ）θは、θ＝ａｒｃｔａｎ（ｄｙ／ｄｘ）で表される（ｄｘ＞０，ｄｙ≧０の場合）。濃度勾配ｄｘ，ｄｙが何れも０である場合を除けば、あらゆる濃度勾配ｄｘ，ｄｙについて濃度勾配方向値θの値は０°≦θ＜３６０°の範囲内で決定可能である。具体的には、ｄｘ＝０の場合、ｄｙ＞０であればθ＝９０°、ｄｙ＜０であればθ＝２７０°とし、ｄｘ＞０且つｄｙ＜０であればθ＝ａｒｃｔａｎ（ｄｙ／ｄｘ）＋３６０°とし、ｄｘ＜０であればθ＝ａｒｃｔａｎ（ｄｙ／ｄｘ）＋１８０°とする。そして、濃度勾配画像生成手段６は、濃度勾配ｄｘ，ｄｙが得られた対象画素について上記範囲内で濃度勾配方向値θを決定する。

次に、濃度勾配画像生成手段６は、濃度勾配方向値θが決定された対象画素について、濃度勾配画像における画素値を決定する。本実施形態では、濃度勾配画像における画素値が取り得る値は、上下左右、及び右上、右下、左上、左下方向の８方向に１対１に対応する８通りの値である。以上の処理を正規化切り出し画像Ａ，Ｂの全ての画素について行うことで、正規化切り出し画像Ａ，Ｂそれぞれに基づく複数の濃度勾配画像が生成される（図２（ｃ）参照）。尚、濃度勾配画像生成手段６で生成された濃度勾配画像は第２の記憶手段７に記憶される。

認証用画像生成手段８は、第２の記憶手段７から読み出された複数の濃度勾配画像に基づいて１枚の認証用画像を生成する。具体的には、全ての濃度勾配画像の対象画素における濃度勾配方向値θの平均値を演算し、当該平均値に基づいて認証用画像における対象画素の画素値を決定する。そして、前記演算を全ての画素について行うことで認証用画像を生成する（図３（ｂ）参照）。尚、認証用画像は、後段の認証手段１０に入力されて認証対象者の認証に用いられるが、認証対象者の基準顔画像が登録されていない場合には、不揮発性メモリから成る第３の記憶手段９に認証用画像が認証対象者の基準顔画像として記憶される。

認証手段１０では、認証用画像生成手段８からの認証用画像と第３の記憶手段９で読み出された認証対象者の基準顔画像とを比較することで、予め登録されている認証対象者本人であるか否かを判定する。尚、判定方法については周知であるので、ここでは詳細な説明を省略するものとする。

以下、本実施形態における認証用画像を生成する過程を図１（ｂ）を用いて説明する。先ず、認証対象者の顔を含んだ濃淡画像を撮像し、顔検出手段２に入力するとともに、撮像した画像を第１の記憶手段３に入力して記憶させる。顔検出手段２では、撮像した濃淡画像から認証対象者の顔領域を検出し、当該検出結果を切り出し手段４及び切り出し条件変更手段５に入力する。切り出し手段４では、濃淡画像から前記領域を切り出して正規化切り出し画像Ａを生成し、濃度勾配画像生成手段６に入力する。そして、濃度勾配画像生成手段６において正規化切り出し画像Ａの濃度勾配画像を生成し、第２の記憶手段７に記憶させる。

次に、切り出し条件変更手段５において濃淡画像に対する前記領域の位置を変位させる切り出し条件を変更して切り出し手段４に入力し、切り出し手段４では濃淡画像から切り出し条件に応じて切り出して正規化切り出し画像Ｂを生成する。生成した正規化切り出し画像Ｂを濃度勾配画像生成手段６に入力し、濃度勾配画像生成手段６において正規化切り出し画像Ｂの濃度勾配画像を生成し、第２の記憶手段７に記憶させる。そして、予め設定された枚数（本実施形態では２５枚）の正規化切り出し画像Ａ，Ｂの濃度勾配画像を生成するまで切り出し条件を随時変更して正規化切り出し画像Ｂの濃度勾配画像を生成し、第２の記憶手段７に記憶させる。濃度勾配画像を生成する過程が完了すると、認証用画像生成手段８において全ての濃度勾配画像の対象画素における濃度勾配方向値θの平均値を演算し、当該平均値に基づいて認証用画像における対象画素の画素値を決定する。そして、前記演算を全ての画素について行うことで認証用画像を生成する。

上述のように本実施形態では、認証対象の人の顔を含む濃淡画像から各々切り出し条件を変更して２５枚の正規化切り出し画像Ａ，Ｂを生成し、複数の正規化切り出し画像Ａ，Ｂの濃度勾配画像から生成した認証用画像を用いて顔認証を行うので、予め設定された切り出し条件で切り出した１枚の正規化切り出し画像Ａのみから濃度勾配画像を生成して顔認証を行う場合と比較して量子化誤差による影響を受け難くすることができる。

尚、本実施形態では、認証用画像生成手段８において全ての濃度勾配画像の対象画素における濃度勾配方向値θの平均値を演算することで認証用画像の対象画素における画素値を決定しているが、濃度勾配方向値θの中間値を演算して対象画素における画素値を決定するようにしても構わない。また、対象画素における濃度勾配方向値θの分布を演算し、対象画素において最も分布が大きくなる濃度勾配方向値θから画素値を決定するようにしても構わない。

また、本実施形態では、切り出し条件変更手段５において顔検出手段２で検出された顔領域を少なくとも上下左右方向の何れか一方向に変位させることで切り出し条件を変更しているが、切り出し条件はこれに限定される必要は無く、例えば前記領域のサイズの倍率を変化させて切り出し条件を変更するようにしても構わない（図４（ａ）〜（ｃ）参照）。更に、前記領域を回転させて切り出し条件を変更するようにしても構わない（図５（ａ）〜（ｃ）参照）。

ところで、本実施形態では上述のように複数の正規化切り出し画像Ａ，Ｂの濃度勾配画像から認証用画像を生成することで量子化誤差を低減しているが、更に量子化誤差を低減するために認証用画像にマスク処理を施しても構わない。即ち、認証用画像生成手段８において、認証用画像と各濃度勾配画像との間の濃度勾配方向値θの差分を全ての画素について演算するとともに、各画素において差分結果と予め設定された第１の閾値とを比較して第１の閾値を超える画像の枚数を計数し、計数した画像の枚数と予め設定された第２の閾値とを比較して第２の閾値を超える場合にはマスク処理を施すようにする。而して、濃度勾配方向値θがランダムになり易い部位を抽出して当該部位をマスクすることができるので、更に量子化誤差を低減することができる。

尚、上記マスク処理では第２の閾値を固定値に設定している。このため、固定値を適宜設定することで濃度勾配方向値θの差分が第１の閾値を超える画像の枚数が一定値よりも高い画素は、量子化誤差が発生し易い画素として全てマスク処理することができる。但し、認証用画像生成手段８における第２の閾値の設定はこれに限定される必要は無く、例えば正規化切り出し画像Ａ，Ｂ全体の枚数と濃度勾配方向値θの差分が第２の閾値を超える画像の枚数との割合が所定の割合となるように閾値を設定しても構わない。この場合、マスク処理に用いられる画素数が撮像画像の画素数に依らずほぼ一定となるため、認証時に用いられる画素数にバラツキが生じるのを防ぐことができる。

本発明に係る顔認証システムの実施形態を示す図で、（ａ）はシステムの概略図で、（ｂ）はフローチャートである。 （ａ）〜（ｃ）は同上の各処理工程における顔画像を示す図である。 （ａ）は顔領域を上下左右方向に変位させた場合の各正規化切り出し画像を示す図で、（ｂ）は全ての正規化切り出し画像の各座標における濃度勾配方向値のばらつきを示す図である。 （ａ）〜（ｃ）は顔領域のサイズの倍率を変化させた場合の各正規化切り出し画像を示す図である。 （ａ）〜（ｃ）は顔領域を回転させた場合の各正規化切り出し画像を示す図である。

符号の説明

１ 撮像手段
２ 顔検出手段
４ 切り出し手段
５ 切り出し条件変更手段
６ 濃度勾配画像生成手段
８ 認証用画像生成手段
１０ 認証手段

Claims (11)

1. 認証対象の人の顔を含む画像を撮像する撮像手段と、撮像手段で得られた撮像画像から顔に該当する顔領域を検出する顔検出手段と、顔領域の画像から認証に用いる画像のサイズ及び角度に合わせて正規化切り出し画像を切り出す切り出し条件を各々変更して複数の正規化切り出し画像を切り出す切り出し手段と、切り出し手段における切り出し条件を変更する切り出し条件変更手段と、切り出し手段で得られた複数の正規化切り出し画像の各々について各画素の画素値を対象画素の位置での濃度勾配の向きに応じた数値に置き換えた複数の濃度勾配画像を生成する濃度勾配画像生成手段と、濃度勾配画像生成手段で得られた全ての濃度勾配画像から量子化誤差を低減した１枚の認証用画像を生成する認証用画像生成手段と、認証用画像生成手段で得られた認証用画像を用いて顔認証を行う認証手段とを備えたことを特徴とする顔認証システム。
2. 前記切り出し条件変更手段は、前記顔領域を少なくとも上下左右方向の何れか一方向に変位させて切り出し条件を変更することを特徴とする請求項１記載の顔認証システム。
3. 前記切り出し条件変更手段は、変位量を前記顔領域のサイズに応じて変化させることを特徴とする請求項２記載の顔認証システム。
4. 前記切り出し条件変更手段は、前記顔領域のサイズの倍率を変化させて切り出し条件を変更することを特徴とする請求項１記載の顔認証システム。
5. 前記切り出し条件変更手段は、前記顔領域を回転させる角度を変化させて切り出し条件を変更することを特徴とする請求項１記載の顔認証システム。
6. 前記認証用画像生成手段は、各濃度勾配画像の全ての画素について対象画素と周辺画素との濃度勾配の向きを示す角度の差分を演算するとともに、全ての画素について、対象画素における全ての濃度勾配画像の濃度勾配の向きを示す角度の平均値を認証用画像の画素値とすることを特徴とする請求項２乃至５の何れか１項に記載の顔認証システム。
7. 前記認証用画像生成手段は、各濃度勾配画像の全ての画素について対象画素と周辺画素との濃度勾配の向きを示す角度を演算するとともに、全ての画素について、対象画素における全ての濃度勾配画像の濃度勾配の向きを示す角度の中間値を認証用画像の画素値とすることを特徴とする請求項２乃至５の何れか１項に記載の顔認証システム。
8. 前記認証用画像生成手段は、各濃度勾配画像の全ての画素について対象画素と周辺画素との濃度勾配の向きを示す角度を演算するとともに、対象画素における濃度勾配の向きを示す角度の分布を演算し、全ての画素について、対象画素において最も分布が大きくなる濃度勾配の向きを示す角度を認証用画像の画素値とすることを特徴とする請求項２乃至５の何れか１項に記載の顔認証システム。
9. 前記認証用画像生成手段は、認証用画像と各濃度勾配画像との間の濃度勾配の向きを示す角度の差分を全ての画素について演算するとともに、各画素において差分結果と予め設定された第１の閾値とを比較して第１の閾値を超える画像の枚数を計数し、計数した画像の枚数と予め設定された第２の閾値とを比較して第２の閾値を超える場合にはマスク処理を施すことを特徴とする請求項６乃至８の何れか１項に記載の顔認証システム。
10. 前記第２の閾値を予め設定された固定値とすることを特徴とする請求項９記載の顔認証システム。
11. 前記第２の閾値は、正規化画像及び非正規化画像全体の枚数と濃度勾配の向きを示す角度の差分が第２の閾値を超える画像の枚数との割合が所定値となるよう設定されることを特徴とする請求項９記載の顔認証システム。