JP4868530B2 - 画像認識装置 - Google Patents

Description

本発明は、画像認識装置に係り、特に、顔画像の認識に好適な画像認識装置に関する。

顔写真の中から自動的に顔の領域を検出し、それが誰であるかを識別する顔認証の研究開発が盛んである。顔認証では、元来３次元の構造物である顔を２次元の画像として認識するため、顔の見た目と識別結果とが、顔に付加される様々な変動要素の影響に応じて大きく異なる場合がある。代表的な変動要素として、顔の向き、照明、カメラの特性、表情、経年変化等が挙げられる。全ての変動要素を一斉に取り扱って解決することは困難であるため、変動要素を分けて取り扱うのが一般的である。

ここで、照明およびカメラの特性の違いによる変動に着目すると、屋内、屋外、晴れ、曇り、蛍光灯下、白熱灯下といったように撮影環境は多種多様であり、このような撮影環境の影響を受けて顔画像の陰影が変化する。これらは「照明変動」と呼ばれ、照明変動により顔の見た目はさまざまに変化する。

また、顔を撮影するカメラや画像を取り込むスキャナ等の機材では、一般的に画像などの色のデータと、それが実際に出力される際の信号の相対関係を調節して、より自然に近い表示を得るための補正操作が行われる。代表的な補正操作としてガンマ補正が挙げられる。γ(ガンマ)値とは、画像の明るさの変化に対する電圧換算値の変化の比で、これが１に近づくのが理想だが、素子の特性により機材によってそれぞれ異なった値となる。このため、元データに忠実な表示を再現するためにガンマ補正が行われる。

このような顔認証の問題である「照明変動」および撮影機材の「特性変動」を抑制する技術が特許文献１に開示されている。この先行技術では、あらかじめ様々な環境下およびカメラで顔を複数枚撮影し、K-L展開により固有ベクトルを作成し、これを登録する。これにより、登録データには変動要素が加味されることになるので、変動が付加された顔写真が撮影された際も、これを正しく認証できるようになる。
特開平１１−１７５７１８号公報

しかしながら、上記した先行技術では、登録データに変動要素を含ませるために、照明や撮影機材を変えながら顔写真を何枚も撮影する必要があった。そのため、カメラが１台しかない場合や、照明を変えることが難しい場合には、変動要素を含む登録データを作成することができなかった。また、登録データに照明や撮影機材の特性に関する全ての変動要素を反映させることは困難であり、予期しない変動要素が発生すると認識精度が低下してしまう。

さらに、撮影時の変動要素に偏りがある場合も、顔自体の特徴よりも変動要素に強く反応してしまい、類似スコアが上昇する恐れがあった。例えば、認証時に撮影された顔写真に右上から光が当たった照明変動が付加され、本人の登録データにはその照明変動の要素は含まれていなかったが他人の登録データにはその変動要素が含まれている場合、他人の登録データとの類似スコアが大きくなる恐れもあった。

発明の目的は、上記した従来技術の課題を解決し、照明変動や撮影機材の特性変動に対して耐性のある画像認証装置を提供することにある。

上記した目的を達成するために、本発明は、参照画像と被参照画像とを比較して両者の類似スコアを算出する画像認識装置において、各画像の画素ごとに、当該画素と複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列された相対値列を求める手段と、前記参照画像および被参照画像の対応する画素の相対値列同士を、対応する相対値ごとに比較して、相対値列同士の類似度を算出する手段と、各画素の相対値列同士の類似度に基づいて、参照画像と被参照画像との類似スコアを算出する手段とを含むことを特徴とする。

本発明によれば、照明変動や撮影機材の特性変動に対して耐性のある隣接相対値列(LBP)に基づいて画像を比較し、その類似スコアに基づいて画像認識を行うようにしたので、照明変動や撮影機材の特性変動に対して耐性のある画像認証が可能になる。

以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明を適用した顔画像認識システムの主要部の構成を示したブロック図であり、撮影された顔画像を、データベースに既登録の多数の顔画像と比較し、類似度の高い既登録の顔画像を認識結果として出力する。

撮影された顔画像は顔画像検出部１０に取り込まれる。顔検出部１０は、入力された顔画像の中から顔の領域を検出する。本実施形態では、以下の文献Aに記載された公知の顔画像検出方法に基づいて顔領域の座標情報が出力される。顔領域が長方形で規定され場合、座標情報とは顔領域の左上座標、幅および高さである。なお、複数の顔領域が検出された場合は各顔領域の座標情報が出力される。

文献Ａ：P. Viola, M.J. Jones, "Robust real-time object detection," in: Second International Workshop on Theories of Visual Modelling, Learning, Computing, and Sampling, 2001.

基準点検出部１１は、検出された顔領域の中から顔の基準点となる器官として、目および鼻の位置を検出する。本実施形態では、顔領域から目鼻等の器官を検出する代表的な手法である円形リングフィルタを用いて基準点が検出される。

図２は、円形リングフィルタを利用した器官検出方法を概念的に示した図であり、初めに、座標情報に基づいて顔領域Rが特定[同図(a)]される。次いで、概念的には外周が半径r2の白色リングフィルタ、内周が半径r1の黒色円形リングフィルタ[同図(b)]が前記顔領域で走査される。円形リングフィルタでは、黒目と白目との差が大きい箇所で出力が大きくなるので、目および鼻の対応位置にフィルタ出力（孤立点）が得られる[同図(c)]。本実施形態では、顔領域内上方で円形リングフィルタの出力値が大きい２つの孤立点P1，P2が「目」と認識され、下方で円形リングフィルタの出力値が大きい２つの孤立点P3，P4が「鼻」と認識[同図(c)]される。

図１へ戻り、正規化部１２は、前記基準点に基づいて顔の切り出し位置を決定し、この切り出し位置から切り出された顔画像を、その大きさ（画素数）が一定となるように正規化する。

本実施形態では、図３に示したように、前記検出された両目の座標P1，P2の距離を「１０」とし、この距離に基づいて、目から左右方向に距離「３」の各垂直線を顔領域の左右輪郭L1，L2、目から上方向に距離「６」の水平線を顔領域の上輪郭L3、目から下方向に距離「１４」の水平線を顔領域の下輪郭L4とし、[２０：１６]の画像領域が顔の切り出し領域として決定される。次いで、切り出し領域の画素数が[４０×５０]となるように拡大／縮小することで顔画像が正規化される。

図１へ戻り、隣接相対値列変換部１３は、正規化された顔画像内で、各注目画素を、当該注目画素と、この注目画素に隣接する複数の周囲画素との相対的な特徴量の相対値が各周辺画素の位置に応じて配列された数値列（ここでは、隣接相対値列と表現する）に変換する。本実施形態では、隣接相対値列としてLBP（Local Binary Pattern)を採用し、各注目画素のLBPが求められる。

LBPはテクスチャ解析の手法であり、主に領域分割等で使用されている。このLBPは、画像処理分野でのエッジ抽出用のフィルタ（ラプラシアンフィルタ、Cannyフィルタ等）処理と同様であり、注目画素と周囲画素との特徴量の相対値に基づいて出力値が決定される。

図４は、LBPを概念的に説明した図である。LBPは、同図(a)に示したように、一つの注目画素Pijと、その周囲画素との特徴量の相対値（本実施形態では、輝度差）を示す情報である。LBPは注目画素に対する各周辺画素の相対的な大小関係を示しており、自然界における大局的な照明下では、LBPは変化が少ないものと考えられる。

本実施形態では、顔画像から抽出された一つの注目画素と、これに隣接する８つの周辺画素とを含む３×３の画素ブロックを対象に、特徴量が注目画素よりも大きい周辺画素には「１」を、小さい周辺画素には「０」を、それぞれ割り当て、左上の周辺画素をMSBとして時計回りに８ビットで構成される数値列をLBPとして出力する。図４の例では、LBP値は「１３１（１０進数）」となる。

図５(a)，(b)は、同一人物の顔を異なる照明下で撮影して得られた２つの顔画像から求められたLBPを可視化したLBP画像であり、各画素がLBPに対応した輝度で表現されている。同図(a)，(b)を比較すれば、顔画像には照明変動に応じた輝度差やコントラスト差が認められるものの、LBP画像では照明変動の影響が抑制されていることが判る。

図１へ戻り、切替部１４は、上記のようにして求められた各顔画像のLBPを、被参照顔画像として登録するか、あるいは参照顔画像として既登録の被参照顔画像と比較して類似スコアを算出するかを切り替える。被参照顔画像のLBPは、登録部１５によって、その人物を特定できる名前や識別情報と共に予めデータベース(DB)に登録される。類似度算出部１７は、参照顔画像のLBPを、前記DB１６に既登録の各被参照顔画像のLBPと比較し、両者の類似度に基づいて類似スコアを算出する。

図６は、前記類似度算出部１７による類似度算出方法を模式的に表現した図である。画像の類似度を判定する一般的な手法として、画像の同一位置の画素同士の距離を測り、二乗誤差を類似スコアとする手法が知られている。しかしながら、LBPで各画素の特徴量を代表する場合、LBPは隣接画素との関係から求められる値なので、画素単位でLBPの類似性を見ることには意味が無い。

たとえば、注目画素と左側の周辺画素との大小関係だけが異なる場合、そのLBPは(0000001)＝１であり、全ての大小関係が一致する場合のLBP(00000000)＝０との距離は小さくなる。しかしながら、同様に一つの周辺画素のみ大小関係が異なる場合でも、注目画素と左上の周辺画素との大小関係だけが異なる場合、そのLBPは(10000000)＝１２８となり、全ての大小関係が一致する場合のLBP(00000000)＝０との距離は膨大になる。

このように、LBPで各画素の特徴量を代表すると、照明変動の影響が抑制されたLBP画像が得られる反面、画像の類似スコアをパラメータとする顔画像認識への適用が難しかった。そこで、本発明では参照顔画像Dの注目画素PijのLBPと、被参照顔画像Dkにおいて前記注目画素Pijに対応する位置の画素（対応画素）P'ijのLBPとが、対応するビットごとに比較される。そして、値が一致するビットには「１」、不一致のビットには「０」が割り当てられ、一画素分のビット和が当該注目画素Pijの類似スコアとなる。

図６に示した例では、参照顔画像Dの注目画素PijのLBPが(10001011)であり、被参照顔画像Dkの対応画素P'ijのLBPが(00011010)であり、MSBから第２，３，５，６，７番目の各ビット同士が一致するので、当該注目画素Pijの類似スコアは「５」となる。そして、これを参照顔画像Dの全画素に関して繰り返し、全画素の類似スコアの総和ΣCijが参照顔画像Dと被参照顔画像Dkとの類似スコアとなる。

図１へ戻り、結果出力部１８は、全ての被参照顔画像Dkを類似スコアに基づいてソートし、上位数％の被参照顔画像を認識結果として出力したり、あるいは類似度が最も高い唯一の被参照顔画像のみを認識結果として出力したりする。

図７は、LBPを用いた顔画像認識手順を示したフローチャートであり、ここでは、多数の被参照顔画像Dkの中から参照顔画像Dに類似した顔画像を検出する場合を例にして説明する。

ステップＳ１では、比較対照となる被参照顔画像Dkが選択される。ステップＳ２では、参照顔画像Dの一つの画素が今回の注目画素Pijとして選択される。ステップＳ３では、前記注目画素PijのLBPが算出される。ステップＳ４では、今回の被参照顔画像Dkに関して、前記今回の注目画素Pijに対応した位置の画素（対応画素）P'ijのLBPがDB１６から取り込まれる。ステップＳ５では、注目画素PijのLBPと対応画素のLBPとが、対応するビットごとに比較される。

ステップＳ６において、各ビットの値が一致していると判定されれば、ステップＳ７でスコアCijがインクリメントされる。ステップＳ８では、LBPの全ビット（本実施形態では、８ビット）に関して上記した比較が完了したか否かが判定され、完了していなければステップＳ５へ戻り、注目ビットを切り替えながら上記した各処理が繰り返される。

その後、 今回の注目画素Pijに関して、そのLBPの全ビットの比較が完了してビット和が求まるとステップＳ９へ進む。ステップＳ９では、参照顔画像Dの全画素に関して上記した処理が完了したか否かが判定され、完了していなければステップＳ２へ戻り、注目画素Pijを切替ながら上記した各処理が繰り返される。

その後、参照顔画像Dの全ての画素に関して上記した処理が完了するとステップＳ１０へ進み、全ての画素のスコアCijの総和ΣCijが、今回の被参照顔画像Dkと参照顔画像Dとの類似度を代表する類似スコアCkとして登録される。ステップＳ１１では、全ての被参照顔画像Dkに関して上記した比較が完了したか否かが判定される。完了していなければステップＳ１へ戻り、被参照顔画像Dkを切替ながら上記した各処理が繰り返される。

その後、全ての被参照顔画像Dkに関して上記した処理が完了し、参照顔画像Dとの類似度Ckが求まるとステップＳ１２へ進む。ステップＳ１２では、被参照顔画像Dkが前記類似度Ckに基づいてソートされ、上位の被参照顔画像のみが認識結果として出力される。

次いで、本発明の変形例について説明する。上記した実施形態では、３×３の画素ブロックを対象に、その中心に位置する注目画素Pijと、この注目画素Pijに隣接する８つの周辺画素との特徴量の大小関係に基づいて８ビットのLBPが求められるものとして説明したが、図８に示したように、例えば５×５の画素ブロックを対象に、その中心に位置する注目画素Pijと、この注目画素Pijから半径が２画素で円周方向に等間隔で配置された８つの周辺画素P1〜P8との特徴量の大小関係に基づいて８ビットのLBPを求めるようにしても良い。このとき、周辺画素P1（およびP3，P5，P7）のように、４つの画素に跨る仮想的な画素に関しては、当該４つの画素P11，P12，P13，P14の特徴量の平均値を周辺画素P1の特徴量として採用できる。

そして、サイズの異なる画素ブロックごとに求められたLBPを用いて、それぞれ類似スコアを計算し、画素ブロックの大きさとは無関係に、類似スコアが上位の被参照顔画像のみが認識結果として出力されるようにしても良い。

また、上記した実施形態では、類似度算出部１７は、参照顔画像Dの注目画素PijのLBPと、被参照顔画像Dkの対応画素P'ijのLBPとを、対応するビットごとに比較して一致するビット数Cijを画素ごとに求め、その全画素分の総和ΣCijを参照顔画像Dと被参照画像Dkとの類似スコアCkとするものとして説明したが、本発明はこれのみに限定されるものではなく、参照顔画像Dの注目画素Pijごとに、前記一致するビット数Cijが所定の閾値Cref以上であるか否かを求め、前記一致するビット数Cijが閾値Cref以上である画素の総数を類似スコアCkとしても良い。

さらに、上記した実施形態では、前記正規化部１２によって４０×５０画素の大きさに正規化された顔画像のLBPに基づいて類似度が算出されるものとして説明したが、本発明はこれのみに限定されるものではなく、参照画像Dおよび被参照画像Dkのいずれに関しても、図９に模式的に示したように、画素数の異なる複数の正規化画像を求め、正規化画像ごとに類似スコアを算出し、正規化画像の大きさとは無関係に、類似スコアが上位の被参照顔画像のみが認識結果として出力されるようにしても良い。

ただし、類似スコアCkは正規化画像の面積に依存するので、４０×５０画素の正規化画像から求められた類似スコア以外には、面積比に応じた係数を乗じて正規化された類似スコアCk1，Ck2，Ck3，Ck4を求め、これら正規化された類似スコアCk1，Ck2，Ck3，Ck4同士を比較することが望ましい。

さらに、上記した実施形態では、本発明を顔画像認識に適用して説明したが、それ以外にも、例えばオブジェクト認識、テクスチャ認識あるいは画像認識にも同様に適用できる。

本発明を適用した顔画像認識システムのブロック図である。 円形リングフィルタを利用した器官検出方法を概念的に示した図である。 顔画像の正規化方法を説明した図である。 LBPを概念的に説明した図である。 LBP画像の一例を示した図である。 類似度算出方法を模式的に表現した図である。 LBPを用いた顔画像認識手順を示したフローチャートである。 本発明の変形例を説明した図（その１）である。 本発明の変形例を説明した図（その２）である。

符号の説明

１０…顔画像検出部，１１…基準点検出部，１２…正規化部，１３…隣接相対値列変換部，１４…切替部，１５…登録部，１６…データベース(DB)，１７…類似度算出部，１８…結果出力部

Claims (6)

1. 参照画像と被参照画像とを比較して両者の類似スコアを算出する画像認識装置において、
   前記参照画像および被参照画像を同一画素数に正規化する複数の正規化手段と、
   各画像の画素ごとに、当該画素と複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列された相対値列を求める手段と、
   前記参照画像および被参照画像の対応する画素の相対値列同士を、対応する相対値ごとに比較して、相対値列同士の類似度を算出する手段と、
   各画素の相対値列同士の類似度に基づいて、参照画像と被参照画像との類似スコアを算出する手段とを具備し、
   前記各正規化手段が、それぞれ前記参照画像および被参照画像を異なる画素数に正規化し、
   前記相対値列を求める手段が、各正規化画像の画素ごとに、当該画素と複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列された相対値列を求め、
   前記相対値列の類似度を算出する手段が、正規化画像ごとに、前記参照画像および被参照画像の対応する画素の相対値列同士を、対応する相対値ごとに比較して、相対値列同士の類似度を算出し、
   前記類似スコアを算出する手段が、正規化画像ごとに、各画素の相対値列の類似度に基づいて、参照画像と被参照画像との類似スコアを算出する手段を含むことを特徴とする画像認識装置。
2. 前記相対値列の類似度を算出する手段は、前記相対値列同士を、対応する相対値ごとに比較し、相対値の一致数を画素ごとに求め、
   前記類似スコアを算出する手段は、前記相対値の一致数の総和を類似スコアとすることを特徴とする請求項１に記載の画像認識装置。
3. 前記相対値列の類似度を算出する手段は、前記相対値列同士を、対応する相対値ごとに比較し、相対値の一致数を画素ごとに求め、
   前記類似スコアを算出する手段は、前記相対値の一致数が所定の基準値を超えるか否かを判定し、前記相対値の一致数が所定の基準値を超える画素数を類似スコアとすることを特徴とする請求項１に記載の画像認識装置。
4. 前記相対値列を求める手段が、参照画像および被参照画像の画素ごとに、周辺画素の範囲が異なる複数の相対値列を求め、
   前記相対値列の類似度を算出する手段が、前記周辺画素の範囲が異なる相対値列ごとに、前記参照画像および被参照画像の対応する画素の相対値列同士を、対応する相対値ごとに比較して、各相対値列の類似度を算出し、
   前記類似スコアを算出する手段が、各画素の相対値列同士の類似度に基づいて、参照画像と被参照画像との類似スコアを算出することを特徴とする請求項１ないし３のいずれかに記載の画像認識装置。
5. 前記相対値列がLBP(Local Binary Pattern)であることを特徴とする請求項１ないし４のいずれかに記載の画像認識装置。
6. 前記参照画像および被参照画像が顔画像であり、
   入力された顔画像の中から顔の領域を検出する顔検出手段と、
   前記顔領域から複数の器官を基準点として検出する基準点検出手段と、
   前記各基準点間の距離に基づいて顔画像の大きさを正規化する正規化手段とを含み、
   前記相対値列を求める手段が、正規化された各顔画像の画素ごとに相対値列を求めることを特徴とする請求項１ないし５のいずれかに記載の画像認識装置。