JP4606304B2

JP4606304B2 - 近赤外線顔画像作成装置、近赤外線顔画像作成方法、及び顔画像照合装置

Info

Publication number: JP4606304B2
Application number: JP2005324761A
Authority: JP
Inventors: 修徳見
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2005-11-09
Filing date: 2005-11-09
Publication date: 2011-01-05
Anticipated expiration: 2025-11-09
Also published as: JP2007133560A

Description

本発明は、擬似的に近赤外線の顔画像を作成する装置及び方法に関するものであり、より詳しくは、複数の色情報を有する顔画像に基づいて擬似的に近赤外線顔画像を作成する装置及び方法と、作成された近赤外線顔画像を用いて、顔画像の照合を行う顔画像照合装置に関する。

近年、顔を撮影した画像情報を用いて個人認証を行う照合装置が提案されている。人の顔は、顔の輪郭、目、口など特徴的な部位の位置、目の形状などに個々人の特徴が表されるという知見が得られている。そこで、そのような照合装置では、撮影された顔画像から、目、口の位置、形状などを特徴量として抽出し、事前に登録された参照用画像（以下、登録顔画像という）の各特徴量との類似度を算出し、その類似度が所定の基準を満たすか否かで照合を行う。

また、照合に用いる顔画像としては、多くの場合、可視光（波長約４００ｎｍ〜約７００ｎｍ）又は近赤外光（波長約７００ｎｍ〜約８５０ｎｍ）を照明光として撮影されたものが使用されている。

照明光源に可視光のものを用いて撮影する場合、特殊な撮影機材が不要であり、また色情報も照合の特徴量として使用することができるというメリットがある。しかし、周囲の照明環境の影響により、取得される画像の明るさ及び色調が変動するおそれがある。そのような悪影響を避けるために、人の顔に当たる照明光の照度を高くすると、被撮影者に眩しさを感じさせるなど、不快感を生じさせるため、望ましくない。

一方、照明光源に近赤外光のものを用いて撮影する場合、比較的高い照度となるように設定しても、被撮影者が眩しいと感じることは少ないため、安定した照明条件を確保し易く、それ故取得される画像の質も安定するため、高い照合精度が得易いというメリットがあり、可視光を照明光源として用いるものよりも広く使用されている。

照明光が近赤外光の場合、色情報を得ることは困難であり、明るさに関する情報のみが含まれるため、撮影画像はモノクロ画像となる。これに対して、照合に使用する登録顔画像が可視光下で撮影されたカラー画像である場合、両者に含まれる情報及びコントラストの違いにより、高い照合精度を得ることができない。そのため、近赤外光を照明に用いて撮影された顔画像を入力（以下入力顔画像という）として用いる場合、登録顔画像も近赤外光を照明に用いて撮影された画像であることが望ましい。

しかし、近赤外光を照明光として撮影するためには、近赤外照明装置及び近赤外領域に感度を有するカメラなどの撮影機材が必要となるが、一般的に入手が容易なものではない。したがって、登録顔画像を用意するために、被撮影者が実際に照合装置に赴いて撮影してもらうなどの特別な作業が必要となる。登録者数が数百人、数千人などの規模となると、この作業に要する工数及び時間は膨大なものとなる。そこで、一般的に入手が容易な、可視光による撮影機材を用いて撮影されたカラー画像を利用して、上記の作業に要する工数を減らすことが望ましい。またカラー画像であれば、社員証などの身分証明書用に別途撮影された顔画像など、既存の画像を利用可能な場合もある。

一方、登録顔画像がカラー画像である場合に、白黒画像に変換して顔の照合を行う方法及び装置が提案されている（特許文献１参照）。特許文献１に記載された方法及び装置では、カラー画像をモノクロ化することで、化粧や照明の変化に応じて顔の色情報に生じる変化の悪影響を避け、照合の認識精度を高めるようにしている。また同様に、半導体チップの実装において、ＩＣの位置認識を正確に行うために、カラー画像をモノクロ化した画像を用いて、認識対象を認識する認識装置が知られている（特許文献２参照）。

しかし、単にカラー画像をモノクロ化した画像は、近赤外光で照明して撮影した顔画像とコントラストが異なる。そのため、登録顔画像に単なるモノクロ画像を用い、入力顔画像に近赤外画像を用いて照合を行うと、必ずしも良好な認識結果を得ることができるわけではなかった。

そこで、入手が容易なカラー顔画像から、高い認識精度で近赤外画像と照合可能な画像を得る方法、及びそのような方法で得られた画像を用いて顔画像に基づく照合装置の開発が望まれている。

特開２０００−３３１１６７号公報特開２００２−２６０７５号公報

上記の問題点に鑑み、本発明の目的は、人の顔のカラー画像から、近赤外光を照明として撮影される近赤外線顔画像を擬似的に作成する装置及び方法を提供することにある。

また、本発明の別の目的は、近赤外線顔画像を用いて、高精度で認証可能な顔画像照合装置を提供することにある。

上記の目的を達成するために、本発明に係る、複数の色階調情報を画素ごとに有するカラーの顔画像から近赤外線の顔画像を作成する近赤外線顔画像作成装置は、カラーの顔画像を取得するカラー顔画像取得手段と、取得したカラー顔画像の画素の画素値が有する色階調情報を画素ごとに抽出する画素値抽出手段と、画素ごとに、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、画素値抽出手段において抽出した色階調情報に基づき、近赤外線領域の波長における推定画素値を算出する画素値推定手段と、画素値推定手段にて推定された推定画素値を有する画素から近赤外線顔画像を構成する推定画像作成手段を具備することを特徴とする。

上記の装置によると、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、各画素の色階調情報を用いて近赤外線領域の波長における推定画素値を算出することにより、人の顔を近赤外で照明したと想定した場合の画素値を容易に推定することができる。

なお、画素値抽出手段は、色階調情報のうち少なくとも第一波長及びその第一波長より長い波長の第二波長における色階調情報を抽出し、上記の推定部における相関関係は、近赤外線領域の波長における画素値が第一波長及び第二波長の波長変化における色階調情報からの直線近似となる関係であることが好ましい。
または、画素値抽出手段は、異なる３波長の色階調情報を抽出し、推定部における相関関係は、３波長の色階調情報から最小二乗法により求められた関係であることが好ましい。
所定の波長の近赤外光で照明して撮影した場合の顔の肌部分に相当する画素値を、より少ない誤差で推定できるためである。

さらに、カラー顔画像取得手段にて取得したカラー顔画像から所定領域を特定する領域特定手段を有し、画素値抽出手段は、対象領域特定手段にて特定された所定領域の画素の画素値を抽出することが好ましい。必要な領域だけに限定して画素値の推定を行うことにより、近赤外線顔画像の作成に要する計算量及び計算時間を減らすことができるためである。
なお、上記の所定領域は、画像中の顔が写っている顔領域のみ、若しくは顔領域の一部だけでもよい。

また、本発明に係る顔画像照合装置は、近赤外光照明にて照明して被照合者の近赤外線顔画像を取得する撮影部と、予め取得した被照合者のカラー顔画像を記憶している登録顔画像記憶部と、そのカラー顔画像から擬似近赤外線顔画像を推定する近赤外線顔画像推定部と、撮影部において取得した近赤外線顔画像と擬似近赤外線顔画像とを照合する照合部を具備する。そして、顔画像照合装置の近赤外線顔画像推定部が、登録顔画像記憶部に記憶されているカラー顔画像の画素の画素値が有する色階調情報を画素ごとに抽出する画素値抽出手段と、画素ごとに、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、画素値抽出手段において抽出した色階調情報に基づき、近赤外線領域の波長における推定画素値を算出する推定手段と、画像推定部において推定された推定画素値を有する画素から擬似近赤外線顔画像を構成する推定画像作成手段を有することを特徴とする。

被照合者の照合に用いる画像をカラー顔画像とすることで、容易に作成すること、又は他の用途で作成されたカラー顔画像を流用することが可能となり、照合用の画像データの準備に要する工数を大幅に減少させることができる。さらに、照合自体は、ともに同じ照明波長で撮影されたものと想定して特徴量を抽出できるため、高精度で照合を行うことができる。

また、本発明に係るカラー顔画像から近赤外線の顔画像を作成する方法は、カラー顔画像の画素の画素値が有する色階調情報を画素ごとに抽出する画素値抽出工程と、画素ごとに、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、画素値抽出工程において抽出した色階調情報に基づき、近赤外線領域の波長における推定画素値を算出する推定工程と、推定された推定画素値を有する画素から近赤外線顔画像を構成する推定画像構成工程を有することを特徴とする。

上記の方法によると、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、各画素の色階調情報を用いて近赤外線領域の波長における推定画素値を算出することにより、人の顔を近赤外で照明したと想定した場合の画素値を容易に推定することができる。

本発明によれば、人の顔のカラー画像から、近赤外光を照明として撮影される近赤外画像を擬似的に作成する装置及び方法を提供することが可能となった。

また、人の顔の近赤外画像を用いて、高精度で認証可能な顔画像照合装置を提供することが可能となった。

以下、本発明を近赤外線顔画像作成装置に適用した第１の実施の形態を図に基づき説明する。
図１は、本発明の第１の実施形態に係る近赤外線顔画像作成装置１の機能ブロック図である。近赤外線顔画像作成装置１は、カラー顔画像を記憶しているメディアなどからカラー顔画像を取得するカラー顔画像取得部１０１と、後述する近赤外線顔画像に変換する対象領域を抽出するための背景テンプレート画像を記憶している背景テンプレート記憶部１０２と、カラー顔画像から近赤外線顔画像を推定する画像推定部１０３と、推定された近赤外線顔画像を各種メディアや顔画像照合装置など、外部の機器へ出力する推定画像出力部１０４から構成されている。

ここで、カラー顔画像取得部１０１から取得するカラー顔画像について説明する。カラー顔画像とは、人間の顔を被写体として含むデジタル画像であって、画素ごとにカラー表現が可能な情報を持つ画像をいう。カラー画像の表色系には、ＲＧＢカラー表色系、ＹＵＶカラー表色系、ＹＩＱカラー表色系、ＣＭＹカラー表色系などがあり、相互に表色系を変換することができる。かかるカラー表色系の識別情報は、画像ファイルのヘッダーに記憶されており、この識別情報をコンピュータにて読み取り、参照することで、ディスプレイやプリンターにおいてカラー画像を適切な色階調で表現することができる。ここでいうカラー顔画像は、各画素ごとに、ＲＧＢ表色系でいうＲ（赤）成分、Ｇ（緑）成分、Ｂ（青）成分などの成分ごとに色階調の情報を含む画素値を持っている。

カラー顔画像取得部１０１は、ＩＣカード、ＵＳＢメモリ、メモリカード、コンピュータのハードディスクなどに記憶されているカラー顔画像を、直接接続又は通信回線経由にて取得するカードリーダ、通信装置などで構成される。本実施の形態では、ＩＣカードから顔画像を読み出すカードリーダである。

背景テンプレート記憶部１０２は、フラッシュメモリ、ハードディスクなどの不揮発性メモリで構成され、顔画像中に占める、顔の領域など、近赤外線顔画像に変換する対象領域の特定に使用する背景テンプレートを記憶する。背景テンプレートは、顔のサイズ、顔画像中の顔の位置などにあわせて複数用意される。

画像推定部１０３は、ＣＰＵ、ＲＯＭ、ＲＡＭなどで構成され、カラー顔画像取得部１０１から取得したカラー顔画像から、近赤外線顔画像を推定・作成する処理を行う。画像推定部１０３は、取得された顔画像の表色系がＲＧＢ表色系以外の場合に、ＲＧＢ表色系に変換する表色系変換手段１１０と、近赤外線の画素値を生成したい領域を特定するための対象領域特定手段１１１と、特定された対象領域の各画素からＲＧＢ表色系の色階調情報であるＲ・Ｇ・Ｂの各色の画素値をそれぞれ抽出するＲＧＢ画素値抽出手段１１２と、ＲＧＢ画素値抽出手段１１２が抽出した色階調情報（各色の画素値）から後述する数式（１）にて近赤外線領域の画素値を算出し、当該画素値を推定画素値とする画素値推定手段１１３と、推定画素値を用いて近赤外線顔画像を作成する推定画像作成手段１１４と、対象領域の全ての画素に対して推定画素値が算出されたか否かを判断する終了判定手段１１５の各機能を有している。

次に、図２を参照して、画像推定部１０３で行われる処理を詳細に説明する。
近赤外線顔画像作成装置１は、特段図示していないが、電源をＯＮ状態とし動作可能な状態にあるとする。その後、図示しない操作スイッチにて、操作者がカラー顔画像の取り込み指示をすることにより、図２のフローがスタートする。本実施の形態では、一枚のカラー顔画像に対する処理として説明するが、複数枚のカラー顔画像の場合であっても、同様な処理を繰り返すことになる。

まず、カラー顔画像取得部１０１において、カラー顔画像ファイルを取得する（ステップＳ１０１）。そして、カラー顔画像ファイルのヘッダにある表色系の識別情報を読み出し、表色系がＲＧＢ表色系か否か判定する（ステップＳ１０２）。

表色系がＲＧＢ表色系であれば、対象領域特定手段１１１が、近赤外線顔画像を作成する領域を特定する（ステップＳ１０４）。すなわち、取得したカラー顔画像と予め背景テンプレート記憶部１０２に記憶している背景テンプレートとを比較し、顔部分の領域を抽出し、当該顔画像領域を特定する。なお、領域特定は、カラー顔画像の全体を近赤外線顔画像にしたい場合は、省略することができる。また、操作者が画面を見ながら顔の領域を指定することも可能である。

次に、特定した領域を構成する画素を順次特定する（ステップＳ１０５）。カラー顔画像中の特定した領域を構成する各画素は、ＲＧＢカラー表色系を用いて表現される場合、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分を、それぞれ８ｂｉｔ（画素値０−２５５の２５６階調）で表現された色階調の情報を含む画素値を有している。Ｒ、Ｇ、Ｂの各成分は、例えばそれぞれ波長６６０ｎｍ、５５０ｎｍ、４４０ｎｍを中心としたカラーフィルタで単色化した光を、ＣＣＤセンサ、Ｃ−ＭＯＳセンサなどの光電変換素子で受光した受光量を８ｂｉｔでデジタル化したものである。

かかる対象画素の画素値であるＩ_r、Ｉ_g、Ｉ_bをＲＧＢ画素値抽出手段１１２において抽出する（ステップＳ１０６）。

次に、画素値推定手段１１３において、ステップＳ１０６で抽出した画素値Ｉ_r、Ｉ_g、Ｉ_bを数式（１）に代入し、推定画素値Ｉ_irを算出する（ステップＳ１０７）。

ここで、数式（１）について説明する。まず、数式（１）の説明に先立って、人の肌の反射特性について、図３を参照して説明する。

人の肌の反射特性のグラフを図３に示す。図３において横軸は波長を表し、縦軸は、各波長に対する反射率を表す。実線で示したグラフ５１は、人の肌の反射特性を表す。グラフを参照して明らかなように、人の顔の大半を占める肌の反射特性は、おおよそＢ（青）、Ｇ（緑）、Ｒ（赤）の順に反射率が高くなり、近赤外領域（波長約７００ｎｍ〜約８５０ｎｍ）では、Ｒよりもさらに反射率が高いことが分かる。またさらに、波長約４００ｎｍ〜約７５０ｎｍの範囲では、肌の反射率は、波長が長くなるにつれて比例的に増加していることが見てとれる。

そのため、近赤外光の反射率を、図３の点線で示すグラフ５２のように、例えば波長４４０ｎｍ、５５０ｎｍ、６６０ｎｍの反射率から、最小二乗法などを用いて求めた直線による近似で求めることができる。すなわち、肌色反射特性に基づく色階調たるＢ、Ｇ、Ｒの反射率と近赤外領域の反射率との相関関係がグラフ５２に表される。

このことから、複数の波長の可視光を含む照明光、好ましくは、互いに数１０ｎｍ程度離れた３波長の可視光を含む照明光で顔を撮影した画像に基づき、照明光の各波長成分の強度及び各照明波長に対応する肌からの反射光強度から、近赤外光（例えば、波長７６０ｎｍ）で照明した場合の肌の反射による光強度を近似的に推定することができ、擬似的に近赤外線顔画像を作成することができる。

Ｒの波長をｗ_r、Ｇの波長をｗ_g、Ｂの波長をｗ_bとし、Ｒ、Ｇ、Ｂの画素値Ｉ_r、Ｉ_g、Ｉ_bとすると、近赤外領域の推定画素値Ｉ_irとの関係は以下の式となる。

なお、数式（１）において、Ｒ、Ｇ、Ｂの各波長Ｗ_r、Ｗ_g、Ｗ_bは、例えば４４０ｎｍ、５５０ｎｍ、６６０ｎｍの値を用いる。また、実際のカラー画像の作成時においては、必ずしもＲ、Ｇ、Ｂの各波長は上記の値ではないが、一般的な環境で撮影されるデジタル画像では、Ｒ、Ｇ、Ｂの各波長の値を上記の値と仮定しても、顔画像の照合に使用するという目的下では、十分な照合精度を得ることができる擬似近赤外線顔画像を作成できる。

ステップＳ１０７では、数式（１）に波長ｗ_irの値を入力し、推定画素値Ｉ_irを算出する。
ただし、数式（１）で推定画素値Ｉ_irを精度良く推定できる波長は、約７３０ｎｍ〜７６０ｎｍである。近赤外の他の波長域について推定したい場合は、図１に示すように、Ｒ、Ｇ、Ｂの各波長の反射率と、近赤外の波長の反射率の関係は固定されていることから、その波長域に合わせて、上式を修正すればよい。

なお、上記のような近似は、人の肌については成り立つが、目、口などの他の部位については必ずしも成立するわけではない。しかし、後述するように、顔画像の照合処理においては、人の肌については、コントラストが重要であるのに対し、目、口などは、顔中に占める相対的な位置関係、若しくはその形状などを正確に得ることが重要であり、コントラスト自体は重要ではない。また、毛髪や髭については、可視光に対しても、赤外光に対しても反射率が低いため、肌の部分と比較してかなり低い画素値となり、肌の部分と容易に区別を付けることができるため、上記の近似では正確に近赤外光で照明した場合の光強度を得られなくとも、実質上問題は無い。
そのため、上記の近似により擬似的に作成した近赤外線顔画像は、顔の照合において十分使用可能な情報を備えている。

なお、推定画素値Ｉ_irを算出する数式は、上記の説明による方法に限られるものではない。例えば、上記では、Ｒ、Ｇ、Ｂの各反射率を使用したが、このうちの二つを用いて、線形補間により近赤外の反射率を推定することもできる。その場合、例えば、波長４４０ｎｍ（Ｂに相当）及び波長６６０ｎｍ（Ｒに相当）の反射率を使用するとすれば、図３に示す人の肌の反射率特性のグラフ５１上の波長４４０ｎｍの反射率と、波長６６０ｎｍの反射率を結ぶ直線を、推定画素値Ｉ_irを算出する数式としてもよい。また近赤外の反射率の推定は、線形補間に限られるものではなく、２次曲線近似により行ってもよい。さらに、ＲＧＢに相当する波長も、上記の例に限られない。

推定画素値Ｉ_irが算出されると、推定画像作成手段１１４がステップＳ１０７で算出された推定画素値Ｉ_irを予め記憶している推定画像フレームの対応する画素の画素値として記憶し、推定画像を構成する（ステップＳ１０８）。そして、全対象画素の画素値が記憶されることにより、近赤外線顔画像の推定画像の構成が完了することになる。

次に、全対象画素について、ステップＳ１０５からステップＳ１０８の処理がされたか否かを終了判定手段１１５において判断する（ステップＳ１０９）。終了判定手段１１５は、未処理の対象画素があれば、前述のステップＳ１０５からステップＳ１０８の処理を繰り返し実行する。他方、終了判定手段１１５が全対象画素について処理が終了したと判定すれば、ステップＳ１１０へ進む。

全対象画素について処理が終了すると、推定画像出力部１０４から、推定画像作成手段１１５において作成された近赤外線顔画像の推定画像を出力する。出力先は、推定画像を使用するシステムであればどのようなものでも良く、例えば、後述する第２の実施形態のように、本人認証に近赤外線顔画像を使用する装置において好適に利用できる。

なお、ステップＳ１０４において領域特定されている場合は、取得したカラー顔画像のうち指定された領域のみの近赤外線顔画像の推定画像が作成され、特段に領域を指定しない場合は、取得したカラー顔画像の全体に対して近赤外線顔画像の推定画像が作成される。

次に、ステップＳ１０２において、取得されたカラー顔画像ファイルのヘッダにある表色系の識別情報からＲＧＢ表色系でないと判断された場合、カラー顔画像は、表色系変換手段１１０において、ＲＧＢ表色系に変換される（ステップＳ１０３）。例えば、取得された顔画像がＹＵＶ表色系であった場合は、Ｙ（輝度成分）、Ｕ（輝度成分と青色成分の差）、Ｖ（輝度成分と赤色成分の差）の画素値をそれぞれ小文字でｙ、ｕ、ｖと表記すると、以下の式でＲ、Ｇ、Ｂの画素値Ｉ_r、Ｉ_g、Ｉ_bを算出し、ＲＧＢ表色系に変換する。

Ｉ_r＝１．０００ｙ＋１．４０２ｖ
Ｉ_g＝１．０００ｙ＋０．３４４ｕ−０．７１４ｖ
Ｉ_b＝１．０００ｙ＋１．７７２ｕ
ＲＧＢ表色系への変換後、ステップＳ１０４へ進み、前述したステップＳ１０４〜Ｓ１１０の処理を実行する。

なお、ステップＳ１０３における表色系の変換処理は、本実施の形態ではＲＧＢ表色系への変換として説明したが、基本とする表色系が異なれば、それに応じて適宜変更することになる。

次に、第２の実施形態として、本発明の近赤外画像作成装置を用いた、顔画像の照合装置について説明する。
本発明の照合装置の一例に係る顔画像照合装置１０は、事前に取得されたカラー顔画像から近赤外線顔画像の推定画像を作成し、近赤外光を照明光として被照合者を撮影した近赤外線顔画像との照合を行って、被照合者がカラー顔画像に写っている人物と同一人物か否かの判定を行う装置である。
図４に、本発明の照合装置の一例に係る顔画像照合装置１０を使用した顔画像照合システム２の概略構成図を示す。

顔画像照合システム２は、顔画像照合装置１０と、予め登録された人物のカラー顔画像を登録顔画像４２として記憶する登録管理装置２０などで構成され、顔画像照合装置１０と登録管理装置２０は通信ネットワーク３０で接続されている。そして、被照合者が顔画像照合装置１０において、自分のＩＤ番号などを入力すると、顔画像照合装置１０は、そのＩＤ番号に相当する登録顔画像４２を登録管理装置２０から取得し、一方、被照合者の顔を近赤外光で照明して撮影し、入力顔画像４１を取得する。そして、入力顔画像４１と、登録管理装置２０から取得した登録顔画像４２から擬似的に作成した近赤外線顔画像である推定画像４３に基づいて照合を行い、被照合者が登録された人物と同一か否かを判定する。

図５に、本発明の照合装置の一例に係る顔画像照合装置１０の機能ブロック図を示す。顔画像照合装置１０は、登録顔画像４２を入力するためのデジタルデータ入力部２０１と、ＩＤ番号の入力などの操作を行う操作・表示部２０２と、近赤外光で照明して撮影した入力顔画像４１を取得する顔画像入力部２０３と、登録顔画像４２であるカラー顔画像から擬似的な近赤外線顔画像である推定画像４３を作成する近赤外線顔画像推定部２０４と、入力顔画像４１及び推定画像４３からそれぞれ特徴量を抽出する特徴抽出部２０５と、それら顔画像から取得した特徴量などを記憶する記憶部２０６と、得られた特徴量に基づいて、入力顔画像４１と推定画像４３との照合を行う照合部２０７と、照合結果を出力する出力部２０８と、各部の制御を行う制御部２０９などで構成される。

なお、顔画像照合装置１０において、デジタルデータ入力部２０１は、上述した第１の実施形態における近赤外線顔画像作成装置１のカラー顔画像取得部１０１に相当する。同様に、顔画像照合装置１０の近赤外線顔画像推定部２０４は、近赤外線顔画像作成装置１の背景テンプレート記憶部１０２、画像推定部１０３、及び推定画像出力部１０４を併せたものに相当し、表色系変換手段１１０、対象領域特定手段１１１、ＲＧＢ画素値抽出手段１１２、画素値推定手段１１３、推定画像作成手段１１４、終了判定手段１１５の各機能を有するものである。

以下、顔画像照合装置１０の各部について詳細に説明する。
デジタルデータ入力部２０１は、管理者が管理している登録顔画像４２、すなわち可視光で撮影されたカラー顔画像を本装置に入力するためのインターフェースであり、イーサネット（登録商標）などの通信ネットワーク３０の通信インターフェース及びそのドライバで構成される。なお、登録顔画像４２は、ネットワーク３０上で互い通信可能な登録管理装置２０から取得する。また、デジタルデータ入力部２０１は、メモリカードの読取装置、ＵＳＢ、ＳＣＳＩなどのＰＣインターフェース及びそのドライバなどで構成してもよく、その場合、登録顔画像４２は、メモリカードなどから取得する。取得した登録顔画像４２は、近赤外線顔画像推定部２０４のＲＡＭや記憶部２０６に一時的に記憶され、推定画像４３の作成に使用される。

操作・表示部２０２は、顔画像照合装置１０の利用者、すなわち被照合者が、ＩＤ番号の入力、行いたい動作の選択（例えば、特定の部屋への入室）などの操作を行うものである。また、操作のガイダンスを表示又は音声指示するものであり、タッチパネルディスプレイとスピーカで構成される。また、タッチパネルの代わりに、キーボード又はマウスのような入力デバイスと液晶ディスプレイのような単純な表示デバイスで構成してもよい。なお、ガイダンスの音声指示を行わない場合には、スピーカを省略してもよい。

操作・表示部２０２で入力されたＩＤ番号などのデータは、制御部２０９で呼び出す登録顔画像４２の特定などに使用される。

顔画像入力部２０３は、被照合者の顔を近赤外光で照明して撮影し、モノクロの近赤外線顔画像を入力顔画像４１として取得するものであり、ＣＣＤ素子又はＣ−ＭＯＳ素子などを受光素子として備えたデジタルカメラと、近赤外光を発する近赤外ＬＥＤなどの照明光源などで構成される。受光素子には、近赤外領域に感度を有するものが用いられる。また、デジタルカメラの前面若しくは受光素子の前面には、近赤外光以外の光を遮断するために、近赤外領域に十分な透過特性を有し、可視光を遮断する可視光カットフィルタを配置する。

近赤外線顔画像推定部２０４は、中央演算装置（ＣＰＵ）、数値演算プロセッサ、ＲＯＭ又はＲＡＭなどの半導体メモリ及びプログラムで構成され、デジタルデータ入力部２０１で取得した、登録顔画像４２であるカラー顔画像から、擬似的に作成された近赤外顔画像である推定画像４３を作成する。推定画像４３は、上述した第１の実施形態における近赤外顔画像作成装置１における近赤外線顔画像の作成手順を使用して作成し、その際、顔画像入力部２０３の照明光源の波長とほぼ同じ波長で照明されたものとして、各画素の画素値を推定する。
作成された推定画像４３は、特徴抽出部２０５へ渡される。

特徴抽出部２０５も、中央演算装置（ＣＰＵ）、数値演算プロセッサ、ＲＯＭ又はＲＡＭなどの半導体メモリ及びプログラムで構成され、顔画像入力部２０３で取得された入力顔画像４１及び近赤外線顔画像推定部２０４で作成された推定画像４３から、画像照合用にそれぞれ特徴量を抽出する。抽出する特徴量は、例えば目尻、目頭、唇端点の位置、又は目、鼻、口それぞれの外接矩形領域、顔領域そのものなどである。

これらの特徴量を抽出するために、まず画像中から顔の位置を検出する。顔の位置の検出は、例えば顔全体のテンプレートを予め複数用意し、それらテンプレートを用いて画像中を走査させながらテンプレートマッチングを行い、最も一致度が高い場所を検出することにより、行うことができる。テンプレートは複数の顔サイズ、画像に対する傾き、及び肌部分のコントラスト又は画素値についてバリエーションを持たせたものを準備する。またテンプレートとして、顔全体のものを用意する代わりに、目、鼻、口などの特定部位のテンプレートを複数用意しておき、それら特定部位のテンプレート同士の位置関係を保持したまま対象となる画像を走査してもよい。

画像に占める顔の位置を検出すると、１乃至複数の特徴量を抽出する。その際、例えば特徴量の一つとして目尻の位置を検出するために、目尻のテンプレートを用いて顔の範囲内を走査してテンプレートマッチングを行い、最も一致度の高い位置を求め、目尻の位置とすることができる。

また、別の方法として、水平方向又は垂直方向の隣接画素間で画素値の差分を行い、又はソーベルフィルタ、プレウィットフィルタなどの一次微分フィルタ若しくはラプラシアンフィルタなどの２次微分フィルタを用いてフィルタ処理を行うことにより、エッジ画像を求め、所定の閾値以上のエッジ画素値を有する連続したエッジ線の曲率の高い部分の位置を特徴量として検出してもよい。目尻や目頭、唇端点などでは、エッジ線の曲率が高くなる傾向を有するためである。

また、目、鼻、口などの特定部位毎に予め準備された複数のテンプレートのうち、テンプレートマッチングを行って最も一致度が高いテンプレートを選択し、そのテンプレートから、目、鼻、口それぞれの領域の外接矩形領域を特徴量として抽出してもよい。

記憶部２０６は、フラッシュメモリのような不揮発性半導体メモリ、ハードディスク、又はＣＤ−ＲＷやＤＶＤ−ＲＷのような光記録媒体で構成され、近赤外線顔画像推定部２０４で求めた推定画像４３から算出した特徴量を、操作・表示部２０２で得たＩＤ番号など、個人を特定できる識別情報と関連付けて記憶する。また、それら特徴量とともに、特徴量の算出に用いた推定画像４３又は登録顔画像４２を関連付けて記憶してもよい。これら関連付けは、例えば、識別情報と特徴量を記録したファイルの名称、画像の名称を一つの配列の各要素に格納することで実現できる。

さらに記憶部２０６は、近赤外線顔画像推定部２０４、特徴抽出部２０５、又は照合部２０７で実行される各種のプログラム及び照合部２０７で使用される照合閾値を記憶する。

照合部２０７もまた、中央演算装置（ＣＰＵ）、数値演算プロセッサ、ＲＯＭ又はＲＡＭなどの半導体メモリ及びプログラムで構成され、特徴抽出部２０５で抽出されたそれぞれの画像の特徴量に基づいて、それぞれの画像は、同一人物を撮影したものか否かを判定する。

この判定は、被照合者を撮影した入力顔画像４１である近赤外線顔画像と、被照合者が入力した個人情報に基づいて選択された登録顔画像４２から作成された推定画像４３から特徴抽出部２０５でそれぞれ抽出された特徴量に基づいて類似度を計算し、その類似度が所定の閾値以上であれば、認証に成功、すなわち、それぞれの画像に写っている人物は同一人物と判定する。

類似度の算出は、以下のように行う。
特徴量が目尻、目頭、唇端点などの位置の場合、それぞれの位置から重心の位置を求める。そして、入力顔画像４１である近赤外線顔画像と推定画像４３との間で、求めた重心の位置が一致するように、何れか一方の画像の各特徴量の位置を平行移動する。そして、入力顔画像４１と推定画像４３との間で、各特徴量の位置を比較し、それぞれの位置ずれ量を求める。各特徴量についての位置ずれ量の平均値を類似度として算出する。

また、求めた位置ずれ量に、目、口などの部位によって重み付けを行って加重平均した値を類似度としてもよい。

さらに、目、鼻、口など特定部位の外接矩形領域を特徴量として使用する場合は、それぞれの特定部位ごとに相関値を計算し、その相関値の平均値又は加重平均値を類似度とすることができる。また顔全体の画像を特徴量とする場合は、入力顔画像４１の顔領域部分と推定画像４３の顔領域部分との相関値を計算し、その相関値を類似度とすることができる。また、顔領域部分同士の相関値と、顔の特定部位に基づいて求めた相関値と、上記位置ずれ量との何れかを二つ以上組み合わせて類似度を算出してもよい。

ここで、顔領域部分の相関値を類似度の算出に使用する場合、その相関値は肌部分のコントラストの違いに大きく依存するため、照明光の差異による影響は無視できない。そのために、カラー顔画像である登録顔画像４２から作成した擬似的な近赤外線顔画像である推定画像４３を照合に用いることにより、照明光の差異による影響を無視することが可能となり、良好な照合精度を得ることが可能となる。

出力部２０８は、通信ネットワーク用インターフェース及びそのドライバなどで構成され、顔画像照合装置１０と他の機器とを接続するためのインターフェースの役割を果たす。例えば、ドアや門に設けられた電気錠を制御するコントローラと顔照合装置１０を接続し、顔照合装置１０で認証に成功した場合にのみ出力部２０８から電気錠コントローラに認証成功を示す信号を出力し、電気錠を解錠するようにすることができる。

制御部２０９は、中央演算装置（ＣＰＵ）、ＲＯＭ又はＲＡＭなどの半導体メモリ及びプログラムで構成され、上記各部を制御する。

次に、本発明の照合装置の一例に係る顔画像照合装置１０における動作を、フローチャートを用いて説明する。
図６に、本発明の照合装置の一例に係る顔画像照合装置１０の動作フローチャートを示す。

事前に、顔画像照合装置１０で照合を行う人物のカラー顔画像を登録管理装置２０などに登録顔画像４２として登録する。そのような顔画像は、例えば社員証の作成用に撮影されたカラー画像であってよく、デジタルカメラで撮影され、デジタルデータとなっているものを使用する。また登録顔画像４２は、その画像の被撮影者のＩＤ番号と関連付けて登録される。

顔画像照合装置１０では、まず被照合者が、操作・表示部２０２により自分のＩＤ番号を入力する（ステップＳ２０１）。

ＩＤ番号が入力されると、そのＩＤ番号に対応する特徴量が記憶部２０６に記憶されていないかどうか検索する（ステップＳ２０２）。ＩＤ番号に対応する特徴量が記憶されていない場合、顔画像照合装置１０は、登録管理装置２０などからそのＩＤ番号に対応する登録顔画像４２であるカラー顔画像を取得する（ステップＳ２０３）。そして、近赤外線顔画像推定部２０４で、登録顔画像４２から推定画像４３を作成し、特徴量を抽出する（ステップＳ２０４）。抽出された特徴量は、照合部２０７に送られるとともに、記憶部２０６にＩＤ番号と関連付けて記憶される。
一方、記憶部２０６に入力されたＩＤ番号に対応する特徴量が記憶されている場合は、その特徴量を読み出して照合部２０７に送る（ステップＳ２０５）。

また、顔画像照合装置１０は、顔画像入力部２０３で、被照合者を近赤外光で照明して撮影し、入力顔画像４１である近赤外線顔画像を取得する（ステップＳ２０６）。そして、入力顔画像４１は特徴抽出部２０５へ送られ、特徴量が抽出される(ステップＳ２０７）。

入力顔画像４１から抽出された特徴量、及び推定画像４３から抽出された特徴量は、照合部２０７に送られ、照合部２０７は、それら特徴量に基づいて類似度を算出し、その類似度が所定の閾値以上か否かを調べて、被照合者がそのＩＤ番号で登録されている人物と同一人物か否か判定する（ステップＳ２０８）。

類似度が所定の閾値以上の場合、被照合者はそのＩＤ番号で登録されている人物と同一人物と判定され、解錠指示などの照合成功信号を出力部２０８を通じて出力する（ステップＳ２０９）。また、照合に成功した旨のメッセージ（例えば、「認証に成功しました。お入りください」など）を操作・表示部２０２に表示出力する（ステップＳ２１０）。

一方、類似度が閾値を下回り、同一人物でないと判定された場合には、照合に失敗した旨のメッセージ（例えば、「認証できません。再度操作してください」など）を操作・表示部２０２に表示する（ステップＳ２１０）。

以上説明してきたように、本発明の照合装置の一例に係る顔画像照合装置１０では、登録顔画像４２であるカラー顔画像から、入力顔画像４１と同じ波長で撮影された場合を想定して推定画像４３を作成し、その推定画像４３から特徴量を抽出して照合に用いるため、肌部分のコントラストについて照明光による差異を無視することが可能であり、高精度で照合を行うことができる。
また、登録顔画像４２として、社員証用の画像などを流用することが可能であり、顔画像登録時の工数を大幅に削減することができる。

なお、本発明は上記の実施形態に限られるものではない。
本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

本発明の第１の実施形態に係る近赤外顔画像作成装置の機能ブロック図である。本発明の第１の実施形態に係る近赤外顔画像作成装置の動作フローチャートである。人の肌の反射特性を示すグラフである。本発明の第２の実施形態に係る顔画像照合装置を使用した顔画像照合システムの概略構成図である。本発明の第２の実施形態に係る顔画像照合装置の機能ブロック図である。本発明の第２の実施形態に係る顔画像照合装置の動作フローチャートである。

符号の説明

１近赤外線顔画像作成装置
１０１カラー顔画像取得部
１０２背景テンプレート記憶部
１０３画像推定部
１０４推定画像出力部
１１０表色系変換手段
１１１対象領域特定手段
１１２ＲＧＢ画素値抽出手段
１１３画素値推定手段
１１４推定画像作成手段
１１５終了判定手段
２顔画像照合システム
１０顔画像照合装置
２０登録管理装置
３０通信ネットワーク
４１入力顔画像
４２登録顔画像
４３推定画像
２０１デジタルデータ入力部
２０２操作・表示部
２０３顔画像入力部
２０４近赤外線顔画像推定部
２０５特徴抽出部
２０６記憶部
２０７照合部
２０８出力部
２０９制御部

Claims

複数の色階調情報を画素ごとに有するカラーの顔画像から近赤外線の顔画像を作成する近赤外線顔画像作成装置であって、
前記カラーの顔画像を取得するカラー顔画像取得手段と、
前記取得したカラー顔画像の画素の画素値が有する色階調情報を画素ごとに抽出する画素値抽出手段と、
前記画素ごとに、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、前記画素値抽出手段において抽出した色階調情報に基づき、近赤外線領域の波長における推定画素値を算出する画素値推定手段と、
前記画素値推定手段にて算出された推定画素値を有する画素から近赤外線顔画像を構成する推定画像作成手段を具備することを特徴とする近赤外線顔画像作成装置。
前記画素値抽出手段は、色階調情報のうち少なくとも第一波長及び該第一波長より長い波長の第二波長における色階調情報を抽出し、
前記画素値推定手段における相関関係は、近赤外線領域の波長における画素値が前記第一波長及び第二波長の波長変化における色階調情報からの直線近似となる関係である請求項１に記載の近赤外線顔画像作成装置。
前記画素値抽出手段は、異なる３波長の色階調情報を抽出し、
前記画素値推定手段における相関関係は、前記３波長の色階調情報から最小二乗法により求められた関係である請求項１に記載の近赤外線顔画像作成装置。
さらに、前記カラー顔画像取得手段にて取得したカラー顔画像から所定領域を特定する領域特定手段を有し、
前記画素値抽出手段は、前記対象領域特定手段にて特定された所定領域の画素の画素値を抽出する請求項１〜３の何れか一項に記載の近赤外線顔画像作成装置。
近赤外光照明にて照明して被照合者の近赤外線顔画像を取得する撮影部と、予め取得した被照合者のカラー顔画像を記憶している登録顔画像記憶部と、該カラー顔画像から擬似近赤外線顔画像を推定する近赤外線顔画像推定部と、前記撮影部において取得した近赤外線顔画像と前記擬似近赤外線顔画像とを照合する照合部を具備する顔画像照合装置であって、
前記近赤外線顔画像推定部は、
前記登録顔画像記憶部に記憶されているカラー顔画像の画素の画素値が有する色階調情報を画素ごとに抽出する画素値抽出手段と、
前記画素ごとに、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、前記画素値抽出手段において抽出した色階調情報に基づき、近赤外線領域の波長における推定画素値を算出する画素値推定手段と、
前記画素値推定手段において算出された推定画素値を有する画素から前記擬似近赤外線顔画像を構成する推定画像作成手段を有することを特徴とする顔画像照合装置。
カラー顔画像から近赤外線の顔画像を作成する方法であって、
前記カラー顔画像の画素の画素値が有する色階調情報を画素ごとに抽出する画素値抽出工程と、
前記画素ごとに、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、前記画素値抽出工程において抽出した色階調情報に基づき、近赤外線領域の波長における推定画素値を算出する推定工程と、
推定された推定画素値を有する画素から近赤外線顔画像を構成する推定画像構成工程を有することを特徴とする近赤外線顔画像作成方法。