JP5244345B2

JP5244345B2 - 顔認証装置

Info

Publication number: JP5244345B2
Application number: JP2007207919A
Authority: JP
Inventors: 祥裕中野渡
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-08-09
Filing date: 2007-08-09
Publication date: 2013-07-24
Anticipated expiration: 2027-08-09
Also published as: JP2009043065A

Description

本発明は、画像に写った顔の向きが異なる複数の顔画像データ間で照合処理を行う顔認証装置に関する。

従来、生体情報から個人を認証する生体認証技術については、より高度なセキュリティの実現を目指して、様々な分野に亘って研究が行われている。中でも、顔画像を用いた顔認証方法は、個別認証に必要な生体情報を入力するのに、認証対象となる人に時間や手間をほとんどかけさせないという利点がある。すなわち、顔認証方法では、認証対象者の顔をカメラにより撮影して認証用の顔画像を取得するので、指紋認証や血管パターン認証のように指や手を差し出させたり、虹彩認証のように直接眼球に光を照射したりする必要がなく、認証対象者が生体情報を入力するのに非協力的であっても、容易に認証を実現できる。

一方で、顔認証においては、認証対象者の顔の向きおよび表情や装身具の着用有無や周囲の照明等は一定でなく撮影時によって変動し、これらの変動が影響して認証結果が不安定になり、認証精度が低下する。このため、高精度な認証を行うのに、上記要因に起因する影響を低減することが望まれる。

そこで、認証対象者の顔の向きの変動に対応するために、例えば特許文献１に記載の画像認識装置が提案されている。この画像認識装置では、認証対象者の２次元の顔画像と予め保存された３次元形状情報とを用いて３次元顔モデルを生成し、この３次元顔モデルから認証用に複数の２次元合成顔画像（顔パターン画像）を生成し、当該複数の２次元合成画像から特徴量を抽出して、抽出された特徴量を予め用意された特徴量と比較することにより両特徴量の類似度を計算している。このとき、２次元合成顔画像は様々な顔向きに対応して複数生成され、画像認証装置はこれら様々な顔向きに対応した複数の２次元合成顔画像を用いて顔認証を行っている。
特開２００７−４７６７号公報

しかしながら、従来の顔認証技術では、上述のように３次元顔モデルから認証用に様々な顔向きの顔画像を合成しているが、３次元顔モデルは２次元の顔画像を基に作られており元々不完全であるために、合成する顔向きによっては認証に適さない２次元合成顔画像が生成されてしまう。認証に適さない顔画像には、例えば横向きの顔画像から生成した３次元顔モデルを用いて正面向きの顔画像を合成した場合が挙げられる。この場合、情報量が十分でない領域が画像上に占める割合が大きくなったり、鼻等の陰となっていて元々画像情報がない領域を合成することになる。このように、認証に適さない顔画像を用いて顔認証を行った場合、顔認証の精度が低下してしまうという問題があった。

本発明は、上記従来の問題を解決するためになされたもので、撮影時の顔向きが変動する場合であっても、照合に適した合成顔画像を生成でき、高精度な顔認証を行うことができる顔認証装置を提供することを目的とする。

本発明の顔認証装置は、複数の顔画像データに基づいて、前記複数の顔画像データの３次元顔モデルをそれぞれ生成する３次元顔モデル生成部と、前記複数の顔画像データに基づいて、前記複数の顔画像データの顔向きである撮影顔向きをそれぞれ推定する顔向き推定部と、前記複数の顔画像データの３次元顔モデルおよび撮影顔向きに基づいて、画像照合で用いる顔の向きである照合用顔向きを決定する照合用顔向き決定部と、前記複数の３次元顔モデルを前記照合用顔向きに対応した平面に射影した複数の２次元合成顔画像をそれぞれ生成する合成顔画像生成部と、前記複数の２次元合成顔画像を照合することにより、前記複数の顔画像データ内の人物が同一人であるか否かを判定する顔照合部とを備え、前記照合用顔向き決定部は、前記複数の３次元顔モデルから前記複数の２次元合成顔画像をそれぞれ生成した時に生じる歪が最小となる顔の向きを前記照合用顔向きに決定する構成を有している。

この構成により、複数の３次元顔モデルから複数の２次元合成顔画像をそれぞれ生成した時に生じる歪が最小となる顔の向きを照合用顔向きに決定し、複数の３次元顔モデルを照合用顔向きに対応した平面に射影した複数の２次元合成画像をそれぞれ生成する。これにより、画像合成による歪を低減できる。この結果、撮影時の顔向きが変動する場合であっても、照合に適した合成顔画像を生成でき、高精度な顔認証を行うことができる。

また、本発明の顔認証装置において、前記照合用顔向き決定部は、前記複数の３次元顔モデルの各々を前記顔向き推定部により推定された前記撮影用顔向きに射影した２次元合成画像と前記照合用顔向きに射影した２次元合成画像との間の面積変動の合計が最小になるように、前記照合用顔向きを決定する構成を有している。これにより、複数の３次元顔モデルから複数の２次元合成顔画像をそれぞれ生成した時に生じる画像情報の欠損および冗長化を低減することができ、画像合成で生じる歪を最小にできる。この結果、撮影時の顔向きが変動する場合であっても、照合に適した合成顔画像を生成でき、より高精度な顔認証を行うことができる。

また、本発明の顔認証装置において、前記複数の３次元顔モデルは複数のポリゴンで構成され、前記照合用顔向き決定部は、前記複数の３次元顔モデルの各々において、前記撮影用顔向きから前記照合用顔向きに各ポリゴンを回転させたときの前記撮影顔向きに前記各ポリゴンを射影した面積と前記照合用顔向きに前記各ポリゴンを射影した面積とに基づき、前記複数の３次元顔モデルを構成する各ポリゴンについての面積変動の総計が最小になるように、前記照合用顔向きを決定する構成を有している。これにより、複数の３次元顔モデルから複数の２次元合成顔画像をそれぞれ生成した時に生じる画像情報の欠損および冗長化を低減することができ、画像合成で生じる歪を最小にできる。この結果、撮影時の顔向きが変動する場合であっても、照合に適した合成顔画像を生成でき、より高精度な顔認証を行うことができる。

また、本発明の顔認証装置において、前記照合用向き決定部は、前記複数の顔画像データを撮影したカメラの設置角情報に基づいて、前記照合用顔向きを決定する。このカメラ設置角情報を予め固定して設定することで、当該カメラが被撮影者を撮影する際の撮影顔向きをカメラの設置角情報から求めることができる。そして、カメラの設置角情報から求めた顔画像データの撮影顔向きを用いて、照合用顔向きを簡単に決定することができる。これにより、逐次得られるカメラの撮影画像から、照合用顔向きの２次元合成画像を予め作成して認証用の登録データベースを構築し、登録データベースの複数の人物と新たに撮影された顔画像とを一括で照合するといったことも容易になる。

本発明は、複数の３次元顔モデルから複数の２次元合成顔画像をそれぞれ生成した時に生じる歪が最小となる顔の向きを照合用顔向きに決定し、複数の３次元顔モデルを照合用顔向きに対応した平面に射影した複数の２次元合成画像をそれぞれ生成するので、撮影時の顔向きが変動する場合であっても、照合に適した合成顔画像を生成でき、高精度な顔認証を行うことができるという効果を有する顔認証装置を提供することができるものである。

（第１の実施の形態）
以下、本発明の第１の実施の形態に係る顔認証装置について、図面を用いて説明する。本発明の実施の形態１における顔認証装置を示すブロックを図１に示す。図１に示されるように、本実施形態１の顔認証装置１００は、一対の３次元顔モデル・顔向き推定部１０１ａ、１０１ｂと、照合用顔向き決定部１０２と、一対の合成顔画像生成部１０３ａ、１０３ｂと、顔照合部１０４とを備えている。

３次元モデル・顔向き推定部１０１ａ、１０１ｂは、入力される各顔画像データに基づいて、各顔画像データの３次元顔モデルをそれぞれ生成すると共に、各顔画像データの顔向きである撮影顔向きを推定する。すなわち、３次元顔モデル・顔向き推定部１０１ａ、１０１ｂは３次元顔モデル生成部および顔向き推定部として機能する。

顔画像データはデジタルカメラやデジタルビデオカメラ等により撮影される顔画像情報であり、本実施形態では顔画像データＡはカメラ１、顔画像データＢはカメラ２により撮影されたものである。照明用顔向き決定部１０２は、３次元モデル・顔向き推定部１０１ａ、１０１ｂから供給される顔画像データの３次元顔モデルおよび撮影顔向きに基づいて、画像照合で用いる顔の向きである照合用顔向きを決定する。このとき、照明用顔向き決定部１０２は、後で詳細に説明するように、３次元顔モデルから画像照合用の２次元合成顔画像を生成した時に生じる歪が最小となる顔の向きを照合用顔向きに決定する。

合成顔画像生成部１０３ａ、１０３ｂは、３次元モデル・顔向き推定部１０１ａ、１０１ｂにより生成された顔画像データの３次元顔モデルを照合用顔向きに対応した平面に射影した複数の２次元合成顔画像を画像照合用に生成する。顔照合部１０４は、合成顔画像生成部１０３ａ、１０３ｂにより生成された２次元合成顔画像を照合することにより、顔画像データ内の人物が同一人であるか否かを判定する。

次に、本発明の実施の形態１における顔認証装置１００の原理および認証方法を、図に基づいて説明する。図２は顔認証装置１００の原理の概要を説明する図である。図２において、顔画像データＡ２０１はカメラ１により撮影され、顔画像データＢ２０２はカメラ１とは別のカメラ２により撮影されたものであり、これら顔画像データＡ２０１およびＢ２０２内の人物が同一人物であるかを顔認証装置１００により判定する例について説明する。

図２に示されるように、顔画像データＡ２０１およびＢ２０２は、互いに異なる顔の向きで撮影されており、これらの顔画像データをそのまま顔照合しても十分な認証精度は得られない。そこで、図２に示されるように、顔画像データＡ２０１およびＢ２０２を照合する際に用いる顔向きである照合用顔向きφを決定して、顔向きが照合用顔向きφで同一となる２次元合成顔画像Ｃ２１０、Ｄ２２０を画像照合用に生成する。照合用顔向きφは上述の通り、照明用顔向き決定部１０２により、顔画像データＡ２０１、Ｂ２０２の３次元顔モデルおよび撮影顔向きに基づいて決定される。

２次元合成顔画像Ｃ２１０は顔画像データＡ２０１を照合用顔向きφに合成した合成画像であり、２次元合成顔画像Ｄ２２０は顔画像データＢ２０２を照合用顔向きφに合成した合成画像である。そして、２次元合成顔画像Ｃ２１０、Ｄ２２０は顔照合部１０４により顔照合され、この照合結果に基づいて顔画像データＡ２０１およびＢ２０２内の人物が同一人であるか否かが判定される。このように、顔画像データＡ２０１およびＢ２０２から、顔向きが照合用顔向きφで同一の２次元合成顔画像Ｃ２１０、Ｄ２２０を画像照合用に生成して、これらの合成画像２１０、２２０を顔照合することで、高い精度の顔認証を実現することができる。

次に、図３〜図５を用いて、顔認証装置１００の認証方法の原理をより詳細に説明しながら、顔認証装置１００の動作について説明する。図３〜図５は図２をより詳細にしたものに相当し、顔画像データＡ２０１およびＢ２０２内の顔の向きである撮影顔向きは互いに異なっている。３次元顔モデル・顔向き推定部１０１ａ、１０１ｂは顔画像データＡ２０１、Ｂ２０２に基づいて、当該顔画像データＡ２０１、Ｂ２０２の３次顔元モデル２０３、２０４を生成すると共に、当該顔画像データＡ２０１、Ｂ２０２の撮影顔向きを推定する。

ここでは、撮影顔向きは、顔画像データ内の顔が正面かつ水平に向いている場合を基準に定義する。そして、３次元顔モデル・顔向き推定部１０１ａ、１０１ｂによって、顔画像データＡ２０１では撮影顔向きはθ１と推定され、顔画像データＢ２０２では撮影顔向きはθ２と推定されるとする。撮影顔向きは顔画像データＡ２０１、Ｂ２０２の顔の外形や目や鼻や口等の特徴点の位置から推定される。

３次元顔モデル２０３、２０４は、複数個の３次元座標により定められた複数のポリゴンにより構成されており、顔画像データＡ２０１、Ｂ２０２に基づいて生成される。このとき、撮影した各カメラのカメラキャリブレーション情報に基づいて３次元顔モデル２０３、２０４を生成することもできる。図３では３次元顔モデル２０３、２０４を頭頂部側から見た際の図を模式的に示している。３次元顔モデル２０３、２０４の模式図中の実線部はデータが存在し、点線部はデータが存在しないことを意味する（以下同じ）。すなわち、顔画像データＡ２０１、Ｂ２０２は２次元画像であるため、顔画像データＡ２０１、Ｂ２０２に写っていない部分については３次元顔モデル２０３、２０４に反映されない。

３次元顔モデル２０３、２０４には、テキスチャマッピング（Texture mapping）が施され、顔画像データＡ２０１、Ｂ２０２を微小画像に分割した各テキスチャが各ポリゴンに関連付けられている。本実施形態では三角形のポリゴンが使用され、３点の座標を結ぶ三角形の内側に上記テキスチャが関連付けられている。

なお、３次元顔モデルおよび撮影顔向きの具体的な算出については、例えば「Real-Time Combined 2D+3D Active Appearance Models J. Xiao, S. Baker, I. Matthews, and T. Kanade Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June, 2004」に記載されている。

次に、図４に示されるように、照合用顔向き決定部１０２は、３次元モデル・顔向き推定部１０１ａ、１０１ｂにより生成または推定された顔画像データの３次元顔モデル２０３、２０４と撮影顔向きθ１、θ２に基づいて、画像照合で用いる照合用顔向きφを決定する。具体的には、３次元顔モデル２０３、２０４から、顔向きが照合用顔向きφで同一の２次元合成顔画像２１０、２２０をそれぞれ生成した時に生じる歪が最小となるように、次のように照合用顔向きφを決定する。

ここでは、まず、３次元顔モデル・顔向き推定部１０１ａ、１０１ｂによる推定結果である３次元形状の点、すなわち３次元顔モデル２０３、２０４における各ポリゴンの頂点座標を、（ｘ^ｔ _ｉ，ｙ^ｔ _ｉ，ｚ^ｔ _ｉ）と表す。ｉは点番号であり、ｔはカメラ１またはカメラ２を表すインデックスである。カメラ１、２はそれぞれ顔画像データＡ２０１、Ｂ２０２を生成するので、ｔ＝１、２は、顔画像データＡ２０１、Ｂ２０２から生成された３次元顔モデル２０３、２０４を指している。また、３次元顔モデル・顔向き推定部１０１ａ、１０１ｂにより推定された顔向きを、（α_ｔ，β_ｔ，γ_ｔ）と表す。αはｘ軸周りの回転、βはｙ軸周りの回転、γはｚ軸周りの回転である。ｔは、上述のようにカメラ１、２を表すインデックスである。

上記の表現を用いると、ある顔向き（α，β，γ）に回転したときの３次元形状上の点（ポリゴンの頂点）は、下記の式（１）により表される。
式（１）において、Ｒは、ｘ軸周りの回転、ｙ軸周りの回転、ｚ軸周りの回転により決まる回転行列である。

さて、本実施の形態では、３次元顔モデルを撮影顔向きから認証用顔向きに回転したときの歪みを考慮して照合用顔向きφを決定するが、歪みの程度すなわち歪み量は、回転による情報の欠損及び冗長化の程度（量）で表される。そして、本実施の形態では、歪みの程度、すなわち情報の欠損及び冗長化の程度を、回転によるポリゴン内の面積の増減によって表す。この面積の増減を求めるために、任意の３点（ｘ_ｉ，ｙ_ｉ），（ｘ_ｊ，ｙ_ｊ），（ｘ_ｋ，ｙ_ｋ）が形成する３角形の面積を、下記のように定義する。
ここで、ａｒｅａ（ｘ_ｉ，ｙ_ｉ，ｘ_ｊ，ｙ_ｊ，ｘ_ｋ，ｙ_ｋ）は、面積を求める関数である。また、自己隠蔽領域とは、３次元モデルとしては定義されるが、原画上では見えない領域である。

上記の定義を用いると、２台のカメラ１、２の撮影画像から推定された２つの３次元顔モデル２０３、２０４をある顔向き（α，β，γ）に回転したときのポリゴンの面積の増減は、下記の式（２）で表される。

ここで、式（２）のｆ（α，β，γ）は面積変動を表すパラメータであり、具体的には、下記の（２Ａ）、（２Ｂ）の値の和である。
（２Ａ）右辺第１項：カメラ１で撮影された３次元顔モデル２０３を、カメラ１での撮影顔向き（α_１，β_１，γ_１）から顔向き（α，β，γ）に回転したときの、各ポリゴンの面積変動の総和。
（２Ｂ）右辺第２項：カメラ２で撮影された３次元顔モデル２０４を、カメラ２での撮影顔向き（α_２，β_２，γ_２）から顔向き（α，β，γ）に回転したときの、各ポリゴンの面積変動の総和。

上記の式（２）において、面積変動の総和は、“各ポリゴンの面積差の２乗”の総和で表されている。本実施の形態では、式（２）のｆ（α，β，γ）を面積変動の総計を表すパラメータとして用いる。この面積変動パラメータｆ（α，β，γ）は、顔向きの変換による情報の欠損及び冗長化の程度を表しており、すなわち、顔向きを変換したときの歪みの程度すなわち歪み量を表す。したがって、面積変動パラメータｆ（α，β，γ）が最小になるとき、歪み（２つの３次元モデルを同じ向きへと変換したときの歪み）が最小になる。

そこで、本実施の形態では、照合用顔向き決定部１０２が、式（２）を用いて、面積変動パラメータｆ（α，β，γ）が最も小さくなる顔向きを、照合用顔向きφとして算出する。ここでは、回転後の顔向き（α，β，γ）を変えながら式（２）が計算されて、式（２）の値が最小になる顔向き（α，β，γ）が探索されてよい。この最小値の計算は、ニュートン法などによって行われてよい。このように式（２）の値が最小になる顔向き（α，β，γ）を照合用顔向きφに決定することにより、次のステップの画像合成処理で２次元合成画像Ｃ２１０、Ｄ２１０に生じる歪みを最小にすることができる。

次に、図５に示されるように、合成顔画像生成部１０３ａ、１０３ｂは、３次元顔モデル２０３、２０４を、照合用顔向きφに対応した平面に射影した２次元合成顔画像Ｃ２１０、Ｄ２２０をそれぞれ生成する。上述したように、３次元顔モデル２０３、２０４には、テキスチャマッピングが施され、顔画像データＡ２０１、Ｂ２０２を微小画像に分割した各テキスチャが各ポリゴンに関連付けられている。

合成顔画像生成部１０３ａ、１０３ｂは、３次元顔モデル２０３、２０４の各ポリゴン頂点の３次元座標を照合用顔向きφに対応した平面に射影し、当該平面に射影された各ポリゴン（三角形パッチ）に各テキスチャを貼り付けて、２次元合成顔画像Ｃ２１０、Ｄ２２０を生成する。図５ではテキスチャを貼り付けた領域に斜線のハッチングを施している。なお、顔画像データＡ２０１、Ｂ２０２の撮影向きθ１、θ２との関係から、２次元合成顔画像Ｃ２１０、Ｄ２２０のうちの一部において、テキスチャが貼り付けられない領域が生じる場合もある。

次に、顔照合部１０４は、顔向きが照合用顔向きφで同一の２次元合成顔画像Ｃ２１０、Ｄ２２０を照合することにより、顔画像データＡ２０１、Ｂ２０２内の人物が同一人であるか否かを判定する。具体的には、顔照合部１０４は、２次元合成顔画像Ｃ２１０、Ｄ２２０の顔画像部分を切り出して、この大きさを一定にする。そして、顔照合部１０４は、２次元合成顔画像Ｃ２１０、Ｄ２２０から切り出した顔画像部分における任意箇所の輝度値を測定し、この輝度値から取得される周波数情報を比較照合することにより顔画像データＡ２０１、Ｂ２０２内の人物が同一人であるか否かを判定する。

なお、顔画像の輝度値から周波数情報を取得する際の具体的な算出については、例えば「Local Gabor Binary Pattern Histogram Sequence (LGBPHS): A Novel Non-Statistical Model for Face Representation and Recognition W. Zhang, S. Shan, W. Gao, X. Chen, and H. Zhang, in Proc. 10th IEEE Int. Conf. Computer Vision, 2005」に記載されている。

このような本発明の第１の実施の形態の顔認証装置１００によれば、複数の３次元顔モデルＡ２０１、Ｂ２０２から複数の２次元合成顔画像Ｃ２１０、Ｄ２２０をそれぞれ生成した時に生じる歪が最小となる顔の向きを照合用顔向きφに決定し、複数の３次元顔モデル２０３、２０４を照合用顔向きφに対応した平面に射影した複数の２次元合成画像Ｃ２１０、Ｄ２２０をそれぞれ生成する。これにより、画像合成による歪を低減できる。この結果、撮影時の顔向きが変動する場合であっても、照合に適した合成顔画像を生成でき、高精度な顔認証を行うことができる。

また、本発明の第１の実施の形態の顔認証装置１００によれば、複数の３次元顔モデル２０３、２０４の各々を撮影用顔向きθ１、θ２に射影した２次元合成画像と照合用顔向きφに射影した２次元合成画像との間の面積変動の合計が最小になるように、照合用顔向きφを決定する。これにより、複数の３次元顔モデルから複数の２次元合成顔画像をそれぞれ生成した時に生じる画像情報の欠損および冗長化を低減することができ、画像合成で生じる歪を最小にできる。この結果、撮影時の顔向きが変動する場合であっても、照合に適した合成顔画像を生成でき、より高精度な顔認証を行うことができる。

また、本発明の第１の実施の形態の顔認証装置１００によれば、複数の３次元顔モデル２０３、２０４は複数のポリゴンで構成され、複数の３次元顔モデル２０３、２０４の各々において、撮影用顔向きθ１、θ２から照合用顔向きφに各ポリゴンを回転させたときの撮影顔向きθ１、θ２に各ポリゴンを射影した面積と照合用顔向きφに各ポリゴンを射影した面積とに基づき、複数の３次元顔モデル２０３、２０４を構成する各ポリゴンについての面積変動の総計が最小になるように、照合用顔向きφを決定する。これにより、複数の３次元顔モデルから複数の２次元合成顔画像をそれぞれ生成した時に生じる画像情報の欠損および冗長化を低減することができ、画像合成で生じる歪を最小にできる。この結果、撮影時の顔向きが変動する場合であっても、照合に適した合成顔画像を生成でき、より高精度な顔認証を行うことができる。

（第２の実施の形態）
以下、本発明の第２の実施の形態に係る顔認証装置について、図面を用いて説明する。本発明の実施の形態２における顔認証装置を示すブロックを図６に示す。図６に示されるように、本実施形態の顔認証装置３００では、第１の実施の形態の顔認証装置１００と比較して、３次元モデルデータベース３０１と、一対の３次元顔モデル顔向き設定部３０２ａ、３０２ｂとを更に備えている点で相違する。また、第１の実施の形態と異なり、照合用顔向き決定部１０２が３次元顔モデル顔向き設定部３０２ａ、３０２ｂからの情報に基づいて処理を行うように構成され、更に照合用顔向き決定部１０２が平均顔向き決定部１０２ａを備えている。

３次元顔モデルデータベース３０１には、Ｎ個（Ｎ≧１）の３次元顔モデルが予め記憶されている。好ましくは、３次元顔モデルデータベース３０１には様々なタイプの３次元顔モデルが記憶されている。これら３次元顔モデルの各々は、複数個の３次元座標により定められた複数のポリゴンにより構成されている。本実施形態においても第１の実施の形態と同様に三角形のポリゴンが使用されている。

３次元顔モデル顔向き設定部３０２ａ、３０２ｂは、３次元顔モデルデータベース３０１に記憶されている各３次元顔モデルとカメラ毎の顔向き情報とに基づいて、３次元顔モデル・顔向き推定部１０１ａ、１０１ｂの出力結果と同等な３次元顔モデルと撮影顔向きを、Ｎ個の３次元顔モデル全てに対して順次設定する。

ここで、上記カメラ毎の顔向き情報は、顔画像データＡ２０１、Ｂ２０２の撮影顔向きに相当する。但し、第１の実施の形態では、撮影顔向きは、顔認証に使用する顔画像データＡ２０１、Ｂ２０２から推定して求められた。一方、本実施形態では、撮影顔向きは、顔画像データＡ、Ｂを撮影するカメラ１、２の設置角情報とカメラ１、２の撮像領域内にて被撮影者が現れる向きとから演繹的に決定される。なお、被撮影者が現れる向きは、カメラの設置場所の状況（通路向き等）に応じて予め決定される。また、変形例としては、実際にカメラ１、２により複数人の顔画像を撮影した結果、最も高い頻度の顔向きを上記カメラ毎の顔向き情報としてもよい。このような撮影顔向き情報が３次元顔モデルに付与され、これにより、３次元顔モデル顔向き設定部３０２ａ、３０２ｂからは、第１の実施の形態の３次元顔モデル・顔向き推定部１０１ａ、１０１ｂの出力結果と同等の情報が設定および出力される。

照合用顔向き決定部１０２は、３次元顔モデル顔向き設定部３０２ａ、３０２ｂにより設定される３次元顔モデルと撮影顔向きとに基づいて、顔照合部１０４にて画像照合で用いる照合用顔向きを決定する。このとき、照合用顔向き決定部１０２は、３次元顔モデルデータベース３０１中のＮ個の３次元顔モデルの各々に対して、第１の実施の形態と同様に照合用顔向きを算出し、これにより、全ての３次元顔モデルそれぞれに対応する照合用顔向きを算出する。全ての３次元顔モデルから求めた照合用顔向きが平均顔向き決定部１０２ａにより平均化され、平均化した結果が照合用顔向き決定部１０２にて上記照合用顔向きに決定される。

次に、図７〜図９を用いて、顔認証装置３００の動作を説明しながら、本実施形態の認証技術の原理および認証方法について詳しく説明する。本実施形態においても、第１の実施の形態と同様に、３次元顔モデル・顔向き推定部１０１ａ、１０１ｂには顔画像データＡ２０１、Ｂ２０２が入力されており、これら顔画像データＡ２０１およびＢ２０２内の人物が同一人物であるかを顔認証装置３００により判定する例について説明する。

顔画像データＡ２０１およびＢ２０２内の顔の向きである撮影顔向きは互いに異なっている。第１の実施の形態と同様に、３次元顔モデル・顔向き推定部１０１ａ、１０１ｂは顔画像データＡ２０１、Ｂ２０２に基づいて、当該顔画像データＡ２０１、Ｂ２０２の３次顔元モデル２０３、２０４を生成すると共に、当該顔画像データＡ２０１、Ｂ２０２の撮影顔向きを推定する。第１の実施の形態と同様に、３次元顔モデル・顔向き推定部１０１ａ、１０１ｂにより生成される３次元顔モデルにはテキスチャマッピングが施され、顔画像データＡ２０１、Ｂ２０２を微小画像に分割した各テキスチャが各ポリゴンに関連付けられている。

３次元顔モデル顔向き設定部３０２ａ、３０２ｂには、カメラ１、２の顔向き情報が入力され、３次元顔モデルデータベース３０１中の各３次元顔モデルが提供される。図７の３次元顔モデルデータベース３０１中には、Ｎ個の３次元顔モデルを頭頂部側から見た図を模式的に示している。

図７に示すように、３次元顔モデル顔向き設定部３０２ａ、３０２ｂは、３次元顔モデルデータベース３０１中の各３次元顔モデルについて、３次元顔モデル・顔向き推定部１０１ａ、１０１ｂの出力結果と同等な３次元顔モデル４０１と撮影顔向きθ１、θ２を設定する。これらの情報はＮ個の３次元顔モデル全てに対して順次設定される。ここで、３次元顔モデル顔向き設定部３０２ａ、３０２ｂからそれぞれ出力される３次元顔モデル４０１のデータ自体は同一であり、３次元顔モデル顔向き設定部３０２ａ、３０２ｂから出力されるデータは撮影顔向きのみθ１とθ２とで異なる。図７において、３次元顔モデル４０１を頭頂部側から見た図を模式的に示している。３次元顔モデル４０１は複数のポリゴンでそれぞれ構成されており、また、３次元顔モデル４０１は図３で説明した３次元顔モデル２０３、２０４とは異なり、顔全周に亘りポリゴンが形成されていてよい。

次に、図８に示されるように、照合用顔向き決定部１０２は、３次元顔モデル顔向き設定部３０２ａ、３０２ｂにより設定される各３次元顔モデル４０１と撮影顔向きθ１、θ２とに基づいて、Ｎ個の３次元顔モデル全てについて、各３次元顔モデルにおける照合用顔向きφ（１）、φ（２）、・・・φ（Ｎ）をそれぞれ決定する。各３次元顔モデルにおける照合用顔向きφ（１）、φ（２）、・・・φ（Ｎ）は、実施形態１の説明と同様に、式（３）に従って、ｆ（α、β、γ）が最小となる顔向きからそれぞれ算出する。そして、平均顔向き決定部１０２ａが、φ（１）、φ（２）、・・・φ（Ｎ）を平均化して、この平均結果を照合用顔向きφに決定する。このように、３次元顔モデルデータベース３０１中の各３次元顔モデルから、顔向きがφで同一の２次元合成顔画像をそれぞれ生成した時に生じる歪が最小となるように、照合用顔向きφを決定することができる。

なお、照合用顔向きは、カメラ１、２のカメラ設置角情報に基づいて、カメラ１およびカメラ２の設置角の中間角に対応する顔向きに設定してもよい。これにより、簡単に照合用顔向きを決定することができる。

次に、図９に示されるように、合成顔画像生成部１０３ａ、１０３ｂは、３次元顔モデル・顔向き推定部１０１ａ、１０１ｂで生成された３次元顔モデル２０３、２０４を、照合用顔向きφに対応した平面に射影した２次元合成顔画像Ｅ４１０、Ｆ４２０をそれぞれ生成する。上述したように、３次元顔モデル２０３、２０４には、テキスチャマッピングが施され、顔画像データＡ２０１、Ｂ２０２を微小画像に分割した各テキスチャが各ポリゴンに関連付けられている。

合成顔画像生成部１０３ａ、１０３ｂは、３次元顔モデル２０３、２０４の各ポリゴン頂点の３次元座標を照合用顔向きφに対応した平面に射影し、当該平面に射影された各ポリゴン（三角形パッチ）に、それぞれ関連付けられていた各テキスチャを貼り付けて、２次元合成顔画像Ｅ４１０、Ｆ４２０を生成する。図９では、図５で説明したのと同様に、テキスチャを貼り付けた領域に斜線のハッチングを施している。なお、顔画像データＡ２０１、Ｂ２０２の撮影向きθ１、θ２との関係から、２次元合成顔画像Ｅ４１０、Ｆ４２０のうちの一部において、テキスチャが貼り付けられない領域が生じる場合もある。

次に、顔照合部１０４は、顔向きが照合用顔向きφで同一の２次元合成顔画像Ｅ４１０、Ｆ４２０を照合することにより、顔画像データＡ２０１、Ｂ２０２内の人物が同一人であるか否かを判定する。具体的には、顔照合部１０４は、２次元合成顔画像Ｅ４１０、Ｆ４２０の顔画像部分を切り出して、この大きさを一定にする。そして、顔照合部１０４は、２次元合成顔画像Ｅ４１０、Ｆ４２０から切り出した顔画像部分における任意箇所の輝度値を測定し、この輝度値から輝度値情報あるいは局所的な周波数情報を取得し、これらを比較照合することにより顔画像データＡ２０１、Ｂ２０２内の人物が同一人であるか否かを判定する。

なお、顔認証用の学習データを用意して、顔照合部１０４により取得した輝度値情報あるいは局所的な周波数情報を個人識別に適した情報に補正してもよい。この補正方法については、例えば「Weak Orthogonalization of Face and Perturbation, CVPR 1998, Kenji Nagao, Masaki Sohma」に記載されている。

このような本発明の第２の実施の形態の顔認証装置３００によれば、複数の顔画像データＡ２０１、Ｂ２０２を撮影したカメラの設置角情報に基づいて、照合用顔向きφを決定する。このカメラ設置角情報を予め固定して設定することで、当該カメラが被撮影者を撮影する際の撮影顔向きをカメラの設置角情報からに求めることができる。そして、カメラの設置角情報から求めた顔画像データの撮影顔向きを用いて、照合用顔向きを簡単に決定することができる。これにより、逐次得られるカメラの撮影画像から、照合用顔向きの２次元合成画像を予め作成して認証用の登録データベースを構築し、登録データベースの複数の人物と新たに撮影された顔画像とを一括で照合するといったことも容易になる。なお、登録データベースは図示されていない。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

以上のように、本発明は、撮影時の顔向きが変動する場合であっても、照合に適した合成顔画像を生成でき、高精度な顔認証を行うことができるという効果を有し、画像に写った顔の向きが異なる複数の顔画像データ間で照合処理を行う顔認証装置に有用である。

本発明の第１の実施の形態における顔認証装置を示すブロック図本発明の第１の実施の形態における顔認証装置の原理概要を説明する図本発明の第１の実施の形態における顔認証装置の原理および認証方法を説明する図本発明の第１の実施の形態における顔認証装置の原理および認証方法を説明する図本発明の第１の実施の形態における顔認証装置の原理および認証方法を説明する図本発明の第２の実施の形態における顔認証装置を示すブロック図本発明の第２の実施の形態における顔認証装置の原理および認証方法を説明する図本発明の第２の実施の形態における顔認証装置の原理および認証方法を説明する図本発明の第２の実施の形態における顔認証装置の原理および認証方法を説明する図

符号の説明

１００顔認証装置
１０１ａ、１０１ｂ３次元顔モデル・顔向き推定部
１０２照合用顔向き決定部
１０２ａ平均顔向き決定部
１０３ａ、１０３ｂ合成顔画像生成部
１０４顔照合部
３０１３次元顔モデルデータベース
３０２ａ、３０２ｂ３次元顔モデル顔向き設定部

Claims

複数の顔画像データに基づいて、前記複数の顔画像データの顔向きである撮影顔向きをそれぞれ推定する顔向き推定部と、
前記複数の顔画像データの３次元顔モデルおよび撮影顔向きに基づいて、画像照合で用いる顔の向きである照合用顔向きを決定する照合用顔向き決定部と、
前記複数の３次元顔モデルを前記照合用顔向きに対応した平面に射影した複数の２次元合成顔画像をそれぞれ生成する合成顔画像生成部と、
前記複数の２次元合成顔画像を照合することにより、前記複数の顔画像データ内の人物が同一人であるか否かを判定する顔照合部とを備え、
前記照合用顔向き決定部は、前記複数の顔画像データを撮影したカメラの設置角情報に基づいて、前記照合用顔向きを決定することを特徴とする顔認証装置。
前記照合用顔向き決定部は、前記複数の３次元顔モデルから前記複数の２次元合成顔画像をそれぞれ生成した時に生じる歪が最小となる顔の向きを前記照合用顔向きに決定することを特徴とする請求項１に記載の顔認証装置。
前記照合用顔向き決定部は、前記複数の３次元顔モデルの各々を前記顔向き推定部により推定された前記撮影用顔向きに射影した２次元合成顔画像と前記照合用顔向きに射影した２次元合成顔画像との間の面積変動の合計が最小になるように、前記照合用顔向きを決定することを特徴とする請求項１または２に記載の顔認証装置。
前記複数の３次元顔モデルは複数のポリゴンで構成され、
前記照合用顔向き決定部は、前記複数の３次元顔モデルの各々において、前記撮影用顔向きから前記照合用顔向きに各ポリゴンを回転させたときの前記撮影顔向きに前記各ポリゴンを射影した面積と前記照合用顔向きに前記各ポリゴンを射影した面積とに基づき、前記複数の３次元顔モデルを構成する各ポリゴンについての面積変動の総計が最小になるように、前記照合用顔向きを決定することを特徴とする請求項３に記載の顔認証装置。
計算機を用いた顔認証方法であって、
複数の顔画像データに基づいて、前記複数の顔画像データの顔向きである撮影顔向きをそれぞれ推定する顔向き推定ステップと、
前記複数の顔画像データの３次元顔モデルおよび撮影顔向きに基づいて、画像照合で用いる顔の向きである照合用顔向きを決定する照合用顔向き決定ステップと、
前記複数の３次元顔モデルを前記照合用顔向きに対応した平面に射影した複数の２次元合成顔画像をそれぞれ生成する合成顔画像生成ステップと、
前記複数の２次元合成顔画像を照合することにより、前記複数の顔画像データ内の人物が同一人であるか否かを判定する顔照合ステップとを備え、
前記照合用顔向き決定ステップは、前記複数の顔画像データを撮影したカメラの設置角情報に基づいて、前記照合用顔向きを決定することを特徴とする顔認証方法。