JP5419757B2

JP5419757B2 - 顔画像合成装置

Info

Publication number: JP5419757B2
Application number: JP2010051879A
Authority: JP
Inventors: 健糸賀; 直幸高田
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2010-03-09
Filing date: 2010-03-09
Publication date: 2014-02-19
Anticipated expiration: 2030-03-09
Also published as: JP2011186816A

Description

本発明は、人物の顔を撮影した画像から、照合に適した顔画像を作成する顔画像合成装置に関する。

従来より、対象者の顔を撮影して取得した顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。そのため、登録用の顔画像の撮影時における顔の向きなどにより、登録された顔画像上に欠落した顔の部分が存在すると、顔認証装置は、その欠落部分についての照合ができないため、認証精度が低下してしまうおそれがある。そこで、同一人物の顔を異なる方向から撮影した複数の画像を用いて、照合用の顔画像を作成する技術が提案されている（例えば、特許文献１及び２を参照）。

例えば、特許文献１に開示された顔画像照合装置は、３次元顔モデルの一部または全てに対し、オクルージョンなどによる顔の一部のテクスチャの欠落部分を補う向きの顔画像をマッピングすることにより、テクスチャの欠損がない３次元顔モデルを作成する。その際、この顔画像照合装置は、合成に用いられた２枚の顔画像の撮影条件の違いなどにより、合成された部分の境界で画素値の差が生じることを防ぐため、３次元顔モデルに既にマッピングされている顔画像と追加でマッピングする別の顔画像とを２次元上で顔特徴点を用いて位置合わせをして平均化し、この平均化された顔画像を、顔の３次元形状を表す３次元顔形状データにマッピングする。

また、特許文献２に開示された顔画像登録装置は、向きの異なる２枚の顔画像を選択し、選択した２枚の顔画像からフィールドモーフィングにより識別対象人物の正面顔画像を生成する。

特開２００９−２４５３３８号公報特開２００９−０２５８７４号公報

しかしながら、特許文献１に開示された技術では、同一人物を撮影した顔画像であっても、撮影時の環境または撮影角度の違い、あるいは表情の違いによって、照合処理上特に重要となる目、鼻、口などの顔特徴点周辺の画素の値が大きく異なる場合がある。そのため、顔画像を合成するために画素値が大きく異なる２枚の顔画像について平均化すると、顔に相当する領域内のテクスチャ情報が失われ、その結果として、作成された３次元顔モデルを用いた顔認証の精度が低下してしまうおそれがあった。

また、特許文献２に開示された技術のように、３次元の顔の形状情報を反映せずに合成すると、得られた正面顔画像上の顔特徴点の顔全体に対する位置が、その正面顔画像に写っている本人の顔特徴点の位置と一致しなくなるおそれがった。そのため、作成された正面顔画像を用いた顔認証の精度が低下してしまうおそれがあった。

そこで、本発明は、顔を照合するために有用な情報を劣化させることなく、合成された顔画像を作成可能な顔画像合成装置を提供することを目的とする。

本発明の一つの形態として、複数の顔画像を合成して合成顔画像を生成する顔画像合成装置が提供される。この顔画像合成装置は、対象者を撮影した複数の顔画像と人物の顔の形状を表す３次元顔形状データとを記憶する記憶部と、複数の顔画像のそれぞれを、３次元顔形状データと位置合わせして、その３次元顔形状データにマッピングすることにより、複数の顔画像のそれぞれに対応する３次元顔モデルを作成するマッピング部と、複数の３次元顔モデルのうちの一つに対応する、対象者の顔を表すデータを基準顔画像として選択し、複数の３次元顔モデルのうちの少なくとも他の一つに対応する、対象者の顔を表すデータを補完用顔画像として選択する顔画像選定部と、基準顔画像の顔のテクスチャ情報が欠けていない第１の領域において、顔のテクスチャ情報が欠けた第２の領域との境界からの距離に応じて大きくなる第１の重み係数を算出する合成重み算出部と、基準顔画像の第２の領域に、補完用顔画像の対応する領域のテクスチャ情報をマッピングし、基準顔画像の第１の領域に含まれる各画素のそれぞれについて、その画素の値に第１の重み係数を乗じた値と補完用顔画像の対応する画素の値に第１の重み係数が大きくなるほど小さくなる第２の重み係数を乗じた値を加算することにより、合成顔画像を作成する顔画像合成部とを有する。

また顔画像合成装置は、複数の３次元顔モデルのそれぞれを２次元に展開した展開顔画像を作成する展開顔画像生成部をさらに有することが好ましい。この場合において、顔画像選定部は、対象者の顔を表すデータとして、展開顔画像を用いることが好ましい。

また、顔画像合成部は、第１の領域と第２の領域の境界近傍における基準顔画像の平均画素値に対する補完用顔画像の平均画素値の比を補完用顔画像の各画素値に乗じて得られた補正補完用顔画像を改めて補完用顔画像として用いることにより、合成顔画像を作成することが好ましい。

さらに、合成重み算出部は、第１の領域と第２の領域の境界近傍における基準顔画像の平均画素値と補完用顔画像の平均画素値との差の絶対値が大きくなるほど、第１の重み係数をその境界からの距離の変化に対して緩やかに変化させることが好ましい。

さらに、合成重み算出部は、基準顔画像に第２の領域が複数存在する場合において、第１の領域内で複数の第２の領域に挟まれた第３の領域に対する第１の重み係数を、第１の領域と第２の領域の境界からの距離に応じて設定される値よりも小さい値に設定することが好ましい。

さらに、顔画像合成装置は、顔画像を取得する撮像部と、撮像部によって取得された複数の顔画像のそれぞれから、顔の特徴点を抽出する顔特徴点抽出部をさらに有するとともに、記憶部は、予め顔が撮像部に対して正面を向いたときの顔の特徴点の配置を記憶しておくことが好ましい。この場合、顔画像選定部は、複数の顔画像のそれぞれの顔特徴点の位置と、正面を向いたときの顔の特徴点の配置において対応する顔特徴点との位置のずれ量の総和が最小となる顔画像に対応する３次元顔モデルまたは展開顔画像を基準顔画像とすることが好ましい。

本発明に係る顔画像合成装置は、顔を照合するために有用な情報を劣化させることなく、合成された顔画像を作成できるという効果を奏する。

本発明の一つの実施形態に係る顔画像合成装置の概略構成図である。展開顔画像を生成するために３次元顔モデルに対して設定される座標系の一例を示す図である。（ａ）は、３次元顔モデルの一例の概略図であり、（ｂ）は、（ａ）に示された３次元顔モデルから作成される展開顔画像の概略図である。（ａ）は、基準展開顔画像の一例を示す図であり、（ｂ）は、（ａ）に示された基準展開顔画像の着目画素とテクスチャ欠落境界間の距離と、着目画素に適用される重み係数との関係を示すグラフである。顔画像合成処理の動作を示すフローチャートである。顔画像合成処理の動作を示すフローチャートである。（ａ）は、孤立領域が存在する基準展開顔画像の一例を示す図である。（ｂ）は、孤立領域検出用の窓領域の走査方向の一例を示す図である。（ｃ）は、孤立領域が検出されたと判定される窓領域内の画素分布の一例を示す図である。（ｄ）は、孤立領域をテクスチャ情報が欠落した領域に含めるように修正した基準展開顔画像の一例を示す図である。変形例における、テクスチャ欠落境界近傍での基準展開顔画像の画素の平均値と、補完用展開顔画像の画素の平均値との差の絶対値ΔdelとパラメータWとの関係を示すグラフである。

以下、本発明の一つの実施形態による顔画像合成装置を、図を参照しつつ説明する。この顔画像合成装置は、人間の顔の３次元的な形状を表す３次元顔形状データ上に、登録対象者の顔を撮影した顔画像をマッピングすることで、その登録対象者の３次元顔モデルを作成する。この顔画像合成装置は、マッピングに用いる基準となる顔画像、即ち基準顔画像の一部に欠落部分が存在する場合、基準顔画像の欠落部分に、その欠落部分に相当する情報を持つ補完用の顔画像、即ち補完用顔画像の対応する部分をマッピングして合成顔画像を作成する。その際、この顔画像合成装置は、合成顔画像上で、合成された部分の境界近傍の画素の値を、対応する基準顔画像の画素値と補完用顔画像の画素値を加重平均により算出するとともに、その境界から基準顔画像側へ離れるにつれて、基準顔画像の画素値に対する重みを重くする。

図１は、一つの実施形態に係る顔画像合成装置１の概略構成を示す図である。図１に示すように、顔画像合成装置１は、撮像部２と、インターフェース部３と、記憶部４と、画像処理部５とを有する。

撮像部２は、例えば、カメラを有し、監視領域内に進入した登録対象者の顔を撮影した２次元の入力顔画像を作成する。そのために、撮像部２は、監視領域を撮影可能な位置に設置される。例えば、監視領域が店舗、廊下などの屋内に設定されている場合、撮像部２は、監視領域内の天井近傍あるいは監視領域の境界を形成する壁面に、人の身長よりも高い位置に設置される。また撮像部２は、監視領域の通用口近傍を撮影するように設置されてもよい。さらに撮像部２は一つに限られず、複数存在してもよい。
なお、撮像部２が有するカメラは、入力顔画像上の肌色部分を抽出することが容易となるように、可視光域に感度を有し、カラーの多階調画像を作成するものとすることが好ましい。しかし、撮像部２が有するカメラは、近赤外域に感度を有し、グレー画像を作成するカメラであってもよい。また撮像部２は、入力顔画像上に写っている顔の目、鼻、口などの顔特徴が区別できる程度の画素数を有することが好ましい。
撮像部２は、入力顔画像を作成する度に、その入力顔画像をインターフェース部３へ出力する。

インターフェース部３は、撮像部２と接続されるインターフェース回路であり、撮像部２から受け取った入力顔画像を画像処理部５に渡す。
記憶部４は、半導体メモリ、磁気記録媒体及びそのアクセス装置及び光記録媒体及びそのアクセス装置のうちの少なくとも一つを有する。そして記憶部４は、顔画像合成装置１を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶部４は、３次元顔形状データ及び３次元顔形状データに対応する３Ｄ顔特徴点の３次元位置情報を記憶する。３次元顔形状データは複数存在してもよく、また一つであってもよい。３次元顔形状データは、人物の顔の３次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。なお３次元顔形状データは、例えば、複数の人物の顔形状からそれぞれ作成されたり、多数の人物の顔形状を模した顔形状モデルを平均化して作成される。さらに、３次元顔形状データとして、他の方法によって作成された３次元顔形状データの一部を変形させたもの、例えば、顔の中心から上側部分の長さと下側部分の長さの比を変化させたものを用いてもよい。

また、３Ｄ顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、３Ｄ顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口中心、口端などが含まれる。なお、記憶する３Ｄ顔特徴点の種類及び数に制限はないが、少なくとも２Ｄ顔特徴点抽出部５１において抽出可能な顔特徴点と同じ部位の特徴点を全て含むことが好ましい。本実施形態では、３Ｄ顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口中心、及び左右の口端、耳珠点、顎角点及びオトガイ点の１５箇所を記憶するものとした。
さらに記憶部４は、入力顔画像、基準展開顔画像、補完用展開顔画像、重み参照テーブルの形で合成用重み係数などを記憶する。なお、基準展開顔画像、補完用展開顔画像、合成用重み係数の詳細については、画像処理部５の関連する構成要素とともに説明する。

画像処理部５は、１個または複数個のプロセッサ及びその周辺回路を有する。そして画像処理部５は、撮像部２から入力顔画像を受け取る度に、その入力顔画像を登録対象者の識別コードと関連付けて記憶部４に記憶する。なお、登録対象者の識別コードは、たとえば、図示しないユーザインターフェースを介して、画像処理部５に入力される。あるいは、画像処理部５は、入力顔画像に写っている登録対象者の顔が、記憶部４に既に登録されている登録者の何れの３次元顔モデルとも一致しない場合、既に設定されている何れの識別コードとも異なる識別コードを新たに生成してもよい。この場合、画像処理部５は、公知の顔画像照合方法の何れかを利用して、入力顔画像に写っている登録対象者の顔が、記憶部４に登録されている登録者の３次元顔モデルと一致するか否かを判定できる。

画像処理部５は、登録対象者について複数の入力顔画像を用いて、その登録対象者の３次元顔モデルを作成する。そのために、画像処理部５は、そのプロセッサ上で動作するソフトウェアにより実装される機能モジュールとして、２Ｄ顔特徴点抽出部５１、位置合わせ情報算出部５２、入力顔画像マッピング部５３、展開顔画像生成部５４、顔画像選定部５５、合成重み算出部５６、顔画像合成部５７及び展開顔画像マッピング部５８を有する。
なお、画像処理部５が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、画像処理部５の各部について詳細に説明する。

２Ｄ顔特徴点抽出部５１は、画像処理部５が登録対象者についての入力顔画像を取得する度に、その入力顔画像から顔特徴点を抽出する。そして２Ｄ顔特徴点抽出部５１は、抽出した顔特徴点の種別と入力顔画像上の位置情報（例えば、入力顔画像の左上端部を原点とする２次元座標値）を、位置合わせ情報算出部５２へ出力する。
本実施形態において、２Ｄ顔特徴点抽出部５１は、記憶部４に記憶されている各３Ｄ顔特徴点（目領域中心、鼻尖点、口角点などの１５箇所）に対応する顔特徴点を抽出する。２Ｄ顔特徴点抽出部５１は、入力顔画像から顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、２Ｄ顔特徴点抽出部５１は、入力顔画像に対してエッジ抽出処理を行って周辺画素との画素値の差が大きいエッジ画素を抽出する。そして２Ｄ顔特徴点抽出部５１は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また２Ｄ顔特徴点抽出部５１は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに２Ｄ顔特徴点抽出部５１は、顔の各部位に相当するテンプレートと入力顔画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。さらにまた、２Ｄ顔特徴点抽出部５１は、キーボード、マウス及びディスプレイなどで構成されるユーザインターフェース（図示せず）を介してユーザに各顔特徴点の位置を指定させることにより、各顔特徴点を取得してもよい。

位置合わせ情報算出部５２は、入力顔画像について２Ｄ顔特徴点抽出部５１により抽出された各顔特徴点と、３次元顔形状データに関連する３Ｄ顔特徴点とを用いて、３次元顔形状データに回転、拡大／縮小などの処理を行い、入力顔画像と３次元顔形状データの位置合わせを行う。そして位置合わせ情報算出部５２は、その位置合わせの結果として得られる位置合わせ情報を、３次元顔形状データに関連付けて、入力顔画像マッピング部５３及び顔画像選定部５５へ出力する。位置合わせ情報は、例えば、３次元顔形状データの３次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、３次元顔形状データ上の複数の３Ｄ顔特徴点の重心を原点とし、顔に対して水平かつ右目から左目へ向かう方向に（３次元顔モデルの正面に向かって左から右に）X軸、Ｘ軸及びＺ軸と直交し、喉付近から頭頂部へ向かう方向、すなわち下から上へ向かう方向にY軸、Ｘ軸及びＹ軸と直交し、鼻尖点から後頭部へ向かう方向にZ軸が設定される。

位置合わせ情報算出部５２は、例えば、以下のように位置合わせ情報を算出する。まず、３次元顔形状データ上の３Ｄ顔特徴点を、２次元画像である入力顔画像上に投影する。そして位置合わせ情報算出部５２は、投影された各３Ｄ顔特徴点の位置と、２Ｄ顔特徴点抽出部５１により抽出された、対応する各顔特徴点の位置との差の二乗和を位置ずれ量として求める。位置合わせ情報算出部５２は、この位置ずれ量が最小となるように、３次元顔形状データを、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させる。位置合わせ情報算出部５２は、位置ずれ量が最小となったときの３次元顔形状データの回転角、並進量、及び拡大／縮小率を位置合わせ情報とする。

また、記憶部４に複数の３次元顔形状データが記憶されている場合、位置合わせ情報算出部５２は、各３次元顔形状データについて、同一人物に対する複数の入力顔画像のそれぞれに対する上記の位置ずれ量の最小値を求める。そして位置合わせ情報算出部５２は、複数の入力顔画像に対する位置ずれ量の最小値の総和が最も小さくなる３次元顔形状データを、それら入力顔画像に写っている登録対象者に適用する３次元顔形状データとして選択する。位置合わせ情報算出部５２は、選択された３次元顔形状データに対する各入力顔画像の位置ずれ量が最小となったときの位置合わせ情報を入力顔画像マッピング部５３及び顔画像選定部５５へ出力する。

なお、位置合わせ情報算出部５２は、入力顔画像について抽出された各顔特徴点を３次元空間内へ投影した後、３次元顔形状データ上の３Ｄ顔特徴点との位置ずれ量が最小となるように３次元顔形状データに回転、拡大／縮小などの処理を行い、位置合わせ情報を算出してもよい。

入力顔画像マッピング部５３は、記憶手段４に記憶されている３次元顔形状データのうち、位置合わせ情報算出部５２により選択された３次元顔形状データの顔の向きを、入力顔画像に写った顔の向きと同じ顔の向きとなるように調整する。そのために、入力顔画像マッピング部５３は、選択された３次元顔形状データを、対応する位置合わせ情報にしたがって、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させて向き調整済み形状モデルを作成する。

入力顔画像マッピング部５３は、向き調整済み形状モデルに、入力顔画像をテクスチャ画像としてマッピングすることにより、入力顔画像に写っている登録対象者の３次元顔モデルを作成する。すなわち、入力顔画像について抽出されている各顔特徴点と、向き調整済み形状モデルとして選択された３次元顔形状データについての３Ｄ顔特徴点との位置が合うように、位置合わせ情報を用いて入力顔画像をテクスチャ画像として向き調整済み形状モデルにマッピングする。なお、マッピングは、入力顔画像の各画素の値を、３次元顔形状データの対応する位置の画素値とする処理である。
入力顔画像マッピング部５３は、画像処理部５が登録対象者についての入力顔画像を取得する度に、その入力顔画像に対する３次元顔モデルを作成する。ただし、記憶部４に複数の３次元顔形状データが記憶されている場合は、登録対象者の複数の入力顔画像に対して最適な３次元顔形状データが選択された後、入力顔画像マッピング部５３は、各入力顔画像について３次元顔モデルを作成する。そして入力顔画像マッピング部５３は、作成した３次元顔モデルを登録対象者の識別コードと関連付けて記憶部４に記憶するとともに、展開顔画像生成部５４へ出力する。

展開顔画像生成部５４は、入力顔画像マッピング部５３から登録対象者の３次元顔モデルを受け取る度に、その３次元顔モデル上にマッピングされたテクスチャ情報を２次元に展開した展開顔画像を生成する。
図２は、展開顔画像を生成するために３次元顔モデルに対して設定される座標系を示す。
図２おいて、Ｘ軸は、３次元顔モデル２００に対して、右目から左目へ向かうように（３次元顔モデルの正面に向かって左から右に）、水平方向の軸として定義される。Ｙ軸は、Ｘ軸及びＺ軸と直交し、喉付近から頭頂部へ向かうように、すなわち下から上へ向かう軸として定義される。Ｚ軸は、Ｘ軸及びＹ軸と直交し、鼻尖点から後頭部へ向かう方向の軸として定義される。Ｘ軸、Ｙ軸及びＺ軸の交点である原点Ｏは、３次元顔モデル２００の重心に設定される。

本実施形態において、Ｚ座標が負の値となる象限における、すなわち、３次元顔モデルにおける顔の正面側における、Ｘ＝０であるＹＺ平面２２０と３次元顔モデル２００の表面との交線２１０をテクスチャスキャンラインと呼ぶ。
展開顔画像生成部５４は、Ｙ軸を回転中心として３次元顔モデルを回転させ、それぞれの回転角度における、テクスチャスキャンライン２１０上の画素値を読み取って、横軸を回転角、縦軸をＹ座標とする２次元上にマッピングすることにより、展開顔画像を作成する。なお、入力顔画像がカラー画像である場合、画素値は、例えばＲＧＢ各色の輝度値となる。また、入力顔画像がグレー画像である場合、画素値は輝度値となる。例えば、鼻尖点がＹＺ平面２２０上に位置するときの回転角を０°とし、３次元顔モデル２００を矢印２３０に示されるように時計回りに回転させたときの回転角の値を正、３次元顔モデル２００を矢印２４０に示されるように反時計回りに回転させたときの回転角の値を負とする。

展開顔画像生成部５４は、例えば、３次元顔モデル２００を−１８０°〜＋１８０°まで所定の単位（例えば、１°）ずつ回転させ、その度にテクスチャスキャンライン２１０上の画素値を読み取る。なお、回転角が−１８０°または＋１８０°近傍のテクスチャ情報、すなわち後頭部近傍のテクスチャ情報は、顔の認証処理に利用するには適さない。そこで展開顔画像生成部５４は、３次元顔モデル２００を回転させる範囲を、少なくとも顔の一部がテクスチャラインとなる範囲、例えば、−１５０°〜＋１５０°の範囲としてもよい。
なお、展開顔画像生成部５４は、Ｘ軸を回転軸としてもよい。この場合には、例えば、Ｙ＝０のＸＺ平面と、３次元顔モデルの表面との交点をテクスチャスキャンラインとする。

また、展開顔画像生成部５４は、３次元顔モデルの肌色に相当する部分及び肌色に囲まれた部分だけを展開顔画像上にマッピングすることが好ましい。これは、髪の毛のように、顔の周囲に位置し、肌色と異なる色を持つ部分は個人識別のための情報をあまり有していないためである。なお、肌色に相当する部分は、例えば、入力顔画像がＲＧＢのカラー画像である場合、３次元顔モデルの各部の値をHSV表色系に変換したときに、色相Hの成分の色情報が、肌色に相当値の範囲（例えば、色相Hの成分の色情報が0から359で表される場合に0〜30）に含まれる部分とする。

展開顔画像生成部５４は、作成した展開顔画像を元の３次元顔モデル、入力顔画像及び登録対象者の識別コードと関連付けて記憶部４に記憶する。また展開顔画像生成部５４は、３次元顔モデルから展開顔画像を作成する際に、展開顔画像の各画素が３次元顔モデルの何れの位置に存在したのかを表す展開情報も、展開顔画像とともに記憶部４に記憶する。この展開情報は、後述する合成処理が終了した後の展開顔画像から３次元顔モデルを再現する際に利用される。

図３（ａ）は、３次元顔モデルの一例の概略図であり、図３（ｂ）は、図３（ａ）に示された３次元顔モデル３００から作成される展開顔画像の概略図である。
図３（ａ）に示された３次元顔モデル３００は、やや右側（向かって左側）を向いている入力顔画像から作成された３次元顔モデルである。このとき、上記のように、３次元顔モデル３００をＹ軸を回転中心として１°ずつ回転させつつ、３次元顔モデル３００の表面とＹＺ平面との交点の画素値情報を読み取ることにより、図３（ｂ）に示されるような展開顔画像３１０が作成される。展開顔画像３１０の輪郭３１５は、３次元顔モデル３００にマッピングされた入力顔画像の肌部分の輪郭に対応する。

この例では、３次元顔モデル３００が右側を向いているために、鼻の右側部分３２０、及び、右耳、右頬から顎にかけての顔の右側部分３３０が入力顔画像上で隠れているために、それらの部分のテクスチャ情報が存在しない。そのため、展開顔画像３１０においても、鼻の右側部分３２０、及び顔の右側部分３３０のテクスチャ情報は欠落している。このような、テクスチャ情報が欠落した領域を以下ではテクスチャ欠落領域と呼ぶ。また、テクスチャ情報が存在する領域と、テクスチャ欠落領域との境界を、以下ではテクスチャ欠落境界と呼ぶ。図３（ｂ）では、テクスチャ欠落領域３２０のテクスチャ境界３２５及びテクスチャ欠落領域３３０のテクスチャ欠落境界３３５は、それぞれ点線で示されている。
なお、輪郭３１５のうち、テクスチャ欠落領域３３０と重なる部分は、本来輪郭として写ってはいないが、ここでは、理解を容易にするために、顔の左側の輪郭を、顔の中心を通る線で左右反転した線を、欠落している部分の輪郭として図示した。またテクスチャ欠落領域内の画素の値は、例えば、テクスチャ情報が欠落していることを表す特定の値（例えば、通常取り得る画素値の範囲外の値である-1）に設定される。

一般に、入力顔画像上で、登録対象者が正面を向いていると、テクスチャ情報が欠落する部分は少なくなる。しかし、登録対象者が少しでも横方向を向いていると、オクルージョンが生じるので、図３（ａ）及び（ｂ）に示されるように、展開顔画像において、顔の一部のテクスチャ情報が欠落する。また、登録対象者が正面を向いた状態で撮影された入力顔画像が得られた場合でも、両耳から顎にかけての領域のテクスチャ情報は欠落する。
このように、展開顔画像上でテクスチャ情報が欠落していると、照合時において、特にその欠落している部分の方から撮影した顔画像が照合用の画像として得られたときに、その展開顔画像に対応する３次元顔モデルを用いた照合処理の精度が低下する。そこで顔画像合成装置１は、登録対象者について作成された複数の展開顔画像を用いて、テクスチャ情報の欠落のない合成展開顔画像を作成する。

顔画像選定部５５は、合成展開顔画像を作成するために、登録対象者の複数の展開顔画像の中から、基準となる基準展開顔画像と、基準展開顔画像で欠落しているテクスチャ情報を補完するための補完用展開顔画像を選択する。
基準展開顔画像は、できるだけテクスチャ情報の欠落が少ないものであることが好ましい。この理由は、顔画像合成装置１により作成された合成展開顔画像から生成した合成３次元顔モデルを照合に利用するためには、その合成３次元顔モデルができるだけ多くの顔のテクスチャ情報を含んでいることが好ましいためである。この点に関し、図３（ａ）及び（ｂ）に関して説明したように、人の顔には凹凸があるため、正面を向いていない顔画像では、オクルージョンが生じ、テクスチャ情報が欠落する部分が生じる。そして正面から傾く角度が大きいほど、欠落する部分も大きくなる。例えば、入力顔画像に写っている顔の向きが正面から傾いているほど、鼻によってその近傍の領域が隠れてしまい、その隠された領域のテクスチャ情報が欠落してしまう。
そこで本実施形態では、顔画像選定部５５は、登録対象者の顔が最も正面を向いて写っている入力顔画像に対応する展開顔画像を基準展開顔画像とする。

入力顔画像上での顔の向きは、例えば、２Ｄ顔特徴点抽出部５１により抽出された２Ｄ顔特徴点と、３次元顔形状データに対応する３Ｄ顔特徴点を一致させたときの３次元顔形状データの正面向きからの回転角を用いて判定できる。具体的には、顔画像選定部５５は、位置合わせ情報算出部５２から受け取った、登録対象者の各入力顔画像についての位置合わせ情報に含まれる正面向きからの回転角が最も小さい入力顔画像を、登録対象者の顔が撮像部２に対して最も正面に近い方向を向いて写っている入力顔画像として選択する。そして顔画像選定部５５は、選択した入力顔画像に対応する展開顔画像を基準展開顔画像とする。

また顔画像選定部５５は、登録対象者の複数の展開顔画像のうち、基準展開顔画像以外の展開顔画像を補完用展開顔画像とする。あるいは、顔画像選定部５５は、基準展開顔画像以外の展開顔画像のうち、基準展開顔画像の顔の向きと顔の向きが最も異なる展開顔画像から順に所定個数の展開顔画像を、補完用展開顔画像として選択してもよい。なお、展開顔画像の顔の向きは、その展開顔画像に対応する入力顔画像の位置合わせ情報に含まれる３次元顔形状データの正面向きからの回転角により表される。そこで顔画像選定部５５は、基準展開顔画像に対応する入力顔画像の位置合わせ情報に含まれる回転角と、各展開顔画像に対応する入力顔画像の位置合わせ情報に含まれる回転角との差が最も大きいものから順に所定個数選択する。所定個数は、例えば、１個から数個程度に設定される。
顔画像選定部５５は、基準展開顔画像であることを示す基準フラグを、基準展開顔画像として選択された展開顔画像と関連付けて記憶部４に記憶する。また顔画像選定部５５は、補完用展開顔画像であることを示す補完用フラグを、補完用展開顔画像として選択された展開顔画像と関連付けて記憶部４に記憶する。

画像処理部５は、合成展開顔画像においてそのテクスチャ欠落境界がエッジとならず、テクスチャ欠落境界近傍で画素の値が滑らかに変化するように、基準展開顔画像と何れかの補完用展開顔画像を合成する。そのために、画像処理部５は、テクスチャ欠落境界近傍で、且つ基準展開顔画像のテクスチャ情報が存在する領域では、基準展開顔画像の画素の値と対応する補完用展開顔画像の画素の値を所定の重み係数を用いて加重平均する。
そこで、合成重み算出部５６は、基準展開顔画像の各画素の値に乗じる重み係数B(dist)を次式に従って決定する。

ここでdistは、テクスチャ欠落境界から、重み係数B(dist)が用いられる画素までの距離、例えば、テクスチャ欠落境界からの画素数を表す。またWは、合成比率の変化率を調整するパラメータであり、１よりも大きい値に設定される。パラメータWを小さい値に設定するほど、重み係数B(dist)は、テクスチャ欠落境界からの距離の変化に応じて緩やかに変化する。例えば、パラメータWは1.05に設定される。なお、テクスチャ欠落境界からの距離distに位置する、補完用展開顔画像の画素値に乗じる重み係数は、1からB(dist)を引いた値となる。

図４（ａ）は、基準展開顔画像の一例を示す図であり、図４（ｂ）は、図４（ａ）に示された基準展開顔画像４００の画素４２０とテクスチャ欠落境界４１０との距離と、画素４２０に適用される重み係数との関係を示すグラフである。
図４（ａ）において、基準展開顔画像４００の顔の右側部分４０１及び鼻の右側部分４０２はテクスチャ欠落領域となっている。そのため、右側部分４０１及び鼻の右側部分４０２には、補完用展開顔画像のテクスチャ情報がマッピングされる。また、基準展開顔画像４００において、テクスチャ情報が欠落していない領域４０３についても、そのテクスチャ情報が欠落している部分と欠落していない部分の境界であるテクスチャ欠落境界４１０から所定距離内の画素については、合成処理において、基準展開顔画像の画素の値と補完用展開顔画像の対応する画素の値とが加重平均される。

図４（ｂ）において、横軸は、テクスチャ欠落境界４１０から画素４２０までの距離を表し、縦軸は、（１）式によって求められる重み係数B(dist)の値を表す。またグラフ４３１及び４３２は、それぞれ、パラメータWをw₁、w₂に設定したときの重み係数B(dist)の値を表すグラフである。ただし、w₁<w₂である。
図４（ｂ）に示されるように、画素４２０がテクスチャ欠落境界上に位置するとき（すなわち、dist=0）、重み係数B(dist)は０となり、テクスチャ欠落境界から画素４２０までの距離が大きくなるほど、重み係数B(dist)は１に近づく。
すなわち、合成処理において、テクスチャ欠落境界の近くでは基準展開顔画像の情報は重視されず、補完用展開顔画像の情報が重視される。このように重み係数を設定する理由は、顔全体としては多くのテクスチャ情報を持つ基準展開顔画像であっても、テクスチャ欠落境界は、入力顔画像上で登録対象者の顔が写っている部分と写っていない部分の境界にあたるので、テクスチャ欠落境界近傍の基準展開顔画像のテクスチャ情報の信頼性は低いことによる。一方、補完用展開顔画像に対応する入力顔画像における登録対象者の顔の向きは、基準展開顔画像に対応する入力顔画像に写っている登録対象者の顔の向きと異なっており、テクスチャ欠落境界近傍の顔の領域は、補完用展開顔画像に対応する入力顔画像の方が、撮像部２に対して正面を向いており、信頼性が高いと考えられる。
一方、テクスチャ欠落境界から離れるにつれ、逆に基準展開顔画像に写っているテクスチャ情報の方が信頼性が高くなるので、重み係数B(dist)は、テクスチャ欠落境界からの距離が離れるほど大きな値となる。

合成重み算出部５６は、基準展開顔画像の画素ごとに、（１）式に従って重み係数B(dist)を算出する。なお、基準展開顔画像のテクスチャ欠落領域（すなわち、dist<0となる画素）では、合成重み算出部５６は、B(dist)=0とする。また、（１）式に従って算出されたB(dist)の値が、1に近い所定値（例えば、0.99）以上となったとき、合成重み算出部５６は、B(dist)=1としてもよい。そして合成重み算出部５６は、基準展開顔画像の画素の水平座標及び垂直座標をそれぞれ行及び列の番号とする重み参照テーブルの各欄に、その水平座標及び垂直座標で規定される画素の重み係数B(dist)を格納する。そして合成重み算出部５６は、重み参照テーブルを記憶部４に記憶する。

顔画像合成部５７は、記憶部４に記憶された重み参照テーブルを参照して、基準展開顔画像と補完用展開顔画像を合成することにより、合成展開顔画像を作成する。なお、本実施形態では、画像処理部５は、登録対象者の全ての入力顔画像を、一つの３次元顔形状データにマッピングして３次元顔モデル及び展開顔画像を生成している。そのため全ての展開顔画像は既に位置合わせされている。そこで顔画像合成部５７は、合成展開顔画像の着目する画素の値を、基準展開顔画像と補完用展開顔画像において着目する画素と同じ位置にある画素を次式に従って加重平均することにより算出できる。

なお、I_i ^Cは、合成展開顔画像の画素iの画素値であり、I_i ^mainは、基準展開顔画像の画素iの画素値であり、I_i ^subは、補完用展開顔画像の画素iの画素値である。すなわち、顔画像合成部５７は、基準展開顔画像のテクスチャ欠落領域に補完用展開顔画像の対応する領域のテクスチャ情報をマッピングし、基準展開顔画像のテクスチャが存在する領域では、基準展開顔画像の画素値と補完用展開顔画像の対応する画素値とを、重み係数B(dist)に応じて加重平均する。
顔画像合成部５７は、作成した合成展開顔画像を展開顔画像マッピング部５８へ渡す。

展開顔画像マッピング部５８は、合成展開顔画像を３次元顔形状データにマッピングすることにより、合成３次元顔モデルを作成する。なお、合成展開顔画像がマッピングされる３次元顔形状データは、基準展開顔画像の元となった３次元顔モデルの作成に利用された３次元顔形状データとすることが好ましい。この３次元顔形状データは、基準展開顔画像、補完用展開顔画像のそれぞれに写っている顔特徴点と良好に一致する３Ｄ顔特徴点を有しているので、その３Ｄ顔特徴点は、基準展開顔画像と補完用展開顔画像から合成された合成展開顔画像に写っている顔特徴点とも良好に一致するためである。
また、展開顔画像マッピング部５８は、基準展開顔画像に関連付けて記憶されている展開情報を参照することにより、合成展開顔画像の各画素が３次元顔形状データ上で対応する位置を特定し、その特定された位置へマッピングする。
画像処理部５は、展開顔画像マッピング部５８により作成された合成３次元顔モデルを登録対象者の識別コードと関連付けて記憶部４に記憶する。あるいは、画像処理部５は、その合成３次元顔モデルを登録対象者の識別コードとともに、図示しない通信ネットワークを介して、３次元顔モデルを用いて認証処理を行う顔認証装置など他の装置へ出力してもよい。

図５及び図６は、一つの実施形態による顔画像合成装置１における、顔画像合成処理の動作フローチャートである。なお、この顔画像合成処理は、画像処理部５によって制御される。
先ず、画像処理部５は、撮像部２からインターフェース部３を介して、登録対象者の顔が写っている入力顔画像を取得する（ステップＳ１０１）。そして画像処理部５は、取得した入力顔画像を登録対象者の識別コードに関連付けて記憶部４に記憶するとともに、画像処理部５の２Ｄ顔特徴点抽出部５１へ渡す。

２Ｄ顔特徴点抽出部５１は、入力顔画像から、３次元顔形状データに関連付けられている３Ｄ顔特徴点と同種類の顔特徴点を抽出する（ステップＳ１０２）。そして２Ｄ顔特徴点抽出部５１は、抽出した顔特徴点の種別と入力顔画像上の位置情報を、画像処理部５の位置合わせ情報算出部５２へ出力する。
位置合わせ情報算出部５２は、入力顔画像について２Ｄ顔特徴点抽出部５１により抽出された各顔特徴点と、３次元顔形状データに関連する３Ｄ顔特徴点とを用いて、入力顔画像と記憶部４に記憶されている各３次元顔形状データの位置合わせを行う（ステップＳ１０３）。そして位置合わせ情報算出部５２は、その位置合わせの結果として得られる、各３次元顔形状データに対する位置ずれ量の最小値及びその最小値に対応する３次元顔形状データの回転、拡大／縮小などの量を含む位置合わせ情報を算出する。

次に、画像処理部５は、登録利用者の入力顔画像を所定枚数取得したか否か判定する（ステップＳ１０４）。なお、所定枚数は、少なくとも２枚であり、例えば、５枚〜１０枚の何れかに設定される。取得された入力顔画像の枚数が所定枚数に達していなければ、画像処理部５は、ステップＳ１０１〜Ｓ１０４の処理を繰り返す。
一方、取得された入力顔画像の枚数が所定枚数に達していれば、位置合わせ情報算出部５２は、記憶部４に記憶されている各３次元顔形状データのうち、最適な３次元顔形状データを選択する（ステップＳ１０５）。例えば、位置合わせ情報算出部５２は、取得された登録対象者の入力顔画像のそれぞれについて求められた位置ずれ量の最小値の総和が最も小さくなる３次元顔形状データを、最適な３次元顔形状データとする。
位置合わせ情報算出部５２は、選択された３次元顔形状データとともに、その３次元顔形状データに対する各入力顔画像の位置合わせ情報を、画像処理部５の入力顔画像マッピング部５３及び顔画像選定部５５へ出力する。

次に、画像処理部５は、入力顔画像のうち、対応する３次元顔モデルが作成されていない入力顔画像を着目する顔画像に設定する（ステップＳ１０６）。そして画像処理部５は、着目顔画像及び選択された３次元顔形状データを入力顔画像マッピング部５３へ渡す。
入力顔画像マッピング部５３は、着目顔画像と選択された３次元顔形状データとを、着目顔画像について求められた位置合わせ情報を参照して位置合わせした後、着目顔画像の各画素の値を位置合わせされた３次元顔形状データ上にマッピングすることにより、着目顔画像に対応する３次元顔モデルを作成する（ステップＳ１０７）。入力顔画像マッピング部５３は、作成した３次元顔モデルを画像処理部５の展開顔画像生成部５４へ渡す。
展開顔画像生成部５４は、３次元顔モデルから展開顔画像を作成する（ステップＳ１０８）。そして展開顔画像生成部５４は、その展開顔画像を、対応する３次元顔モデル及び入力顔画像に関連付けて記憶部４に記憶する。
画像処理部５は、全ての入力顔画像について３次元顔モデル及び展開顔画像が作成されたか否か判定する（ステップＳ１０９）。何れかの入力顔画像について３次元顔モデル及び展開顔画像が作成されていない場合、画像処理部５は、ステップＳ１０６〜Ｓ１０９の処理を繰り返す。

一方、全ての入力顔画像について３次元顔モデル及び展開顔画像が作成された場合、図６に示されるように、画像処理部５の顔画像選定部５５は、登録対象者についての全ての展開顔画像の中から、基準展開顔画像及び補完用展開顔画像を選択する（ステップＳ１１０）。例えば、基準展開顔画像は、上記のように、対応する入力顔画像において登録対象者の顔が最も正面を向いているものとすることができる。また、補完用展開顔画像は、例えば、基準展開顔画像以外の展開顔画像、あるいは、基準展開顔画像に対応する入力顔画像に写っている登録対象者の顔の向きと最も異なる顔の向きをしている展開顔画像とすることができる。
顔画像選定部５５は、基準展開顔画像であることを示す基準フラグを、基準展開顔画像として選択された展開顔画像と関連付けて記憶部４に記憶する。また顔画像選定部５５は、補完用展開顔画像であることを示す補完用フラグを、補完用展開顔画像として選択された展開顔画像と関連付けて記憶部４に記憶する。

画像処理部５は、基準展開顔画像にテクスチャ情報の欠落部分が存在するか否か判定する（ステップＳ１１１）。例えば、画像処理部５は、基準展開顔画像において、顔に相当する画素に囲まれた欠落部分が存在する場合、テクスチャ情報の欠落部分が存在すると判定する。また、画像処理部５は、基準展開顔画像作成時における３次元顔モデルの回転角が所定の角度範囲内に相当する基準展開顔画像上の領域に欠落部分が存在する場合、テクスチャ情報の欠落部分が存在すると判定する。なお、所定の角度範囲は、顔が正面を向いた状態を回転角0°としたときに、±80°とすることができる。

基準展開顔画像にテクスチャ情報の欠落部分が存在しない場合、基準展開顔画像を生成するのに用いた３次元顔モデルを合成処理結果である合成３次元顔モデルとして記憶部４に記憶し、あるいは通信ネットワークを介して他の機器へ出力する。そして画像処理部５は、顔画像合成処理を終了する。
一方、基準展開顔画像にテクスチャ情報の欠落部分が存在する場合、画像処理部５の合成重み算出部５６は、合成に利用する重み係数を（１）式に従って算出する（ステップＳ１１２）。その後、画像処理部５の顔画像合成部５７は、基準展開顔画像と合成されていない補完用展開顔画像の中から、何れか一つの補完用展開顔画像を選択する（ステップＳ１１３）。例えば、基準展開顔画像と比較して、最もテクスチャ情報の欠落を補える補完用展開顔画像を選択するのが好適である。そして顔画像合成部５７は、基準展開顔画像と選択した補完用展開顔画像の対応する画素の値を、算出された重み係数を用いて（２）式に従って加重平均することにより、合成展開顔画像を作成する（ステップＳ１１４）。そして顔画像合成部５７は、作成した合成展開顔画像を記憶部４に記憶する。
画像処理部５は、合成展開顔画像にテクスチャ情報の欠落部分が存在するか否か判定する（ステップＳ１１５）。合成展開顔画像にテクスチャ情報の欠落部分が存在すれば、画像処理部５は、ステップＳ１１２〜Ｓ１１５の処理を繰り返す。この場合、ステップＳ１１２では、重み係数は、合成展開顔画像に基づいて再算出される。
一方、ステップＳ１１５にて、合成展開顔画像にテクスチャ情報の欠落部分が存在しなければ、画像処理部５の展開顔画像マッピング部５８は、合成展開顔画像を、基準展開顔画像の作成に利用された３次元顔形状データにマッピングすることにより、合成３次元顔モデルを作成する（ステップＳ１１６）。そして展開顔画像マッピング部５８は、作成した合成３次元顔モデルを記憶部４に記憶し、あるいは、通信ネットワークを介して他の機器へ出力する。
その後、画像処理部５は、顔画像合成処理を終了する。
なお、記憶部４が３次元顔形状データを一つしか記憶していなければ、ステップＳ１０５の処理は省略されてもよい。

以上説明してきたように、この顔画像合成装置は、オクルージョンなどにより、入力顔画像上で登録対象者の顔の一部のテクスチャ情報が欠落している場合でも、他の入力顔画像に写っている登録対象者の顔の情報を利用して、テクスチャ情報の欠落のない３次元顔モデルを作成できる。またこの顔画像合成装置は、テクスチャ欠落境界近傍で、基準となる展開顔画像と補完用の展開顔画像の同じ位置にある画素の値を、テクスチャ欠落境界からの距離に応じて基準となる展開顔画像の比重が大きくなる重み係数を用いて加重平均することで、それら二つの展開顔画像を合成する。このように、この顔画像合成装置は、合成された展開顔画像及び３次元顔モデルにおける各画素の値を、その画素に対応する、基準となる展開顔画像と補完用の展開顔画像の画素の値だけを用いて求めているので、テクスチャ情報を劣化させることがない。さらに、この顔画像合成装置は、合成された展開顔画像及び３次元顔モデルにおいて、テクスチャ欠落境界近傍での画素値の変化が滑らかとなるので、テクスチャ欠落境界が個人性を表す顔の特徴と誤認識される可能性を軽減できる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、登録対象者の入力顔画像が１枚しか得られなかった場合、顔画像選定部は、その１枚の入力顔画像から作成した展開顔画像を基準展開顔画像とするとともに、基準展開顔画像を顔の正中線に対して左右反転させたものを補完用展開顔画像として作成してもよい。一般に、登録対象者の顔が正面、すなわち撮像部に正対する方向から右または左にずれた方向を向いていると、ずれた側の顔の一部が他の部分に隠れることになる一方、反対側は撮像部に正対することになるので、入力顔画像に写る。また、人の顔には対称性があるので、同一人物の顔であれば、一般に、顔の左右の差異はそれほど大きくはない。そこで上記のように補完用展開顔画像を作成することで、顔画像合成装置は、テクスチャ情報の欠落のない合成展開顔画像を近似的に作成することができる。

また、顔画像選定部は、人間の顔の特徴が最も豊富に含まれていると推定される展開顔画像を基準展開顔画像としてもよい。例えば、顔画像選定部は、各展開顔画像のうち、肌色画素の数が最も多いものを基準展開顔画像としてもよい。なお、肌色画素は、例えば、入力顔画像がＲＧＢのカラー画像である場合、展開顔画像の各画素のカラー成分の値をHSV表色系に変換したときに、色相Hの成分の色情報が、肌色に相当する値の範囲（例えば、色相Hの成分の色情報が0から359で表される場合に0〜30）に含まれる画素とする。

また、顔画像選定部は、登録対象者について作成された全ての展開顔画像のうち、テクスチャ情報の欠落が最も少ない、すなわち、展開顔画像上で画素値が規定されない画素の数が最も少ない展開顔画像を基準展開顔画像としてもよい。
さらに、顔画像選定部は、登録対象者について作成された全ての展開顔画像のうち、対応する入力顔画像に写っているその登録対象者の表情が最も無表情に近いものを、基準展開顔画像としてもよい。入力顔画像に写っている登録対象者の表情を判定するために、顔画像選定部は、公知の様々な表情判定方法の何れかを利用することができる。例えば、顔画像選定部は、"Recognizing Action Units for Facial Expression Analysis"、IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.23、No.2、2001年、に開示されている手法を用いることができる。この場合、記憶部は、人の２Ｄ顔特徴点について、無表情の状態における標準的な特徴点配置を予め記憶しておく。そして顔画像選定部は、入力顔画像から抽出された２Ｄ顔特徴点のそれぞれと、上記の標準的な特徴点配置における各２Ｄ顔特徴点の位置ずれ量の総和を調べ、その位置ずれ量の総和が所定以下であれば、入力顔画像に写っている登録対象者の表情は無表情であると判定する。その判定の際には、その位置ずれ量の時系列的な変化も考慮されてよい。

さらに、顔画像選定部は、展開顔画像に対応する入力顔画像から検出された２Ｄ顔特徴点の配置に基づいて、基準展開顔画像を選択してもよい。
例えば、記憶部は、人の２Ｄ顔特徴点について、正面を向いた状態における特徴点配置を予め記憶しておく。そして顔画像選定部は、各入力顔画像について、入力顔画像から抽出された２Ｄ顔特徴点のそれぞれと、上記の正面を向いた状態における特徴点配置の各２Ｄ顔特徴点の位置ずれ量の総和を求める。この位置ずれ量の総和が小さいほど、入力顔画像に写っている顔は正面を向いていると推定される。そこで顔画像選定部は、その位置ずれ量の総和が最小となる入力顔画像に対応する展開顔画像を基準展開顔画像とする。

また、顔の左右方向に関して、入力顔画像から抽出された、左右の目の２Ｄ顔特徴点までの距離d1が大きいほど入力顔画像に写っている人物が向いている方向は正面に近い。さらに、顔の上下方向に関して、入力顔画像から抽出された、両目の２Ｄ顔特徴点を結ぶ線分と正中線との交点と口点間の距離d2が大きいほど、入力顔画像に写っている人物が向いている方向は正面に近い。そこで顔画像選定部は、上記の距離d1が、顔がほぼ正面を向いていることに対応する所定値以上の入力顔画像のうち、距離d2が最大となる入力顔画像を特定する。そして顔画像選定部は、特定された入力顔画像に対応する展開顔画像を基準展開顔画像としてもよい。
また顔画像選定部は、顔の大きさを正規化しておいて、d1とd2の和が最大の入力顔画像が最も正面を向いていると判断してもよい。

また、顔画像選定部は、基準展開顔画像に対応する入力顔画像と撮影時刻が近い入力顔画像から順に複数の入力顔画像を選択し、その選択した入力顔画像に対応する展開顔画像を補完用展開顔画像としてもよい。この場合、画像処理部は、撮影部から入力顔画像を取得する度に、その入力顔画像の取得時刻を、入力顔画像とともに記憶部に記憶させる。あるいは、顔画像選定部は、基準展開顔画像に対応する入力顔画像上での顔の位置と、入力顔画像上での顔の位置の差が小さい方から順に複数の入力顔画像を選択し、その選択した入力顔画像に対応する展開顔画像を補完用展開顔画像としてもよい。このように補完用展開顔画像を選択することにより、基準展開顔画像と補完用展開顔画像のそれぞれに対応する入力顔画像の撮影時の条件の差を小さくできる。そのため、これら基準展開顔画像と補完用展開顔画像を用いることにより、顔画像合成装置は、不自然さの少ない合成展開顔画像を得ることができる。
この方法は、顔画像合成装置が撮像部を複数備え、例えば、廊下の天井付近から左右ほぼ同時に撮影する場合に有効である。

また、入力顔画像に写っている登録対象者の顔の向きによっては、展開顔画像上で、テクスチャ情報が存在する領域が、複数のテクスチャ欠落領域によって挟まれ、あるいは囲まれるように位置することもある。このような、複数のテクスチャ欠落領域によって挟まれ、あるいは囲まれた領域を、以下では孤立領域と呼ぶ。登録対象者が少しでも正面からずれた方向を向くと、鼻によるオクルージョンが発生するので、このような孤立領域が生じる可能性が高くなる。このような孤立領域は、入力顔画像上で見える顔の領域の境界近傍に位置する領域に対応するため、孤立領域に写っている部分は、正面から見たときよりもむしろ横から見たときのものに近い。そのため、孤立領域に写っている顔の部分の特徴は失われている傾向が強い。そこで、基準展開顔画像に存在する孤立領域に関しては、補完用展開顔画像の情報で補完することが好ましい。そのため、合成重み算出部は、基準展開顔画像上の孤立領域を検出し、孤立領域に含まれる各画素ついての重み係数を、テクスチャ欠落領域内の画素に対する重み係数と同様に設定することが好ましい。すなわち、孤立領域に含まれる基準展開顔画像の各画素に対する重み係数は0に設定され、対応する補完用展開顔画像の各画素に対する重み係数が1に設定される。あるいは、合成重み算出部は、孤立領域に含まれる基準展開顔画像の各画素に対する重み係数を上記の（１）式に基づいて算出される値よりも低下させた値、例えば、（１）式に基づいて算出された値に0.1〜0.5を乗じた値としてもよい。

図７（ａ）は、孤立領域が存在する基準展開顔画像の一例を示す図である。図７（ｂ）は、孤立領域検出用の窓領域の走査方向の一例を示す図である。図７（ｃ）は、孤立領域が検出されたと判定される窓領域内の画素分布の一例を示す図である。さらに図７（ｄ）は、孤立領域をテクスチャ情報が欠落した領域に含めるように修正した基準展開顔画像の一例を示す図である。
図７（ａ）に示すように、基準展開顔画像７００には二つのテクスチャ欠落領域７０１、７０２が存在している。そして孤立領域７１１は、テクスチャ欠落領域７０１と７０２の間に挟まれている。
そこで、合成重み算出部は、例えば、高さ1画素×幅Wk画素を持つ窓領域を設定し、図７（ｂ）の矢印７２１に示されるように、基準展開顔画像の各行について、水平方向に窓領域７２２を順次走査する。幅Wkを大きくするほど、基準展開顔画像の多くの部分が補完用顔展開顔画像に置き換えられる傾向にあるので、基準展開顔画像を選定する意義が低下する。一方、幅Wkを小さくするほど、孤立領域であっても基準展開顔画像の情報が優先されるようになる。そのため、あまりに幅Wkを小さくし過ぎると、孤立領域が大きいときに、合成展開顔画像から作成される合成３次元顔モデルが登録対象者の顔の情報を正確に再現しなくなる。そこで幅Wkは、例えば、顔の向きの検出に大きな影響を与える両目間の距離の1/5以下〜1/10以上に設定されることが好ましい。

図７（ｂ）の位置７２３のように、孤立領域と重なるように窓領域７２２が位置すると、窓領域７２２内では、図７（ｃ）に示されるように、左右両端付近にテクスチャ欠落領域に含まれる部分７３１、７３２が存在し、その中間に孤立領域に相当する部分７３３が存在することになる。そこで、合成重み算出部は、窓領域内の左右端にテクスチャ欠落領域に含まれる画素が存在すると、窓領域内の全ての画素を、テクスチャ欠落領域として扱う。
この結果、補完用展開顔画像に対する重み係数が1となる領域７４１は、図７（ｄ）に示されるように、テクスチャ欠落領域と孤立領域を合わせたものとなる。
このような領域７４１を、全て補完用展開顔画像の情報で置換することにより、より登録対象者の顔の情報を正確に再現できる合成３次元顔モデルが作成される。

また、テクスチャ欠落境界近傍において、基準展開顔画像の画素の値と、補完用展開顔画像の画素の値とが大きく異なることがある。例えば、基準展開顔画像に対応する入力顔画像が撮影されたときの照明が明るく、一方、補完用展開顔画像に対応する入力顔画像が撮影されたときの照明が暗ければ、基準展開顔画像については顔に対応する画素が全体的に明るくなるのに対し、補完用展開顔画像では顔に対応する画素が全体的に暗くなる。
このような場合、合成展開顔画像では、テクスチャ欠落境界を挟んで画素値が大きく異なってしまうおそれがある。
そこで、合成重み算出部は、テクスチャ欠落境界近傍の所定範囲での基準展開顔画像の画素の平均値と、補完用展開顔画像の画素の平均値との差の絶対値Δdelが大きいほど、補完用展開顔画像の画素値が合成展開顔画像に反映されるように、（１）式のパラメータWを調節してもよい。なお、Δdelを求める所定の範囲は、例えば、テクスチャ欠落境界に隣接する画素、あるいは、顔画像合成部の処理によって基準展開顔画像と補完用展開顔画像の両方の画素値が反映される範囲、例えば、パラメータWをWmaxに設定したときに重み係数B(dist)が0.5以下となる範囲とすることができる。

図８は、この変形例における、テクスチャ欠落境界近傍の所定範囲での基準展開顔画像の画素の平均値と、補完用展開顔画像の画素の平均値との差の絶対値ΔdelとパラメータWとの関係を示すグラフである。図８において、横軸はΔdelを表し、縦軸はWを表す。グラフ８０１は、ΔdelとパラメータWの関係を表すグラフである。図８に示すように、Δdelが閾値Th1以下であれば、パラメータWは取り得る最大値Wmaxに設定される。一方、Δdelが閾値Th1より大きく、かつTh2以下の範囲では、Δdelが大きくなるにつれてパラメータWは直線的に減少する。そしてΔdelが閾値Th2を超えるとパラメータWは一定となる。なお、図８に示される閾値Th1、Th2は、例えば、30、90に設定される。また、パラメータWmax、Wminは、それぞれ、1.1、1.01に設定される。
このように、テクスチャ欠落境界近傍において基準展開顔画像の明るさと補完用展開顔画像の明るさに差があるほど、テクスチャ欠落境界からの距離distにおける基準展開顔画像に対する重み係数B(dist)は小さくなる。そのため、顔画像合成装置は、合成展開顔画像上でテクスチャ欠落境界を挟んで急激に画素値が変動することを抑制できる。
なお、合成重み算出部は、Δdelが大きくなるにつれてパラメータWを漸減させてもよい。
さらに、合成重み算出部は、基準展開顔画像に対する重み係数B(dist)を、テクスチャ欠落境界からの距離distに応じて単調増加する他の関数、例えば、シグモイド関数または線形関数によって求めてもよい。

さらに、顔画像合成部は、Δdelを求める所定範囲に含まれる、補完用展開顔画像の平均画素値Pavsubに対する基準展開顔画像の平均画素値Pavmainの比(Pavmain/Pavsub)を、補完用展開顔画像の各画素値に乗じた後、合成処理を行ってもよい。これにより、基準展開顔画像の明るさと補完用展開顔画像の明るさが略一致するので、顔画像合成装置は、合成展開顔画像においてテクスチャ欠落境界を挟んで画素値が大きく変化することを防止できる。そのため、顔画像合成装置は、合成展開顔画像における不自然さをなくすことができる。また、Δdelが大きくなる場合には、基準展開顔画像と補完用展開顔画像の何れか一方のみを上記のように画素値を補正すると、補正後の展開顔画像に表された顔の情報が補正前の展開顔画像に表された顔の情報と異なる可能性がある。そこで、Δdelが大きく異なる場合には、顔画像合成部は、基準展開顔画像と補完用展開顔画像の両方を補正する。例えば、(Pavmain/Pavsub)が2以上、あるいは0.5以下となる場合、顔画像合成部は、(Pavmain/Pavsub)の平方根を補完用展開顔画像の各画素値に乗じ、一方、基準展開顔画像の各画素値を(Pavmain/Pavsub)の平方根で割る。

また、画像処理部は、撮像部によって撮影された画像を入力顔画像とすることができるか否かを判定するために、その画像に人の顔が写っているか否かを判定する顔検出部を有していてもよい。顔検出部は、入力顔画像に顔が写っているか否かを判定するために、様々な公知の顔検知技術の何れかを利用することができる。例えば、記憶部に予め撮影部による撮影領域内に人が存在しないときの画像を基準画像として記憶させておく。そして顔検出部は、撮像部によって撮影された現画像と基準画像との背景差分を行って差分画像を作成し、その差分画像と頭部の形状に対応するテンプレートとのパターンマッチングを行う。顔検出部は、そのパターンマッチングの結果、差分画像上にテンプレートと略一致する領域が検出されれば、現画像に人の顔が写っており、その現画像を入力顔画像とする。

さらに画像処理部は、撮像部から連続して取得された入力顔画像に写っている人物の顔が、同一人物の顔か否かを判定するための追跡判定部を有していてもよい。そして追跡判定部は、入力顔画像に写っている人物が同一人物か否か判定するために、様々な公知の追跡技術の何れかを利用することができる。例えば、追跡判定部は、連続して取得された２枚の入力顔画像について、その入力顔画像上の顔の位置の差が、想定される人の移動速度に応じて求められる位置の差よりも小さければ、それら２枚の入力顔画像に写っている人物は同一人物と判定する。

さらに、画像処理部は、展開顔画像を作成せず、画像選択部は、合成３次元顔モデルを作成するために、３次元顔モデルから基準となる３次元顔モデルと補完用の３次元顔モデルを直接選択してもよい。なお、基準となる３次元顔モデル及び補完用の３次元顔モデルの選択基準は、上記の各実施形態による基準展開顔画像及び補完用展開顔画像の選択基準と同様である。この場合には、顔画像合成部は、合成重み算出部で算出された重み係数を用いて、基準となる３次元顔モデルと補完用の３次元顔モデルを合成することにより、合成３次元顔モデルを作成する。そのため、画像処理部は、展開顔画像生成部及び展開顔画像マッピング部を有さなくてもよい。
このように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１顔画像合成装置
２撮像部
３インターフェース部
４記憶部
５画像処理部
５１２Ｄ顔特徴点抽出部
５２位置合わせ情報算出部
５３入力顔画像マッピング部
５４展開顔画像生成部
５５顔画像選定部
５６合成重み算出部
５７顔画像合成部
５８展開顔画像マッピング部

Claims

複数の顔画像を合成して合成顔画像を生成する顔画像合成装置であって、
対象者を撮影した複数の顔画像と人物の顔の形状を表す３次元顔形状データとを記憶する記憶部と、
前記複数の顔画像のそれぞれを、前記３次元顔形状データと位置合わせして、当該３次元顔形状データにマッピングすることにより、前記複数の顔画像のそれぞれに対応する３次元顔モデルを作成するマッピング部と、
複数の前記３次元顔モデルのうちの一つに対応する前記対象者の顔を表すデータを基準顔画像として選択し、複数の前記３次元顔モデルのうちの少なくとも他の一つに対応する前記対象者の顔を表すデータを補完用顔画像として選択する顔画像選定部と、
前記基準顔画像の顔のテクスチャ情報が欠けていない第１の領域において、顔のテクスチャ情報が欠けた第２の領域との境界からの距離に応じて大きくなる第１の重み係数を算出する合成重み算出部と、
前記基準顔画像の前記第２の領域に、前記補完用顔画像の対応する領域のテクスチャ情報をマッピングし、前記基準顔画像の前記第１の領域に含まれる各画素のそれぞれについて、当該画素の値に前記第１の重み係数を乗じた値と前記補完用顔画像の対応する画素の値に前記第１の重み係数が大きくなるほど小さくなる第２の重み係数を乗じた値を加算することにより、前記合成顔画像を作成する顔画像合成部と、
を有することを特徴とする顔画像合成装置。
前記複数の３次元顔モデルのそれぞれを２次元に展開した展開顔画像を作成する展開顔画像生成部をさらに有し、
前記顔画像選定部は、前記対象者の顔を表すデータとして前記展開顔画像を用いる、請求項１に記載の顔画像合成装置。
前記顔画像合成部は、前記境界近傍における前記基準顔画像の平均画素値に対する前記補完用顔画像の平均画素値の比を前記補完用顔画像の各画素値に乗じて得られた補正補完用顔画像を前記補完用顔画像として用いることにより、前記合成顔画像を作成する、請求項１または２に記載の顔画像合成装置。
前記合成重み算出部は、前記境界近傍における前記基準顔画像の平均画素値と前記補完用顔画像の平均画素値との差の絶対値が大きくなるほど、前記第１の重み係数を前記距離の変化に対して緩やかに変化させる、請求項１〜３の何れか一項に記載の顔画像合成装置。
前記合成重み算出部は、前記基準顔画像に前記第２の領域が複数存在する場合において、前記第１の領域内で前記複数の第２の領域に挟まれた第３の領域に対する前記第１の重み係数を、前記距離に応じて設定される値よりも小さい値に設定する、請求項１〜４の何れか一項に記載の顔画像合成装置。