WO2006134821A1

WO2006134821A1 - 画像合成装置、それを用いた画像照合装置、画像合成方法およびプログラム

Info

Publication number: WO2006134821A1
Application number: PCT/JP2006/311509
Authority: WO
Inventors: Mihoko Shimano; Kenji Nagao
Original assignee: Matsushita Electric Industrial Co., Ltd.; Nagao, Etsuko
Priority date: 2005-06-14
Filing date: 2006-06-08
Publication date: 2006-12-21
Also published as: US7974447B2; JP4140619B2; CN101198986A; CN100495437C; JP2006350506A; US20090226029A1

Abstract

　被写体の第１の画像から所定の照明条件における第２の画像を合成する画像合成装置であって、第１の画像の輝度値から照明条件を推定する照明条件推定部と、第１の画像における所定の画素の、被写体の法線方向を含む法線情報を推定する法線情報推定部と、所定の照明条件におけるエラー成分の情報を推定するエラー成分情報推定部と、所定の照明条件における被写体の第２の画像を合成する画像合成部とを備え、法線情報推定部は、第１の画像における複数の画素の情報から所定の画素の法線情報を推定する。

Description

明細書

画像合成装置、それを用いた画像照合装置、画像合成方法およびプログラム

技術分野

[0001] 本発明は、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置に関し、特に画像照合に用いる登録画像群を作成する画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法に関する。

背景技術

[0002] 従来から、入力された二次元画像とあら力じめ記録された二次元画像とを比較照合する画像照合装置が実用化されている。特に、バイオメトリタスを用いた認証方法の一つである顔認証方法を実現するための、画像照合装置が各種提案されてきてヽる。このような画像照合装置においては、認証可能な複数の者 (以下、登録された者と記す)の顔画像をあら力じめ登録画像としてデータベースに登録しておき、認証される者 (以下、被認証者と記す)の顔画像と登録画像とを比較照合して、その結果、被認証者の顔画像が登録された者の登録画像と互いに一致するまたは類似すると判定された場合に、被認証者がその登録された者であるとして認証される。

[0003] このような画像照合装置にぉヽては、従来から、被認証者の顔画像が撮影されたときの撮影条件と、登録画像が撮影されたときの撮影条件との違いによって、本人認証率が低下してしまうという課題があった。例えば、被認証者の顔画像が撮影されたときに照明が被認証者を照射していた方向（以下、この方向のことを照明方向と記す）等の照明条件と、登録画像が撮影されたときの照明方向等の照明条件とが異なる場合には、たとえ同じ被写体を撮影した場合であっても、比較照合を行った結果、互いに一致しないと判定されてしまう可能性があった。

[0004] この課題を解決するために、近年様々な技術が提案されてきている。例えば、登録された者それぞれについて、一枚の登録画像力その撮影時の照明条件および顔の形状 (法線ベクトル)や反射率等を推定し、これらの条件を用いて互いに異なる照明条件下における複数の画像 (以下、登録画像群と記す)を作成してデータベースに登録し、認証時には被写体の顔画像とデータベースに登録された全ての登録画像群とを比較照合することにより、本人認証率を向上させることのできる技術が提案されている (例えば、 T. Sim, T. Kanade, "Combining Models and Exemplar s for Face Recognition： An Illuminating Example, "Proc. CVPR Wo rkshop on Models versus Exemplars in Computer Vision, 2001.を参照。）。

[0005] 前述したような従来の技術にお!、ては、まず、あら力じめ登録された者とは異なる者について、様々な照明条件の下で撮影された学習用の顔画像の集合 (以下、この画像の集合のことをブートストラップ画像と記す)を用いて統計モデルを生成する。次に、生成された統計モデルを用いて、複数の登録された者についての登録画像それぞれ力互いに照明条件の異なる複数の登録画像群を合成する。

[0006] し力しながら、前述したような従来の技術にお!、ては、複数の登録された者それぞれにつ、て、一枚の登録画像力もその撮影時の顔の形状 (法線ベクトル)および拡散反射成分以外のエラー成分等を推定する際に、登録画像を構成する画素毎にそれぞれが独立した画素として演算を行って、たので、演算対象となる画素が影になつて、るような場合には、必ずしもその画素における法線ベクトルや反射率 ( 、わゆる法線アルべドベクトル)が正しく推定されず、その結果、現実に合致した登録画像群を作成できなヽと、う課題があった。

発明の開示

[0007] 本発明はこのような課題に鑑みてなされたものであり、演算対象となる画素が影になっているような場合でも、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成できる技術を提供するものである。

[0008] 本発明の画像合成装置は、被写体の第 1の画像から所定の照明条件における被写体の第 2の画像を合成する画像合成装置であって、第 1の画像の輝度値力ゝら第 1 の画像における被写体に対する照明条件を推定する照明条件推定部と、照明条件推定部で推定された照明条件にもとづいて、第 1の画像における所定の画素の、被写体の法線方向を含む法線情報を推定する法線情報推定部と、第 1の画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたエラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定するェラー成分情報推定部と、法線情報推定部によって推定された被写体の法線情報、および、エラー成分情報推定部で推定された、所定の照明条件におけるエラー成分の情報から、所定の照明条件における被写体の第 2の画像を合成する画像合成部とを備え、法線情報推定部は、第 1の画像における複数の画素の情報力所定の画素の法線情報を推定することを特徴として、る。

[0009] このような構成によれば、法線情報推定部が法線情報を推定する際に、第 1の画像における複数の画素の情報から、法線情報を推定することが可能であるので、演算対象となる画素が影になっているような場合でも、他の信頼度の高い画素を用いて、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成できる。

[0010] また、エラー成分情報推定部は、第 1の画像における複数の画素の情報力も所定の画素のエラー成分の情報を推定する構成であってもよ、。

[0011] このような構成によれば、さらに、拡散反射成分から外れたエラー成分についても、他の関連性の高い画素を用いて、所定の画素におけるエラー成分を正しく推定することができる。

[0012] また、法線情報推定部は、あらかじめ学習用の画像によって計算された、複数の画素の情報にもとづいて算出された統計モデルにもとづいて、法線方向を推定する構成であってもよい。

[0013] このような構成によれば、さらに、あら力じめ統計モデルを準備しておくことにより、異なる照明条件における画像をより正確に推定することができる。

[0014] さらに、エラー成分情報推定部は、あらかじめ学習用の画像によって計算された、複数の画素の情報にもとづいて算出された統計モデルにもとづいて、エラー成分の情報を推定する構成であってもよヽ。

[0015] このような構成によれば、さらに、エラー成分についても、あら力じめ統計モデルを準備しておくことにより、異なる照明条件における画像をより正確に推定することができる。

[0016] また、統計モデルが、 [0017] [数 1]

Y = I/B + V

[0018] (ただし、 Y:画素の画像ベクトル、 L^T:照明行列 Sの転置行列 S^Tを対角上に配置した照明行列、 B:法線アルべドベクトル、 V：エラーベクトル）

で表わされる画像生成モデルの各ベクトルの統計モデルである構成であってもよい。

[0019] このような構成によれば、さらに、複数の画素について、同時に具体的な統計量の算出が可能な構成を実現することができる。

[0020] また、互いに異なる複数の照明角度を含む照明条件が入力される照明条件入力部を備え、画像合成部は、照明条件入力部力入力された複数の照明条件それぞれにおける第 2の画像を合成する構成であってもよ、。

[0021] このような構成によれば、さらに、所望の照明条件に対応する第 2の画像を得ることのできる構成を実現することができる。

[0022] 次に、本発明の画像照合装置は、本発明の画像合成装置と、画像合成装置で作成された第 2の画像を登録画像群として記憶する登録画像群記憶部と、比較すべき比較画像を入力する比較画像入力部と、比較画像入力部から入力された比較画像と登録画像群記憶部に記憶された登録画像群とを比較照合する比較照合部とを備えたことを特徴としている。

[0023] このような構成によれば、本発明の画像合成装置により、法線情報推定部が法線情報を推定する際に、第 1の画像における複数の画素の法線情報を同時に推定することが可能であるので、演算対象となる画素が影になっているような場合でも、他の信頼度の高、画素を用いて、その画素につ、ての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成でき、その登録画像群と比較画像との比較照合を行うので、照合率の高い構成を実現することができる。

[0024] また、比較画像入力部が入力した比較画像における照明条件を推定する比較画像照明条件推定部と、比較画像照明条件推定部で推定された照明条件の登録画像を登録画像群記憶部から検索する画像検索部とを備え、比較照合部は、画像検索部で検索された登録画像と比較画像とを照合する構成であってもよい。 [0025] このような構成によれば、さらに、比較画像力もその照明条件を推定し、登録画像群記憶部に記憶された登録画像群から、推定された照明条件に対応する登録画像を検索して、比較照合を行うことができ、比較照合処理を行う回数を減少させることができ、 CPU等に対する演算負荷を軽減することのできる、小型の装置に適した構成を実現できる。

[0026] また、画像合成装置で作成された第 2の画像の特徴量を算出する第 1の特徴量算出部と、比較画像入力部で入力された比較画像の特徴量を算出する第 2の特徴量算出部とを備え、登録画像群記憶部は、第 2の画像の特徴量を記憶し、比較照合部は、登録画像群と比較画像とをその特徴量によって比較照合する構成であってもよい。

[0027] このような構成によれば、さらに、登録画像群記憶部には、特徴量算出部によって算出された特徴量のデータが記憶されているので、登録画像群の画像情報そのものを記憶する構成と比較して、必要な記憶容量が少なくて済むとともに、比較照合部が、登録画像群記憶部および特徴量算出部カゝらそれぞれ出力された特徴量を用いて比較照合を行うので、画像全体のマッチングを行う構成と比較して、比較照合部での演算処理が小規模で済み、 CPU等に対する演算負荷を軽減することのできる、小型の装置に適した構成を実現できる。

[0028] 次に、本発明の画像合成方法は、被写体の第 1の画像力所定の照明条件における被写体の第 2の画像を合成する画像合成方法であって、第 1の画像の輝度値から第 1の画像における被写体に対する照明条件を推定する第 1のステップと、第 1のステツプで推定された照明条件にもとづいて、第 1の画像における所定の画素の、被写体の法線方向を含む法線情報を推定する第 2のステップと、第 1の画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたェラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定する第 3のステップと、第 2のステップで推定された被写体の法線情報、および、第 3のステップにおいて推定された、所定の照明条件における被写体の第 2の画像を合成する第 4 のステップとを備え、第 2のステップにおいて、第 1の画像における複数の画素の情報力所定の画素の法線情報を推定することを特徴としている。 [0029] このような方法によれば、法線情報を推定する際に、第 1の画像における複数の画素の情報力法線情報を推定することが可能であるので、演算対象となる画素が影になっているような場合でも、他の信頼度の高い画素を用いて、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成できる。

[0030] 次に、本発明のプログラムは、被写体の第 1の画像力も所定の照明条件における被写体の第 2の画像を合成するプログラムであって、コンピュータに、第 1の画像の輝度値力第 1の画像における被写体に対する照明条件を推定する第 1のステップと、第 1のステップで推定された照明条件にもとづいて、第 1の画像における所定の画素の、被写体の法線方向を含む法線情報を推定する第 2のステップと、第 1の画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたエラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定する第 3のステップと、第 2のステップで推定された被写体の法線情報、および、第 3のステツプにおいて推定された、所定の照明条件におけるエラー成分の情報から、所定の照明条件における被写体の第 2の画像を合成する第 4のステップとを実行させ、第 2のステップにおいて、第 1の画像における複数の画素の情報力所定の画素の法線情報を推定することを特徴として、る。

[0031] このようなプログラムをコンピュータに実行させることによって、法線情報を推定する際に、第 1の画像における複数の画素の情報力法線情報を推定することが可能であるので、演算対象となる画素が影になっているような場合でも、他の信頼度の高い画素を用いて、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成できる。

[0032] 以上述べたように、本発明の画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法を用いれば、演算対象となる画素が影になっているような場合でも、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成できる技術を提供することができる。

図面の簡単な説明

[0033] [図 1]図 1は、本発明の第 1の実施の形態における画像照合装置の構成を示すブロック図である。 [図 2]図 2は、本発明の第 1の実施の形態における画像照合装置の登録画像群作成部の機能ブロック図である。

[図 3]図 3は、本発明の第 1の実施の形態における画像照合装置の登録画像群作成部の動作ステップを示すフローチャートである。

[図 4]図 4は、本発明の第 1の実施の形態における登録画像の一例を概念的に示す図である。

[図 5]図 5は、本発明の第 1の実施の形態における登録画像群の一例を概念的に示す図である。

[図 6]図 6は、本発明の実施の形態における比較画像の一例を概念的に示す図である。

[図 7]図 7は、本発明の第 2の実施の形態における画像照合装置の構成を示すブロック図である。

[図 8]図 8は、本発明の第 3の実施の形態における画像照合装置の構成を示すブロック図である。

符号の説明

1, 40, 50 画像照合装置

2 登録画像入力部

3 登録画像群作成部

4 登録画像群記憶部

5 比較画像入力部

6 照明条件推定部

7 情報検索部

8, 33 比較照合部

9 出力部

20, 26 登録画像

25 比較画像

30 登録画像群

31, 32 特徴量算出部 34 特徴量記憶部

41 照明条件推定部

42 法線情報推定部

43 エラー成分情報推定部

44 照明条件入力部

45 画像合成部

発明を実施するための最良の形態

[0035] 以下、本発明の実施の形態について、図面を用いて詳細に説明する。

[0036] (第 1の実施の形態）

まず、本発明の第 1の実施の形態における画像照合装置について説明する。図 1 は、本発明の第 1の実施の形態における画像照合装置 1の構成を示すブロック図である。

[0037] 図 1に示したように、本発明の第 1の実施の形態における画像照合装置 1は、登録された者の登録画像が入力される登録画像入力部 2、登録画像入力部 2によって入力された登録画像から、後述する方法により、複数の照明条件下における登録画像群を作成する登録画像群作成部 3、登録画像群作成部 3で作成された登録画像群を記憶する登録画像群記憶部 4、被認証者の顔画像 (以下、比較画像と記す)が入力される比較画像入力部 5、比較画像入力部 5から入力された比較画像と登録画像群記憶部 4に記憶された登録画像群とを比較照合し、その結果を出力する比較照合部 8、および、比較照合部 8から出力された結果等の情報を外部に接続された他の装置等に出力する出力部 9を備える。

[0038] 登録画像入力部 2および比較画像入力部 5は、公知の記憶媒体から画像を入力する構成であってもよ、し、スキャナ等の公知の読取手段を用いて構成することも可能であるし、カメラ等で撮影された画像が入力される構成であってもよい。また、本発明の第 1の実施の形態における画像照合装置 1は、登録画像入力部 2と比較画像入力部 5とをそれぞれ独立に備える構成に限定されるものではなぐ一つの入力手段を共用する構成であってもよい。

[0039] 登録画像群作成部 3および比較照合部 8については、後述する機能がソフトウェアによって実現されて、てもよ、し、専用回路等のハードウェアによって機能が実現されていてもよい。

[0040] 登録画像群記憶部 4は、ハードディスク装置 (HDD)や半導体メモリ等の公知の記録媒体力選択したものを用いることができる。

[0041] 出力部 9は、比較照合部 8からの照合可能か否かを示す信号をそのまま出力する構成であってもよいし、被認証者に対して映像または音声によって照合結果を知らしめる構成であってもよい。

[0042] 比較照合部 8の機能としては、例えば、固有空間法、部分空間法または KNN法等の公知の画像比較照合方法を用いることが可能である。

[0043] ここで、本発明の第 1の実施の形態における登録画像群作成部 3の機能について詳細に説明する。図 2は、本発明の第 1の実施の形態における画像照合装置 1の登録画像群作成部 3の機能ブロック図であり、図 3は、本発明の第 1の実施の形態における画像照合装置 1の登録画像群作成部 3の動作ステップを示すフローチャートである。登録画像群作成部 3の機能は、ハードウェアまたはソフトウェアのいずれでも実現することが可能である。登録画像群作成部 3の機能をソフトウェアにて実現しょうとする場合には、後述する図 3におけるステップ S1からステップ S8までの処理をソフトゥェァにて記述して、コンピュータに実行させる。

[0044] 図 2に示したように、本発明の第 1の実施の形態における登録画像群作成部 3は、登録画像入力部 2から入力される登録画像の輝度値から登録画像における被写体に対する照明条件を推定する照明条件推定部 41と、照明条件推定部 41で推定された照明条件にもとづいて、登録画像における所定の画素の、被写体の法線方向を含む法線情報を推定する法線情報推定部 42と、登録画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたエラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定するエラー成分情報推定部 43と、法線情報推定部 42によって推定された被写体の法線情報、および、エラー成分情報推定部 43で推定された、所定の照明条件におけるエラー成分の情報から、所定の照明条件における被写体の登録画像を合成する画像合成部 45と、エラー成分情報推定部 43に対して所定の照明条件を入力する照明条件入力部 44とを備えている。

[0045] 次に、図 3を用いて、本発明の第 1の実施の形態における登録画像群作成部 3の動作ステップについて説明する。まず、登録画像入力部 2から、登録画像群作成部 3 の照明条件推定部 41に登録画像 20が入力される（Sl)。ここで、登録画像 20は、登録されるべき者の一枚の顔画像であるとする。図 4は本発明の第 1の実施の形態における登録画像 20の一例を概念的に示す図である。例えば、実際には、本発明の第 1の実施の形態における画像照合装置 1においては、登録画像 20として、縦 120 X横 90の計 10800画素の、被写体を正面力も撮影した画像を用いている力本発明はこの画像サイズに限定されるものではない。

[0046] ここで、後述する各推定ステップにて用いられる統計モデルを算出するために、あらカじめ別途行っておくべき、他人の画像の集合 (ブートストラップ画像)を用いた学習ステップについて説明する。

[0047] まず、ブートストラップ画像集合を用いて、顔表面上の任意の位置にお!、て観察される明るさ (輝度値)から、顔の形状や反射特性の位置間の相関を考慮した統計量を算出する。具体的には、登録画像とは別にあらかじめ準備したブートストラップ画像集合の各人物に関して法線ベクトル、アルべドおよび誤差の値を算出した後に、複数人 (K人)分の算出した法線ベクトル、アルべドおよび誤差の値を用いてその統計量を計算する。ここで用いるブートストラップ画像集合は、複数人の人物について J個の既知の照明条件 s下で撮影された画像集合により構成される。 1番目の人物について、 J個の光源下で撮影された画像集合 ι^α)は下記のように、

[0048] [数 2]

[0049] と表わされる。ここで各々の記号は、人物 1の J個の照明条件にっヽて得られた画像集合 1⁽¹⁾、人物 1の顔の法線アルべド行列 B⁽¹⁾、 J個の照明方向とその強度を表した照明条件集合 S '、 J個の照明条件に対するエラー行列 Ε^α)を表している。

[0050] 次に、最小二乗法によって Β^α)を以下のように算出する。 [0051] [数 3]

[0052] そして、次のように拡散成分を引いた残りがエラー行列 E⁽¹⁾となる。

[0053] [数 4]

リ、二リ、 - 、 ^T S'

[0054] さらに、顔の法線ベクトルと誤差の値の統計量を、ブートストラップ画像集合の全ての人物について推定された、顔の法線アルべド行列 Β⁽¹⁾とエラー行列 Ε⁽¹⁾とを用いて次のように求める。法線アルべドベクトル Βのように、 Κ人について各行列 Β^α)を 3d次元ベクトルに展開し、その平均ベクトル/ ζ Β (3d次元ベクトル）と共分散行列 CB (3d X 3d行列）を求める。エラー項 v (s)の統計量についても、平均ベクトル/ z v (s )は、各照明条件 sについて K個のエラーベクトル v⁽¹⁾ (s )から計算できる。

[0055] また、 dj X djの共分散行列 Cvは、共分散行列 CBを法線アルべド行列 B⁽¹⁾力求める方法と同様の方法で、 K個のエラー行列 E⁽¹⁾から算出される。

[0056] このように、本発明の第 1の実施の形態における画像照合装置 1においては、顔表面位置間の相関を考慮することができるアルゴリズムを用いて、法線ベクトルやエラ一成分の推定に用いる統計量を求めて、る。

[0057] 図 3に戻って、ステップ S 1に続いて、登録画像群作成部 3の照明条件推定部 41は、一枚の登録画像 20の撮影時における照明方向およびその強度（以下、これらをまとめて照明条件と記す)を推定する（S2)。登録画像 20の照明条件の推定は、統計量を算出するための学習画像セットにおける J個の照明条件を各々 sとおき、そのガウ

j

スカーネルの幅を σとおき、学習画像の各照明パターンの平均を aとおき、入力画

] j

像を bとすると、以下の（1)式から（3)式に示したような、単純なカーネル回帰 (kernel regression)によって行うことができる。なお、本発明の第 1の実施の形態においては、ガウスカーネルの幅 σを、前述の非特許文献 1に記載にしたがって決定した。

[0058] なお、このときの照明条件 sとして正規ィ匕したベクトルを用いて、照明ベクトルの方向のみを推定することも可能である。また、例えばブートストラップ画像と登録画像間で明るさが大きく異なる照明条件の場合には、 a、 bとしてそれぞれ正規ィ匕した値を用

j

いて（1)式に代入することにより、一層精度良く照明を推定することが可能になる。

[0059] [数 5]

[0060] [数 6]

[0061] [数 7] b

一 j (3)

[0062] 次に、登録画像群作成部 3の法線情報推定部 42は、登録画像 20の各画素の輝度値から、被写体の法線方向および反射率を考慮した法線情報である、法線アルべドベクトルの値を推定する（S3)。なお、法線アルべドベクトルとは、被写体の法線方向ベクトルにそのアルべド (反射率)を積算したベクトルのことを、う。

[0063] ステップ S3における法線アルべドベクトルの値の推定方法にっ、て、詳細に説明する。

[0064] まず、（4)式のように、各画像に含まれる d画素分の輝度値をまとめて表現することのできる、被写体における反射を表わすモデルを導入する。これにより、明示的に画素間の相関を考慮しつつ、式 (4)のエラー項 Vのようにランバート成分以外の反射成分を表現できるとともに、ブートストラップ画像力もこのエラー項 Vの統計量を獲得することができる。これによつて、新しい照明条件下のハイライト、相互反射および影のような微妙な反射成分等をも推定することが可能になる。

[0065] [数 8] Y = L B + V (4)

'l "s^f 0 0 0 o " " b,― " e〗 -

0 S' 0 0 0 b₂ e₂

Y = L = 0 0 s' 0 0 B = v =

_1 0 0 0 0

一 ― 0 0 0 0 s^l — _ — c_d _

[0066] (4)式に示したように、 d画素の画像ベクトル Yは、照明行列 Sの転置行列 S^Tを対角上に配置した照明行列 L^Tと d画素の法線アルべドベクトル Bとの積に、 d画素のエラ一ベクトル Vの値を足したものである。また、画素毎の輝度ベクトル iを d画素分並べたのが画像ベクトル Yであり、画素毎の法線アルべドベクトル bを d画素分並べたのが法線アルべドベクトル Bであり、画素毎のエラーベクトル eを d画素分並べたのがエラーベクトル Vである。さらに、一画素における、 m個の照明パターンそれぞれにおける輝度値を並べたのが輝度ベクトル i (m次元）であり、一画素における法線アルべドべタトル（三次元）が法線アルべドベクトル bであり、一画素における m個の照明パターンそれぞれにおけるエラー成分の値を並べたベクトル (m次元）がベクトル eであり、光源の方向と強さを示す (3 X m)の照明条件 sの行列が照明行列 Sである。

[0067] このように (4)式に示した、画像を生成するための反射モデルを仮定することによつて、画像中の複数の画素について、同時に演算を行うことが可能となるので、演算の迅速ィ匕を図ることが可能である。

[0068] 入力画像の照明条件 sに対する統計量である誤差の平均; z と分散∑ は、既知の照明条件におけるブートストラップ画像集合の統計量力 kernel regressionによつて補間される。具体的には、平均は、（1)式と同様な方法で sを（s )に置き換

V j V j

え、既知の照明条件ベクトル Sを中心とするカーネル関数の線形和で求められる。分散∑ の要素もまた、平均と同様に、事前に算出された統計量 C力 kernel reg v V V

ressionによってネ甫間される。

[0069] 前述した仮定の下で、登録画像 20につ、ての法線アルべドベクトル B (X)は、

MAP

MAP (Maximum A Posteriori:最大事後確率）推定を用いて、（5)式のように推定することができる。

[0070] [数 9]

B_MAP ^ [L∑-'L^J +C-^]Y [L∑"' (Y - μ_κ )+ C. , ] (5)

[0071] なお、（5)式の導出は、以下のように行った。

[0072] まず、ガウス分布を、平均ベクトルと共分散行列 Cを用いて N ( ， C)と記述する。（4)式で表わされる反射モデルより、画像ベクトル Yを与えられたときの法線アルべドベクトル Bの条件付分布 P(B I Y)、法線アルべドベクトル Bを与えられたときの画像ベクトル Yの条件付分布 P(Y I Β)、および、法線アルべドベクトル Βの分布 Ρ(Β) は、それぞれ、

[0073] [数 10]

N{ _MA R_B

ρ(γ|Β)=^^ΓΒ + μ_κ,Σ₍

Ρ(Β)= Ν(μ_Β^_Β)

[0074] と表わされる。

[0075] また、ベイズの定理にしたがって、下記関係を得ることができる _c

[0076] [数 11]

oc N L^TB + μ_ν,∑ )χ N( _B,C_L

ノ

[0077] ここで、 Gは以下に示されるようなスカラー量である。

[0078] [数 12] G = 1(Y— L'B— — L'B— μ 十 [(B— μ )Ά(Β— μ )]

= B ^T [L∑ y 1/ + C ]B一 2[(Y— μ【, )^r∑「 i/ + μ C ' ]B十 const

[0079] ここで、画像ベクトル Yを与えられたときの法線アルべドベクトル Bの条件付分布 P ( B I Y)を最大化する法線アルべドベクトル Bを導出するために、法線アルべドべタトル Bに関してスカラー量 Gの微分をとり、これを 0とする。

[0080] [数 13]

[0081] これによつて、法線アルべドベクトル Βの MAP推定が数 9のように得られる。

[0082] なお、登録画像群作成部 3の法線情報推定部 42は、（4)式に記載した反射モデルを仮定して、各ベクトルの統計モデルを作成する場合には、ブートストラップ画像のうち、ノ、イライトや影等の影響を除去するような、所定の閾値よりも輝度の大きな画素、および、所定の閾値よりも輝度の小さな画素を除去した画像集合力法線アルべドベクトル Β^α)を推定することが実用上望ましい。

[0083] 次に、登録画像群作成部 3のエラー成分情報推定部 43は、法線情報推定部 42によって、上述した（5)式を用いることにより登録画像 20から法線アルべドベクトル Β

MAP

(X)が推定された後、（6)式にもとづいて、登録画像 20の新しい照明条件におけるェラーベクトル V (X)を推定する（S4)

[0084] [数 14]

Pr(V(_S。)YL_S。)=P_r(V(_S。)YL_Su,B)=P_r(V(_S。)V_So

[0085] [数 15]

V , =μ_ν(ΰ) + Ι^Σ—_ν ^ι(ν-μ_ί/)

Q_V =Q_V(o)■ R⁷∑;R

[0086] [数 16] び

R = R.„ =

[0087] ここで、各 σの値は、例えば、（1)式の要領で、求めればよい。二つの照明ベクトル sを連結させた連結照明ベクトル tを用いて、新しい照明に対応するエラー成分の分散行列の要素 pを下記のように算出する。平均/ z V と Rの要素の値も、平均/ z Vと new

分散∑ Vから kernel regressionによって補間される。平均 μ νと分散∑ νを求めた際と同様な方法で算出するが、今回はこれらの値を、照明条件 sと推定される照明条件 s の連結ベクトルに対して既知照明条件 s間の連結ベクトルを中心とするカーネ new ]

ル関数の線形和によって求める。

[0088] [数 17]

[0089] [数 18]

pq ノん _jk = exp t

[0090] なお、各値の算出方法として複数以上ある場合は、その平均値をとるとよい。

[0091] ここで、 V の導出について説明する。

MAP

[0092] まず、確率ベクトル Xと yがそれぞれジョイントリ一'ガウシアン 'ディストリビューション

(jointly Gaussian distribution)にし ^つと仮定するならは、

[0093] [数 19]

[0094] と記述される。 yが与えられる場合の Xの条件付分布 P (X | y)は次のように記述される

[0095] [数 20]

P x y) = N(m, C m

[0096] ここで、 m = μ + R R (y~ μ )であり、

C = R - R R ^_1R である。

[0097] 異なる照明条件間の誤差項を jointly Gaussian distributionとしてモデル化しているため、

[0098] [数 21]

[0099] と表わされる。

[0100] エラー項 V (s ) は、 V (s)が与えられた場合に、ガウス分布として、

[0101] [数 22]

[0102] と表わされる。ここで、

[0103] [数 23]

V_{MAP Vnew}

μ )

"二ム Vnew — ^∑V^{l lx}

[0104] となり、 V が導出される。

[0105] ここまでで、被写体の登録画像 20を用いた登録画像群 30を作成するための前処理は終了する。

[0106] 次に、登録画像群作成部 3のエラー成分情報推定部 43は、さらに、別途照明条件入力部 44から入力された (S5)複数の照明条件に対応するエラー成分 V の推定を行って画像合成部 45に出力し、画像合成部 45は、エラー成分情報推定部 43から出力されたエラー成分の値と法線情報推定部 42で推定された被写体の法線情報とから、登録画像を合成し、出力する（S6、 S7)。

[0107] ステップ S5において照明条件入力部 44から入力される照明条件の一例としては、例えば顔の正面方向を (左右の角度: 0° 、上下の角度: 0° )と置いたときに、左右上下ともに 20° 間隔に 60° までの角度を取ることができる。この場合、 60° 、 -4 0° 、—20° 、0° 、 20° 、40° 、 60° の 7種類の角度力あり、上下左右合わせて 7 X 7の 49通りの照明角度ができる。なお、角度は等間隔である必要はなぐ使用目的や用途に合わせて適宜効果のある角度を選択すればよい。また、照明条件入力部 4 4には、あら力じめ複数の照明条件が記憶されていてもよいし、ユーザによって所望の照明条件が入力される構成であってもよい。

[0108] そして、これらの互いに異なる所定の照明角度それぞれに対応して、エラー成分情報推定部 43はエラー成分 V を推定し (S6)、さら〖こ、画像合成部 45は、法線アル

MAP

べドベクトル B および照明条件 L が既知であるので、（7)式を用いて画素毎の

MAP NEW

輝度値 Y

NEWを算出し、画像を合成することにより、被写体の複数の登録画像群 30を得ることができる（S7)。

[0109] [数 24]

[0110] そして、（7)式に示した処理を、あら力じめ定められた複数の照明角度それぞれについて繰り返し行うことによって（S8)、登録画像群 30を作成することができる。すなわち、全方向についての処理が終了したら (Y)、全体としての処理を終了し、そうでない場合 (N)には、ステップ S5に戻る。

[0111] 図 5は本発明の第 1の実施の形態における登録画像群 30の一例を概念的に示す図である。図 5に示したように、本発明の第 1の実施の形態の画像照合装置 1の登録画像群作成部 3によれば、様々な陰影を有する登録画像群 30を作成することが可能である。

[0112] 再び図 1に戻って、本発明の第 1の実施の形態の画像照合装置 1において、登録画像群作成部 3で作成された登録画像群 30は、登録画像群記憶部 4に記憶される。ここまでで、本発明の第 1の実施の形態の画像照合装置 1における照合処理の準備が完了する。

[0113] 図 6は、本発明の実施の形態における比較画像 25の一例を概念的に示す図である。図 1に示したような、本発明の第 1の実施の形態の画像照合装置 1において、被認証者の比較画像 25が比較画像入力部 5から入力された場合には、比較画像 25は比較画像入力部 5から比較照合部 8に送られ、比較照合部 8において、比較画像 25 と登録画像群 30との比較照合処理がなされ、その結果が出力部 9から出力される。例えば、比較画像 25が入力された場合には、登録画像群 30のうち、同一の被写体を類似した照明条件で撮影した登録画像 26と類似し、比較画像 25に撮影された被写体はあら力じめ登録された者であると認証される。このとき、登録画像 26に、対応する登録された者の情報等が付与されていれば、その情報から、比較画像 25 の HD情報も認証結果とともに出力部 9より出力される。なお、被認証者に対して確認を促す意味では、比較画像 25と類似すると判定された登録画像 26も出力部 9から被認証者に対して出力することが望ましい。

[0114] 以上述べたように、本発明の第 1の実施の形態における画像照合装置 1によれば、登録画像群 30を作成する際に、（4)式に示したように、各画素を独立して扱うのではなぐ複数の画素の情報力演算対象となる画素の情報を算出するとともに、複数の画素を同時に取り扱うことのできる画像生成モデル (反射モデル)を仮定し、その画像生成モデルの各ベクトルの統計モデルを用いて演算を行うので、登録画像 20のうち、全画素について同時に演算を行うことも可能であるし、登録画像 20を複数の領域に分割して、分割された領域毎に演算を行うことも可能である。このように、登録画像 20を複数の領域に分割して、分割された領域毎に演算を行った場合には、全画素をまとめて演算する場合と比較して、演算時間を短くすることが可能である。これは、相関演算に要する時間は、画素数の三乗に比例するために、全画素を一度に演算するよりも、いくつかに領域を分割して演算を行ったほうが演算時間を短くすることができるからである。

[0115] さらに、本発明の第 1の実施の形態における画像照合装置 1によれば、（4)式に示したような複数の画素を同時に取り扱うことのできる統計モデルを用いて演算を行うので、

[数 25]

= [L∑「.^LL⁷、 + Y [L∑ ' (Y - _MK ) + C"VJ

[0117] に示したように、 MAP推定を行った際、破線で囲んだ画素のみについて結果を採用することも可能である。すなわち、登録画像 20を構成する画素のうちで、影になっている部分等、その画素の情報を用いて法線アルべドベクトルの推定を行うことが難しい画素（以下、信頼性の低い画素と記す）については、他の鮮明に見えている画素（以下、信頼性の高い画素と記す）とグルーピングを行って演算することによって、他の信頼性の高い画素の影響を受けた状態で法線アルべドべ外ルの推定等を行うことが可能である。

[0118] よって、本発明の第 1の実施の形態における画像照合装置 1を用いれば、登録画像 20から登録画像群 30を作成する際に、登録画像 20中に影となったり、鏡面反射成分が大き力つたりして信頼性の低い画素が存在する場合にも、他の信頼性の高い画素の影響を受けた状態で、より信頼性の高ヽ登録画像群 30を作成することが可能である。なお、この画素信頼性については、画素毎にエラー成分 Vの値の分散∑Vを算出し、この値が所定の閾値よりも大きい画素を、信頼性の低い画素として決定し、それ以外の画素を信頼性の高い画素として決定することができる。

[0119] よって、本発明の第 1の実施の形態における画像照合装置 1を用いれば、比較画像 25と登録画像群 30との本人照合率を向上させることができる。

[0120] 例えば、本発明の第 1の実施の形態における画像照合装置 1を用いて比較画像 25 と登録画像群 30との照合を行った場合の一位照合率を、従来技術を用いて比較画像 25と登録画像群との照合を行った場合の一位照合率よりも向上させることができる。なお、一位照合率とは、比較画像に対して、その比較画像と同一の被写体が撮影された登録画像が一位で認証される割合のことをヽ、その比率が高ヽほど精度の高!、認証ができて、ることを示す。

[0121] 例えば、ブートストラップ画像として、同一の画像群を用いて統計モデルを算出し、この統計モデルを用いて、非特許文献 1に記載された方法で登録画像群を作成し、この登録画像群を用いて画像照合を行った場合の一位照合率が 87. 8%であったのに対して、本発明の第 1の実施の形態における画像照合装置 1を用いて画像照合を行った場合の一位照合率は、 94. 0%と大きく向上した。

[0122] また、本発明の第 1の実施の形態における画像照合装置 1においては、登録画像 2 0中における複数の画素についての相関演算を同時に行うことが可能である力この相関演算を行うべき画素の決定については、任意の画素を選択することが可能である。例えば、相関の高い画素同士、例えば、鼻の周辺、眼の周辺、頰の周辺等、近傍の画素同士をグルーピングすることも可能である。このようなグルーピングを行う場合には、頰の周辺については、右側の頰と左側の頰とは対照的な法線ベクトルを有すると考えられるので、同時に演算を行う画素にグルーピングして相関演算することにより、より信頼性の高い演算結果を得ることができる。

[0123] なお、本発明の第 1の実施の形態においては、登録画像群作成部 3を、画像照合装置 1の機能ブロックであるとして説明を行ったが、登録画像群作成部 3を他の機能ブロック力も独立させて、画像合成装置とすることも可能である。これにより、画像照合装置および画像照合方法における、登録画像群として記憶されるべき画像群を作成するのに適した画像合成装置を提供することができる。

[0124] (第 2の実施の形態）

次に、本発明の第 2の実施の形態における画像照合装置 40について説明する。図 7は本発明の第 2の実施の形態における画像照合装置 40の構成を示すブロック図である。

[0125] 図 7に示したように、本発明の第 2の実施の形態における画像照合装置 40は、前述の第 1の実施の形態における画像照合装置 1と比較して、比較画像入力部 5から入力された比較画像から、その照明方向および強度等の照明条件を推定する比較画像照明条件推定部である照明条件推定部 6と、照明条件推定部 6で推定された照明条件の情報を登録画像群記憶部 4に送るとともに、登録画像群記憶部 4に記憶された登録画像群 30から前述の比較画像の照明条件に適合した照明条件に対応する登録画像を検索、抽出して、比較照合部 8に出力する画像検索部である情報検索部 7を備えている。

[0126] 他の構成要件、すなわち、登録画像入力部 2、登録画像群作成部 3、登録画像群記憶部 4、比較画像入力部 5、比較照合部 8および出力部 9のそれぞれの機能に関しては、第 1の実施の形態における画像照合装置 1における各構成要素の機能と同様であるので、その説明を省略する。

[0127] 照明条件推定部 6における照明条件の推定は、第 1の実施の形態における画像照合装置 1の登録画像群作成部 3の照明条件推定部 41による照明条件の推定方法（図 3におけるステップ S2と同様の方法）を用いることができる。

[0128] また、本発明の第 2の実施の形態における登録画像群作成部 3は、登録画像群 30 を作成する際に、登録画像群 30それぞれのメタ情報として、照明方向や強度等の照明条件に関する情報を付与して登録画像群記憶部 4に記憶しておく構成であってもよい。このような構成によれば、本発明の第 2の実施の形態における画像照合装置 4 0の情報検索部 7は、登録画像群記憶部 4に記憶された登録画像群 30に付与されたメタ情報を手掛かりとして、比較照合部 8に送るべき登録画像の検索を行うことが可能である。

[0129] このような構成とすることにより、本発明の第 2の実施の形態の画像照合装置 40によれば、第 1の実施の形態における画像照合装置 1が奏する効果に加えて、さらに、比較画像 25から照明条件推定部 6によってその照明条件を推定し、登録画像群記憶部 4に記憶された登録画像群 30から、照明条件推定部 6によって推定された照明条件に対応する登録画像を検索して、比較照合部 8に送ることができる。例えば、第 1の実施の形態で説明したような比較画像 25が入力された場合には、その照明条件に対応する登録画像 26が、登録画像群記憶部 4から情報検索部 7によって比較照合部 8に送られる。 [0130] よって、比較照合部 8における比較照合処理を行う回数を減少させることができ、 C PU等に対する演算負荷を軽減することのできる、小型の装置に最適な構成を実現できる。

[0131] (第 3の実施の形態）

次に、本発明の第 3の実施の形態における画像照合装置 50について説明する。図 8は本発明の第 3の実施の形態における画像照合装置 50の構成を示すブロック図である。

[0132] 図 8に示したように、本発明の第 3の実施の形態における画像照合装置 50は、前述の第 1の実施の形態における画像照合装置 1と比較して、比較画像入力部 5から入力された比較画像力その特徴量を算出する特徴量算出部 31、および、登録画像群作成部 3で作成された登録画像から、それぞれの登録画像の特徴量を算出する特徴量算出部 32を備えた点が異なる。

[0133] ここで、特徴量算出部 31および特徴量算出部 32における画像からの特徴量算出方法としては、顔の特徴を表すポイントに、グラフと呼ばれるパターンを配置し、正確な顔の特徴点を見つけ、そのポイント毎の特徴量を登録データと比較、照合するダラフマッチング法や、変換対象力ウェーブレット波形を利用し、その波形が持つ特徴（周波数成分等)のみを取り出す、信号解析や画像圧縮に用いられる手法であるガボールウェーブレット変換等を用いることが可能である力本発明はこれらの特徴点の算出方法になんら限定されるものではない。

[0134] また、本発明の第 3の実施の形態における画像照合装置 50は、第 1の実施の形態における画像照合装置 1の登録画像群記憶部 4の代わりに、登録画像群から特徴量算出部 31によって算出された特徴量を記憶する特徴量記憶部 34を備えている。

[0135] さらに、本発明の第 3の実施の形態における画像照合装置 50は、第 1の実施の形態における画像照合装置 1の比較照合部 8の代わりに、比較画像力特徴量算出部

32で算出された特徴量と特徴量記憶部 34に記憶された登録画像群の特徴量とを比較照合する比較照合部 33を備えて、る。

[0136] 他の構成要件、すなわち、登録画像入力部 2、登録画像群作成部 3、比較画像入力部 5および出力部 9のそれぞれの機能に関しては、第 1の実施の形態における画像照合装置 1における各構成要素の機能と同様であるので、その説明を省略する。

[0137] このような構成とすることにより、本発明の第 3の実施の形態の画像照合装置 50によれば、第 1の実施の形態における画像照合装置 1が奏する効果に加えて、さらに、特徴量記憶部 34には、特徴量算出部 31によって算出された特徴量のデータが記憶されて、るので、登録画像群記憶部 4の画像情報そのものを記憶する構成と比較して、必要な記憶容量が少なくて済むので、装置全体の小型化や低コスト化を図ることができる。

[0138] さらに、本発明の第 3の実施の形態における画像照合装置 50によれば、第 1の実施の形態における画像照合装置 1が奏する効果に加えて、さらに、比較照合部 33が、特徴量記憶部 34および特徴量算出部 32からそれぞれ出力された特徴量を用いて比較照合を行うので、画像全体のマッチングを行う構成と比較して、比較照合部 33 での演算処理が小規模で済み、 CPU等に対する演算負荷を軽減することのできる、小型の装置に最適な構成を実現できる。

[0139] なお、本発明の実施の形態においては、被写体として人物の顔を用いた場合を例として説明を行ったが、本発明の画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法は、この用途に限定されず、被写体として一般の立体を有する物体を被写体としても用いることができる。

産業上の利用可能性

[0140] 以上述べたように、本発明によれば、演算対象となる画素が影になっているような場合でも、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成できるという格別な効果を奏することができるので、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置、特に画像照合に用いる登録画像群を作成する画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法等として有用である。

Claims

請求の範囲

[1] 被写体の第 1の画像力所定の照明条件における前記被写体の第 2の画像を合成する画像合成装置であって、

前記第 1の画像の輝度値から前記第 1の画像における前記被写体に対する照明条件を推定する照明条件推定部と、

前記照明条件推定部で推定された照明条件にもとづいて、前記第 1の画像における所定の画素の、前記被写体の法線方向を含む法線情報を推定する法線情報推定部と、

前記第 1の画像の前記所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定された前記エラー成分の情報から、前記所定の照明条件におけるエラー成分の情報を推定するエラー成分情報推定部と、

前記法線情報推定部によって推定された前記被写体の法線情報、および、前記エラ一成分情報推定部で推定された、前記所定の照明条件におけるエラー成分の情報から、前記所定の照明条件における前記被写体の前記第 2の画像を合成する画像合成部とを備え、

前記法線情報推定部は、前記第 1の画像における複数の画素の情報から前記所定の画素の法線情報を推定することを特徴とする画像合成装置。

[2] 前記エラー成分情報推定部は、前記第 1の画像における複数の画素の情報から前記所定の画素のエラー成分の情報を推定することを特徴とする請求項 1に記載の画像合成装置。

[3] 前記法線情報推定部は、あらかじめ学習用の画像によって計算された、複数の画素の情報にもとづヽて算出された統計モデルにもとづいて、前記法線方向を推定することを特徴とする請求項 1に記載の画像合成装置。

[4] 前記エラー成分情報推定部は、あらかじめ学習用の画像によって計算された、複数の画素の情報にもとづいて算出された統計モデルにもとづいて、前記エラー成分の情報を推定することを特徴とする請求項 2に記載の画像合成装置。

[5] 前記統計モデルが、

[数 1] Y = I/B + V

(ただし、 Y:画素の画像ベクトル、 L^T:照明行列 Sの転置行列 S^Tを対角上に配置した照明行列、 B:法線アルべドベクトル、 V：エラーベクトル）

で表わされる画像生成モデルの各ベクトルの統計モデルであることを特徴とする請求項 3に記載の画像合成装置。

[6] 互いに異なる複数の照明角度を含む照明条件が入力される照明条件入力部を備え前記画像合成部は、前記照明条件入力部力入力された複数の照明条件それぞれにおける前記第 2の画像を合成することを特徴とする請求項 1に記載の画像合成装置。

[7] 請求項 6に記載の画像合成装置と、

前記画像合成装置で作成された第 2の画像を登録画像群として記憶する登録画像群記憶部と、

比較すべき比較画像を入力する比較画像入力部と、

前記比較画像入力部から入力された比較画像と前記登録画像群記憶部に記憶された登録画像群とを比較照合する比較照合部とを備えたことを特徴とする画像照合装置。

[8] 前記比較画像入力部が入力した前記比較画像における照明条件を推定する比較画像照明条件推定部と、

前記比較画像照明条件推定部で推定された照明条件の登録画像を前記登録画像群記憶部から検索する画像検索部とを備え、

前記比較照合部は、前記画像検索部で検索された登録画像と前記比較画像とを照合することを特徴とする請求項 7に記載の画像照合装置。

[9] 前記画像合成装置で作成された第 2の画像の特徴量を算出する第 1の特徴量算出部と、

前記比較画像入力部で入力された比較画像の特徴量を算出する第 2の特徴量算出部とを備え、前記登録画像群記憶部は、前記第 2の画像の特徴量を記憶し、

前記比較照合部は、前記登録画像群と前記比較画像とをその特徴量によって比較照合することを特徴とする請求項 7に記載の画像照合装置。

[10] 被写体の第 1の画像力所定の照明条件における前記被写体の第 2の画像を合成する画像合成方法であって、

前記第 1の画像の輝度値から前記第 1の画像における前記被写体に対する照明条件を推定する第 1のステップと、

前記第 1のステップで推定された前記照明条件にもとづいて、前記第 1の画像における所定の画素の、前記被写体の法線方向を含む法線情報を推定する第 2のステップと、

前記第 1の画像の前記所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定された前記エラー成分の情報から、前記所定の照明条件におけるエラー成分の情報を推定する第 3のステップと、

前記第 2のステップで推定された前記被写体の法線情報、および、前記第 3のステツプにおいて推定された、前記所定の照明条件におけるエラー成分の情報から、前記所定の照明条件における前記被写体の前記第 2の画像を合成する第 4のステップとを備え、

前記第 2のステップにおいて、前記第 1の画像における複数の画素の情報から前記所定の画素の法線情報を推定することを特徴とする画像合成方法。

[11] 被写体の第 1の画像力所定の照明条件における前記被写体の第 2の画像を合成するプログラムであって、

コンピュータに、

前記第 2のステップで推定された前記被写体の法線情報、および、前記第 3のステツプにおいて推定された、前記所定の照明条件におけるエラー成分の情報から、前記所定の照明条件における前記被写体の前記第 2の画像を合成する第 4のステップとを実行させ、

前記第 2のステップにおいて、前記第 1の画像における複数の画素の情報から前記所定の画素の法線情報を推定することを特徴とするプログラム。