JPWO2006049237A1 - 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法 - Google Patents

Abstract

被写体の画像から被写体の法線情報を推定する法線情報推定装置であって、画像の輝度値から画像における被写体に対する照明方向を推定する照明方向推定部と、照明方向にもとづいて、画像における被写体の法線情報を推定する法線情報推定部と、被写体の法線情報および被写体に対する照明方向から画像の鏡面反射成分を推定する鏡面反射成分推定部とを備え、法線情報推定部は、鏡面反射成分除去部において鏡面反射成分を除去された画像から再度法線情報を推定し、鏡面反射成分を除去された画像から推定された法線情報を出力する。

Description

本発明は、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置に関し、特に画像照合に用いる法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法に関する。

従来から、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置が実用化されており、特に、バイオメトリクスを用いた認証方法の一つである顔認証方法を実現するための、画像照合装置が各種提案されてきている。顔認証方法を実現するための画像照合装置においては、認証可能な複数の者（以下、登録された者と記す）の顔画像をあらかじめ登録顔画像としてデータベースに登録しておき、認証される者（以下、被認証者と記す）の顔画像と登録顔画像とを比較照合して、その結果、被認証者の顔画像が特定の登録された者の登録顔画像と互いに一致するまたは類似すると判定された場合に、被認証者がその特定の登録された者であるとして認証される。

このような画像照合装置においては、被認証者の顔画像と登録顔画像との様々な撮影条件の違いによって、認証率が低下してしまうという課題があった。

例えば、被認証者の顔画像において照明が被認証者を照射する方向（以下、この方向のことを照明方向と記す）と、登録顔画像における被写体の照明方向とが異なる場合には、たとえ被写体が同一の画像同士であっても、比較照合を行った結果、互いに一致しないと判定されてしまう可能性があった。

この課題を解決するために様々な技術が提案されている。例えば、登録された者それぞれについて、一枚の登録顔画像からその撮影時の照明方向および顔の形状（法線ベクトル）等を推定し、これらの条件を用いて複数の異なる照明方向下における複数の画像（以下、登録顔画像群と記す）を作成してデータベースに登録し、認証時には被写体の顔画像とデータベースに登録された全ての登録顔画像群とを比較照合することにより、認証率を向上させる技術が提案されている（例えば、Ｔ．Ｓｉｍ，Ｔ．Ｋａｎａｄｅ，”Ｃｏｍｂｉｎｉｎｇ Ｍｏｄｅｌｓ ａｎｄ Ｅｘｅｍｐｌａｒｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ：Ａｎ Ｉｌｌｕｍｉｎａｔｉｎｇ Ｅｘａｍｐｌｅ，”Ｐｒｏｃ．ＣＶＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｏｄｅｌｓ ｖｅｒｓｕｓ Ｅｘｅｍｐｌａｒｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１．を参照）。

しかしながら、前述したような従来の技術においては、画像における照明方向を推定する際に、顔における反射が全て拡散反射であると仮定して照明方向を推定するが、現実の顔における反射は全てが拡散反射ではないので、顔の法線ベクトルの方向が正しく推定されない場合があった。このため、作成された登録顔画像群が必ずしも所定の照明方向において現実に撮影される画像と合致せず、後に認証処理を行った場合にも認証率が向上しないという課題があった。

本発明はこのような課題に鑑みてなされたものであり、現実に合致した登録顔画像群を作成でき、認証率の高い画像照合装置を提供するものである。

このような課題を解決するために、本発明の法線情報推定装置は、被写体の画像から被写体の法線情報を推定する法線情報推定装置であって、画像の輝度値から画像における被写体に対する照明方向を推定する照明方向推定部と、照明方向にもとづいて、画像における被写体の法線情報を推定する法線情報推定部と、被写体の法線情報および被写体に対する照明方向から画像の鏡面反射成分を推定する鏡面反射成分推定部と、画像から鏡面反射成分を除去する鏡面反射成分除去部とを備え、法線情報推定部は、鏡面反射成分除去部において鏡面反射成分を除去された画像から再度法線情報を推定することを特徴としている。なお、法線情報の推定とは、法線方向または法線方向を含む情報（例えば反射率等の情報）を推定することをいう。

このような構成によれば、光源の映りこみ等の影響による鏡面反射成分を除去した画像から法線推定を行うので、この法線情報推定装置を用いることにより、顔のテカリ等による光源の映りこみ等の悪影響を除去し、現実に合致した登録画像群を作成するための法線情報の推定を行うことができ、これを用いることにより認証率の高い画像照合装置を提供することができる。

また、鏡面反射成分を除去される前に法線情報推定部で推定された法線情報の値と、鏡面反射成分を除去された後に法線情報推定部で推定された法線情報の値とを比較して、法線情報の値が収束しているか否かを判定する収束判定部をさらに備え、収束判定部で収束していると判定された法線情報の値を出力する構成であってもよい。

このような構成によれば、さらに、収束判定部によって収束されたと判定された法線情報の値を出力するので、より正確な法線情報の算出を行うことができる。

また、照明方向推定部は、鏡面反射成分除去部において鏡面反射成分を除去された画像から再度被写体の照明方向を推定し、法線情報推定部は、照明方向推定部で再度推定された照明方向を用いて、鏡面反射成分を除去された画像から再度法線情報を推定する構成であってもよい。

このような構成によれば、さらに、鏡面反射成分を除去された画像から照明方向の推定を再度行い、その結果得られた照明方向を用いて再度法線情報を推定するので、さらに、現実に合致した法線情報を推定することが可能となる。

さらに、本発明の登録画像群作成装置は、本発明の法線情報推定装置と、登録すべき登録画像を法線情報推定装置に入力する登録画像入力部と、互いに異なる複数の照明方向が入力される照明方向入力部と、法線情報推定装置から出力された登録画像に対応する法線情報にもとづいて、互いに異なる複数の照明方向における被写体の鏡面反射成分を算出する鏡面反射成分算出部と、法線情報推定装置から出力された登録画像に対応する法線情報にもとづいて、互いに異なる複数の照明方向における被写体の拡散反射成分を算出する拡散反射成分算出部と、鏡面反射成分と拡散反射成分とを加算して互いに異なる複数の照明方向における登録画像群を作成する画像合成部とを備えたことを特徴としている。

このような構成によれば、鏡面反射成分を除去した画像から法線推定を行うので、映りこみ等の悪影響を除去し、現実に合致した登録画像群を作成することができるので、これを用いることにより、認証率の高い画像照合装置を提供することができる。

次に、本発明の画像照合装置は、本発明の登録画像群作成装置と、登録画像群作成装置で作成された登録画像群を記憶する登録画像群記憶部と、比較すべき比較画像を入力する比較画像入力部と、比較画像入力部から入力された比較画像と登録画像群記憶部に記憶された登録画像群とを比較照合する比較照合部とを備えたことを特徴としている。

このような構成によれば、鏡面反射成分を除去した画像から法線推定を行うので、映りこみ等の悪影響を除去し、現実に合致した登録画像群を作成することができるので、認証率の高い画像照合装置を提供することができる。

さらに、比較画像入力部が入力した比較画像における照明方向を推定する比較画像照明方向推定部と、比較画像照明方向推定部で推定された照明方向の登録画像を登録画像群記憶部から検索する画像検索部とを備え、比較照合部は、画像検索部で検索された登録画像と比較画像とを照合する構成であってもよい。

このような構成によれば、さらに、比較画像からその照明方向を推定し、登録画像群記憶部に記憶された登録画像群から、推定された照明方向に対応する登録画像を検索して、比較照合を行うことができ、比較照合処理を行う回数を減少させることができ、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に適した構成を実現できる。

さらに、登録画像群作成装置で作成された登録画像群の特徴量を算出する第１の特徴量算出部と、比較画像入力部で入力された比較画像の特徴量を算出する第２の特徴量算出部とを備え、登録画像群記憶部は、登録画像群の特徴量を記憶し、比較照合部は、登録画像群と比較画像とをその特徴量によって比較照合する構成であってもよい。

このような構成によれば、さらに、登録画像群記憶部には、特徴量算出部によって算出された特徴量のデータが記憶されているので、登録画像群の画像情報そのものを記憶する構成と比較して、必要な記憶容量が少なくて済むとともに、比較照合部が、登録画像群記憶部および特徴量算出部からそれぞれ出力された特徴量を用いて比較照合を行うので、画像全体のマッチングを行う構成と比較して、比較照合部での演算処理が小規模で済み、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に適した構成を実現できる。

次に、本発明の法線情報推定方法は、被写体の画像から被写体の法線情報を推定する法線情報推定方法であって、画像の輝度値から画像における被写体に対する照明方向を推定する第１のステップと、照明方向にもとづいて、画像における被写体の法線情報を推定する第２のステップと、被写体の法線情報および被写体に対する照明方向から画像の鏡面反射成分を推定する第３のステップと、画像から鏡面反射成分を除去する第４のステップと、第４のステップにおいて鏡面反射成分を除去された画像から、再度法線情報を推定する第５のステップとを備えたことを特徴としている。

このような方法によれば、鏡面反射成分を除去した画像から法線推定を行うので、この法線情報推定方法を用いることにより、顔のテカリ等による光源の映りこみ等の悪影響を除去し、現実に合致した法線情報推定を行うことができる。

次に、本発明のプログラムは、被写体の画像から被写体の法線情報を推定するプログラムであって、コンピュータに、画像の輝度値から画像における被写体に対する照明方向を推定する第１のステップと、照明方向にもとづいて、画像における被写体の法線情報を推定する第２のステップと、被写体の法線情報および被写体に対する照明方向から画像の鏡面反射成分を推定する第３のステップと、画像から鏡面反射成分を除去する第４のステップと、第４のステップにおいて鏡面反射成分を除去された画像から、再度法線情報を推定する第５のステップとを実行させることを特徴としている。

このようなプログラムによれば、鏡面反射成分を除去した画像から法線推定を行うので、このプログラムを用いることにより、顔のテカリ等による映りこみ等の悪影響を除去し、現実に合致した法線情報推定を行うことができる。

以上述べたように、本発明によれば、現実に合致した登録画像群を作成でき、認証率の高い画像照合装置を提供することができる。

図１は、本発明の第１の実施の形態における画像照合装置の構成を示すブロック図である。 図２は、本発明の第１の実施の形態における登録画像群作成装置の構成を示すブロック図である。 図３は、本発明の第１の実施の形態における法線情報推定装置の構成を示すブロック図である。 図４は、本発明の第１の実施の形態における画像照合装置の登録画像群作成装置の動作ステップを示すフローチャートである。 図５は、本発明の第１の実施の形態における登録画像の一例を概念的に示す図である。 図６は、本発明の第１の実施の形態における登録画像群の一例を概念的に示す図である。 図７は、本発明の実施の形態における比較画像の一例を概念的に示す図である。 図８は、本発明の第２の実施の形態における画像照合装置の構成を示すブロック図である。 図９は、本発明の第３の実施の形態における画像照合装置の構成を示すブロック図である。

符号の説明

１，４０，５０ 画像照合装置
２ 登録画像入力部
３ 登録画像群作成装置
４ 登録画像群記憶部
５ 比較画像入力部
６ 照明方向推定部
７ 画像検索部
８，３３ 比較照合部
９ 出力部
２０，２６ 登録画像
２５ 比較画像
３０ 登録画像群
３１，３２ 特徴量算出部
３４ 特徴量記憶部
４１ 照明方向推定部
４２ 法線情報推定装置
４３ 反射成分情報算出部
４４ 照明方向入力部
４５ 画像合成部
５２ 法線情報推定部
５３ 鏡面反射成分推定部
５４ 鏡面反射成分除去部
５５ 収束判定部
６１ 鏡面反射成分算出部
６２ 拡散反射成分算出部

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態における画像照合装置について説明する。図１は、本発明の第１の実施の形態における画像照合装置１の構成を示すブロック図である。

図１に示したように、本発明の第１の実施の形態における画像照合装置１は、登録された者の登録画像２０（図５を参照）が入力される登録画像入力部２、登録画像入力部２によって入力された登録画像２０から、後述する方法により、複数の照明方向下における登録画像群を作成する登録画像群作成装置３、登録画像群作成装置３で作成された登録画像群を記憶する登録画像群記憶部４、被認証者の顔画像（以下、比較画像と記す）が入力される比較画像入力部５、比較画像入力部５から入力された比較画像と登録画像群記憶部４に記憶された登録画像群とを比較照合する比較照合部８、および、比較照合部８で比較照合された結果等の情報が出力される出力部９を備える。

登録画像入力部２および比較画像入力部５は、公知の記憶媒体から画像を入力する構成であってもよいし、スキャナ等の公知の読取手段を用いて構成することも可能であるし、カメラ等で撮影された画像が入力される構成であってもよい。また、本発明の第１の実施の形態における画像照合装置１は、登録画像入力部２と比較画像入力部５とをそれぞれ独立に備える構成に限定されるものではなく、単独の入力手段を共用する構成であってもよい。

登録画像群作成装置３の各構成要素および比較照合部８については、後述する機能がソフトウェアによって実現されていてもよいし、専用回路等のハードウェアによって機能が実現されていてもよい。

登録画像群記憶部４は、ＨＤＤや半導体メモリ等の公知の記録媒体から選択したものを用いることができる。

出力部９は、比較照合部８からの照合可能か不可能かを示す信号をそのまま出力する構成であってもよいし、被認証者に対して映像または音声によって照合結果を知らしめる構成であってもよい。

比較照合部８の機能としては、例えば、固有空間法、部分空間法またはＫＮＮ法等の公知の画像比較照合方法を用いることが可能である。

ここで、本発明の第１の実施の形態における登録画像群作成装置３の構成および機能について詳細に説明する。図２は、本発明の第１の実施の形態における登録画像群作成装置３の構成を示すブロック図である。

図２に示したように、本発明の第１の実施の形態における登録画像群作成装置３は、登録画像入力部２から登録画像２０が入力され、入力された登録画像２０からその被写体の法線アルベドベクトルを含む法線情報を推定する法線情報推定装置４２、登録画像群を作成すべき複数の照明方向が入力される照明方向入力部４４、法線情報推定装置４２によって推定された法線情報を用いて照明方向入力部４４に入力された複数の照明方向における被写体の鏡面反射成分および拡散反射成分を算出する反射成分情報算出部４３、および、反射成分情報算出部４３で算出された反射成分情報にもとづいて、登録画像群の合成処理を行う画像処理部４５を備える。反射成分情報算出部４３は、鏡面反射成分を算出する鏡面反射成分算出部６１および拡散反射成分を算出する拡散反射成分算出部６２を有する。

また、ここで本発明の第１の実施の形態における法線情報推定装置４２の構成および機能について詳細に説明する。図３は、本発明の第１の実施の形態における法線情報推定装置４２の構成を示すブロック図である。

図３に示したように、本発明の第１の実施の形態における法線情報推定装置４２は、登録画像入力部２から登録画像２０が入力され、入力された登録画像２０からその照明方向を推定する照明方向推定部４１、照明方向推定部４１で推定された照明方向および登録画像２０の濃淡値から登録画像２０における被写体の法線情報を推定する法線情報推定部５２、法線情報推定部５２で推定された法線情報および照明方向推定部４１で推定された照明方向から登録画像２０の濃淡値における鏡面反射成分を推定する鏡面反射成分推定部５３、登録画像２０の濃淡値から鏡面反射成分推定部５３で推定された鏡面反射成分を除去する鏡面反射成分除去部５４、ならびに、法線情報推定部５２で推定された法線情報の値が収束しているか否かを判定する収束判定部５５を備える。

法線情報推定部５２は、鏡面反射成分除去部５４で鏡面反射成分を除去された画像から再度法線情報を推定し、収束判定部５５は、鏡面反射成分を除去された画像から推定された法線情報と、鏡面反射成分を除去される前の画像から推定された法線情報とを比較して、その差が所定の値よりも小さくなったときに、法線情報が収束したものと判定して、鏡面反射成分を除去された画像から推定された法線情報または鏡面反射成分を除去される前の画像から推定された法線情報を出力する（値が収束しているので、いずれを出力してもよい）。なお、本発明は、上述のように、法線情報推定部５２が鏡面反射成分を除去される前後の画像から法線情報を推定する構成に限定されず、鏡面反射成分を除去される前の画像から法線情報を推定する第１の法線情報推定部および鏡面反射成分を除去された後の画像から法線情報を推定する第２の法線情報推定部の二つの法線情報推定部を用いることも可能である。この場合、収束判定部５５は、第１の法線情報推定部で算出された法線情報と、第２の法線情報推定部で算出された法線情報とを比較して、収束判定を行う。

ここで、本発明の第１の実施の形態における画像照合装置１の動作について説明する。図４は、本発明の第１の実施の形態における画像照合装置１の登録画像群作成装置３の動作ステップを示すフローチャートである。なお、登録画像群作成装置３の各構成要素および画像照合部８の機能は、ハードウェアまたはソフトウェアのいずれでも実現することが可能である。これらの機能をソフトウェアにて実現しようとする場合には、後述する図４におけるステップＳ１からステップＳ１３までの各処理をソフトウェアにて記述して、コンピュータに実行させる。

図４に示したように、まず、登録画像入力部２から、登録画像群作成装置３に登録画像２０が入力される（Ｓ１）。ここで、登録画像２０は、登録されるべき者の一枚の顔画像であるとする。図５は本発明の第１の実施の形態における登録画像２０の一例を概念的に示す図である。実際には、登録画像２０は、縦１２０×横９０の計１０８００画素の陰影を有する画像を用いている。

登録画像２０は、登録画像群作成装置３の法線情報推定装置４２に送られ、法線情報推定装置４２の照明方向推定部４１は、一枚の登録画像２０の撮影時における照明方向を推定する（Ｓ２）。照明方向の推定は、統計量を算出するための学習画像セットにおけるＪ個の照明パターンを各々ｓ_ｊとおき、そのガウスカーネルの幅をσ_ｊとおき、学習画像の各照明パターンの平均をａ_ｊとおき、入力画像をｂとすると、下式のような単純なカーネルリグレッション（ｋｅｎｅｌ ｒｅｇｒｅｓｓｉｏｎ）によって、登録画像２０の照明方向を推定することができる。

次に、法線情報推定装置４２の法線情報推定部５２は、登録画像２０における反射率を考慮した法線アルベドベクトルの初期値を推定する（Ｓ３）。なお、法線アルベドベクトルとは、法線方向ベクトルにそのアルベド（反射率）を積算したベクトルのことをいう。

画像ベクトルは、例えばｙ（ｘ）を画素ｘの濃淡値とし、ＳをＪ個の照明方向ベクトル（学習用）とし、ｂ（ｘ）を画素ｘの法線アルベドベクトルとし、ｖ（ｘ）を画素ｘの照明Ｊ個のエラー値ベクトルとしたときに、（４）式のように表すことができる。

ステップＳ３における、法線アルベドベクトルの初期値は、ステップＳ２で推定した照明方向ベクトルＳ’を用いて、ＭＡＰ推定で得られた法線アルベドベクトルｂ_ＭＡＰ（ｘ）として推定することができる。

次に、法線情報推定装置４２の鏡面反射成分推定部５３は、法線情報推定部５２で推定された法線アルベドベクトルの初期値から、鏡面反射成分を算出する（Ｓ４）。

鏡面反射成分Ｍ（ｘ）の算出は、ステップＳ２で推定した照明方向と、法線アルベドベクトルｂ_ＭＡＰ（ｘ）とから算出することができる。

Ｍ（ｘ）＝ｙ（ｘ）−Ｓｂ_ＭＡＰ（ｘ）＝ｖ（ｘ） （７）
（７）式においては、実際の輝度値ｙ（ｘ）と、ステップＳ２で推定した照明方向と法線アルベドベクトルｂ_ＭＡＰ（ｘ）とから算出した輝度成分Ｓｂ_ＭＡＰ（ｘ）との差ｖ（ｘ）を鏡面反射成分Ｍ（ｘ）とみなしている。すなわち、ステップＳ４における鏡面反射成分Ｍ（ｘ）の推定は、その初期値の推定であるので、もっとも処理を高速に行うために、エラー値ベクトルｖ（ｘ）全てを鏡面反射成分Ｍ（ｘ）であるとして演算したものである。

また、鏡面反射成分Ｍ（ｘ）の正確な演算を行うためには、ステップＳ４において、後述するフォーン（Ｐｈｏｎｇ）のモデルやトランス−スパロウ（Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗ）モデル等の推定モデルを用いてその推定を行うことも可能である。

さらに、登録画像２０を画像照合装置１の管理者が目測して、一見して登録画像２０に、例えば、輝度の著しく高い部分（顔のテカリや眼鏡のフレーム等の影響による鏡面反射成分と推定される）や輝度が著しく低い部分（鼻等の高い部分の影の成分、いわゆるキャストシャドウ成分と推定される）といった、特定部分の輝度が他の部分のそれと著しく異なっていると判別できる部分が含まれている場合には、それぞれの部分を分離して、そのうち輝度が著しく高い部分を鏡面反射成分であるとみなす演算を行い、輝度が著しく低い部分をキャストシャドウ成分とみなす演算を行ってもよい。このような管理者の主観的な判断が介在することが好ましくない場合には、例えば、エラー成分ｖ（ｘ）のうち、正の値の部分のみを抽出して、その部分を鏡面反射成分であるとし、負の値の部分をキャストシャドウ成分であるとして演算を行うことも可能である。なお、本実施の形態においては、鏡面反射成分を法線情報推定の阻害要因として説明しているが、鏡面反射成分やキャストシャドウ成分の他にも、エラー成分に含まれる成分については、法線情報推定の阻害要因となり得る。鏡面反射成分を用いて説明を行った例と同様に、これらの法線情報推定の阻害要因となる成分についても除去して、法線情報の推定を行うことも可能である。

次に、法線情報推定装置４２の鏡面反射成分除去部５４は、登録画像２０の濃淡値ｙ（ｘ）から、ステップＳ４で鏡面反射成分推定部５３が推定した鏡面反射成分Ｍ（ｘ）を除去する（ステップＳ５）。

そして、法線情報推定装置４２の法線情報推定部５２は、ステップＳ５において鏡面反射成分Ｍ（ｘ）を除去された画像ｙ’（ｘ）からステップＳ３で法線アルベドベクトルの初期値を推定したときと同じ方法で再度法線アルベドベクトルを推定する（Ｓ６）。

次に、法線情報推定装置４２の収束判定部５５は、前のステップＳ３において推定された法線アルベドベクトルの値ｂ_ＭＡＰ（ｘ）と、ステップＳ６で推定された法線アルベドベクトルの値とを比較して、値が収束するまで、ステップＳ４からステップＳ６までの処理を法線情報推定部５２、鏡面反射成分５３および鏡面反射成分除去部５４に継続させる（Ｓ７）。

収束判定部５５は、ステップＳ４からステップＳ６までの処理を法線情報推定部５２、鏡面反射成分５３および鏡面反射成分除去部５４に繰り返させる際に、前回推定された法線アルベドベクトルと今回推定された法線アルベドベクトルとの一致度を比較し、一致度が所定の閾値以上であれば収束したとして、その値を登録画像２０の法線アルベドベクトルの値であるとして決定し、登録画像群作成装置３の反射成分情報算出部４３に出力する（Ｓ８）。このときの一致度は、例えば法線アルベドベクトル同士の相関距離の和、ユークリッド距離の和の逆数、または、単位法線ベクトルに変換した後の法線アルベドベクトルの相関距離の和等、比較対照となる２つの法線アルベドベクトルまたは法線ベクトルの類似性を表現し得るものであればよい。

また、ステップＳ６において、鏡面反射成分推定部５３によって鏡面反射成分の推定を行う際に、同時に照明方向推定部４１によって照明方向の推定処理を行うことにより、照明方向および鏡面反射成分双方の推定精度を向上させることが可能である。反射モデルを用いた鏡面反射成分は、後述のように記述できるが、ここで照明方向の推定精度を高めることができれば、同時に鏡面反射成分の推定精度も向上させることができるからである。

ステップＳ８においては、登録画像２０についての法線アルベドベクトルの値を決定するとともに、登録画像群作成装置３の反射成分情報算出部４３が、登録画像２０における鏡面反射成分Ｍ（ｘ）と拡散反射成分Ｉ（ｘ）とを決定する。具体的には、鏡面反射成分算出部６１が鏡面反射成分Ｍ（ｘ）を算出し、拡散反射成分算出部６２が拡散反射成分Ｉ（ｘ）を算出する。

鏡面反射成分Ｍ（ｘ）の算出を、ある１点、あるいは１画素について行う場合について説明する。全画面中の鏡面反射成分の算出は、この処理を全画面中の全画素について行うことで可能となる。

例えば、Ｐｈｏｎｇのモデルでは、鏡面反射項Ｉ_ｓは
Ｉ_ｓ＝Ｉ_Ｌｒ_ｓ（ｐ^Ｔｍ）^ｑ （８）
を用いて算出することが可能である。すなわち、ｍは次式を満たす。

ｍ^Ｔｎ＝−ｌ^Ｔｎ，ｍ^Ｔ（ｌ×ｎ）＝０ （９）
ここで、Ｉ_Ｌは入射光の強さ、ｒ_ｓは鏡面反射率、ｑは表面の滑らかさを表すパラメータ、ｎは法線方向単位ベクトル、ｌは入射光方向単位ベクトル、ｐは視線方向単位ベクトル、ｍはｌおよびｎと同じ平面上にあり、かつ、入射角と反射角とが等しくなる方向を表す単位ベクトルである。

他にも、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルを用いることができ、
Ｉ_ｓ＝Ｉ_Ｌｒ_ｓｅｘｐ｛−（（ｃｏｓ^−１（ｐ^Ｔｍ））^２／σ^２）｝ （１０）
ここで、σは表面の滑らかさを表すパラメータであり、他のパラメータは前述のＰｈｏｎｇのモデルで説明した通りである。

なお、本発明は、ここで説明した鏡面反射成分の算出方法に限定されるものではなく、広く知られた方法を適宜用いることができる。例えば、前述のモデルを含む各種の鏡面反射成分の算出方法については、例えば「徐剛、“写真から作る３次元ＣＧ”、近代科学社、２００１年、ｐ．９５−９６」に記載されている方法を用いることもできる。

次に、拡散反射成分Ｉ（ｘ）の算出は、
Ｉ＝ＢＳ（１１）
を用いて行う。ここで、
Ｉ：画像データ（Ｎ画素×ｃ入力画像数）
Ｂ：物体の法線方向と反射率よりなる行列（Ｎ×３）
Ｓ：光源方向＆強さ行列（３×ｃ）
である。ここまでで、被写体の登録画像２０を用いた前処理は終了する。

次に、登録画像群作成装置３の反射成分情報算出部４３は、照明方向入力部４４から複数の照明方向を入力し（Ｓ１０）、その照明方向に対応する鏡面反射成分Ｍ（ｘ）および拡散反射成分Ｉ（ｘ）を算出する（Ｓ１１）。具体的には、鏡面反射成分算出部６１が鏡面反射成分Ｍ（ｘ）を算出し、拡散反射成分算出部６２が拡散反射成分Ｉ（ｘ）を算出する。

照明方向の一例としては、例えば顔の正面方向を、（左右の角度：０°、上下の角度：０°）と置いたときに左右上下ともに２０°間隔に６０°まで取ることができる。この場合、−６０°、−４０°、−２０°、０°、２０°、４０°、６０°の７種類の角度があり、上下左右合わせて７×７の４９通りの照明方向ができる。なお、角度は等間隔である必要はなく、使用目的や用途に合わせて適宜効果のある角度を選択すればよい。

そして、ステップＳ１１で、反射成分情報算出部４３で算出された所定の角度に対応する鏡面反射成分Ｍ（ｘ）および拡散反射成分Ｉ（ｘ）を、画像合成部４５が加えることにより、互いに異なる所定の照明方向に対応した被写体の複数の登録画像からなる群を得ることができる（Ｓ１２）。このような処理を、照明方向入力部４４から入力された複数の照明方向それぞれについて行うことによって（Ｓ１３）、登録画像群３０を作成することができる。図６は本発明の第１の実施の形態における登録画像群３０の一例を概念的に示す図である。なお、本発明の第１の実施の形態においては、あらかじめ定められた照明方向が照明方向入力部４４から入力された例を示したが、本発明はこの構成に限定されず、照明方向入力部４４から管理者等によって、任意の照明方向が入力される構成であってもよい。

図１または図２に示したように、本発明の第１の実施の形態の画像照合装置１において、登録画像群作成装置３で作成された登録画像群３０は、登録画像群記憶部４に記憶される。ここまでで、本発明の第１の実施の形態の画像照合装置１における照合の準備が完了する。

本発明の第１の実施の形態の画像照合装置１において、被認証者の比較画像２５が比較画像入力部５から入力された場合には、比較画像２５は比較画像入力部５から比較照合部８に送られ、比較照合部８において、比較画像２５と登録画像群３０との比較照合処理がなされ、その結果が出力部９から出力される。図７に、本発明の実施の形態における比較画像２５の一例を概念的に示す。

以上述べたように、本発明の第１の実施の形態における画像照合装置１によれば、被写体の画像から鏡面反射成分Ｍ（ｘ）を算出して、鏡面反射成分Ｍ（ｘ）を除去してから法線アルベドベクトルの推定を行うので、鏡面反射成分Ｍ（ｘ）の悪影響（例えば、顔に油が浮いているときに照明が鏡面反射することによるテカリの影響等）を受けない法線アルベドベクトルの推定を行うことが可能となり、より実際の被写体に近い法線アルベドベクトルを出力することができる。よって、本発明の第１の実施の形態における画像照合装置１によって推定された法線アルベドベクトルを用いて、想定される複数の照明方向下における登録画像群３０を作成した場合にも、より実際に近い、正確な登録画像群３０を得ることが可能となる。

例えば、本発明の第１の実施の形態における画像照合装置１を用いて比較画像２５との照合を行った場合と従来技術における画像照合装置とを比較すれば、その一位照合率を向上させることができる。なお、一位照合率とは、比較画像と同一の被写体が撮影された登録画像が一位で認証される割合のことをいい、その比率が高いほど精度の高い認証ができていることを示す。

（第２の実施の形態）
次に、本発明の第２の実施の形態における画像照合装置４０について説明する。図８は本発明の第２の実施の形態における画像照合装置４０の構成を示すブロック図である。

図８に示したように、本発明の第２の実施の形態における画像照合装置４０は、前述の第１の実施の形態における画像照合装置１と比較して、比較画像入力部５から入力された比較画像から、その照明方向等を推定する照明方向推定部６と、照明方向推定部６で推定された照明方向の情報を登録画像群記憶部４に送るとともに、登録画像群記憶部４に記憶された登録画像群３０から前述の比較画像の照明方向に適合した照明方向に対応する登録画像を検索、抽出して、比較照合部８に出力する画像検索部７を備えている。

他の構成要件、すなわち、登録画像入力部２、登録画像群作成装置３、登録画像群記憶部４、比較画像入力部５、比較照合部８および出力部９のそれぞれの機能に関しては、第１の実施の形態における画像照合装置１における各構成要素の機能と同様であるので、その説明を省略する。

このような構成とすることにより、本発明の第２の実施の形態の画像照合装置４０によれば、第１の実施の形態における画像照合装置１が奏する効果に加えて、さらに、比較画像２５から照明方向推定部６によってその照明方向を推定し、登録画像群記憶部４に記憶された登録画像群３０から、照明方向推定部６によって推定された照明方向に対応する登録画像を検索して、比較照合部８に送ることができる。例えば、第１の実施の形態で説明したような比較画像２５が入力された場合には、その照明方向に対応する登録画像２６が、登録画像群記憶部４から画像検索部７によって比較照合部８に送られる。

よって、比較照合部８における比較照合処理を行う回数を減少させることができ、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に最適な構成を実現できる。

（第３の実施の形態）
次に、本発明の第３の実施の形態における画像照合装置５０について説明する。図９は本発明の第３の実施の形態における画像照合装置５０の構成を示すブロック図である。

図９に示したように、本発明の第３の実施の形態における画像照合装置５０は、前述の第１の実施の形態における画像照合装置１と比較して、比較画像入力部５から入力された比較画像からその特徴量を算出する特徴量算出部３１、および、登録画像群作成装置３で作成された登録画像から、それぞれの登録画像の特徴量を算出する特徴量算出部３２を備えた点が異なる。

ここで、特徴量算出部３１および特徴量算出部３２における画像からの特徴量算出方法としては、顔の特徴を表すポイントに、グラフと呼ばれるパターンを配置し、正確な顔の特徴点を見つけ、そのポイントごとの特徴量を登録データと比較、照合するグラフマッチング法や、変換対象からウェーブレット波形を利用し、その波形が持つ特徴（周波数成分等）のみを取り出す、信号解析や画像圧縮に用いられる手法であるガボールウェーブレット変換を用いることが可能であるが、本発明はこの特徴点の算出方法について、なんら限定するものではない。

また、本発明の第３の実施の形態における画像照合装置５０は、第１の実施の形態における画像照合装置１の登録画像群記憶部４の代わりに、登録画像群から特徴量算出部３１によって算出された特徴量を記憶する特徴量記憶部３４を備えている。

さらに、本発明の第３の実施の形態における画像照合装置５０は、第１の実施の形態における画像照合装置１の比較照合部８の代わりに、比較画像から特徴量算出部３２で算出された特徴量と特徴量記憶部３４に記憶された登録画像群の特徴量とを比較照合する比較照合部３３を備えている。

他の構成要件、すなわち、登録画像入力部２、登録画像群作成装置３、比較画像入力部５および出力部９のそれぞれの機能に関しては、第１の実施の形態における画像照合装置１における各構成要素の機能と同様であるので、その説明を省略する。

このような構成とすることにより、本発明の第３の実施の形態の画像照合装置５０によれば、第１の実施の形態における画像照合装置１が奏する効果に加えて、さらに、特徴量記憶部３４には、特徴量算出部３１によって算出された特徴量のデータが記憶されているので、登録画像群記憶部４の画像情報そのものを記憶する構成と比較して、必要な記憶容量が少なくて済む。

さらに、本発明の第３の実施の形態における画像照合装置５０によれば、第１の実施の形態における画像照合装置１が奏する効果に加えて、さらに、比較照合部３３が、特徴量記憶部３４および特徴量算出部３２からそれぞれ出力された特徴量を用いて比較照合を行うので、画像全体のマッチングを行う構成と比較して、比較照合部３３での演算処理が小規模で済み、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に最適な構成を実現できる。

本発明に係る法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法およびプログラムによれば、現実に合致した登録画像群を作成でき、認証率の高い画像照合装置を提供することができるという効果を奏することができるので、特に画像照合に用いる法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法およびプログラム等として有用である。

本発明は、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置に関し、特に画像照合に用いる法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法に関する。

従来から、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置が実用化されており、特に、バイオメトリクスを用いた認証方法の一つである顔認証方法を実現するための、画像照合装置が各種提案されてきている。顔認証方法を実現するための画像照合装置においては、認証可能な複数の者（以下、登録された者と記す）の顔画像をあらかじめ登録顔画像としてデータベースに登録しておき、認証される者（以下、被認証者と記す）の顔画像と登録顔画像とを比較照合して、その結果、被認証者の顔画像が特定の登録された者の登録顔画像と互いに一致するまたは類似すると判定された場合に、被認証者がその特定の登録された者であるとして認証される。

このような画像照合装置においては、被認証者の顔画像と登録顔画像との様々な撮影条件の違いによって、認証率が低下してしまうという課題があった。

例えば、被認証者の顔画像において照明が被認証者を照射する方向（以下、この方向のことを照明方向と記す）と、登録顔画像における被写体の照明方向とが異なる場合には、たとえ被写体が同一の画像同士であっても、比較照合を行った結果、互いに一致しないと判定されてしまう可能性があった。

この課題を解決するために様々な技術が提案されている。例えば、登録された者それぞれについて、一枚の登録顔画像からその撮影時の照明方向および顔の形状（法線ベクトル）等を推定し、これらの条件を用いて複数の異なる照明方向下における複数の画像（以下、登録顔画像群と記す）を作成してデータベースに登録し、認証時には被写体の顔画像とデータベースに登録された全ての登録顔画像群とを比較照合することにより、認証率を向上させる技術が提案されている（例えば、Ｔ．Ｓｉｍ，Ｔ．Ｋａｎａｄｅ，”Ｃｏｍｂｉｎｉｎｇ Ｍｏｄｅｌｓ ａｎｄ Ｅｘｅｍｐｌａｒｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ： Ａｎ Ｉｌｌｕｍｉｎａｔｉｎｇ Ｅｘａｍｐｌｅ，”Ｐｒｏｃ．ＣＶＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｏｄｅｌｓ ｖｅｒｓｕｓ Ｅｘｅｍｐｌａｒｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１．を参照）。

しかしながら、前述したような従来の技術においては、画像における照明方向を推定する際に、顔における反射が全て拡散反射であると仮定して照明方向を推定するが、現実の顔における反射は全てが拡散反射ではないので、顔の法線ベクトルの方向が正しく推定されない場合があった。このため、作成された登録顔画像群が必ずしも所定の照明方向において現実に撮影される画像と合致せず、後に認証処理を行った場合にも認証率が向上しないという課題があった。

本発明はこのような課題に鑑みてなされたものであり、現実に合致した登録顔画像群を作成でき、認証率の高い画像照合装置を提供するものである。

このような課題を解決するために、本発明の法線情報推定装置は、被写体の画像から被写体の法線情報を推定する法線情報推定装置であって、画像の輝度値から画像における被写体に対する照明方向を推定する照明方向推定部と、照明方向にもとづいて、画像における被写体の法線情報を推定する法線情報推定部と、被写体の法線情報および被写体に対する照明方向から画像の鏡面反射成分を推定する鏡面反射成分推定部と、画像から鏡面反射成分を除去する鏡面反射成分除去部とを備え、法線情報推定部は、鏡面反射成分除去部において鏡面反射成分を除去された画像から再度法線情報を推定することを特徴としている。なお、法線情報の推定とは、法線方向または法線方向を含む情報（例えば反射率等の情報）を推定することをいう。

このような構成によれば、光源の映りこみ等の影響による鏡面反射成分を除去した画像から法線推定を行うので、この法線情報推定装置を用いることにより、顔のテカリ等による光源の映りこみ等の悪影響を除去し、現実に合致した登録画像群を作成するための法線情報の推定を行うことができ、これを用いることにより認証率の高い画像照合装置を提供することができる。

また、鏡面反射成分を除去される前に法線情報推定部で推定された法線情報の値と、鏡面反射成分を除去された後に法線情報推定部で推定された法線情報の値とを比較して、法線情報の値が収束しているか否かを判定する収束判定部をさらに備え、収束判定部で収束していると判定された法線情報の値を出力する構成であってもよい。

このような構成によれば、さらに、収束判定部によって収束されたと判定された法線情報の値を出力するので、より正確な法線情報の算出を行うことができる。

また、照明方向推定部は、鏡面反射成分除去部において鏡面反射成分を除去された画像から再度被写体の照明方向を推定し、法線情報推定部は、照明方向推定部で再度推定された照明方向を用いて、鏡面反射成分を除去された画像から再度法線情報を推定する構成であってもよい。

このような構成によれば、さらに、鏡面反射成分を除去された画像から照明方向の推定を再度行い、その結果得られた照明方向を用いて再度法線情報を推定するので、さらに、現実に合致した法線情報を推定することが可能となる。

さらに、本発明の登録画像群作成装置は、本発明の法線情報推定装置と、登録すべき登録画像を法線情報推定装置に入力する登録画像入力部と、互いに異なる複数の照明方向が入力される照明方向入力部と、法線情報推定装置から出力された登録画像に対応する法線情報にもとづいて、互いに異なる複数の照明方向における被写体の鏡面反射成分を算出する鏡面反射成分算出部と、法線情報推定装置から出力された登録画像に対応する法線情報にもとづいて、互いに異なる複数の照明方向における被写体の拡散反射成分を算出する拡散反射成分算出部と、鏡面反射成分と拡散反射成分とを加算して互いに異なる複数の照明方向における登録画像群を作成する画像合成部とを備えたことを特徴としている。

このような構成によれば、鏡面反射成分を除去した画像から法線推定を行うので、映りこみ等の悪影響を除去し、現実に合致した登録画像群を作成することができるので、これを用いることにより、認証率の高い画像照合装置を提供することができる。

次に、本発明の画像照合装置は、本発明の登録画像群作成装置と、登録画像群作成装置で作成された登録画像群を記憶する登録画像群記憶部と、比較すべき比較画像を入力する比較画像入力部と、比較画像入力部から入力された比較画像と登録画像群記憶部に記憶された登録画像群とを比較照合する比較照合部とを備えたことを特徴としている。

このような構成によれば、鏡面反射成分を除去した画像から法線推定を行うので、映りこみ等の悪影響を除去し、現実に合致した登録画像群を作成することができるので、認証率の高い画像照合装置を提供することができる。

さらに、比較画像入力部が入力した比較画像における照明方向を推定する比較画像照明方向推定部と、比較画像照明方向推定部で推定された照明方向の登録画像を登録画像群記憶部から検索する画像検索部とを備え、比較照合部は、画像検索部で検索された登録画像と比較画像とを照合する構成であってもよい。

このような構成によれば、さらに、比較画像からその照明方向を推定し、登録画像群記憶部に記憶された登録画像群から、推定された照明方向に対応する登録画像を検索して、比較照合を行うことができ、比較照合処理を行う回数を減少させることができ、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に適した構成を実現できる。

さらに、登録画像群作成装置で作成された登録画像群の特徴量を算出する第１の特徴量算出部と、比較画像入力部で入力された比較画像の特徴量を算出する第２の特徴量算出部とを備え、登録画像群記憶部は、登録画像群の特徴量を記憶し、比較照合部は、登録画像群と比較画像とをその特徴量によって比較照合する構成であってもよい。

このような構成によれば、さらに、登録画像群記憶部には、特徴量算出部によって算出された特徴量のデータが記憶されているので、登録画像群の画像情報そのものを記憶する構成と比較して、必要な記憶容量が少なくて済むとともに、比較照合部が、登録画像群記憶部および特徴量算出部からそれぞれ出力された特徴量を用いて比較照合を行うので、画像全体のマッチングを行う構成と比較して、比較照合部での演算処理が小規模で済み、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に適した構成を実現できる。

次に、本発明の法線情報推定方法は、被写体の画像から被写体の法線情報を推定する法線情報推定方法であって、画像の輝度値から画像における被写体に対する照明方向を推定する第１のステップと、照明方向にもとづいて、画像における被写体の法線情報を推定する第２のステップと、被写体の法線情報および被写体に対する照明方向から画像の鏡面反射成分を推定する第３のステップと、画像から鏡面反射成分を除去する第４のステップと、第４のステップにおいて鏡面反射成分を除去された画像から、再度法線情報を推定する第５のステップとを備えたことを特徴としている。

このような方法によれば、鏡面反射成分を除去した画像から法線推定を行うので、この法線情報推定方法を用いることにより、顔のテカリ等による光源の映りこみ等の悪影響を除去し、現実に合致した法線情報推定を行うことができる。

次に、本発明のプログラムは、被写体の画像から被写体の法線情報を推定するプログラムであって、コンピュータに、画像の輝度値から画像における被写体に対する照明方向を推定する第１のステップと、照明方向にもとづいて、画像における被写体の法線情報を推定する第２のステップと、被写体の法線情報および被写体に対する照明方向から画像の鏡面反射成分を推定する第３のステップと、画像から鏡面反射成分を除去する第４のステップと、第４のステップにおいて鏡面反射成分を除去された画像から、再度法線情報を推定する第５のステップとを実行させることを特徴としている。

このようなプログラムによれば、鏡面反射成分を除去した画像から法線推定を行うので、このプログラムを用いることにより、顔のテカリ等による映りこみ等の悪影響を除去し、現実に合致した法線情報推定を行うことができる。

以上述べたように、本発明によれば、現実に合致した登録画像群を作成でき、認証率の高い画像照合装置を提供することができる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態における画像照合装置について説明する。図１は、本発明の第１の実施の形態における画像照合装置１の構成を示すブロック図である。

図１に示したように、本発明の第１の実施の形態における画像照合装置１は、登録された者の登録画像２０（図５を参照）が入力される登録画像入力部２、登録画像入力部２によって入力された登録画像２０から、後述する方法により、複数の照明方向下における登録画像群を作成する登録画像群作成装置３、登録画像群作成装置３で作成された登録画像群を記憶する登録画像群記憶部４、被認証者の顔画像（以下、比較画像と記す）が入力される比較画像入力部５、比較画像入力部５から入力された比較画像と登録画像群記憶部４に記憶された登録画像群とを比較照合する比較照合部８、および、比較照合部８で比較照合された結果等の情報が出力される出力部９を備える。

登録画像入力部２および比較画像入力部５は、公知の記憶媒体から画像を入力する構成であってもよいし、スキャナ等の公知の読取手段を用いて構成することも可能であるし、カメラ等で撮影された画像が入力される構成であってもよい。また、本発明の第１の実施の形態における画像照合装置１は、登録画像入力部２と比較画像入力部５とをそれぞれ独立に備える構成に限定されるものではなく、単独の入力手段を共用する構成であってもよい。

登録画像群作成装置３の各構成要素および比較照合部８については、後述する機能がソフトウェアによって実現されていてもよいし、専用回路等のハードウェアによって機能が実現されていてもよい。

登録画像群記憶部４は、ＨＤＤや半導体メモリ等の公知の記録媒体から選択したものを用いることができる。

出力部９は、比較照合部８からの照合可能か不可能かを示す信号をそのまま出力する構成であってもよいし、被認証者に対して映像または音声によって照合結果を知らしめる構成であってもよい。

比較照合部８の機能としては、例えば、固有空間法、部分空間法またはＫＮＮ法等の公知の画像比較照合方法を用いることが可能である。

ここで、本発明の第１の実施の形態における登録画像群作成装置３の構成および機能について詳細に説明する。図２は、本発明の第１の実施の形態における登録画像群作成装置３の構成を示すブロック図である。

図２に示したように、本発明の第１の実施の形態における登録画像群作成装置３は、登録画像入力部２から登録画像２０が入力され、入力された登録画像２０からその被写体の法線アルベドベクトルを含む法線情報を推定する法線情報推定装置４２、登録画像群を作成すべき複数の照明方向が入力される照明方向入力部４４、法線情報推定装置４２によって推定された法線情報を用いて照明方向入力部４４に入力された複数の照明方向における被写体の鏡面反射成分および拡散反射成分を算出する反射成分情報算出部４３、および、反射成分情報算出部４３で算出された反射成分情報にもとづいて、登録画像群の合成処理を行う画像処理部４５を備える。反射成分情報算出部４３は、鏡面反射成分を算出する鏡面反射成分算出部６１および拡散反射成分を算出する拡散反射成分算出部６２を有する。

また、ここで本発明の第１の実施の形態における法線情報推定装置４２の構成および機能について詳細に説明する。図３は、本発明の第１の実施の形態における法線情報推定装置４２の構成を示すブロック図である。

図３に示したように、本発明の第１の実施の形態における法線情報推定装置４２は、登録画像入力部２から登録画像２０が入力され、入力された登録画像２０からその照明方向を推定する照明方向推定部４１、照明方向推定部４１で推定された照明方向および登録画像２０の濃淡値から登録画像２０における被写体の法線情報を推定する法線情報推定部５２、法線情報推定部５２で推定された法線情報および照明方向推定部４１で推定された照明方向から登録画像２０の濃淡値における鏡面反射成分を推定する鏡面反射成分推定部５３、登録画像２０の濃淡値から鏡面反射成分推定部５３で推定された鏡面反射成分を除去する鏡面反射成分除去部５４、ならびに、法線情報推定部５２で推定された法線情報の値が収束しているか否かを判定する収束判定部５５を備える。

法線情報推定部５２は、鏡面反射成分除去部５４で鏡面反射成分を除去された画像から再度法線情報を推定し、収束判定部５５は、鏡面反射成分を除去された画像から推定された法線情報と、鏡面反射成分を除去される前の画像から推定された法線情報とを比較して、その差が所定の値よりも小さくなったときに、法線情報が収束したものと判定して、鏡面反射成分を除去された画像から推定された法線情報または鏡面反射成分を除去される前の画像から推定された法線情報を出力する（値が収束しているので、いずれを出力してもよい）。なお、本発明は、上述のように、法線情報推定部５２が鏡面反射成分を除去される前後の画像から法線情報を推定する構成に限定されず、鏡面反射成分を除去される前の画像から法線情報を推定する第１の法線情報推定部および鏡面反射成分を除去された後の画像から法線情報を推定する第２の法線情報推定部の二つの法線情報推定部を用いることも可能である。この場合、収束判定部５５は、第１の法線情報推定部で算出された法線情報と、第２の法線情報推定部で算出された法線情報とを比較して、収束判定を行う。

ここで、本発明の第１の実施の形態における画像照合装置１の動作について説明する。図４は、本発明の第１の実施の形態における画像照合装置１の登録画像群作成装置３の動作ステップを示すフローチャートである。なお、登録画像群作成装置３の各構成要素および画像照合部８の機能は、ハードウェアまたはソフトウェアのいずれでも実現することが可能である。これらの機能をソフトウェアにて実現しようとする場合には、後述する図４におけるステップＳ１からステップＳ１３までの各処理をソフトウェアにて記述して、コンピュータに実行させる。

図４に示したように、まず、登録画像入力部２から、登録画像群作成装置３に登録画像２０が入力される（Ｓ１）。ここで、登録画像２０は、登録されるべき者の一枚の顔画像であるとする。図５は本発明の第１の実施の形態における登録画像２０の一例を概念的に示す図である。実際には、登録画像２０は、縦１２０×横９０の計１０８００画素の陰影を有する画像を用いている。

登録画像２０は、登録画像群作成装置３の法線情報推定装置４２に送られ、法線情報推定装置４２の照明方向推定部４１は、一枚の登録画像２０の撮影時における照明方向を推定する（Ｓ２）。照明方向の推定は、統計量を算出するための学習画像セットにおけるＪ個の照明パターンを各々ｓ_ｊとおき、そのガウスカーネルの幅をσ_ｊとおき、学習画像の各照明パターンの平均をａ_ｊとおき、入力画像をｂとすると、下式のような単純なカーネルリグレッション（ｋｅｎｅｌ ｒｅｇｒｅｓｓｉｏｎ）によって、登録画像２０の照明方向を推定することができる。

次に、法線情報推定装置４２の法線情報推定部５２は、登録画像２０における反射率を考慮した法線アルベドベクトルの初期値を推定する（Ｓ３）。なお、法線アルベドベクトルとは、法線方向ベクトルにそのアルベド（反射率）を積算したベクトルのことをいう。

画像ベクトルは、例えばｙ（ｘ）を画素ｘの濃淡値とし、ＳをＪ個の照明方向ベクトル（学習用）とし、ｂ（ｘ）を画素ｘの法線アルベドベクトルとし、ｖ（ｘ）を画素ｘの照明Ｊ個のエラー値ベクトルとしたときに、（４）式のように表すことができる。

ステップＳ３における、法線アルベドベクトルの初期値は、ステップＳ２で推定した照明方向ベクトルＳ’を用いて、ＭＡＰ推定で得られた法線アルベドベクトルｂ_ＭＡＰ（ｘ）として推定することができる。

次に、法線情報推定装置４２の鏡面反射成分推定部５３は、法線情報推定部５２で推定された法線アルベドベクトルの初期値から、鏡面反射成分を算出する（Ｓ４）。

鏡面反射成分Ｍ（ｘ）の算出は、ステップＳ２で推定した照明方向と、法線アルベドベクトルｂ_ＭＡＰ（ｘ）とから算出することができる。

Ｍ（ｘ）＝ｙ（ｘ）−Ｓｂ_ＭＡＰ（ｘ）＝ｖ（ｘ） （７）
（７）式においては、実際の輝度値ｙ（ｘ）と、ステップＳ２で推定した照明方向と法線アルベドベクトルｂ_ＭＡＰ（ｘ）とから算出した輝度成分Ｓｂ_ＭＡＰ（ｘ）との差ｖ（ｘ）を鏡面反射成分Ｍ（ｘ）とみなしている。すなわち、ステップＳ４における鏡面反射成分Ｍ（ｘ）の推定は、その初期値の推定であるので、もっとも処理を高速に行うために、エラー値ベクトルｖ（ｘ）全てを鏡面反射成分Ｍ（ｘ）であるとして演算したものである。

また、鏡面反射成分Ｍ（ｘ）の正確な演算を行うためには、ステップＳ４において、後述するフォーン（Ｐｈｏｎｇ）のモデルやトランス−スパロウ（Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗ）モデル等の推定モデルを用いてその推定を行うことも可能である。

さらに、登録画像２０を画像照合装置１の管理者が目測して、一見して登録画像２０に、例えば、輝度の著しく高い部分（顔のテカリや眼鏡のフレーム等の影響による鏡面反射成分と推定される）や輝度が著しく低い部分（鼻等の高い部分の影の成分、いわゆるキャストシャドウ成分と推定される）といった、特定部分の輝度が他の部分のそれと著しく異なっていると判別できる部分が含まれている場合には、それぞれの部分を分離して、そのうち輝度が著しく高い部分を鏡面反射成分であるとみなす演算を行い、輝度が著しく低い部分をキャストシャドウ成分とみなす演算を行ってもよい。このような管理者の主観的な判断が介在することが好ましくない場合には、例えば、エラー成分ｖ（ｘ）のうち、正の値の部分のみを抽出して、その部分を鏡面反射成分であるとし、負の値の部分をキャストシャドウ成分であるとして演算を行うことも可能である。なお、本実施の形態においては、鏡面反射成分を法線情報推定の阻害要因として説明しているが、鏡面反射成分やキャストシャドウ成分の他にも、エラー成分に含まれる成分については、法線情報推定の阻害要因となり得る。鏡面反射成分を用いて説明を行った例と同様に、これらの法線情報推定の阻害要因となる成分についても除去して、法線情報の推定を行うことも可能である。

次に、法線情報推定装置４２の鏡面反射成分除去部５４は、登録画像２０の濃淡値ｙ（ｘ）から、ステップＳ４で鏡面反射成分推定部５３が推定した鏡面反射成分Ｍ（ｘ）を除去する（ステップＳ５）。

そして、法線情報推定装置４２の法線情報推定部５２は、ステップＳ５において鏡面反射成分Ｍ（ｘ）を除去された画像ｙ’（ｘ）からステップＳ３で法線アルベドベクトルの初期値を推定したときと同じ方法で再度法線アルベドベクトルを推定する（Ｓ６）。

次に、法線情報推定装置４２の収束判定部５５は、前のステップＳ３において推定された法線アルベドベクトルの値ｂ_ＭＡＰ（ｘ）と、ステップＳ６で推定された法線アルベドベクトルの値とを比較して、値が収束するまで、ステップＳ４からステップＳ６までの処理を法線情報推定部５２、鏡面反射成分５３および鏡面反射成分除去部５４に継続させる（Ｓ７）。

収束判定部５５は、ステップＳ４からステップＳ６までの処理を法線情報推定部５２、鏡面反射成分５３および鏡面反射成分除去部５４に繰り返させる際に、前回推定された法線アルベドベクトルと今回推定された法線アルベドベクトルとの一致度を比較し、一致度が所定の閾値以上であれば収束したとして、その値を登録画像２０の法線アルベドベクトルの値であるとして決定し、登録画像群作成装置３の反射成分情報算出部４３に出力する（Ｓ８）。このときの一致度は、例えば法線アルベドベクトル同士の相関距離の和、ユークリッド距離の和の逆数、または、単位法線ベクトルに変換した後の法線アルベドベクトルの相関距離の和等、比較対照となる２つの法線アルベドベクトルまたは法線ベクトルの類似性を表現し得るものであればよい。

また、ステップＳ６において、鏡面反射成分推定部５３によって鏡面反射成分の推定を行う際に、同時に照明方向推定部４１によって照明方向の推定処理を行うことにより、照明方向および鏡面反射成分双方の推定精度を向上させることが可能である。反射モデルを用いた鏡面反射成分は、後述のように記述できるが、ここで照明方向の推定精度を高めることができれば、同時に鏡面反射成分の推定精度も向上させることができるからである。

ステップＳ８においては、登録画像２０についての法線アルベドベクトルの値を決定するとともに、登録画像群作成装置３の反射成分情報算出部４３が、登録画像２０における鏡面反射成分Ｍ（ｘ）と拡散反射成分Ｉ（ｘ）とを決定する。具体的には、鏡面反射成分算出部６１が鏡面反射成分Ｍ（ｘ）を算出し、拡散反射成分算出部６２が拡散反射成分Ｉ（ｘ）を算出する。

鏡面反射成分Ｍ（ｘ）の算出を、ある１点、あるいは１画素について行う場合について説明する。全画面中の鏡面反射成分の算出は、この処理を全画面中の全画素について行うことで可能となる。

例えば、Ｐｈｏｎｇのモデルでは、鏡面反射項Ｉ_ｓは
Ｉ_ｓ＝Ｉ_Ｌｒ_ｓ（ｐ^Ｔｍ）^ｑ （８）
を用いて算出することが可能である。すなわち、ｍは次式を満たす。

ｍ^Ｔｎ＝−ｌ^Ｔｎ，ｍ^Ｔ（ｌ×ｎ）＝０ （９）
ここで、Ｉ_Ｌは入射光の強さ、ｒ_ｓは鏡面反射率、ｑは表面の滑らかさを表すパラメータ、ｎは法線方向単位ベクトル、ｌは入射光方向単位ベクトル、ｐは視線方向単位ベクトル、ｍはｌおよびｎと同じ平面上にあり、かつ、入射角と反射角とが等しくなる方向を表す単位ベクトルである。

他にも、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルを用いることができ、
Ｉ_ｓ＝Ｉ_Ｌｒ_ｓｅｘｐ｛−（（ｃｏｓ^−１（ｐ^Ｔｍ））^２／σ^２）｝ （１０）
ここで、σは表面の滑らかさを表すパラメータであり、他のパラメータは前述のＰｈｏｎｇのモデルで説明した通りである。

なお、本発明は、ここで説明した鏡面反射成分の算出方法に限定されるものではなく、広く知られた方法を適宜用いることができる。例えば、前述のモデルを含む各種の鏡面反射成分の算出方法については、例えば「徐剛、“写真から作る３次元ＣＧ”、近代科学社、２００１年、ｐ．９５−９６」に記載されている方法を用いることもできる。

次に、拡散反射成分Ｉ（ｘ）の算出は、
Ｉ＝ＢＳ （１１）
を用いて行う。ここで、
Ｉ：画像データ（Ｎ画素×ｃ入力画像数）
Ｂ：物体の法線方向と反射率よりなる行列（Ｎ×３）
Ｓ：光源方向＆強さ行列（３×ｃ）
である。ここまでで、被写体の登録画像２０を用いた前処理は終了する。

次に、登録画像群作成装置３の反射成分情報算出部４３は、照明方向入力部４４から複数の照明方向を入力し（Ｓ１０）、その照明方向に対応する鏡面反射成分Ｍ（ｘ）および拡散反射成分Ｉ（ｘ）を算出する（Ｓ１１）。具体的には、鏡面反射成分算出部６１が鏡面反射成分Ｍ（ｘ）を算出し、拡散反射成分算出部６２が拡散反射成分Ｉ（ｘ）を算出する。

照明方向の一例としては、例えば顔の正面方向を、（左右の角度：０°、上下の角度：０°）と置いたときに左右上下ともに２０°間隔に６０°まで取ることができる。この場合、−６０°、−４０°、−２０°、０°、２０°、４０°、６０°の７種類の角度があり、上下左右合わせて７×７の４９通りの照明方向ができる。なお、角度は等間隔である必要はなく、使用目的や用途に合わせて適宜効果のある角度を選択すればよい。

そして、ステップＳ１１で、反射成分情報算出部４３で算出された所定の角度に対応する鏡面反射成分Ｍ（ｘ）および拡散反射成分Ｉ（ｘ）を、画像合成部４５が加えることにより、互いに異なる所定の照明方向に対応した被写体の複数の登録画像からなる群を得ることができる（Ｓ１２）。このような処理を、照明方向入力部４４から入力された複数の照明方向それぞれについて行うことによって（Ｓ１３）、登録画像群３０を作成することができる。図６は本発明の第１の実施の形態における登録画像群３０の一例を概念的に示す図である。なお、本発明の第１の実施の形態においては、あらかじめ定められた照明方向が照明方向入力部４４から入力された例を示したが、本発明はこの構成に限定されず、照明方向入力部４４から管理者等によって、任意の照明方向が入力される構成であってもよい。

図１または図２に示したように、本発明の第１の実施の形態の画像照合装置１において、登録画像群作成装置３で作成された登録画像群３０は、登録画像群記憶部４に記憶される。ここまでで、本発明の第１の実施の形態の画像照合装置１における照合の準備が完了する。

本発明の第１の実施の形態の画像照合装置１において、被認証者の比較画像２５が比較画像入力部５から入力された場合には、比較画像２５は比較画像入力部５から比較照合部８に送られ、比較照合部８において、比較画像２５と登録画像群３０との比較照合処理がなされ、その結果が出力部９から出力される。図７に、本発明の実施の形態における比較画像２５の一例を概念的に示す。

以上述べたように、本発明の第１の実施の形態における画像照合装置１によれば、被写体の画像から鏡面反射成分Ｍ（ｘ）を算出して、鏡面反射成分Ｍ（ｘ）を除去してから法線アルベドベクトルの推定を行うので、鏡面反射成分Ｍ（ｘ）の悪影響（例えば、顔に油が浮いているときに照明が鏡面反射することによるテカリの影響等）を受けない法線アルベドベクトルの推定を行うことが可能となり、より実際の被写体に近い法線アルベドベクトルを出力することができる。よって、本発明の第１の実施の形態における画像照合装置１によって推定された法線アルベドベクトルを用いて、想定される複数の照明方向下における登録画像群３０を作成した場合にも、より実際に近い、正確な登録画像群３０を得ることが可能となる。

例えば、本発明の第１の実施の形態における画像照合装置１を用いて比較画像２５との照合を行った場合と従来技術における画像照合装置とを比較すれば、その一位照合率を向上させることができる。なお、一位照合率とは、比較画像と同一の被写体が撮影された登録画像が一位で認証される割合のことをいい、その比率が高いほど精度の高い認証ができていることを示す。

（第２の実施の形態）
次に、本発明の第２の実施の形態における画像照合装置４０について説明する。図８は本発明の第２の実施の形態における画像照合装置４０の構成を示すブロック図である。

図８に示したように、本発明の第２の実施の形態における画像照合装置４０は、前述の第１の実施の形態における画像照合装置１と比較して、比較画像入力部５から入力された比較画像から、その照明方向等を推定する照明方向推定部６と、照明方向推定部６で推定された照明方向の情報を登録画像群記憶部４に送るとともに、登録画像群記憶部４に記憶された登録画像群３０から前述の比較画像の照明方向に適合した照明方向に対応する登録画像を検索、抽出して、比較照合部８に出力する画像検索部７を備えている。

他の構成要件、すなわち、登録画像入力部２、登録画像群作成装置３、登録画像群記憶部４、比較画像入力部５、比較照合部８および出力部９のそれぞれの機能に関しては、第１の実施の形態における画像照合装置１における各構成要素の機能と同様であるので、その説明を省略する。

このような構成とすることにより、本発明の第２の実施の形態の画像照合装置４０によれば、第１の実施の形態における画像照合装置１が奏する効果に加えて、さらに、比較画像２５から照明方向推定部６によってその照明方向を推定し、登録画像群記憶部４に記憶された登録画像群３０から、照明方向推定部６によって推定された照明方向に対応する登録画像を検索して、比較照合部８に送ることができる。例えば、第１の実施の形態で説明したような比較画像２５が入力された場合には、その照明方向に対応する登録画像２６が、登録画像群記憶部４から画像検索部７によって比較照合部８に送られる。

よって、比較照合部８における比較照合処理を行う回数を減少させることができ、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に最適な構成を実現できる。

（第３の実施の形態）
次に、本発明の第３の実施の形態における画像照合装置５０について説明する。図９は本発明の第３の実施の形態における画像照合装置５０の構成を示すブロック図である。

図９に示したように、本発明の第３の実施の形態における画像照合装置５０は、前述の第１の実施の形態における画像照合装置１と比較して、比較画像入力部５から入力された比較画像からその特徴量を算出する特徴量算出部３１、および、登録画像群作成装置３で作成された登録画像から、それぞれの登録画像の特徴量を算出する特徴量算出部３２を備えた点が異なる。

ここで、特徴量算出部３１および特徴量算出部３２における画像からの特徴量算出方法としては、顔の特徴を表すポイントに、グラフと呼ばれるパターンを配置し、正確な顔の特徴点を見つけ、そのポイントごとの特徴量を登録データと比較、照合するグラフマッチング法や、変換対象からウェーブレット波形を利用し、その波形が持つ特徴（周波数成分等）のみを取り出す、信号解析や画像圧縮に用いられる手法であるガボールウェーブレット変換を用いることが可能であるが、本発明はこの特徴点の算出方法について、なんら限定するものではない。

また、本発明の第３の実施の形態における画像照合装置５０は、第１の実施の形態における画像照合装置１の登録画像群記憶部４の代わりに、登録画像群から特徴量算出部３１によって算出された特徴量を記憶する特徴量記憶部３４を備えている。

さらに、本発明の第３の実施の形態における画像照合装置５０は、第１の実施の形態における画像照合装置１の比較照合部８の代わりに、比較画像から特徴量算出部３２で算出された特徴量と特徴量記憶部３４に記憶された登録画像群の特徴量とを比較照合する比較照合部３３を備えている。

他の構成要件、すなわち、登録画像入力部２、登録画像群作成装置３、比較画像入力部５および出力部９のそれぞれの機能に関しては、第１の実施の形態における画像照合装置１における各構成要素の機能と同様であるので、その説明を省略する。

このような構成とすることにより、本発明の第３の実施の形態の画像照合装置５０によれば、第１の実施の形態における画像照合装置１が奏する効果に加えて、さらに、特徴量記憶部３４には、特徴量算出部３１によって算出された特徴量のデータが記憶されているので、登録画像群記憶部４の画像情報そのものを記憶する構成と比較して、必要な記憶容量が少なくて済む。

さらに、本発明の第３の実施の形態における画像照合装置５０によれば、第１の実施の形態における画像照合装置１が奏する効果に加えて、さらに、比較照合部３３が、特徴量記憶部３４および特徴量算出部３２からそれぞれ出力された特徴量を用いて比較照合を行うので、画像全体のマッチングを行う構成と比較して、比較照合部３３での演算処理が小規模で済み、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に最適な構成を実現できる。

本発明に係る法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法およびプログラムによれば、現実に合致した登録画像群を作成でき、認証率の高い画像照合装置を提供することができるという効果を奏することができるので、特に画像照合に用いる法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法およびプログラム等として有用である。

本発明の第１の実施の形態における画像照合装置の構成を示すブロック図 本発明の第１の実施の形態における登録画像群作成装置の構成を示すブロック図 本発明の第１の実施の形態における法線情報推定装置の構成を示すブロック図 本発明の第１の実施の形態における画像照合装置の登録画像群作成装置の動作ステップを示すフローチャート 本発明の第１の実施の形態における登録画像の一例を概念的に示す図 本発明の第１の実施の形態における登録画像群の一例を概念的に示す図 本発明の実施の形態における比較画像の一例を概念的に示す図 本発明の第２の実施の形態における画像照合装置の構成を示すブロック図 本発明の第３の実施の形態における画像照合装置の構成を示すブロック図

符号の説明

１，４０，５０ 画像照合装置
２ 登録画像入力部
３ 登録画像群作成装置
４ 登録画像群記憶部
５ 比較画像入力部
６ 照明方向推定部
７ 画像検索部
８，３３ 比較照合部
９ 出力部
２０，２６ 登録画像
２５ 比較画像
３０ 登録画像群
３１，３２ 特徴量算出部
３４ 特徴量記憶部
４１ 照明方向推定部
４２ 法線情報推定装置
４３ 反射成分情報算出部
４４ 照明方向入力部
４５ 画像合成部
５２ 法線情報推定部
５３ 鏡面反射成分推定部
５４ 鏡面反射成分除去部
５５ 収束判定部
６１ 鏡面反射成分算出部
６２ 拡散反射成分算出部

Claims (8)

1. 被写体の画像から前記被写体の法線情報を推定する法線情報推定装置であって、
   前記画像の輝度値から前記画像における前記被写体に対する照明方向を推定する照明方向推定部と、
   前記照明方向にもとづいて、前記画像における前記被写体の法線情報を推定する法線情報推定部と、
   前記被写体の法線情報および前記被写体に対する照明方向から前記画像の鏡面反射成分を推定する鏡面反射成分推定部と、
   前記画像から前記鏡面反射成分を除去する鏡面反射成分除去部とを備え、
   前記法線情報推定部は、前記鏡面反射成分除去部において前記鏡面反射成分を除去された画像から再度法線情報を推定することを特徴とする法線情報推定装置。
2. 前記鏡面反射成分を除去される前に前記法線情報推定部で推定された法線情報の値と、前記鏡面反射成分を除去された後に前記法線情報推定部で推定された法線情報の値とを比較して、法線情報の値が収束しているか否かを判定する収束判定部をさらに備え、
   前記収束判定部で収束していると判定された法線情報の値を出力することを特徴とする請求項１に記載の法線情報推定装置。
3. 前記照明方向推定部は、前記鏡面反射成分除去部において前記鏡面反射成分を除去された画像から再度前記被写体の照明方向を推定し、
   前記法線情報推定部は、前記照明方向推定部で再度推定された照明方向を用いて、前記鏡面反射成分を除去された前記画像から再度法線情報を推定することを特徴とする請求項１に記載の法線情報推定装置。
4. 請求項１に記載の法線情報推定装置と、
   登録すべき登録画像を前記法線情報推定装置に入力する登録画像入力部と、
   互いに異なる複数の照明方向が入力される照明方向入力部と、
   前記法線情報推定装置から出力された前記登録画像に対応する法線情報にもとづいて、前記互いに異なる複数の照明方向における前記被写体の鏡面反射成分を算出する鏡面反射成分算出部と、
   前記法線情報推定装置から出力された前記登録画像に対応する法線情報にもとづいて、前記互いに異なる複数の照明方向における前記被写体の拡散反射成分を算出する拡散反射成分算出部と、
   前記鏡面反射成分と前記拡散反射成分とを加算して前記互いに異なる複数の照明方向における登録画像群を作成する画像合成部とを備えたことを特徴とする登録画像群作成装置。
5. 請求項４に記載の登録画像群作成装置と、
   前記登録画像群作成装置で作成された登録画像群を記憶する登録画像群記憶部と、
   比較すべき比較画像を入力する比較画像入力部と、
   前記比較画像入力部から入力された比較画像と前記登録画像群記憶部に記憶された登録画像群とを比較照合する比較照合部とを備えたことを特徴とする画像照合装置。
6. 前記比較画像入力部が入力した前記比較画像における照明方向を推定する比較画像照明方向推定部と、
   前記比較画像照明方向推定部で推定された照明方向の登録画像を前記登録画像群記憶部から検索する画像検索部とを備え、
   前記比較照合部は、前記画像検索部で検索された登録画像と前記比較画像とを照合することを特徴とする請求項５に記載の画像照合装置。
7. 前記登録画像群作成装置で作成された登録画像群の特徴量を算出する第１の特徴量算出部と、
   前記比較画像入力部で入力された比較画像の特徴量を算出する第２の特徴量算出部とを備え、
   前記登録画像群記憶部は、前記登録画像群の特徴量を記憶し、
   前記比較照合部は、前記登録画像群と前記比較画像とをその特徴量によって比較照合することを特徴とする請求項５に記載の画像照合装置。
8. 被写体の画像から前記被写体の法線情報を推定する法線情報推定方法であって、
   前記画像の輝度値から前記画像における前記被写体に対する照明方向を推定する第１のステップと、
   前記照明方向にもとづいて、前記画像における前記被写体の法線情報を推定する第２のステップと、
   前記被写体の法線情報および前記被写体に対する照明方向から前記画像の鏡面反射成分を推定する第３のステップと、
   前記画像から前記鏡面反射成分を除去する第４のステップと、
   前記第４のステップにおいて前記鏡面反射成分を除去された前記画像から、再度法線情報を推定する第５のステップとを備えたことを特徴とする法線情報推定方法。

Images