JP4362489B2 - ３次元顔データ登録システム、３次元顔データ登録方法、及び登録処理プログラム - Google Patents

Description

本発明は、バイオメトリクス認証分野における顔データを使用した人物特定技術に関するもので、特に、顔認証にて障害となっている顔向きや光源等の変動による認証精度低下の改善を目指した３次元顔データ登録システム、３次元顔データ登録方法、及び登録処理プログラムに関する。

バイオメトリクス等を用いた個人認証方式では、認証対象者の情報をデータベースに予め登録しておく「登録プロセス」と、照合対象者を先のデータベースに登録されている情報と一件ずつ照合して本人か否かのもっともらしさ（「尤度」と呼ばれる）を求める「照合プロセス」に分かれる。

顔認証では、上記登録及び照合の際の情報に顔の特徴データを用いるものであり、この顔の特徴データを抽出する方式として、非特許文献１に記載されている２次元の正面顔画像を用いた手法が主流である。具体的な手法としては、非特許文献１の２．２節に記載されているように、２次元顔画像から目，鼻，口といった顔造作を検出し、これらの幾何学的特徴を元に顔特徴を認識し照合する「造作ベース法」、２次元顔画像の濃淡値をベクトル集合とみなしてその主成分分析により固有顔を算出することにより顔の特徴を認識し照合する「パターン整合法」などがある。これらの手法はいずれも、２次元画像から特徴量を抽出して、比較し照合することで尤度を算出するものである。

しかしながら、これら２次元顔画像からの特徴量抽出手法では、登録時と異なる顔の向き，照明，表情などの要因や、登録時からの経年変化の影響を受けやすい。これに対処するため、特許文献１〜２にあるように、顔の３次元データを用いることで、これら変動要素の影響を少なくした顔認証システムがある。これとは別に、非特許文献２のような３次元顔計測器を用いず、正面顔や横顔等の２次元画像から顔の３次元形状を復元する手法が研究されている。
特開２００４−０８６９２９ 特開平０９−２５９２７１ 赤松 茂著「コンピュータによる顔の認識−サーベイ−」電子情報通信学会論文誌 A Vol.J 80-A No.8、1997年８月、ｐｐ．1215−1230 Ｖolker Ｂlanz, Ｔhomas Ｖetter,"A Morphable Model For The SynthesisOf 3D Faces",SIGGRAPH99, 1999

上記従来例における顔認証システムでは、登録プロセス又は照合プロセスに必ず顔の３次元データを入力する必要があり、これには高価な３次元顔計測器が必要であり、又、計測にはスチルカメラより長い数百ミリ秒の撮影時間が必要であるなど種々の問題点があり、実運用を目指す際の妨げになっている。

更に、顔認証システムの導入用途として、犯罪捜査における被疑者の特定／選別等が考えられるが、これには３次元顔計測器を用いた犯罪者の登録データベース構築が必要となり、改めて３次元顔計測を行う必要があるなど膨大なリソースが必要となる。このため、システム導入時から登録データベースが十分蓄積される長期間の間、システムとして有用な運用ができないという不都合があった。

又、非特許文献２に示すような３次元顔計測機を用いず、正面顔や横顔等の２次元画像から顔の３次元形状を復元する手法にあっては、犯罪捜査にて蓄積してある犯罪者の顔写真から３次元顔形状を復元し、データベースに登録することで、３次元顔計測機が不要と考えられる。しかしながら、この手法は他人の３次元顔計測形状を参照することで復元を行い、参照する３次元顔計測形状の数が少ない場合、十分な復元精度が得られないため、いかに参照する３次元顔計測形状を増やすかが重要な課題となっている。

このように、上記各従来例にあって第１の問題点は、犯罪捜査等における３次元データを使用した顔認証システムで、システム導入時から長期間、有効に運営できないという不都合がある。その理由は、３次元顔計測機を用いた測定データの登録データベースが十分蓄積されないと、システムとして有効に機能しないためである。特に、犯罪捜査ではシステムが有用となるには相当数の登録データが必要であり、非常に長期間のロスタイムが発生する。

又、第２の問題点は、登録データベース構築に際し、３次元顔計測機を使用せずに正面顔や横顔等の２次元顔画像から顔の３次元形状復元技術を用いて登録データベースを構築した場合には、復元精度が低下するということである。その理由は、３次元顔形状復元技術における復元精度は、参照すべき他人の３次元顔計測形状の数に依存し、数が少ない場合には十分な復元精度を得られないためである。

本発明は、かかる従来例の有する不都合を改善し、顔向きや照明などの変動要因があっても、効率良く個人認証を可能とする３次元顔データ登録システム、３次元顔データ登録方法、及び登録処理プログラムを提供することを、その目的とする。

上記目的を達成するため、本発明にかかる３次元顔データ登録システムでは、個人認証用として撮影された複数の顔写真を記憶する２次元顔画像記憶部と、この記憶された２次元の顔写真から３次元の顔形状を復元する３次元顔形状復元手段と、この復元された３次元の顔形状を登録データとして記憶する３次元顔復元形状記憶部とを備えている。
更に、前述した３次元顔形状復元手段に、３次元で顔の形状を計測する３次元顔形状計測手段と、この３次元顔形状計測手段で計測される３次元顔計測形状データを保存する３次元顔計測形状記憶部とを併設する。又、前述した３次元顔形状復元手段が、前記２次元の顔写真から３次元の顔形状を復元するに際しては、前記３次元顔形状計測手段で得られる３次元顔計測形状データを参照しこれに合わせて復元する３次元形状参照復元機能を備えている。

このため、これによると、２次元顔画像データから３次元顔復元形状データの構築に際し、登録時と異なる顔の向きや証明の相違或いは表情などの相違があっても、登録時から径年変化の影響を受けにくい３次元顔計測形状データを参照して復元を実行するようにしたので、短時間に然も高精度に３次元顔復元形状データを構築することができ、信頼性の高い３次元顔復元形状データを得ることができる。

特に、請求項１記載の発明にあっては、前述した３次元顔復元形状記憶部と前記３次元顔計測形状記憶部とに、同一人物にかかるデータが重複して記憶されないように監視する登録データ整合手段が併設されている。そして、この登録データ整合手段が、前記計測形状にかかるデータと復元形状にかかるデータとが重複して記憶されている場合に機能して復元形状にかかるデータを削除する復元形状データ削除制御機能を備えている。
このようにすると、常に精度の高い前記計測形状にかかるデータを優先使用するようにしたので、復元形状の精度を高めることができる。

又、請求項２記載の発明にあっては、前述した３次元顔形状復元手段に、前記３次元顔計測形状記憶部および３次元顔復元形状記憶部にそれぞれ記憶される記憶内容の蓄積数を監視する再復元用監視制御手段を併設する。そして、この再復元用監視制御手段は、前記３次元顔復元形状記憶部に記憶されている一の顔復元形状について当該顔復元形状が復元された時の前記３次元顔計測形状の蓄積数が現在の３次元顔計測形状の蓄積数より小さい場合に、前記３次元顔形状復元手段に対して再度当該一の顔復元形状について顔形状復元を指令する再復元実行指令機能を備える。

このようにすると、径年的に３次元顔計測回数数が増えることから情報量の多くなった３次元顔計測形状データを使用することができ、かかる点において３次元顔復元形状記憶部に記憶される３次元顔復元形状データの精度をより一層高いものとすることが可能となる。

又、上記目的を達成するため、本発明にかかる３次元顔データ登録方法では、個人認証用として撮影された複数の顔写真を記憶する２次元顔写真記憶工程と、この記憶された２次元の顔写真から３次元の顔形状を復元する３次元顔形状復元工程と、この復元された３次元の顔形状を登録データとして３次元顔復元形状記憶部に記憶する３次元顔復元形状記憶工程とを備えた３次元顔データ登録方法において、前記３次元顔形状復元工程の前に、３次元で顔の形状を計測すると共にその計測データを３次元顔形状計測記憶部に記憶する３次元顔形状計測工程を設ける。そして、前述した３次元顔形状復元工程では、前記２次元の顔写真から３次元の顔形状を復元するに際し、前記３次元顔形状計測手段で得られる３次元顔計測形状データを参照しこれに合わせて復元するようにその実行内容が設定されている。

このため、これによると、登録時から径年変化の影響を受けにくい３次元顔計測形状データを参照して復元を実行するようにしたので、短時間に然も高精度に３次元顔復元形状データを構築することができ、個人認証時に先の登録時と異なる顔の向きや証明の相違或いは表情などの相違があっても、信頼性の高い３次元顔復元形状データを得ることができる。

特に、請求項３記載の発明にあっては、前述した３次元顔形状復元工程の実行前に、前記３次元顔復元形状記憶部と前記３次元顔計測形状記憶部とに同一人物にかかるデータが重複して記憶されないように監視すると共に、重複して記憶されている場合に機能して前記３次元顔復元形状記憶部の対応する復元形状にかかるデータを削除する復元形状データ削除制御工程を設けた構成としている。
このようにすると、常に精度の高い前記計測形状にかかるデータが使用されるので、復元形状の精度を高めることができる。

又、請求項４記載の発明にあっては、前述した３次元顔形状復元工程の後に、前記３次元顔計測形状記憶部および３次元顔復元形状記憶部にそれぞれ記憶される記憶内容の蓄積数を監視する再復元用監視制御工程および３次元顔形状再復元工程を設定する。そして、前述した再復元用監視制御工程では、前記３次元顔復元形状記憶部に記憶されている一の顔復元形状について当該顔復元形状が復元された時の前記３次元顔計測形状の蓄積数が現在の３次元顔計測形状の蓄積数より小さい場合に、前記３次元顔形状復元工程に対して再度当該一の顔復元形状について顔形状復元を指令すると共に、当該指令に基づいて前記３次元顔形状再復元工程が前記３次元顔形状復元工程と同一内容で実行されるように構成している。
このようにすると、径年的に情報量の多くなった３次元顔計測形状データを使用することができ、かかる点において３次元顔復元形状データの精度をより一層高いものとすることができる。

更に、上記目的を達成するため、本発明にかかる３次元顔データ登録プログラムでは、前述した３次元顔データ登録方法の各工程での実行内容をプログラム化してコンピュータに実行させるように構成した。
この３次元顔データ登録プログラムにあっては、前述した各構成手段で得られた顔形状計測データの記憶処理や３次元顔形状復元処理等の演算処理を主に実行するものであり、かかる点において、前述した３次元顔データ登録方法の場合とほぼ同等の作用効果を有し、更に、当該処理内容を迅速に且つ高精度に実行し得るという利点を兼ね備えたものとなっている。

本発明は以上のように構成され機能するので、これによると、２次元顔画像データから３次元顔復元形状データの構築に際し、登録時と異なる顔の向きや証明の相違或いは表情などの相違があっても、登録時から径年変化の影響を受けにくい３次元顔計測形状データを参照して復元を実行するようにしたので、短時間に然も高精度に３次元顔復元形状データを復元することができるという従来にない優れた３次元顔データ登録システム，３次元顔データ登録方法，及び登録処理プログラムを提供することができる。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。

〔第１の実施形態〕
図１乃至図２にこれを示す。この図１乃至図２に示す第１の実施形態は、個人認証用として予め撮影された複数の顔写真を記憶する２次元顔画像記憶部１０２と、この記憶された２次元の顔写真から３次元の顔形状を復元する３次元顔形状復元手段３０３と、この復元された３次元の顔形状を登録データとして記憶する３次元顔復元形状記憶部３０６とを備えている。ここで、前述した複数の顔写真は、顔画像撮影装置１０１によって個人認証用として予め撮影されるようになっている。

前述した３次元顔形状復元手段３０３には、３次元で顔の形状を計測する３次元顔形状計測手段としての３次元顔形状計測装置１０４と、この３次元顔形状計測装置１０４で計測される３次元顔計測形状データを保存する３次元顔計測形状記憶部１０５とが併設されている。そして、前述した３次元顔形状復元手段３０３は、２次元の顔写真から３次元の顔形状を復元するに際しては、前記３次元顔形状計測装置１０４で得られる３次元顔計測形状データを参照しこれに合わせて復元する３次元形状参照復元機能を備えている。又、前記３次元顔復元形状記憶部３０６と３次元顔計測形状記憶部１０５とによって、個人認証時の照合プロセスに際して機能する登録データ記憶部３０７が構成されている。

ここで、上述した本第１実施形態の各構成要素における動作機能について説明する。
まず、顔画像撮影装置１０１は、一般的なスチルカメラであり、この装置により人物の顔を撮影する。又、撮影された顔画像写真をスキャナで読取る動作も、本顔画像撮影装置１０１では成し得る機能を備えている。
２次元顔画像記憶部１０２は、顔画像撮影装置１０１で撮影された顔画像を蓄積する機能を備えている。３次元顔形状復元手段３０３は、２次元顔画像記憶部１０２に蓄積された顔画像を基にして３次元顔形状計測記憶部１０５を参照しつつ３次元顔形状に復元するように機能する。

更に、３次元顔形状計測装置１０４は、レーザー光線やステレオ撮影機器により顔の表面形状を立体的・３次元的に計測する機能を備えている。又、３次元顔計測形状記憶部１０５は３次元顔形状計測装置１０４によって計測された３次元顔形状を蓄積する機能を備えている。同時に、３次元顔復元形状記憶部３０６は３次元顔形状復元手段３０３によって復元された３次元顔形状を蓄積する機能を備えている。
そして、登録データ記憶部３０７は、前述したように、実計測された３次元顔計測形状記憶部１０５と復元された３次元顔復元形状記憶部３０６を備えており、照合プロセスにおいて参照される記憶部として機能する。

前述した３次元顔復元形状記憶部３０３及び３次元顔計測形状記憶部１０３には、同一人物にかかるデータが重複して記憶されないように監視する機能を備えた登録データ整合手段３０８が併設されている。そして、この登録データ整合手段３０８が、前記計測形状にかかるデータと復元形状にかかるデータとが重複して記憶されている場合に機能して復元形状にかかるデータを削除する復元形状データ削除制御機能を備えている。

登録データ整合手段３０８は、同一人物が３次元顔計測形状記憶部１０５と３次元顔復元形状記憶部３０６の両方に重複して記録されないよう監視する機能を備え、もし重複している場合は、復元形状データ削除制御機能が作動して形状精度の高い３次元顔計測形状記憶部１０５の顔計測データを優先して残し、３次元顔復元形状記憶部３０６のデータを削除する。

次に、第１実施形態の全体的な動作を、図２のフローチャートに基づいて説明する。
まず、図２の（Ａ）に示す２次元顔画像撮影フローでは、顔画像撮影装置１０１で顔画像を撮影し（Ｓ８０１）、その顔画像を２次元顔画像記憶部１０２に蓄積する（Ｓ８０２) 。また、図２の（Ｂ）に示す３次元顔形状計測フローでは、顔の３次元顔形状を計測し（Ｓ８０３）、その３次元顔形状を３次元顔形状計測記憶部１０５に蓄積する（Ｓ８０４) 。

図２の（Ｃ）に示す３次元顔形状復元フローでは、始めに３次元顔計測形状記憶部１０５に記憶された３次元顔計測形状データの全てを参照可能にする（Ｓ８０５) 。その後、２次元顔形状記憶部１０２より２次元顔画像を１枚読み込み（Ｓ８０６) 、ステップＳ８０５で参照可能にした３次元顔計測形状データの全てに基づいて顔画像に合致するよう３次元顔形状復元を行う（Ｓ８０７）。そして、復元された３次元顔復元形状データを３次元顔復元形状記憶部３０６に蓄積する（Ｓ８０８）。これを復元対象となる顔画像が無くなるまで実施する（Ｓ８０９) 。

図２の（Ｄ）に示す登録データ整合フローでは、上述した登録データ整合手段３０８が機能し、まず、３次元顔計測形状記憶部１０５と３次元顔復元形状記憶部３０６とに記憶されたデータが更新されたか否かを確認する（Ｓ８１０) 。更新されていない場合（Ｓ８１１) は、一定時間待機（Ｓ８１５) する。更新された場合（Ｓ８１１) は、３次元顔計測形状記憶部１０５と３次元顔復元形状記憶部３０６に同一人物が登録されていないか確認する（Ｓ８１２) 。同一人物が登録されていない場合（Ｓ８１３) は、一定時間待機（Ｓ８１５) する。同一人物が登録されている場合は（Ｓ８１３) 、３次元顔復元形状記憶部３０６のデータを削除し（Ｓ８１４：復元形状データ削除制御工程）、その後、待機する（Ｓ８１５) 。

ここで、上述した復元形状データ削除制御工程で実行される登録データ整合手段３０８の復元形状データ削除制御機能については、その実行内容をプログラム化しコンピュータに実行させるように構成してもよい。

上述したように、この第１実施形態では、２次元顔画像データから３次元顔復元形状データの構築に際し、登録時と異なる顔の向きや証明の相違或いは表情などの相違があっても、登録時から径年変化の影響を受けにくい３次元顔計測形状データを参照して復元を実行するようにしたので、短時間に然も高精度に３次元顔復元形状データを構築することができ、信頼性の高い３次元顔復元形状データを得ることができる。更に、３次元顔計測形状記憶部１０５と３次元顔復元形状記憶部３０６との両方に登録データ整合手段３０８を接続するよう構成したので、同一人物が３次元顔復元形状記憶部３０６と３次元顔計測形状記憶部１０５の両方に重複して存在することがなく、且つ重複データについては計測精度の高い３次元顔計測形状記憶部１０５を優先してそのデータの記憶を継続させ、これによって復元精度の向上を図っている。
又、この第１実施形態では、３次元顔形状計測フローと３次元顔形状復元フローとが図２（Ｂ）（Ｃ）に示すように分離しており、各々並行に実行することが可能な構成になっている。このため、本実施形態実施形態にあっては、日々増加する３次元顔計測形状データの蓄積によって、日々形状復元する３次元顔形状の精度が経時的に高められるという効果を合わせ備えた構成となっている。

〔第２の実施形態〕
次に、本発明の第２実施形態を図３乃至図４に基づいて説明する。
ここで、前述した第１実施形態と同一の構成部材については同一の符号を用いるものとする。
この第２の実施形態は、前述した第１の実施形態における３次元顔形状復元手段３０３と同等に機能する３次元顔形状復元手段５０３を備え、この３次元顔形状復元手段５０３に再復元監視・通知手段５０８を併設し、先に復元された時に使用した３次元顔計測形状数と現時点で存在する３次元顔計測形状数とを比較し、十分後者の方が大きい場合に、３次元顔形状復元手段５０３にて再び３次元顔形状復元を行うようにし、これによって３次元顔形状復元データの精度向上を図った点に特徴を有する。

以下、これを更に詳述する。
図３において、本第２の実施形態は、顔画像撮影装置１０１と、２次元顔画像記憶部１０２と、３次元顔形状復元手段５０３と、３次元顔形状計測装置１０４と、登録データ記憶部５０７と、再復元監視・通知手段５０８とから構成されている。登録データ記憶部５０７は、３次元顔計測形状記憶部１０５と，３次元顔復元形状記憶部５０６とを備えた構成となっている。

ここで、前述した３次元顔形状復元手段５０３に、前記３次元顔計測形状記憶部１０５および３次元顔復元形状記憶部５０６にそれぞれ記憶される記憶内容の蓄積数を監視する上述した再復元用監視・通知手段５０８が併設されている。この再復元用監視・通知手段５０８は、前記３次元顔復元形状記憶部５０６に記憶されている一の顔復元形状について当該顔復元形状が復元された時の前述した３次元顔計測形状の蓄積数が、現在の３次元顔計測形状の蓄積数より小さい場合に、前記３次元顔形状復元手段５０３に対して再度当該一の顔復元形状について顔形状復元を指令する再復元実行指令機能を備えている。

上記各構成部材は、それぞれ次のような動作，機能を備えている。
まず、２次元顔画像記憶部１０２は、顔画像撮影装置１０１で撮影された顔画像を蓄積する。３次元顔形状復元手段５０３は、２次元顔画像記憶部１０２に蓄積された顔画像を３次元顔形状計測記憶部１０５等に記憶された形状計測データに基づいて３次元顔形状を復元する機能を備えている。３次元顔復元形状記憶部５０６は、３次元顔形状復元手段５０３によって復元された３次元顔形状を蓄積する。
登録データ記憶部５０７は、前述したように、実計測された３次元顔計測形状記憶部１０５と復元された３次元顔復元形状記憶部５０６を持ち、照合プロセスにおいて参照される記憶部となる。

そして、前述した再復元監視・通知手段５０８は、３次元顔計測形状記憶部１０５と３次元顔復元形状記憶部５０６とを同時に監視し、３次元顔復元形状記憶部５０６に蓄積された個々の３次元顔復元形状が、復元された時に使用した３次元顔計測形状記憶部１０５の３次元顔計測形状数と、現時点で存在する３次元顔計測形状記憶部１０５の３次元顔計測形状数とを比較し、十分後者の方が大きい場合、３次元顔形状復元手段５０３にて３次元顔形状復元を行う機能を備えている。
その他の構成は前述した第１実施形態の場合と同一となっている。

次に、上記第２の実施形態における全体的な動作を、図４のフローチャートを参照して説明する。
まず、図４の（Ａ）に示す２次元顔画像撮影フローでは、顔画像撮影装置１０１で顔画像を撮影し（Ｓ１００１）、その顔画像を２次元顔画像記憶部１０２に蓄積する（Ｓ１００２：２次元顔画像記憶工程）。又、図４の（Ｂ）に示す３次元顔形状計測フローでは、３次元顔形状を３次元顔形状計測装置１０４で計測し（Ｓ１００３：３次元顔形状計測工程）、その３次元顔形状計測データを３次元顔計測形状記憶部１０５に蓄積する（Ｓ１００４：３次元顔形状計測記憶工程）。

図４の（Ｃ）に示す３次元顔形状復元フローでは、始めに３次元顔計測形状記憶部１０５に格納された３次元顔計測形状データを全て参照可能にする（Ｓ１００５) 。
その後、２次元顔形状記憶部１０２から２次元顔画像を１枚読み込み（Ｓ１００６) 、ステップＳ１００５で参照可能にした３次元顔計測形状データの全てに基づいて顔画像に合致するように３次元顔形状復元手段１０３によって３次元顔形状の復元を行う（Ｓ１００７：３次元顔形状復元工程）。そして、復元された３次元顔形状を３次元顔復元形状記憶部１０６に蓄積する（Ｓ１００８：３次元顔形状記憶工程) 。更に、かかる動作を復元対象となる顔画像が無くなるまで実施する（Ｓ１００９) 。

更に、図４の（Ｄ）に示す３次元顔形状再復元フローでは、まず、前述した再復元監視・通知手段５０８は、３次元顔計測形状記憶部１０５に蓄積された３次元顔計測形状の蓄積数（この蓄積数をＡとする) を参照する（Ｓ１０１０：再復元監視・通知工程）。その後、３次元顔復元形状記憶部１０５から１つの復元形状を参照し、復元形状された時の３次元顔計測形状の数（この数をＢとする) を参照する（Ｓ１０１１) 。そして、ＡとＢを比較し（Ｓ１０１２) 、Ａが十分Ｂより大きくない場合は次の復元形状について処理をし（Ｓ１０１１) 、Ａが十分Ｂより大きい場合は、再度３次元顔形状復元を行う（Ｓ１０１３：３次元顔形状再復元工程）。

そして、復元された３次元顔形状データは、３次元顔復元形状記憶部１０５に上書きして蓄積される（Ｓ１０１４) 。未参照の３次元顔形状があれば、再度１０１１を行い、無ければ３次元顔計測形状が蓄積されるまで一定時間待機し（Ｓ１０１６) 、その後１０１０の処理を開始する。
ここで、上述した再復元監視・通知手段５０８による再復元監視・通知工程および３次元顔形状復元手段１０３による３次元顔形状再復元工程の各実行内容をプログラム化しコンピュータで実行するように構成してもよい。

上述したように、この第２の実施形態では、再復元監視・通知手段５０８を備え、３次元顔形状復元を実施した際に使用した３次元顔計測形状と，現在存在する３次元顔計測形状数とを比較できる構成になっているため、３次元顔形状の再復元の時期を自動的に検出し、再復元を実行することで、３次元顔復元形状記憶部１０５をより高精度にすることが可能となる。

次に、具体的な実施例を説明する。
図５にこれを示す。この図５に示す実施形態では、２次元顔データ撮影・蓄積部１１１３と、３次元顔データ撮影・蓄積部１１１４と、３次元顔データ復元部１１１５と、統合管理部１１１６とを備えている。これらはルータ１１０４を介してネットワーク接続されている。２次元顔データ撮影・蓄積部１１１３では、人物の顔１１００をスチルカメラ１１０１で撮影し、コンピュータ１１０２でデジタルデータとして読取った後、名前，性別等の人物情報（属性データ）を入力し、データベース１１０３に蓄積する。

また、３次元顔データ撮影・蓄積部１１１４では、人物の顔１１０５を２台のカメラ１１０６，１１０７から構成されるステレオカメラを用いて撮影し、コンピュータ１１０８に取り込む。コンピュータ１１０８ではステレオカメラの画像から立体形状を導出し、名前，性別等の人物情報（属性データ）と共にデータベース１１０９に蓄積する。
３次元顔データ復元部１１１５では、コンピュータ１１１０を用いてデータベース１１０３から復元対象となる人物の２次元顔データを読取り、その後データベース１１０９より順次３次元顔データを読取る。そして、それら３次元顔データから３次元顔形状の復元を行う。

復元された３次元顔形状はデータベース１１１１に蓄積される。統合管理部１１１６では、コンピュータ１１１２が２次元顔データを持つデータベース１１０３と３次元顔データを持つデータベース１１０９をネットワーク経由で常に監視し、両データベースで重複する人物が蓄積されていないかを監視し、もし重複人物が蓄積されているようであれば、２次元顔データベースを削除するようコンピュータ１１０２に通知する。

このように具体的に構成することにより、２次元顔画像データから３次元顔復元形状データの構築に際し、登録時と異なる顔の向きや証明の相違或いは表情などの相違があっても、登録時から径年変化の影響を受けにくい３次元顔計測形状データを参照して復元を実行するようにしたので、前述した各実施形態の場合と同様に、短時間に然も高精度に３次元顔復元形状データを復元することができる。

以上のように、上述した各実施形態および実施例により、３次元顔認証システムで必要とする本発明にかかる３次元顔登録システムは、顔画像の撮影を行う手段１０１と、２次元顔画像を保存する手段１０２と、３次元顔形状を復元する手段１０３と、３次元で顔形状を計測する手段１０４と、３次元の顔形状を保存する手段３０３または５０３を備え、３次元顔形状復元手段において３次元顔計測形状データを参照することで２次元顔画像を３次元に復元するよう動作する。このような構成を採用し、３次元顔形状計測装置で３次元顔データを逐次計測を行い３次元顔計測形状のデータ数が増加するに伴い、３次元顔形状復元精度が逐次向上する。これにより、本発明の目的を達成することができる。

このように、本発明にあっては、第１に、３次元顔認証システムがシステム導入当初から有用な運用ができるという効果が得られる。その理由は、３次元形状復元装置を導入することで既存の２次元顔画像から３次元顔形状を復元でき、登録データベースに十分なデータが蓄積できるためである。
第２に、システム運用を続ける程、３次元顔形状復元の精度が向上する、という効果が得られる。その理由は、３次元顔形状復元では既存の３次元顔計測形状データを参照に復元を行うが、このとき復元精度がデータ量に比例して向上することから、３次元顔形状計測装置で３次元顔計測形状データを逐次計測することで、データ量を逐次増加することができるからである。

本発明にかかる３次元顔登録システムは、犯罪現場を撮影したビデオ映像から顔照合技術を使用して犯人を特定するといった用途にも適用できる。特に、照明条件や顔向きのような顔照合精度に影響する要素に対して、ロバストな３次元顔照合システムにおける３次元顔登録データベース構築に適用できる。又、セキュリティが厳重な建物への入出管理や自動車での運転者確認等の顔認証システムにおける３次元顔登録データベース構築にも適用できる。

本発明にかかる第１実施形態を示すブロック図である。 図１に開示した第１実施形態の動作を示す図で、図２（Ａ）は２次元顔画像撮影フローを示すフローチャート、図２（Ｂ）は３次元顔形状計測フローを示すフローチャート、図２（Ｃ）は３次元顔形状復元フローを示すフローチャート、図２（Ｄ）は登録データ整合フローを示すフローチャートである。 本発明にかかる第２実施形態を示すブロック図である。 図３に開示した第２実施形態の動作を示す図で、図４（Ａ）は２次元顔画像撮影フローを示すフローチャート、図４（Ｂ）は３次元顔形状計測フローを示すフローチャート、図４（Ｃ）は３次元顔形状復元フローを示すフローチャート、図４（Ｄ）は３次元顔形状再復元フローを示すフローチャートである。３次元顔形状再復元フローを示すフローチャートである。 本発明の具体例としての実施例を示す説明図である。

符号の説明

１０１……顔画像撮影装置
１０２……２次元顔画像記憶部
３０３，５０３……３次元顔形状復元手段
１０４……３次元顔形状計測装置
１０５……３次元顔計測形状記憶部
３０６，５０６……３次元顔復元形状記憶部
３０７，５０７……登録データ記憶部
３０８……登録データ整合手段
５０３……３次元顔形状復元手段

Claims (6)

1. 個人認証用として撮影された複数の顔写真を記憶する２次元顔画像記憶部と、この記憶された２次元の顔写真から３次元の顔形状を復元する３次元顔形状復元手段と、この復元された３次元の顔形状を登録データとして記憶する３次元顔復元形状記憶部とを備えた３次元顔データ登録システムにおいて、
   前記３次元顔形状復元手段に、３次元で顔の形状を計測する３次元顔形状計測手段と、この計測された３次元顔計測形状データを保存する３次元顔計測形状記憶部とを併設すると共に、
   前記３次元顔形状復元手段が、前記２次元の顔写真から３次元の顔形状を復元するに際しては、前記３次元顔形状計測手段で得られる３次元顔計測形状データを参照しこれに基づいて復元する３次元形状参照復元機能を備え、
   前記３次元顔復元形状記憶部と前記３次元顔計測形状記憶部とに、同一人物にかかるデータが重複して記憶されないように監視する登録データ整合手段を併設し、
   この登録データ整合手段が、前記計測形状にかかるデータと復元形状にかかるデータとが重複して記憶されている場合に機能して復元形状にかかるデータを削除する復元形状データ削除制御機能を備えていることを特徴とする３次元顔データ登録システム。
2. 個人認証用として撮影された複数の顔写真を記憶する２次元顔画像記憶部と、この記憶された２次元の顔写真から３次元の顔形状を復元する３次元顔形状復元手段と、この復元された３次元の顔形状を登録データとして記憶する３次元顔復元形状記憶部とを備えた３次元顔データ登録システムにおいて、
   前記３次元顔形状復元手段に、３次元で顔の形状を計測する３次元顔形状計測手段と、この計測された３次元顔計測形状データを保存する３次元顔計測形状記憶部とを併設すると共に、
   前記３次元顔形状復元手段が、前記２次元の顔写真から３次元の顔形状を復元するに際しては、前記３次元顔形状計測手段で得られる３次元顔計測形状データを参照しこれに基づいて復元する３次元形状参照復元機能を備え、
   前記３次元顔形状復元手段に、前記３次元顔計測形状記憶部および３次元顔復元形状記憶部にそれぞれ記憶される記憶内容の蓄積数を監視する再復元用監視・通知手段を併設すると共に、
   この再復元用監視・通知手段は、前記３次元顔復元形状記憶部に記憶されている一の顔復元形状について当該顔復元形状が復元された時の前記３次元顔計測形状の蓄積数が現在の３次元顔計測形状の蓄積数より小さい場合に、前記３次元顔形状復元手段に対して再度当該一の顔復元形状について顔形状復元を指令する再復元実行指令機能を備えていることを特徴とする３次元顔データ登録システム。
3. 個人認証用として撮影された複数の顔写真を記憶する２次元顔写真記憶工程と、この記憶された２次元の顔写真から３次元の顔形状を復元する３次元顔形状復元工程と、この復元された３次元の顔形状を登録データとして３次元顔復元形状記憶部に記憶する３次元顔復元形状記憶工程とを備えた３次元顔データ登録方法において、
   前記３次元顔形状復元工程の前に、３次元で顔の形状を計測すると共にその計測データを３次元顔形状計測記憶部に記憶する３次元顔形状計測工程を設け、
   前記３次元顔形状復元工程では、前記２次元の顔写真から３次元の顔形状を復元するに際し、前記３次元顔形状計測手段で得られる３次元顔計測形状データを参照しこれに合わせて復元するようにその実行内容が設定され、
   前記３次元顔形状復元工程の実行前に、前記３次元顔復元形状記憶部と前記３次元顔計測形状記憶部とに同一人物にかかるデータが重複して記憶されないように監視すると共に、重複して記憶されている場合に機能して前記３次元顔復元形状記憶部の対応する復元形状にかかるデータを削除する復元形状データ削除制御工程を設けたことを特徴とする３次元顔データ登録方法。
4. 個人認証用として撮影された複数の顔写真を記憶する２次元顔写真記憶工程と、この記憶された２次元の顔写真から３次元の顔形状を復元する３次元顔形状復元工程と、この復元された３次元の顔形状を登録データとして３次元顔復元形状記憶部に記憶する３次元顔復元形状記憶工程とを備えた３次元顔データ登録方法において、
   前記３次元顔形状復元工程の前に、３次元で顔の形状を計測すると共にその計測データを３次元顔形状計測記憶部に記憶する３次元顔形状計測工程を設け、
   前記３次元顔形状復元工程では、前記２次元の顔写真から３次元の顔形状を復元するに際し、前記３次元顔形状計測手段で得られる３次元顔計測形状データを参照しこれに合わせて復元するようにその実行内容が設定され、
   前記３次元顔形状復元工程の後に、前記３次元顔計測形状記憶部および３次元顔復元形状記憶部にそれぞれ記憶される記憶内容の蓄積数を監視する再復元用監視・通知工程および３次元顔形状再復元工程を設定し、
   前記再復元用監視・通知工程では、前記３次元顔復元形状記憶部に記憶されている一の顔復元形状について当該顔復元形状が復元された時の前記３次元顔計測形状の蓄積数が現在の３次元顔計測形状の蓄積数より小さい場合に、前記３次元顔形状復元工程に対して再度当該一の顔復元形状について顔形状復元の指令すると共に、当該指令に基づいて前記３次元顔形状再復元工程が前記３次元顔形状復元工程と同一内容で実行されることを特徴とした３次元顔データ登録方法。
5. 個人認証用として撮影された複数の顔写真を２次元顔画像記憶部に記憶させる２次元顔データ記憶処理機能、
   前記復元処理機能の実行に先立って、予め計測された３次元の顔形状の計測データを３次元顔形状計測記憶部に記憶する計測形状データ記憶処理機能、
   この記憶された２次元の顔写真から３次元の顔形状を復元するに際し，前記３次元顔形状計測で得られた３次元顔計測形状データを参照しこれに合わせて復元させる３次元顔形状復元機能，
   この復元された３次元の顔形状を登録データとして記憶する３次元顔復元形状記憶処理機能、
   前記３次元顔形状復元機能の実行前に、前記３次元顔復元形状記憶部と前記３次元顔計測形状記憶部とに同一人物にかかるデータが重複して記憶されないように監視すると共に、重複して記憶されている場合に機能して前記３次元顔復元形状記憶部の対応する復元形状にかかるデータを削除する復元形状データ削除処理機能、
   をコンピュータに実行させるようにしたことを特徴とした３次元顔データ登録プログラム。
6. 個人認証用として撮影された複数の顔写真を２次元顔画像記憶部に記憶させる２次元顔データ記憶処理機能、
   前記復元処理機能の実行に先立って、予め計測された３次元の顔形状の計測データを３次元顔形状計測記憶部に記憶する計測形状データ記憶処理機能、
   この記憶された２次元の顔写真から３次元の顔形状を復元するに際し，前記３次元顔形状計測で得られた３次元顔計測形状データを参照しこれに合わせて復元させる３次元顔形状復元機能，
   この復元された３次元の顔形状を登録データとして記憶する３次元顔復元形状記憶処理機能、
   ３次元顔形状復元機能の作動完了後に、前記３次元顔計測形状記憶部および３次元顔復元形状記憶部にそれぞれ記憶される記憶内容の蓄積数を監視し計数し、前記３次元顔復元形状記憶部に記憶されている一の顔復元形状について当該顔復元形状が復元された時の前記３次元顔計測形状の蓄積数が現在の３次元顔計測形状の蓄積数より小さい場合に、再度当該一の顔復元形状について３次元顔形状復元機能を作動させ再度当該一の顔復元形状について顔形状再復元を実行させる再復元用監視処理機能、
   をコンピュータに実行させるようにしたことを特徴とした３次元顔データ登録プログラム。

Images