JP4525523B2 - 認証システム、認証方法およびプログラム - Google Patents

認証システム、認証方法およびプログラム Download PDF

Info

Publication number
JP4525523B2
JP4525523B2 JP2005241041A JP2005241041A JP4525523B2 JP 4525523 B2 JP4525523 B2 JP 4525523B2 JP 2005241041 A JP2005241041 A JP 2005241041A JP 2005241041 A JP2005241041 A JP 2005241041A JP 4525523 B2 JP4525523 B2 JP 4525523B2
Authority
JP
Japan
Prior art keywords
information
dimensional
model
dimensional information
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005241041A
Other languages
English (en)
Other versions
JP2007058402A (ja
Inventor
雄一 川上
雄介 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2005241041A priority Critical patent/JP4525523B2/ja
Publication of JP2007058402A publication Critical patent/JP2007058402A/ja
Application granted granted Critical
Publication of JP4525523B2 publication Critical patent/JP4525523B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Collating Specific Patterns (AREA)

Description

本発明は、物体の認証技術に関する。
近年、ネットワーク技術等の発展によって電子化された様々なサービスが普及し、人に頼らない非対面での本人認証技術の必要性が高まっている。これに伴い、人物の生体特徴によって自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つである顔認証技術は、非接触型の認証方法であり、監視カメラによるセキュリティ或いは顔をキーとした画像データベース検索等、様々な分野での応用が期待されている。
このような認証技術としては、予め登録された登録画像と認証対象物を撮影した撮影画像とをそれぞれ平面情報（「テクスチャ情報」あるいは「２次元情報」）としてのみ取得しておき、単純に両画像の平面情報を比較することによって、登録画像内の人物と撮影画像内の人物とが同一人物であるか否かを判定することが行われる。
ただし、このような単なる２次元画像同士の比較では、両画像における人物の姿勢（向き）等が同一でない場合等においては、高精度の認証を行うことができないことがある。
このような問題を解消するものとして、比較対象の両物体を撮影する際に、平面情報だけでなく、対象物の立体形状等（換言すれば３次元位置）をも計測して、対象物の立体的な情報（以下、「３次元情報」とも称する）を取得する技術が存在する。画像内のテクスチャ情報に加えて３次元形状をも利用することによって、より高精度の比較を行うことが可能である。
しかしながら、この技術においては、比較対象となる両物体に関する情報をいずれも３次元情報を伴う状態で取得することが求められるが、一般的に３次元情報を取得することはコストおよび時間等の諸要因によって困難な場合も存在する。
このような場合にも利用可能な認証技術として、たとえば、特許文献１に記載の技術が存在する。
特許文献１では、登録画像は３次元情報を伴って登録されている一方で、認証時には３次元情報を伴わない単なる画像を撮影し、両者を比較する技術が記載されている。具体的には、３次元情報を伴う登録画像における人物の姿勢を認証時の撮影画像（３次元情報を伴わない画像）における人物の姿勢に合わせるように、登録画像を修正した上で、２つの画像が比較される。
特開２００１−２８３２２４号公報
しかしながら、上記の特許文献１に記載の技術は、登録画像における人物の姿勢を認証時の撮影画像における人物の姿勢に合わせるように登録画像を修正した上で、２つの画像を比較するものであるため、両画像は、認証時の人物の姿勢で比較されることになる。そのため、たとえば、当該人物が正面を向いた画像同士で比較することもあるが、当該人物が若干右を向いた画像同士で比較することもあることになり、両者の比較条件がばらついてしまうという問題が存在する。このような比較条件のばらつきは高精度の認証を行うためには好ましいものではない。
そこで、この発明の課題は、第１物体に関する情報と第２物体に関する情報との両情報のうち少なくとも一方の情報を３次元情報を伴わない情報として取得して当該両情報を比較する際に両者の比較条件のばらつきを抑制した上で、認証動作を行うことが可能な認証処理技術を提供することにある。
上記課題を解決すべく、請求項１の発明は、第１物体と第２物体との同一性を認証する認証システムであって、前記第１物体に関する２次元情報を取得する第１取得手段と、前記第２物体に関する２次元情報を取得する第２取得手段と、前記第２物体に関する３次元情報を取得する第３取得手段と、前記第１物体に関する推定３次元情報を生成する推定手段と、前記第１物体に関する立体モデルである第１立体モデルを、前記第１物体に関する前記２次元情報と前記推定３次元情報とに基づいて生成する第１生成手段と、前記第２物体に関する立体モデルである第２立体モデルを、前記第２物体に関する前記２次元情報と前記３次元情報とに基づいて生成する第２生成手段と、前記第１立体モデルを用いて、前記第１物体に関するテクスチャ情報である第１テクスチャ情報を標準化した状態に変換し、前記第２立体モデルを用いて、前記第２物体に関するテクスチャ情報である第２テクスチャ情報を標準化した状態に変換する変換手段と、標準化された前記第１テクスチャ情報と標準化された前記第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定する判定手段とを備え、前記第１および第２物体は人物の顔であることを特徴とする。
請求項２の発明は、請求項１の発明に係る認証システムにおいて、前記変換手段は、前記第１立体モデルの各特徴点と標準立体モデルにおける各対応標準位置との対応関係を求めて、前記第１テクスチャ情報を標準化した状態に変換し、前記第２立体モデルの各特徴点と前記標準立体モデルにおける各対応標準位置との対応関係を求めて、前記第２テクスチャ情報を標準化した状態に変換することを特徴とする。
請求項３の発明は、請求項１または請求項２の発明に係る認証システムにおいて、前記変換手段は、前記第１立体モデルの各特徴点を標準立体モデルにおける各対応標準位置に移動させた上で前記第１テクスチャ情報を貼り付けた第１サブモデルを作成するとともに、前記第２立体モデルの各特徴点を前記標準立体モデルにおける各対応標準位置に移動させた上で前記第２テクスチャ情報を貼り付けた第２サブモデルを作成し、前記判定手段は、前記第１サブモデルに貼り付けられた前記第１テクスチャ情報と前記第２サブモデルに貼り付けられた前記第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定することを特徴とする。
請求項４の発明は、請求項１から請求項３のいずれかの発明に係る認証システムにおいて、前記第１取得手段は、前記第１物体に関する２次元情報を、単眼視による第１撮影動作によって撮影された画像から取得し、前記第３取得手段は、前記第２物体に関する３次元情報を、多眼視による第２撮影動作によって撮影された複数の画像から取得することを特徴とする。
請求項５の発明は、請求項４の発明に係る認証システムにおいて、前記第１撮影動作によって撮影された画像は、前記第２撮影動作よりも先に撮影されて既に登録されている登録画像であることを特徴とする。
請求項６の発明は、請求項４の発明に係る認証システムにおいて、前記第２撮影動作は、前記第１撮影動作よりも先に行われることを特徴とする。
請求項７の発明は、請求項１から請求項６のいずれかの発明に係る認証システムにおいて、前記第１物体に関する２次元情報は、ＩＤカードに含まれており、前記第１取得手段は、前記第１物体に関する２次元情報を前記ＩＤカードから取得することを特徴とする。
請求項８の発明は、請求項１から請求項７のいずれかの発明に係る認証システムにおいて、前記判定手段は、前記第１および第２立体モデルに含まれる形状情報をも用いて、前記第１物体と前記第２物体との同一性を判定することを特徴とする。
請求項９の発明は、請求項８の発明に係る認証システムにおいて、前記判定手段は、圧縮された３次元形状情報を前記形状情報として用いることを特徴とする。
請求項１０の発明は、請求項８の発明に係る認証システムにおいて、前記判定手段は、標準化された前記第１テクスチャ情報と標準化された前記第２テクスチャ情報との類似度と、前記第１立体モデルの３次元形状情報と前記第２立体モデルの３次元形状情報との類似度とを所定の重み付け係数で合成した総合類似度を用いて、前記第１物体と前記第２物体との同一性を判定することを特徴とする。
請求項１１の発明は、第１物体と第２物体との同一性を認証する認証方法であって、前記第１物体に関する２次元情報を取得するステップと、前記第２物体に関する２次元情報を取得するステップと、前記第２物体に関する３次元情報を取得するステップと、前記第１物体に関する推定３次元情報を生成するステップと、前記第１物体に関する立体モデルである第１立体モデルを、前記第１物体に関する前記２次元情報と前記推定３次元情報とに基づいて生成するステップと、前記第２物体に関する立体モデルである第２立体モデルを、前記第２物体に関する前記２次元情報と前記３次元情報とに基づいて生成するステップと、前記第１立体モデルを用いて、前記第１物体に関するテクスチャ情報である第１テクスチャ情報を標準化した状態に変換するステップと、前記第２立体モデルを用いて、前記第２物体に関するテクスチャ情報である第２テクスチャ情報を標準化した状態に変換するステップと、標準化された前記第１テクスチャ情報と標準化された前記第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定するステップとを含み、前記第１および第２物体は人物の顔であることを特徴とする。
請求項１２の発明は、コンピュータに、第１物体と第２物体との同一性を認証する認証する認証方法を実行させるプログラムであって、前記第１物体に関する２次元情報を取得する手順と、前記第２物体に関する２次元情報を取得する手順と、前記第２物体に関する３次元情報を取得する手順と、前記第１物体に関する推定３次元情報を生成する手順と、前記第１物体に関する立体モデルである第１立体モデルを、前記第１物体に関する前記２次元情報と前記推定３次元情報とに基づいて生成する手順と、前記第２物体に関する立体モデルである第２立体モデルを、前記第２物体に関する前記２次元情報と前記３次元情報とに基づいて生成する手順と、前記第１立体モデルを用いて、前記第１物体に関するテクスチャ情報である第１テクスチャ情報を標準化した状態に変換する手順と、前記第２立体モデルを用いて、前記第２物体に関するテクスチャ情報である第２テクスチャ情報を標準化した状態に変換する手順と、標準化された前記第１テクスチャ情報と標準化された前記第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定する手順とを前記コンピュータに実行させるためのプログラムであり、前記第１および第２物体は人物の顔であることを特徴とする。
請求項１３の発明は、第１物体と第２物体との同一性を認証する認証システムであって、前記第１物体に関する２次元情報を取得する第１取得手段と、前記第２物体に関する２次元情報を取得する第２取得手段と、前記第２物体に関する３次元情報を取得する第３取得手段と、前記第１物体に関する推定３次元情報を生成する推定手段と、前記第１物体に関する立体モデルである第１立体モデルを、前記第１物体に関する前記２次元情報と前記推定３次元情報とに基づいて生成する第１生成手段と、前記第２物体に関する立体モデルである第２立体モデルを、前記第２物体に関する前記２次元情報と前記３次元情報とに基づいて生成する第２生成手段と、前記第１立体モデルおよび前記第２立体モデルの姿勢をいずれも共通の標準姿勢に変換する変換手段と、前記標準姿勢を有する状態に変換された前記第１立体モデルに貼り付けられた第１テクスチャ情報と、前記標準姿勢を有する状態に変換された前記第２立体モデルに貼り付けられた第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定する判定手段とを備え、前記第１および第２物体は人物の顔であることを特徴とする。
請求項１４の発明は、第１物体と第２物体との同一性を認証する認証方法であって、前記第１物体に関する２次元情報を取得するステップと、前記第２物体に関する２次元情報を取得するステップと、前記第２物体に関する３次元情報を取得するステップと、前記第１物体に関する推定３次元情報を生成するステップと、前記第１物体に関する立体モデルである第１立体モデルを、前記第１物体に関する前記２次元情報と前記推定３次元情報とに基づいて生成するステップと、前記第２物体に関する立体モデルである第２立体モデルを、前記第２物体に関する前記２次元情報と前記３次元情報とに基づいて生成するステップと、前記第１立体モデルおよび前記第２立体モデルの姿勢をいずれも共通の標準姿勢に変換するステップと、前記標準姿勢を有する状態に変換された前記第１立体モデルに貼り付けられた第１テクスチャ情報と、前記標準姿勢を有する状態に変換された前記第２立体モデルに貼り付けられた第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定するステップとを含み、前記第１および第２物体は人物の顔であることを特徴とする。
請求項１５の発明は、コンピュータに、第１物体と第２物体との同一性を認証する認証する認証方法を実行させるプログラムであって、前記第１物体に関する２次元情報を取得する手順と、前記第２物体に関する２次元情報を取得する手順と、前記第２物体に関する３次元情報を取得する手順と、前記第１物体に関する推定３次元情報を生成する手順と、前記第１物体に関する立体モデルである第１立体モデルを、前記第１物体に関する前記２次元情報と前記推定３次元情報とに基づいて生成する手順と、前記第２物体に関する立体モデルである第２立体モデルを、前記第２物体に関する前記２次元情報と前記３次元情報とに基づいて生成する手順と、前記第１立体モデルおよび前記第２立体モデルの姿勢をいずれも共通の標準姿勢に変換する手順と、前記標準姿勢を有する状態に変換された前記第１立体モデルに貼り付けられた第１テクスチャ情報と、前記標準姿勢を有する状態に変換された前記第２立体モデルに貼り付けられた第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定する手順とを前記コンピュータに実行させるためのプログラムであり、前記第１および第２物体は人物の顔であることを特徴とする。
請求項１から請求項１２に記載の発明によれば、第１物体に関して２次元情報しか存在しない場合であっても、当該２次元情報と推定３次元情報とに基づいて第１物体に関する第１立体モデルが作成される。そして、第１立体モデルを用いて第１テクスチャ情報を標準化した状態に変換するとともに、前記第２立体モデルを用いて第２テクスチャ情報を標準化した状態に変換し、標準化された第１および第２テクスチャ情報が比較されて認証動作が行われる。したがって、両テクスチャ情報がいずれも標準化された状態で比較されるので、比較条件のばらつきを抑制できる。また特に、人物の顔の表情変化に対してロバストな顔認証動作を行うことが可能である。
請求項１３から請求項１５に記載の発明によれば、第１物体に関して２次元情報しか存在しない場合であっても、当該２次元情報と推定３次元情報とに基づいて第１物体に関する第１立体モデルが作成される。そして、標準姿勢を有する状態に変換された第１立体モデルに貼り付けられた第１テクスチャ情報と、標準姿勢を有する状態に変換された第２立体モデルに貼り付けられた第２テクスチャ情報とを比較することによって、第１物体と第２物体との同一性が判定される。したがって、両テクスチャ情報が標準化された状態で比較されるので、比較条件のばらつきを抑制できる。また、特に、姿勢変化に対してロバストである。また特に、人物の顔の表情変化に対してロバストな顔認証動作を行うことが可能である。
特に、請求項２に記載の発明によれば、第１物体に関して２次元情報しか存在しない場合であっても、当該２次元情報と推定３次元情報とに基づいて第１物体に関する第１立体モデルが作成される。そして、第１立体モデルの各特徴点と標準立体モデルにおける各対応標準位置との対応関係が求められて第１テクスチャ情報が標準化され、第２立体モデルの各特徴点と当該標準立体モデルにおける各対応標準位置との対応関係が求められて第２テクスチャ情報が標準化され、標準化された第１および第２テクスチャ情報が比較されて認証動作が行われる。したがって、両テクスチャ情報がいずれも標準化された状態で比較されるので、比較条件のばらつきを抑制できる。また、姿勢変化に対してロバストであるとともに、物体表面の微小な形状変化に対してロバストである。
また特に、請求項８に記載の発明によれば、テクスチャ情報だけでなく、第１および第２立体モデルに含まれる形状情報をも用いて第１物体と第２物体との同一性が判定されるので、より正確な認証動作を実現することができる。
以下、本発明の実施形態を図面に基づいて説明する。以下では、顔画像を用いた認証動作を行う認証システムについて説明する。
＜Ａ．概要＞
図１は、この実施形態に係る顔認証システム１の概要を示す概念図である。
顔認証システム１は、後述するように、認証時に２台のカメラＣＡ１，ＣＡ２（図２参照）によって、認証対象者である人物ＨＭｂ（人物ＨＭａであると名乗る人物）の顔について多眼視（ここではステレオ視）による複数（ここでは２枚）の画像（ステレオ画像）Ｇ１，Ｇ２を撮影する。詳細には、カメラＣＡ１により画像Ｇ１が撮影され、カメラＣＡ２により画像Ｇ２が撮影される。そして、顔認証システム１は、２枚の画像Ｇ１，Ｇ２から得られた情報を、人物ＨＭａについて予め登録された顔画像に基づく情報と比較（ないし照合）することによって認証動作を行い、認証対象者である人物ＨＭｂが比較対象者（登録者）である人物ＨＭａと同一人物であるか否かを判定する。
ここにおいて、当該人物ＨＭａについて予め登録された顔画像に基づく情報としては、当該人物ＨＭａの顔を撮影した１枚の画像Ｇ０に含まれる情報を利用するものとする。
画像Ｇ０から得られる情報および画像Ｇ１，Ｇ２から得られる情報は、それぞれ、形状情報（各部位の位置等に関する情報）とテクスチャ情報（各点の表面輝度の集合等として得られる表面情報）とに大別される。
画像Ｇ１，Ｇ２からは、テクスチャ情報ＴＢが得られるとともに、形状情報として３次元情報ＳＢも得られる。より詳細には、まず、画像Ｇ１および画像Ｇ２の少なくとも一方から、人物ＨＭｂの顔のテクスチャ情報ＴＢが得られる。また、ステレオ視による２枚の画像Ｇ１，Ｇ２からは、人物ＨＭｂの顔の各点の３次元位置の集合等を含む３次元情報ＳＢが得られる。
一方、画像Ｇ０からは、人物ＨＭａの顔のテクスチャ情報ＴＡが得られるとともに、形状情報として、人物ＨＭａの顔の２次元形状情報ＰＡが得られる。ここで、単一の視点からの１枚の画像Ｇ０（単眼視による画像）からは、人物ＨＭａの顔の各点の平面的な（２次元的な）位置情報ＰＡを得ることはできるが、いわゆる奥行きに関する情報（以下、「奥行き情報」とも称する）を得ることはできないため、３次元位置情報などの立体的な情報（３次元情報）を直接的に得ることはできない。そこで、この実施形態においては、後述するように、奥行き情報を推定して、３次元情報ＳＡを生成する。なお、推定により生成された３次元情報ＳＡを「推定３次元情報」ＳＡとも称するものとする。また、後述するように、より正確な推定を行うため、統計的な手法をも取り入れることが好ましい。
基本的には、このようにして得られたテクスチャ情報ＴＡとテクスチャ情報ＴＢとが比較されるとともに、推定３次元情報ＳＡと３次元情報ＳＢとが比較される。なお、３次元情報ＳＡ，ＳＢの比較（換言すれば「形状情報の対比」）には、３次元形状情報の対比と２次元形状情報の比較とが包含されている。
ただし、このようにして得られたテクスチャ情報ＴＡ，ＴＢおよび形状情報ＳＡ，ＳＢは、膨大な情報量を有しているため、特徴選択動作（換言すれば、情報圧縮動作（後述））を行った後に比較動作を行うことが好ましい。この実施形態においても、情報圧縮動作を行う。これによれば、情報量を削減して、より効率的な照合動作を行うことができる。
また、この実施形態において、顔認証システム１は、テクスチャ情報ＴＡとテクスチャ情報ＴＢとの比較において、人物の姿勢変化および／または表情変化による影響を受けにくくするための処理を行う。具体的には、共通の標準立体モデル（立体化用モデル）を用いて、テクスチャ情報ＴＡとテクスチャ情報ＴＢとを標準化（正規化）した状態に変換し、標準化された両テクスチャ情報ＴＡ，ＴＢを比較することによって、人物ＨＭｂが人物ＨＭａであるか否かを判定する。これによれば、後述するように、標準状態での比較が可能になるので、比較条件のばらつきを抑制することができる。ここにおいて、１枚の画像Ｇ０に対して立体化処理を施すことによって座標変換等を施すことが可能になるため、標準状態での比較処理が可能になる。
この顔認証システム１によれば、予め登録された情報（登録者ＨＭａに関する情報）に３次元情報が含まれない場合であっても、高精度の認証動作が可能になる。
＜Ｂ．詳細構成＞
図２は、本発明の実施形態に係る顔認証システム１を示す構成図である。図２に示すように顔認証システム１は、コントローラ１０と２台の画像撮影カメラ（以下、単に「カメラ」とも称する）ＣＡ１，ＣＡ２とを備えている。カメラＣＡ１とカメラＣＡ２とは、それぞれ異なる位置から認証対象者ＨＭｂの顔を撮影できるように配置されている。カメラＣＡ１とカメラＣＡ２とによって認証対象者ＨＭｂの顔画像が撮影されると、当該撮影により得られる認証対象者ＨＭｂの外観情報すなわち２枚の顔画像Ｇ１，Ｇ２がコントローラ１０に通信線を介して送信される。なお、各カメラとコントローラ１０との間での画像データの通信方式は有線方式に限定されず、無線方式であってもよい。
図３は、コントローラ１０の構成概要を示す図である。図３に示されるように、コントローラ１０は、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部６と、ネットワークカードなどの通信部７とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体８からその中に記録されている情報を読み出すことができる。なお、このコントローラ１０に対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されてもよい。
次に、コントローラ１０の機能について、図４および図５を参照して説明する。
図４は、コントローラ１０の各種機能構成を示すブロック図であり、図５は、個人認証部１４の詳細な機能構成を示すブロック図である。
コントローラ１０の各種機能構成は、コントローラ１０内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。
図４に示されるように、コントローラ１０は、画像入力部１１と顔領域検索部１２と顔部位検出部１３と個人認証部１４と出力部１５とを備えている。
画像入力部１１は、カメラＣＡ１及びＣＡ２によって撮影された認証用の２枚の画像をコントローラ１０に入力する機能を有している。また、画像入力部１１は、カメラＣＡ０によって撮影された登録用の１枚の画像をコントローラ１０に入力する機能をも有している。
顔領域検索部１２は、入力された顔画像から顔領域を特定する機能を有している。
顔部位検出部１３は、特定した顔領域から顔の特徴的な部位（例えば、目、眉、鼻、口等）の位置を検出する機能を有している。
個人認証部１４は、顔の認証を主たる目的として構成され、各個人を顔画像で認証する機能を有している。この個人認証部１４の詳細については、次述する。
出力部１５は、個人認証部で得られた認証結果を出力する機能を有している。
次に、個人認証部１４の詳細構成について図５を用いて説明する。
図５に示すように、個人認証部１４は、３次元再構成部２１と最適化部２２と補正部２３と特徴抽出部２４と情報圧縮部２５と比較部２６とを有している。
３次元再構成部２１は、入力画像から得られる顔の特徴的な部位の座標から各部位の３次元における座標を算出する機能を有している。この３次元座標算出機能は、カメラパラメータ記憶部２７に格納されているカメラ情報を用いて実現される。また、３次元再構成部２１は、１枚の入力画像Ｇ０から得られる情報に加えて、推定用情報記憶部３１に格納されている情報（奥行き情報等）に基づいて、３次元情報を推定する機能をも有している。
最適化部２２は、算出された３次元座標を用いて３次元モデルデータベース２８に格納されている顔の標準的な立体モデル（「標準立体モデル」あるいは「標準モデル」とも称する）から、固有の人物に関する「個別モデル」を生成する機能を有している。
補正部２３は、生成された個別モデルを補正（修正あるいは変換とも表現できる）する機能を有している。
これらの各処理部２１，２２，２３によって、認証対象者ＨＭｂおよび登録者ＨＭａに関する情報は、標準化（正規化）され、相互比較しやすい状態に変換される。また、各処理部の機能によって作成された個別モデルは、人物の顔に関する３次元情報と２次元情報との双方を含むものとして形成される。「３次元情報」は、代表点の３次元座標値等の立体的構成に関連する情報であり、「２次元情報」は、表面情報（テクスチャ情報）および／または代表点の平面的な位置情報（２次元形状情報）等の平面的構成に関連する情報である。
特徴抽出部２４は、上記各処理部２１，２２，２３において作成された個別モデルから３次元情報と２次元情報とを抽出する特徴抽出機能を有している。
情報圧縮部２５は、特徴抽出部２４で抽出された３次元情報と２次元情報とをそれぞれ、顔認証用の適切な顔特徴量に変換することによって、顔認証に用いる３次元情報と２次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、基底ベクトルデータベース２９に格納された情報等を用いて実現される。
比較部２６は、人物データベース３０に予め登録されている登録者（比較対象者）ＨＭａの顔特徴量と、上記各機能部によって得られる認証対象者ＨＭｂの顔特徴量との類似度を計算し、顔の認証を行う機能を有している。
＜Ｃ．動作＞
＜動作概要＞
以下では、上述したコントローラ１０の顔認証動作についてより詳細に説明する。具体的には、上述したように、カメラＣＡ１及びＣＡ２で撮影した認証対象者ＨＭｂの顔画像と、予め登録された人物ＨＭａの顔画像とに関する情報を用いて、認証対象者ＨＭｂが登録済み人物ＨＭａと同一人物であるかを認証する場合（顔認証を行う場合）について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報としてテクスチャ（輝度）情報を用いる場合を例示する。
図６は、コントローラ１０の全体動作（認証動作）を示すフローチャートであり、図７は、図６の処理に先立って行われる登録動作（ステップＳＰ３０）を示すフローチャートある。さらに、図８は、顔画像における特徴的な部位の特徴点を示す図であり、図９は、２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。図９における画像Ｇ１、Ｇ２中の点Ｑ２０は、図８における口の右端に相当する。
図６に示されるように、コントローラ１０は、ステップＳＰ１からステップＳＰ８までの工程において、認証対象者の顔を撮影した画像に基づいて、認証対象者に関する顔特徴量を取得する。コントローラ１０は、その後、さらにステップＳＰ９，ＳＰ１０の工程を実行することによって、顔認証を実現する。なお、実際には、図７に示す処理（ステップＳＰ３１〜ＳＰ３９）が図６のステップＳＰ１〜ＳＰ１０に示す処理に先立って行われるが、ここでは説明の便宜上、図６に示す処理から説明する。
＜認証対象者ＨＭｂに関する情報収集＞
まず、ステップＳＰ１において、カメラＣＡ１及びＣＡ２によって撮影された所定の人物（認証対象者）ＨＭｂの顔画像が、通信線を介しコントローラ１０に入力される。顔画像を撮影するカメラＣＡ１及びカメラＣＡ２は、それぞれ、２次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラＣＡｉの位置姿勢等を示すカメラパラメータＢｉ（ｉ＝１・・Ｎ）は既知であり、予めカメラパラメータ記憶部２７（図５）に記憶されている。ここで、Ｎはカメラの台数を示している。本実施形態ではＮ＝２の場合を例示しているが、Ｎ≧３としてもよい（３台以上のカメラを用いてもよい）。カメラパラメータＢｉについては後述する。
次に、ステップＳＰ２において、カメラＣＡ１及びＣＡ２より入力された２枚の画像Ｇ１，Ｇ２のそれぞれにおいて、顔の存在する領域が検出される。顔領域検出手法としては、例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、２枚の画像Ｇ１，Ｇ２のそれぞれから顔領域を検出する手法を採用することができる。
次に、ステップＳＰ３において、ステップＳＰ２で検出された顔領域画像の中から、顔の特徴的な部位の位置が検出される。例えば、顔の特徴的な部位としては、目、眉、鼻又は口等が考えられ、ステップＳＰ３においては、図８に示されるような上記各部位の特徴点Ｑ１〜Ｑ２３の座標が算出される。特徴部位は、例えば、特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点の座標は、カメラより入力された画像Ｇ１、Ｇ２上の座標として表される。例えば、図８における口の右端に相当する特徴点Ｑ２０に関して、図９中に示すように、２枚の画像Ｇ１，Ｇ２のそれぞれにおける座標値が求められる。具体的には、画像Ｇ１の左上の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１，ｙ１）が算出される。画像Ｇ２においても同様に特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２，ｙ２）が算出される。
また、入力された画像における各特徴点を頂点とする領域内の各画素の輝度値が、当該領域の有する情報（以下、「テクスチャ情報」とも称する）として取得される。各領域におけるテクスチャ情報は、後述のステップＳＰ５等において、個別モデルに貼り付けられる。なお、本実施形態の場合、入力される画像は２枚であるので、各画像の対応する領域内の対応する画素における平均の輝度値を当該領域のテクスチャ情報として用いるものとする。
次のステップＳＰ４では、３次元再構成処理が行われる。具体的には、ステップＳＰ３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，...，Ｎ）における２次元座標Ｕｉ(j)と、各画像Ｇｉを撮影したカメラのカメラパラメータＢｉとに基づいて、各特徴点Ｑｊの３次元座標Ｍ(j)（ｊ＝１・・・ｍ）が算出される。端的に言えば、三角測量の原理に基づいて各特徴点の３次元位置が算出される。なお、ｍは特徴点の数を示している。
以下、３次元座標Ｍ(j)の算出について具体的に説明する。
各特徴点Ｑｊの３次元座標Ｍ(j)と各特徴点Ｑｊの２次元座標Ｕｉ(j)とカメラパラメータＢｉとの関係は式（１）のように表される。
なお、μｉは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Ｂｉは、予め３次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、３×４の射影行列で表される。
例えば、上記式（１）を用いて３次元座標を算出する具体的な例として、特徴点Ｑ２０の３次元座標Ｍ(20)を算出する場合を図９を用いて考える。式（２）は画像Ｇ１上の特徴点Ｑ２０の座標（ｘ１，ｙ１）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。同様に、式（３）は、画像Ｇ２上の特徴点Ｑ２０の座標（ｘ２，ｙ２）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。
上記式（２）及び式（３）中の未知数は、２つの媒介変数μ１、μ２と３次元座標Ｍ(20)の３つの成分値ｘ，ｙ，ｚとの合計５つである。一方、式（２）及び式（３）に含まれる等式の数は６であるため、各未知数つまり特徴点Ｑ２０の３次元座標（ｘ，ｙ，ｚ）を算出することができる。また、同様にして、全ての特徴点Ｑｊについての３次元座標Ｍ(j)を取得することができる。
次のステップＳＰ５では、モデルフィッテングが行われる。この「モデルフィッティング」は、予め準備された一般的（標準的）な顔のモデルである「（顔の）標準モデル」を、認証対象者に関する情報を用いて変形することによって、認証対象者の顔に関する入力情報が反映された「個別モデル」を生成する処理である。具体的には、算出された３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理と、上記のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理とが行われる。
図１０は、３次元の顔の標準モデルを示している。
図１０に示されるように、顔の標準モデルは、頂点データとポリゴンデータとで構成され、３次元モデルデータベース２８（図５）として記憶部３等に保存されている。頂点データは、標準モデルにおける特徴部位の頂点（以下、「標準制御点」とも称する）ＣＯｊの座標の集合であり、ステップＳＰ４において算出される各特徴点Ｑｊの３次元座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形（例えば、三角形）のポリゴンに分割し、ポリゴンを数値データとして表現したものである。なお、図１０では、各ポリゴンの頂点が標準制御点ＣＯｊ以外の中間点によっても構成される場合を例示しており、中間点の座標は標準制御点ＣＯｊの座標値を用いた適宜の補完手法によって得ることが可能である。
ここで、標準モデルから個別モデルを構成するモデルフィッティングについて詳述する。
まず、標準モデルの各特徴部位の頂点（標準制御点ＣＯｊ）を、ステップＳＰ４において算出された各特徴点に移動させる。具体的には、各特徴点Ｑｊの３次元座標値を、対応する標準制御点ＣＯｊの３次元座標値として代入し、移動後の標準制御点（以下、「個別制御点」とも称する）Ｃｊを得る。これにより、標準モデルを３次元座標Ｍ(j)で表した個別モデルに変形することができる。なお、個別モデルにおける個別制御点Ｃｊ以外の中間点の座標は、個別制御点Ｃｊの座標値を用いた適宜の補間手法によって得ることが可能である。
また、この変形（移動）による各頂点の移動量から、後述のステップＳＰ６において用いられる、標準モデルを基準にした場合の個別モデルのスケール、傾き及び位置を求めることができる。具体的には、標準モデルにおける所定の基準位置と、変形後の個別モデルにおける対応基準位置との間のずれ量によって、個別モデルの標準モデルに対する位置変化を求めることができる。また、標準モデルにおける所定の２点を結ぶ基準ベクトルと、変形後の個別モデルにおける当該所定の２点の対応点を結ぶ基準ベクトルとの間のずれ量によって、個別モデルの標準モデルに対する傾きの変化及びスケール変化を求めることができる。たとえば、右目の目頭の特徴点Ｑ１と左目の目頭の特徴点Ｑ２との中点ＱＭの座標と標準モデルにおいて中点ＱＭに相当する点の座標とを比較することによって個別モデルの位置を求めることができ、さらに、中点ＱＭと他の特徴点とを比較することによって個別モデルのスケール及び傾きを算出することができる。
次の式（４）は、標準モデルと個別モデルとの間の対応関係を表現する変換パラメータ（ベクトル）ｖｔを示している。式（４）に示すように、この変換パラメータ（ベクトル）ｖｔは、両者のスケール変換指数ｓｚと、直交３軸方向における並進変位を示す変換パラメータ（ｔｘ，ｔｙ，ｔｚ）と、回転変位（傾き）を示す変換パラメータ（φ，θ，ψ）とをその要素とするベクトルである。
上述のようにして、認証対象者に関する３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理が行われる。
その後、テクスチャ情報を用いて標準モデルの２次元情報を変更する処理も行われる。具体的には、入力画像Ｇ１，Ｇ２における各領域のテクスチャ情報が、３次元の個別モデル上の対応する領域（ポリゴン）に貼り付けられる（マッピングされる）。なお、立体モデル（個別モデル等）上でテクスチャ情報が貼り付けられる各領域（ポリゴン）は、「パッチ」とも称せられる。
以上のようにして、モデルフィッティング処理（ステップＳＰ５）が行われる。これによって、認証対象者ＨＭｂに関する情報は、認証対象者ＨＭｂに関する３次元情報と２次元情報との双方を含む「個別モデル」（ＭＤｂ）として生成される。
次のステップＳＰ６においては、標準モデルを基準にして個別モデルの補正が行われる。本工程では、３次元情報に関する位置（アライメント）補正と、２次元情報に関するテクスチャ補正とが実行される。
アライメント（顔向き）補正は、３次元情報に関する位置および姿勢等の補正処理である。アライメント補正は、標準モデルを基準にした際の個別モデルのスケール、傾き及び位置に基づいて行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータｖｔ（式（４）参照）を用いて個別モデルを座標変換することによって、標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。すなわち、このアライメント補正によって、認証対象者に関する３次元情報を適切に正規化することができる。
また、テクスチャ情報の正規化は、個別モデルの各特徴点と標準モデルにおける各対応点（対応標準位置）との対応関係を求めてテクスチャ情報を標準化する処理である。これによって、個別モデルにおける各パッチのテクスチャ情報を、パッチ形状の変化（具体的には、顔の表情の変化）および／または顔の姿勢の変化の影響を受けにくい状態に変更することができる。
ここでは、個別モデルＭＤｂにおける各パッチのテクスチャ情報を（当該個別モデルＭＤｂの作成に用いた）元の標準モデルに貼り付けた立体モデルを、サブモデルＭＳｂとして、当該個別モデルＭＤｂとは別個に生成する場合を例示する。サブモデルＭＳｂに貼り付けられた各パッチのテクスチャ情報は、当該各パッチの形状および顔の姿勢が正規化された状態を有している。
詳細には、個別モデルの各個別制御点（特徴点）を標準モデルにおける各対応点に移動させた上で認証対象者ＨＭｂに関するテクスチャ情報ＴＢを標準化する。また、より詳細には、個別モデルにおける各パッチ内の各画素の位置を当該パッチの個別制御点Ｃｊの３次元座標に基づいて正規化し、元の標準モデルにおいて対応するパッチ内の対応する位置に個別モデルの各画素の輝度値（テクスチャ情報）を貼り付ける。なお、当該サブモデルＭＳｂに貼り付けられたテクスチャ情報は、後述の類似度計算処理（ステップＳＰ９）のうち、テクスチャ情報に関する比較処理に用いられる。
図１１は、所定パッチにおけるテクスチャ情報の正規化を示す概念図である。この図１１を用いて、テクスチャ情報の正規化について、より詳細に説明する。
例えば、個別モデルＭＤｂにおけるパッチＫＫ２と元の標準モデルにおけるパッチＨＹとが対応しているとする。このとき、個別モデルＭＤｂにおけるパッチＫＫ２内の位置γＫ２は、パッチＫＫ２の個別制御点Ｃｊ（ｊ＝Ｊ１、Ｊ２、Ｊ３）のうちの異なる２組の点を結ぶ独立したベクトルＶ２１，Ｖ２２の線形和（式（５）参照）で表現される。
また、標準モデルにおけるパッチＨＹ内の位置γＨＹは、当該ベクトルＶ２１，Ｖ２２の線形和における各係数と同じ係数α，βを用いて、対応ベクトルＶ０１，Ｖ０２の線形和で表現される。これにより、両位置γＫ１，γＨＹとの対応関係が求められ、パッチＫＫ２内における位置γＫ２のテクスチャ情報を、パッチＨＹ内の対応する位置γＨＹに貼り付けることが可能となる。このようなテクスチャ情報の貼り付け処理を個別モデルＭＤｂのパッチＫＫ２内の全テクスチャ情報について実行すると、個別モデルＭＤｂにおけるパッチ内のテクスチャ情報が、サブモデルＭＳｂにおけるパッチ内のテクスチャ情報に変換され、正規化された状態で得られることになる。
このサブモデルＭＳｂにおける顔の２次元情報（テクスチャ情報）は、顔の姿勢変動および顔の表情変化等による影響を受けにくいという特質を有している。例えば、同一人物に関する２つの個別モデルにおける姿勢および表情が互いに異なる場合、上述のテクスチャ情報の正規化を行わないときには、両個別モデルにおけるパッチの対応関係（例えば、図１１において、本来はパッチＫＫ１とパッチＫＫ２とが対応すること）等を正確に得ることができず、別人物であるとして誤判定する可能性が高くなる。これに対して、上述のテクスチャ情報の正規化を行えば、顔の姿勢が統一され、各パッチの対応位置関係をより正確に得ることができるので、姿勢変化による影響を受けにくくなる。また、上述のテクスチャ情報の正規化によれば、顔の表面を構成する各パッチの形状は、標準モデルにおける各対応パッチの形状と同一になる（図１１参照）ため、各パッチの形状が統一（正規化）され、表情変化による影響を受けにくくなる。例えば、微笑している人物の個別モデルＭＤｂは、笑っていない（無表情の）標準モデルを用いることによって、笑っていない状態のサブモデルＭＳｂに変換されて標準化される。これによれば、微笑によるテクスチャ情報（例えば、ほくろの位置）の変化の影響が抑制される。このように、上述の正規化されたテクスチャ情報は、個人認証に有効な情報となる。
また、サブモデルＭＳｂに貼り付けられたテクスチャ情報は、比較しやすいように、図１２に示すような投影画像にさらに変更することもできる。
図１２は、テクスチャ補正されたテクスチャ情報、すなわち、サブモデルＭＳｂに貼り付けられたテクスチャ情報を、当該サブモデルＭＳｂの周囲に配置した円筒面に投影した画像である。この投影画像に貼り付けられたテクスチャ情報は、正規化されており、顔の姿勢および表情変化の影響を受けにくいという特質を有しているため、個人識別に用いる情報として非常に有用である。
以上のように画像正規化工程（ステップＳＰ６）においては、認証対象者ＨＭｂに関する情報が、個別モデルＭＤｂおよびサブモデルＭＳｂとして、正規化された状態で生成される。
次のステップＳＰ７（図６）においては、認証対象者ＨＭｂの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
３次元情報としては、個別モデルＭＤｂにおけるｍ個の個別制御点Ｃｊの３次元座標ベクトルが抽出される。具体的には、式（６）に示されるように、ｍ個の個別制御点Ｃｊ（ｊ＝１，...，ｍ）の３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を要素とするベクトルｈSが３次元情報（３次元形状情報）として抽出される。
また、２次元情報としては、個人認証にとって重要な情報となる顔の特徴的な部分つまり個別制御点付近のパッチ又はパッチのグループ（局所領域）が有するテクスチャ（輝度）情報（以下、「局所２次元情報」とも称する）が抽出される。ここでは、テクスチャ情報（局所２次元情報）として、サブモデルＭＳｂにマッピングされた情報が用いられる。
局所２次元情報は、例えば、正規化後の特徴的な部位の個別制御点を示す図１３中のグループＧＲ（個別制御点Ｃ２０、Ｃ２２及びＣ２３を頂点とするパッチＲ１と個別制御点Ｃ２１、Ｃ２２及びＣ２３を頂点とするパッチＲ２）から構成される領域、又は、単に一つのパッチからなる領域等の各局所領域が有する各画素の輝度情報として構成される。局所２次元情報ｈ(k)（ｋ＝１，...，Ｌ；Ｌは局所領域数）は、それぞれ、当該局所領域内の画素数をｎ、各画素の輝度値をＢＲ１，...，ＢＲｎとすると、式（７）のようなベクトル形式で表される。また、局所２次元情報ｈ(k)をＬ個の局所領域について集めた情報は、総合的な２次元情報であるとも表現される。
以上のように、ステップＳＰ７においては、個別モデルの特徴を表す情報として、３次元形状情報（３次元情報）ＳＢ（図１）とテクスチャ情報（２次元情報）ＴＢとが抽出される。
抽出された情報は後述の認証動作（ステップＳＰ９，ＳＰ１０）に用いられる。当該認証動作においては、式（７）で得られる情報をそのまま用いて認証動作を行うようにしてもよいが、その場合、局所領域内の画素数が多いときには、認証動作での計算量が非常に大きくなってしまう。そこで、この実施形態では、計算量を低減して効率的に認証動作を行うことを企図して、式（７）で得られる情報を更に圧縮し圧縮後の情報を用いて認証動作を行うものとする。
そのため、次のステップＳＰ８においては、ステップＳＰ７で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理を行う。
情報圧縮処理は、３次元形状情報ｈS及び各局所２次元情報ｈ(k)のそれぞれに対して同様の手法を用いて行われるが、ここでは、局所２次元情報ｈ(k)に対して情報圧縮処理を施す場合について詳細に説明する。
局所２次元情報ｈ(k)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報（ベクトル）ｈave(k)と、複数のサンプル顔画像をＫＬ展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列Ｐ(k)（次述）とを用いて式（８）のように基底分解された形式で表すことができる。この結果、局所２次元顔情報量（ベクトル）ｃ(k)が、局所２次元情報ｈ(k)についての圧縮情報として取得される。
上述のように式（８）中の行列Ｐ(k)は、複数のサンプル顔画像から算出される。具体的には、行列Ｐ(k)は、複数のサンプル顔画像をＫＬ展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル（基底ベクトル）のセットとして求められる。これらの基底ベクトルは、基底ベクトルデータベース２９に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。
例えば、図１３に示されているグループＧＲからなる局所領域の局所２次元情報ｈ(GR)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットＰが、３つの固有ベクトルＰ１、Ｐ２及びＰ３によってＰ＝（Ｐ１，Ｐ２，Ｐ３）と表現されているとすると、局所２次元情報ｈ(GR)は、当該局所領域の平均情報ｈave(GR)と固有ベクトルのセットＰ１，Ｐ２，Ｐ３を用いて式（９）のように表される。平均情報ｈave(GR)は、様々なサンプル顔画像についての複数の局所２次元情報（ベクトル）を対応要素ごとに平均して得られるベクトルである。なお、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。
また、上記式（９）は、顔情報量ｃ(GR)＝（ｃ１，ｃ２，ｃ３）Tによって元の局所２次元情報を再現することが可能であることを示している。すなわち、顔情報量ｃ(GR)は、グループＧＲからなる局所領域の局所２次元情報ｈ(GR)を圧縮した情報といえる。
上記のようにして取得された局所２次元顔情報量ｃ(GR)をそのまま認証動作に用いてもよいが、この実施形態ではさらなる情報圧縮を行う。具体的には、局所２次元顔情報量ｃ(GR)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理を更に行う。より詳細には、式（１０）に表されるようベクトルサイズｆの局所２次元顔情報量ｃ(GR)をベクトルサイズｇの局所２次元特徴量ｄ(GR)に低減させる変換行列Ａを考える。これにより、局所２次元顔情報量ｃ(GR)で表される特徴空間を局所２次元特徴量ｄ(GR)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。
ここで、変換行列Ａはｆ×ｇのサイズを有する行列である。重判別分析（ＭＤＡ：Multiple Discriminant Analysis）法を用いて、特徴空間から級内分散と級間分散との比率（Ｆ比）の大きい主成分をｇ個選び出すことによって、変換行列Ａを決定することができる。
また、上述した局所２次元情報ｈ(GR)について行った情報圧縮処理と同様の処理を他の全ての局所領域にも実行することによって、各局所領域についての局所２次元顔特徴量ｄ(k)を取得することができる。また、３次元形状情報ｈSに対しても同様の手法を適用することにより３次元顔特徴量ｄSを取得することができる。
上記ステップＳＰ８を経て取得される３次元顔特徴量ｄSと局所２次元顔特徴量ｄ(k)とを組み合わせた顔特徴量ｄは、ベクトル形式で式（１１）のように表すことができる。
以上に述べたステップＳＰ１〜ＳＰ８の工程において、入力される認証対象者ＨＭｂの顔画像Ｇ１，Ｇ２から当該対象者の顔特徴量ｄ（Ｂｄ）が取得される。認証対象者ＨＭｂの顔特徴量ｄ（Ｂｄ）は、次述する登録者ＨＭａの顔画像に関する特徴量ｄ（Ａｄ）とともに、ステップＳＰ９，ＳＰ１０の処理において用いられる。
＜登録者ＨＭａに関する情報収集＞
次に、図７を参照して、登録時の顔画像に関する特徴量ｄ（Ａｄ）を得る動作（ステップＳＰ３０）について説明する。ステップＳＰ３０の処理は、ステップＳＰ３１〜ＳＰ３９の処理を含む。ステップＳＰ３１〜ＳＰ３８の各処理は、それぞれ、対応するステップＳＰ１〜ＳＰ８の各処理と同様の処理である。以下では、説明の重複を避けるため、相違点を中心に説明する。
まず、ステップＳＰ３１では、登録画像の撮影処理が行われる。具体的には、１台のカメラＣＡ０（図４）によって撮影された登録者ＨＭａの顔画像Ｇ０が、通信線を介しコントローラ１０に入力される。
次に、ステップＳＰ３２において、画像Ｇ０において、顔の存在する領域が検出される。検出手法としてはステップＳＰ２と同様の手法を用いればよい。
また、このステップＳＰ３２においては、さらに顔の傾きを検出する処理も行われる。具体的には、様々な角度（例えば、０度（正面向き）、プラスマイナス１５度、プラスマイナス３０度、プラスマイナス４５度、...）を向いた顔を予めパターンとして準備しておき、パターンマッチング処理によって最も適合したパターンの角度の傾きを、当該顔の傾きとして検出すればよい。なお、顔の傾きを検出する処理としては、顔の特徴的な部位の位置を用いて行うようにしてもよい。例えば、両目と鼻との配置関係、鼻の傾き等を利用することができる。その場合には次のステップＳＰ３３における顔部位検出動作の後に、当該ステップＳＰ３３で検出した顔の特徴的な部位の位置を用いて、顔の傾きを検出するようにすればよい。
次に、ステップＳＰ３３において、ステップＳＰ３２で検出された顔領域画像の中から、顔の特徴的な部位の位置（ただし、ここでは画像内での２次元位置）が検出される。ステップＳＰ３３の処理は、ステップＳＰ３と同様である。
次のステップＳＰ３４では、３次元再構成工程が行われる。具体的には、ステップＳＰ３３において検出された各特徴点Ｑｊの画像Ｇ０における２次元座標Ｕｉ(j)と、奥行きに関する推定情報とに基づいて、各特徴点Ｑｊの３次元座標Ｍ(j)（ｊ＝１・・・ｍ）が算出される。
ここでは、奥行き情報に関する推定情報としては、基本的には撮影時の光軸に垂直な或る平面（以下、「基準面」とも称する）ＢＰ（不図示）から各特徴点までの標準距離を用いる。たとえば、鼻の高さは、正確には人によって異なるが、標準的な高さを有するものとして取り扱う。そして、上記のステップＳＰ３３で検出された鼻に関する各特徴点の２次元位置に加えて、鼻に関する当該各特徴点の基準面ＢＰからの奥行き情報を加えることによって、鼻に関する各特徴点の３次元位置を得ることができる。鼻以外の部分に関する各特徴点についても同様の処理を施すことによって、各特徴点の３次元位置を得ることができる。なお、顔の傾き角度として０度以外の値が検出された場合（すなわち顔が真正面以外を向いているとき）には、基準面ＢＰを所定軸（顔の中心軸）回りにその傾き角度回転させた状態で、奥行き情報を考慮する。
また、２次元座標ｉ(j)を３次元座標Ｍ(j)に変換するに際して、画像Ｇ０撮影時の撮像倍率等が得られるときには当該撮影倍率に基づいて顔の大きさを算出することによれば、顔を実際のスケールに変換し、より正確な３次元座標Ｍ(j)を得ることができる。一方、画像撮影時の撮像倍率が得られていないときには、画像Ｇ０の顔は標準的な大きさを有するものと仮定した上で３次元座標Ｍ(j)を得ればよい。
なお、このようにして得られた３次元位置は、正確には実測によって得られたものではないため、「推定３次元位置」とも称するものとする。
このようにして、人物についての一般的な（ないし標準的な）奥行き情報に基づいて各特徴点の推定３次元位置が算出される。
また、より正確な奥行き情報を決定するには、統計的手法をも用いることが好ましい。具体的には、「細面（ほそおもて）の人（細長形状の顔を有する人）の鼻は高い」などの統計的な情報を用いて奥行き情報を調整することが好ましい。これによれば、推定３次元位置を実際の３次元位置にさらに近づけることができる。
次のステップＳＰ３５では、モデルフィッテングが行われる。ステップＳＰ３５の処理は認証対象者ＨＭｂではなく登録者ＨＭａに関する顔画像についての処理が行われる点では相違するが、基本的にはステップＳＰ５と同様の処理が行われる。登録者ＨＭａに関する情報を用いて標準モデルを変形することによって、登録者ＨＭａの顔に関する入力情報が反映された「個別モデル」（ＭＤａ）が生成される。
具体的には、算出された３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理と、上記のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理とが行われる。
まず、３次元情報を変更する処理として、ステップＳＰ５と同様に、標準モデルの各特徴部位の頂点（標準制御点ＣＯｊ）を、ステップＳＰ３４において算出された各特徴点に移動させる。これにより、標準モデルを３次元座標Ｍ(j)で表した個別モデルＭＤａに変形することによって、登録者ＨＭａを表現した立体モデルを生成することができる。
また、ステップＳＰ５と同様、この変形（移動）による各頂点の移動量から、後述のステップＳＰ３６において用いられる、標準モデルを基準にした場合の個別モデルＭＤａのスケール、傾き及び位置も求められる。
さらに、ステップＳＰ５と同様に、テクスチャ情報を用いて標準モデルの２次元情報を変更（追加）する処理も行われる。具体的には、入力画像Ｇ０における各領域のテクスチャ情報が、３次元の個別モデルＭＤａ上の対応する領域（ポリゴン）に貼り付けられる（マッピングされる）。
以上のようにして、モデルフィッティング処理（ステップＳＰ３５）が行われる。これによって、登録者ＨＭａに関する情報は、登録者ＨＭａに関する３次元情報と２次元情報との双方を含む「個別モデル」ＭＤａとして生成される。
次のステップＳＰ３６においては、標準モデルを基準にして個別モデルＭＤａの補正が行われる。本工程では、３次元情報に関する位置（アライメント）補正と、２次元情報に関するテクスチャ補正とが実行される。
アライメント（顔向き）補正は、３次元情報に関する位置および姿勢等の補正処理である。具体的には、上述のステップＳＰ６と同様の処理が行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルＭＤａとの関係を示す変換パラメータｖｔ（式（４）参照）を用いて個別モデルＭＤａの個別制御点を座標変換することによって、標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。このアライメント補正によれば、登録者ＨＭａに関する３次元情報（正確には推定３次元情報）を適切に正規化することができる。
また、テクスチャ情報の正規化も、ステップＳＰ６と同様の処理により実行される。具体的には、個別モデルＭＤａにおける各パッチのテクスチャ情報を元の標準モデルに貼り付けた立体モデルを、サブモデルＭＳａとして、当該個別モデルＭＤａとは別個に生成する。なお、当該サブモデルＭＳａに貼り付けられたテクスチャ情報は、類似度計算処理（ステップＳＰ９）のうち、テクスチャ情報に関する比較処理に用いられる。
詳細には、図１１に示すように、個別モデルＭＤａにおけるパッチＫＫ１と元の標準モデルにおけるパッチＨＹとが対応しているとする。このとき、個別モデルＭＤａにおけるパッチＫＫ１内の位置γＫ１は、パッチＫＫ１の個別制御点Ｃｊ（ｊ＝Ｊ１、Ｊ２、Ｊ３）のうちの異なる２組の点を結ぶ独立したベクトルＶ１１，Ｖ１２の線形和で表現される。また、標準モデルにおけるパッチＨＹ内の位置γＨＹは、当該線形和における各係数と同じ係数を用いて対応ベクトルＶ０１，Ｖ０２の線形和で表現される。これにより、両位置γＫ１，γＨＹとの対応関係が求められ、パッチＫＫ１内における位置γＫ１のテクスチャ情報を、パッチＨＹ内の対応する位置γＨＹに貼り付けることが可能となる。このようなテクスチャ情報の貼り付け処理を、個別モデルＭＤａのパッチＫＫ１内の全テクスチャ情報について実行すると、個別モデルＭＤａにおけるパッチ内のテクスチャ情報が正規化され、サブモデルＭＳａにおけるパッチ内のテクスチャ情報として得られることになる。
また、上述したように、サブモデルＭＳａに貼り付けられたテクスチャ情報は、比較しやすいように、図１２に示すような投影画像にさらに変更することもできる。
以上のように画像正規化工程（ステップＳＰ３６）においては、登録者ＨＭａに関する情報が、個別モデルＭＤａおよびサブモデルＭＳａとして、正規化された状態で生成される。
次のステップＳＰ３７（図６）においては、登録者ＨＭａの特徴を表す情報として、３次元形状情報（推定３次元情報）とテクスチャ情報（２次元情報）とが抽出される。ステップＳＰ３７においては、ステップＳＰ７と同様の処理が行われる。なお、ここでは、テクスチャ情報として、サブモデルＭＳａにマッピングされた情報を用いるものとする。
さらに、ステップＳＰ３８においては、ステップＳＰ３７で抽出された情報を、認証に適した状態に変換する情報圧縮処理を行う。ステップＳＰ３８においては、ステップＳＰ８と同様の処理が行われる。
これによって、ステップＳＰ３８において取得される３次元顔特徴量ｄSと局所２次元顔特徴量ｄ(k)とを組み合わせた顔特徴量ｄ（Ａｄ）が取得される。
次のステップＳＰ３９においては、取得された顔特徴量ｄ（Ａｄ）が、登録者ＨＭａの情報として、コントローラ１０内の人物データベース３０に登録され記憶される。
以上のようにして、ステップＳＰ３０（図７）の処理が行われる。
＜登録者ＨＭａと認証対象者ＨＭｂとの照合処理等＞
再び図６を参照して、ステップＳＰ９以降の処理について説明する。
ステップＳＰ９，ＳＰ１０においては、上述の２つの顔特徴量Ａｄ，Ｂｄを用いて顔認証が行われる。
具体的には、認証対象者（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅが算出され（ステップＳＰ９）、その後、この総合類似度Ｒｅに基づく認証対象者と比較対象者との比較動作等（ステップＳＰ１０）が行われる。総合類似度Ｒｅは、３次元顔特徴量ｄSから算出される３次元類似度ＲｅSと、局所２次元顔特徴量ｄ(k)から算出される局所２次元類似度Ｒｅ(k)とに加えて、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重みを規定する適宜の重み付け係数（以下、単に「重み係数」とも称する）ＷＴ，ＷＳ（式（１２）参照）を用いて算出される。
ステップＳＰ９では、人物データベース３０に予め登録されている比較対象者の顔特徴量（比較特徴量）ｄ（Ａｄ）と、上記ステップＳＰ１〜ステップＳＰ８を経て算出された認証対象者の顔特徴量ｄ（Ｂｄ）との類似性の評価が行われる。具体的には、登録されている顔特徴量（比較特徴量）（ＲｅSM及びＲｅ(k)M）と認証対象者の顔特徴量（ＲｅSI及びＲｅ(k)I）との間で類似度計算が実行され、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)とが算出される。
さて、認証対象者と比較対象者との３次元類似度ＲｅSは、式（１３）に示されるように対応するベクトル同士のユークリッド距離ＲｅSを求めることによって取得される。
また、局所２次元の類似度Ｒｅ(k)は、式（１４）に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Ｒｅ(k)を求めることによって取得される。
そして、式（１５）に示されるように、３次元の類似度ＲｅSと局所２次元の類似度Ｒｅ(k)とを、所定の重み係数ＷＴ，ＷＳを用いて合成し、認証対象者（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅを取得することができる。
次に、ステップＳＰ１０においては、総合類似度Ｒｅに基づいて認証判定が行われる。具体的には、認証対象者ＨＭｂの顔特徴量と特定の登録者（比較対象者）ＨＭａの顔特徴量との類似度Ｒｅを一定の閾値ＴＨ１と比較することによって、認証対象者ＨＭｂと比較対象者ＨＭａとの同一性が判定される。詳細には、類似度Ｒｅが一定の閾値ＴＨ１よりも小さいときに認証対象者が比較対象者と同一人物であると判定される。
以上のように、登録者ＨＭａの顔に関して１枚の画像に基づく２次元情報（ＰＡ，ＴＡ（図１））しか存在しない場合であっても、奥行き情報等に基づいて、登録者ＨＭａの顔に関する推定３次元情報ＳＡ（図１参照）が生成され、これらの２次元情報と推定３次元情報とに基づいて登録者ＨＭａの顔に関する個別モデルＭＤａが作成される（ステップＳＰ３４）。また、認証対象者ＨＭｂの顔に関する２枚の画像から得られる２次元情報と３次元情報とに基づいて認証対象者ＨＭｂの顔に関する個別モデルＭＤｂ（第２立体モデル）が生成される（ステップＳＰ４）。
そして、登録者ＨＭａに関するテクスチャ情報ＴＡと認証対象者ＨＭｂに関するテクスチャ情報ＴＢとが共通の標準立体モデルを用いて標準化されている（ステップＳＰ３６，ＳＰ６）。
詳細には、２つのテクスチャ情報ＴＡ，ＴＢを比較するに際して、登録者ＨＭａに関する個別モデル（立体モデル）ＭＤａからサブモデルＭＳａを生成し、認証対象者ＨＭｂに関する個別モデル（立体モデル）ＭＤｂからサブモデルＭＳｂを生成している。
また、このとき、個別モデルＭＤａの各特徴点と標準モデルの各対応点（対応標準位置）との対応関係を求め、当該対応関係に基づいて、個別モデルＭＤａの各特徴点を共通の標準モデルの各対応点に合わせるように移動した上でそのテクスチャ情報ＴＡを貼り付けることによって、各微小部分（パッチ）の位置および形状を標準モデルにおける標準位置および標準形状に合わせたサブモデルＭＳａを形成している。この実施形態では、このような態様で、登録者ＨＭａに関するテクスチャ情報ＴＡを標準化している（より詳細には、テクスチャ情報ＴＡの配置位置および配置形状を標準化している）。
同様に、上記においては、個別モデルＭＤｂの各特徴点と標準モデルの各対応点（対応標準位置）との対応関係を求め、当該対応関係に基づいて、個別モデルＭＤｂの各特徴点を共通の標準モデルの各対応点に合わせるように移動した上でそのテクスチャ情報ＴＢを貼り付けることによって、各微小部分（パッチ）の位置および形状を標準モデルにおける標準位置および標準形状に合わせたサブモデルＭＳｂを形成している。この実施形態では、このような態様で、認証対象者ＨＭｂに関するテクスチャ情報ＴＢを標準化している（より詳細には、テクスチャ情報ＴＢの配置位置および配置形状を標準化している）。
そして、上記実施形態においては、両サブモデルＭＳａ，ＭＳｂのそれぞれに貼り付けられた両テクスチャ情報ＴＡ，ＴＢを比較することによって、登録者ＨＭａと認証対象者ＨＭｂとの同一性が判定されている。
このように、両テクスチャ情報ＴＡ，ＴＢは、標準モデルを用いて標準化された状態で比較されて認証動作が行われるので、認証動作における精度が向上する。
また、登録者ＨＭａに関して２次元情報しか存在しない場合であっても、当該２次元情報と推定３次元情報とに基づいて登録者ＨＭａに関する個別モデルＭＤａが作成される。そして、当該個別モデルＭＤａと認証対象者ＨＭｂに関する個別モデルＭＤｂとにそれぞれ貼り付けられた第１および第２テクスチャ情報ＴＡ，ＴＢが共通の標準立体モデルを用いて標準化され、テクスチャ情報ＴＡ，ＴＢの双方がいずれも標準化された状態で比較されるので、比較条件のばらつきを抑制できる。端的に言えば、推定３次元情報を用いて２次元の情報を一旦立体化することによってテクスチャ情報を標準化することが可能になり、これによって、比較条件のばらつきの抑制を図ることができる。
ここにおいて、上記におけるテクスチャ情報の標準状態は、顔の姿勢に関する標準状態（標準姿勢）とパッチ形状に関する標準状態（標準パッチ形状）との２つの意義を有している。標準姿勢を有する状態で両テクスチャ情報ＴＡ，ＴＢを比較することによれば、撮影時の姿勢の相違の影響を受けにくい認証を行うことが可能である。すなわち、撮影時の姿勢の相違に関してロバストな認証を行うことができる。また、標準パッチ形状を有する状態で両テクスチャ情報ＴＡ，ＴＢを比較することによれば、物体表面の微小な形状変化の影響、換言すれば、撮影時のパッチ形状の相違（より詳細には顔表情の相違）の影響を受けにくい認証を行うことが可能である。例えば、微笑している人物の撮影画像を用いて認証する場合にも、笑っていない顔の標準モデルに貼り付けることによって、表情変化の影響を受けにくい状態で比較することが可能である。すなわち、撮影時の表情の相違に関してロバストな認証を行うことができる。
また、上記実施形態においては、テクスチャ情報だけでなく、顔の形状情報（特に２次元形状情報）をも用いて認証対象者と登録者との同一性が判定されるので、より正確な判定を行うことができる。ただし、登録者の３次元形状情報（特に奥行き情報）は推定に基づくものであるため、上記認証動作における当該３次元形状情報の比重は、テクスチャ情報および２次元形状情報に対して相対的に小さくすることが好ましい。具体的には、形状情報を２次元形状に関する情報と３次元形状に関する情報とに分離して算出し、３次元形状に関する重み付け係数の値を、２次元形状に関する重み付け係数およびテクスチャ情報に関する重み付け係数の各値に対して比較的小さくすることが好ましい。
＜Ｄ．変形例＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
たとえば、上記実施形態においては、サブモデルＭＳａ，ＭＳｂにマッピングされたテクスチャ情報を用いて、テクスチャ情報に関する判定動作を行う場合を例示したが、これに限定されず、アライメント補正（ステップＳＰ６，ＳＰ３６）後の個別モデルＭＤａ，ＭＤｂにマッピングされたテクスチャ情報ＴＡ，ＴＢを用いて、テクスチャ情報に関する判定動作を行うようにしてもよい。
具体的には、登録者ＨＭａに関する個別モデルＭＤａと認証対象者ＨＭｂに関する個別モデルＭＤｂとの双方に対してアライメント補正が施され、標準モデルが有している標準的な姿勢で（すなわち姿勢に関する補正が施された状態で）、両個別モデルの情報（特にテクスチャ情報）を比較するようにしてもよい。これによれば、登録者ＨＭａに関するテクスチャ情報ＴＡと、認証対象者ＨＭｂに関するテクスチャ情報ＴＢとは、標準姿勢に変換された状態で比較されるため、撮影時の姿勢の相違の影響を受けにくい認証を行うことが可能である。すなわち、撮影時の姿勢の相違に関してロバストである。ただし、この場合には、パッチ形状は標準化されないので、表情変化の影響を受けにくいという利点を得ることはできない。
また、上記実施形態においては、式（１５）に示すように、テクスチャ情報だけでなく形状情報をも用いて認証対象者と登録者との同一性を判定しているが、これに限定されず、テクスチャ情報だけを用いて認証対象者と登録者との同一性を判定してもよい。
また、上記実施形態においては、入力された顔（認証対象者の顔）が特定の登録者であるか否かを判定する場合について説明したが、これに限定されず、認証対象者が複数の登録者のうちの誰であるかを判定する顔識別に上記の思想を適用するようにしてもよい。例えば、登録されている複数の人物の各顔特徴量と認証対象者の顔特徴量との類似度を全て算出して、各比較対象者（登録者）と認証対象者との同一性をそれぞれ判定すればよい。また、特定数の人物に絞り込むことで足りる場合には、複数の比較対象者のうち、その同一性が高い順に特定数の比較対象者を選択するようにしてもよい。
また、上記実施形態では、ステップＳＰ３１（図７）において、カメラＣＡ０によって登録者ＨＭａの顔画像を撮影し、その撮影による画像を入力する場合を例示しているが、これに限定されず、既に別の時点において予め撮影されていた画像を、ステップＳＰ３１において再入力することによって当該登録者ＨＭａの顔画像を取得するようにしてもよい。たとえば、ＩＤカードに貼り付けられている登録者の顔画像を、コントローラ１０に接続されたスキャナを用いて読み取ることなどによって取得するようにしてもよい。
また、上記実施形態の変形例として、次のような態様も想定される。具体的には、自席のパーソナルコンピュータ（パソコンとも称する）から印刷出力指示を行い、若干離れた場所に載置された共用プリンタにおいて印刷出力する際に、印刷出力の受取人が印刷出力指示を行った本人であるか否かを認証する本人認証技術に適用することができる。
詳細には、まず、印刷出力指示時に、自席に配置された単眼視のカメラによって自分（印刷指示者）の顔画像を撮影した画像データをプリントデータとともにプリンタドライバに渡す。プリンタドライバはネットワーク上に配置された共用プリンタに画像データとプリントデータとを伝送する。そして、受取時において受取人がプリンタに近づくと、プリンタ側に設けられた複眼視のカメラが印刷出力の受取人の顔画像を撮影し、受取人と印刷指示者とが同一であるか否かを上記実施形態と同様の動作によってプリンタが判定する。これによれば、上記実施形態と同様の効果を得ることができる。
また、上記実施形態においては、或る人物に関する１枚の画像が先に撮影されて予め登録されており、その後に認証用の２枚の画像が撮影される場合を例示したが、これに限定されない。例えば、逆に、或る人物に関する２枚の画像が先に撮影されて予め登録されており、その後に認証用の１枚の画像が撮影される場合にも適用することができる。具体的には、入室時の認証動作に適用することができる。より詳細には、まず、登録時においてステレオ視により登録者の２枚の画像を取得し、当該２枚の画像（およびその特徴量）をサーバ（コントローラ）内のデータベースにＩＤ番号とともに格納しておく。そして、認証時には、入室許可を求める人物を単眼視のカメラによって撮影し、当該人物によって入力されたＩＤ番号に対応する２枚の画像（およびその特徴量）を取得し、上述と同様の動作によって認証動作を行えば良い。これによれば、上記実施形態と同様の効果を得ることができる。
また、上記実施形態においては、複数台のカメラより入力される複数の画像を用いて、認証対象者の顔の３次元情報を取得しているがこれに限定されない。具体的には、図１４に示されるようなレーザ光出射部Ｌ１とカメラＬＣＡとから構成される３次元形状測定器を用いてレーザ光出射部Ｌ１の照射するレーザの反射光をカメラＬＣＡによって計測することにより、認証対象者の顔の３次元情報を取得してもよい。すなわち、光切断法によって３次元情報を取得するようにしてもよい。但し、上記実施形態のように２台のカメラを含む入力装置を用いて３次元の形状情報を取得する手法によれば、レーザ光を用いる入力装置に比べて、比較的簡易な構成で３次元の形状情報を取得することができる。
本発明の実施形態に係る顔認証システムの概要を示す概念図である。 顔認証システムを示す構成図である。 コントローラの構成概要を示す図である。 コントローラの各種機能構成を示すブロック図である。 個人認証部の詳細な機能構成を示すブロック図である。 認証動作を示すフローチャートである。 登録動作を示すフローチャートである。 顔画像における特徴的な部位の特徴点を示す図である。 ２次元画像中の特徴点から３次元座標を算出する模式図である。 ３次元の顔の標準モデルを示す図である。 テクスチャ情報の正規化を示す概念図である。 テクスチャ情報（投影画像）を示す図である。 正規化後の特徴的な部位の個別制御点を示す図である。 光切断法を用いた３次元形状測定器を示す図である。
符号の説明
１ 顔認証システム
１０ コントローラ
ＣＯｊ 標準制御点
Ｃｊ 個別制御点
Ｇ０，Ｇ１，Ｇ２ 画像
ＨＭａ 登録者
ＨＭｂ 認証対象者
ＭＤａ，ＭＤｂ 個別モデル
ＭＳａ，ＭＳｂ サブモデル

Claims (15)

  1. 第１物体と第２物体との同一性を認証する認証システムであって、
    前記第１物体に関する２次元情報を取得する第１取得手段と、
    前記第２物体に関する２次元情報を取得する第２取得手段と、
    前記第２物体に関する３次元情報を取得する第３取得手段と、
    前記第１物体に関する推定３次元情報を生成する推定手段と、
    前記第１物体に関する立体モデルである第１立体モデルを、前記第１物体に関する前記２次元情報と前記推定３次元情報とに基づいて生成する第１生成手段と、
    前記第２物体に関する立体モデルである第２立体モデルを、前記第２物体に関する前記２次元情報と前記３次元情報とに基づいて生成する第２生成手段と、
    前記第１立体モデルを用いて、前記第１物体に関するテクスチャ情報である第１テクスチャ情報を標準化した状態に変換し、前記第２立体モデルを用いて、前記第２物体に関するテクスチャ情報である第２テクスチャ情報を標準化した状態に変換する変換手段と、
    標準化された前記第１テクスチャ情報と標準化された前記第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定する判定手段と、
    を備え、
    前記第１および第２物体は人物の顔であることを特徴とする認証システム。
  2. 請求項１に記載の認証システムにおいて、
    前記変換手段は、前記第１立体モデルの各特徴点と標準立体モデルにおける各対応標準位置との対応関係を求めて、前記第１テクスチャ情報を標準化した状態に変換し、前記第２立体モデルの各特徴点と前記標準立体モデルにおける各対応標準位置との対応関係を求めて、前記第２テクスチャ情報を標準化した状態に変換することを特徴とする認証システム。
  3. 請求項１または請求項２に記載の認証システムにおいて、
    前記変換手段は、前記第１立体モデルの各特徴点を標準立体モデルにおける各対応標準位置に移動させた上で前記第１テクスチャ情報を貼り付けた第１サブモデルを作成するとともに、前記第２立体モデルの各特徴点を前記標準立体モデルにおける各対応標準位置に移動させた上で前記第２テクスチャ情報を貼り付けた第２サブモデルを作成し、
    前記判定手段は、前記第１サブモデルに貼り付けられた前記第１テクスチャ情報と前記第２サブモデルに貼り付けられた前記第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定することを特徴とする認証システム。
  4. 請求項１から請求項３のいずれかに記載の認証システムにおいて、
    前記第１取得手段は、前記第１物体に関する２次元情報を、単眼視による第１撮影動作によって撮影された画像から取得し、
    前記第３取得手段は、前記第２物体に関する３次元情報を、多眼視による第２撮影動作によって撮影された複数の画像から取得することを特徴とする認証システム。
  5. 請求項４に記載の認証システムにおいて、
    前記第１撮影動作によって撮影された画像は、前記第２撮影動作よりも先に撮影されて既に登録されている登録画像であることを特徴とする認証システム。
  6. 請求項４に記載の認証システムにおいて、
    前記第２撮影動作は、前記第１撮影動作よりも先に行われることを特徴とする認証システム。
  7. 請求項１から請求項６のいずれかに記載の認証システムにおいて、
    前記第１物体に関する２次元情報は、ＩＤカードに含まれており、
    前記第１取得手段は、前記第１物体に関する２次元情報を前記ＩＤカードから取得することを特徴とする認証システム。
  8. 請求項１から請求項７のいずれかに記載の認証システムにおいて、
    前記判定手段は、前記第１および第２立体モデルに含まれる形状情報をも用いて、前記第１物体と前記第２物体との同一性を判定することを特徴とする認証システム。
  9. 請求項８に記載の認証システムにおいて、
    前記判定手段は、圧縮された３次元形状情報を前記形状情報として用いることを特徴とする認証システム。
  10. 請求項８に記載の認証システムにおいて、
    前記判定手段は、標準化された前記第１テクスチャ情報と標準化された前記第２テクスチャ情報との類似度と、前記第１立体モデルの３次元形状情報と前記第２立体モデルの３次元形状情報との類似度とを所定の重み付け係数で合成した総合類似度を用いて、前記第１物体と前記第２物体との同一性を判定することを特徴とする認証システム。
  11. 第１物体と第２物体との同一性を認証する認証方法であって、
    前記第１物体に関する２次元情報を取得するステップと、
    前記第２物体に関する２次元情報を取得するステップと、
    前記第２物体に関する３次元情報を取得するステップと、
    前記第１物体に関する推定３次元情報を生成するステップと、
    前記第１物体に関する立体モデルである第１立体モデルを、前記第１物体に関する前記２次元情報と前記推定３次元情報とに基づいて生成するステップと、
    前記第２物体に関する立体モデルである第２立体モデルを、前記第２物体に関する前記２次元情報と前記３次元情報とに基づいて生成するステップと、
    前記第１立体モデルを用いて、前記第１物体に関するテクスチャ情報である第１テクスチャ情報を標準化した状態に変換するステップと、
    前記第２立体モデルを用いて、前記第２物体に関するテクスチャ情報である第２テクスチャ情報を標準化した状態に変換するステップと、
    標準化された前記第１テクスチャ情報と標準化された前記第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定するステップと、
    を含み、
    前記第１および第２物体は人物の顔であることを特徴とする認証方法。
  12. コンピュータに、第１物体と第２物体との同一性を認証する認証方法を実行させるプログラムであって、
    前記第１物体に関する２次元情報を取得する手順と、
    前記第２物体に関する２次元情報を取得する手順と、
    前記第２物体に関する３次元情報を取得する手順と、
    前記第１物体に関する推定３次元情報を生成する手順と、
    前記第１物体に関する立体モデルである第１立体モデルを、前記第１物体に関する前記２次元情報と前記推定３次元情報とに基づいて生成する手順と、
    前記第２物体に関する立体モデルである第２立体モデルを、前記第２物体に関する前記２次元情報と前記３次元情報とに基づいて生成する手順と、
    前記第１立体モデルを用いて、前記第１物体に関するテクスチャ情報である第１テクスチャ情報を標準化した状態に変換する手順と、
    前記第２立体モデルを用いて、前記第２物体に関するテクスチャ情報である第２テクスチャ情報を標準化した状態に変換する手順と、
    標準化された前記第１テクスチャ情報と標準化された前記第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定する手順と、
    を前記コンピュータに実行させるためのプログラムであり、
    前記第１および第２物体は人物の顔であることを特徴とするプログラム。
  13. 第１物体と第２物体との同一性を認証する認証システムであって、
    前記第１物体に関する２次元情報を取得する第１取得手段と、
    前記第２物体に関する２次元情報を取得する第２取得手段と、
    前記第２物体に関する３次元情報を取得する第３取得手段と、
    前記第１物体に関する推定３次元情報を生成する推定手段と、
    前記第１物体に関する立体モデルである第１立体モデルを、前記第１物体に関する前記２次元情報と前記推定３次元情報とに基づいて生成する第１生成手段と、
    前記第２物体に関する立体モデルである第２立体モデルを、前記第２物体に関する前記２次元情報と前記３次元情報とに基づいて生成する第２生成手段と、
    前記第１立体モデルおよび前記第２立体モデルの姿勢をいずれも共通の標準姿勢に変換する変換手段と、
    前記標準姿勢を有する状態に変換された前記第１立体モデルに貼り付けられた第１テクスチャ情報と、前記標準姿勢を有する状態に変換された前記第２立体モデルに貼り付けられた第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定する判定手段と、
    を備え、
    前記第１および第２物体は人物の顔であることを特徴とする認証システム。
  14. 第１物体と第２物体との同一性を認証する認証方法であって、
    前記第１物体に関する２次元情報を取得するステップと、
    前記第２物体に関する２次元情報を取得するステップと、
    前記第２物体に関する３次元情報を取得するステップと、
    前記第１物体に関する推定３次元情報を生成するステップと、
    前記第１物体に関する立体モデルである第１立体モデルを、前記第１物体に関する前記２次元情報と前記推定３次元情報とに基づいて生成するステップと、
    前記第２物体に関する立体モデルである第２立体モデルを、前記第２物体に関する前記２次元情報と前記３次元情報とに基づいて生成するステップと、
    前記第１立体モデルおよび前記第２立体モデルの姿勢をいずれも共通の標準姿勢に変換するステップと、
    前記標準姿勢を有する状態に変換された前記第１立体モデルに貼り付けられた第１テクスチャ情報と、前記標準姿勢を有する状態に変換された前記第２立体モデルに貼り付けられた第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定するステップと、
    を含み、
    前記第１および第２物体は人物の顔であることを特徴とする認証方法。
  15. コンピュータに、第１物体と第２物体との同一性を認証する認証方法を実行させるプログラムであって、
    前記第１物体に関する２次元情報を取得する手順と、
    前記第２物体に関する２次元情報を取得する手順と、
    前記第２物体に関する３次元情報を取得する手順と、
    前記第１物体に関する推定３次元情報を生成する手順と、
    前記第１物体に関する立体モデルである第１立体モデルを、前記第１物体に関する前記２次元情報と前記推定３次元情報とに基づいて生成する手順と、
    前記第２物体に関する立体モデルである第２立体モデルを、前記第２物体に関する前記２次元情報と前記３次元情報とに基づいて生成する手順と、
    前記第１立体モデルおよび前記第２立体モデルの姿勢をいずれも共通の標準姿勢に変換する手順と、
    前記標準姿勢を有する状態に変換された前記第１立体モデルに貼り付けられた第１テクスチャ情報と、前記標準姿勢を有する状態に変換された前記第２立体モデルに貼り付けられた第２テクスチャ情報とを比較することによって、前記第１物体と前記第２物体との同一性を判定する手順と、
    を前記コンピュータに実行させるためのプログラムであり、
    前記第１および第２物体は人物の顔であることを特徴とするプログラム。
JP2005241041A 2005-08-23 2005-08-23 認証システム、認証方法およびプログラム Expired - Fee Related JP4525523B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005241041A JP4525523B2 (ja) 2005-08-23 2005-08-23 認証システム、認証方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005241041A JP4525523B2 (ja) 2005-08-23 2005-08-23 認証システム、認証方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2007058402A JP2007058402A (ja) 2007-03-08
JP4525523B2 true JP4525523B2 (ja) 2010-08-18

Family

ID=37921877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005241041A Expired - Fee Related JP4525523B2 (ja) 2005-08-23 2005-08-23 認証システム、認証方法およびプログラム

Country Status (1)

Country Link
JP (1) JP4525523B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870798B (zh) * 2012-12-18 2017-05-24 佳能株式会社 对象检测方法、对象检测设备以及图像拾取设备
JP6046501B2 (ja) * 2013-01-17 2016-12-14 エヌ・ティ・ティ・コミュニケーションズ株式会社 特徴点出力装置、特徴点出力プログラム、特徴点出力方法、検索装置、検索プログラムおよび検索方法
JP2015162012A (ja) * 2014-02-26 2015-09-07 沖電気工業株式会社 顔照合装置及び顔照合方法並びにプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273495A (ja) * 2000-03-24 2001-10-05 Minolta Co Ltd 物体認識装置
JP2004185386A (ja) * 2002-12-04 2004-07-02 Matsushita Electric Ind Co Ltd 画像照合装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273495A (ja) * 2000-03-24 2001-10-05 Minolta Co Ltd 物体認識装置
JP2004185386A (ja) * 2002-12-04 2004-07-02 Matsushita Electric Ind Co Ltd 画像照合装置

Also Published As

Publication number Publication date
JP2007058402A (ja) 2007-03-08

Similar Documents

Publication Publication Date Title
JP4645411B2 (ja) 認証システム、登録システム及びプログラム
JP4752433B2 (ja) モデリングシステム、モデリング方法およびプログラム
JP4696778B2 (ja) 認証装置、認証方法及びプログラム
JP2007058397A (ja) 認証システム、登録システム及び証明用媒体
JP4992289B2 (ja) 認証システム、認証方法、及びプログラム
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
JP4539494B2 (ja) 認証装置、認証方法及びプログラム
JP4950787B2 (ja) 画像処理装置及びその方法
JP4780198B2 (ja) 認証システム及び認証方法
KR101647803B1 (ko) 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
JP4284664B2 (ja) 三次元形状推定システム及び画像生成システム
TWI394093B (zh) 一種影像合成方法
JP4539519B2 (ja) 立体モデル生成装置および立体モデル生成方法
WO2005038716A1 (ja) 画像照合システム及び画像照合方法
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
WO2019157989A1 (zh) 生物特征3d数据采集方法和生物特征3d数据识别方法
JP4956983B2 (ja) 認証システム、認証方法およびプログラム
JP4525523B2 (ja) 認証システム、認証方法およびプログラム
JP4816874B2 (ja) パラメータ学習装置、パラメータ学習方法、およびプログラム
JP4956967B2 (ja) 認証システム、認証方法およびプログラム
Beumier et al. Automatic face recognition
JP2004288222A (ja) 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体
KR102718075B1 (ko) 얼굴 인증 시스템
JP2007004534A (ja) 顔判別方法および装置ならびに顔認証装置
Drosou et al. Robust 3D face recognition from low resolution images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080424

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100511

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100524

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees