JP3738320B2

JP3738320B2 - 特定立体画像と２次元画像に映し出された被写体の照合方法

Info

Publication number: JP3738320B2
Application number: JP2003352430A
Authority: JP
Inventors: 登寳山; 正次橋本; 光大山本; 一教佐藤
Original assignee: Babcock Hitachi KK
Current assignee: Mitsubishi Power Ltd
Priority date: 2003-10-10
Filing date: 2003-10-10
Publication date: 2006-01-25
Anticipated expiration: 2023-10-10
Also published as: JP2005115847A

Description

本発明は、被写体の照合方法に関し、特に防犯カメラや監視カメラなどのビデオ画像または顔写真などと別に取得した３次元の人物データから、生体学、相貌学、形態学上の識別可能な任意の点を用いて該当者と思しき人物を絞込む方法と装置に関して、人物照合・認証、バイオメトリックス技術分野に属する技術である。

２次元のビデオ画像や写真に映し出された被写体の画像と立体の異同識別、より具体的には、監視カメラや防犯カメラなどで撮影される特定人物の２次元のビデオ画像や顔写真とこれらとは別に３次元形状データを取得された複数の人物との異同識別を行う方法が提案されている。

例えば、２次元のビデオ画像や顔写真と別に取得された人物の３次元形状データに基づく平面投影画像とをディスプレイ画面に並列に表示して、仮想空間内で回転させるように人物の３次元形状データを変換することにより、その平面投影画像を変化させつつ、両者をスーパーインポーズ（重ね合わせ）して比較照合することにより、異同識別を行うものでありる。

下記に列挙する従来技術は、ディスプレイ画面に表示された被写体と人物とを目視による画像の重なりや数値化された一致度を確認しながら、回転を微調整して最適な方向を向くように3次元形状データに基づく平面投影画像の表示を変化させることを想定している。従って、2次元画像の被写体と3次元形状データを取得された人物との「一対一」の最終的な異同識別を行うのに適した方法である。
特開２０００−３０６１０６号公報吉野他著「３次元顔貌計測装置を応用した顔写真ビデオスーパーインポーズシステムの製作」科学警察研究所報告法科学編、Vol.48、No.４、p149〜158、1995 Mineo Yoshino 「Recent Advances in Facial Image Identification」」鑑識科学、7(1)、１−17(2002) Mineo Yoshino etc.、「Individual identification of disguised faces by morphometrical matching」」 Forensic Science International 127(2002)97-103 Mineo Yoshino etc. 「Assessment of Computer-assisted Comparison between 3D and 2D Facial Images」鑑識科学、5(1)、9-15(2000) Mineo Yoshino etc. 「Computer-assisted facial image identification system using a 3-D physiognomic range finder」 Forensic Science International 109(2000)225-237

照合に用いられる３次元形状データは大量になる(例えば年間数十万人分)ため、特定の２次元画像の被写体と全ての３次元形状データを取得された人物とを「一対一で照合」するのは多大な時間と労力を要し困難である。

最終鑑定までの処理を早期に行うには、、該当者と思しき人物の抽出・絞り込みを効率よく行なうことが必要である。

また、例えば、監視カメラの設置場所は多様であり、被写体の向きも時々刻々変化するように、一般に２次元画像の撮影点に対する被写体の向きは一様ではない。即ち正面向きを基準とした被写体の３次元座標まわりの「回転角は様々である」から、照合すべき被写体の向きが変わっても、迅速かつ再現性よく抽出できることが望まれる。

そこで、本発明の課題は、人物の照合をはじめとする、特定立体の大量の３次元データ（例えば数十万件）のデータベースから写真などの被写体の２次元データを基に絞り込むのに適した特定立体と２次元画像に映し出された被写体と照合方法を提供することである。

本発明の課題は、次の解決手段で解決される。
請求項１記載の発明は、２次元画像上に写し出された被写体の撮影点に対する向きを決定する第１の工程と、データベースに保存された複数の立体の３次元形状データを該立体が前記２次元画像の被写体の撮影点に対する向きと同一方向を向くように各立体の３次元形状データを一斉に座標変換する第２の工程と、前記座標変換された立体を平面上に投影して画像データを生成する第３の工程と、前記投影した複数の立体の画像データと、前記２次元画像上に写し出された被写体との、相互に対応する識別可能な任意の点を３点以上指定する第４の工程と、前記識別可能な任意の点の間の距離を複数の立体の画像データ及び被写体について、それぞれ相互に対応するものを２組以上求める第５の工程と、前記複数の立体及び被写体ごとに、前記第５の工程で求めた２組以上の距離の比（示数）を求める第６の工程と、前記複数の立体ごとに、前記第６の工程で求めた距離の比と対応する被写体の距離の比との差を求める第７の工程と、前記二つの距離の比（示数）の差の絶対値又はその総和の大小により複数の立体に順位をつける第８の工程とを有する特定立体画像と２次元画像に映し出された被写体の照合方法である。

請求項２記載の発明は、前記第２の工程が、(1) 前記２次元画像上に写し出された被写体を基にして被写体の撮影点に対する向きに３次元空間上に仮想３次元モデルを形成し、該仮想３次元モデルのｘ、ｙ、ｚ軸まわりの回転角度(α、β、γ)を調整して、前記被写体の撮影点に対する被写体の向きと同じ向きにする方法、又は(2) データベースに保存された複数の立体の３次元形状データの中から特定の立体を選択し、この立体と２次元画像上に写し出された被写体との相互に対応する識別可能な任意の点をそれぞれ３点選択し、該立体を平面上に投影した画像の識別可能な任意の点を結んで形成される三角形と、被写体の識別可能な任意の点を結んで形成される三角形をそれぞれ表示し、表示された前記２つの三角形がほぼ相似形となるように前記立体を仮想空間上で回転させたときの当該立体のｘ、ｙ、ｚ軸まわりの回転の角度(α、β、γ) を前記被写体の撮影点に対する被写体の向きとする方法のいずれかであり、前記第２の工程は、前記データベースに保存された複数の立体の３次元形状データをｘ、ｙ、ｚ軸まわりに角度(α、β、γ)で回転させることを特徴とする請求項１記載の特定立体画像と２次元画像に映し出された被写体の照合方法である。

請求項３記載の発明は、前記立体が、人間の頭部または顔であり、前記２次元画像上に写し出された被写体は、人間の頭部または顔を含むものである請求項１記載の特定立体画像と２次元画像に映し出された被写体の照合方法である。

請求項４記載の発明は、前記識別可能な任意の点の間の距離が、内眼角幅、外眼角幅、眼裂幅、鼻幅、口裂幅、セリオン・ストミオン高、鼻根顔高、セリオン放射径、プロナサーレ放射径、ストミオン放射径のいずれかより選択される請求項３記載の特定立体画像と２次元画像に映し出された被写体の照合方法である。

請求項５記載の発明は、出身地や性別、年齢、身長、人種などのデータを用いて１次絞込みを行い、その結果をもとに前記３次元データ及び前記２次元データを用いる請求項４記載の特定立体画像と２次元画像に映し出された被写体の照合方法である。

請求項６記載の発明は、特定立体の３次元形状データから得られる画像と２次元画像に映し出された被写体画像を含む２以上の画像を互いに照合する方法であって、平面に投影された特定立体の３次元形状データに含まれる少なくとも３点の識別可能な任意の点(3DP)を結ぶ２以上の前記平面上における距離(3DL)の比(3R)として表される示数を求める第１の工程と、２次元画像に映し出された被写体の前記特定立体の識別可能な任意の点に対応する識別可能な任意の点(2DP)を結ぶ2以上の距離(2DL)の比(2R)として表される示数を求める第２の工程と、複数の特定立体の前記距離の比(3R1,3R2,・・・)である示数と、２次元画像に映し出された被写体の対応する前記距離の比(2R1,2R2,・・・)である示数との差(3R1−2R1, 3R2−2R2,・・・)を求める第３の工程とを有する特定立体画像と２次元画像に映し出された被写体の照合方法である。

請求項７記載の発明は、前記第１の工程が、前記複数の特定立体の３次元形状データを座標変換し、それぞれを平面に投影して得られる第１の画像の各々に含まれる少なくとも３点の識別可能な任意の点(3DP')を結ぶ２以上の距離(3DL1, 3DL2,・・・)の比(3R)として表される示数を求める工程であり、前記第２の工程は、前記２次元画像に映し出された被写体の前記平面に投影された特定立体の識別可能な任意の点(3DP')に対応する識別可能な任意の点(2DP)を結ぶ２以上の距離(2DL1,2DL2,・・・)の比(2R)である示数を求める工程である請求項６記載の特定立体と２次元画像に映し出された被写体の照合方法である。

請求項８記載の発明は、前記第３の工程で求められた差(3R1−2R1, 3R2−2R2,・・・)の絶対値の和を求め、前記複数の特定立体に対して、その和の大小に応じて順位をつける請求項７記載の特定立体と２次元画像に映し出された被写体の照合方法である。

請求項９記載の発明は、前記第１の工程の複数の特定立体の３次元形状データの座標変換は、a) 原点を定めた仮想３次元モデルを生成する工程、b) 前記仮想３次元モデルと前記２次元画像に映し出された被写体とを表示装置上に重ね合わせる工程、c) 前記仮想３次元モデルに含まれる複数の識別可能な任意の点(VP)を通る少なくとも一つの第１の線(VC)と、前記２次元画像に映し出された被写体の前記識別可能な任意の点(VP)に対応する複数の識別可能な任意の点(2DP')を通る少なくとも一つの第２の線(2DC)とを特定する工程、d) 前記第１の線(VC)と第２の線(2DC)とが近似するように、前記仮想３次元モデルを前記原点を基準にｘｙｚ軸に対して回転させ、該仮想３次元モデルと前記２次元画像との向きに近似させる工程、e) 工程d)における前記仮想３次元モデルのｘｙｚ軸に対する回転角（α、β、γ）を求める工程を含み、求められた回転角（α、β、γ）により、特定立体の３次元形状データそれぞれに含まれる少なくとも３点の識別可能な任意の点(3DP)の座標変換すること請求項７記載の特定立体と２次元画像に映し出された被写体の照合方法である。

請求項１０記載の発明は、前記特定立体は、人間の頭部または顔であり、前記２次元画像に映し出された被写体は、人間の頭部または顔を含むものである請求項６記載の特定立体と２次元画像に映し出された被写体の照合方法である。

請求項１１記載の発明は、前記識別可能な任意の点(3DP及び2DP)を結ぶ2以上の距離(3DL及び2DL)は、人間の頭部または顔の内眼角幅、外眼角幅、眼裂幅、鼻幅、口裂幅、セリオン・ストミオン高、鼻根顔高、セリオン放射径、プロナサーレ放射径、ストミオン放射径のいずれかより選択される請求項６記載の特定立体と２次元画像に映し出された被写体の照合方法である。

請求項１２記載の発明は、出身地や性別、年齢、身長、人種などのデータを用いて１次絞込みを行い、その結果をもとに前記３次元データ及び前記２次元データを用いる請求項１１記載の特定立体画像と２次元画像に映し出された被写体の照合方法である。

請求項１３記載の発明は、データベースに保存された複数の特定立体の３次元形状データのうち、一部または全部に対して、２次元画像における被写体と同じ向きになるように特定立体の３次元形状データの空間内における向き（ｘ、ｙ、ｚ軸まわりの回転角度）を（α、β、γ）に応じて座標変換し、座標変換された特定立体上の３点以上の識別可能な任意の点(3DP)を選び、該識別可能な任意の点を結ぶ２以上の距離(3DL)の比(3R)として表される示数と、前記識別可能な任意の点(3DP)に対応する前記２次元画像の被写体上の３点以上の識別可能な任意の点(2DP)を結ぶ２以上の距離(2DL)の比(2R)として表される示数とを求め、前記特定立体と被写体の識別可能な任意の点の対応する比(3Rと2R)である示数の差の絶対値を合計した値を前記座標変換した複数の特定立体の３次元形状データについて算出し、該算出された値の大小に応じて３次元形状データに順位をつける特定立体と２次元画像に映し出された被写体の照合方法である。

本発明によると、特定立体、例えば人物の３次元データから抽出した生体学、相貌学及び形態学上の人物（個人）の特徴を表す点を結ぶ距離から比率（以下、示数という）を求め、監視カメラなどで撮影された被写体、例えば人物の２次元画像からそれと同じ示数を算出して、比較照合することで特定立体と２次元画像に映し出された被写体の照合が行われる。

前記３次元データから算出した前記示数と監視カメラなどの２次元データから求めた同じ示数の差は、本人であれば０（ゼロ）に近くなると考えられ、複数積算しても同様である。したがって、この示数の差が小さい人が該当者とみなされ、短時間で該当者と思しき人物を数人までに絞り込むことができる。

本発明によれば、特に大量の３次元データ（例えば数十万件）の特定立体のデータベースの中からカメラなどで撮影された被写体の照合対象となる候補を迅速に絞込ことができる。

特に、様々な場所に設置され、撮影角度が一定でない、監視カメラ画像などによる被写体の２次元画像データに対しても、表示及び照合、さらにはデータを加工することなく迅速に該当者と思しき人物の絞込みが可能であり、例えば２次元画像の被写体と３次元形状データを取得された人物とを一対一で詳細に異同識別するための前段階において、対象となる候補を迅速に絞り込む方法として有用である。

また、遠隔地からでもデータを参照でき、事件現場、さらには海外からでも、照合、絞込が可能となり事件の早期解決が図れる。

その他、空港、企業内または個人宅及びコンピューターなどにおける個体識別・認証などに広く利用することができる。

本発明の特定立体の２次元平面投影画像と２次元画像に映し出された被写体の照合方法として、被疑者の絞込を行う実施例について図面と共に説明する。
図１に３次元データを用いた絞込システムの実施例を示す。本システムは、ＣＣＤカメラ３１、プロジェクター３２、照明３３及びこれらの制御やデータ処理用コンピュータ３４を備えた、人物の３次元データを取得する３次元モデリングシステム４１と画像合成装置３８、モニター３６、３７及びコンピュータ３４を備えたスーパーインポーズシステム４２、及びデータ保存装置（ＦＤ、ＨＨＤ、ＭＯ、ＣＤなど）３５、ビデオや写真の画像を入力する画像入力装置４０、照合結果などを印刷して出力するプリンター３９からなっている。
スーパーインポーズシステム４２の構成としては、ソフトウエアで透明度を変えられるもので代用する場合には画像合成装置３８を省略してもよい。

図２に人物絞込みのフローを示す。
まず、ステップＳ１で３次元モデリングシステム４１で得た大量の人物の３次元データを取得しておく。前記３次元データを取得するための３次元モデリングシステム用設備を図３に示す。

３次元モデリングシステム４１は３次元データを取得する前に、立ち位置６３に足を合わせ円筒体６２に取り付けた複数のカメラ３１（３１−a、３１−ｂ）と照明具６４で顔、頭を主に撮影を行った後、筐体６０内で撮影する際、人物６６の映像をモニター３６で見ながらコンピュータ３４内に取得すれば、効率よくデータの取得が可能になる。

このとき、図３には顔前面にカメラ３１を多く配置した例を示す。顔前面を網羅するようにカメラ台数を多くすることにより、３次元データを作成する元データ量が増えること及び撮影されたデータの重複される部分が多くなるため、被写体の情報が多く誤差が少なくなり、顔を精度よく３次元データ化することができる。

また、このとき複数の３次元データを相互に比較するために使用する３次元データの原点を一致させておく。例えば、図５に示すように、Ｘ軸は耳珠点(１２Ｒ,１２Ｌ)を結ぶ直線、Ｙ軸は正中線(４,５,７,１３,１４,９）を結ぶ直線を通る平面上の線、Ｚ軸はセリオン（鼻根）(４)を通りＸ軸に垂直で正中線を通る平面上の線を原点とする。

次いでステップＳ２で図４に示す個人の特徴を表す生体学上の識別可能な任意の点（１４点）のいずれかを含むｘｙｚ軸座標を個人のデータベースとして、データ保存装置３５に保存する。このとき場合によっては、ステップＳ３に示す出身地（国籍、民族、言語等）、性別、生年月日、身長、血液型、身体的特徴、データ取得時期などを加味して個人のデータベース２１とする場合もある。

次に、ステップＳ４で画像入力装置４０により、犯人が撮影された防犯カメラなどのビデオ画像や写真データを取り込み、ビデオ画像や写真に映されている犯人の顔の向き（ｘｙｚ軸に対する回転角度）と３次元データの２次元平面投影画像が同じ向きになるように３次元データの仮想モデルの向きを調整する。この仮想３次元データモデルの顔の向きは、図６に示す方法で求められる。

図６（ａ）には、予め３次元データからなる人物の仮想モデルを作成しておき、画像合成装置３８やソフトウエアによる前記２次元データとのスーパーインポーズ（重ね合せ）により目の位置や正中線（セリオン、鼻尖、ストミオンを通る線（軸））を合せ、この３次元人物仮想モデルの向き、すなわちｘｙｚ軸に対する回転角度を求める。この回転角度をもって、ビデオ画像や写真に写された人物の２次元データの顔の向きとする。

顔の向きを求める別の方法を図６（ｂ）に示す。予め撮影し、採取している複数の人物データの中から防犯カメラや監視カメラなどのビデオ画像や写真に撮影されている犯人像の２次元データと似た３次元データを用いて、該３次元データ及び犯人像である２次元データ上に同じ識別可能な任意の点（図４に示す識別可能な任意の点）を結ぶ三角形を表示させる。そして、それぞれの三角形を合致させることで前記３次元データの顔の向きを前記２次元データ該の顔の向きと同じにする。この三角形は一つでもよいが複数あれば、より正確に顔の向きが求まる。

前記３次元人物仮想モデルの基本形は適宜遠近補正した卵型のモデルであり、例えば年齢、性別、出身地、人種などに応じて典型的なモデルを選択すると後の絞込に好影響を与える。

次いで、必要に応じてステップＳ５でビデオカメラなどで撮影した際のカメラと犯人の撮影距離を推測し、該撮影距離に基づき３次元データを次に説明する遠近法（パースペクティブ）により表示を修正する。

図７によりパースペクティブ機能の概略を説明する。
人間の頭など３次元の被写体には奥行きがあるので、その撮影距離又は視点距離（被写体とカメラとの距離）により得られる画像が異なる。図７（ａ）の視点から被写体までの距離は図７（ｂ）の視点から被写体までの距離より大きく、図７に示す平面Ｐ位置でのそれぞれの被写体の見え方を右側に太線で書いているが、図７（ａ）、（ｂ）に示す場合のピラミッド形の被写体の前側の平面Ｐ１上での縦方向長さａとａ’とは同じであるが、後側の平面Ｐ２上の縦方向長さｃとｃ’とは互いに異なって見え、長さｂ＝（ａ−ｃ）とｂ’＝（ａ’−ｃ’）は異なって見える。

従って、撮影距離又は視点距離に応じた見え方をパースペクティブ（遠近法）に沿って正しく表示する必要があり、前記図７（ａ）、（ｂ）に示す場合のピラミッド形の被写体の例では、後側の平面の縦方向長さｃとｃ’を同じにする必要がある。そのために視点角度θとθ’を調整して長さｃ＝ｃ’に合わせて照合する。

前記遠近補正後、必要に応じて向きを求める方法を繰り返し、人物の３次元データの向き、すなわちｘｙｚ軸に対する回転角度を求める。この角度をもってビデオカメラなどで撮影された人物の顔の向きとする。

次いで、ステップ６で上記人物の３次元データの向き、すなわち求めたｘｙｚ軸に対する回転角度をもとに、図４に示した識別可能な任意の点のｘｙｚ座標をビデオ画像などの２次元データと同じ視点（２次元画像の撮影点に相当する）ら見た座標に変換し、視点方向に垂直な平面へ投影した比較照合に必要な識別可能な任意の点間距離を算出する。

上記識別可能な任意の点のｘｙｚ座標の座標変換の例を以下に説明する。

該当者と思しき人物のビデオ画像の顔の向きに合わせて、人物の識別可能な任意の点座標データを下記の式により変換する。

ここで、座標系：右手系、回転系：右ネジの規約、
座標変換前の座標を（ｘ、ｙ、ｚ）、変換後の座標を（ｘ’、ｙ’、ｚ’）、
回転角度は、各軸を中心とする角度とし、Ｘ軸回りの回転角度α、Ｙ軸回りの回転角度β、Ｚ軸回りの回転角度γとする。（各軸となす角度ではない。）
次いでステップ７のビデオ画像や顔写真と同じ視点方向に対して垂直な２次元平面に投影した２点の識別可能な任意の点を結ぶ距離を次のようにして求める。

例えば上記点Ｐ（ｘ,ｙ,ｚ）をｙ軸回りにτ'度回転した後の座標点Ｐ’（ｘ',ｙ',ｚ'）について、座標点Ｐ’を図４の２つの識別可能な任意の点Ｐ１’、Ｐ２’であるとして、二つの前記識別可能な任意の点Ｐ’１（ｘ₁’,ｙ₁’,ｚ₁’）と識別可能な任意の点Ｐ’２（ｘ₂',ｙ₂',ｚ₂'））の距離Ｄ１を次のように計算する。
Ｄ＝（（ｘ₁’−ｘ₂）²＋（ｙ₁’−ｙ₂')²）^1/2

ステップ８では図８に示すように、前記３次元データの距離Ｄ１を算出した識別可能な任意の点に対応するビデオ画像又は顔写真からの２次元データを２つの識別可能な任意の点を結ぶ距離Ｄ２を算出する。

図８には外耳上端（10R）と下端（11R）間、耳珠点（12R）とセリオン(4)間、耳珠点（12R）と鼻尖(5)間、耳珠点（12R）とストミオン(13)間、耳珠点（12R）とオトガイ点(9)間、セリオン(4)とストミオン(13)間、又はセリオン(4)とオトガイ点(9)間のそれぞれの距離を求める。

ステップＳ９で上記３次元データから求めた複数の識別可能な任意の点を結ぶ距離Ｄ１の内の２つを選択して、その示数を求める。同様に２次元データから求めた複数の識別可能な任意の点を結ぶ距離Ｄ２の内の２つを選択して、その示数（比較パラメータ）を求める。図９、図１０にはそれぞれ正面顔データの比較パラメータと斜め顔データの比較パラメータを示す。

前記距離Ｄ１、Ｄ２でなくこれらの示数を用いる理由は、距離Ｄ１、Ｄ２は精度を高くしないと相互比較できないが、上記示数を用いることで比較的その精度が高くなくても相互の比較が行えるからである。

例えば、図１１に、以下のようにして調べた１１０人の結果を表す。
（１）同一条件で１１０人について２次元画像を撮影した。前記１１０人の母集団について、同一の方向を向いた個体を同一方向・同一距離（斜め４５度、３ｍ）から写真撮影した。

（２）１１０人の母集団について、各個体の３次元形状データを取得した(図２のＳ１〜Ｓ３)。
（３）一つの代表的個体について、図２のステップＳ４からＳ６（ステップＳ５は任意）により、当該顔写真の向きを推定し、全ての個体の３次元形状データをこれと同じ向きとなるように座標変換した。

（４）「示数」の一つ（ストミオン放射径／セリオン放射径）に関し、各個体ごとに写真から求められた示数を縦軸、座標変換後の3次元形状データから求められた示数を横軸として、全ての個体についてプロットしたものが図１１であり、その相関係数は０．９５であった。
（５）このようにして「正面顔」、「斜め顔」に関し、表１〜表４に示されるような、約１００種類の「示数」についてそれぞれ相関係数を求めた。

（６）結果の一例は、表５、表７の右欄に記した。
（７）「示数」は、その基となる識別可能な任意の点をどのように定めるかによって変動する。特に手動による特徴点（識別可能な任意の点）の特定は、操作者の練度やクセ、画像の見易さ等に依存し、誤差を生じる。相関係数が１に近い示数の基となっている識別可能な任意の点は、特定する際に、誤差が生じにくく、再現性が高い点であり、万人に適用しやすいといえる。

図１１には前記方法で得られた前記示数（ストミオン放射径／セリオン放射径）データの相関例を示し、１１０人について横軸には３次元人物データから、縦軸には２次元顔写真データから求めた値を示す。それぞれ求めた示数は相関係数(１に近いほど相関がよいことを表す)が０．９５と非常に高い相関を示していると共に、人物特有の値であり、絞込に有効なファクターでもあることが分かる。

しかし、目や鼻などの配置が似た人物や微妙な顔の向きの違いや表情により誤差が生じることもあるので一つの示数だけでは本人を絞り込むことが難しい。

そこで、３次元データと顔写真などの２次元データの複数の識別可能な任意の点を結ぶ距離に関する示数を求め、その差の絶対値を積算（足し合せ）すれば、該当者と思しき人物のその値は最小となるはずである。

そこで、本実施例ではステップ１０で、２次元データから求めた前記示数と３次元データから求めた前記示数の差の絶対値の和を次の式で求める。
Σ｜(ビデオ画像などから求めた示数−３次元人物データから求めた示数)｜

ステップ１１では、上記方法で求めた示数の差の絶対値の和が少ない順に順序付けをして数人（１０人程度）リストアップして、該当者の候補とする。次いでステップ１２でリストアップした人物の３次元データとビデオ画像の２次元データとのスーパーインポーズによる最終判定により該当者を絞り込む。

図示はしないが、本実施例の人物の絞込み方法において、なるべく不変的な点及び誰でも同じ位置を指定できる識別可能な任意の点を選択した方がよいことは明らかである。例えば、眉毛であれば剃ることや、化粧によりその端点の位置は自由に変化する。また、眼鏡をかけている人は斜めの角度から撮影された場合、フレームにより目が隠れ、外眼角を指定することが困難となる。また、オトガイ点は横や斜めから見ると凹凸や境界がはっきり分かるが、正面からでは境界があいまいで判断しずらく、誰もが正確にオトガイ点を指定できるとは限らない点である。そういう点は再現性も悪く間違った人を抽出することになる。

本出願人の会社内１１０人のデータを用いて絞込を行なった結果、内眼角、外眼角、瞳孔、セリオン(鼻根)、鼻尖、鼻翼、上唇点、口角、オトガイ点、外耳上端、外耳下端、耳珠点、ストミオン及び下唇点の１４点を用いて比較照合すれば、上位１０人以内に該当者と思しき人物をほぼ抽出できることが分かった。特に顔正面からのデータでは、内眼角、外眼角、瞳孔、セリオン(鼻根)、鼻翼、口角及びストミオンの６点が、顔斜めからのデータでは、セリオン(鼻根)、鼻尖、オトガイ点、耳珠点及びストミオンの５点が確実に選択でき、再現性もよく絞込に非常に有効であることが分かった。

図９に示す「顔正面データの比較パラメータ」と図１０に示す「顔斜めデータの比較パラメータ」を用いて、１４点の識別可能な任意の点から２点間を結ぶ距離として２８個、この２８個の距離を用いて示数として１００個ほど提案し、絞込に有効な比較パラメータを探した。

各比較パラメータの差を足し合わせた場合、絞込率が低下または向上する比較パラメータがあり、絞込率が向上するものは、個人の特徴(例えば、目の間隔が広い、鼻が高いなど)を表し、かつ絞込に有効なファクターであった。このようにして絞込に有効な比較パラメータを探し、最終的に絞込率が最大となる比較パラメータを示したものが図９(正面顔に対して)、図１０(斜め顔に対して)に示すものである。

すなわち顔正面データでは、内眼角１Ｒと１Ｌの幅Ａ、外眼角２Ｒと２Ｌの幅Ｂ、外眼角幅（２Ｒ、２Ｌ間の距離）から内眼角幅（１Ｒ、１Ｌ間の距離）を差し引いた幅（Ｂ−Ａ）（眼裂幅）Ｃ、鼻翼６Ｒと６Ｌの幅（鼻幅）Ｄ、口角８Ｒと８Ｌの幅（口裂幅）Ｅ及びセリオン４とストミオン１３の間の幅（セリオン・ストミオン高）Ｆについて、次のような距離の示数（Ａ／Ｂ、Ｄ／Ｂ、Ｅ／Ｂ、Ｂ／Ｆ、Ｄ／Ｆ、Ｅ／Ｆ及びＣ／Ｂ）である。

また、斜め顔データではセリオン・ストミオン高Ｆとセリオン４とオトガイ点９の幅（鼻根顔高）Ｇ、耳珠点１２Ｒもしくは１２Ｌとセリオン４の幅（セリオン放射径）Ｈ、耳珠点１２Ｒもしくは１２Ｌと鼻尖５の幅（プロナサーレ放射径）及び耳珠点１２Ｒもしくは１２Ｌとストミオン１３の幅（ストミオン放射径）についての距離の示数（Ｈ／Ｇ、Ｈ／Ｆ、Ｊ／Ｆ、Ｊ／Ｈ、Ｉ／Ｈ及びＩ／Ｊ）である。

図１２と図１３に内眼角幅Ａ、外眼角幅Ｂ、眼裂幅Ｃ、鼻幅Ｄ、口裂幅Ｅ、セリオン・ストミオン高Ｆの６つの個人の特徴を表す距離を使い、内眼角幅／外眼角幅（Ａ／Ｂ）、鼻幅／外眼角幅（Ｄ／Ｂ）、口裂幅／外眼角幅（Ｅ／Ｂ）、外眼角幅／セリオン・ストミオン幅（Ｂ／Ｆ）、鼻幅／セリオン・ストミオン幅（Ｄ／Ｆ）、口裂幅／セリオン・ストミオン幅（Ｅ／Ｆ）、眼裂幅／外眼角幅（Ｃ／Ｂ）の７つの比較パラメータを使い正面顔について絞込を行なった結果を示す。

また、図１４と図１５にセリオン・ストミオン高Ｆ、鼻根顔高Ｇ、セリオン放射径Ｈ、プロナサーレ放射径Ｉ、ストミオン放射径Ｊの５つの個人の特徴を表す距離を使い、セリオン放射径／鼻根顔高（Ｈ／Ｇ）、セリオン放射径／セリオン・ストミオン高（Ｈ／Ｆ）、ストミオン放射径／セリオン・ストミオン高（Ｊ／Ｆ）、ストミオン放射径／セリオン放射径（Ｊ／Ｈ）、プロナサーレ放射径／セリオン放射径（Ｉ／Ｈ）、プロナサーレ放射径／ストミオン放射径（Ｉ／Ｊ）の６つの比較パラメータを使って斜め顔について絞込を実施した結果を示す。

図１２〜図１５に示す折れ線グラフは、絞込率（前記式に従い最小値を該当者とし、小さい方から順に順位を付けていき、各順位までに入る人の割合を示す）、棒グラフは１０位までに絞り込みをした際の各順位の内訳（％）を示す。

また、識別可能な任意の点を抽出する際に、誰でも正確に特定できる点及び誰でも特定しにくい点があり、図１２と図１３の「絞込結果（正面）」及び図１４と図１５の「絞込結果（斜め）」は、それぞれ「正面」、「斜め」での「絞込」に適した識別可能な任意の点を選択するために参考にするグラフである。

ここで、「正面」とは、表示画面上の「（２次元）人物画像」を観察したとき、左右それぞれの外眼角、鼻翼、口角が確認できるとき、数値的にはｘ、ｙ、ｚ軸回りの回転角度が全て±１０度の範囲内にある場合をいうものとする。

このときは、少なくとも図９に示した「正面」の示数（比較パラメータ）のいずれかを含めて絞込することが望ましい。

また、「斜め」とは、表示画面上の「（２次元）人物画像」を観察したとき、鼻尖、オトガイ点が確認できるとき、数値的にはｘ、ｙ、ｚ軸回りの回転角度がどれか一つが±１０度以上である場合をいうものとする。

このときは、少なくとも図１０に示した「斜め」の示数（比較パラメータ）のいずれかを含めて絞込することが望ましい。

ただし、左右それぞれの外眼角、鼻翼、口角及び鼻尖、オトガイ点が全て確認できるときは、「正面」、「斜め」どちらとしてもよく、絞込に用いるパラメータもいずれかに適するものを用いればよい。

（１）図１２、図１３の「絞込結果（正面）」等に示す「絞込率」
「絞込率」とは、以下のような割合を指す。
（ａ）３次元データを取得された母集団に含まれる個体Ｘｉ｜ｉ＝１〜ｎのそれぞれについて「絞込」の対象となる任意の２次元画像を撮影する。
（ｂ）特定の個体Ｘｉ｜ｉ＝ｊの２次元画像に注目し、個体Ｘｉ｜ｉ＝１〜ｎについて本実施例の絞込の操作を行い、個体Ｘｉ｜ｉ＝１〜ｎの順位付けを行う。
（ｃ）対象となる２次元画像として個体Ｘｉ｜ｉ＝１〜ｎまで前記（ｂ）の操作を繰り返し（ｎ回）、ｎ通りの順位付け全数に対して、指定された順位（図１２、図１３の場合、上位１０位）までに対象となる２次元画像と同じ個体Ｘｉが入っている割合である。

（２）一方、図１２、図１３の「絞込結果（正面）」等に示す縦軸の「相対比率」
「相対比率」とは、以下のような比率をいう。
（ａ）上述の「指定された順位」（図１２、図１３の場合、上位１０位）までに対象となる２次元画像と同じ個体Ｘｉが入っている場合を「全数」とする。
（ｂ）２次元画像と同じ個体Ｘｉが「指定された順位」の各順位にあたる場合の数を各順位ごとに合計した「積算値」を求める。
（ｃ）このとき、「積算値」の「全数」に占める割合を「相対比率」といい、横軸の各「順位」における棒グラフが、これを表している。（したがって１位から１０位までの数値の総和は１００％）
（ｄ）また、図１２、図１３で「６位まで」とは、上記「相対比率」を６位まで積算した値をいう。

このような「絞込率」が高く、かつ「上位」（＝小さい「順位」）の「相対比率」が高くなるような「示数」（比較パラメータ）、又はその「重ね合わせ」を選択して、「絞込」を行えば、３次元データを取得された母集団中の「２次元画像の被写体」に対応する個体が、「絞込」後の「候補」に含まれる確率が高くなる。

ここで、「重ね合わせ」とは複数の特徴点（識別可能な任意の点）間の距離の示数の間で求めた３次元データと２次元データの示数の差の絶対値の和をいうこととする。

また、上記図１２〜図１５に示すグラフを得るに当たっての「絞込」に用いる識別可能な任意の点を見出す方法について以下説明する。

（１）表１〜表５について
表１〜表５は、本発明者らが約１００種類の「比較パラメータ」について、それぞれを「絞込」に用いたときの「有効性」を調べたもの（一例）である。

一般に、「比較パラメータ」は、単一の場合よりも複数の「比較パラメータ」を「重ね合わせ」する方が、前述の「絞込率」を高めることができる。しかし、無作為に複数の「比較パラメータ」を「重ね合わせ」ても「絞込率」は必ずしも向上するとはいえないことがわかった。

「重ね合わせ」する「比較パラメータ」が少ないとき、例えば３個までは、多くの「比較パラメータ」に関して、「絞込率」は相互に「重ね合わせ」することにより向上する傾向にある。しかし、さらに多くの「比較パラメータ」を「重ね合わせ」して、「絞込率」をより向上させようとしても、適するものと適さないものが存在することが明らかになった。

表１〜表５にいう「有効性」は、言い換えれば、単独の「比較パラメータ」として必ずしも高い「絞込率」が得られるか否かを示すものではなく、複数の「比較パラメータ」を重ね合わせることで「絞込率」を向上させるのに寄与するか否か、いわば「重ね合わせ」における「絞込率」の向上に対する寄与度、あるいは、「比較パラメータ」相互の「相性」の良否のようなものを表現したものである。

◎は、「絞込」に非常に有効であると判断されるものであり、「重ね合わせ」により、前述の「絞込率」が向上する。「重ね合わせ」する「比較パラメータ」の数が少なくても高い「絞込率」が得られる、あるいは互いに「重ね合わせ」により「絞込率」を高め得るものである。
○は、◎のように必ずしも「重ね合わせ」により、前述の「絞込率」が向上するとは限らないが、「絞込」に適用できるものである。
△は、◎、○に係る識別可能な任意の点が隠れて特定できないときなどに「絞込」に適用できるものである。
×は、識別可能な任意の点が特定できないため、「絞込」に適用できないものである。

（２）表６〜表７について
表６は、「正面顔」の場合に、１１０人の母集団（⊇個体Ｘｎ｜ｎ＝１〜１１０）に対して表１〜表３に掲げた単一の「比較パラメータ」について、それらの「絞込率」、「相関係数」（図１１参照）を調べた結果の一例である。

表中の（）内の数字は、表１〜表３の「Ｎｏ．」に対応している。
なお、表６中の「順位」は、「絞込率」、「相関係数」の上位のものから順につけたもので、「絞込」の操作における個体の順位付けによる「順位」とは異なる別個のものである（「絞込率順位」、「相関係数順位」というべきもの）。

すなわち、表１〜表５に示す約１００種類の個体の中における順位が個体の「順位」であり、絞込率を高める示数（比率）を選択するために、単独の示数（比率）の「絞込率」と「相関係数」の上位のものから順につけたものが表６、表８であり、複数の示数（比率）の組み合わせで実際に「絞込率」が顕著に向上するものを抽出して表７、表９に示す。結果的には単独の示数の「絞込率」が上位のもの同士を重ね合わせるよりも、「相関係数」の高さに注目した方が「重ね合わせ」した結果が良くなる傾向を示した。

表７は、同様に表６に掲げた複数の「比較パラメータ」を「重ね合わせ」したときの結果の一例を示す。
なお、表７中の「Ｎｏ．」は、図１２と図１３中に表示した「Ｎｏ．」に対応し、「重ね合わせ」する比較パラメータの組み合わせを表す。

表７によれば、「（３４）」のパラメータは、表６に示す単一の比較パラメータでは「絞込率」２６％で、「絞込率順位」は８位と比較的上位に位置付けられる。しかし、表７の「重ね合わせ」においては、「Ｎｏ.５」、「Ｎｏ.１８」、「Ｎｏ.１９」及び「Ｎｏ.２０」を相互に比較すると明らかなように却って「絞込率」を低下させる方向に作用している。

即ち、６つの比較パラメータを「重ね合わせ」した「Ｎｏ.５」：絞込率＝９０.０％に「（３４）」をさらに「重ね合わせ」した「Ｎｏ.１９」は絞込率＝７８.２％と低下した。

一方、「Ｎｏ.５」：絞込率＝９０.０％に「（１３）」を「重ね合わせ」した「Ｎｏ.１８」は絞込率＝９２.７％と向上した。

また、「Ｎｏ.１９」：絞込率＝７８.２％に「（１３）」を「重ね合わせ」した「Ｎｏ.２０」は絞込率＝８０.０％と向上した。

「Ｎｏ.１８」に係る比較パラメータの単一の「絞込率」は、最も高かったものを１位として順に順位付けした表６の「絞込率順位」をみると明らかなように、必ずしも１位から７位までを占めているわけではない。

即ち、単純に単一の「絞込率」が高いもの同士を「重ね合わせ」しても「絞込率」を高めることにはならず、「重ね合わせ」の適否があることがわかる。

（３）表８、表９について
表８は、「斜め顔」の場合に、表６と同様に１１０人の母集団（⊇個体Ｘｎ｜ｎ＝１〜１１０）に対して表４、表５に掲げた単一の「比較パラメータ」について、それらの「絞込率」、「相関係数」及び各「順位」を調べた結果である。

表９は、同様に表８に掲げた複数の「比較パラメータ」を「重ね合わせ」したときの結果を示す。

（４）図１２、図１３について
図１２、図１３は１１０人の母集団（⊇個体Ｘｎ｜ｎ＝１〜１１０）に対して、「絞込率」、「相対比率」を求めたものであるが、このうち、図１２（ａ）は、表３に例示される外眼角幅／セリオン・ストミオン高に関する単一の「比較パラメータ」を用いた「絞込」による「絞込率」と「相対比率」を表し、図１２（ｂ）は、表３に例示される鼻幅／セリオン・ストミオン高に関する単一の「比較パラメータ」を用いた「絞込」による「絞込率」と「相対比率」を表す。

また、図１２（ｃ）は表１〜表３に例示される比較パラメータを３個「重ね合わせ」した表７の「Ｎｏ.２」の「絞込」による「絞込率」、と「相対比率」を表す。

同様に図１３（ａ）は、表１〜表３の比較パラメータを６個「重ね合わせ」した表７の「Ｎｏ.５」の「絞込」による「絞込率」、と「相対比率」を表し、図１３（ｂ）は、表１〜表３の比較パラメータを７個「重ね合わせ」した表７の「Ｎｏ.１８」の「絞込」による「絞込率」、と「相対比率」を表し、図１３（ｃ）は、表１〜表３の比較パラメータを７個「重ね合わせ」した表７の「Ｎｏ.１９」、の「絞込」による「絞込率」と「相対比率」を表す。

図１２と図１３に示す正面顔データの場合、比較パラメータ１つの場合絞込率３７．３％、比較パラメータ３つの場合の絞込率は５４．５％、７つ全て重ね合せた場合の絞込率は最終的に９２．７％と絞込率が順次向上し、選択した比較パラメータが絞り込みに有効であることが分かった。

図１４と図１５に示す斜め顔データの場合も同様なことがいえる。特に正面顔よりも斜め顔の方が個人の特徴が表れ、比較パラメータ一つでも最大９８.９％と絞込率は高い。しかし、絞込精度に係わる上位（６位以内）の割合としては５７.０％と低いが、複数の比較パラメータを足し合わせることにより絞込精度の向上が図れ、６つの比較パラメータを全て足し合わせると絞込率９６.８％で６位までに全員が入り、特に１位に８６％の人が入る結果となった。したがって、選択した比較パラメータの有効性が確認された。

このように同じ「絞込率」であれば、上位の「相対比率」が高い傾向にある「比較パラメータ」又はその「重ね合わせ」を適用することが望ましい。

上記した傾向は、斜め顔の場合を表す図１４と図１５及び表８、表９の場合に顕著であり、本発明はこのように、「斜め顔」の「絞込」に特に有効である。

上記手順で絞込んだ３次元データとビデオ画像、監視カメラなどの顔写真の２次元データをスーパインポーズ法により重ね合わせて比較照合する。図１６には２次元の写真画像５０と３次元データ５１を重ね合わせて照合した画面５２の例を示し、図１７に照合・判定方法の一例を示す。

鑑定・判定する際の視覚的方法としては、重ね合わせた人物の３次元データ５１と写真画像５０のそれぞれの透明度を変え、個人の特徴点（識別可能な任意の点）や形状を確認することにより、全体的なイメージにより本人との一致度、正確性を判断することができる。

図１７（ａ）に示す例では上の３次元データ５１の画面の輝度（透過度）を変化させ、下の写真画像５０が徐々に浮き出て見えるようにして整合性を確認している。

また、図１７（ｂ）の左端の図はステップ４（５４）における顔の向きを求める方法と同様に写真画像、３次元データそれぞれの任意の特徴点を含む３点を結んだ三角形を表示し、２つの三角形を重ね合わせるようにして位置合わせする照合支援機能により照合確認する方法を示し、中央には写真画像５０と３次元データ５１を重ね合わせて比較照合する際、各部位の重なりや整合性を垂直方向からのワイプを行う例を示し、右端には水平方向からのワイプを行う例を示す。

本発明は、ビデオ画像、顔写真などの被写体データとして犯罪者データ、運転免許、パスポート、各種カード、出入国管理(空港)用、入退出管理用データとしても使用できるなどセキュリティー上必要な用途があり、人物照合・認証、バイオメトリックス技術分野に適用できる。

本発明の実施例の３次元データを用いた絞込システムのブロック図である。図１の絞込システムの絞込み手順を示すフロー図である。本発明の実施例の３次元データ取得装置の構成図でである。個人の特徴を表す生体学上の識別可能な任意の点(１４点)を示す図である。本発明の実施例の３次元データの原点を統一する方法を説明する図である。本発明の実施例の顔の向きを求める方法を説明する図である。遠近法（パースペクティブ）を説明する図である。本発明の実施例の２次元データを２つの識別可能な任意の点を結ぶ距離を算出する際の識別可能な任意の点を結ぶ図である。正面顔データの比較パラメータを示す図である。斜め顔データの比較パラメータを示す図である。本発明の実施例の示数(ストミオン放射径／セリオン放射径）データの相関例を示す図である。本発明の実施例の絞込結果（正面顔データ）を示す図である。本発明の実施例の絞込結果（正面顔データ）を示す図である。本発明の実施例の絞込結果（斜め顔データ）を示す図である。本発明の実施例の絞込結果（斜め顔データ）を示す図である。本発明の実施例の絞込んだ３次元データを２次元画像をスーパインポーズ法により重ね合わせて比較照合することを説明刷る図である。本発明の実施例の絞込んだ３次元データを２次元画像を重ね合わせて照合する例を説明する図である。

符号の説明

２１個人のデータベース３１カメラ
３２プロジェクター３３照明
３４コンピュータ３５データ保存装置
３６、３７モニター３８画像合成装置
３９プリンター４０画像入力装置
４１３次元モデリングシステム
４２スーパーインポーズシステム
５０２次元写真画像５１３次元データ
５２照合画像６０筐体
６１身長測定用物差し６２円筒体
６３立ち位置６４照明具
６６人物

Claims

２次元画像上に写し出された被写体の撮影点に対する向きを決定する第１の工程と、
データベースに保存された複数の立体の３次元形状データを該立体が前記２次元画像の被写体の撮影点に対する向きと同一方向を向くように各立体の３次元形状データを一斉に座標変換する第２の工程と、
前記座標変換された立体を平面上に投影して画像データを生成する第３の工程と、
前記投影した複数の立体の画像データと、前記２次元画像上に写し出された被写体との、相互に対応する識別可能な任意の点を３点以上指定する第４の工程と、
前記識別可能な任意の点の間の距離を複数の立体の画像データ及び被写体について、それぞれ相互に対応するものを２組以上求める第５の工程と、
前記複数の立体及び被写体ごとに、前記第５の工程で求めた２組以上の距離の比（示数）を求める第６の工程と、
前記複数の立体ごとに、前記第６の工程で求めた距離の比と対応する被写体の距離の比との差を求める第７の工程と、
前記二つの距離の比（示数）の差の絶対値又はその総和の大小により複数の立体に順位をつける第８の工程と、
を有することを特徴とする特定立体画像と２次元画像に映し出された被写体の照合方法。
前記第１の工程は、
（１）前記２次元画像上に写し出された被写体を基にして被写体の撮影点に対する向きに３次元空間上に仮想３次元モデルを形成し、該仮想３次元モデルのｘ、ｙ、ｚ軸まわりの回転角度(α、β、γ)を調整して、前記被写体の撮影点に対する被写体の向きと同じ向きにする方法、又は
（２）データベースに保存された複数の立体の３次元形状データの中から特定の立体を選択し、
この立体と２次元画像上に写し出された被写体との相互に対応する識別可能な任意の点をそれぞれ３点選択し、該立体を平面上に投影した画像の識別可能な任意の点を結んで形成される三角形と、被写体の識別可能な任意の点を結んで形成される三角形をそれぞれ表示し、
表示された前記２つの三角形がほぼ相似形となるように前記立体を仮想空間上で回転させたときの当該立体のｘ、ｙ、ｚ軸まわりの回転の角度(α、β、γ) を前記被写体の撮影点に対する被写体の向きとする方法
のいずれかであり、
前記第２の工程は、前記データベースに保存された複数の立体の３次元形状データをｘ、ｙ、ｚ軸まわりに角度(α、β、γ)で回転させることを特徴とする請求項１記載の特定立体画像と２次元画像に映し出された被写体の照合方法。
前記立体は、人間の頭部または顔であり、前記２次元画像上に写し出された被写体は、人間の頭部または顔を含むものであることを特徴とする請求項１記載の特定立体画像と２次元画像に映し出された被写体の照合方法。
前記識別可能な任意の点の間の距離は、内眼角幅、外眼角幅、眼裂幅、鼻幅、口裂幅、セリオン・ストミオン高、鼻根顔高、セリオン放射径、プロナサーレ放射径、ストミオン放射径のいずれかより選択されることを特徴とする請求項３記載の特定立体画像と２次元画像に映し出された被写体の照合方法。
出身地や性別、年齢、身長、人種などのデータを用いて１次絞込みを行い、その結果をもとに前記３次元データ及び前記２次元データを用いることを特徴とする請求項４記載の特定立体画像と２次元画像に映し出された被写体の照合方法。
特定立体の３次元形状データから得られる画像と２次元画像に映し出された被写体画像を含む２以上の画像を互いに照合する方法であって、
平面に投影された特定立体の３次元形状データに含まれる少なくとも３点の識別可能な任意の点(3DP)を結ぶ２以上の前記平面上における距離(3DL)の比(3R)として表される示数を求める第１の工程と、
２次元画像に映し出された被写体の前記特定立体の識別可能な任意の点に対応する識別可能な任意の点(2DP)を結ぶ2以上の距離(2DL)の比(2R)として表される示数を求める第２の工程と、
複数の特定立体の前記距離の比(3R1,3R2,・・・)である示数と、２次元画像に映し出された被写体の対応する前記距離の比(2R1,2R2,・・・)である示数との差(3R1−2R1, 3R2−2R2,・・・)を求める第３の工程とを有することを特徴とする特定立体画像と２次元画像に映し出された被写体の照合方法。
前記第１の工程は、前記複数の特定立体の３次元形状データを座標変換し、それぞれを平面に投影して得られる第１の画像の各々に含まれる少なくとも３点の識別可能な任意の点(3DP')を結ぶ２以上の距離(3DL1, 3DL2,・・・)の比(3R)として表される示数を求める工程であり、
前記第２の工程は、前記２次元画像に映し出された被写体の前記平面に投影された特定立体の識別可能な任意の点(3DP')に対応する識別可能な任意の点(2DP)を結ぶ２以上の距離(2DL1,2DL2,・・・)の比(2R)である示数を求める工程であることを特徴とする請求項６記載の特定立体と２次元画像に映し出された被写体の照合方法。
前記第３の工程で求められた差(3R1−2R1, 3R2−2R2,・・・)の絶対値の和を求め、前記複数の特定立体に対して、その和の大小に応じて順位をつけることを特徴とする請求項７記載の特定立体と２次元画像に映し出された被写体の照合方法。
前記第１の工程の複数の特定立体の３次元形状データの座標変換は、
a) 原点を定めた仮想３次元モデルを生成する工程、
b) 前記仮想３次元モデルと前記２次元画像に映し出された被写体とを表示装置上に重ね合わせる工程、
c) 前記仮想３次元モデルに含まれる複数の識別可能な任意の点(VP)を通る少なくとも一つの第１の線(VC)と、前記２次元画像に映し出された被写体の前記識別可能な任意の点(VP)に対応する複数の識別可能な任意の点(2DP')を通る少なくとも一つの第２の線(2DC)とを特定する工程、
d) 前記第１の線(VC)と第２の線(2DC)とが近似するように、前記仮想３次元モデルを前記原点を基準にｘｙｚ軸に対して回転させ、該仮想３次元モデルと前記２次元画像との向きに近似させる工程、
e) 工程d)における前記仮想３次元モデルのｘｙｚ軸に対する回転角（α、β、γ）を求める工程、
を含み、求められた回転角（α、β、γ）により、特定立体の３次元形状データそれぞれに含まれる少なくとも３点の識別可能な任意の点(3DP)の座標変換すること
を特徴とする請求項７記載の特定立体と２次元画像に映し出された被写体の照合方法。
前記特定立体は、人間の頭部または顔であり、前記２次元画像に映し出された被写体は、人間の頭部または顔を含むものであることを特徴とする請求項６記載の特定立体と２次元画像に映し出された被写体の照合方法。
前記識別可能な任意の点(3DP及び2DP)を結ぶ２以上の距離(3DL及び2DL)は、人間の頭部または顔の内眼角幅、外眼角幅、眼裂幅、鼻幅、口裂幅、セリオン・ストミオン高、鼻根顔高、セリオン放射径、プロナサーレ放射径、ストミオン放射径のいずれかより選択されることを特徴とする請求項６記載の特定立体と２次元画像に映し出された被写体の照合方法。
出身地や性別、年齢、身長、人種などのデータを用いて１次絞込みを行い、その結果をもとに前記３次元データ及び前記２次元データを用いることを特徴とする請求項１１記載の特定立体画像と２次元画像に映し出された被写体の照合方法。
データベースに保存された複数の特定立体の３次元形状データのうち、一部または全部に対して、
２次元画像における被写体と同じ向きになるように特定立体の３次元形状データの空間内における向き（ｘ、ｙ、ｚ軸まわりの回転角度）を座標変換し、
座標変換された特定立体上の３点以上の識別可能な任意の点(3DP)を選び、該識別可能な任意の点を結ぶ2以上の距離(3DL)の比(3R)として表される示数と、前記識別可能な任意の点(3DP)に対応する前記２次元画像の被写体上の３点以上の識別可能な任意の点(2DP)を結ぶ2以上の距離(2DL)の比(2R)として表される示数とを求め、
前記特定立体と被写体の識別可能な任意の点の対応する比(3Rと2R)である示数の差の絶対値を合計した値を前記座標変換した複数の特定立体の３次元形状データについて算出し、
該算出された値の大小に応じて３次元形状データに順位をつける
ことを特徴とする特定立体と２次元画像に映し出された被写体の照合方法。