JP3276949B2 - ３次元有向体の定位方法及び画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、与えられた２次元
画像（写真等）に写った人間の顔と、それとは別に用意
された画像に写った人間の顔との異同識別の分野で利用
可能な画像処理方法及びその処理を実行するための画像
処理装置に関する。

【０００２】

【従来の技術】今日の犯罪捜査においては、防犯カメラ
又はビデオで撮影された犯人の顔と、これとは別に用意
された写真やデジタル画像等の２次元画像に写った被疑
者の顔との異同識別を行うための鑑定の機会が増加して
おり、この鑑定の結果が事件の解決に大きく貢献するこ
とも多い。このような鑑定において、防犯カメラ等で撮
影された犯人の顔を撮影した方向と、２次元画像に写っ
た被疑者の顔を撮影した方向が同じであれば、両者の異
同を高い確度で識別することができる。しかし、実際に
は、防犯カメラ等により犯人の顔が撮影される方向は一
定ではなく様々であるため、犯人が撮影された方向と同
じ方向から撮影された被疑者の顔の２次元画像が常に利
用できるとは限らない。

【０００３】上述のような問題に鑑みて考案されたシス
テムが「科学警察研究所報告４８巻４号」（１９９５年
１１月発行）の第１４９頁〜第１５８頁に開示されてい
る。このシステムでは、３次元顔貌計測装置を用いて採
取された被疑者の顔（頭部）の３次元形状データを処理
することにより、その顔の３次元像が３次元仮想空間内
に生成され、ディスプレイの画面上にはその３次元像の
２次元投影像が表示される。そして、３次元仮想空間内
で３次元像を３次元的に回転させる処理を行うと、画面
に表示された２次元投影像に写った顔の向きが変化す
る。このようにして、３次元像を３次元仮想空間内で適
宜回転させることにより、任意の方向に向いた被疑者の
顔画像を画面上で生成することができるのである。この
システムを用いれば、防犯カメラ等により撮影された犯
人の顔がどの方向を向いていても、それと同じ方向を向
いた被疑者の顔画像を画面上で自在に生成するだけでな
く、更に画面上で被疑者の顔画像を犯人の顔画像に重畳
させることもできる。このシステムにより、従来よりも
高い確度で異同識別を行うことができるようになった。

【０００４】

【発明が解決しようとする課題】上記システムにおい
て、画面上で被疑者の顔画像を犯人の顔画像に重畳させ
る作業は、被疑者の顔画像をワイヤフレームモードで表
示し、使用者がマウス等の入力装置を適宜操作する（例
えば、ワイヤフレーム上のある点をマウスカーソルで把
持して適宜方向にドラッグする）ことによりワイヤフレ
ーム像を３次元仮想空間内で回転させ、犯人の顔画像と
最もよく重なり合うようなワイヤフレーム像の顔の向き
を見つける、という手順で行われる。これは、試行錯誤
によりワイヤフレーム像の最適な向きを見出すという作
業であるため、システムの操作に不慣れな者がその作業
を行うと相当の時間が費やされる。また、操作者がその
作業に熟練していたとしても、異同識別の対象とされる
被疑者の数が多くなれば、やはりその作業に相当な時間
と労力が費やされてしまう。

【０００５】本発明はこのような課題を解決するために
成されたものであり、その目的とするところは、予め用
意された３次元形状データを処理して得られる３次元像
を所定平面に投影した２次元画像に写った被写体（被疑
者の顔）が、与えられた画像に写った被写体（犯人の
顔）と同じ方向を向くように、上記３次元像を３次元仮
想空間内で回転させる処理を、操作者の手を煩わせるこ
となく、しかも高い精度で行うための方法を提供するこ
とにある。また、本発明は、前記方法に基づく処理を行
うための装置、及びそのような装置をコンピュータを用
いて構成するためのコンピュータ読み取り可能な記録媒
体をも提供する。

【０００６】

【課題を解決するための手段】上記課題を解決するた
め、本発明は、３次元有向体の特徴点のうち３次元空間
内で同一平面上にない４つの特徴点を含む複数の特徴点
を指定特徴点として予め定め、第一の３次元有向体を写
した２次元画像である照合元画像において前記指定特徴
点の２次元座標データを取得し、第二の３次元有向体の
３次元形状データを処理することにより３次元仮想空間
においてある方向に向いた前記第二の３次元有向体の３
次元像を生成し、該３次元像の所定平面への投影像を生
成してこれを照合先画像とし、該照合先画像において前
記指定特徴点の２次元座標データを取得し、前記３次元
形状データと前記照合元画像及び前記照合先画像におい
て取得された前記指定特徴点の２次元座標データとを所
定の方法で処理することにより、前記照合元画像におけ
る前記指定特徴点の位置関係と前記照合先画像における
前記指定特徴点の位置関係との一致の度合を示すチェッ
ク値が最適化されるような、前記３次元像の前記３次元
仮想空間における向きを求めること、を特徴とする３次
元有向体の定位方法を提供する。

【０００７】また、本発明は、上記方法に従ってデータ
処理を行うデータ処理手段と、上記チェック値が最適化
されるような上記３次元像の３次元仮想空間内での向き
が求められたら、その向きを向いた上記３次元像の上記
所定平面への投影像を照合先画像として表示する画像表
示手段と、を備えることを特徴とする画像処理装置を提
供する。

【０００８】

【発明の実施の形態】本明細書においては、３次元空間
において向き及び回転位置を定義することができる物体
を３次元有向体とよぶ。例えば、完全に均一な表面を有
する球体は向きを持たないが、この球体の表面に点を１
つ描けば、球体の中心を原点とするその点の位置ベクト
ルによりその球体の向きを定義することができ、更に、
上記点から識別可能な第二の点を球面に描けば、上記位
置ベクトルを中心軸とする球体の回転位置を定義するこ
とができる。従って、表面に識別可能な２点を描いた球
体は、３次元有向体とみなすことができる。また、人間
の顔も３次元有向体の一例である。なお、３次元有向体
を向き及び回転位置を決定することを本明細書では３次
元有向体の定位とよぶ。

【０００９】また、本明細書においては、３次元有向体
の表面の点であって周囲の領域から識別可能な点（又は
部位）のことを３次元有向体の特徴点とよぶ。例えば、
人間の顔を３次元有向体として見た場合、瞳の中心、目
頭、目尻、上瞼の先端、耳朶の上端又は下端、耳の孔、
鼻の尖端、鼻の上端の付け根、上下の口唇の合わせ目の
中心、口の左端又は右端、下顎尖端部の中心等、顔の様
々な部位を特徴点とみなすことができる。以下の記載で
は、３次元有向体として人間の顔を取り扱うものとし
て、本発明に係る方法の手順を説明する。

【００１０】まず、上述のような顔の特徴点の中から、
３次元空間内で同一平面上にない４つの特徴点を含む複
数の特徴点を指定特徴点として定める。このとき、次の
ようなことを考慮することが好ましい。すなわち、指定
特徴点には、顔を斜めから見たときに顔の他の部位の背
後に隠れてしまう可能性が少ないような部位を含めるこ
とが好ましい。このような部位の例としては、鼻の尖
端、鼻の上端の付け根、上瞼の先端等が挙げられる。ま
た、目や耳のように左右一対となった顔の部位の一方を
指定特徴点とする場合は、他方も同様に指定特徴点とす
ることが好ましい。このようにすれば、データ処理に必
要な座標データの欠損が発生しにくくなる。更にまた、
指定特徴点は、顔の中の狭い領域に集中させず、相互に
適度な間隔をおいて顔の全面に分布するようにすること
が好ましい。そのためには、例えば、目、耳、鼻、口と
いった顔の各部位毎に指定特徴点を設定するようにすれ
ばよい。このようにすれば、後述するデータ処理におい
て座標データから求められるパラメータの精度が高ま
る。

【００１１】次に、照合元として与えられた第一の顔の
２次元画像（照合元画像）において、該第一の顔の各指
定特徴点の２次元座標データを取得する。指定特徴点の
座標データの取得は、例えば、照合元画像を画面上に表
示した後、使用者がマウス等のポインティングデバイス
を操作することにより手動で画面上の特徴点を指定し、
データ処理装置が指定された点の２次元座標データを抽
出する、という方法によってもよいし、各画像が画面上
に表示されたときにデータ処理装置が所定の方法で各画
像に写った顔の指定特徴点の２次元座標データを自動的
に抽出する、という方法によってもよい。

【００１２】次に、照合の対象として別途用意された第
二の顔の３次元形状データを処理することにより３次元
仮想空間において所定の方向及び回転位置に定位された
第二の顔の３次元像（基準状態の３次元像）を生成し、
更に、該３次元像の所定平面への２次元画像（照合先画
像）を生成する。そして、この照合先画像において上記
第二の顔の各指定特徴点の２次元座標データを取得す
る。なお、照合先画像における各指定特徴点の座標デー
タも、照合元画像における座標データの取得方法として
例示された上記方法と同様の方法で取得するようにすれ
ばよい。また、第二の顔の特徴点の３次元座標データを
予め３次元形状データとともに調べて保存しておき、照
合処理の実行時に、その３次元座標データから各指定特
徴点の２次元座標データを求めるようにしてもよい。

【００１３】その後、前記３次元形状データ及び上述の
ように取得された各画像の指定特徴点の２次元座標デー
タを所定の方法で処理することにより、３次元仮想空間
における第二の顔の３次元像の向きを変化させる。この
処理は、例えば、３次元仮想空間において複数の方向を
設定し、３次元像の向きを順次各方向に設定してゆく、
という手順で行う。このようにして３次元像の向きを変
化させつつ、３次元像の所定平面への投影像（すなわち
照合先画像）を各方向毎に生成し、照合元画像の指定特
徴点の画面上での位置関係と照合先画像の指定特徴点の
画面上での位置関係との一致の度合を示すチェック値の
変化を調べ、その値が最適化されるような第二の顔の向
きを求める。

【００１４】上記チェック値は、指定特徴点の選択に応
じて様々な方法で定義することが可能である。例えば、
指定特徴点のうち３つを選んでそれらの位置関係を示す
チェック値を定義することを考えてみる。この場合、照
合元画像における３つの指定特徴点Ａ、Ｂ、Ｃの位置関
係と照合先画像における３つの指定特徴点Ｄ、Ｅ、Ｆと
の位置関係が一致するということは、照合元画像上に描
いた三角形ＡＢＣと照合先画像上に描いた三角形ＤＥＦ
とが互いに相似になる、ということを意味する。一般に
２つの三角形の相似条件は、（１）対応する２つの角の
角度（α，β）が等しい、（２）対応する２辺の比
（１：ρ）とその間の角の角度（γ）が等しい、又は
（３）対応する３辺の比（１：ρ1：ρ2）が等しい、と
いうように、２つの変数を用いて表現できる。そこで、
チェック値（Ｋ）を、例えば、上記条件（１）に基づい
て、 Ｋ＝(α2−α3)²−(β2−β3)² と定義する。ここで、α2及びβ2は三角形ＡＢＣの２つ
の角（例えば、角Ａと角Ｂ）の大きさであり、α3及び
β3は、三角形ＡＢＣの前記２つの角に対応する三角形
ＤＥＦの２つの角（角Ｄと角Ｅ）の大きさである。この
ようにチェック値Ｋを定義した場合、本発明に言う「チ
ェック値の最適化」とは、変数Ｋの値を最小化すること
を意味する。

【００１５】上記説明ではチェック値の定義に用いる指
定特徴点の数を３と仮定したが、一般に３次元空間にお
けるベクトルの向きは２つの変数（例えば方位角と仰
角）で表現できるから、指定特徴点の数が４以上の場合
でも、その座標データに基づいて算出される２つの変数
を用いてチェック値を定義することが可能である。例え
ば、鼻尖点、鼻根点、左又は右の耳朶点に加えて、上唇
と下唇の合わせ目の中心（口裂正中点）を第４の特徴点
として指定、鼻根点から鼻尖点及び口裂正中点を望む角
の角度と鼻根点から鼻尖点及び耳朶点を望む角の角度と
を用いてチェック値を定義することができる。また、例
えば、上記４つの指定特徴点に加え、更に左右の瞳点を
第５及び第６の特徴点として指定し、左右の瞳点を通る
直線と鼻尖点及び左又は右の耳朶点を通る直線とが成す
角の角度と、鼻根点から鼻尖点及び耳朶点を望む角の角
度とを用いて、チェック値を定義することもできる。

【００１６】本発明に係る方法において、上述のように
求められた最適な向きに第二の顔を向けた後、その顔の
２次元画像が照合元画像に写った第一の顔と略同じ大き
さになるように該第二の顔の２次元画像を拡大又は縮小
し、その２次元画像を新たな照合先画像として画面に表
示するようにしてもよい。更に、必要に応じて、その新
たな照合先画像を照合元画像に重畳して画面上に表示す
るようにしてもよい。

【００１７】なお、このような本発明に係る方法に従っ
たデータ処理を行うための装置、すなわち、本発明に係
る画像処理装置は、画像表示手段を備えたデータ処理シ
ステム（例えば、一般に使用されるパーソナルコンピュ
ータ）を利用して構成することができる。

【００１８】

【発明の効果】以上のような本発明に係る方法又は装置
を、例えば２人の人間の顔の異同識別の作業に応用すれ
ば、パーソナルコンピュータの画像表示装置の画面に表
示された画像内の指定特徴点を入力装置（マウス等）の
操作により指定するというような簡単な作業を行うだけ
で、照合元画像に写った第一の顔を撮影した方向と同じ
方向から見た第二の顔の２次元画像が表示される。これ
により、異同識別の作業効率が大幅に高まる。

【００１９】

【実施例】パーソナルコンピュータを含むデータ処理シ
ステムを用いて、本発明に従った画像処理を実行する方
法の一例について、図面を参照しながら以下に説明す
る。なお、本実施例においては、３次元有向体として人
間の顔を扱うものする。

【００２０】まず、本実施例で使用されるデータ処理シ
ステムの構成について図３及び図４を参照しながら説明
する。図３は本実施例のシステムを構成する主な機器を
示す図である。このシステムは、キーボード４１、マウ
ス４２、ディスプレイ４３及び中央制御装置４４を有す
るパーソナルコンピュータ（パソコン）４０を用いて構
成されている。このパソコン４０には、更に、写真等の
平面媒体に写った画像を読み込んで２次元画像データを
出力するスキャナ４５、カメラ４６で撮影された映像を
ビデオテープ等の記録媒体に記録する録画装置４７、予
め採取された多数の人間の顔の３次元形状データを保存
した外部記憶装置４８が接続されている。なお、これら
の周辺機器を全てパソコン４０に接続することは本発明
にとって必須ではない。例えば、別のスキャナ又は録画
装置を使って得られた２次元画像データを別のパソコン
で磁気ディスク等の記録媒体に保存し、パソコン４０に
その記録媒体から２次元画像データを読み込ませるよう
にすれば、スキャナ４５や録画装置４７は不要である。
また、パソコン４０の中央制御装置４４に内蔵されたハ
ードディスク等の記憶装置（図示せず）に上記３次元形
状データを保存するようにすれば、外部記憶装置４８は
不要である。

【００２１】図４は上記システムの機能的構成を示すブ
ロック図である。機能的に見ると、上記システムは、デ
ータ処理部５１、使用者がデータ処理部５１へ命令や情
報を送るための入力部５２、写真やビデオ映像等から得
られた２次元画像データを記憶するための２次元画像デ
ータ記憶部５３、多数の顔の３次元形状データを記憶し
た３次元形状データ記憶部５４、及び、画像や文字等を
表示するための表示部５５から主として構成される。こ
のうち、データ処理部５１は、中央制御装置４４に備え
られたプロセッサ（図示せず）で所定のプログラムを実
行することにより構成され、２次元画像データ記憶部５
３は、中央制御装置４４に備えられたメモリやハードデ
ィスク（いずれも図示せず）を利用して構成される。入
力部５２はキーボード４１及びマウス４２を含み、表示
部５５はディスプレイ４３を含む。３次元形状データ記
憶部５４は外部記憶装置４８に対応する。

【００２２】上記システムを用いたデータ処理の一例に
ついて以下に説明する。なお、このデータ処理の前に、
ある人間の顔の２次元画像データをスキャナ４５、録画
装置４７等を用いて予め採取し、２次元画像データ記憶
部５３に保存してあるものとする。また、パソコン４０
には、オペレーティングシステムとしてＷｉｎｄｏｗｓ
（米国マイクロソフト社の商標）が搭載されているもの
とする。

【００２３】まず、パソコン４０において、本実施例の
画像処理を行うプログラムを起動すると、ディスプレイ
４３の画面に図５のようなウィンドウ６０が表示され
る。ウィンドウ６０には８つのコマンドボタン６１〜６
８が配置されており、使用者はマウス４２を操作し、画
面上のマウスカーソルで所望のボタンを押下（クリッ
ク）することができる。また、ウィンドウ６０には、後
述する３Ｄ投影領域６９及び２Ｄ画像表示領域７０が設
けられている。

【００２４】ディスプレイ４３の画面にウィンドウ６０
が表示されたら、図１のフローチャートに従って以下の
ような作業及びデータ処理を行う。なお、以下のデータ
処理においては、３Ｄ投影領域６９内における位置をＸ
3−Ｙ3座標系で表し、２Ｄ画像表示領域７０内における
位置をＸ2−Ｙ2座標系で表すものとする（図５参照）。
また、上記Ｘ3−Ｙ3座標系の２軸（Ｘ3軸及びＹ3軸）と
それらに直交する第三の軸（Ｚ3）を有する３次元仮想
空間を想定し、その中に、上記３次元形状データに基づ
いて生成された顔の３次元像が生成されるものとする。

【００２５】（ステップＳ１）まず、使用者が３Ｄ選択
ボタン６１をクリックすると、データ処理部５１は、３
次元形状データ記憶部５４に保存されたデータ（ファイ
ル）から所望の顔のデータを選択するためのダイアログ
ボックス（図示せず）を画面に表示する。そして、その
ダイアログボックスで使用者が所望の顔のデータを選択
すると、データ処理部５１は、そのデータを読み出し、
所定の方法で処理する。これにより、選択された顔の３
次元像が３次元仮想空間内に生成され、更に、その顔を
正面から見たところを示す２次元画像が３Ｄ投影領域６
９に表示される。以下の説明では、上記３次元像を３Ｄ
顔貌像とよび、３Ｄ投影領域６９に表示された上記画像
を以下では３Ｄ投影像とよぶ。３Ｄ投影像は本発明にい
う照合先画像に相当する。図２（ａ）に３Ｄ投影像の一
例を示す。なお、図２（ａ）中の３Ｄ投影像２１の中の
文字、直線、矢印及びハッチングを施した円は、本実施
例の説明のために追加したもので、これらは３Ｄ投影像
２１には含まれない。

【００２６】同様に、使用者が２Ｄ選択ボタン６３をク
リックすると、データ処理部５１は、２次元画像データ
記憶部５３に保存されたデータから所望の顔のデータを
選択するためのダイアログボックス（図示せず）を画面
に表示する。そして、そのダイアログボックスで使用者
が所望の顔のデータを選択すると、データ処理部５１
は、そのデータを所定の方法で処理し、選択された顔の
画像を２Ｄ画像表示領域７０に表示する。このように２
Ｄ画像表示領域７０に表示された画像を以下では２Ｄ画
像とよぶ。この２Ｄ画像は本発明にいう照合元画像に相
当する。図２（ｂ）に２Ｄ画像の一例を示す。なお、図
２（ｂ）の２Ｄ画像２２の中の文字、直線、矢印及びハ
ッチングを施した円は、本実施例の説明のために追加し
たもので、これらは２Ｄ画像２２には含まれない。

【００２７】（ステップＳ２）こうして、３Ｄ投影像２
１及び２Ｄ画像２２が画面に表示されたら、使用者が各
画像に写った顔の特徴点を以下のように指定する。ま
ず、使用者が左側の点指定ボタン６２をクリックする
と、データ処理は、３Ｄ投影像２１の特徴点を指定する
ためのモードに入る。このモードで、使用者は、予め定
められた複数の特徴点（顔の部位）を３Ｄ投影像２１内
で探し、それらの特徴点を順次クリックする。なお、本
実施例では、図２（ａ）に示した７つの特徴点、すなわ
ち、鼻根点（Ｐ１）、鼻尖点（Ｐ２）、口裂正中点（Ｐ
３）、左右の目上中心点（Ｐ４及びＰ５）、左右の耳朶
点（Ｐ６及びＰ７）をクリックするものとする。この作
業中、データ処理部５１は、各特徴点がクリックされる
度毎に、その特徴点のＸ3座標及びＹ3座標を取得し、更
に、取得した座標（Ｘ3，Ｙ3）と上記３次元形状データ
から、その点の３次元仮想空間内におけるＺ3座標を算
出する。こうして３次元仮想空間における座標データが
得られたら、データ処理部５１がその座標データをメモ
リに保存する。このようにして、７つの特徴点を順次ク
リックし、座標データを取得してゆく。

【００２８】次に、右側の点指定ボタン６４をクリック
すると、２Ｄ画像２２の特徴点を指定するためのモード
に入る。このモードで、使用者が２Ｄ画像２２の７つの
特徴点を順次クリックしてゆくと、データ処理部５１
は、クリックの度に各特徴点のＸ2座標及びＹ2座標を取
得し、その座標データをメモリに保存する。ただし、図
２（ｂ）を見ると、２Ｄ画像２２は正面からではなく斜
めから見た顔を撮影したものであるため、左耳朶点Ｐ６
は見えない。このように２Ｄ画像内で見えない特徴点が
ある場合は、顔の外の余白の適宜箇所をクリックする。
これにより、その点は欠損点とされ、後述するデータ処
理の対象外となる。

【００２９】３Ｄ投影像２１及び２Ｄ画像２２の両方に
おいて特徴点の指定が完了したら、使用者が実行ボタン
６５をクリックする。これを受けて、データ処理部５１
はステップＳ３〜Ｓ１０の処理を実行する。

【００３０】ステップＳ３〜Ｓ１０の処理は、およそ次
のような考え方に基づいて進められる。すなわち、３次
元仮想空間において、図２（ａ）のように正面を向いた
状態を３Ｄ顔貌像の基準状態とし、その状態から３Ｄ顔
貌像をＸ3軸の回りに角度αだけ、Ｙ3軸の回りに角度β
だけ、そしてＺ3軸の回りに角度γだけ回転させること
を考える。このとき、３つの回転角α、β及びγを適切
に設定すれば、３Ｄ顔貌像のＸ3−Ｙ3平面への投影像
（すなわち３Ｄ投影像２１）に写った顔の向きを、２Ｄ
画像表示領域７０に表示された２Ｄ画像２２に写った顔
の向きと一致させることができる。このような考え方に
基づき、ステップＳ３〜Ｓ１０では、上記３つの回転角
α、β、γを求めることを目的としたデータ処理が行わ
れる。

【００３１】（ステップＳ３）このステップでは、いず
れかの特徴点が座標系の原点と一致するように各座標系
の原点の再設定を行う。本実施例では、原点と一致させ
る特徴点として鼻根点Ｐ１を選択するものとする。この
処理は、具体的には、３次元仮想空間においてＸ3−Ｙ3
−Ｚ3座標系を平行移動させてその原点を３Ｄ顔貌像の
鼻根点Ｐ１と一致させるとともに、２Ｄ画像表示領域７
０においてＸ2−Ｙ2座標系を平行移動させてその原点を
２Ｄ画像２２の鼻根点Ｐ１と一致させる座標変換処理で
ある。この座標変換処理は、後述する計算処理を簡単に
するために行われるものである。

【００３２】更に、３次元仮想空間の座標系について
は、鼻尖点Ｐ２、左右の耳朶点Ｐ６及びＰ７のＹ3座標
が全て同一となり、且つ、鼻根点Ｐ１、鼻尖点Ｐ２及び
口裂正中点Ｐ３のＸ3座標が全て同一となるように、座
標系全体をＸ3軸回り及びＹ3軸回りにそれぞれ回転させ
る座標変換処理を行う。この回転処理も、後述する計算
処理を簡単にするために行われるものである。なお、こ
の回転処理の後の状態がすなわち３Ｄ顔貌像の基準状態
である。

【００３３】なお、上記説明では、ステップＳ２で取得
された３Ｄ投影像２１の７つの特徴点の座標に基づい
て、ステップＳ３で３次元仮想空間の座標系の平行移動
や回転の処理を行うものとした。しかし、３次元形状デ
ータに７つの特徴点の座標データが含まれている場合、
３次元座標系の平行移動や回転の処理をステップＳ３で
行う必要はなく、例えば、ステップＳ１で３Ｄ投影像２
１を生成する際に、上記のような処理を行った上で、３
Ｄ投影像２１を表示するようにしてもよい。

【００３４】（ステップＳ４）このステップでは、２Ｄ
画像２２の水平基準線の傾きを計算する。より具体的に
は、例えば、２Ｄ画像２２の２つの目上中心点Ｐ４及び
Ｐ５を通る直線を水平基準線とし、その直線と、左目上
中心点Ｐ４を通る水平線とが成す角度θ23を求める。

【００３５】（ステップＳ５）このステップでは、基準
状態にある３Ｄ顔貌像をＸ3軸の回りに回転させるべき
方向Ｄ１及びＹ3軸の回りに回転させるべき方向Ｄ２を
以下のようにして求める。

【００３６】まず、方向Ｄ１は次のように求める。すな
わち、基準状態においては３Ｄ投影像２１の鼻尖点Ｐ２
のＹ3座標は左右の耳朶点Ｐ６及びＰ７のＹ3座標と同じ
である。そして、３Ｄ顔貌像をＸ3軸を中心としてある
方向に回転させて斜め下に向ける（顔を前に傾ける）
と、鼻尖点Ｐ２のＹ3座標が左右の耳朶点Ｐ６及びＰ７
のＹ3座標よりも大きくなり、３Ｄ顔貌像を逆方向に回
転させて斜め上に向ける（顔を後ろへ傾ける）と、鼻尖
点Ｐ２のＹ3座標が左右の耳朶点Ｐ６及びＰ７のＹ3座標
よりも小さくなる。このことを踏まえ、２Ｄ画像２２の
２つの目上中心点Ｐ４及びＰ５を通る直線がＸ2軸と平
行になるような座標変換処理（画像の回転処理）を行っ
た上で、鼻尖点Ｐ２のＹ2座標と右耳朶点Ｐ７（右耳朶
点Ｐ７が欠損点である場合は、左耳朶点Ｐ６）のＹ2座
標とを比較する。そして、鼻尖点Ｐ２のＹ2座標が右耳
朶点Ｐ７のＹ2座標よりも小さいときは方向Ｄ１を正と
し、逆のときは方向Ｄ１を負とする。

【００３７】一方、方向Ｄ２は次のように求める。すな
わち、基準状態においては３Ｄ投影像２１の鼻尖点Ｐ２
のＸ3座標は鼻根点Ｐ１及び口裂正中点Ｐ３のＸ3座標と
同じである。そして、３Ｄ顔貌像をＹ3軸を中心として
ある方向に回転させて左に向けると、鼻尖点Ｐ２は直線
Ｐ１−Ｐ３に対して左耳朶点Ｐ６と同じ側に移動し、３
Ｄ顔貌像を逆方向に回転させて右に向けると、鼻尖点Ｐ
２は直線Ｐ１−Ｐ３に対して左耳朶点Ｐ６と反対側に移
動する。このことを踏まえ、２Ｄ画像２２において、鼻
根点Ｐ１と口裂正中点Ｐ３とを通る直線に対して鼻尖点
Ｐ２が左耳朶点Ｐ６と同じ側にあるかどうかを判定する
ことにより方向Ｄ２を決定する。鼻尖点Ｐ２が直線Ｐ１
−Ｐ３に対して左耳朶点Ｐ６と同じ側にあるときは方向
Ｄ２を正とし、反対側にあるときは方向Ｄ２を負とす
る。

【００３８】（ステップＳ６）このステップでは、３Ｄ
顔貌像のＸ3軸回りの回転角α及びＹ3軸回りの回転角β
の最適値を求める処理を行う。この処理は、３次元仮想
空間において３Ｄ顔貌像の回転角α及びβを微小量ずつ
段階的に変化させながら、各段階毎に所定のチェック値
を計算し、そのチェック値の最適値を与えるような回転
角α及びβを最適回転角として選択する、という手順で
実行される。なお、回転角α及びβを変化させる範囲
は、ステップＳ５で求めた方向Ｄ１及びＤ２に基づいて
定める。例えば、Ｄ１及びＤ２がともに正である場合
は、α及びβともに０°から１８０°まで正方向に変化
させ、Ｄ１が正でＤ２が負である場合は、αを０°から
１８０°まで正方向に変化させる一方、βは０°から−
１８０°まで負方向に変化させる。このように回転角を
変化させる範囲を変数Ｄ１及びＤ２に基づいて限定する
ことにより、データ処理にかかる時間が短縮されるだけ
でなく、チェック値が発散して最適値が求められなくな
るといった事態も起こりにくくなる。

【００３９】本実施例においては、上記チェック値を次
のように定義する。まず、２Ｄ画像２２の左右の目上中
心点Ｐ４及びＰ５を通る直線と鼻尖点Ｐ２及び右耳朶点
Ｐ７（右耳朶点Ｐ７が欠損点である場合は、左耳朶点Ｐ
６）を通る直線とが成す角度θ21と、鼻根点Ｐ１から鼻
尖点Ｐ２及び口裂正中点Ｐ３を望む角の角度θ22とを計
算する。また、３Ｄ顔貌像をＸ3軸回り及びＹ3軸回りに
回転させたときの３Ｄ投影像（この３Ｄ投影像は実際に
３Ｄ投影領域６９に表示する必要はない）においても、
同様に、左右の目上中心点Ｐ４及びＰ５を通る直線と鼻
尖点Ｐ２及び右耳朶点Ｐ７を通る直線とが成す角度θ31
と、鼻根点Ｐ１から鼻尖点Ｐ２及び口裂正中点Ｐ３を望
む角の角度θ32とを計算する。このようにして得られた
θ21、θ22、θ31及びθ32の値を用いて、チェック値Ｋ
を次式Ｋ＝(θ31−θ21)²＋(θ32−θ22)²で定義する。
この場合、Ｋの値が最小となるような回転角α及びβが
最適回転角として選択される。

【００４０】（ステップＳ７）このステップでは、３Ｄ
顔貌像のＺ3軸回りの回転角γを次のように計算する。
すなわち、上述のように３Ｄ顔貌像のＸ3軸回り及びＹ3
軸回りの最適回転角α及びβが計算されたら、基準状態
からその回転角分だけ３Ｄ顔貌像を回転させる。次に、
このように回転させた３Ｄ顔貌像の３Ｄ投影像におい
て、左右の目上中心点Ｐ４及びＰ５を通る直線と水平線
とが成す角度θ33を計算する。そして、θ33と先に求め
たθ23との差θ23−θ33を、Ｚ3軸回りの回転角γとす
る。

【００４１】（ステップＳ８）このステップでは、３Ｄ
投影像２１における顔の大きさを２Ｄ画像２２のそれと
ほぼ同じにするための拡大縮小率を計算する。拡大縮小
率としては、例えば、２Ｄ画像２２における所定の２つ
の特徴点（例えば左右の目上中心点Ｐ４及びＰ５）の距
離と、３Ｄ投影像２１におけるその距離との間の比を用
いる。また、同一直線上にない３点を含む複数の特徴点
の座標を用いて拡大縮小率を計算してもよい。例えば、
２Ｄ画像２２において、鼻根点Ｐ１から鼻尖点Ｐ２、口
裂正中点Ｐ３、左目上中心点Ｐ４及び右目上中心点Ｐ５
までの距離をそれぞれＬ２、Ｌ３、Ｌ４及びＬ５とし、
これら４つの距離値の和をＬ０とする。同様に、３Ｄ投
影像２１において、鼻根点Ｐ１から鼻尖点Ｐ２、口裂正
中点Ｐ３、左目上中心点Ｐ４及び右目上中心点Ｐ５まで
の距離をそれぞれＭ２、Ｍ３、Ｍ４及びＭ５とし、これ
ら４つの距離値の和をＭ０とする。こうして得られたＬ
０及びＭ０の比を拡大縮小率とする。このようにする
と、２つの特徴点を用いる場合に比べて、計算にかかる
負荷をほとんど増大させることなく、拡大縮小率の計算
精度を求めることができる。特に、上記の例のように、
顔面上で略水平方向の距離（Ｌ２、Ｌ３、Ｍ２、Ｍ３）
と略垂直方向の距離（Ｌ４、Ｌ５、Ｍ４、Ｍ５）に基づ
いて拡大縮小率を求めるようにすれば、誤差がより小さ
くなる。

【００４２】（ステップＳ９）このステップでは、３Ｄ
投影像２１の鼻根点Ｐ１のＸ3座標及びＹ3座標が、２Ｄ
画像２２の鼻根点Ｐ１のＸ2座標及びＹ2座標と一致する
ように、３Ｄ顔貌像をＸ3−Ｙ3平面に沿って平行移動さ
せるべき距離を計算する。

【００４３】（ステップＳ１０）このステップでは、ス
テップＳ３〜Ｓ９で得られた計算結果に基づいて、３Ｄ
顔貌像の回転、拡大縮小、及び、Ｘ3−Ｙ3平面に沿った
平行移動を実行して新たな３Ｄ顔貌像を生成し、その３
Ｄ投影像を３Ｄ投影領域６９に表示する。こうして３Ｄ
投影領域６９に表示された３Ｄ投影像に写った顔は、２
Ｄ画像表示領域７０に表示された２Ｄ画像２２に写った
顔とほぼ同一の方向を向くものとなる。

【００４４】図５のウィンドウ６０に備えられたその他
のボタンに割り当てられた機能について以下に説明す
る。

【００４５】まず、縦ワイプボタン６６及び横ワイプボ
タン６７には、上述のようにして得られた３Ｄ投影像を
２Ｄ画像２２に重畳して整合性チェック用の合成画像を
生成する機能が割り当てられている。例えば、使用者が
縦ワイプボタン６６をクリックすると、図６に示したよ
うに、３Ｄ投影領域６９を上下に分割する水平な分割線
７１が生成され、上下の分割領域には３Ｄ投影像の上部
及び２Ｄ画像２２の下部（又は、２Ｄ画像２２の上部及
び３Ｄ投影像の下部）がそれぞれ表示される。そして、
分割線７１をマウスカーソル７２でＹ3軸方向にドラッ
グすること（縦ワイプ動作）により、上下の画像の輪郭
線や目鼻等の位置の整合性を目で確認することができ
る。同様、横ワイプボタン６７をクリックすると、垂直
な分割線７３で３Ｄ投影領域６９が左右に分割され、そ
の分割線７３をマウスカーソル７２でＸ3軸方向にドラ
ッグすること（横ワイプ動作）ができるようになる。

【００４６】遠近補正ボタン６８には、２Ｄ画像２２を
実際に撮影したときの撮像機器から被写体（顔）までの
距離及び倍率に基づいて３Ｄ投影像を補正する機能が割
り当てられている。この補正処理は、撮影された画像
（２Ｄ画像）における被写体の大きさが撮像機器から被
写体までの距離に反比例することを考慮して行われる。
例えば、図７のように、カメラ８１で顔８２を撮影した
画像においては、カメラ８１に近い顔の部位（例えば右
頬８３）に比べて、カメラから遠い顔の部位（例えば右
耳８４）が実際よりも小さく写る。そこで、カメラから
被写体（顔）までの距離が判明している場合には、３Ｄ
顔貌像から３Ｄ投影像を生成する際に、撮像機器から顔
の各部位までの距離に基づいた補正を行うことにより、
実際の２Ｄ画像２２により近い３Ｄ投影像が得られるの
である。なお、このような遠近補正処理は、例えば操作
者が遠近補正ボタン６８をクリックすることにより手動
で実行されるようにしてもよいが、より好ましくは、図
１のフローチャートにおいて、拡大縮小処理よりも前に
この遠近補正処理を行うようにするとよい。例えば、ス
テップＳ７とＳ８の間で遠近補正処理を行うようにする
と、拡大縮小率の計算精度がより高まる。また、ステッ
プＳ６の処理（チェック値の最適値を与えるような３Ｄ
顔貌像のＸ3軸回り及びＹ3軸回りの回転角α及びβを計
算する）において、回転角α及びβを段階的に変化させ
る度毎に遠近補正処理を行い、チェック値を調べるよう
にすれば、回転角α及びβの計算精度も高まる。

【００４７】なお、本発明に係る画像処理方法及び装置
の実施例は上記のものに限られるわけではない。例え
ば、指定特徴点の数は必ずしも７でなくてもよく、同一
平面上にない４つの特徴点を少なくとも含んでいれば、
その数は任意としてよい。また、３Ｄ投影像と２Ｄ画像
２２との一致の度合を示すチェック値は、上記のような
方法以外にも様々な方法で定義することができる。

【図面の簡単な説明】

【図１】 本発明に係る画像処理方法の一例の手順を示
すフローチャート。

【図２】 （ａ）照合先画像としての３Ｄ投影像の一例
を示す図、（ｂ）照合元画像としての２Ｄ画像の一例を
示す図。

【図３】 データ処理システムを構成する主な機器を示
す図。

【図４】 図３のシステムの機能的構成を示すブロック
図。

【図５】 画像処理プログラムのウィンドウを示す図。

【図６】 ワイプ機能を説明するための図。

【図７】 カメラからの距離が顔の部位に応じて変化す
ることを説明するための図。

【符号の説明】

２１…３Ｄ投影像（照合先画像） ２２…２Ｄ画像（照合元画像） Ｐ１〜Ｐ７…特徴点 Ｐ１…鼻根点 Ｐ２…鼻尖点 Ｐ３…口裂正中点 Ｐ４…左目上中心点 Ｐ５…右目上中心点 Ｐ６…左耳朶点 Ｐ７…右耳朶点

フロントページの続き (56)参考文献 特開 平９−259271（ＪＰ，Ａ) 特開 平６−168317（ＪＰ，Ａ) 特開 平５−215531（ＪＰ，Ａ) 特開 平４−242106（ＪＰ，Ａ) 特開 平３−71273（ＪＰ，Ａ) 谷尻豊寿 吉野峰生 宮坂祥夫，顔画 像スーパーインポーズ法，画像ラボ，日 本，日本工業出版，1999年10月 １日, 1999年10月号（第10巻第10号（通巻118 号）），52−56 谷尻豊寿 外８名，顔画像相互のスー パーインポーズ法における輪郭合致度の 評価，科学警察研究所報告 法科学編, 日本，科学警察研究所，2001年 ２月20 日，第54巻第１号，１−６ (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 280 -340 G06T 1/00 G06T 7/60 150 特許ファイル（ＰＡＴＯＬＩＳ) ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 ３次元有向体の特徴点のうち３次元空間
   内で同一平面上にない４つの特徴点を含む複数の特徴点
   を指定特徴点として予め定め、 第一の３次元有向体を写した２次元画像である照合元画
   像において前記指定特徴点の２次元座標データを取得
   し、 第二の３次元有向体の３次元形状データを処理すること
   により３次元仮想空間においてある方向に向いた前記第
   二の３次元有向体の３次元像を生成し、該３次元像の所
   定平面への投影像を生成してこれを照合先画像とし、該
   照合先画像において前記指定特徴点の２次元座標データ
   を取得し、 前記３次元形状データと前記照合元画像及び前記照合先
   画像において取得された前記指定特徴点の２次元座標デ
   ータとを所定の方法で処理することにより、前記照合元
   画像における前記指定特徴点の位置関係と前記照合先画
   像における前記指定特徴点の位置関係との一致の度合を
   示すチェック値が最適化されるような、前記３次元像の
   前記３次元仮想空間における向きを求めること、 を特徴とする３次元有向体の定位方法。
2. 【請求項２】 上記３次元有向体は人間の顔である請求
   項１に記載の３次元有向体の定位方法。
3. 【請求項３】 上記指定特徴点は、鼻根点、鼻尖点、口
   裂正中点、左右の目上中心点及び左右の耳朶点を含むこ
   とを特徴とする請求項２に記載の３次元有向体の定位方
   法。
4. 【請求項４】 上記チェック値は、上記左右の目上中心
   点を通る直線と前記鼻尖点及び前記左又は右の耳朶点を
   通る直線とが成す角の角度と、前記鼻根点から前記鼻尖
   点及び前記耳朶点を望む角の角度とを用いて定義された
   ことを特徴とする請求項３に記載の３次元有向体の定位
   方法。
5. 【請求項５】 前記照合元画像を撮影したときの撮像機
   器から前記第一の３次元有向体までの距離に基づいて前
   記照合先画像を遠近補正する処理を含むことを特徴とす
   る請求項１〜４のいずれかに記載の３次元有向体の定位
   方法。
6. 【請求項６】 請求項１〜５のいずれかに記載の方法に
   従ってデータ処理を行うデータ処理手段と、 上記チェック値が最適化されるような上記３次元像の３
   次元仮想空間内での向きが求められたら、その向きを向
   いた上記３次元像の上記所定平面への投影像を照合先画
   像として表示する画像表示手段と、 を備えることを特徴とする画像処理装置。