JP3204175U - 画像照合装置 - Google Patents

Abstract

【課題】照合元の３次元形状投影画像と照合先の２次元画像の向き及び大きさを容易に合わせることができる画像照合装置を提供する。【解決手段】画像照合装置１０は、ディスプレイ１７と、３次元仮想空間内における照合元の３次元像が所定の平面に投影された３次元形状投影画像をディスプレイ１７に表示する照合元３次元形状投影画像表示手段１１と、照合先の２次元画像を、ディスプレイ１７に表示された３次元形状投影画像に重畳表示する照合先２次元画像表示手段１２と、３次元像の向き及び大きさを変更することにより、照合元３次元形状投影画像表示手段によってディスプレイ１７に表示する３次元形状投影画像を変更する照合元３次元像操作手段１３とを備える。照合元の３次元形状投影画像と照合先の２次元画像を重畳表示することにより、それらの向き及び大きさを合わせる作業が容易になる。【選択図】図１

Description

本考案は、防犯カメラ等で撮影された２次元画像と、別途取得された３次元形状データを照合する画像照合装置に関する。

今日の犯罪捜査においては、防犯カメラ等で犯人の顔が撮影された照合先の２次元画像と、これとは別に取得された（捜査過程で情報提供者から提供された、あるいは捜査機関で蓄積された）写真やデジタル画像等に基づく照合元の画像と照合して、両者の異同を識別する、という鑑定の作業が行われている。照合元の画像には、照合先と同様に２次元画像を用いることもあるが、照合先の２次元画像が撮影された向きと、照合元の２次元画像が撮影された向きが大きくずれていると照合不能になってしまう。

そこで、照合元のデータに３次元形状データを用いる画像照合装置が開発されている（特許文献１）。３次元形状データは、被写体を異なる２以上の方向から撮影した複数の２次元画像のデータから作成される。この画像照合装置では、３次元形状データに基づいて３次元仮想空間内に３次元形状の像（３次元像）を生成し、この３次元像が平面に投影された画像（以下、この画像を「３次元形状投影画像」と呼ぶ）をディスプレイに表示する。画像照合装置の使用者は、３次元形状投影画像内でマウスなどの入力装置を用いて所定の操作を行うことにより、３次元仮想空間内の３次元像を（手動で）回転させたり拡大・縮小させ、それにより照合元の３次元形状投影画像の向き及び大きさを照合先の２次元画像の向き及び大きさに合わせる。あるいは、使用者が照合元の３次元形状投影画像と画像照合先の２次元画像においてそれぞれ、鼻、耳、目、口等にある特徴点をマウスなどの入力装置で指定するだけで、照合元の３次元形状投影画像の向き及び大きさを照合先の２次元画像の向き及び大きさに自動的に合わせることもできる。こうして向き及び大きさを合わせた照合先の２次元画像と照合元の３次元形状投影画像を重ね合わせることにより、両者の異同の識別を行う。

特許第3276949号公報

特許文献１に記載の画像照合装置では、照合元の３次元形状投影画像と照合先の２次元画像を左右に並べて表示した状態で前述の向き及び大きさを合わせる操作を行い、その後、それら３次元形状投影画像と２次元画像を重ね合わせる。そのため、向き及び大きさを合わせる操作は、左右の画像を見比べながら行わなければならず、それら２つの画像の向き及び大きさが確実に合っているかを確認することができなかった。そのため、照合元の３次元形状投影画像と照合先の２次元画像を重ね合わせたときに初めて両者の向きや大きさが相違していることが判明して、操作をやり直さなければならなくなる、という問題が生じていた。

本考案が解決しようとする課題は、照合元の３次元形状投影画像と照合先の２次元画像の向き及び大きさを容易に合わせることができる画像照合装置を提供することである。

上記課題を解決するために成された本考案に係る画像照合装置は、
a) ディスプレイと、
b) ３次元仮想空間内における照合元の３次元像が所定の平面に投影された３次元形状投影画像を前記ディスプレイに表示する照合元３次元形状投影画像表示手段と、
c) 照合先の２次元画像を、前記ディスプレイに表示された前記３次元形状投影画像に重畳表示する照合先２次元画像表示手段と、
d) 前記３次元像の向き及び大きさを変更することにより、前記照合元３次元形状投影画像表示手段によって前記ディスプレイに表示する３次元形状投影画像を変更する照合元３次元像操作手段と
を備えることを特徴とする。

本考案に係る画像照合装置では、照合元３次元形状投影画像表示手段及び照合先２次元画像表示手段により、照合元の３次元形状投影画像に照合先の２次元画像が重畳されてディスプレイに表示される。そして、照合元３次元像操作手段によって３次元像の向き及び大きさを変更すれば、それに合わせてディスプレイに表示される３次元形状投影画像も変更される。これにより、画像照合装置の使用者は、照合元の３次元形状投影画像と照合先の２次元画像の向き及び大きさが合っているかを、両画像が重畳された表示画像に基づいて常に判断しながら、３次元像の向き及び大きさを変更する操作を行うことができる。そのため、これら画像の向き及び大きさを容易に合わせることができる。また、このように２つの画像が重畳表示された画面上で両画像の向き及び大きさを合わせれば、直ちに当該画面表示に基づいて照合元の３次元形状投影画像と照合先の２次元画像の異同を識別することができる。

前記照合元３次元像操作手段は、マウスなどの所定の入力手段によって使用者が前記３次元像の向き及び大きさを直接指定して（手動で）変更するものであってもよい。あるいは、３次元像操作手段は、使用者が照合元の３次元形状投影画像及び照合先の２次元画像において所定の入力手段によって使用者が指定した複数の特徴点に基づいて、前記３次元像の向き及び大きさを自動的に変更するものであってもよい。また、照合元３次元像操作手段は、これら手動変更の構成と自動変更の構成の双方を併せ持つものであってもよい。

前記照合元３次元像操作手段は、前記３次元像の向き及び大きさを変更すると共に、照合元の３次元形状投影画像の歪曲収差及びアスペクト比のいずれか一方又は両方を変更するものであってもよい。これにより、照合先の２次元画像が歪んでいる場合に、それに対応するように、照合元の３次元形状投影画像を歪ませることができる。

防犯カメラ等の２次元画像では、画面中の対象物の位置によって（例えば対象物が画像の中央付近にあるか、端付近にあるか）によって、対象物の画像からユーザが受ける遠近感が相違する。そのため、本考案に係る画像照合装置において２次元画像と照合する３次元形状投影画像も、人物等の像の位置に応じて遠近の表現を修正することが望ましい。そこで、本考案に係る画像照合装置はさらに、
前記照合元３次元形状投影画像中の像の位置を変更する照合元３次元形状投影画像位置変更手段と、
前記照合元３次元形状投影画像位置変更手段により変更される前記照合元３次元形状投影画像の位置に応じて、該照合元３次元形状投影画像の遠近の表現を修正する遠近修正手段と
を備えることが望ましい。

本考案に係る画像照合装置によれば、照合元の３次元形状投影画像と照合先の２次元画像の向き及び大きさを容易に合わせることができる。それにより、照合元の３次元形状投影画像と照合先の２次元画像の異同の識別を容易且つ迅速に行うことができる。

本考案に係る画像照合装置の一実施形態を示す概略構成図。 本実施形態の画像照合装置の操作画面を示す図。 本実施形態の画像照合装置の操作画面の部分拡大図。 照合先２次元画像(a)及び照合元３次元形状投影画像(b)の例を示す図。 照合先２次元画像を照合元３次元形状投影画像に重畳表示する例を示す図。 照合先２次元画像(a)及び照合元３次元形状投影画像(b)において特徴点を指定した状態を示す図。 照合先２次元画像(a)及び照合元３次元形状投影画像(b)に補助線を付した状態を示す図。 照合元３次元像の向き及び大きさを変更した照合元３次元形状投影画像の例を示す図。 照合先２次元画像を変更後の照合元３次元形状投影画像に重畳表示する例であって、変更後の照合元３次元形状投影画像よりも照合先２次元画像を濃く（2D優先で）表示する例を示す図(a)、及び照合先２次元画像よりも変更後の照合元３次元形状投影画像を濃く（3D優先で）表示する例を示す図(b)。 変更後の照合元３次元形状投影画像と照合先２次元画像を垂直ワイプ表示する例を示す図。 変更後の照合元３次元形状投影画像と照合先２次元画像を水平ワイプ表示する例を示す図。 照合元３次元形状投影画像をテクスチャ表示(a)、陰影表示(b)、ワイヤーフレーム表示(c)及び輪郭表示(d)した例を示す図。 照合元３次元形状投影画像の歪曲収差を変更する例を示す図。 照合元３次元形状投影画像のアスペクト比を変更する例を示す図。 像の位置に応じて照合元３次元形状投影画像の遠近の表現を修正する例を示す図。 本実施形態の画像照合装置の操作画面に品質設定領域を設けた例を示す図。

図１〜図１６を用いて、本考案に係る画像照合装置の実施形態を説明する。

(1) 本実施形態の画像照合装置の構成
本実施形態の画像照合装置１０は、図１に示すように、照合元３次元形状投影画像表示部１１、照合先２次元画像表示部１２、照合元３次元像操作部１３、記憶部１４、データ入力部１５、ユーザ操作入力部１６及びディスプレイ１７を有する。

これら各構成要素のうち、照合元３次元形状投影画像表示部１１、照合先２次元画像表示部１２及び照合元３次元像操作部１３は、パーソナルコンピュータの中央演算装置（ＣＰＵ）やソフトウエア等により具現化されている。照合元３次元形状投影画像表示部１１は、図２に示すようにディスプレイ１７に表示される操作画面２０中の画像表示領域２１に、３次元仮想空間内における照合元３次元像が１平面に投影された３次元形状投影画像を表示する処理を行うものである。照合先２次元画像表示部１２は、画像表示領域２１に表示された３次元形状投影画像に照合先２次元画像を重畳表示するものである。照合元３次元像操作部１３は、ユーザがユーザ操作入力部１６を用いて入力した指示に従って３次元像の向き及び大きさを変更することにより、画像表示領域２１に表示する３次元形状投影画像を変更するものである。

記憶部１４は、照合先２次元画像や照合元３次元像のデータ、あるいは画像照合操作により得られるデータを記憶するものであって、ハードディスクやメモリにより具現化されている。データ入力部１５は、照合先２次元画像や照合元３次元像のデータを画像照合装置１０に入力するものであって、それらデータをインターネットやＬＡＮ経由で入力するデータ通信デバイス、あるいはＵＳＢメモリやメモリカード等の記録媒体からデータを読み込むデバイスから成る。ユーザ操作入力部１６は、キーボードやマウス等のユーザが操作する入力デバイスから成る。

操作画面２０には、図２及びその部分拡大図である図３に示すように、上述の画像表示領域２１と共に、照合元３次元像操作パラメータ設定領域２２３、照合先２次元画像操作パラメータ設定領域２２２、照合元３次元形状投影画像表示方法設定領域２３、重畳表示パラメータ設定領域２４、照合先２次元画像特徴点設定アイコン２５２、照合元３次元形状投影画像特徴点設定アイコン２５３及び歪曲収差設定領域２６及びアスペクト比設定領域２７が表示される。各設定領域には、ユーザ操作入力部１６のキーボードから数値を入力するボックス、マウスでスライド操作をすることにより数値を変更するスライドバーや、マウスでクリックすることで選択するラジオボタンやチェックボックス等が表示される。各設定領域及びアイコンを用いて、以下のパラメータが設定される。

照合元３次元像操作パラメータ設定領域２２３では、照合元３次元像に対して、回転、拡大縮小、移動、カメラ距離、及び平行移動の各操作を行うためのパラメータを設定するボックス及びスライドバーを表示する。ここで、「移動」は画像表示領域２１に表示される照合元３次元形状投影画像の形状を変更することなく照合元３次元像を移動させるものであるのに対して、「平行移動」は照合元３次元形状投影画像の遠近の表現を修正しながら該照合元３次元形状投影画像を移動させるものである。そのため、「移動」では画像の平面内のパラメータであるX方向及びY方向の数値のみを設定するのに対して、「平行移動」ではX方向及びY方向に加えて、遠近の表現の修正に必要となる、奥行を示すＺ方向の数値も設定する。「カメラ距離」は、照合元３次元像における対象物とカメラの距離を設定するものであり、この数値を変更することにより、実際に対象物をカメラで撮影した場合と同じように照合元３次元形状投影画像の遠近感が変化する。

照合先２次元画像操作パラメータ設定領域２２２では、照合先２次元画像に対して、拡大縮小及び平行移動の各操作を行うためのパラメータを設定するボックス及びスライドバーを表示する。照合先２次元画像に関しては、平行移動は単に該画像をX方向及びY方向に移動させる操作のみを行う。

照合元３次元形状投影画像表示方法設定領域２３では、照合元３次元形状投影画像を画像表示領域２１に表示する際の表示方法を設定する。照合元３次元形状投影画像の各種表示方法の詳細は後述する。

重畳表示パラメータ設定領域２４では、照合先２次元画像を照合元３次元形状投影画像に重畳表示の方法を選択するラジオボタンを表示すると共に、その中のいくつかの表示方法において用いるパラメータを入力するボックス及びスライドバーを表示する。重畳表示の方法に関しては後述する。

照合先２次元画像特徴点設定アイコン２５２は、照合先２次元画像において特徴点を入力する際にクリックするアイコンであり、照合元３次元形状投影画像特徴点設定アイコン２５３は、照合元３次元形状投影画像において特徴点を入力する際にクリックするアイコンである。

歪曲収差設定領域２６には、歪曲収差の操作の要否を入力するチェックボックスと、読み込みボタンが表示される。マウスでチェックボックスにチェックを入れたうえで読み込みボタンを押下すると、自動的に歪曲収差の変更処理が行われる。

アスペクト比設定領域２７には、アスペクト比を入力する入力するボックス及びスライドバーを表示する。

その他、操作画面２０には、一時パラメータ設定領域２８、補助線設定領域２９、一部拡大画像表示領域２１Ａが表示される。一時パラメータ設定領域２８は、照合元３次元像操作パラメータ設定領域２２３や照合先２次元画像操作パラメータ設定領域２２２で設定したパラメータを一時的に記憶部１４に保存すると共に、一時的に保存されたパラメータ（一時パラメータ）を記憶部１４から読み取るための操作を行う領域である。一時パラメータは最大5組保存することができる。保存時には「１」〜「５」のいずれかのラジオボタンを選択したうえで「セット」ボタンを押下し、読み取り時にはその対象となる一時パラメータに対応する「１」〜「５」のいずれかのラジオボタンを選択したうえで「読取」ボタンを押下する。補助線設定領域２９は、特徴点を入力するとき等に使用する補助線を画像表示領域２１に表示する設定を行うための領域である。一部拡大画像表示領域２１Ａは、画像表示領域２１上でマウスを用いて選択した部分を拡大表示する領域である。

(2) 本実施形態の画像照合装置の動作
以下、本実施形態の画像照合装置１０の動作について説明する。まず、データ入力部１５を用いて、照合先２次元画像のデータを取り込み、記憶部１４に記憶させる。続いて、ユーザが所定の操作を行うことにより、記憶部１４に記憶されている複数の照合元３次元像のデータから１つの照合元３次元像を選択する。以下、図４(a)に示す照合先２次元画像に対して、同図(b)に照合元３次元形状投影画像で示す照合元３次元像を選択した場合を例に説明する。

ユーザによる照合元３次元像の選択を受けて、照合元３次元形状投影画像表示部１１は選択された照合元３次元形状投影画像を画像表示領域２１に表示すると共に、照合先２次元画像表示部１２は照合先２次元画像を当該照合元３次元形状投影画像に重畳して表示するよう、処理を行う。その際には、照合先２次元画像と照合元３次元形状投影画像の位置や向きなどは特に調整されていない。図５に、この時点における重畳表示の例を示す。この例では、図４(a)及び(b)に示した2つの画像をそのまま重ねただけであり、照合元３次元形状投影画像の人物は正面を向いているのに対して、照合先２次元画像の人物は左方（図の右方）を向いているという点で相違している。

続いて、３次元像の向き及び大きさを変更することにより、３次元形状投影画像の向き及び大きさを照合先２次元画像のそれらに合わせるように変更する操作を行う。この操作には、(i)ユーザが特徴点を入力するだけで自動的に向き及び大きさを変更する自動変更法と、(ii)主に照合元３次元像操作パラメータ設定領域２２３を用いてユーザが手動で行う手動変更法の２つの方法がある。

(i) 自動変更法
ユーザはまず、照合先２次元画像特徴点設定アイコン２５２をクリックしたうえで、画像表示領域２１内において照合先２次元画像中の特徴点を複数、クリックすることで指定する。この操作の際には、照合先２次元画像と照合元３次元形状投影画像を重畳表示したままでもよいが、一時的に照合先２次元画像のみを表示するようにしてもよい。図６(a)に、照合先２次元画像の特徴点を入力した例を示す。この例では、右外眼角点、右内眼角点、左外眼角点、鼻下点、右口角点、口裂正中点、及び右耳朶点を特徴点として指定している。

続いて、ユーザは照合元３次元形状投影画像特徴点設定アイコン２５３をクリックしたうえで、照合先２次元画像で設定した特徴点に対応する照合元３次元形状投影画像の特徴点をクリックすることで指定する。この操作の際にも、照合先２次元画像と照合元３次元形状投影画像を重畳表示したままでもよいが、一時的に照合元３次元形状投影画像のみを表示するようにしてもよい。図６(b)に、照合元３次元形状投影画像の特徴点を入力した例を示す。

なお、照合元３次元形状投影画像の特徴点を入力した後に照合先２次元画像の特徴点を入力するようにしてもよい。また、特徴点を入力する際に、補助線設定領域２９内の「表示」をクリックすることで、図７に示すように照合元３次元形状投影画像や照合先２次元画像に補助線３１を表示し、画面の縦及び横（垂直及び水平）の補助線３１が特徴点で交差するように移動させておくと、後述の照合の際に便利である。補助線３１は垂直及び水平にそれぞれ最大5本まで表示することができ、補助線設定領域２９内の数値欄のボックスに数値を入れるかスライドバーを操作することにより移動する。あるいは、マウスで補助線３１をドラッグするようにしてもよい。

照合元３次元像操作部１３は、入力された特徴点に基づいて、照合元３次元形状投影画像の特徴点が照合先２次元画像の特徴点に一致するように、３次元像の向き及び大きさを変更する。これら３次元像の向き及び大きさの変更は、特許文献１と同様の方法で行うことができる。そして、照合元３次元像操作部１３は、変更後の３次元像に基づいて照合元３次元形状投影画像を照合先２次元画像に重畳して、画像表示領域２１に表示する。それと共に、操作画面２０中のアイコンの列の右側に、照合元３次元形状投影画像と照合先２次元画像の誤差を最小二乗法で計算した数値が表示されると共に、照合先２次元画像の視野角（図２及び図３中で「Fovy」と記載されているもの）が表示される。

(ii) 手動変更法
ユーザは、照合元３次元像操作パラメータ設定領域２２３及びアスペクト比設定領域２７に表示されたパラメータを設定するボックスに数値を入力したりスライドバーをマウスで操作することにより、回転、拡大縮小、移動、カメラ距離、平行移動、アスペクト比のいずれか1つ又は複数のパラメータを変更する。必要であれば、歪曲収差設定領域２６で歪曲収差の操作を行う。照合元３次元像操作部１３は、上記各パラメータが変更される度に、３次元像の向き及び大きさを変更したうえで、変更後の３次元像に基づいて照合元３次元形状投影画像を照合先２次元画像に重畳して画像表示領域２１に表示する。当該重畳表示を見ながらパラメータを少しずつ変更してゆくことにより、照合元３次元形状投影画像の向き及び大きさを照合先２次元画像の向き及び大きさに近づけてゆく。最小二乗法で計算した誤差及び視野角の数値は、上記各パラメータを変更して新たな照合元３次元形状投影画像が表示される度に変更される。

従来の画像照合装置では照合元３次元形状投影画像と照合先２次元画像が別々に表示されていたため、照合元３次元形状投影画像と照合先２次元画像の向きや大きさが合っているのかをパラメータの変更の操作中に直感的に知ることができなかったのに対して、本実施形態の画像照合装置１０ではパラメータの変更に合わせて随時重畳表示が変更されるため、照合元３次元形状投影画像の向き及び大きさを照合先２次元画像の向き及び大きさに合わせることが容易である。

図８に、自動変更法又は手動変更法によって向き及び大きさを照合先２次元画像（図４(a)）に合致させた照合元３次元形状投影画像の例を示す。この照合元３次元形状投影画像に照合先２次元画像を重畳して表示したものを図９に示す。図９(a)では照合先２次元画像を照合元３次元形状投影画像よりも濃い濃度（2D優先）で重畳しているのに対して、図９(b)では照合元３次元形状投影画像を照合先２次元画像よりも濃い濃度（3D優先）で表示している。このように照合元３次元形状投影画像の濃度と照合先２次元画像の濃度を変化させることにより、照合元３次元形状投影画像と照合先２次元画像の照合が容易になる。ここで照合元３次元形状投影画像及び照合先２次元画像にそれぞれ、前述のように特徴で交差する垂直及び水平の補助線を入れておくことにより、2D優先と3D優先の間で画像を切り替えた際に、補助線が交差する位置で特徴点の対比が容易になる。濃度変化を用いた重畳画像は、重畳表示パラメータ設定領域２４において「ミキシング」のラジオボタンを選択することで表示され、「ミキシング」数値欄のボックスに数値を入れるかスライドバーを操作することにより上記のように濃度を変化させることができる。

また、濃度変化を用いた重畳画像の代わりに、ワイプ表示をすることもできる。ワイプ表示は、図１０及び図１１に示すように、画像表示領域２１に照合元３次元形状投影画像と照合先２次元画像を重ねて配置した状態で、画像内に縦に設けた境界３２Ｖの左右（図１０(a)及び(b)）又は横に設けた境界３２Ｌの上下（図１１(a)及び(b)）の一方に照合元３次元形状投影画像のみを表示し、他方に照合先２次元画像のみを表示するものである。図１０及び図１１はいずれも、(b)では照合元３次元形状投影画像と照合先２次元画像を(a)とは左右又は上下で逆に示す。境界３２Ｖ又は３２Ｌを移動させることにより、境界３２Ｖ又は３２Ｌが通過した領域において照合先２次元画像の表示と照合元３次元形状投影画像の表示が切り替えられ、両者の対比をすることができる。ワイプ表示は、重畳表示パラメータ設定領域２４において「垂直ワイプ[1]」、「垂直ワイプ[2]」、「水平ワイプ[1]」及び「水平ワイプ[2]」のうちのいずれか1つのラジオボタンを選択することで表示される。ここで[1]と[2]を切り替えると、照合元３次元形状投影画像と照合先２次元画像が境界３２Ｖの左右又は境界３２Ｌの上下で逆に示される。境界３２Ｖ又は３２Ｌは、「垂直ワイプ」又は「水平ワイプ」の数値欄のボックスに数値を入れるかスライドバーを操作することにより移動する。あるいは、マウスで境界３２Ｖ又は３２Ｌをドラッグするようにしてもよい。

照合元３次元形状投影画像表示方法設定領域２３を用いて、照合元３次元形状投影画像の表示方法（見え方）を変更することができる。照合元３次元形状投影画像表示方法設定領域２３では、「テクスチャ」、「陰影表示」、「ワイヤーフレーム」及び「輪郭表示」の4種類のレンダリング方法、並びに「RGB」及び「GB」の2種類の色の表示方法を選択するラジオボタンが表示され、使用者が「レンダリング方法」及び「色」から1つずつ選択することにより、それら選択に応じた画像が画像表示領域２１に表示される。

ここで「レンダリング方法」において「テクスチャ」を選択すると、通常の画像（格子状に並ぶ各画素毎に色を付したもの）が表示される（図１２(a)）。「陰影表示」を選択すると、１方向から光を対象物に照射した際に生じる陰影を計算で求めたうえで表示する（図１２(b)）。「ワイヤーフレーム」を選択すると、対象物の像に網目状の模様が重畳表示され、この網目の曲線の方向や曲率により対象物の表面の形状が表現される（図１２(c)）。「輪郭表示」は、照合元３次元形状投影画像から対象物の輪郭を検出し、対象物の像に輪郭線が重畳表示される（図１２(d)）。この輪郭線の検出の際に、３次元像中のノイズを誤って輪郭として検出しないように、「照合元３次元形状投影画像表示方法設定領域２３」中の「サイズ」欄にピクセル単位で数値を入力すると、照合元３次元形状投影画像中で当該数値のピクセルよりも小さいものはノイズとして無視される。

「色」において「RGB」を選択すると、光の3原色であるR（赤）、G（緑）及びB（青）の全てを用いて照合元３次元形状投影画像が表示されるのに対して、「GB」を選択すると、R（赤）を除いたG（緑）及びB（青）のみを用いて照合元３次元形状投影画像が表示される。「GB」は、照合元３次元形状投影画像をカラーの照合先２次元画像と照合する際に、両者の区別を付けやすくするために使用される。

照合元３次元形状投影画像表示方法設定領域２３ではその他、「背景色」をクリックすると、照合元３次元形状投影画像中の対象物の背景が1色に塗り潰される。

以下では、歪曲収差、アスペクト比、及び（遠近感の修正を伴う）平行移動によって、それぞれ照合元３次元形状投影画像を変形させた例について説明する。
図１３は、歪曲収差により照合元３次元形状投影画像を変形させた例を示している。この変形は、レンズパラメータに基づいて、照合元３次元形状投影画像を樽形に歪ませるものである。
図１４は、照合元３次元形状投影画像のアスペクト比を変更した例を示している。この図では照合元３次元形状投影画像を横方向に伸ばしたものを示したが、横方向に縮めたり、縦方向に伸縮させることもできる。

図１５は、照合元３次元形状投影画像を、遠近感を修正しつつ平行移動させた例を示す。この平行移動の処理では、照合元３次元形状投影画像を中央から端の方に移動（図１５の左図から右図に変更）することにより、画面中の対象物（人物）の像のうち中央寄りの部分が端寄りの部分よりも近く見えるように遠近感を修正する。このような対象物の見え方は、防犯カメラの視野の端付近において実際に生じるものである。この処理は、対象物が視野の端付近にある照合先２次元画像と照合元３次元形状投影画像を対比する場合に好適に使用できる。また、照合先２次元画像において対象物が視野の中央付近に写っている場合であっても、防犯カメラの画像の端付近に写っていたものを切り出して照合先２次元画像が提供されている可能性があるため、この処理を行うとよい。この場合、照合先２次元画像中の対象物は中央付近にあるため、照合元３次元形状投影画像に対して、上記平行移動の処理を行った後に（遠近感の修正を伴わない）移動処理により対象物の像を中央付近に移動させるとよい。

ここまでに述べた各種の画像処理はコンピュータで大量の計算を行うことで実現される。近年ではCPUの性能が向上したことやメモリの容量が増加したことにより、このような大量の計算をそれほど無理なく処理することができるようになった。ただ、それでもなお処理に時間を要する場合を考慮して、図１６に示すように、重畳表示パラメータ設定領域２４内に画像品質設定領域２４１を設けるとよい。画像品質設定領域２４１では、計算処理に使用する照合元３次元形状投影画像及び照合先２次元画像のデータ量の多寡を設定する。このデータ量が多くなるほど高画質となることから、画像品質設定領域２４１では画質を「高」、「中」、「低」という3段階のいずれかからラジオボタンで選択するようになっている。画像の回転等の多くの計算を要する処理を行う場合には「低」を選択してデータ量を少なくし、それにより計算処理を高速化することができる。一方、照合元３次元形状投影画像と照合先２次元画像を対比する際には「高」を選択し、より高精細な画像を用いることができる。

１０…画像照合装置
１１…照合元３次元形状投影画像表示部
１２…照合先２次元画像表示部
１３…照合元３次元像操作部
１４…記憶部
１５…データ入力部
１６…ユーザ操作入力部
１７…ディスプレイ
２０…操作画面
２１…画像表示領域
２１Ａ…一部拡大画像表示領域
２２２…照合先２次元画像操作パラメータ設定領域
２２３…照合元３次元像操作パラメータ設定領域
２３…照合元３次元形状投影画像表示方法設定領域
２４…重畳表示パラメータ設定領域
２４１…画像品質設定領域
２５２…照合先２次元画像特徴点設定アイコン
２５３…照合元３次元形状投影画像特徴点設定アイコン
２６…歪曲収差設定領域
２７…アスペクト比設定領域
２８…一時パラメータ設定領域
２９…補助線設定領域
３１…補助線
３２Ｌ、３２Ｖ…ワイプ表示中の境界

Claims (5)

1. a) ディスプレイと、
   b) ３次元仮想空間内における照合元の３次元像が所定の平面に投影された３次元形状投影画像を前記ディスプレイに表示する照合元３次元形状投影画像表示手段と、
   c) 照合先の２次元画像を、前記ディスプレイに表示された前記３次元形状投影画像に重畳表示する照合先２次元画像表示手段と、
   d) 前記３次元像の向き及び大きさを変更することにより、前記照合元３次元形状投影画像表示手段によって前記ディスプレイに表示する３次元形状投影画像を変更する照合元３次元像操作手段と
   を備えることを特徴とする画像照合装置。
2. 前記３次元像操作手段が、前記３次元像の向き及び大きさを指定する入力手段を備えることを特徴とする請求項１に記載の画像照合装置。
3. 前記３次元像操作手段が照合元の３次元形状投影画像及び照合先の２次元画像において特徴点を指定する入力手段を備え、該入力手段で指定される複数の特徴点に基づいて該３次元像操作手段が前記３次元像の向き及び大きさを自動的に変更することを特徴とする請求項１又は２に記載の画像照合装置。
4. 前記照合元３次元像操作手段が、前記３次元形状投影画像の歪曲収差及びアスペクト比のいずれか一方又は両方を変更することを特徴とする請求項１〜３のいずれかに記載の画像照合装置。
5. 前記照合元３次元形状投影画像中の像の位置を変更する照合元３次元形状投影画像位置変更手段と、
   前記照合元３次元形状投影画像位置変更手段により変更される前記照合元３次元形状投影画像の位置に応じて、該照合元３次元形状投影画像の遠近の表現を修正する遠近修正手段とを備えることを特徴とする請求項１〜４のいずれかに記載の画像照合装置。