JP4874836B2 - 画像検索方法及び画像検索システム - Google Patents

Description

本発明は、通行路等に設置されたカメラで撮像された車両又は人物等の対象物の複数の画像から、特定の対象物が写っている画像を検索するのに好適な画像検索方法及び画像検索システムに関する。

カメラで撮像された車両又は人物等の対象物の複数の画像から特定の対象物を検索する方法としては、例えば、特許文献１に記載された車両検索方法が知られている。これによれば、機械式駐車場にて利用者が駐車券をなくした場合に、駐車車両を速やかに特定するため、駐車場の入口に設置したカメラで撮影した複数の画像から特定の駐車車両を検索する方法が提案されている。すなわち、入庫時に撮影した車両の画像を画像処理してナンバープレートを文字認識し、車番並びに車両の全体像から抽出した輪郭形状を特徴量として蓄積しておく。そして、出庫時に利用者が大まかな車番と輪郭形状の特徴を指定すれば、その車番と特微量の組み合わせから該当する車両を検索するようにしている。

一方、特許文献２には、路上の定点カメラで撮影した車両の画像から車番や色や形状などの特微量を抽出して蓄積しておき、ユーザが車番あるいは特微量の検索条件を指定すると、該当検索条件に合致する車両の画像を検索して、２次元空間あるいは３次元空間に一覧表示する技術が開示されている。

ところで、車両の製造メーカを示すエンブレム、あるいはライトの損傷程度といった詳細情報を車両の画像から画像処理により抽出するには、高い解像度で車両を撮影する必要がある。また、検索システムの操作者が目視で特定の車両を識別するためには、高い解像度で車両を撮影する必要がある。
しかし、ビデオグラフィックアレイ（ＶＧＡ）のような普及型の安価で解像度が低いカメラにより、高い解像度の車両を撮影するためには、画角を狭くする必要があるが、車両を狭い画角で撮影した場合、車両の全体像を画角に収めることが難しくなり、特許文献１の技術では、輪郭情報を抽出することが困難になる。

これに対し、特許文献２の技術によれば、車両の画像が画面内に占める面積から形状を抽出するので、画角が狭く車両の全体像が捉えられていなくても形状を抽出することができる。ところが、道路網中の広い範囲の車両を検索するために、複数地点にカメラを設置すると、各地点のカメラの撮影画像はそれぞれの撮影方向と車両の形状に応じて幾何歪みを有するので、精度よく形状を比較することができない。

このような幾何歪みを補正する技術として、特許文献３に、人間の顔面形状をモデル化したワイヤフレームと撮影方向が異なる顔画像を用いて、正面方向から撮影した顔面の画像を合成する技術が特許文献３に開示されている。

特開２００１−０６７５９９公報 特開２００５−２０９１７７公報 特開２００３−２６３６３９公報

しかしながら、特許文献３に記載の技術は、トラックのように角張ったものから、スポーツカーのように流線型まで、多くのバリエーションが存在する車両の検索については配慮されていない。

また、顔画像により特定の人物を特定する場合、正面の画像よりも少し横を向いた顔画像のほうが識別しやすい場合があるが、特許文献３には、この点について考慮されていない。

本発明が解決しようとする課題は、通行路等に設置されたカメラで撮像された車両又は人物等の対象物の複数の画像から、特定の対象物の画像を検索し易くするとともに、検索精度を向上させることにある。

上記の課題を解決するため、本発明の画像検索方法又は画像検索システムは、通行路等に設置されたカメラで撮像された車両又は人物等の対象物の画像を取り込み、該対象物の画像を予め用意された複数の形状モデルにカメラ視点を変えて投影して複数の投影マップを生成し、該各投影マップに基づいて前記形状モデルの正面にカメラ視点を変えて射影した正面画像を生成し、該正面画像の左右対称度が最も高い正面画像に対応する前記形状モデルを最適形状モデルとし、かつ対応するカメラ視点を最適カメラ視点として選択し、前記対象物の画像を前記最適形状モデルに前記最適カメラ視点から投影した投影マップを予め設定された基準カメラ視点から射影して視点を変換した検索用画像を生成し、該検索用画像を検索データベースに登録して前記対象物の検索に供することを特徴とする。

すなわち、本発明は、対象物について複数の形状モデルを用意し、それらの形状モデルについて対象物の画像の投影マップを生成して形状モデルの正面画像に変換し、その正面画像の左右対称度が最も高い形状モデルを最適形状モデルとして対象物の画像を基準カメラ視点から射影した検索用画像を生成して、検索データベースに登録しているから、様々な撮影方向（視点）からカメラで撮影した複数の対象物の検索用画像の幾何歪みを均一にすることができる。

その結果、複数地点に設置されたカメラ視点（撮影方向）が異なる複数のカメラで撮影した車両等の画像でも、カメラ視点の違いによる幾何歪みのばらつきに影響されること無く高精度で検索することが可能になる。

この場合において、カメラ視点は、カメラの少なくとも撮影方向を含む撮影パラメータとすることができる。また、撮影パラメータは、撮影方向、撮影位置又は焦点位置を含み、撮影方向は、水平方向の角度と、垂直方向の角度と、光軸周りの角度であり、撮影位置は、形状モデルの左右中心を原点とする横方向位置と、形状モデルの前端を原点とする奥行き方向位置と、形状モデルの下端を原点とする高さ方向位置とすることができる。また、基準視点は、対象物を識別し易い視点に設定する。例えば、車両の場合は、水平方向の角度及び光軸周りの角度を０°とし、垂直方向の角度を識別し易い角度に設定することができる。

また、本発明は、検索データベースに登録された検索用画像の一部又は全部を表示画面に一覧表示するようにすることができる。これにより、幾何歪みが均一化された複数の検索用画像を観察することにより、対象物の画像の識別が容易になる。

さらに、本発明は、検索用画像の特徴量を求めて検索用画像に対応付けて検索データベースに登録し、一覧表示された検索用画像の一つが指定されたとき、指定された検索用画像の特徴量を検索特徴量として、検索特徴量に一致又は類似する特徴量を有する一又は複数の検索用画像を表示画面に表示するようにすることができる。あるいはこれに代えて、検索用画像の特徴量を求めて検索用画像に対応付けて前記検索データベースに登録し、入力手段を介して入力される検索特徴量に一致又は類似する特徴量を有する一又は複数の検索用画像を検索データベースから検索して抽出し、抽出された検索用画像を表示画面に表示するようにすることができる。

これらの場合において、検索特徴量に一致又は類似する特徴量を有する一又は複数の検索用画像を検索データベースから検索するとき、検索特徴量と検索用画像の特徴量の類似度を求め、求めた類似度が高い順に並べて検索用画像を一覧表示することができる。

さらに、検索用画像の特徴量は、対象物の識別に関係する特徴量と、最適形状モデルのモデル特徴量と、最適形状モデルの種別の少なくとも一つを含むようにすることができる。

また、画像の特微量に形状モデルの特微量を追加することで、画像上の色やテクスチャが類似していても形状が異なる車両を分離することが可能になり、検索の精度を向上させることができる。また、検索の際にユーザインタフェースから形状モデルの種別を指定することにより、検索結果の中から画像上の色やテクスチャが類似していても形状が異なる車両を除外して検索結果を絞り込むことで、検索の精度を向上させることができる。

本発明によれば、通行路等に設置されたカメラで撮像された車両又は人物等の対象物の複数の画像から、特定の対象物の画像を検索し易くでき、かつ検索精度を向上させることができる。

以下、本発明の画像検索方法を適用した画像検索システムを、通行路等に設置されたカメラで撮像された車両の複数の画像から特定の車両の画像を検索する車両検索システムの実施形態について、図面を参照しながら説明する。なお、本実施形態では、車両の一例として自動車を挙げて説明を行うが、自動車に限定されず、左右対称なあらゆる種類の車両を対象とすることができる。また、車両に限定されず、通行する人物を撮影した複数の画像から特定の人物の画像を検索する画像検索システムにも適用できる。つまり、本発明は、左右が対称な対象を撮影した複数の画像から特定の対象の画像を検索するのに好適である。

＜実施形態１＞
図１は、本発明の一実施形態の車両検索システムの概略を示す構成図である。図示のように、複数のカメラ１とサーバ計算機２と複数のクライアント計算機３が、通信ネットワークを介して互いに接続されている。

カメラ１は、撮像装置と、画像処理装置と、通信装置を有して構成され、例えば路上に設置されている。カメラ１は、画像処理装置において撮像された画像のフレーム間の差分処理によって通行する車両を検出し、検出した車両を自動的に撮影してサーバ計算機２に送信するようになっている。複数のカメラ１の設置場所は任意に設定できるが、一般に、通過する車両を正面方向以外の角度で撮影するように設置されている。 サーバ計算機２は、演算装置と、主記憶装置と、記憶装置と、通信装置を備えた汎用計算機を用いて構成されている。クライアント計算機３は、演算装置と、操作者に情報を表示するディスプレイのような表示装置と、キーボードやマウスなどの操作員からの入力を受け取る入力装置と、通信装置を備えて構成されている。クライアント計算機３は、例えば汎用的なＷｉｎｄｏｗｓ（登録商標）ＯＳを搭載したパーソナルコンピュータで実現できる。また、クライアント計算機３の台数は、車両検索システムの規模に応じて設けられ、１台でも複数台でもよい。

図２に、サーバ計算機２とクライアント計算機３の機能構成をブロック図で示す。図２に示すように、サーバ計算機２は、管理データベース（ＤＢ）１０３と、形状モデル選択部１０４と、視点変換画像合成部１０５と、特徴抽出部１０６と、検索データベース（ＤＢ）１０７と、検索部１０８を備えて構成されている。また、クライアント計算機３は、検索条件指定部１０９と検索結果表示部１１０を備えて構成されている。なお、図示していないが、管理データベース１０３は、形状モデル選択部１０４と、視点変換画像合成部１０５と、特徴抽出部１０６と、検索データベース１０７と、検索部１０８に接続され、各機能の信号処理に必要なパラメータを蓄積している。

以下、本実施形態の車両検索システムの詳細構成について、動作とともに説明する。管理データベース１０３には、検索対象に係る車両の種類等に応じて車両の形状モデルが複数登録されている。例えば、形状モデルは、全てポリゴンの３次元のメッシュモデルのデータ形式で蓄積される。図５に形状モデル３０の例を示す。図５（ａ）は流線的なスポーツカーの形状モデル３０の一例であり、図５（ｂ）は角張ったセダンの形状モデル３０の一例であり、図５（ｃ）はワンボックス車の形状モデル３０の一例である。

図５（ａ）、（ｂ）、（ｃ）の各形状モデル３０は、車両のＣＡＤ設計図のポリゴンのメッシュを再分割曲面により近似することで取得することができる。形状モデルの近似程度は、図５ほど単純化せず、車両のＣＡＤ設計図に近いレベルで保持してもよい。車両のＣＡＤ設計図は、厳密な車両の型式１つ１つで異なるので、道路を走行する車両の形状モデル３０を網羅するにはかなりの数となる。しかし、同じメーカであればパーツの共通化により形状のデザインに共通性があること、異なるメーカの車両の間でも大人数の家族向けや、２人乗りといった乗員の想定数や、荷物の積載量といった想定用途により設計が類似する。したがって、形状モデル３０の数は車両の型式の数よりも少ない数に集約することができる。
形状モデル選択部１０４は、カメラ１から受け取った車両の画像に対して、管理データベース１０３に蓄積されている形状モデルの中で、最も適切な形状モデルを選択する。また、形状モデル選択部１０４は、カメラ１から受け取った車両の画像を形状モデルに投影マップするのに最適な撮影パラメータを選択する。

［形状モデル選択部１０４］
図３、図４のフローを用いて、形状モデル選択部１０４の具体的な処理を説明する。

（ステップＳ１）
まず、車両の形状モデルのデータを管理データベース１０３からサーバ計算機２の主記憶に読み込むとともに、形状モデルのデータのほか、形状モデル選択部１０４の処理に必要なデータを主記憶に読み込む。

（ステップＳ２）
次いで、カメラ１から送信される車両の画像を主記憶に読み込む。カメラ１が撮影した車両の画像の例を図６に示す。図６に示すカメラ１が撮影した車両の画像４０は、いずれも車両の前面部を中心として車両を大きく捉えた画像となっている。画像４０を撮影したカメラ１の撮影方向の水平角度（車両正面に対する水平方向の視点角度）は、大きい順に並べると図６（ａ）、図６（ｂ）、図６（ｃ）である。また、画像４０の幾何歪みを大きい順に並べると図６（ａ）、図６（ｂ）、図６（ｃ）であり、水平角度の大きさの順番と等しい。なお、画像４０の中には、車両のほかに路面などの背景も映りこんでいる。

（ステップＳ３〜Ｓ７） 次に、複数の形状モデルを切り替えながら、画像４０の撮影パラメータを変化させて、正面画像の合成と左右対称度の計算の処理（Ｓ５）を繰り返す。つまり、 ステップＳ３〜Ｓ７のループは、管理データベース１０３が蓄積する形状モデルの全ての種別で繰り返す。また、ステップＳ４〜Ｓ６のループは、カメラ１の撮像系を射影変換で近似したときの視点である撮影パラメータの要素（撮影位置、撮影方向、焦点距離）を、それぞれ設定刻み及び設定範囲内で、変更しながら繰り返す。

ここで、撮影パラメータの範囲は、管理データベース１０３が蓄積するカメラ１の撮影パラメータの設計値の範囲から定める。例えば、カメラ１の水平方向の角度の設計値が１０°〜４０°であれば、撮影パラメータの範囲のうち水平方向の角度の範囲を１０°〜４０°とする。また、カメラ１から形状モデル選択部１０４に撮影パラメータを画像に対応付けて送信するようにした場合は、撮影パラメータの変更範囲を絞り込むことができる。また、管理データベース１０３にカメラ１の設置点情報と撮影パラメータを蓄積しておき、カメラ１から形状モデル選択部１０４にカメラの設置点情報を送信するようにすると、形状モデル選択部１０４はカメラ１の設置点情報を検索キーとして管理データベース１０３から撮影パラメータを抽出して取得することができる。

ステップＳ５では、図４のステップＳ９〜Ｓ１１に示す手順により、正面画像を合成して、その正面画像の左右対称度を求める。

（ステップＳ９）
ステップＳ２で読み込んだ画像４０と、ステップＳ４〜Ｓ６のループで選択している複数の撮影パラメータと、ステップＳ３〜Ｓ７のループで選択している複数の形状モデルから、図７に示すように、それぞれ投影マップを求める。

すなわち、図７において、形状モデル１３０は、ステップＳ３〜Ｓ７のループで選択している形状モデル３０の例である。正面部分１３１は、形状モデル１３０の正面部分である。撮影パラメータ５５は、ステップＳ４〜Ｓ６のループで選択している撮影パラメータである。仮想カメラ５６は、撮影パラメータ５５で射影変換する仮想的なカメラである。

撮影パラメータ５５は、空間中における、水平方向の角度Ｐ、垂直方向の角度Ｔ、光軸周りの角度Ｒ、形状モデル１３０の横方向の座標Ｘ、形状モデル１３０の奥行き方向の座標Ｙ、形状モデル１３０の高さ方向の座標Ｚ、焦点距離Ｆの要素からなる。座標Ｘの原点は形状モデル１３０の左右中心、座標Ｙの原点は形状モデル１３０の前端、座標Ｚの原点は形状モデル１３０の下端である。

このようにして、ステップＳ９では、仮想カメラ５６から画像４０を形状モデル１３０の正面部分１３１に投影マップする処理を、撮影パラメータ５５を変更しながら繰返し、さらに、形状モデル１３０を変更しながら繰り返して、複数の投影マップを生成する。

（ステップＳ１０）
ステップＳ９で求めた複数の投影マップから、視点を形状モデル正面に移動したときの正面画像をそれぞれ合成する。

図７において、撮影パラメータ５７は、仮想カメラ５６を形状モデル１３０の正面方向に視点変換させる正面画像の撮影パラメータである。仮想カメラ５８は、正面画像の撮影パラメータ５７に対応した仮想的なカメラである。仮想撮像面５９は、仮想カメラ５８の仮想撮像面である。正面画像６０は、ステップＳ９で計算した仮想カメラ５６から画像４０を形状モデル１３０へ投影した投影マップを、仮想カメラ５８で仮想撮像面５９上に射影変換した画像である。

正面画像の撮影パラメータ５７のうち、水平方向の角度Ｐ’は０、光軸方向の角度Ｒ’は０、形状モデルの横方向の座標Ｘ’は０である。残りの垂直方向の角度Ｔ’、形状モデル１３０の奥行き方向の座標Ｙ’、形状モデル１３０の高さ方向の座標Ｚ’、焦点距離Ｆ’は、撮影パラメータ５５の各要素をステップＳ４〜Ｓ６のループで変化させる範囲の中央値である。
このようにして、ステップＳ１０では、ステップＳ９の処理で仮想カメラ５６から画像４０を形状モデル１３０の正面部分１３１へ投影マップしたものを、仮想カメラ５８から仮想撮像面５９上へ射影変換することにより正面画像６０を合成する。

なお、ステップＳ９の投影マップにおいて、形状モデル１３０の前面部分１３１の全領域に投影マップされない場合、ステップＳ１０ではステップＳ９の投影マップの範囲から外れた形状モデル１３０の前面部分１３１の領域を、ブランクにして正面画像６０に射影変換する。

（ステップＳ１１）
ステップＳ１１では、ステップＳ１０で合成した正面画像６０の左右の対称度を計算する。

すなわち、図８に示すように、正面画像６０の左右の中心線６１よりも左側の画像６２と、中心線６１よりも右側の画像を左右反転した画像６３を求める。そして、画像６２と画像６３の正規化相関によって求めた相関値を、左右の対称度とする。この相関値の計算は、正規化相関以外にも、２乗誤差の逆数のような他の相関値の計算アルゴリズムを用いてもよい。正面画像６０が左右対称に近づくほど、画像６２と画像６３は相似に近づいて相関値が高くなり、左右対称度も高くなる。

ところで、ステップＳ４〜Ｓ６で選択している撮影パラメータ５５が、実際のカメラ１の撮影パラメータから離れている場合は、ステップＳ９では画像４０中の背景部分が形状モデル１３０の正面部分１３１に投影マップされるから、ステップＳ１０では正面画像６０中に画像４０中の背景部分が混入する。あるいは、ステップＳ４〜Ｓ６で選択している撮影パラメータ５５が、実際のカメラ１の撮影パラメータから離れている場合は、形状モデル１３０の正面部分１３１の中でステップＳ９における投影マップの範囲から外れる領域が多くなるから、ステップＳ１０では正面画像６０にブランクな領域が多くなる。

一方、ステップＳ４〜Ｓ６で選択している撮影パラメータ５５が、実際のカメラ１の撮影パラメータに近づくにつれて、ステップＳ９では形状モデル１３０の正面部分１３１のうち、画像４０中の背景部分が投影マップされる領域、あるいは形状モデル１３０の正面部分１３１のうち投影マップの範囲から外れる領域が縮小して、ステップＳ１０の正面画像６０は画像４０中の車両の実際の正面画像に近づく。

また、形状モデル１３０の種別が実空間の車両に近くなるほど、ステップＳ９における投影マップが実空間の車両に近くなり、ステップＳ１０の正面画像６０は画像４０中の車両の実際の正面画像に近づく。

しかし、画像４０中の車両の種別を問わず、実際の車両の正面部分はほぼ左右対称なので、ステップＳ１１で計算する正面画像６０の左右の対称度は、正面画像６０が画像４０中の実際の正面画像に近いほど高くなる。

（ステップＳ８）
このようにして正面画像６０の左右対称度を求めた後、図３のステップＳ８に戻り、正面画像６０の左右対称度が最も高くなる正面画像に対応する形状モデル１３０と撮影パラメータ５５を、最適な形状モデルと最適な撮影パラメータとして選択する。

このようにして、形状モデル選択部１０４は、ステップＳ８で選択した最適な形状モデルと最適な撮影パラメータ、並びにステップＳ２で読み込んだ画像４０を視点変換画像合成部１０５に送信する。

［視点変換画像合成部１０５］
視点変換画像合成部１０５は、形状モデル選択部１０４から受信した最適な形状モデルと最適な撮影パラメータと画像４０に基づいて、撮影パラメータを基準撮影パラメータ変えて視点を変換した検索用画像を合成する。 図９を用いて、視点変換画像合成部１０５の処理を説明する。図９において、最適形状モデル２３０は形状モデル選択部１０４が選択した最適な形状モデルである。また、最適撮影パラメータ２５５は、形状モデル選択部１０４が選択した最適な撮影パラメータである。仮想カメラ２５６は最適撮影パラメータ２５５に対応した仮想カメラである。基準撮影パラメータ２５７は、基準の撮影パラメータである。仮想カメラ２５８は、基準撮影パラメータ２５７に対応した仮想カメラである。撮像面２５９は仮想カメラ２５８の撮像面である。

視点変換画像合成部１０５は、仮想カメラ２５６から画像４０を最適形状モデル２３０に投影マップしたものを、仮想カメラ２５８から射影変換することで撮像面２５９上に検索用画像２６０を合成する。なお、撮像面２５９の検索用画像２６０以外のブランクな部分は白などの所定の色で塗りつぶす、あるいは基準背景３５９のような背景画像と合成する。ここで、基準背景３５９の画像は任意であるが、カメラ１で撮影する地点の代表的な背景画像と合成すれば、撮像面２５９上の画像が実際にカメラ１で撮影された画像に近づき、操作者からみて自然な画像にすることができる。

また、基準撮影パラメータ２５７は、例えば、各設置点におけるカメラ１の撮影パラメータの平均値に基づいて定めることができ、管理データベース１０３に蓄積されている。

なお、検索用画像２６０に射影変換される形状モデル２３０のポリゴンの一部が、投影マップの範囲から外れた場合、視点変換画像合成部１０５は検索用画像２６０の中で投影マップの範囲から外れたポリゴン部分をブランクにして射影変換する。ただし、画像４０中の車両も形状モデル２３０も正面部分がほぼ左右対称なので、視点変換画像合成部１０５は投影マップの範囲から外れたポリゴンと形状モデル２３０において左右対称な部分が、ステップＳ９の投影マップの範囲内ならば、ステップＳ９の投影マップの範囲から形状モデル２３０の部分の代わりに射影変換して検索用画像２６０のブランクを埋めてもよい。

視点変換画像合成部１０５は、合成した撮像面２５９上の画像を検索用画像として特徴抽出部１０６に送信する。

［特徴抽出部１０６］
特徴抽出部１０６は、視点変換画像合成部１０５が合成した画像から特微量を抽出する。特徴抽出部１０６は、特微量の要素に、高次局所自己相関によるテクスチャ（模様）の特微量や、ＨＳＩのヒストグラムによる色の特微量を抽出するようになっている。テクスチャの特徴量、並びに色の特微量は１次元以上のベクトル量である。なお、テクスチャの特微量は、フーリエ変換のスペクトルや画像中の画素の分散値等の他の手法を使っても計算できる。また、色の特微量には、画像中の画素の赤成分、青成分、緑成分の平均値など他の手法を使っても計算できる。

このようにして特徴抽出部１０６によって抽出された検索用画像の特徴量は、視点変換画像合成部１０５が合成した検索用画像に対応付けて検索データベース１０７に蓄積される。

［検索条件指定部１０９］
検索条件指定部１０９は、操作者に向けてクライアント計算機３の表示装置上に検索のメニュー画面を表示し、クライアント計算機３の入力装置を通じて操作者から入力される検索条件を受け取るようになっている。

図１０に、検索条件指定部１０９の類似画像検索方式のメニュー画面の一例を示す。図１０の画像一覧２０は、検索データベース１０７が蓄積する検索用画像の中からランダムに抽出した画像の一覧である。画像一覧２０中の各検索用画像は、カメラ１の撮影方向が異なっていても、擬似的に撮影方向が基準視点に統一されている。

操作者が画像一覧２０の中から検索したい車両に類似した検索用画像を１つ選択する。操作者は、検索したい車両に類似した画像が画像一覧２０に含まれない場合には、検索したい車両に類似した画像が表示されるまで、クライアント計算機３の入力装置を所定の手順で操作することにより、他の画像一覧２０を繰り返して表示させることができる。

操作者が、画像一覧２０の中から特定の検索用画像２１を選択すると、検索条件指定部１０９は検索データベース１０７から抽出した検索用画像２１の特微量を検索部１０８に送信する。

なお、検索条件指定部１０９は、図１０の類似画像検索方式のほか、特微量をテキストボックスやスライドバーのようなユーザインタフェースにより指定する方式により、類似画像検索方式と同様に特微量を検索部１０８に送信することができる。

［検索部１０８］
検索部１０８は検索条件指定部１０９から受信した特微量と、検索部１０８中の画像の特微量の類似度を下記の式（１）によって計算する。

Ｓ＝（Σ_{ｉ＝１,Ｎ} αi dist (ｙi，ｘi)）^−１ （１）
式（１）において、Σ_{ｉ＝１,Ｎ} は添え字iについて１からＮで和をとることを意味し、αｉは特微量のｉ番目の要素の荷重係数、ｙｉは検索条件指定部１０９から受信した特微量のｉ番目の要素、ｘｉは検索データベース中の１枚の画像の特微量のｉ番目の要素、dist（ｙi，ｘi)はｘｉとｙｉのユークリッド距離を計算する関数、Ｓは類似度である。

式（１）において、例えば、特微量の数Ｎは２であり、特微量の１番目の要素はテクスチャ、２番目の要素は色を示す。なお、荷重係数αiには、管理データベース１０３が蓄積するデータを用いる。検索データベース１０７の画像の中で式（１）の類似度Ｓが高い画像は、操作者が選択した検索用画像２１と色やテクスチャが近い傾向をことになる。検索部１０８は、全ての画像から式（１）による類似度を計算した後、類似度を高い順に並べ直して、予め管理データベース１０３に設定されている所定数の上位の類似度を有する検索用画像２１を検索結果表示部１１０に送信する。

検索結果表示部１１０は検索部１０８から受信した画像の一覧をクライアント計算機３の表示装置に表示する。図１１に、検索結果表示部１１０の表示画面の一例を示す。検索結果２２には、検索条件指定部１０９で選択された検索用画像２１に色あるいはテクスチャが類似した検索用画像２１が一覧表示されている。

以上述べたように、本実施形態によれば、複数の設置点の撮影パラメータが違うカメラの画像でも、撮影パラメータを擬似的にそろえた画像検索システムを実現することができる。

また、本実施形態において、特徴抽出部１０６、検索部１０８、検索条件指定部１０９などを省略して、検索データベース１０７に格納された検索用画像を一覧にして表示画面に表示して、対象物の画像を検索するようにすることができる。

＜実施形態２＞
ここで、本発明の車両検索システムの実施形態２について説明する。本実施形態が実施形態１と異なる点は、特徴抽出部１０６の機能に、形状モデルの特微量を抽出する機能を持たせたことにある。形状モデルの特微量を抽出することは、公知文献“不変特微量を用いた３次元物体の形状類似検索 PRMIJ Vol．103 N0．296 pp．85-90”に紹介されている。つまり、形状モデルを構成するポリゴンのすべての２組について計算した面積和、相対距離、法線間の角度のヒストグラムを計算して、形状モデルの特微量を抽出することができる。

そして、特徴抽出部１０６は、抽出した形状モデルの特徴量を、検索用画像２１に対応付けて検索データベース１０７に格納する。

一方、本実施形態の検索部１０８は、検索用画像の特徴量と形状モデルの特徴量の２つの特微量の類似度の計算を式（２）により計算する。

Ｓ＝（Σ_{ｉ＝１,Ｎ＋１} αi dist (ｙi，ｘi)）^−１ （２）
式（２）において、Σ_{ｉ＝１,Ｎ＋１} は添え字iについて１からＮ＋１で和をとることを意味する。式（２）において、Ｓ、Ｎ、αｉ、dist（ｙi，ｘi)、ｙｉ、ｘｉは数（１）と共通である。

式（２）においてｉが３になるときのα３、ｘ３、ｙ３は，それぞれ形状モデルの荷重係数、検索データベース１０７中の１枚の画像の形状モデルの特徴量、検索条件指定部１０９から受信した特微量である。

本実施形態の検索条件指定部１０９は、検索部１０８の類似度の計算における式（１）の荷重係数αｉを調整する機能を持つ。図１２に、本実施形態の検索条件指定部１０９が荷重係数αｉを調整するユーザインタフェースの例を示す。同図において、チェックボックス２３がＯＮであれば、荷重係数αｉを管理データベース１０３が蓄積する値に設定する。一方、チェックボックス２３がＯＦＦであれば荷重係数αｉを０とする。図１２のチェックボックス２３の設定例では、テクスチャのチェックボックスの状態がＯＦＦなので、テクスチャの荷重係数α1を0とする。また、色と形状モデルのチェックボックス２３はＯＮなので、色の荷重係数α２と形状モデルの荷重係数α３は、それぞれ管理データベース１０３に蓄積された設定値とする。

図１２に示したスライダック２４は、式（１）の荷重係数αｉを調整するユーザインタフェースの他の例である。スライダック２４を小に近づけるほど、荷重係数αｉを管理データベース１０３に蓄積された設定値より所定の比率で小さくし、スライダック２４を大に近づけるほど、荷重係数αｉを管理データベース１０３に蓄積された設定値より所定の比率で大きくする。図１２のスライダック２４の設定例では、テクスチャの荷重係数α１は管理データベース１０３に蓄積された設定値、色の荷重係数α２は管理データベース１０３に蓄積された設定値よりも小さな値、形状モデルの荷重係数α３は管理データベース１０３に蓄積された設定値より大きな値となる。

本実施形態によれば、実施形態１に比べて、検索用画像の特微量に加えて、形状モデルの特微量を考慮していることから、検索条件指定部１０９において選択された検索用画像２１と色やテクスチャが似通っていても、形状モデルが異なる車両が検索結果２２に含まれることが防止されるから、画像検索の精度が向上する。

＜実施形態３＞
ここで、本発明の車両検索システムの実施形態２について説明する。本実施形態が実施形態１と異なる点は、形状モデル選択部１０４は、選択した最適形状モデル２３０の種別をサーバ計算機２の主記憶装置上の所定位置に記憶し、検索データベース１０７は、形状モデル選択部１０４が選択した最適形状モデル２３０の種別をサーバ計算機２の主記憶装置上の所定位置から読み取り、検索用画像２１と組にして蓄積するようにしたことにある。さらに、本実施形態の検索部１０８は、検索条件指定部１０９から形状モデルの種別による検索範囲の絞り込みの指示を受けた場合、検索データベース１０７の中で形状モデルの種別が検索範囲の絞り込み外の検索用画像２１については、類似度を検索しないようになっている。

図１３に、形状モデルの種別による検索範囲の絞込みの指定を操作者から受け取るユーザインタフェースの一例を示す。この検索条件入力画面は、検索条件指定部１０９がクライアント計算機３の表示装置上に表示するようになっている。

検索条件入力画面のテキストボックス２５は、形状モデルの種別をキーワードの形式で受け取るようになっている。テキストボックス２５に形状モデルの種別を示すキーワードが入力されると、検索条件指定部１０９は検索部１０８に向けて形状モデルの種別をテキストボックス２５の指定に一致するものに絞り込む指示を送信する。形状モデルの種別を示すキーワードは、予め形状モデルごとに与えておき、管理データベース１０３に設定しておく。形状モデルの種別のキーワードとしては、例えば、図５（ａ）の車両には流線型、同図（ｂ）の車両には角張ったセダン、同図（ｃ）の車両にはワンボックス（１ＢＯＸ）のように設定することができる。しかし、キーワードのつけ方は任意である。

図１３の例では、テキストボックス２５に流線型と角張りセダンが指定されているので、検索条件指定部１０９は形状モデルの種別を流線型あるいは角張りセダンに限定した検索範囲の絞込りみを検索部１０８に送信する。

なお、図１３において、プルダウンメニュー２６は、形状モデルのキーワードの一覧を示しており、プルダウンメニュー２６のキーワードを指定すると、テキストボックス２５と同様に形状モデルのキーワードの指定を入力できるようになっている。また、図１３において、プルダウンメニュー２７は、形状モデルの概略図を示し、テキストボックス２６と同様に形状モデルのキーワードの指定を入力できるようになっている。

本実施形態によれば、実施形態１と比べて、形状モデルの種別により検索データベース１０７中の検索範囲を絞り込むことができるから、検索条件指定部１０９において選択された検索用画像２１の車両と、色やテクスチャが似通っていても形状モデルが異なる車両が検索結果２２に含まれることを防止でき、画像検索の精度が向上する。

以上説明した実施形態１〜３において、計算負荷の分散の観点から、形状モデル選択部１０４や視点変換画像合成部１０５や特徴抽出部１０６の信号処理の一部以上をカメラ１の画像処理装置に分担させてもよい。同様に、計算負荷の分散の観点から、検索部１０８の信号処理の一部以上をクライアント計算機３に分担させてもよい。これらの場合は、カメラ１の画像処理装置あるいはクライアント計算機３に、管理データベース１０３にアクセスする機能、あるいは管理データベース１０３中のデータのうち分担する信号処理に必要なデータのコピーを蓄積する機能を追加する。

以上、本発明を車両検索システムに適用した実施形態を説明したが、本発明の画像検索システムは、上記実施形態に限られるものではなく、左右対称で３次元形状を有限個の形状モデルで近似可能な物体であれば物体の種類を問わず、本発明を適用できる。特に、撮影方向が異なる複数のカメラで撮影した画像の撮影方向を均一にして、画像検索の精度を向上させることができる。例えば、監視用途における顔画面の画像検索において、多数人物の顔面のレーザスキャナによる計測データを複数の形状モデルに分類しておき、複数の方向から撮影された撮影された顔面の画像を正面方向に視点変換して検索の精度向上することに応用できる。

本発明の実施形態１の車両検査システムのブロック図である。 実施形態１の主要部の機能構成を示すブロック図である。 実施形態１の形状モデル選択部の処理のフロー図である。 図３のステップＳ５の処理のフロー図である。 車両の形状モデルの一例を示す図である。 カメラで撮影した車両の画像の一例を示す図である。 図３のステップＳ９、Ｓ１０の処理を説明する図である。 図４のステップＳ１１の処理を説明する図である。 実施形態１の視点変換画像合成部の処理を説明する図である。 実施形態１の検索条件指定に係る検索用画像の表示例を示す図である。 実施形態１の検索結果の表示画面の一例を示す図である。 本発明の実施形態２における形状モデルの特微量の荷重係数を調整するインタフェース画面の一例を示す図である。 本発明の実施形態３における形状モデルの種別により検索範囲を絞り込むインタフェース画面の一例を示す図である。

符号の説明

１ カメラ
２ サーバ計算機
３ クライアント計算機
１０３ 管理データベース
１０４ 形状モデル選択部
１０５ 視点変換画像合成部
１０６ 特徴抽出部
１０７ 検索データベース
１０８ 検索部
１０９ 検索条件指定部
１１０ 検索結果表示部

Claims (14)

1. 通行路等に設置されたカメラで撮像された車両又は人物等の対象物の画像を取り込み、該対象物の画像を予め用意された複数の形状モデルにカメラ視点を変えて投影して複数の投影マップを生成し、該各投影マップに基づいて前記形状モデルの正面にカメラ視点を変えて射影した正面画像を生成し、該正面画像の左右対称度が最も高い正面画像に対応する前記形状モデルを最適形状モデルとし、かつ対応するカメラ視点を最適カメラ視点として選択し、前記対象物の画像を前記最適形状モデルに前記最適カメラ視点から投影した投影マップを予め設定された基準カメラ視点から射影して視点を変換した検索用画像を生成し、該検索用画像を検索データベースに登録して前記対象物の検索に供する画像検索方法。
2. 請求項１に記載の画像検索方法において、
   前記カメラ視点は、前記カメラの少なくとも撮影方向を含む撮影パラメータであることを特徴とする画像検索方法。
3. 請求項１に記載の画像検索方法において、
   前記検索データベースに登録された前記検索用画像の一部又は全部を表示画面に一覧表示することを特徴とする画像検索方法。
4. 請求項３に記載の画像検索方法において、
   前記検索用画像の特徴量を求めて前記検索用画像に対応付けて前記検索データベースに登録し、
   前記一覧表示された前記検索用画像の一つが指定されたとき、該指定された前記検索用画像の特徴量を検索特徴量として、該検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像を前記表示画面に表示することを特徴とする画像検索方法。
5. 請求項１に記載の画像検索方法において、
   前記検索用画像の特徴量を求めて前記検索用画像に対応付けて前記検索データベースに登録し、
   入力手段を介して入力される検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像を前記データベースから検索して抽出し、抽出された前記検索用画像を前記表示画面に表示することを特徴とする画像検索方法。
6. 請求項４又は５に記載の画像検索方法において、
   前記検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像を前記データベースから検索するとき、前記検索特徴量と前記検索用画像の特徴量の類似度を求め、該求めた類似度が高い順に並べて前記検索用画像を一覧表示することを特徴とする画像検索方法。
7. 請求項４又は５に記載の画像検索方法において、
   前記検索用画像の特徴量は、前記対象物の識別に関係する特徴量と、前記最適形状モデルのモデル特徴量と、前記最適形状モデルの種別の少なくとも一つを含むことを特徴とする画像検索方法。
8. 車両又は人の通行路等に設置されたカメラと、該カメラにより撮影される車両又は人物の対象物の種類等に対応させて予め生成された複数の形状モデルが格納された管理データベースと、前記カメラで撮影された前記対象物の画像をカメラ視点を設定範囲内で変更して前記複数の形状モデルに投影して複数の投影マップを生成する手段と、該生成された各投影マップに基づいて前記形状モデルの正面にカメラ視点を変換した正面画像を生成する手段と、該生成された正面画像の左右対称度を算出して該左右対称度が最も高い前記正面画像に対応する形状モデルを最適形状モデルとし、かつ対応するカメラ視点を最適カメラ視点として選択する手段と、前記対象物の画像を前記最適形状モデルに前記最適カメラ視点から投影した投影マップを、予め設定された基準カメラ視点で射影して視点を変換した検索用画像を生成する手段と、該検索用画像が登録された検索データベースと、前記対象物の検索条件を入力する入力手段と、該入力手段から入力される前記検索条件に対応する前記対象物が写っている検索用画像を前記検索データベースから抽出して表示画面に表示する検索手段と有してなる画像検索システム。
9. 請求項８に記載の画像検索システムにおいて、
   前記カメラ視点は、前記カメラの少なくとも撮影方向を含む撮影パラメータであることを特徴とする画像検索システム。
10. 請求項８に記載の画像検索システムにおいて、
    さらに、前記検索用画像の特徴量を求めて前記検索用画像に対応付けて前記検索データベースに登録する手段を備え、
    前記検索手段は、前記検索データベースに登録された前記検索用画像の一部又は全部を表示画面に一覧表示し、該一覧表示された前記検索用画像の一つが前記入力手段により指定されたとき、該指定された前記検索用画像の特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像を前記検索データベースから抽出して前記表示画面に表示することを特徴とする画像検索システム。
11. 請求項８に記載の画像検索システムにおいて、
    さらに、前記検索用画像の特徴量を求めて前記検索用画像に対応付けて前記検索データベースに登録する手段を備え、
    前記検索手段は、入力手段を介して入力される検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像前記データベースから検索して抽出し、抽出された前記検索用画像を前記表示画面に表示することを特徴とする画像検索システム。
12. 請求項１０又は１１に記載の画像検索システムにおいて、
    前記検索用画像の特徴量は、前記対象物の識別に関係する特徴量と、前記最適形状モデルのモデル特徴量と、前記最適形状モデルの種別の少なくとも一つを含むことを特徴とする画像検索システム。
13. 請求項１２に記載の画像検索システムにおいて、
    前記対象物の識別に関係する特徴量は、模様、色であることを特徴とする画像検索システム。
14. 請求項１０又は１１に記載の画像検索システムにおいて、
    前記検索手段は、前記検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像前記データベースから検索するとき、前記検索特徴量と前記検索用画像の特徴量の類似度を求め、該求めた類似度が高い順に並べて前記検索用画像を一覧表示することを特徴とする画像検索システム。

Images