以下、図面に基づいて、本発明の実施形態について詳細に説明する。
図1に、車両検出装置の一実施形態を示す。図1は、本件開示の車両検出装置10と、車両1、カメラ2および画像入力部3との概略の関係を示す。
図1に示すカメラ2は、例えば、車両1の斜め前方からこの車両1を撮影する。カメラ2は、道路わきの街灯の支柱などに、道路上を走行する車両1を視野内に捉えることが可能な角度で設置してもよい。
画像入力部3は、このカメラ2によって撮影される映像に含まれる画像を取得し、取得した画像を車両検出装置10に入力する。画像入力部3は、カメラ2からの映像に含まれる各フレームの画像を車両検出装置10に渡してもよいし、数フレームごとに画像を渡してもよい。
図1に示した車両検出装置10は、抽出部11と、算出部12と、生成部13と、検出部14とを有する。
抽出部11は、入力された画像に含まれる車両1を表す部分である車両画像から、車両1の正面に位置する水平な直線成分を表す線分と、この車両1の正面における中央位置を示す部分とを含む特徴部位を抽出する。
図2に、画像から抽出される特徴部位を説明する図を示す。図2に示す符号1gは、画像に含まれる車両1を表す部分である車両画像である。図2に示す符号E1〜E6および符号M1,M2は、車両画像1gから抽出される特徴部位の例である。
符号E1〜E6で示す破線は、車両1の正面に位置する水平な直線成分に対応する線分の例である。図2の例では、符号E1は、車両1のフロントガラスの上側とルーフの境界線に対応する。また、符号E2は、車両1のフロントガラスの下側とボンネットとの境界線に対応する。また、符号E3は、車両1のフロントグリルの下側とバンパーとの境界線に対応する。また、符号E4は、車両1のナンバープレートの輪郭の上側に対応する。また、符号E5は、車両1のバンパーに形成された溝状の構造に対応する。そして、符号E6は、車両1のバンパーの輪郭の下側に対応する。
図2に示した符号M1,M2は、車両1の正面の中央位置を示す部分の抽出例である。図2の例では、符号M1は、ナンバープレートを示す。また、符号M2は、車両1にメーカーやブランドを示すエンブレムの例を示す。なお、抽出部11は、車両1の中央位置を示す部分として、上述したナンバープレートおよびエンブレムに加えて、フロントガラスの内側に貼付された車両検査証のシールなどを表す画像を抽出してもよい。また、抽出部11は、室内のバックミラーなどを表す画像を、車両1の正面の中央位置を示す部分として抽出してもよい。
図1に示した算出部12は、中央位置を示す部分とこの中央位置を示す部分に近接する線分の相対位置に基づいて、当該線分において、対応する直線部分の中央を示す線分の中心を求める。また、算出部12は、この線分の中心から当該線分の一端までの距離と、この線分の中心から当該線分の他端までの距離との比を算出する。
図3に、特徴部位の相対位置を説明する図を示す。図3は、図2に示した線分E3,E5と、符号M1で示した画像中のナンバープレートとの相対位置の例である。
図3に示した例では、符号M1で示した画像中のナンバープレートにおいて、実際の車両1のナンバープレートの水平方向の中央位置に対応する位置は、線分E5上の点C5の位置である。図3の例では、符号C5で示した三角形により、この点C5の位置を示した。この点C5は、線分E5に対応する車両1の直線部分の中央に対応する、線分E5の中心である。
算出部12は、この点C5から線分E5の一方の端点までの距離aと、点C5から線分E5の他端までの距離bとの比a:bを算出する。この比a:bは、図1に示したカメラ2の撮影方向と車両1の正面方向との間の傾き角を反映している。したがって、上述した線分E5とともに車両画像1gから抽出された線分E3を上述した比a:bで内分する点C3は、この線分E3において、対応する車両1の直線部分の中央に対応する点であり、この線分E3の中心である。なお、図3の例では、符号C3で示した三角形により、この線分E3を比a:bで内分する点、すなわち、線分E3の中心の位置を示した。同様に、図2に示した線分E1,E2,E4,E6をそれぞれ比a:bで内分する内分点は、各線分に対応する車両1の直線部分の中央に対応する、各線分の中心である。図2に符号C1〜C6で示した三角形は、各線分E1〜E6の中心を示す。
図1に示した生成部13は、算出部12で算出された比a:bに基づいて、抽出部11で抽出された各線分を内分する内分点を求める。また、生成部13は、各線分について求めた内分点を互いに結ぶことにより、中心線を生成する。
上述したように、抽出部11によって抽出された各線分を上述した比a:bで内分する内分点は、各線分に対応する車両1の直線部分の中央に対応する、各線分の中心である。したがって、これらを結んで生成される車両画像1gにおける中心線は、実際の車両1の正面の中心線に対応する。
図2に、各線分E1〜E6について求めた内分点C1〜C6を順に接続して得られる中心線CLの例を示した。
図1に示した検出部14は、車両画像1gのうち、上述したようにして生成された中心線を境界として、車両1を正面から見たときの左側に対応する部分と右側に対応する部分とを互いに比較する。そして、検出部14は、比較結果に基づいて、中心線を基準として非対称な特徴を持つ部分を車両画像1gから検出する。
検出部14は、例えば、フロントガラスやボンネットなどのように、正常な状態では左右対称である部品の左側部分の輪郭と右側部分の輪郭とを、次のようにして比較して、非対称な部分を検出してもよい。
図4に、検出部の処理例を説明する図を示す。図4は、車両画像1gに含まれるフロントガラスの輪郭を示すエッジを中心線を挟んで左側部分と右側部分とで比較する例である。
例えば、検出部14は、フロントガラスの輪郭の下側に対応する線分E2に平行な直線Qを用いて、フロントガラス部分の対称性を調べてもよい。
図4に示した符号Qは、フロントガラスの輪郭の下側に対応する線分E2に平行な直線である。また、符号QL,QRは、フロントガラスの輪郭に対応して車両画像1gに含まれるエッジの左側部分および右側部分と上述した直線Qとの交点である。また、符号QCは、中心線CLと直線Qとの交点である。
検出部14は、図4に示した交点QL,QRと、交点QCとの距離XL、XRをそれぞれ算出する。次いで、検出部14は、距離の比XL:XRを算出し、この距離の比XL:XRと、算出部12で算出した比a:bとを比較する。この比較結果に基づいて、検出部14は、距離の比XL:XRが、比a:bから所定の閾値以上にずれている箇所を、中心線に対して非対称な部分として検出する。同様にして、検出部14は、車両1のボンネットの凹みなどに伴って車両画像1gのエッジに現れる非対称な部分を検出することができる。
また、検出部14は、中心線からの距離の比が算出部12で得られた比a:bとなる画素を中心とする所定の領域ごとに、輝度値の平均や色を比較することにより、非対称な領域を検出してもよい。
このようにして検出された領域は、被写体となっている車両1において、正面から見て左側と右側とで非対称な特徴を示す部分に相当する。つまり、検出部14の処理により、車両1を斜め方向から撮影するカメラ2によって取得された車両画像1gに基づいて、車両1が持っている非対称な特徴を検出することができる。
このように、本件開示の車両検出装置によれば、斜め方向から撮影された画像に基づいて、車両1に非対称な部分があるか否かを判断することができる。つまり、本件開示の車両検出装置によれば、道路を走行する車両を正面以外の方向から撮影するカメラによって得られる画像から、非対称な特徴を持つ車両を検出することが可能となる。これにより、車両の認識に利用する画像を取得するためのカメラを高い自由度で設置することができる。このような特徴は、例えば、道路を走行する車両の中から特定の特徴を持つ車両を検出するシステムなどに有用である。また、本件開示の車両検出装置は、車両検査場などでの簡易検査などにも適用が可能である。
なお、検出部14の処理は、以上で説明した手法のほかにも、後述するように、様々な手法で実現することができる。また、本件開示の車両検出装置は、コンピュータ装置を用いて実現することができる。
図5に、コンピュータ装置の機能ブロック図を示す。図5に示したコンピュータ装置は、プロセッサ21と、メモリ22と、ハードディスク装置(HDD:Hard Disk Drive)23と、表示制御部24と、表示装置25と、入力装置26とを含む。更に、コンピュータ装置は、光学ドライブ装置28と、通信制御部29を含む。
プロセッサ21と、メモリ22と、HDD23と、表示制御部24と、入力装置26と、光学ドライブ装置28と、通信制御部29とは、バスを介して接続される。また、通信制御部29は、ネットワーク30に接続される。また、コンピュータ装置は、例えば、画像入力インタフェース部27を介して、図1に示したカメラ2からの映像信号を受け取ってもよい。また、コンピュータ装置は、通信制御部29およびネットワークを介して、カメラ2からの映像信号を受け取ってもよい。
HDD23には、オペレーティングシステムおよび車両画像に基づいて非対称な特徴を持つ車両を検出する処理を実行するためのアプリケーションプログラムが格納されている。アプリケーションプログラムは、本件開示の車両検出方法に含まれる各処理を実行するためのプログラムを含む。なお、車両検出処理を実行するためのアプリケーションプログラムは、例えば、コンピュータ読取可能なリムーバブルディスク31に記録して頒布することができる。そして、このリムーバブルディスク31を光学ドライブ装置28に装着して読み込み処理を行うことにより、車両検出処理を実行するためのアプリケーションプログラムは、HDD23にインストールされる。また、インターネットなどのネットワーク30と通信制御部29を介して、車両検出処理を実行するためのアプリケーションプログラムをHDD23にインストールすることもできる。
図5に例示したコンピュータ装置は、プロセッサ21、メモリ22などのハードウェアと、オペレーティングシステムおよびアプリケーションプログラムなどのプログラムとが有機的に協働することにより、上述した各種機能を実現する。
また、図1に示した抽出部11、算出部12、生成部13および検出部14は、それぞれ、プロセッサ21が対応するプログラムを実行することによって実現してもよい。同様に、図1に示した画像入力部3は、プロセッサ21と画像入力インタフェース27と映像信号から画像を取得するためのプログラムとの組み合わせによって実現してもよいし、プロセッサ21と通信制御部29との組み合わせによって実現してもよい。また、図1に示した各部の処理過程で生成される情報は、メモリ22あるいはHDD23などに格納される。
図6に、非対称車両を検出する処理を表す流れ図を示す。図6に示した各ステップの処理は、プロセッサ21により、車両検出処理を実行するためのアプリケーションプログラムに従って実行される。
車両検出処理に先立って、プロセッサ21は、例えば、画像入力インタフェース27および画像取得処理のためのプログラムと協働することにより、カメラ2によって撮影される映像から画像を取得する(ステップ301)。プロセッサ21は、映像から取得した画像を、以降に述べる非対称車両を検出する処理に利用する。なお、プロセッサ21は、カメラ2によって撮影される映像に含まれる各フレームに対応する画像あるいは所定数のフレームごとに抽出したフレームに対応する画像を取得する。
プロセッサ21は、上述したアプリケーションプログラムに含まれる抽出部11を実現するためのプログラムと協働することにより、例えば、画像入力インタフェース27を介して入力される画像から特徴部位を抽出する処理を行う(ステップ302)。プロセッサ21は、例えば、入力された画像に対応するエッジ画像から、所定の閾値以上の長さを持つ線分を抽出することにより、車両1の正面の水平な直線成分に対応する線分を抽出する。また、プロセッサ21は、例えば、パターンマッチング技術を利用して、入力された画像からナンバープレートあるいはエンブレムなど車両1の中央に配置される部材に対応する特徴部位を抽出する。
次いで、プロセッサ21は、上述したアプリケーションプログラムに含まれる算出部12を実現するためのプログラムと協働することにより、車両1の正面の水平方向の中心に対応する線分の中心から両端までの距離の比を算出する処理を行う(ステップ303)。プロセッサ21は、例えば、図2および図3を用いて説明したようにして、車両1の中央を示す部分の位置に基づいて、この中央を示す部分に近接する線分の中心を特定し、この線分の中心がこの線分を内分する比を算出する。
次に、プロセッサ21は、上述したアプリケーションプログラムに含まれる生成部13を実現するためのプログラムと協働することにより、中心線を生成する処理を行う(ステップ304)。例えば、プロセッサ21は、ステップ303で算出した比に基づいて、各線分を内分する内分点を順次に接続することにより、中心線を生成する。
そして、プロセッサ21は、上述したアプリケーションプログラムに含まれる検出部14を実現するためのプログラムと協働して、この中心線を挟んで、車両1の左側部分に対応する画像と右側部分に対応する画像とを比較する。そして、この比較結果に基づいて、プロセッサ21は、中心線を基準として非対称な特徴を持つ画像の領域を検出する(ステップ305)。このステップ304の処理で検出された領域は、被写体となっている車両1において、中心線の左側と右側とで非対称な特徴を示す部分に相当する。
したがって、プロセッサ21は、ステップ305の処理で非対称な特徴を持つ画像の領域を検出したか否かに基づいて、車両1が非対称な特徴を持っているか否かを判断することができる。そして、プロセッサ21は、この判断結果に基づいて、検出した非対称な領域を示す情報あるいは非対称な特徴がない旨の情報を、例えば、車両1を識別する情報に対応して、メモリ22あるいはHDD23に格納してもよい。
なお、プロセッサ21は、上述した処理で得られた検出結果を、表示制御部24を介して表示装置25に表示させてもよい。また、プロセッサ21は、上述した処理で得られた検出結果を、通信制御部29およびネットワーク30を介して、別のコンピュータ装置に通知してもよい。
以下、本件開示の車両検出装置の別実施形態について説明する。
図7に、車両検出装置の別実施形態を示す。なお、図7に示した構成要素のうち、図1に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図7に示した画像入力3は、図1に示したカメラ2によって撮影された映像から抽出した画像を、車両検出部10と既存のナンバープレート認識装置4とに入力する。
ナンバープレート認識装置4は、ナンバープレート抽出部4−aと、ナンバー認識処理部4−bとを有する。ナンバープレート抽出部4−aは、画像入力部3から受け取った画像に対してパターンマッチング処理などの画像処理を行うことにより、画像に含まれるナンバープレート部分を抽出する。ナンバー認識処理部4−bは、抽出されたナンバープレート部分の画像を解析することにより、カメラ2によって撮影された車両1の登録ナンバーを認識する。ナンバープレート抽出部4−aは、画像から抽出したナンバープレート部分について、画像における位置を示す情報を出力してもよい。例えば、ナンバープレート抽出部4−aは、画像に含まれるナンバープレート部分の範囲の境界を示す画素のアドレスなどを、ナンバープレート部分の画像における位置を示す情報として出力してもよい。
図7に例示した抽出部11は、画像処理部212と線分抽出部213とエンブレム抽出部214とを有する。画像処理部212は、画像入力部3によって入力される画像から、車両1を表す車両画像を抽出する。エンブレム抽出部214は、抽出された車両画像からエンブレムを表す部分を抽出する。エンブレム抽出部214は、エンブレムを表す部分として抽出した画像の領域の位置を示す情報を、車両1の中央を示す特徴部位の位置を示す情報の一つとして出力する。また、画像処理部212は、抽出した車両画像からエッジ成分を抽出して、エッジ画像を生成する。線分抽出部213は、生成されたエッジ画像から、車両1の正面において水平方向に伸びる直線部分に対応する線分を抽出する。線分抽出部213は、例えば、エッジ画像に含まれる所定値以上の長さを持つ直線部分の中から、後述する所定の条件に従って、水平方向に伸びる直線成分に対応する線分を抽出する。この線分抽出部213は、例えば、抽出した直線部分それぞれの両端の位置を示す情報を、抽出処理結果として出力してもよい。
なお、エンブレム抽出部214は、車両特徴データベース5に蓄積された情報を利用して、車両1を表す部分として抽出された画像に含まれるエンブレム部分を抽出する処理を行ってもよい。
図7に示した車両特徴データベース5は、例えば、代表的な車種の車両について、車両に含まれる主要な部品の位置や形状を示す特徴情報を蓄積している。車両特徴データベース4に蓄積される特徴情報は、例えば、セダンタイプやワゴンタイプあるいは軽自動車などの各車種について、フロントガラスやボンネットの概略の形状や平均的なサイズなどを示す情報を含む。また、車両特徴データベース4に蓄積される特徴情報は、更に、代表的な自動車メーカー各社のエンブレムやマークの形状の特徴を示す情報を含んでもよい。
また、図7に示した算出部12は、後述するようにして、車両1の中央を示す特徴部位の位置に基づいて、この特徴部位に近接する線分の中心を特定し、特定した線分の中心から当該線分の両端までの距離の比を算出する。算出部12は、算出した距離の比を、生成部13に渡す。
図7に例示した生成部13は、座標計算部216と方程式生成部217とを有する。座標算出部216は、算出部12で算出された比を受け取り、この比に従って、線分抽出部213によって抽出された各線分をそれぞれ内分する点の座標を算出する。方程式生成部217は、座標算出部216で算出された座標に基づいて、これらの座標を順次に接続する複数の直線の方程式を生成する。これらの方程式によって表される折れ線は、車両画像1gにおいて、実際の車両1の正面の中心線に対応する。このようにして生成された中心線を示す情報は、検出部14に渡される。
図7に例示した検出部14は、部分画像抽出部218と、変形部219と、照合部220と、対称性判定部221とを有する。部分画像抽出部218は、車両画像から、例えば、車両1に含まれる左右対称な形状を有する部品それぞれを表す画像の部分を抽出する。部分画像抽出部218は、個々の部品を表す画像の部分を抽出する処理に、車両特徴データベース5に蓄積された特徴情報を利用してもよい。部分画像抽出部218によって抽出された各部品の画像は、上述した中心線を境界として、車両1の正面から見て左側部分に対応する左側画像と右側部分に対応する右側画像とに分けることができる。変形部219は、抽出された各部品に対応する画像に含まれる左側画像と右側画像を、算出部12によって算出された比に基づいてそれぞれ変形する。照合部220は、変形された左側画像と右側画像とを中心線を基準として照合する。この照合結果に基づいて、対称性判定部221は、上述した個々の部品について、中心線を基準にして左側の形状と右側の形状に非対称な特徴があるか否かを判定する。検出部14は、各部品について対称性判定部221によって得られた判定結果に基づく検出結果を出力する。
図7に示した結果保存部6は、検出部14によって得られた検出結果を車両認識データベース8に保存する。結果通知部7は、検出部14によって車両1ごとに得られる検出結果を示す情報、あるいは、車両認識データベース8に複数の車両について保存された検出結果を示す情報を一括して通知する処理を行う。
図7に示した制御部9は、図7に示した各部の間の情報のやり取りを制御する処理を行う。例えば、画像処理部212によって抽出された車両画像は、制御部9を介して、部分画像抽出部218に渡される。また、ナンバープレート認識装置4による認識結果は、制御部9を介して対称性判定部221にも渡される。また、結果通知部7は、例えば、制御部9を介して、オペレータや他のシステムに対して、上述した検出結果を示す情報を通知する。
図7に示した各部の処理は、図5に例示したコンピュータ装置に含まれるプロセッサ21、メモリ22などのハードウェアと、オペレーティングシステムおよびアプリケーションプログラムなどのプログラムとが有機的に協働することによって実現されてもよい。
次に、抽出部11、算出部13、生成部13および検出部14の処理についてそれぞれ説明する。
図8に、特徴部位を抽出する処理を表す流れ図を示す。図8に示した各ステップは、図6に示したステップ302の処理の一例である。図8に示した各ステップは、それぞれ制御部9と抽出部11に含まれる各部によって実行される。
画像入力部3からの画像を受け取った画像処理部212は、画像に含まれる車両1を表す部分を車両画像として抽出する処理を行う(ステップ302−1)。車両画像を抽出する処理には、例えば、背景との色の違いを利用する技術などの公知技術を利用することができる。
画像処理部212により、車両画像を抽出できなかった場合に(ステップ302−2の否定判定)、処理は、制御部211を介して、図6のステップ301に戻される。そして、新たな画像が画像入力部3から入力されたときに、画像処理部212は、再び、この新たな画像から車両画像を抽出する処理を行う。
一方、画像処理部212により、車両画像が抽出された場合に(ステップ302−2の肯定判定)、エンブレム抽出部214は、車両画像からエンブレムを表す部分を抽出する処理を行う(ステップ302−3)。また、このとき、ナンバープレート抽出部4−aにより、同じ車両画像からナンバープレート部分を抽出する処理が行われる。そして、制御部9は、ナンバープレート抽出部4−aからナンバープレートの位置を示す情報を受け取る(ステップ302−4)。
ナンバープレートの位置を示す情報を受け取ったときに(ステップ302−5の肯定判定)、制御部9は、ナンバープレートの検出は成功したと判断する。そして、制御部9は、車両1に対応する認識結果を示す情報の一部として、ナンバープレートの検出成功を示す情報と当該ナンバープレートの位置を示す情報とを記録する(ステップ302−6)。例えば、制御部9は、ナンバープレートを表す四角形の各頂点に対応する画素のアドレスを、ナンバープレートの位置を示す情報として記録してもよい。一方、ナンバープレート抽出部4−aからナンバープレートの位置を示す情報が得られなかった場合に(ステップ302−5の否定判定)、制御部9は、ナンバープレートの抽出が失敗したと判断する。この場合に、制御部9は、車両1に対応する認識結果を示す情報の一部として、ナンバープレートの検出が失敗した旨の情報を記録する(ステップ302−7)。
次いで、画像処理部212は、ステップ302−1で抽出した車両画像に対応するエッジ画像を生成する(ステップ302−8)。線分抽出部213は、生成されたエッジ画像から、車両1の正面の外形において水平方向の直線部分を示す複数の線分を抽出する(ステップ302−9)。線分抽出部213は、例えば、直線部分の傾きの範囲が所定の範囲内であることを条件として、車両1の正面の水平方向に伸びる直線部分を示す複数の線分を選択的に抽出してもよい。例えば、線分抽出部213は、図1に示したカメラ2の光軸方向と道路の走行車線の方向とがなす角に基づいて傾きの範囲を制限し、車両1の側面の直線成分に対応する線分を排除してもよい。これにより、線分抽出部213は、車両1の正面の水平方向に伸びる直線部分を示す線分を、車両画像から選択的に抽出する。なお、線分抽出部213は、抽出した各線分の両端に対応する画素のアドレスを、それぞれの線分の位置を示す情報として出力してもよい。
なお、図8に示したステップ302−2のエンブレムの抽出処理、ステップ302−4〜ステップ302−7のナンバープレートの抽出に関連する処理およびステップ302−8〜ステップ302−9の線分の抽出に関連の実行順序は、図8と異なってもよい。
抽出部11に含まれる各部および制御部9が上述した処理を実行することにより、車両1を撮影した画像から、車両1の中央を示す部材の部分および車両1の正面の水平方向に伸びる直線部分に対応する線分を特徴部位として抽出することができる。
次に、上述したようにして抽出された特徴部位の相対位置に基づく算出部12の処理について説明する。
図9に、算出部の処理の一例を表す流れ図を示す。図9に示した各ステップは、図6に示したステップ303の処理の一例である。図9に示した各ステップは、それぞれ制御部9と算出部12によって実行される。
ステップ303−1で、制御部9は、ナンバープレート抽出部4−aからナンバープレートの抽出が成功した旨が通知されたか否かを判定する。制御部9は、例えば、上述したステップ302−6でナンバープレートの検出が成功した旨の情報が車両1に対応する認識結果の一部として記録されている場合に、ナンバープレートの抽出の成功が通知されていると判断する(ステップ303−1の肯定判定)。この場合に、制御部9は、線分抽出部213で抽出された線分のいずれかとナンバープレートとの相対位置を調べる処理を行う(ステップ303−2)。制御部9は、例えば、上述したステップ302−6で記録されたナンバープレートの位置を示す情報と、ステップ302−9で抽出された線分の一つについて当該線分の位置を示す情報とに基づいて、ナンバープレートと線分との相対位置を調べてもよい。例えば、制御部9は、ナンバープレートの位置を示す情報に基づいて、車両画像においてナンバープレートに対応する四角形の底辺の中点に対応する画素のアドレスを特定する。そして、このアドレスと線分の一つの中点に対応する画素のアドレスとの差の大きさに基づいて、ナンバープレートと当該線分に対応する車両1の水平方向の直線部分との間に位置ずれがあるか否かを判定する。なお、位置ずれを判断する際に用いる線分は、車両1の画像において、ナンバープレートに対応する四角形に近接した位置から抽出された線分であることが望ましい。
上述したアドレスの差が所定の閾値以下である場合に、制御部9は、ナンバープレートは車両1の中央部に設置されていると判断する(ステップ303−3の肯定判定)。この場合に、制御部9は、算出部12に対して、車両1の中央を示す特徴部位としてナンバープレートを用いる旨を指示する。このとき、制御部9は、車両画像においてナンバープレートに対応する四角形の底辺の中点に対応する画素のアドレスを算出部12に渡してもよい。
算出部12は、制御部9から受け取った画素のアドレスと、線分抽出部213で抽出された線分の一つの位置を示す情報とに基づいて、ナンバープレートの中央位置に対応する当該線分上の点と当該線分の両端との距離の比を算出する(ステップ303−4)。例えば、算出部12は、制御部9から受け取った画素のアドレスに基づいて、車両画像においてナンバープレート部分に近接した位置から抽出された線分の中心の位置を特定する。この線分の中心は、当該線分に対応する車両1の正面の直線部分の中央に対応する。次いで、算出部12は、特定した位置を示す画素のアドレスと、当該線分の両端に対応する各画素のアドレスとの差から、特定した位置から両端までの距離をそれぞれ求め、求めた距離の比を算出する。
一方、ナンバープレートに対応する四角形の底辺の中点の位置と注目している線分の中点の位置とが所定の閾値で示される距離より離れている場合に、制御部9は、ナンバープレートは中央から外れた位置にあると判断する(ステップ303−3否定判定)。この場合に、制御部9は、算出部12に対して、車両1の中央を示す特徴部位としてエンブレムを用いる旨を指示する。これに応じて、算出部12は、エンブレム部分の車両画像における位置を示す情報と、線分抽出部213で抽出された線分の一つの位置を示す情報とに基づいて、エンブレムの中央位置に対応する当該線分上の点と当該線分の両端との距離の比を算出する(ステップ303−5)。この場合に、算出部12は、エンブレム抽出部214で得られたエンブレム部分の車両画像における位置を示す情報から、エンブレムの中心の車両画像における位置を示す画素のアドレスを求めてもよい。例えば、算出部12は、求めた画素のアドレスに基づいて、車両1の画像においてエンブレムの部分に近接した位置から抽出された線分の中心の位置を特定する。次いで、算出部12は、特定した位置を示す画素のアドレスと、当該線分の両端に対応する各画素のアドレスとの差から、特定した位置から両端までの距離をそれぞれ求め、求めた距離の比を算出する。
なお、抽出部11において、エンブレムの代わりに、車両検査証のシールなどを表す部分が車両1の中央位置を示す特徴部位として車両画像から抽出される場合もある。この場合に、算出部12は、車両検査証のシールの位置を示す情報に基づいて、上述した比を算出してもよい。また、ナンバープレートの抽出が成功した場合に、算出部12は、上述したステップ303−4の処理に加えて、ステップ303−5の処理を行ってもよい。そして、算出部12は、ステップ303−4,303−5の処理でそれぞれ得られた比に基づいて、より確からしい比を求めてもよい。
ステップ303−4あるいはステップ303−5によって得られた比は、生成部13の座標算出部216に渡される。
座標算出部216は、各線分について、上述した比に従って当該線分を内分する点の座標を算出する。座標算出部216は、各線分の両端に対応する画素のアドレスと、算出部12によって算出された比とに基づいて、内分点に対応する画素の座標を示すアドレスを求めてもよい。このようにして求められた内分点の座標は、各線分の中心、すなわち、当該線分に対応する車両1の直線部分の中央に対応する当該線分上点の位置を示す。
次いで、方程式生成部217は、座標算出部216によって算出された座標に基づいて、各線分に対応する内分点を接続する方程式を生成する。例えば、画像における各画素のアドレスが行方向の位置と列方向の位置との組で表される場合に、方程式生成部217は、内分点のアドレスに含まれる行方向の位置を示す値が昇順または降順で接続されるように、各内分点を接続する方程式を生成する。また、方程式生成部217は、内分点のアドレスに含まれる列方向の位置を示す値が昇順または降順で接続されるように、各内分点を接続する方程式を生成してもよい。
このようにして、抽出部11によって抽出された各線分において、当該線分に対応する車両1の直線部分の中央を示す位置を通る中心線を示す方程式を生成することができる。
次に、上述したようにして生成された中心線に基づいて、検出部14が、車両1の画像から非対称な領域を検出する処理について説明する。
図10に、車両1の画像において非対称な領域を検出する処理の一例を表す流れ図を示す。図10に示した各ステップは、図6に示したステップ305の処理の一例である。図10に示した各ステップは、図7に示した検出部14に含まれる各部および制御部9によって実行される。
また、図11に、車両認識データベース8の例を示す。図11に例示した車両認識データベース8は、認識対象の車両それぞれを識別する認識ID(IDentifier)に対応して、認識日時と、認識対象の車両に含まれる各部品についての認識結果と、後述する所定の条件に基づく判定結果とを保持する。
制御部9は、まず、対称性の検証を行う対象となる車両1の部品を選択する(ステップ305−1)。制御部9は、例えば、車両1に含まれる多数の部品のうち、バンパーやボンネットなどのように、基本的な形状が左右対称である部品を順次に選択する。
次に、図7に示した部分画像抽出部218は、上述した画像処理部212によって抽出された車両画像から、制御部9によって選択された部品を表す部分を抽出する(ステップ305−2)。部分画像抽出部218は、例えば、選択された部品を表す部分を車両画像から抽出する処理に、車両特徴データベース5に蓄積された特徴情報を利用してもよい。また、部分画像抽出部218は、例えば、画像における色の連続性などの特徴を利用して、選択された部品を表す部分を車両画像から抽出してもよい。
図7に示した変形部219は、まず、部分画像抽出部218によって抽出された部品を表す部分の画像を、中心線を用いて、2つの領域に分割する(ステップ305−3)。例えば、変形部219は、部分画像抽出部218によって抽出された部分に含まれる中心線の方程式を用いて、選択された部品を表す部分の画像を、車両1を正面から見て左側に含まれる左側領域と右側に含まれる右側領域とに分割する。
次いで、変形部219は、左側領域の画像と右側領域の画像とを、上述した算出部12で得られた距離の比に従って変形する(ステップ305−4)。例えば、変形部219は、分割した2つの領域の一方を、算出部12で得られた距離の比に応じた倍率cを用いて、中心線に垂直な方向に拡大する変形処理を行ってもよい。算出部12で得られた比a:bに基づいて、変形部219は、左側領域の画像を、中心線に垂直な方向にa/b倍に拡大する。この変形処理により、車両1を斜め方向から撮影したことによるゆがみが補正される。
次に、図7に示した照合部220は、上述した変形部219による変形処理後の左側画像の特徴と右側画像の特徴とを照合する(ステップ305−5)。照合部220は、例えば、変形処理後の左側画像と右側画像とについて、検証中の部品の色や明るさについての特徴を示す輝度分布を照合してもよい。この場合に、照合部220は、例えば、左側画像と右側画像とにおいて対応する位置の輝度についての差分絶対値が閾値を超えている範囲を表す情報や、この範囲に含まれる画素数を示す情報などを、輝度分布についての照合結果として出力してもよい。また、照合部220は、変形後の左側画像と右側画像とに基づいて、検証中の部品の左側の輪郭上の各点と中心線との距離と検証中の部品の右側の輪郭上の各点と中心線との距離を比較してもよい。これにより、照合部220は、検証中の部品の左右の形状の特徴について照合を行うことができる。この場合に、照合部220は、例えば、左右の輪郭上の各点と中心線との距離の差分に基づいて、差分二乗和を示す情報や、差分絶対値が閾値を超えている範囲を表す情報などを生成し、輪郭についての照合結果として出力してもよい。
上述したように、部品ごとに左側画像と右側画像とを変形した上で照合することにより、車両1において対称面から左右に広がる左右対称な部品の形状に非対称な部分があるか否かを高い精度で検出することができる。また、照合部220において、画像における輝度分布や色の分布を照合することにより、ボンネットに非対称な塗装があるといった特徴を検出することも可能である。
図7に示した対称性判定部221は、照合部220による照合結果と所定の閾値とを比較する(ステップ305−6)。対称性判定部221は、例えば、検証中の部品の種類ごとに、更に、照合部220で照合される特徴ごとに、照合結果と比較される閾値を用意しておいてもよい。
検証中の部品について照合部220から受け取った全ての照合結果が、対応する閾値以下である場合に(ステップ305−6の否定判定)、対称性判定部221は、車両1において、当該部品は正常である旨を検出結果として出力する(ステップ305−7)。このとき、結果保存部6は、車両認証データベース8に、ステップ305−7で出力された検出結果に基づいて、当該部品が正常である旨の情報を、車両1を示す認識IDに対応して保存する。例えば、バンパーについて照合部220から受け取った全ての照合結果が、対応する閾値以下である場合に、対称性判定部221は、バンパーは正常である旨を検出結果として出力する。これに応じて、図7に示した結果保存部6は、図11の例で、認識対象の車両の認識ID[0001]に対応して示すように、車両認識データベース8に、バンパーは正常である旨を保存する。
一方、照合部220から受け取った検証中の部品について照合結果のいずれかに閾値以上の違いが見つかったときに(ステップ305−6の肯定判定)、対称性判定部221は、まず、検証中の部品がバンパーであるか否かを判定する(ステップ305−8)。
検証中の部品がバンパー以外である場合に(ステップ305−8の否定判定)、対称性判定部221は、検証中の部品には非対称な部分があると判断する。そして、対称性判定部221は、検証中の部品を車両1の非対称な特徴の一つとして検出する(ステップ305−9)。このとき、結果保存部6は、車両認証データベース8に、ステップ305−9で検出された非対称な特徴を、車両1を示す認識IDに対応して保存する。例えば、照合部220によって得られた左右の輪郭上の各点と中心線との距離の差分二乗和が、対応する閾値以上である場合に、対称性判定部221は、ボンネットの形状が非対称である旨の情報を検出結果として出力する。これに応じて、結果保存部6は、図11の例で、認識対象の車両の認識ID[0002]に対応して示すように、車両認識データベース8に、ボンネットの形状が非対称である旨を保存する。
ところで、車両1のナンバープレートが、バンパーの中央以外の位置に設置されている場合に、バンパーを検証対象とした照合部220の照合処理の際に、このナンバープレートの画像が左右の画像で輝度分布などが不一致の部分として見つかる可能性がある。このような場合に対応するために、検証対象の部品がバンパーである場合に(ステップ305−8の肯定判定)、対称性判定部221は、ステップ305−10〜305−12の処理を行う。
ステップ305−10において、対称性判定部221は、例えば、制御部9を介して、図7に示したナンバープレート認識装置4に対して、照合部220により輝度分布などが不一致とされた部分を対象としてナンバープレートの抽出処理を依頼する。
ナンバープレート認識装置4からナンバープレートの抽出が成功した旨が通知された場合に(ステップ305−11の肯定判定)、対称性判定部221は、ナンバープレートの取り付け位置を、車両1の非対称な特徴の一つとして検出する(ステップ305−12)。これに応じて、結果保存部6は、図11の例で、認識対象の車両の認識ID[0003]に対応して示すように、車両認識データベース8に、正常なナンバープレートが左側に設置されている旨を保存する。
一方、ナンバープレート認識装置4からナンバープレートの抽出が失敗した旨が通知された場合に(ステップ305−11の否定判定)、対称性判定部221は、バンパーを、車両1の非対称な特徴の一つとして検出する(ステップ305−9)。これに応じて、結果保存部6は、図11の例で、認識対象の車両の認識ID[0002]に対応して示すように、車両認識データベース8に、バンパーに異常がある旨を保存する。
上述したステップ305−7あるいはステップ305−9あるいはステップ305−12の処理の後、制御部9は、全ての部品についての検証が終了したか否かを判定する(ステップ305−13)。未検証の部品がある場合に(ステップ305−13の否定判定)、制御部9は、ステップ305−1に戻って、新たな部品を検証対象の部品として選択する。そして、ステップ305−2〜ステップ305−12に従って、新たな部品に関する対称性を検証する処理が行われる。
このようにして、車両1に含まれる主要な部品について、それぞれ対称性を検証した結果を、車両認証データベース8に反映することができる。図11に例示した車両認証データベース8は、ナンバープレート、バックミラー、ドアミラー、フロントガラス、バンパー、ボンネットを含む主要な部品について、各認識IDで示される車両1の検証結果を示している。
図11の例では、認識ID[0001]の車両についての検出結果として、ヘッドライトについて異常と判断される非対称な特徴を検出した旨の情報と、他の部品については非対称な特徴を検出しなかった旨の情報が示されている。一方、認識ID[0002]の車両についての検出結果として、ナンバープレート以外の全ての部品について異常と判断される非対称な特徴を検出した旨の情報が示されている。また、認識ID[0003]の車両についての検出結果として、全ての部品について非対称な特徴を検出しなかった旨の情報とともに、ナンバープレートが左側設置である旨の情報が示されている。また、認識ID[0004]の車両についての検出結果として、フロントガラスについて非対称な特徴を検出した旨の情報と、ナンバープレートが検出不能であることから異常と判断される旨の情報が示されている。また、認識ID[0005]の車両についての検出結果として、ボンネットについて非対称な塗装による特徴を検出した旨の情報が、異常とは判断されない特徴として示されている。
なお、車両1の画像に含まれるフロントガラス部分は、車内に存在する物体が非対称に映りこんでいることを考慮して、照合部220による輝度分布の照合の対象外としてもよい。また、逆に、検出部14に、車内の人物の外形に対応するパターンとフロントガラス部分の画像とのマッチングを行うマッチング部を追加し、車内に存在する人物の数などを検出することも可能である。
また、検出部14によって検出された非対称な特徴を、車両認識データベース8に、車両の異常を示す特徴として保存するか、正常な範囲の特徴として保存するかは、例えば、結果保存部6において、各部品ごとに条件を設定して判断してもよい。
また、ドアミラーやヘッドライトのように、車両1において左右対称な位置に離れて配置される部品について非対称な特徴を検出する際に好適な処理手法については、後述する。
また、図7に示した結果通知部7は、上述したようにして車両認識データベース8に蓄積された情報に基づいて、例えば、所定の条件に基づいて検出した車両の情報をオペレータの操作端末(図示せず)などに表示する処理を行ってもよい。例えば、結果通知部7は、認識対象の各車両について、車両認識データベース8に保存される各部品についての非対称性の検出結果を任意に組み合わせた条件に従って、条件を満たす車両を抽出する。
図11の例では、車両認識データベース8にいずれかの部品について異常が検出された車両に対応して、判定欄に丸印をつけて、条件に基づいて検出した車両を示した。
また、結果通知部7は、抽出部11の画像処理部212で抽出された車両の画像を利用して非対称な特徴を表示することにより、オペレータに分かりやすく通知することもできる。
図12に、非対称な特徴を持つ車両を検出した結果の表示例を示す。図12の例では、検出部14による処理で検出された非対称な特徴を表す部分を符号P1,P2で示した。
結果通知部7は、符号P1,P2で示した各部分について、符号D1,D2に示すように、非対称な特徴が検出された部品の名称とともに、検出部14でどのような非対称な特徴を検出したかを示すメッセージを表示させてもよい。
図12の例では、符号P1で示されたボンネット部分について、符号D1で示したメッセージにより、検出部14により、「形状の不一致」が検出されたことが示されている。また、符号P2で示されたドアミラー部分について、符号D2で示したメッセージにより、検出部14により、ドアミラーが検出できなかったことが示されている。
次に、ドアミラーやヘッドライトのように、車両1において左右対称な位置に離れて配置される部品についての非対称な特徴を検出する際に好適な検出部14の別実施形態について説明する。
図13に、車両検出装置の別実施形態を示す。なお、図13に示した構成要素のうち、図7に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図13に示した検出部14は、推定部222と、領域画像抽出部223と、比較部224と、対称性判定部221とを有する。推定部222は、生成部13で生成された中心線に基づいて、制御部9および車両特徴データベース5と協働して、車両1において左右対称な位置に離れて配置される左右一組の部品について、画像における位置をそれぞれ推定する。領域画像抽出部223は、抽出部11の画像処理部212で抽出された車両1の画像から、推定部222によって検証対象の1対の部品に対応してそれぞれ推定された位置に基づいて、所定の範囲の画像を抽出する。比較部224は、領域抽出部223によって左側の部品について抽出された領域の画像の特徴と右側の部品について抽出された領域の画像の特徴とを比較する。比較部224は、例えば、左側の部品について抽出された領域の画像の特徴と右側の部品について抽出された領域の画像の特徴との類似度を求めてもよい。また、対称性判定部221は、比較部224によって求められた類似度が所定の閾値よりも低いか否かに基づいて、左右の部品が非対称な特徴を持っているか否かを判定してもよい。
図14に、非対称な特徴を検出する処理の別例を表す流れ図を示す。なお、図14に示した各ステップのうち、図10に示した各ステップと同等のものについては、同一の符号を付して示し、その説明は省略する。図14に示した各ステップは、図6に示したステップ305の処理の一例である。また、図14に示した各ステップは、図13に示した検出部14に含まれる各部および制御部9によって実行される。
ステップ305−21において、制御部9は、例えば、車両1に含まれる多数の部品のうち、ヘッドライトやドアミラーなどのように、互いに対応する部品が左右対称で離れた位置に配置される部品の対を順次に、検証対象の部品として選択する。制御部9は、例えば車両特徴データベース5に蓄積された情報を利用して、ステップ305−21の処理を行ってもよい。制御部9は、選択した部品の対を指定して、推定部222に、位置の推定を指示する。
これに応じて、推定部222は、車両特徴データベース5の情報と上述した算出部12で得られた比とに基づいて、車両画像に含まれる左右の部品を表す部分の画像における位置を推定する(ステップ205−22)。車両特徴データベース5には、例えば、図2に符号E3で示した線分に対応するフロントグリル下側の輪郭の両端と左右のヘッドライトとについて概略の位置を示す情報が含まれている。推定部222は、この情報と算出部12で得られた比に基づいて、車両画像に含まれる左右のヘッドライトの部分の画像における位置をそれぞれ推定する。
上述したようにして、左右の部品について推定された位置に基づいて、領域画像抽出部223は、車両画像から、それぞれ所定の範囲の画像を抽出する(ステップ305−23)。例えば、領域抽出部223は、推定部222によって推定された位置を中心として、左右の部品の大きさに対応する領域の画像を抽出してもよい。このとき、領域抽出部223は、算出部12で得られた比に基づいて、画像における左右の部品の大きさをそれぞれ求めてもよい。
このようにして左右の部品についてそれぞれ抽出された領域の画像は、比較部224に渡される。比較部224は、左右の部品についてそれぞれ抽出された領域の画像について、それぞれの特徴を比較する処理を行う(ステップ305−24)。例えば、比較部224は、左側の部品について抽出された領域の画像の輝度分布と右側の部品について抽出された領域の画像の輝度分布とについてそれぞれ特徴を抽出し、輝度分布の類似度を求めてもよい。また、比較部224は、左右の部品に対応する領域の平均輝度やその領域の色をそれぞれの画像の特徴として、互いの類似度を求めてもよい。
上述したようにして、検出部14は、部品の対について推定された位置の周辺の画像の特徴を比較する。これにより、車両1の正面の水平方向についての対称線から離れて接地された部品についても、斜め方向から撮影したことによる画像のゆがみにかかわらず、左右の対称性を判断することができる。
いずれの場合でも、対称性判定部221は、比較部224で求められた類似度が所定の閾値よりも高い場合に(ステップ305−25の否定判定)、図10に示したステップ305−7と同様に、検証中の左右の部品は正常である旨を出力する。一方、比較部224で求められた類似度が所定の閾値よりも低い場合に(ステップ305−25の肯定判定)、左右の部品について非対称な特徴を検出する(ステップ305−9)。この検出結果に基づいて、結果保存部6は、車両認証データベース8に、ステップ305−9で検出された非対称な特徴を、車両1を示す認識IDに対応して保存する。
例えば、比較部224によって求められた左右のヘッドライトに対応する領域の輝度分布の類似度が所定の閾値以下とされた場合に、対称性判定部221は、ヘッドライトの輝度が非対称である旨の情報を検出結果として出力する。これに応じて、結果保存部6は、図11の例で、認識対象の車両の認識ID[0001]に対応して示すように、車両認識データベース8に、片方のヘッドライトのみが点灯している旨を保存する。また、比較部224は、左右のヘッドライトに対応する領域の平均輝度を比較して、どちらが低輝度であるかを示す情報を出力することもできる。この情報を利用すれば、結果保存部6により、図11に、認識対象の車両の認識ID[0001]のヘッドライトの欄に括弧書きで示したように、異常が疑われる部品を明確に示すこともできる。
また、例えば、ドアミラーの一方が破損している場合には、左右のドアミラーの推定位置に対応して抽出された領域について、比較部224によって求められた色の類似度が所定の閾値よりも低くなる。この場合に、対称性判定部221は、ドアミラーが非対称である旨の情報を検出結果として出力する。これに応じて、結果保存部6は、図11の例で、認識対象の車両の認識ID[0002]に対応して示すように、車両認識データベース8に、ドアミラーの一方が検出できない旨を保存する。また、比較部224は、左右のドアミラーに対応する領域の色とボディ部の色とを比較して、どちらの領域の色が一致しているかを示す情報を出力することもできる。この情報を利用すれば、結果保存部6により、図11に、認識対象の車両の認識ID[0002]のドアミラーの欄に括弧書きで示したように、異常が疑われる部品を明確に示すこともできる。
なお、ドアミラーのように、車両1の中央から外れた位置に配置される部品は、カメラ2の撮影方向によっては、画像に現れない場合もある。このような場合に対応するために、例えば、算出部12によって求められた比が所定の範囲に含まれない場合に、検証対象とする部品を制限してもよい。
図11に、認識対象の車両の認識ID[0005]のドアミラーの欄に示した符号「−」は、当該車両については、ドアミラーを対称性についての検証対象から外した旨を示す。
ところで、カメラ2の撮影方向が車両1の正面方向である場合に、上述した生成部13によって生成される中心線は、カメラ2によって得られた画像に含まれる車両画像の外形の中心線に一致する。この場合に、検出部14は、車両画像を単純に左右で比較することにより、車両1に含まれる各部品について非対称な特徴があるか否かを判断することができる。なお、カメラ2の撮影方向が車両1の正面方向であるか否かは、例えば、図7に示したナンバープレート抽出部4−aによって抽出されたナンバープレートの画像が長方形であるか否かに基づいて判断することができる。