JP5772321B2 - 車両検出装置、車両検出方法及びプログラム - Google Patents

Description

本発明は、車両検出装置、車両検出方法及びプログラムに関し、更に詳しくは、自車両の周囲を走行する車両を検出する車両検出装置、自車両の周囲を走行する車両を検出するための車両検出方法及びプログラムに関する。

近年、車内に設置されたカメラから出力される画像に基づいて、自車の前方に存在する障害物等を検出する運転支援システムが種々提案されている（例えば特許文献１及び非特許文献１参照）。

特許文献１に記載された装置は、自車の前方を撮影して得られる画像から、自車の前方を走行する車両の右側のエッジを構成する画素と、左側のエッジを構成する画素のペアを抽出する。そして、ペアとなった画素の中点の座標と、画素相互間の距離とによって規定される点の分布に基づいて、当該画素が車両の左右の外縁を表す画素かどうかを判断する。

また、非特許文献１に記載された装置は、画像に現れる水平エッジの対称性に基づいて、画像に写る車両を検出する。また、画像に写るナンバープレートの大きさから、自車と自車周辺の車両との距離を推定する。

特開２００５−１５６１９９号公報

広島工業大学紀要研究編 第４３巻（２００９）ｐｐ．３１７−３２２ 単眼車載カメラを利用した自動車運転支援

自車の前方を走行する車両を撮影して得られる画像は、周囲の環境の影響を大きく受ける。このため、夜間などには、撮影した画像に車両のエッジが明瞭に現れないことがある。

このような場合には、特許文献１に記載された装置は、車両の両側のエッジを構成する画素のペアを正確に抽出することができなくなる。また、非特許文献１に記載された装置は、正確に水平エッジを検出することができなくなる。したがって、上述の装置では、自車両の周辺を走行する車両を検出するのが困難となる。

本発明は、上述の事情の下になされたもので、自車両の周囲を走行する車両を検出し、検出した車両が自車両に衝突するまでの衝突時間を、効率的に算出することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る車両検出装置は、
自車両の進行方向を順次撮影することにより得られる第１画像と第２画像とから、前記自車両の周囲に位置する車両の画像を構成し、前記車両の構成部分の部分画像を含むパターンを検出するパターン検出手段と、
前記パターンが、前記第１画像及び前記第２画像から検出された場合に、検出された１組のパターンに基づいて、前記車両が前記自車両に衝突するまでの衝突時間を算出する第１衝突時間算出手段と、
前記検出手段が前記第１画像及び前記第２画像のうちの少なくとも一方から、前記パターンを検出することができなかった場合に、前記第１画像を構成する画素についての特徴量に基づく特徴点と、前記第２画像を構成する画素についての特徴量に基づく特徴点とによって規定されるオプティカルフローに基づいて、前記車両が前記自車両に衝突するまでの衝突時間を算出する第２衝突時間算出手段と、
を備える。

本発明の第２の観点に係る車両検出方法は、
自車両の進行方向を順次撮影することにより得られる第１画像と第２画像とから、前記自車両の周囲に位置する車両の画像を構成し、前記車両の構成部分の部分画像を含むパターンを検出する工程と、
前記パターンが、前記第１画像及び前記第２画像から検出された場合に、検出された１組のパターンに基づいて、前記車両が前記自車両に衝突するまでの衝突時間を算出する工程と、
前記第１画像及び前記第２画像のうちの少なくとも一方から、前記パターンが検出されなかった場合に、前記第１画像を構成する画素についての特徴量に基づく特徴点と、前記第２画像を構成する画素についての特徴量に基づく特徴点とによって規定されるオプティカルフローに基づいて、前記車両が前記自車両に衝突するまでの衝突時間を算出する工程と、
を含む。

本発明の第３の観点に係るプログラムは、
コンピュータに、
自車両の進行方向を順次撮影することにより得られる第１画像と第２画像とから、前記自車両の周囲に位置する車両の画像を構成し、前記車両の構成部分の部分画像を含むパターンを検出する手順と、
前記パターンが、前記第１画像及び前記第２画像から検出された場合に、検出された１組のパターンに基づいて、前記車両が前記自車両に衝突するまでの衝突時間を算出する手順と、
前記第１画像及び前記第２画像のうちの少なくとも一方から、前記パターンが検出されなかった場合に、前記第１画像を構成する画素についての特徴量に基づく特徴点と、前記第２画像を構成する画素についての特徴量に基づく特徴点とによって規定されるオプティカルフローに基づいて、前記車両が前記自車両に衝突するまでの衝突時間を算出する手順と、
を実行させる。

本発明によれば、画像から衝突時間を算出すために必要な車両のパターンが検出された場合には、当該パターンを用いて比較的簡単な演算によって、衝突時間が算出される。また、必要なパターンが検出されなかった場合には、比較的複雑な演算によって、衝突時間が正確に算出される。これにより、効率的に車両が自車両に衝突するまでの衝突時間を算出することが可能となる。

本実施形態に係る車両検出装置のブロック図である。 撮影装置の取り付け位置を説明するための図である。 自車両と、自車両の前方を走行する車両の位置関係を示す図である。 車両が写る画像を示す図である。 車両が写る画像を示す図である。 検出領域を示す図である。 車両のオプティカルフローを示す図である。 衝突予測時間を算出するための処理を説明するための図である。 ＣＰＵによって実行される一連の処理を示すフローチャートである。 サブルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。

以下、本発明の一実施形態を、図面を参照しつつ説明する。図１は本実施形態に係る車両検出装置１０の概略的な構成を示すブロック図である。車両検出装置１０は、例えば自車両の進行方向に存在する車両を検出する装置である。この車両検出装置１０は、図１に示されるように、演算装置２０、撮影装置３１、及び警報装置３２を有している。この車両検出装置１０は、後述する自車両１００に搭載される。

撮影装置３１は、被写体を撮影することにより取得した画像を、電気信号に変換して出力する装置である。撮影装置３１は、例えば図２に示されるように、自車両１００のフロントウインド上部に取り付けられている。この撮影装置３１は、自車両１００の前方を撮影する。そして、撮影により取得した画像に関する画像情報を演算装置２０へ出力する。

図３は、自車両１００と車両１０１との相対的な位置関係を示す図である。例えば、自車両１００の前方を走行する車両１０１が、自車両１００に相対的に接近している場合を考える。図３を参照するとわかるように、矢印ａ１に示される位置にある車両１０１は、所定の時間が経過すると矢印ａ２に示される位置に相対的に移動する。この場合には、撮影装置３１によって、まず矢印ａ１に示される位置にある車両１０１が撮影され、次に矢印ａ２に示される位置にある車両１０１が撮影される。

図４は、矢印ａ１に示される位置にある車両１０１を撮影することにより得られた画像ＰＨ_１を示す図である。また、図５は、矢印ａ２に示される位置にある車両１０１を撮影することにより得られた画像ＰＨ_２を示す図である。撮影装置３１は、画像ＰＨ_１，ＰＨ_２に代表される画像ＰＨを撮影すると、画像ＰＨに関する情報を、演算装置２０へ出力する。

本実施形態では、上述の画像ＰＨについて、撮影装置３１の光学中心に対応する点（撮影装置３１の光軸とその画像面との交点である画像中心）を原点Ｘｃ（ＦＯＥ：Focus Of Expansion）とするｘｙ座標系を定義する。このｘｙ座標系の原点Ｘｃは、画像ＰＨの中心と一致する。

図１に戻り、警報装置３２は、演算装置２０から出力される警報の発令指示を受信すると、自車両１００のドライバに対して、例えば音声による警報を出力する。

演算装置２０は、ＣＰＵ（Central Processing Unit）２１、主記憶部２２、補助記憶部２３、表示部２４、及びインターフェイス部２６を有するコンピュータである。

ＣＰＵ２１は、補助記憶部２３に記憶されているプログラムに従って、自車両１００の周囲を走行する車両１０１を検出する。具体的な処理の内容については後述する。

主記憶部２２は、ＲＡＭ（Random Access Memory）等を有している。主記憶部２２は、ＣＰＵ２１の作業領域として用いられる。

補助記憶部２３は、例えばＲＯＭ（Read Only Memory）、半導体メモリ等の不揮発性メモリを有している。補助記憶部２３は、ＣＰＵ２１が実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置３１から出力される画像に関する情報、及びＣＰＵ２１による処理結果などを含む情報を順次記憶する。

表示部２４は、ＬＣＤ（Liquid Crystal Display）などの表示ユニットを有している。表示部２４は、ＣＰＵ２１の処理結果等を表示する。

インターフェイス部２６は、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮影装置３１及び警報装置３２は、インターフェイス部２６を介してシステムバス２７に接続される。

図９乃至図２０のフローチャートは、ＣＰＵ２１によって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図面を参照しつつ、車両検出装置１０の動作について説明する。なお、ここでは図４或いは図５を参照するとわかるように、撮影装置３１の視野内に自車両１００の前方を走行する車両１０１が位置しているものとする。

まず、最初のステップＳ２０１では、ＣＰＵ２１は、補助記憶部２３に記憶された画像情報を取得する。ここでは、例えば図５に示される画像ＰＨ_２に関する画像情報を取得する。

次のステップＳ２０２では、ＣＰＵ２１は、処理領域の設定を行うために、図１０に示されるサブルーチンＳＲ１を実行する。サブルーチンＳＲ１の最初のステップＳ３０１では、ＣＰＵ２１は、ステップＳ２０１で取得した画像情報の直近に取得した画像情報によって規定される画像ＰＨから、検出対象物が検出されているか否かを判断する。

具体的には、ＣＰＵ２１は、画像ＰＨ_２を規定する画像情報の前に取得された画像情報によって規定される画像ＰＨ_１から、検出対象物が検出されている否かを判断する。画像ＰＨ_１には、図４に示されるように、車両１０１が写っている。したがって、この車両１０１の画像が明瞭である場合には、画像ＰＨ_１から車両１０１が検出される。この場合には、ステップＳ３０１での判断が肯定される（ステップＳ３０１：Ｙｅｓ）。一方、画像ＰＨ_１に、車両１０１が写っていない場合や、画像が不明瞭である場合には、画像ＰＨ_１からは、検出対象物が検出されない。この場合には、ステップＳ３０１での判断が否定される（ステップＳ３０１：Ｎｏ）。

ステップＳ３０１での判断が肯定された場合には（ステップＳ３０１：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ３０２へ移行する。

ステップＳ３０２では、ＣＰＵ２１は、検出領域の設定を行う。この検出領域の設定は、検出対象と自車両１００との相対速度、画像ＰＨ上での検出対象の大きさに基づいて行われる。

例えば、ＣＰＵ２１は、図４に示される画像ＰＨ_１と、当該画像ＰＨ_１が撮影される前に撮影された画像ＰＨ_０によって規定される車両１０１のオプティカルフローに基づいて、車両１０１の相対速度を算出する。そして、車両１０１の相対速度と、画像ＰＨ_１での車両１０１の画像の大きさに基づいて、図５に示されるように、画像ＰＨ_２に、車両１０１の画像が現れると予測される領域Ａ１を特定する。そして、ＣＰＵ２１は、領域Ａ１を、画像ＰＨ_２に写る車両１０１を検出するための検出領域に設定する。検出領域が設定された後は、この検出領域に対してのみ、検出対象物の検出処理が実行される。これにより、検出対象物の検出処理の際に行われる演算が少なくなる。

また、ステップＳ３０１での判断が否定された場合は（ステップＳ３０１：Ｎｏ）、ＣＰＵ２１は、ステップＳ３０３へ移行する。

ステップＳ３０３では、ＣＰＵ２１は、画像ＰＨの全体を検出領域に設定する。これにより、検出対象物の検出処理は、画像全体に対して実行されることになる。

ステップＳ３０２及びステップＳ３０３の処理が終了すると、ＣＰＵ２１は、サブルーチンＳＲ１を終了し、次のステップＳ２０３へ移行する。

ステップＳ２０３では、ＣＰＵ２１は、車両パターンの探索を行うために、図１１に示されるサブルーチンＳＲ２を実行する。車両パターンとは、例えば、車両の輪郭、テールランプ、ヘッドランプ、車両の下にできる影、タイヤ、及びナンバープレートそれぞれを構成する画素群からなる部分画像をいう。これらは、車両１０１の画像を構成する。以下、車両の輪郭、テールランプ、ヘッドランプ、影、タイヤ、ナンバープレートに対応する車両パターンを、車両パターン１〜６と表示する。

サブルーチンＳＲ２の最初のステップＳ４０１では、ＣＰＵ２１は、演算順序の設定を行うために、図１２に示されるサブルーチンＳＲ３を実行する。

サブルーチンＳＲ３の最初のステップＳ５０１では、ＣＰＵ２１は、ステップＳ２０１で取得した画像情報の直近に取得した画像情報によって規定される画像ＰＨから、車両パターンが検出されているか否かを判断する。

具体的には、ＣＰＵ２１は、画像ＰＨ_１から車両１０１を構成する車両パターンが検出されているか否かを判断する。画像ＰＨ_１から、例えば、車両の輪郭、テールランプ、ヘッドランプ、車両の下にできる影、タイヤ、及びナンバープレートを示す車両パターンが検出されている場合には、ステップＳ５０１での判断が肯定される。一方、画像ＰＨ_１から、車両パターンが検出されていない場合には、ステップＳ５０１での判断が否定される。

ステップＳ５０１での判断が肯定された場合には（ステップＳ５０１：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ５０２へ移行する。

ステップＳ５０２では、ＣＰＵ２１は、車両パターンの特徴量それぞれに基づいて、車両パターンをソートする。上述の特徴量は、後述するサブルーチンＳＲ２のステップＳ４０２で算出される要素である。この特徴量は、車両パターンを構成する部分画像が、車両１０１の画像の一部であることを示す信頼度と等価である。

そして、例えば、車両パターン１の信頼度が１、車両パターン２の信頼度が５、車両パターン３の信頼度が３、車両パターン４の信頼度が６、車両パターン５の信頼度が２、車両パターン６の信頼度が、７である場合には、ステップＳ５０２の処理によって、車両パターン６、車両パターン４、車両パターン２、車両パターン３、車両パターン５、車両パターン１の順に順位が付与される。

次のステップＳ５０３では、ＣＰＵ２１は、車両パターンについての特徴量を算出する順番を設定する。例えば、ステップＳ５０２で、各車両パターン１〜６それぞれに、車両パターン６、車両パターン４、車両パターン２、車両パターン３、車両パターン５、車両パターン１の順に順位が付与された場合には、この順位にしたがった順番を設定する。これにより、前回算出された信頼度が高い車両パターンから順に、当該車両パターンの特徴量が算出されることになる。

一方、ステップＳ５０１での判断が否定された場合には（ステップＳ５０１：Ｎｏ）、ＣＰＵ２１は、ステップＳ５０４へ移行する。

ステップＳ５０４では、ＣＰＵ２１は、今現在が夜間であるか否かを判断する。この判断は、画像の特定領域の平均輝度を計算し、その輝度が所定の閾値を下回るか否かにより行う。特定領域の平均輝度が、閾値を下回った場合には、今現在が夜間であると判断することができる。

ステップＳ５０４での判断が否定された場合には（ステップＳ５０４：Ｎｏ）、ＣＰＵ２１は、ステップＳ５０５へ移行する。

ステップＳ５０５では、ＣＰＵ２１は、車両パターンの特徴量を算出するときの順番を、昼間に適した順番に設定する。車両１０１の画像を構成する各車両パターンは、昼間に容易に検出できるものと、夜間に容易に検出できるものがあり、車両１０１の周囲環境によって、検出容易性が変化する。

そこで、昼間に検出容易性が高い車両パターンから順に、当該車両パターンに予め順位を付与しておく。そして、ステップＳ５０５では、予め付与された順位にしたがって、車両パターンについての特徴量を算出する順番を設定する。これにより、後述するステップＳ４０２において、昼間に検出容易性が高い車両パターンから順に、当該車両パターンの特徴量が算出されることになる。

一方、ステップＳ５０４での判断が肯定された場合には（ステップＳ５０４：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ５０６へ移行する。

ステップＳ５０６では、ＣＰＵ２１は、車両パターンの特徴量を算出するときの順番を、夜間に適した順番に設定する。具体的には、夜間に検出容易性が高い車両パターンから順に、当該車両パターンに予め順位を付与しておく。そして、ステップＳ５０６では、予め付与された順位にしたがって、車両パターンについての特徴量を算出する順番を設定する。これにより、後述するステップＳ４０２において、夜間に検出容易性が高い車両パターンから順に、当該車両パターンの特徴量が算出されることになる。

ステップＳ５０３，ステップＳ５０５，又はステップＳ５０６の処理が終了すると、ＣＰＵ２１は、サブルーチンＳＲ３を終了し、サブルーチンＳＲ２のステップＳ４０２へ移行する。

次のステップＳ４０２では、ステップＳ４０１で設定された順番にしたがって、車両パターンそれぞれの特徴量を算出する。以下、各車両パターンの特徴量の算出を、図１３乃至図１８に示されるサブルーチンＳＲ４〜ＳＲ９を参照しつつ説明する。

《車両輪郭候補の特徴量算出》
図１３は、車両輪郭候補の特徴量を算出するための手順を示すサブルーチンＳＲ４である。図１３に示されるように、最初のステップＳ６０１では、ＣＰＵ２１は、特徴量の算出が既にされているか否かを判断する。例えば、画像ＰＨ_１について、図１３に示されるステップＳ６０１〜Ｓ６１１までの処理が実行されている場合には、画像ＰＨ_２についてのステップＳ６０１での判断が肯定され（ステップＳ６０１：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ６０２へ移行する。一方、画像ＰＨ_１について、図１３に示されるステップＳ６０１〜Ｓ６１１までの処理が実行されていない場合には、画像ＰＨ_２についてのステップＳ６０１での判断が否定され（ステップＳ６０１：Ｎｏ）、ＣＰＵ２１は、ステップＳ６０３へ移行する。

ステップＳ６０２では、ＣＰＵ２１は、検出領域を制限する。図５に示されるように、検出領域としての領域Ａ１は、画像ＰＨに写る車両１０１の画像を含む領域に設定されている。そこで、ＣＰＵ２１は、ステップＳ６０１で、車両１０１の輪郭が検出されている場合には、この輪郭に基づいて、検出領域を制限する。これにより、図６に示されるように、車両１０１の輪郭を示すボディのエッジに基づいて、領域Ａ１の中に、検出領域としての領域Ａ２が規定される。

ステップＳ６０３では、ＣＰＵ２１は、領域Ａ２に含まれる画素それぞれに対して、例えばソーベルフィルタを用いた演算を行うことにより、画素それぞれについての微分値を算出する。

次のステップＳ６０４では、ＣＰＵ２１は、エッジの抽出を行う。例えばＣＰＵ２１は、画素それぞれの微分値を二値化する。そして、二値化された微分値（以下エッジ値という）が１となる画素をエッジ点として抽出する。

次のステップＳ６０５では、ＣＰＵ２１は、エッジ点を中心に水平方向に並ぶ画素の微分値のヒストグラムと、エッジ点を中心に垂直方向に並ぶ画素の微分値のヒストグラムとを算出する。

次のステップＳ６０６では、ＣＰＵ２１は、算出したヒストグラムのピークから、値が閾値以上となるピークを抽出する。そして、ピークが現れた画像上の領域に対して、直線上に連続して並んだエッジ点の集合を水平線分或いは垂直線分として抽出する。

次のステップＳ６０７では、ＣＰＵ２１は、車両輪郭候補を抽出する。例えば、ＣＰＵ２１は、各水平線分及び垂直成分を組み合わせる。そして、組み合わせた線分の数及び、組み合わせた線分の縦横比に基づいて、車両輪郭候補としてのエッジの集合を抽出する。

次のステップＳ６０８では、ＣＰＵ２１は、車両輪郭候補の線分の数、線分を構成するエッジ点の微分値の平均値、車両輪郭候補の縦横比、及び、車両輪郭候補の下限位置と幅を、実際の車両が写る基準画像から抽出した特徴量と比較して、車両輪郭候補の信頼度を算出する。この信頼度は、車両輪郭候補としてのエッジの集合が、車両１０１のエッジである確度と等価である。

次のステップＳ６０９では、ＣＰＵ２１は、ステップＳ６０８で算出した信頼度が、閾値より大きいか否かを判断する。ＣＰＵ２１は、信頼度が閾値より大きいと判断した場合には（ステップＳ６０９：Ｙｅｓ）、ステップＳ６１０に移行する。また、信頼度が閾値以下であると判断した場合には（ステップＳ６０９：Ｎｏ）、サブルーチンＳＲ４を終了する。

ステップＳ６１０では、ＣＰＵ２１は、画像ＰＨに設定された検出領域に、車両輪郭の候補が存在すると認識する。これにより、次回のステップＳ６０１での判断が、肯定されることになる。そして、次のステップＳ６１１で、画像ＰＨ上での車両輪郭の位値と、幅、及び高さを記憶する。ＣＰＵ２１は、ステップＳ６１１の処理が終了すると、サブルーチンＳＲ４を終了する。

《テールランプ候補の特徴量算出》
図１４は、テールランプ候補の特徴量を算出するための手順を示すサブルーチンＳＲ５である。図１４に示されるように、最初のステップＳ７０１では、ＣＰＵ２１は、特徴量の算出が既にされているか否かを判断する。例えば、画像ＰＨ_１について、図１４に示されるステップＳ７０１〜Ｓ７１０までの処理が実行されている場合には、画像ＰＨ_２についてのステップＳ７０１での判断が肯定され（ステップＳ７０１：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ７０２へ移行する。一方、画像ＰＨ_１について、図１４に示されるステップＳ７０１〜Ｓ７１０までの処理が実行されていない場合には、画像ＰＨ_２についてのステップＳ７０１での判断が否定され（ステップＳ７０１：Ｎｏ）、ＣＰＵ２１は、ステップＳ７０３へ移行する。

ステップＳ７０２では、ＣＰＵ２１は、検出領域を制限する。図５に示されるように、検出領域としての領域Ａ１は、画像ＰＨに写る車両１０１の画像を含む領域である。そこで、ＣＰＵ２１は、ステップＳ７０１で、車両１０１のテールランプの部分画像が検出されている場合には、当該テールランプの部分画像に基づいて、検出領域を制限する。

ステップＳ７０３では、ＣＰＵ２１は、検出領域から、赤色の画素を抽出する。例えば、ＣＰＵ２１は、各画素のＨＳＶ値（H:Hue, S:Saturation・Chroma, V:Brightness・Lightness・Value）を算出する。そして、ＣＰＵ２１は、各画素について算出したＨＳＶ値と、実際のテールランプの画像を構成する画素のＨＳＶ値との差を算出し、その差が所定の範囲内にある画素を抽出する。これにより、画像ＰＨから色相が赤の画素が順次抽出され、結果的に、赤色の画素からなる画素群が抽出される。

次のステップＳ７０４では、ＣＰＵ２１は、抽出された画素群から、面積が所定の基準値よりも大きい領域を形成する画素群を抽出する。そして、抽出した画素群を構成する画素にラベリングを施す。これにより、画素群それぞれが、１つの赤色領域として認識される。

次のステップＳ７０５では、ＣＰＵ２１は、赤色領域についての特徴量を抽出する。例えば、ＣＰＵ２１は、赤色領域の縦横比及び円形度、赤色領域を構成する画素の色相の平均値、基準色に対する赤色比率、１組のテールランプの候補としての１組の赤色領域の対称性等に代表される特徴量を算出する。

次のステップＳ７０６では、ＣＰＵ２１は、ステップＳ７０５で抽出した特徴量に基づいて、テールランプの部分画像の候補となる赤色領域を抽出する。

次のステップＳ７０７では、ＣＰＵ２１は、ステップＳ７０６で抽出した赤色領域と、実際のテールランプを写した基準画像から抽出した特徴量とを比較して、候補としての赤色領域が、テールランプの部分画像である確度と等価な信頼度を算出する。

次のステップＳ７０８では、ＣＰＵ２１は、ステップＳ７０７で算出した信頼度が、閾値より大きいか否かを判断する。ＣＰＵ２１は、信頼度が閾値より大きいと判断した場合には（ステップＳ７０８：Ｙｅｓ）、ステップＳ７０９に移行する。一方、信頼度が閾値以下であると判断した場合には（ステップＳ７０８：Ｎｏ）、サブルーチンＳＲ５を終了する。

ステップＳ７０９では、ＣＰＵ２１は、画像ＰＨに設定された検出領域に、テールランプの候補となる赤色領域が存在すると認識する。これにより、次回のステップＳ７０１での判断が、肯定されることになる。そして、次のステップＳ７１０で、画像ＰＨ上での、テールランプの候補となる赤色領域同士の間隔及び位置を記憶する。ＣＰＵ２１は、ステップＳ７１０の処理が終了すると、サブルーチンＳＲ５を終了する。

《ヘッドランプ候補の特徴量算出》
図１５は、ヘッドランプ候補の特徴量を算出するための手順を示すサブルーチンＳＲ６である。図１５に示されるように、最初のステップＳ８０１では、ＣＰＵ２１は、特徴量の算出が既にされているか否かを判断する。例えば、画像ＰＨ_１について、図１５に示されるステップＳ８０１〜Ｓ８１０までの処理が実行されている場合には、画像ＰＨ_２についてのステップＳ８０１での判断が肯定され（ステップＳ８０１：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ８０２へ移行する。一方、画像ＰＨ_１について、図１５に示されるステップＳ８０１〜Ｓ８１０までの処理が実行されていない場合には、画像ＰＨ_２についてのステップＳ８０１での判断が否定され（ステップＳ８０１：Ｎｏ）、ＣＰＵ２１は、ステップＳ８０３へ移行する。

ステップＳ８０２では、ＣＰＵ２１は、検出領域を制限する。図５に示されるように、検出領域としての領域Ａ１は、画像ＰＨに写る車両１０１の画像を含む領域に設定されている。そこで、ＣＰＵ２１は、ステップＳ８０１で、車両１０１のヘッドランプの部分画像が検出されている場合には、当該ヘッドランプの部分画像に基づいて、検出領域を制限する。

ステップＳ８０３では、ＣＰＵ２１は、検出領域から、白色の画素からある白色領域を抽出する。例えば、ＣＰＵ２１は、各画素のＨＳＶ値を算出する。そして、ＣＰＵ２１は、各画素について算出したＨＳＶ値と、実際のヘッドランプの画像を構成する画素のＨＳＶ値との差を算出し、その差が所定の範囲内にある画素を抽出する。これにより、画像ＰＨから色相が白の画素が順次抽出され、結果的に、白色の画素からなる画素群が抽出される。

次のステップＳ８０４では、ＣＰＵ２１は、抽出された画素群から、面積が所定の基準値よりも大きい領域を形成する画素群を抽出する。そして、抽出した画素群を構成する画素にラベリングを施す。これにより、画素群それぞれが、１つの白色領域として認識される。

次のステップＳ８０５では、ＣＰＵ２１は、白色領域についての特徴量を抽出する。例えば、ＣＰＵ２１は、白色領域の縦横比、円形度、白色領域を構成する画素の色相の平均値、基準色に対する白色比率、１組のヘッドランプの候補としての１組の白色領域の対称性等に代表される特徴量を算出する。

次のステップＳ８０６では、ＣＰＵ２１は、ステップＳ８０５で抽出した特徴量から、ヘッドランプの画像の候補となる白色領域を抽出する。

次のステップＳ８０７では、ＣＰＵ２１は、ステップＳ８０６で抽出した白色領域と、実際のヘッドランプを写した基準画像から抽出した特徴量とを比較して、候補としての白色領域が、ヘッドランプの画像である確度と等価な信頼度を算出する。

次のステップＳ８０８では、ＣＰＵ２１は、ステップＳ８０７で算出した信頼度が、閾値より大きいか否かを判断する。ＣＰＵ２１は、信頼度が閾値より大きいと判断した場合には（ステップＳ８０８：Ｙｅｓ）、ステップＳ８０９に移行する。また、信頼度が閾値以下であると判断した場合には（ステップＳ８０８：Ｎｏ）、サブルーチンＳＲ６を終了する。

ステップＳ８０９では、ＣＰＵ２１は、画像ＰＨに設定された検出領域に、ヘッドランプの候補となる白色領域が存在すると認識する。これにより、次回のステップＳ８０１での判断が、肯定されることになる。そして、次のステップＳ８１０で、画像ＰＨ上での、ヘッドランプの候補となる白色領域同士の間隔及び位置を記憶する。ＣＰＵ２１は、ステップＳ８１０の処理が終了すると、サブルーチンＳＲ６を終了する。

《車両下影候補の特徴量算出》
図１６は、車両下影候補の特徴量を算出するための手順を示すサブルーチンＳＲ７である。図１６に示されるように、最初のステップＳ９０１では、ＣＰＵ２１は、特徴量の算出が既にされているか否かを判断する。例えば、画像ＰＨ_１について、図１６に示されるステップＳ９０１〜Ｓ９１２までの処理が実行されている場合には、画像ＰＨ_２についてのステップＳ９０１での判断が肯定され（ステップＳ９０１：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ９０２へ移行する。一方、画像ＰＨ_１について、図１６に示されるステップＳ９０１〜Ｓ９１２までの処理が実行されていない場合には、画像ＰＨ_２についてのステップＳ９０１での判断が否定され（ステップＳ９０１：Ｎｏ）、ＣＰＵ２１は、ステップＳ９０３へ移行する。

ステップＳ９０２では、ＣＰＵ２１は、検出領域を制限する。図５に示されるように、検出領域としての領域Ａ１は、画像ＰＨに写る車両１０１の画像を含む領域に設定されている。そこで、ＣＰＵ２１は、ステップＳ９０１で、車両１０１の下の影の部分画像が検出されている場合には、部分画像に基づいて、検出領域を制限する。

ステップＳ９０３では、ＣＰＵ２１は、検出領域に含まれる画素それぞれに対して、例えばソーベルフィルタを用いた演算を行うことにより、画素それぞれについての微分値を算出する。

次のステップＳ９０４では、ＣＰＵ２１は、エッジの抽出を行う。例えばＣＰＵ２１は、画素それぞれの微分値を二値化する。そして、二値化された微分値（以下エッジ値という）が１となる画素をエッジ点として抽出する。

次のステップＳ９０５では、ＣＰＵ２１は、エッジ点を中心に水平方向に並ぶ画素の微分値のヒストグラムと、エッジ点を中心に垂直方向に並ぶ画素の微分値のヒストグラムとを算出する。

次のステップＳ９０６では、ＣＰＵ２１は、算出したヒストグラムのピークに対応したエッジ点を抽出し、微分値の符合が相互に異なるエッジ点同士を、１組のエッジ点として順次抽出する。これにより、画像ＰＨから低輝度画素で示される影の画像のエッジが順次抽出される。

次のステップＳ９０７では、ＣＰＵ２１は、ステップＳ９０６で抽出されたエッジ点によって包囲される領域（以下、包囲領域という）の総面積に対する、輝度が所定の値以下の画素からなる低輝度領域の面積の割合（面積比）を算出する。

次のステップＳ９０８では、ＣＰＵ２１は、包囲領域が複数有る場合には、面積比が最も大きくなるときの包囲領域を、影の部分画像の候補となる領域として抽出する。また、包囲領域が１つしかない場合には、ステップＳ９０７で算出した面積比が、所定の値以上である場合に、当該包囲領域を、影の部分画像の候補となる領域として抽出する。

次のステップＳ９０９では、ＣＰＵ２１は、面積比率、包囲領域を構成する画素の輝度の平均値、及び包囲領域の縦横比を、実際の影が写る基準画像から抽出した特徴量と比較して、候補としての包囲領域が、車両１０１の影の部分画像である確度と等価な信頼度を算出する。

次のステップＳ９１０では、ＣＰＵ２１は、ステップＳ９０９で算出した信頼度が、閾値より大きいか否かを判断する。ＣＰＵ２１は、信頼度が閾値より大きいと判断した場合には（ステップＳ９１０：Ｙｅｓ）、ステップＳ９１１に移行する。また、信頼度が閾値以下であると判断した場合には（ステップＳ９１０：Ｎｏ）、サブルーチンＳＲ７を終了する。

ステップＳ９１１では、ＣＰＵ２１は、画像ＰＨに設定された検出領域に、車両の影の候補が存在すると認識する。これにより、次回のステップＳ９０１での判断が、肯定されることになる。そして、次のステップＳ９１２で、画像ＰＨ上での包囲領域の位値、及び幅を記憶する。ＣＰＵ２１は、ステップＳ９１２の処理が終了すると、サブルーチンＳＲ７を終了する。

《タイヤ候補の特徴量算出》
図１７は、タイヤ候補の特徴量を算出するための手順を示すサブルーチンＳＲ８である。図１７に示されるように、最初のステップＳ１００１では、ＣＰＵ２１は、特徴量の算出が既にされているか否かを判断する。例えば、画像ＰＨ_１について、図１７に示されるステップＳ１００１〜Ｓ１０１２までの処理が実行されている場合には、画像ＰＨ_２についてのステップＳ１００１での判断が肯定され（ステップＳ１００１：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ１００２へ移行する。一方、画像ＰＨ_１について、図１７に示されるステップＳ１００１〜Ｓ１０１２までの処理が実行されていない場合には、画像ＰＨ_２についてのステップＳ１００１での判断が否定され（ステップＳ１００１：Ｎｏ）、ＣＰＵ２１は、ステップＳ１００３へ移行する。

ステップＳ１００２では、ＣＰＵ２１は、検出領域を制限する。図５に示されるように、検出領域としての領域Ａ１は、画像ＰＨに写る車両１０１の画像を含む領域に設定されている。そこで、ＣＰＵ２１は、ステップＳ１００１で、車両１０１のタイヤの部分画像が検出されている場合には、部分画像に基づいて、検出領域を制限する。

ステップＳ１００３では、ＣＰＵ２１は、検出領域に含まれる画素それぞれに対して、例えばソーベルフィルタを用いた演算を行うことにより、画素それぞれについての微分値を算出する。

次のステップＳ１００４では、ＣＰＵ２１は、エッジの抽出を行う。例えばＣＰＵ２１は、画素それぞれの微分値を二値化する。そして、二値化された微分値（以下エッジ値という）が１となる画素をエッジ点として抽出する。

次のステップＳ１００５では、ＣＰＵ２１は、エッジ点を中心に水平方向に並ぶ画素の微分値のヒストグラムと、エッジ点を中心に垂直方向に並ぶ画素の微分値のヒストグラムとを算出する。

次のステップＳ１００６では、ＣＰＵ２１は、算出したヒストグラムのピークに対応したエッジ点を抽出し、微分値の符合が相互に異なるエッジ点同士を、１組のエッジ点として順次抽出する。これにより、画像ＰＨから低輝度画素で示されるタイヤの画像のエッジが順次抽出される。

次のステップＳ１００７では、ＣＰＵ２１は、ステップＳ１００６で抽出されたエッジ点によって包囲される領域（包囲領域）の総面積に対する、輝度が所定の値以下の画素からなる低輝度領域の面積の割合（面積比）を算出する。

次のステップＳ１００８では、ＣＰＵ２１は、ステップＳ１００７で算出した面積比が、所定の値以上である矩形状の包囲領域を、タイヤの部分画像の候補となる領域として抽出する。

次のステップＳ１００９では、ＣＰＵ２１は、包囲領域の高さ、幅を、実際のタイヤが写る基準画像から抽出した特徴量と比較して、候補としての包囲領域が、車両１０１のタイヤの部分画像である確度と等価な信頼度を算出する。また、その際には、１組の包囲領域が候補として抽出されたときは、包囲領域同士の間隔や、対称性、類似性も考慮する。

次のステップＳ１０１０では、ＣＰＵ２１は、ステップＳ１００９で算出した信頼度が、閾値より大きいか否かを判断する。ＣＰＵ２１は、信頼度が閾値より大きいと判断した場合には（ステップＳ１０１０：Ｙｅｓ）、ステップＳ１０１１に移行する。また、信頼度が閾値以下であると判断した場合には（ステップＳ１０１０：Ｎｏ）、サブルーチンＳＲ８を終了する。

ステップＳ１０１１では、ＣＰＵ２１は、画像ＰＨに設定された検出領域に、車両のタイヤの候補が存在すると認識する。これにより、次回のステップＳ１００１での判断が、肯定されることになる。そして、次のステップＳ１０１２で、画像ＰＨ上での包囲領域相互間の間隔、位値、及び幅を記憶する。ＣＰＵ２１は、ステップＳ１０１２の処理が終了すると、サブルーチンＳＲ８を終了する。

《ナンバープレート候補の特徴量算出》
図１８は、ナンバープレート候補の特徴量を算出するための手順を示すサブルーチンＳＲ９である。図１８に示されるように、最初のステップＳ１１０１では、ＣＰＵ２１は、特徴量の算出が既にされているか否かを判断する。例えば、画像ＰＨ_１について、図１８に示されるステップＳ１１０１〜Ｓ１１１２までの処理が実行されている場合には、画像ＰＨ_２についてのステップＳ１１０１での判断が肯定され（ステップＳ１１０１：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ１１０２へ移行する。一方、画像ＰＨ_１について、図１８に示されるステップＳ１１０１〜Ｓ１１１２までの処理が実行されていない場合には、画像ＰＨ_２についてのステップＳ１１０１での判断が否定され（ステップＳ１１０１：Ｎｏ）、ＣＰＵ２１は、ステップＳ１１０３へ移行する。

ステップＳ１１０２では、ＣＰＵ２１は、検出領域を制限する。図５に示されるように、検出領域としての領域Ａ１は、画像ＰＨに写る車両１０１の画像を含む領域に設定されている。そこで、ＣＰＵ２１は、ステップＳ１１０１で、車両１０１のナンバープレートの部分画像が検出されている場合には、部分画像に基づいて、検出領域を制限する。

ステップＳ１１０３では、ＣＰＵ２１は、検出領域に含まれる画素それぞれに対して、例えばソーベルフィルタを用いた演算を行うことにより、画素それぞれについての微分値を算出する。

次のステップＳ１１０４では、ＣＰＵ２１は、エッジの抽出を行う。例えばＣＰＵ２１は、画素それぞれの微分値を二値化する。そして、二値化された微分値（以下エッジ値という）が１となる画素をエッジ点として抽出する。

次のステップＳ１１０５では、ＣＰＵ２１は、エッジ点を中心に水平方向に並ぶ画素の微分値のヒストグラムと、エッジ点を中心に垂直方向に並ぶ画素の微分値のヒストグラムとを算出する。

ナンバープレートは、規定によりその大きさ及び形状が決まっており、縦横比は一定の値になる。そこで、次のステップＳ１１０６では、ＣＰＵ２１は、算出したヒストグラムのピークに対応したエッジ点を抽出し、微分値の符合が相互に異なるエッジ点同士を１組となったエッジ点として順次抽出する。そして、１組のエッジ点によって形成されるエッジのうち、縦横比率がナンバープレートの縦横比率とほぼ等価なエッジを、画像ＰＨからナンバープレートのエッジとして抽出する。これにより、長方形枠状のエッジが抽出される。ここで、車両の輪郭を示すエッジが検出されている場合には、長方形枠状のエッジと、車両の輪郭との大きさを比較して、信頼性の高いエッジのみを抽出することとしてもよい。

次のステップＳ１１０７では、ＣＰＵ２１は、ステップＳ１１０６で抽出されたエッジによって包囲される領域（包囲領域）の画素それぞれについて、色相値を算出する。そして、ナンバープレートの背景色と色相が等価な白の画素と、ナンバープレートの文字の色と色相が等価の緑の画素とを抽出する。そして、白の画素が占める面積に対する、緑の画素が占める面積の面積比率を算出する。

次のステップＳ１１０８では、ステップＳ１１０７で算出した面積比率が一定以上の包囲領域を、ナンバープレートの部分画像の候補となる領域として抽出する。

次のステップＳ１１０９では、ＣＰＵ２１は、包囲領域の高さ、幅、縦横比、面積比率を、実際のナンバープレートが写る基準画像から抽出した特徴量と比較して、候補としての包囲領域が、車両１０１のナンバープレートの部分画像である確度と等価な信頼度を算出する。

次のステップＳ１１１０では、ＣＰＵ２１は、ステップＳ１１０９で算出した信頼度が、閾値より大きいか否かを判断する。ＣＰＵ２１は、信頼度が閾値より大きいと判断した場合には（ステップＳ１１１０：Ｙｅｓ）、ステップＳ１１１１に移行する。また、信頼度が閾値以下であると判断した場合には（ステップＳ１１１０：Ｎｏ）、サブルーチンＳＲ９を終了する。

ステップＳ１１１１では、ＣＰＵ２１は、画像ＰＨに設定された検出領域に、車両のタイヤの候補が存在すると認識する。これにより、次回のステップＳ１１０１での判断が、肯定されることになる。そして、次のステップＳ１１１２で、画像ＰＨ上での包囲領域の幅、高さ及び位置を記憶する。ＣＰＵ２１は、ステップＳ１１１２の処理が終了すると、サブルーチンＳＲ９を終了する。

ＣＰＵ２１は、サブルーチンＳＲ２のステップＳ４０２の処理で、上述した車両の輪郭、テールランプ、ヘッドランプ、影、タイヤ、ナンバープレートのうちのいずれかを、ステップＳ４０１で規定された順番に基づいて選択して特徴量を算出する。例えば、ステップＳ４０１で規定された順番が、車両の輪郭、テールランプ、ヘッドランプ、影、タイヤ、ナンバープレートの順である場合には、ＣＰＵ２１は、ステップＳ４０５の処理の後ステップＳ４０２の処理が繰り返されるたびに、まず１回目のステップＳ４０２の処理で、車両の輪郭候補の特徴量を算出し、２回目のステップＳ４０２の処理で、テールランプ候補の特徴量を算出し、移行順次ステップＳ４０１で規定された順番に基づいて特徴量を算出する。ステップＳ４０２の処理が終了すると、ＣＰＵ２１は、ステップＳ４０３へ移行する。

ステップＳ４０３では、ＣＰＵ２１は、認識信頼度を算出する。具体的には、ＣＰＵ２１は、サブルーチンＳＲ４〜ＳＲ９の処理を実行することにより算出した信頼度の確率和を、認識信頼度として算出する。例えば、Ｎ回目のステップＳ４０２で実行されたサブルーチンによって算出された信頼度をｒ_Ｎとすると、認識信頼度Ｒは次式（１）で示される。

Ｒ＝１−（１−ｒ_１）・（１−ｒ_２）・…・（１−ｒ_Ｎ） …（１）

次のステップＳ４０４では、ＣＰＵ２１は、ステップＳ４０３で算出された認識信頼度が、閾値よりも大きいか否かを判断する。認識信頼度が閾値以下であると判断された場合には（ステップＳ４０４：Ｎｏ）、ＣＰＵ２１は、次のステップＳ４０５へ移行する。

ステップＳ４０５では、ＣＰＵ２１は、すべての車両パターンについての特徴量を算出したか否かを判断する。例えば、上述した車両の輪郭、テールランプ、ヘッドランプ、影、タイヤ、ナンバープレートすべてについての特徴量が算出されている場合には、ＣＰＵ２１は、サブルーチンＳＲ２の処理を終了して、次のステップＳ２０４へ移行する。一方、特徴量が算出されていない車両パターンがある場合には（ステップＳ４０５：Ｎｏ）、ステップＳ４０１へ戻り、ステップＳ４０１以降の処理を実行する。

また、ステップＳ４０４で、認識信頼度が閾値よりも大きいと判断された場合には（ステップＳ４０４：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ４０６へ移行する。

ステップＳ４０６では、ＣＰＵ２１は、認識信頼度を補助記憶部２３へ記憶する。ステップＳ４０６の処理を終了すると、ＣＰＵ２１は、サブルーチンＳＲ２の処理を終了して、ステップＳ２０４へ移行する。

ステップＳ２０４では、ステップＳ２０３の処理を行うことで、信頼性の高い認識信頼度を、連続して算出することができたか否かを判断する。信頼性が高いか否かの判断は、認識信頼度がステップＳ４０４での閾値以上であるか否かによって行う。そして、ステップＳ２０３が繰り返し実行されることで、信頼性の高い認識信頼度が連続して算出された場合には、ステップＳ２０４での判断が肯定される。一方、信頼性の高い認識信頼度が連続して算出されなかった場合には、ステップＳ２０４での判断が否定される。

図９に示されるステップＳ２０２〜Ｓ２１４までの処理は繰り返し実行されるが、ステップＳ２０４での処理が初めて実行される場合には、ここでの判断は否定され（ステップＳ２０４：Ｎｏ）、ＣＰＵ２１は、ステップＳ２０５へ移行する。

ステップＳ２０５では、ＣＰＵ２１は、図１９に示されるサブルーチンＳＲ１０を実行する。サブルーチンＳＲ１０の最初のステップＳ１２０１では、ＣＰＵ２１は、補助記憶部２３に記憶された画像ＰＨ_１，ＰＨ_２を構成する画素それぞれについての特徴量を算出し、この特徴量に基づいて画像に含まれる特徴点を抽出する。図４に示されるように、ここでは画像ＰＨ_１について、特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４が抽出される。また、図５に示されるように、画像ＰＨ_２について、特徴点Ｑ１，Ｑ２，Ｑ３，Ｑ４が抽出される。

次のステップＳ１２０２では、ＣＰＵ２１は、画像ＰＨ_１の特徴点Ｐ１〜Ｐ４を順次選択する。そして、この選択した特徴点と、画像ＰＨ_２の特徴点Ｑ１〜Ｑ４の相関値を算出する。例えば、ＣＰＵ２１は、まず画像ＰＨ_１の特徴点Ｐ１を中心とするテンプレートＴＦ１を、画像ＰＨ_２の特徴点Ｑ１〜Ｑ４の近傍で移動させながら、画像ＰＨ_２に対するテンプレートＴＦ１の相関値Ｒを順次算出する。ＣＰＵ２１は、上述の処理を、特徴点Ｐ２〜Ｐ４についても行う。

次のステップＳ１２０３では、ＣＰＵ２１は、図７を参照するとわかるように、算出した相関値Ｒに基づいて、画像ＰＨ_１の特徴点Ｐ１〜Ｐ４を始点とし、画像ＰＨ_２の特徴点Ｑ１〜Ｑ４を終点とするオプティカルフローＯＰ１〜ＯＰ４を規定する。

次のステップＳ１２０４では、ＣＰＵ２１は、規定された１群のオプティカルフローのグルーピングを行う。図７に示されるように、本実施形態では説明の便宜上、車両１０１に関するオプティカルフローが４本である場合について説明している。しかしながら、実際は、車両１０１を撮影した画像からは、数十或いは数百の特徴点を抽出することができる。そして、数十或いは数百本のオプティカルフローを規定することができる。

ＣＰＵ２１は、数十或いは数百本のオプティカルフローのうちから、ノイズ成分を多く含むオプティカルフローを除外し、残りのオプティカルフローをグルーピングする。例えば、車両１０１が完全な直線運動をしている場合には、各オプティカルフローと一致する直線は消失点ＶＰで交わるはずである。そこで、ＣＰＵ２１は、オプティカルフローと一致する直線が、消失点ＶＰから著しく離れている場合には、このオプティカルフローを除外し、残りのオプティカルフローを同一の移動体に関連するオプティカルフローとみなしてグルーピングする。ここでは車両１０１に関するオプティカルフローＯＰ１〜ＯＰ４が、車両１０１のオプティカルフローとしてグルーピングされる。ステップＳ１２０４の処理が終了すると、ＣＰＵ２１は、ステップＳ２０６へ移行する。

ステップＳ２０６では、ＣＰＵ２１は、グルーピングされたオプティカルフローに基づいて、自車両１００に接近する物体があるか否かを判断する。例えば、図７に示されるように、グルーピングされたオプティカルフローが、消失点ＶＰから離れる方向を向いている場合は、ＣＰＵ２１は、自車両１００に接近する物体があると判断する。一方、グルーピングされたオプティカルフローが、消失点ＶＰに近づく方向を向いている場合は、ＣＰＵ２１は、自車両１００に接近する物体がないと判断する。

ＣＰＵ２１は、自車両１００に接近する物体がないと判断した場合には（ステップＳ２０６：Ｎｏ）、ステップＳ２０２へ戻り、ステップＳ２０２以降の処理を実行する。また、ＣＰＵ２１は、自車両１００に接近する物体があると判断した場合には（ステップＳ２０６：Ｙｅｓ）、ステップＳ２０７へ移行する。

ステップＳ２０７では、ＣＰＵ２１は、オプティカルフローＯＰ１〜ＯＰ４を用いて、車両１０１が自車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。

画像ＰＨ_１が撮影されたときに、例えば図３における矢印ａ１に示される位置にある車両１０１は、画像ＰＨ_２が撮影されたときには、図３における矢印ａ２に示される位置に相対的に移動している。この場合、図８に示されるように、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１に対応するＸＹＺ座標系でのベクトルは、始点を対応点ＲＰ１とし、終点を対応点ＲＱ１とするベクトルＭＶ０となる。

オプティカルフローＯＰ１は、撮影装置３１の画像面ＩＭ（図３参照）内における特徴点の移動軌跡を示している。そして、ベクトルＭＶ０は、ＸＹＺ座標系における対応点の移動軌跡を示している。本実施形態では、車両１０１は、Ｚ軸に平行に相対移動するため、ベクトルＭＶ０はＺ軸に平行となる。また、特徴点Ｐ１及び対応点ＲＰ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ３上に配置されている。そして、特徴点Ｑ１及び対応点ＲＱ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ４上に配置されている。

したがって、対応点ＲＱ１と一致している車両１０１の指標点が、Ｘ座標をＸ１とするＸ軸上の点ＣＰ１に到達するまでの軌跡を示すベクトルＭＶ２の大きさ｜ＭＶ２｜と、特徴点Ｐ１のＸ座標ｘ２と、特徴点Ｑ１のＸ座標ｘ１と、ベクトルＭＶ０の大きさ｜ＭＶ０｜との幾何学的な関係は、次式（２）で示される。

ここで、ベクトルＭＶ０の大きさ｜ＭＶ０｜は、画像ＰＨ_１が撮像された時刻から画像ＰＨ_２が撮像された時刻までの時間Δｔと、自車両１００に対する車両１０１の相対速度Ｖとの積（＝Ｖ・Δｔ）である。また、ベクトルＭＶ２の大きさ｜ＭＶ２｜は、指標点が対応点ＲＱ１からＸ軸上の点ＣＰ１まで移動するのに要する時間ＴＴＣｃと、相対速度Ｖとの積（＝Ｖ・ＴＴＣｃ）である。

そこで、上記式（２）の｜ＭＶ２｜に（Ｖ・ＴＴＣｃ）を代入し、｜ＭＶ０｜に（Ｖ・Δｔ）を代入して、両辺を相対速度Ｖで除することで、次式（３）が得られる。

また、車両１０１の指標点が、対応点ＲＱ１から直線ＬＮ２で示される衝突面上の点ＣＰ２に到達するまでの軌跡を示すベクトルＭＶ１は、Ｚ軸と平行である。そして、ベクトルＭＶ１の大きさ｜ＭＶ１｜とベクトルＭＶ２の大きさ｜ＭＶ２｜との関係は、Ｘ軸から対応点ＲＱ１までの距離Ｚ１と、Ｘ軸と点ＣＰ２までの距離Ｌを用いると、次式（４）で示される。そして、次式（４）の｜ＭＶ２｜に（Ｖ・ＴＴＣｃ）を代入し、｜ＭＶ１｜に（Ｖ・ＴＴＣ）を代入して、両辺を相対速度Ｖで除することで、相対速度Ｖを含む項を含まない次式（５）が得られる。

上記式（５）のＬは、Ｘ軸と直線ＬＮ２で示される衝突面との距離であり、撮影装置３１の取り付け位置と自車両１００の前端との距離にほぼ等しい既知の値である。このため、ＣＰＵ２１は、Ｘ軸と対応点ＲＱ１との距離Ｚ１の値がわかれば、上記式（５）を用いて、車両１０１が自車両１００に衝突するまでの衝突予測時間ＴＴＣを算出することが可能となる。

そこで、ＣＰＵ２１は、次式（６）を用いて距離Ｚ１を算出する。そして、算出した距離Ｚ１を、上記式（５）に代入して、衝突予測時間ＴＴＣを算出する。なお、ｆは撮影装置３１の焦点距離である。また、δは、画像ＰＨ_１，ＰＨ_２を構成する画素のｙ軸方向の配列間隔である。また、ｈは、自車両１００が走行する路面と撮影装置３１との距離である。また、ｙｂは、図５に示されるように、画像ＰＨ_２における、特徴点Ｑ１と自車両１００が走行する路面との距離である。

次のステップＳ２１３では、ＣＰＵ２１は、衝突予測時間ＴＴＣが閾値より小さいか否かを判断する。ＣＰＵ２１は、衝突予測時間ＴＴＣが閾値以上であると判断した場合には（ステップＳ２１３：Ｎｏ）、ステップＳ２０２へ戻り、ステップＳ２０２以降の処理を実行する。一方、ＣＰＵ２１は、衝突予測時間ＴＴＣが閾値よりも小さいと判断した場合には（ステップＳ２１３：Ｙｅｓ）、ステップＳ２１４へ移行する。

ステップＳ２１４では、警報装置へ、警報の発令を指示する。これにより、自車両１００のドライバに対して警報が発令される。

また、ステップＳ２０４での判断が肯定された場合には（ステップＳ２０４：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ２０８へ移行する。

ステップＳ２０８では、ＣＰＵ２１は、後述するステップＳ２１０で接近車両の判断を行うにあたり、当該ステップＳ２１０で用いられる車両パターンについての特徴量が、信頼できるものであるか否かを判断する。例えば、この信頼性の有無の判断は、ある時刻ｔ_ｉに撮影された画像ＰＨ_１についての車両パターンの信頼度ｒ_ｉと、画像ＰＨ_１の次の時刻ｔ_ｉ＋１に撮影された画像ＰＨ_２についての車両パターンの信頼度ｒ_ｉ＋１の双方が、所定の閾値を超えているか否かにより判断する。

なお、信頼度についての信頼性の判断は、画像ＰＨ_１，ＰＨ_２相互間で、同一の車両パターンについて行われる。例えば、画像ＰＨ_１のテールランプの部分画像について特徴量と、画像ＰＨ_２のテールランプの部分画像について特徴量の双方が、閾値を超えているか否かについての判断は行われる。しかしながら、例えば画像ＰＨ_１のテールランプの部分画像について特徴量と、画像ＰＨ_２のヘッドランプの部分画像等について特徴量の双方が、閾値を超えているか否かについての判断は行われない。

そして、ある車両パターンについての信頼度ｒ_ｉと信頼度ｒ_ｉ＋１の双方の信頼度について、信頼性があると判断された場合には、ステップＳ２０８での判断が肯定される。一方、すべての車両パターンについて、信頼度ｒ_ｉと信頼度ｒ_ｉ＋１のいずれか一方、或いは双方の信頼度について信頼性がないと判断された場合には、ステップＳ２０８での判断が否定される。

ＣＰＵ２１は、ステップＳ２０８で信頼性がないと判断した場合には（ステップＳ２０８：Ｎｏ）、ステップＳ２０９に移行する。

ステップＳ２０９では、ＣＰＵ２１は、画像ＰＨから抽出された車両パターンに基づいて、車両１０１を含む検出領域を設定する。これにより、例えば図６に示されるように、画像ＰＨに、車両１０１の画像が現れると予測される領域Ａ２が設定される。ＣＰＵ２１は、ステップＳ２０９での処理が終了すると、領域Ａ２について、ステップＳ２０５以降の処理を行う。

また、ＣＰＵ２１は、ステップＳ２０８で信頼性があると判断した場合には（ステップＳ２０８：Ｙｅｓ）、ステップＳ２１０に移行する。

ステップＳ２１０では、ＣＰＵ２１は、接近車両の判断を行うために、図２０に示されるサブルーチンＳＲ１１を実行する。サブルーチンＳＲ１１の最初のステップＳ１３０１では、上述した車両の輪郭、テールランプ、ヘッドランプ、影、タイヤ、ナンバープレートの部分画像（車両パターン）のうち、ステップＳ２０８での条件を満たし、信頼度が最大となる部分画像を特定する。具体的には、ステップＳ２０８での判断が肯定された車両パターンのうち、最大の信頼度を持つ車両パターンの部分画像を特定する。

この部分画像の特定における最大の信頼度としては、各車両パターンにおける最新の撮影画像である画像ＰＨ_２に関しての信頼度を用いてもよい。また、各車両パターンにおける画像ＰＨ_１についての信頼度と画像ＰＨ_２についての信頼度のうちの、小さい方の信頼度を用いてもよい。

次のステップＳ１３０２では、ＣＰＵ２１は、ステップＳ１３０１で特定した部分画像の幅又は高さの変動比を算出する。例えば、画像ＰＨ_１での部分画像の幅がＷ１であり画像ＰＨ_２での部分画像の幅がＷ２である場合には、Ｗ２をＷ１で除して変動比（＝Ｗ２／Ｗ１）を算出する。また、画像ＰＨ_１での部分画像の高さがＨ１であり画像ＰＨ_２での部分画像の高さがＨ２である場合には、Ｈ２をＨ１で除して変動比（＝Ｈ２／Ｈ１）を算出する。ＣＰＵ２１は、ステップＳ１３０２での処理が終了すると、サブルーチンＳＲ１１を終了し、次のステップＳ２１１へ移行する。

ステップＳ２１１では、ＣＰＵ２１は、接近車両があるか否かを判断する。具体的には、ステップＳ２１０で算出した変動比が１より大きい場合は、ＣＰＵ２１は、自車両１００に接近する車両があると判断する。一方、ステップＳ２１０で算出した変動比が１以下である場合は、ＣＰＵ２１は、自車両１００に接近する車両がないと判断する。

ＣＰＵ２１は、自車両１００に接近する車両がないと判断した場合には（ステップＳ２１１：Ｎｏ）、ステップＳ２０２へ戻り、ステップＳ２０２以降の処理を実行する。また、ＣＰＵ２１は、自車両１００に接近する車両があると判断した場合には（ステップＳ２１１：Ｙｅｓ）、ステップＳ２１２へ移行する。

ステップＳ２１２では、ＣＰＵ２１は、部分画像（車両パターン）の大きさの変化に基づいて、衝突予測時間を算出する。

例えば、車両１０１の車幅をＷＶ、画像ＰＨにおける部分画像の幅をｗｖ、画像ＰＨの水平方向の幅をｗｃ、画像ＰＨ_２に対応する撮影装置３１の視野角をＦＯＶとすると、自車両１００と車両１０１との距離は、次式（７）で示される。

そこで、ＣＰＵ２１は、画像ＰＨ_１に基づいて距離Ｚ_１を算出し、画像ＰＨ_２に基づいて距離Ｚ_２を算出する。次に、次式（８）に基づいて、自車両１００と車両１０１との相対速度を求め、距離Ｚ_２を相対速度Ｖで除することで、衝突予測時間ＴＴＣを算出する。

Ｖ＝（Ｚ_１−Ｚ_２）／Ｔ_Ｆ …（８）

ステップＳ２１２の処理が終了すると、ＣＰＵ２１は、ステップＳ２１３へ移行し、ステップＳ２１３以降の処理を実行する。

以上説明したように、本実施形態では、例えば画像ＰＨに写る車両１０１の画像が鮮明で、一組の画像ＰＨ_１，ＰＨ_２から車両パターンが検出された場合は（ステップＳ２０４：Ｙｅｓ）、当該車両パターンとしての部分画像に基づいて、車両１０１が自車両１００に衝突するまでの衝突時間が算出される。一方、自車両１００の周囲環境が、例えば夜間や、悪天候などであって、一組の画像ＰＨ_１，ＰＨ_２から車両パターンが検出されなかった場合は（ステップＳ２０４：Ｎｏ）、一組の画像ＰＨ_１，ＰＨ_２それぞれの特徴点によって規定されるオプティカルフローが算出される。そして、これらのオプティカルフローに基づいて、車両１０１が自車両１００に衝突するまでの衝突時間が算出される。

このため、車両１０１の画像を構成する車両パターンを検出することができたときは、当該検出パターンを用いた比較的演算量の少ない簡単な演算を行って、衝突時間を算出することできる。また、車両パターンを検出することができないときは、演算量は比較的多くなるが、オプティカルフローを用いた比較的複雑な演算を行って、精度よく衝突時間を算出することができる。これにより、自車両の周囲環境にかかわらず、正確に衝突時間を算出することができる。

また、車両１０１の画像を構成する車両パターンが検出できたときは、当該検出パターンを用いた比較的演算量の少ない簡単な演算により、衝突時間を算出することができる。これにより、周囲の環境に応じて、短時間に効率よく衝突時間を算出することができる。

本実施形態では、車両パターンの特徴量を算出する際に、自車両１００の周囲環境に応じて（ステップＳ５０５，Ｓ５０６）、或いは車両パターンの算出履歴に応じて（ステップＳ５０３）、車両パターンに順位が付与され、この順位に従って車両パターンの特徴量が順次算出される。そして、車両パターンの信頼度が算出されるたびに、信頼度の確率和を認識信頼度として算出し、当該信頼度が信頼性の判断に十分な値となった場合には、信頼度の更新が停止される。これにより、信頼性の判断が可能になったときには、残りの車両パターンについての信頼度の算出を行うことなく、以降の処理が続行される。したがって、迅速に衝突時間を算出することが可能となる。

本実施形態では、一組の画像ＰＨ_１，ＰＨ_２から車両パターンが検出された場合は（ステップＳ２０４：Ｙｅｓ）、当該車両パターンとしての部分画像に基づいて、車両１０１が自車両１００に衝突するまでの衝突時間が算出される。しかしながら、車両パターンが車両１０１の画像を構成する信頼性が低いと考えられる場合には（ステップＳ２０８：Ｎｏ）、例外的に、オプティカルフローを用いた比較的複雑な演算によって、衝突時間が算出される。したがって、不用意に簡単な演算で衝突時間が算出されることがなく、精度よく衝突時間を算出することができる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。例えば、上記実施形態では、車両パターンの一例として、車両の輪郭、テールランプ、ヘッドランプ、影、タイヤ、ナンバープレートに対応する車両パターンについて説明しが、車両パターンはこれに限られるものではない。

上記実施形態では、衝突予測時間が閾値以下になったら、ドライバに警報を発することとした（ステップＳ２１４）。これに限らず、衝突予測時間が閾値以下になったら、車両のブレーキを動作させることとしてもよい。

上記実施形態では、自車両１００の前方を走行する車両１０１が、自車両１００に衝突するまでの時間を算出することとした。これに限らず、本発明は、自車両の後方等、自車両の周囲を走行する車両が、自車両に衝突するまでの衝突時間の算出にも適している。

上記実施形態では、ＣＰＵ２１によって、補助記憶部に記憶されたプログラムが実行されることにより、推定距離が算出された。これに限らず、演算装置２０を、ハードウェアによって構成してもよい。

また、演算装置２０の補助記憶部２３に記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。

また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。

なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。

本発明の車両検出装置、車両検出方法及びプログラムは、自車両の周囲に存在する車両を検出するのに適している。

１０ 車両検出装置
２０ 演算装置
２１ ＣＰＵ
２２ 主記憶部
２３ 補助記憶部
２４ 表示部
２６ インターフェイス部
２７ システムバス
３１ 撮影装置
３２ 警報装置
１００ 自車両
１０１ 車両
Ａ１ 領域
Ａ２ 領域
ＣＰ１，ＣＰ２ 点
ＩＭ 画像面
ＭＶ０〜ＭＶ２ ベクトル
Ｏ 原点
ＯＰ１〜ＯＰ４ オプティカルフロー
Ｐ１〜Ｐ４ 特徴点
ＰＨ 画像
Ｑ１〜Ｑ４ 特徴点
ＲＰ１ 対応点
ＲＱ１ 対応点
ＳＲ１〜ＳＲ１１ サブルーチン
ＴＦ１ テンプレート
Ｖ 相対速度
ＶＰ 消失点
Ｘｃ 原点

Claims (15)

1. 自車両の進行方向を順次撮影することにより得られる第１画像と第２画像とから、前記自車両の周囲に位置する車両の画像を構成し、前記車両の構成部分の部分画像を含むパターンを検出するパターン検出手段と、
   前記パターンが、前記第１画像及び前記第２画像から検出された場合に、検出された１組のパターンに基づいて、前記車両が前記自車両に衝突するまでの衝突時間を算出する第１衝突時間算出手段と、
   前記検出手段が前記第１画像及び前記第２画像のうちの少なくとも一方から、前記パターンを検出することができなかった場合に、前記第１画像を構成する画素についての特徴量に基づく特徴点と、前記第２画像を構成する画素についての特徴量に基づく特徴点とによって規定されるオプティカルフローに基づいて、前記車両が前記自車両に衝突するまでの衝突時間を算出する第２衝突時間算出手段と、
   を備える車両検出装置。
2. 前記パターンは、前記車両の輪郭、前記車両のテールランプ、前記車両のヘッドランプ、前記車両によって形成される影、前記車両のタイヤ、及び前記車両のナンバープレートの部分画像うちの少なくも１つを含む請求項１に記載の車両検出装置。
3. 前記パターンそれぞれについて、前記車両の画像を構成する部分画像である確度を示す信頼度を、前記車両の画像から抽出した特徴量と、実際の車両が写る基準画像から抽出した特徴量とを比較して、算出する信頼度算出手段と、
   前記信頼度の確率和を算出する確率和算出手段と、
   を備え、
   前記第１衝突時間算出手段は、前記確率和に基づいて、前記パターンそれぞれが前記車両の画像を構成する信頼度が高いと判断した場合に、前記衝突時間を算出する請求項２に記載の車両検出装置。
4. 前記信頼度算出手段は、前記パターンに割り当てられた順位にしたがって、前記パターンの信頼度を算出し、
   前記確率和算出手段は、前記信頼度算出手段によって信頼度が算出される毎に、前記確率和を算出し、
   前記確率和が閾値を超えた場合に、前記信頼度算出手段は、前記パターンの信頼度の算出を停止する請求項３に記載の車両検出装置。
5. 前記パターンに割り当てられた順位は、自車両の周囲環境に応じて予め設定された順位である請求項４に記載の車両検出装置。
6. 前記パターンに割り当てられた順位は、算出された信頼度の履歴に応じて設定された順位である請求項４に記載の車両検出装置。
7. 前記第２衝突時間算出手段は、前記確率和に基づいて、前記パターンそれぞれが前記車両の画像を構成する信頼度が低いと判断した場合に、前記衝突時間を算出する請求項３乃至６のいずれか一項に記載の車両検出装置。
8. 前記第１衝突時間算出手段は、前記第１画像における前記パターンの大きさと、前記第２画像における前記パターンの大きさとに基づいて、前記衝突時間を算出する請求項１乃至７のいずれか一項に記載の車両検出装置。
9. 前記第２衝突時間算出手段は、前記第１画像の特徴点を始点とし、前記第２画像の特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記衝突時間を算出する請求項１乃至８のいずれか一項に記載の車両検出装置。
10. 前記第２衝突時間算出手段は、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離と、前記オプティカルフローの大きさとの比を用いて、前記衝突時間を算出する請求項９に記載の車両検出装置。
11. 前記第１画像から前記パターンが検出された場合に、前記パターンの位置及び大きさに基づいて、前記第２画像に、前記パターンを検出するための検出領域を設定する請求項１乃至１０のいずれか一項に記載の車両検出装置。
12. 前記衝突時間が閾値より小さい場合に、前記自車両のドライバに警報を発令する警報手段を備える請求項１乃至１１のいずれか一項に記載の車両検出装置。
13. 前記衝突時間が閾値より小さい場合に、前記自車両のブレーキを動作させる制動手段を備える請求項１乃至１２のいずれか一項に記載の車両検出装置。
14. 自車両の進行方向を順次撮影することにより得られる第１画像と第２画像とから、前記自車両の周囲に位置する車両の画像を構成し、前記車両の構成部分の部分画像を含むパターンを検出する工程と、
    前記パターンが、前記第１画像及び前記第２画像から検出された場合に、検出された１組のパターンに基づいて、前記車両が前記自車両に衝突するまでの衝突時間を算出する工程と、
    前記第１画像及び前記第２画像のうちの少なくとも一方から、前記パターンが検出されなかった場合に、前記第１画像を構成する画素についての特徴量に基づく特徴点と、前記第２画像を構成する画素についての特徴量に基づく特徴点とによって規定されるオプティカルフローに基づいて、前記車両が前記自車両に衝突するまでの衝突時間を算出する工程と、
    を含む車両検出方法。
15. コンピュータに、
    自車両の進行方向を順次撮影することにより得られる第１画像と第２画像とから、前記自車両の周囲に位置する車両の画像を構成し、前記車両の構成部分の部分画像を含むパターンを検出する手順と、
    前記パターンが、前記第１画像及び前記第２画像から検出された場合に、検出された１組のパターンに基づいて、前記車両が前記自車両に衝突するまでの衝突時間を算出する手順と、
    前記第１画像及び前記第２画像のうちの少なくとも一方から、前記パターンが検出されなかった場合に、前記第１画像を構成する画素についての特徴量に基づく特徴点と、前記第２画像を構成する画素についての特徴量に基づく特徴点とによって規定されるオプティカルフローに基づいて、前記車両が前記自車両に衝突するまでの衝突時間を算出する手順と、
    を実行させるためのプログラム。

Images