JP6119153B2 - 前方車両検知方法及び前方車両検知装置 - Google Patents

Description

本発明は、車両検知方法および車両検知装置に関し、より具体的には、前方車両検知方法および前方車両検知装置に関する。

夜間運転は、昼に比べて視野が悪くなることから、道路交通事故の主な要因の一つとなっている。夜間運転時、車両のハイビーム（例えば、上向き光線）は、運転手により良好な視野を与えることができる一方、向こう側の運転手に一定の危険をもたらす恐れもある。運転手にとっては、手動によるハイ/ロービームの頻繁な調整は、運転の利便性がよくない。

特許文献１（米国特許US7,512,252B2）には、一つの車載ビデオカメラを用いて、長時間露光と短時間露光をそれぞれ行い、２つの画像を取得し、該異なる露光による２つの画像から、画像特徴に応じたテールライト、ヘッドライトや、他のライト（例えば、信号灯や、街路灯等）の識別を行う車両検知システムが提案されている。

該特許文献１においては、日本における車両の左側通行をもとに、ヘッドライトを画像の右半分に、テールライトを画像の左半分に仮設しているが、実際の道路状況を考えると、道路は常に直線ではなく、通常、複数の車道があることから、該仮設が必ずしも正確とはいえない。なお、該特許においては、消失ポイントと検知されたライトの位置関係を比較して、該ライトが車両からのものかを判定しているが、非平坦道路（例えば、坂道）の場合は、該仮設が必ずしも正確とはいえない。また、該特許においては、露光の強さ制御により、テールライトが長時間画像のみに出現するようにしているが、ライトの強さは、ヘッドライトや、テールライトのみに関係しているとはいえず、たとえば、近距離の車両のテールライトが遠距離の車両のヘッドライトよりもライトの強さが大きく、より明るい等、ライトは、自車両の距離にも関係していることから、該仮設は、必ずしも正確とはいえない。

また、特許文献２（米国特許US7,429,825B2）には、自車両の後方車両情報を取得する後方車両情報捕獲モジュールと、後方車両の情報により、自車両に対する追い越しを予測する追越行為予測モジュールと、予測した追越行為から、所定のモード切替条件を満たすか否かを判断するモード切替条件判定モジュールと、所定のモード切替条件を満たすと、ハイビームとロービーム間の自動切換えを行う自動モード設定モジュールを備えた車ライト制御システムが提案されている。

しかしながら、該特許文献２における車ライト制御システムでは、夜間道路の白線（車道）検知による、自車両と同一の車道内の後方車両の検知しか行われておらず、自車両の前方車両の検知は行われていない。

このため、夜間の自車両の前方車両の検知が可能な方法及び装置が求められている。

本発明は、前述の問題に鑑みてなされたものであり、自車両の前方の一対の移動ライトの検知により、前記移動ライトが所定の車ライト特徴を満たすものか否かを判断することで、自車両の前方車両を検知する自車両の前方車両の検知方法及び装置を提供することを目的とする。

本発明の一態様においては、一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、前記自車両の前方の移動ライト領域を検知するステップと、前記検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成するステップと、前記前方車両候補が所定の車ライト特徴を満たした場合は、前記前方車両候補を前方車両と決定するステップとを含む、前方車両検知方法を提供する。

また、前記前方車両検知方法において、前記前方の移動ライト領域を検知するステップは、前記少なくとも一つの画像中の第１の画像により、前記ライト領域を抽出するステップと、前記抽出されたライト領域と前記自車両との間の距離を計算するステップと、前記抽出されたライト領域と一つ前のタイミングで得られた少なくとも一つの画像における第１の画像中のライト領域とのマッチングを行うステップと、前記抽出されたライト領域が所定の移動ライト領域特徴を満たした場合は、前記抽出されたライト領域を前方の移動ライト領域と決定するステップとを含むことが好ましい。

また、前記前方車両検知方法において、前記一対のライト領域を抽出する前に、前記少なくとも一つの画像中の第１の画像から、車両層を検知するステップと、前記車両層の上方の移動ライト領域を除去するステップとをさらに含むことが好ましい。

また、前記前方車両検知方法において、前記一対のライト領域を抽出して前方車両候補を生成するステップは、前記少なくとも一つの画像中の第１の画像において、同様の速度を有し且つ対称のライト領域により、前記一対のライト領域を構成するステップと、前記一対のライト領域を構成するライト領域を１つの領域に併合し、前方車両候補を取得するステップとを含むことが好ましい。

また、前記一対のライト領域を構成した後に、各前記一対のライト領域に対し、該一対のライト領域を横切る直線を生成し、該直線の傾斜度を計算するとともに、該直線が横切ったライトの数を計算するステップと、最も多いライトを横切った直線を検知するステップと、前記最も多いライトを横切った直線の傾斜度が所定の傾斜度範囲内にある場合、前記最も多いライトを横切った直線により横切られるライトを除去するステップとをさらに含むことが好ましい。

また、前記前方車両検知方法において、前記少なくとも一つの画像における第１の画像により決定された前方車両の位置と一つ前のタイミングで得られた少なくとも一つの画像における第１の画像により決定された前方車両の位置とのマッチングを行い、前方車両の位置追跡を行うステップをさらに含むことが好ましい。

本発明の他の態様においては、一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、前記自車両の前方の移動ライト領域を検知する移動ライト検知部と、前記検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成する車両候補生成部と、前記前方車両候補が所定の車ライト特徴を満たした場合は、前記前方車両候補を前方車両と決定する車両候補検証部と、を備えた前方車両検知装置を提供する。

また、前記前方車両検知装置において、前記移動ライト検知部は、前記少なくとも一つの画像中の第１の画像により、前記ライト領域を抽出するライト領域抽出部と、前記抽出されたライト領域と前記自車両との間の距離を計算する距離計算部と、前記抽出されたライト領域と一つ前のタイミングで得られた少なくとも一つの画像における第１の画像中のライト領域とのマッチングを行うライト領域マッチング部と、前記抽出されたライト領域が所定の移動ライト領域特徴を満たした場合は、前記抽出されたライト領域を前方の移動ライト領域と決定する移動ライト決定部と、を含むことが好ましい。

また、前記前方車両検知装置において、前記車両候補生成部は、同様の速度を有し且つ対称のライト領域により、前記一対のライト領域を構成する一対ライト抽出部と、前記一対のライト領域を構成するライト領域を１つの領域に併合し、前方車両候補を取得する一対ライト併合部と、を含むことが好ましい。

また、前記前方車両検知装置において、前記少なくとも一つの画像における第１の画像により決定された前方車両の位置と一つ前のタイミングで得られた少なくとも一つの画像における第１の画像により決定された前方車両の位置とのマッチングを行い、前方車両の位置追跡を行う位置追跡部をさらに含むことが好ましい。

本発明の前方車両検知方法及び装置によると、移動ライトを検知し、かつ検知された移動ライトが車ライトの特徴を満たすか否かを検証することにより、自車両の前方車両を正確に検知することが可能になる。

本発明の以上の目的及び他の目的、特徴、長所、技術及び産業上の重要性が容易に理解できるように、以下、図面を参照して、本発明の実施例について詳細に説明する。
本発明の実施例における前方車両検知方法のフローチャートである。 本発明の実施例における移動ライト領域の検知フローチャートである。 本発明の実施例における前方車両候補の生成フローチャートである。 本発明の実施例における車両層の抽出フローチャートである。 本発明の実施例における車両層の抽出図である。 本発明の実施例における反射プレートの検知フローチャートである。 本発明の実施例における反射プレートの除去を示した図である。 本発明の実施例における直線のライト領域通過有無を判断する例を示した図である。 本発明の実施例における前方車両検知方法の適用例を示した図である。 本発明の実施例における前方車両検知装置のブロック図である。 本発明の実施例における移動ライト検知部のブロック図である。 本発明の実施例における車両候補生成部のブロック図である。 本発明の実施例における前方車両検知装置に含まれる他の構成部のブロック図である。 本発明の実施例における前方車両検知装置の適用例を示した図である。 夜間の前方車両検知による車両ヘッドライト制御システムを示した図である。

以下、図面を参照しながら、本発明の実施例における前方車両検知方法及び装置について説明する。

先ず、図１を参照して、本発明の実施例における自車両の前方車両検知方法１００を説明する。

本発明の実施例における前方車両検知方法１００は、ステップＳ１０１からスタートする。

ステップＳ１１０において、１タイミングに得られた自車両の前方シーンの少なくとも１画像により、前記自車両の前方の移動ライト領域を検知する。

次に、ステップＳ１２０において、検知された前方の移動ライト領域からライト領域対を抽出して、前方車両候補を生成する。

次に、ステップＳ１３０において、前記前方車両候補が所定の車ライト特徴を満たすと、前記前方車両候補を前方車両と検証する。

例として、ステップＳ１３０において、サポート・ベクトル・マシン(Support Vector Machine−SVM)分類器により、前方車両候補の検証を行う。前処理において、画像の特徴（例えば、アスペクト比、ヒストグラム、エッジ特徴、投影特徴等）を抽出して、ＳＶＭ分類器を訓練する。検証工程において、ステップＳ１２０で得られた各前方車両候補に対し、同様の特徴を抽出するとともに、ＳＶＭ分類器の入力とする。次に、ＳＶＭ分類器から１または-１を出力することで、該前方車両候補が車ライト（車両）であるか否かを判定する。例えば、ＳＶＭ分類器から１が出力されると、該前方車両候補が車ライト（車両）であることを表し、ＳＶＭ分類器から-１が出力されると、該前方車両候補が車ライト（車両）ではないことを表している。

他の例として、ステップＳ１３０において、主成分分析分類器（Principle Component Analysis−PCA)により、前方車両候補の検証を行う。前処理において、車ライトのみを含む複数の画像ブロックを選出し、車両画像空間の固有ベクトルの訓練を行うとともに、他のグループの車ライト画像を前記固有ベクトルからなる固有空間に投影し、投影集合Ｔを得る。検証工程においては、ステップＳ１２０で得られた各前方車両候補を、訓練から得られた固有空間に投影し、投影ベクトルを得る。次に、該投影ベクトルと前記投影ベクトル集合Ｔにおける各投影ベクトル間の距離を計算する。最小距離が所定のある閾値未満になると、自前方車両候補が、検知された前方車両候補となり、それ以外の場合は、ノイズライトと見なされる。

最後に、本発明の実施例における前方車両検知方法１００は、ステップＳ１９９で終了する。

以下、図２を参照して、図１におけるステップＳ１１０の移動ライト領域の検知フローチャートを説明する。

先ず、ステップＳ１１１０において、前記少なくとも１画像中の第１の画像から、ライト領域を抽出する。

次に、ステップＳ１１２０において、抽出されたライト領域と、前記自車両間の距離
(外１)
を計算する。

ここで、夜間は、例えば、「ノイズ」ライトとなる、建築物のライトや、街路灯や、反射プレートのライト等の、多くのライトが車両ライトと外形上非常に類似していることから、単一の画像から車両ライト位置を検知することは非常に困難である。

このため、ステップＳ１１２０において、少なくとも２つのウェブカメラ（例えば、双眼ウェブカメラ）で撮像された少なくとも２つの固有視差を有する画像により、即ち、少なくとも２つの画像により、抽出されたライト領域と前記自車両間の距離の算出を行うことが好ましい。

また、代わりに、単一のウェブカメラにより、単一の画像を撮像し、例えば、赤外による距離測定等、他の方式により、抽出されたライト領域と前記自車両間の距離を測定してもよい。

次に、ステップＳ１１３０において、抽出されたライト領域と、前の１タイミングに得られた少なくとも１画像における第１の画像中のライト領域とのマッチングを行う。

例として、該ステップＳ１１３０において、テンプレートマッチング法により、抽出された各ライト領域に対し、該ライト領域のヒストグラムを計算し、かつ前の１タイミングに得られた対応画像から、該ライト領域と最も近接する領域を検索するとともに、該最近接領域内の各画像ブロックのヒストグラムを算出し、その後、抽出された該ライト領域のヒストグラムと算出された各画像ブロックのヒストグラムの比較を行う。計算は、下記式により行われる。

ここで、SDは、２つのヒストグラム間の距離を表し、
（外2）
は、現画像から抽出されたライト領域のヒストグラムの第iの値を表し、
（外3）
は、前の１タイミングに得られた画像中の前記最近接領域内の第kの画像ブロックのヒストグラムの第iの値を表し、binsは、ヒストグラムのグレースケールの数を表し、例えば、２５６を表す。最小のＳＤの値が、ある所定の閾値未満になると、抽出されたライト領域と前記最近接領域内の最小のＳＤ値の画像ブロック（即ち、ライト領域）とのマッチングが成功したと判断される。

次に、ステップＳ１１４０において、抽出されたライト領域が所定の移動ライト領域特徴を満たすか否かを判断する。

最後に、ステップＳ１１５０において、抽出されたライト領域を前方の移動ライト領域と決定する。

例として、ステップＳ１１４０において、前記距離
（外4）
と、前の１タイミングでマッチングされたライト領域と前記自車両間の距離
（外5）
と、前記自車両の移動速度
（外6）
と、により、抽出されたライト領域の移動速度
（外7）
を計算する。計算は、下記式により行われる。

なお、ステップＳ１１４０において、該移動速度が所定の閾値を超えたか否かを判断する。次に、ステップＳ１１５０において、移動速度が所定閾値を超えたライト領域を、前方の移動ライト領域とする。

他の例として、ステップＳ１１４０において、抽出されたライト領域のサイズが、前の１タイミングに得られた対応画像中の対応ライト領域のサイズよりも小さくなるか否かを判断する。次に、ステップＳ１１５０において、抽出されたライト領域のサイズが、前の１タイミングに得られた対応画像中の対応ライト領域のサイズよりも小さくなると、抽出されたライト領域を前方の移動ライト領域とする。

また、他の例として、ステップＳ１１４０において、抽出されたライト領域と消失点間の距離が、前の１タイミングに得られた対応画像中の対応ライト領域と消失点間の距離よりも小さくなるか否かを判断する。次に、ステップＳ１１５０において、抽出されたライト領域と消失点間の距離が、前の１タイミングに得られた対応画像中の対応ライト領域と消失点間の距離よりも小さくなると、抽出されたライト領域を前方の移動ライト領域とするとともに、該移動ライト領域が前向き運転（即ち、自車両と同様の運転方向）であると判断する。ここで、画像中の消失点は当該分野の公知概念であるため、詳細な説明は割愛する。

また、ステップＳ１１１０において、先ず、前記少なくとも１画像中の第１の画像（該画像自体が、階調画像であるか、該画像を予め階調画像に変換する）を２値化画像に変換した後、再度、生成された２値化画像からライト領域を抽出することが好ましいが、本発明は、これに限られるものではなく、前記少なくとも１画像中の第１の画像を２値化画像に変換することなく、直接、前記少なくとも１画像中からライト領域を抽出してもよい。

例として、ステップＳ１１１０において、前記少なくとも１画像における第１の画像の階調画像中の各画素値と所定の閾値T_Binarizationとの比較を行い、現画素の階調値が閾値を超えた場合は、該画素値を２５５に設定し、それ以外の場合は、該画素値を０に設定することで、該当する２値化画像が生成される。次に、２値化画像において、連通域分析法（Connect Component Analysis−CCA)により、画像中の全連通域の位置及びサイズを取得するとともに、各連通域の幅と高さを算出する。連通域の幅を、CC.width、高さを、CC.heightとし、連通域の閾値の幅を、T_CCWidth、閾値の高さを、T_CCheightとし、閾値の幅/高さ比を、T_CCAspectとする。例えば、ある連通域が下記条件（式（3））を満足すると、該連通域をライト領域と判断することができる。
CC.width > T_CCWidth
CC.height > T_CCHeight （3）
CC.width / CC.height < T_CCAspect

なお、連通域分析法は、当該分野の公知技術であるため、詳細の説明は割愛する。

ここで、前記第１の画像の２値化画像によるライト領域の抽出後、前記第１の画像による後処理を行う。

以下、図３を参照して、図１におけるステップＳ１２０の前方車両候補の生成フローチャートを説明する。

先ず、ステップＳ１２１０において、前方の移動ライト領域の検知後、前記第１の画像から、同様の速度を有しかつ対称の移動ライト領域を、一対のライトを構成するものとする。

次に、ステップＳ１２２０において、一対のライトを構成するライト領域を１つの領域に併合し、前方車両候補を取得する。

なお、２つのライト領域が垂直方向において互いに重畳している場合、かつ、該２つのライト領域からなる囲い矩形のアスペクト比が所定の閾値未満になる場合は、該２つのライト領域を１つの領域に併合する。

前述のように、夜間は、例えば、「ノイズ」ライトとなる、建築物のライトや、街路灯や、反射プレートのライト等の、多くのライトが車両ライトと外形上非常に類似している。ステップＳ１１０で得られた移動ライト領域には、依然として、一部の建築物のライトや、一部の街路灯や、一部の反射プレートのライト等、非真実の移動ライト領域が存在する可能性がある。このため、得られた移動ライト領域から、これらの非真実の移動ライト領域を除去する必要がある。

本発明においては、車両層抽出方法及び反射プレート除去方法を用いることができる。該車両層抽出方法においては、画像中の「車両層」を検知するとともに、該「車両層」の上方に位置する、検知されたライト（例えば、一部の街路灯、建築物上のライト）を、「ノイズ」として除去し、前記反射プレート除去方法においては、画像中の「反射プレート」を検知し除去する。

次に、図４を参照して、車両層の抽出フローチャートを説明する。

ステップＳ４１０において、前記第１の画像から車両層を検知する。例えば、前記第１の画像を、下から上に、複数の層に分割し、各層におけるライトの数を計算する。ある層が、最多の数のライトを有し、かつ該数が所定の閾値を超えた場合、該層を、車両層と設定する。

ステップＳ４２０において、前記車両層の上方に出現する移動ライト領域を除去する。例えば、前記車両層の上方に出現するライトを、ノイズライトとして除去する。全層のライト数がいずれも閾値未満になると、検知された車両層がないことになる。図５は、車両層の検知を示している。

ここで、車両層の検知は、本発明に必要不可欠なステップではないことは、理解すべきである。

次に、図６を参照して、反射プレートの検知フローチャートを説明する。

ステップＳ６１０において、前記第１の画像で、生成された各一対のライトに対し、該一対のライトを横切る直線を生成し、該直線の傾斜度を計算するとともに、該直線が横切ったライトの数を計算する。

例として、一対のライトにおける２つのライトの中心点をそれぞれ、(a1,b1)と(a2,b2)とし、下記式（４）により、該一対のライトを横切る直線の傾斜度を計算するとともに、式（５）により、該直線とｙ軸の交差点の座標（0,b）を計算する。

次に、ステップＳ６２０において、最多のライトを横切った直線を検知する。また、直線と該直線が横切ったライトの関連付けを行うことが好ましい。

例えば、ライトが４つの点から表され（例えば、図８に図示したように）、該４つの点の座標がそれぞれ
（外8）
であるとした場合、下記条件（式（６）と式（７）のいずれか）を満足すると、該直線は該ライトを横切ると判断する。

次に、ステップＳ６３０において、最多のライトを横切った直線の傾斜度が所定の傾斜度範囲内にあるか判断する。最後に、ステップＳ６４０において、前記最多のライトを横切った直線により横切られるライトを除去する。

例として、直線の傾斜度ｋがある所定の閾値範囲内にあると、例えば、k>0.5或いはk<-0.5であると、該直線が横切るライトを、ノイズライトとして除去する。

図７に示されたように、一対のライト９、１０の位置する直線上のライトである、ライト９、１０、１１、１４、１６が除去される。

なお、本発明の実施例による前方車両検知方法においては、前方車両候補が前方車両であることの検証後に、さらに追跡ステップを含むことが好ましい。該追跡ステップにおいては、前の１タイミングに得られた少なくとも１画像中の第１の画像から検知された車両位置に基づき、現タイミングに得られた少なくとも１画像中の第１の画像における車両位置を計算する。

例として、該追跡ステップにおいては、テンプレートマッチング方法を用いており、即ち、現画像において、前の１タイミングに得られた画像において検知された車両位置に基づき、隣接領域内の各画像ブロックのヒストグラムを計算後、前の１タイミングに得られた画像から検知された車両画像ブロックのヒストグラムとの比較を行う。計算は、下記の式により行われる。

ここで、SDは、２つのヒストグラム間の距離を表し、
（外9）
は、現画像中の第kの隣接域の画像ブロックのヒストグラムの第iの値を表し、
（外10）
は、前の１タイミングに得られた画像中の検知された車両画像ブロックのヒストグラムの第iの値を表し、binsは、ヒストグラムのグレースケールの数を表し、例えば、２５６を表す。最小のＳＤ値を有する隣接域が、予測車両の位置となる。最小のＳＤ値が依然としてある所定の閾値を超えた場合は、前の１タイミングに得られた画像中の検知された車両が現画像から既に消失したことを意味するため、現画像にはマッチング結果が存在しないことになる。

他の例として、該追跡ステップは、検知された車両の速度を予測し、さらに、前の１タイミングに得られた画像中の検知された車両が現画像中で出現し得る位置を予測することにより、現画像中の比較的に小範囲の検索範囲を決定し、該範囲内で、テンプレートマッチング方法を用いて、車両の位置を予測するカルマンフィルタ方法を用いてもよい。

次に、図９を参照して、本発明の実施例における前方車両検知方法の１適用例を説明する。

本発明の実施例による前方車両検知方法によると、自車両の前方車両の自動検知が可能になる。自車両においては、検知結果に応じた、車両ヘッドライトのハービーム/ロービーム（例えば、上向きライト、下向きライト）の自動調整が可能になる。

応用例として、前方視野内に車両がないと、自動的にハイビーム（上向きライト）ＯＮとなり、前方車両ありと検知された場合は、自動的にロービーム（下向きライト）状態に調整される。該応用においては、自車両の運転手への良好な視野の提供が可能になるとともに他の運転手への妨害を、最大限減らすことができる。

他の応用例として、自車両による、ビーム照射領域の自動制御を可能にし、車両が検知された領域にのみロービームを使用し、他の領域にはハイビームを用いるようにしてもよい（図９参照）。

前述のように、本発明の実施例による前方車両検知方法によると、自車両の前方車両の自動検知が可能になる。自車両においては、検知された前方車両に応じた、自動車速制御（Automatic Cruise Control−ACC)や、前方衝突警告（Forward Collision Warning−FCW)等が可能になる。

次に、図１０を参照して、本発明の実施例における前方車両検知装置１０００のブロック図を説明する。

本発明の実施例における前方車両検知装置１０００は、少なくとも１つのウェブカメラにより撮像された自車両の前方シーンの画像が入力されるとともに、少なくとも１つの画像の前処理を行い、自車両の前方車両を検知する。

また、前記少なくとも１つのウェブカメラは、少なくとも２つのウェブカメラ（例えば、双眼ウェブカメラ）であり、車両のバックミラーに近接する箇所に設けられ、自車両の前方シーンの画像捕獲に用いられることが好ましい。

本発明の実施例による前方車両検知装置１０００は、移動ライト検知部１０１０と、車両候補生成部１０２０と、車両候補検証部１０３０を備えている。

移動ライト検知部１０１０は、１タイミングに得られた自車両の前方シーンの少なくとも１画像により、前記自車両の前方の移動ライト領域を検知する。

車両候補生成部１０２０は、検知された前方の移動ライト領域からライト領域対を抽出して、前方車両候補を生成する。

車両候補検証部１０３０は、前記前方車両候補が所定の車ライト特徴を満たすと、前記前方車両候補を前方車両と検証する。

例として、前記車両候補検証部１０３０は、サポート・ベクトル・マシン(SVM)分類器により、前方車両候補の検証を行う。前記SVM分類器においては、画像の特徴（例えば、アスペクト比、ヒストグラム、エッジ特徴、投影特徴等）が既に訓練済みである。前記車両候補検証部１０３０は、得られた各前方車両候補が入力され、該前方車両候補から、前記特徴を抽出するとともに、抽出した特徴を該車両候補検証部１０３０に含まれているＳＶＭ分類器に入力する。次に、ＳＶＭ分類器から１または-１を出力することで、該前方車両候補が車ライト（車両）であるか否かの判定を行う。

他の例として、前記車両候補検証部１０３０は、主成分分析分類器（PCA)により、前方車両候補の検証を行う。前記主成分分析分類器においては、車両画像空間の固有ベクトル及び前記固有ベクトルからなる固有空間の訓練が既になされ、さらに、１グループの車ライト画像の前記固有空間における投影ベクトル集合Ｔが備えられている。前記車両候補検証部１０３０は、得られた各前方車両候補が入力され、前記車両候補検証部１０３０に含まれる主成分分析分類器は、該前方車両候補を前記固有空間に投影し、投影ベクトルを得るとともに、該投影ベクトルと前記投影ベクトル集合Ｔにおける各投影ベクトル間の距離を計算する。前記車両候補検証部１０３０は、最小距離が所定のある閾値未満になると、前方車両候補を、前方車両と検証する。

図１１は、本発明の実施例における移動ライト検知部１０１０のブロック図である。

該移動ライト検知部１０１０は、ライト領域抽出部１０１１と、距離計算部１０１２と、ライト領域マッチング部１０１３と、移動ライト決定部１０１４を有する。

ライト領域抽出部１０１１は、前記少なくとも１画像中の第１の画像から、ライト領域を抽出する。

距離計算部１０１２は、抽出されたライト領域と、前記自車両間の距離
（外11）
を計算する。

ライト領域マッチング部１０１３は、抽出されたライト領域と、前の１タイミングに得られた少なくとも１画像における第１の画像中のライト領域とのマッチングを行う。

例として、ライト領域マッチング部１０１３は、テンプレートマッチング法を用いて、前記式（１）により、抽出された各ライト領域のヒストグラムと、前の１タイミングに得られた対応画像中の、最近接領域内の各画像ブロックのヒストグラムとの比較を行い、最小のＳＤ値を決定する。最小のＳＤの値が、ある所定の閾値未満になると、抽出されたライト領域と前記最近接領域内の最小のＳＤ値の画像ブロック（即ち、ライト領域）とのマッチングが成功したと判断される。

移動ライト決定部１０１４は、抽出されたライト領域が所定の移動ライト領域特徴を満たすと、抽出されたライト領域を前方の移動ライト領域と決定する。

例として、移動ライト決定部１０１４は、前記距離
（外12）
と、前の１タイミングでマッチングされたライト領域と前記自車両間の距離
（外13）
と、前記自車両の移動速度
（外14）
と、により、前記式（２）に示されたように、抽出されたライト領域の移動速度
（外15）
を計算する。さらに、移動ライト決定部１０１４は、該移動速度が所定の閾値を超えたか否かを判断するとともに、移動速度が所定閾値を超えたライト領域を、前方の移動ライト領域とする。

他の例として、移動ライト決定部１０１４は、抽出されたライト領域のサイズが、前の１タイミングに得られた対応画像中の対応ライト領域のサイズよりも小さくなるか否かを判断し、抽出されたライト領域のサイズが、前の１タイミングに得られた対応画像中の対応ライト領域のサイズよりも小さくなると、抽出されたライト領域を前方の移動ライト領域とする。

また、他の例として、移動ライト決定部１０１４は、抽出されたライト領域と消失点間の距離が、前の１タイミングに得られた対応画像中の対応ライト領域と消失点間の距離よりも小さくなるか否かを判断し、抽出されたライト領域と消失点間の距離が、前の１タイミングに得られた対応画像中の対応ライト領域と消失点間の距離よりも小さくなると、抽出されたライト領域を前方の移動ライト領域とするとともに、該移動ライト領域が前向き運転（即ち、自車両と同様の運転方向）であると判断する。

また、本発明の実施例による前方車両検知装置１０００は、前記少なくとも１画像中の第１の画像（該画像自体が、階調画像であるか、該画像を予め階調画像に変換する）を２値化画像に変換し、生成された２値化画像からライト領域を抽出する２値化部（未図示）をさらに備えることが好ましいが、該２値化部は、本発明の実施例による前方車両検知装置１０００に必要不可欠な部材ではない。

該２値化部は、前記少なくとも１画像における第１の画像の階調画像中の各画素値と所定の閾値T_Binarizationとの比較を行い、現画素の階調値が閾値を超えた場合は、該画素値を２５５に設定し、それ以外の場合は、該画素値を０に設定することで、該当する２値化画像が生成される。

この場合、例として、ライト領域抽出部１０１１は、連通域分析法（Connect Component Analysis−CCA)により、画像中の全連通域の位置及びサイズを取得するとともに、各連通域の幅と高さを算出し、ある連通域が前記条件（式（3））を満足すると、該連通域をライト領域とする。

図１２は、本発明の実施例における車両候補生成部１０２０のブロック図である。

車両候補生成部１０２０は、一対ライト抽出部１０２１と、一対ライト併合部１０２２を有する。

一対ライト抽出部１０２１は、前記第１の画像から、同様の速度を有しかつ対称の移動ライト領域を、一対のライトを構成するものとする。

一対のライト併合部１０２２は、一対のライトを構成するライト領域を１つの領域に併合し、前方車両候補を取得する。なお、一対のライト併合部１０２２は、２つのライト領域が垂直方向において互いに重畳している場合、かつ、該２つのライト領域からなる囲い矩形のアスペクト比が所定の閾値未満になる場合は、該２つのライト領域を１つの領域に併合することが好ましい。

図１３は、本発明の実施例における前方車両検知装置１０００に含まれる他の構成部のブロック図である。

本発明の実施例における前方車両検知装置１０００は、車両層抽出部１０４０と、反射プレート抽出部１０５０と、車両追跡部１０６０をさらに有する。

車両層抽出部１０４０は、前記第１の画像から車両層を検知する。例えば、前記第１の画像を、下から上に、複数の層に分割し、各層におけるライトの数を計算する。ある層が、最多の数のライトを有し、かつ該数が所定の閾値を超えた場合、該層を、車両層と設定する。次に、車両層抽出部１０４０は、前記車両層の上方に出現する移動ライト領域を除去する。例えば、前記車両層の上方に出現するライトを、ノイズライトとして除去する。車両層抽出部１０４０は、全層のライト数がいずれも閾値未満になると、検知された車両層がないと判断し、ライト除去処理は行わない。

反射プレート抽出部１０５０は、直線生成部と、反射プレート直線検知部と、反射プレート除去部をさらに有することが好ましい。

直線生成部は、前記第１の画像において、前記一対ライト抽出部から抽出された各一対のライトに対し、前記式（４）と（５）により、該一対のライトを横切る直線を計算するとともに、該直線が横切ったライトの数を計算する。

前記反射プレート直線検知部は、最多のライトを横切った直線を検知する。

前記反射プレート除去部は、前記反射プレート直線検知部から検知された直線の傾斜度が所定の傾斜度範囲内にあるか判断し、前記傾斜度が所定の傾斜度範囲内にあると、前記最多のライトを横切った直線により横切られるライトを除去する。

例として、直線の傾斜度ｋが、例えば、k>0.5或いはk<-0.5であるように、ある所定の閾値範囲内にあると、該直線が横切るライトを、ノイズライトとして除去する。

車両追跡部１０６０は、前の１タイミングに得られた少なくとも１画像中の第１の画像から検知された車両位置に基づき、現タイミングに得られた少なくとも１画像中の第１の画像における車両位置を計算する。

例として、車両追跡部１０６０は、テンプレートマッチング方法を用い、即ち、現画像において、前の１タイミングに得られた画像において検知された車両位置に基づき、隣接領域内の各画像ブロックのヒストグラムを計算後、前記式（８）を用いて、前の１タイミングに得られた画像から検知された車両画像ブロックのヒストグラムとの比較を行う。最小のＳＤ値を有する隣接域が、予測車両の位置となる。最小のＳＤ値が依然としてある所定の閾値を超えた場合は、前の１タイミングに得られた画像中の検知された車両が現画像から既に消失したことを意味する。

他の例として、車両追跡部１０６０は、検知された車両の速度を予測し、さらに、前の１タイミングに得られた画像中の検知された車両が現画像中で出現し得る位置を予測することにより、現画像中の比較的に小範囲の検索範囲を決定し、該範囲内で、テンプレートマッチング方法を用いて、車両の位置を予測するカルマンフィルタ方法を用いてもよい。

図１４は、本発明の実施例における前方車両検知装置１０００の応用例をしめした図である。

本発明の実施例による前方車両検知装置１０００においては、図１５に示されたように、ヘッドライト制御部２０１０とともに、車両ヘッドライト制御システム１００を構成することができる。

車両ヘッドライト制御システム１００は、双眼ウェブカメラ１０１と、前方車両検知装置１０２と、ヘッドライト制御モジュール１０３（たとえば、ヘッドライト制御部２０１０）と、ヘッドライト１０４と、速度センサー１０５を有する。

双眼ウェブカメラ１０１は、車両のバックミラー付近に位置する。前方車両検知装置１０２は、本発明の実施例による前方車両検知装置１０００からなる。

ヘッドライト制御モジュール１０３は、前方車両検知装置１０２からの前方車両検知結果が入力されるとともに、該検知結果に応じた、車両ヘッドライトのハービーム/ロービーム（例えば、上向きライト、下向きライト）の自動調整が可能になる。

例えば、ヘッドライト制御モジュール１０３は、前方視野内に車両がないと、自動的にハイビーム（上向きライト）ＯＮとなり、前方車両ありと検知された場合は、自動的にロービーム（下向きライト）状態に調整される。該応用においては、自車両の運転手への良好な視野の提供が可能になるとともに他の運転手への妨害を、最大限減らすことができる。

例えば、ヘッドライト制御モジュール１０３は、ビーム照射領域を自動制御し、車両が検知された領域にのみロービームを使用し、他の領域にはハイビームを用いるようにしてもよい（図９参照）。

なお、本発明の実施例による前方車両検知装置１０００は、自動車速制御部２０２０とともに、自動車速制御システムを構成することができる。

また、本発明の実施例による前方車両検知装置１０００は、前方衝突警告部２０３０とともに、前方衝突警告システムを構成することができる。

しかし、本発明の実施例による前方車両検知方法及び装置は、前述の応用に限られるものではない。

本発明の実施例による前方車両検知方法及び装置は、２つの異なるタイミングに得られた画像により、ライトの移動速度を予測し、予測した移動速度により、移動ライトを検知するとともに、移動ライトの特徴により、「ノイズライト」を除去することで、自車両の前方車両を正確に検知することができる。

ここで、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサーや、これらの組み合わせ等の各種形式により、本発明の実施例による前方車両検知方法及び装置を実現できることは、言うまでもない。

なお、ソフトウェアにより、図示された一部の構成システム部材や方法を実施することが好ましく、これらのシステム部材や処理機能モジュール間の実際の接続は、本発明でプログラミングされた形式によって異なってもよい。当業者は、以上の説明から、本発明のこれらの実施や配置、及び類似の実施や配置を想到することができる。

以上、図面を参照して本発明の一部の実施例を説明したが、前述の実施例は一例に過ぎず、本発明は、これらに限定されるものではない。当業者は、特許請求範囲及び同等物に限定された本発明の範囲と精神を逸脱しない範囲内の、これらの実施例への種々の形式及び細部上の変更ができることは言うまでもない。

米国特許第ＵＳ７５１２２５２Ｂ２号明細書 米国特許第ＵＳ７４２９８２５Ｂ２号明細書

Claims (8)

1. 一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、前記自車両の前方の移動ライト領域を検知する移動ライト検知部と、
   前記少なくとも一つの画像中の第１の画像から車両層を検知し、前記車両層の上方の移動ライト領域を除去する車両層抽出部と、
   前記車両層の上方の移動ライト領域が除去された後に前記検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成する車両候補生成部と、
   前記前方車両候補が所定の車ライト特徴を満たした場合は、前記前方車両候補を前方車両と決定する車両候補検証部と、を備えた前方車両検知装置。
2. 前記移動ライト検知部は、
   前記少なくとも一つの画像中の第１の画像により、前記ライト領域を抽出するライト領域抽出部と、
   前記抽出されたライト領域と前記自車両との間の距離を計算する距離計算部と、
   前記抽出されたライト領域と一つ前のタイミングで得られた少なくとも一つの画像における第１の画像中のライト領域とのマッチングを行うライト領域マッチング部と、
   前記抽出されたライト領域が所定の移動ライト領域特徴を満たした場合は、前記抽出されたライト領域を前方の移動ライト領域と決定する移動ライト決定部と、を含む、請求項１に記載の前方車両検知装置。
3. 前記車両候補生成部は、
   同様の速度を有し且つ対称のライト領域により、前記一対のライト領域を構成する一対ライト抽出部と、
   前記一対のライト領域を構成するライト領域を１つの領域に併合し、前方車両候補を取得する一対ライト併合部と、を含む、請求項１に記載の前方車両検知装置。
4. 前記少なくとも一つの画像における第１の画像により決定された前方車両の位置と一つ前のタイミングで得られた少なくとも一つの画像における第１の画像により決定された前方車両の位置とのマッチングを行い、前方車両の位置追跡を行う位置追跡部をさらに含む、請求項１に記載の前方車両検知装置。
5. 前記車両層抽出部は、前記第１の画像を、下から上に、複数の層に分割し、各層におけるライトの数を計算し、最多の数のライトを有し、かつ該数が所定の閾値を超えた場合、該層を、車両層とする請求項１に記載の前方車両検知装置。
6. 各前記一対のライト領域に対し、該一対のライト領域を横切る直線を生成し、該直線の傾斜度を計算するとともに、該直線が横切ったライトの数を計算する直線生成部と、
   最も多いライトを横切った直線を検知する直線検知部と、
   前記最も多いライトを横切った直線の傾斜度が所定の傾斜度範囲内にある場合、前記最も多いライトを横切った直線により横切られるライトを除去するライト除去部とをさらに含む、請求項３に記載の前方車両検知装置。
7. 請求項１乃至６のいずれか１項に記載の前方車両検知装置と、
   前記前方車両検知装置が検知した結果に基づいて所定の機器を制御する機器制御部と、を備える機器制御システム。
8. コンピュータを
   一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、前記自車両の前方の移動ライト領域を検知する移動ライト検知部と、
   前記少なくとも一つの画像中の第１の画像から車両層を検知し、前記車両層の上方の移動ライト領域を除去する車両層抽出部と、
   前記車両層の上方の移動ライト領域が除去された後に前記検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成する車両候補生成部と、
   前記前方車両候補が所定の車ライト特徴を満たした場合は、前記前方車両候補を前方車両と決定する車両候補検証部と、を備えた前方車両検知装置として機能させるプログラム。