JP5077184B2

JP5077184B2 - 車両検出装置

Info

Publication number: JP5077184B2
Application number: JP2008267646A
Authority: JP
Inventors: 征和西嶋
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-10-16
Filing date: 2008-10-16
Publication date: 2012-11-21
Anticipated expiration: 2028-10-16
Also published as: JP2010097410A

Description

本発明は、車両の前方を撮像した画像情報から先行車両を検出する車両検出装置に関するものである。

従来、このような分野の技術として、特開２００６−２４４３３１号公報がある。この公報に記載された夜間走行補助装置は、自車両の前方の画像をカメラによって撮像し、この画像における輝度情報に基づいて、所定値以上の輝度を有する輝度領域を検出し、画像内における輝度領域の位置関係などから車両のテールランプを検出することにより先行車両の検出を行っている。
特開２００６−２４４３３１号公報

しかしながら、前述した夜間走行補助装置にあっては、次のような課題がある。すなわち、自車両の前方の画像の輝度情報のみでは、道路沿いの建物などの照明と先行車両のテールランプとを明確に区別することが難しいため、建物などの照明をテールランプと誤認する慮があり、先行車両の検出に関する信頼性が低いという問題があった。

本発明は、このような課題を解決するためになされたものであり、先行車両を高精度に検出することができる車両検出装置を提供することを目的とする。

本発明は、車両の前方を走行する先行車両を検出する車両検出装置であって、車両の前方における可視光画像を取得する可視光画像取得手段と、車両の前方に近赤外線を照射する赤外線投光手段と、赤外線投光手段が赤外線を照射した車両前方における赤外線画像を取得する赤外線画像取得手段と、赤外線画像取得手段が取得した赤外線画像と可視光画像取得手段が取得した可視光画像とに基づいて、先行車両を検出する先行車両検出手段と、を備え、可視光画像取得手段及び赤外線画像取得手段は、可視光の赤色領域から近赤外線領域の波長領域以外の光をカットする光カットフィルタが取付けられたカメラを共有しており、可視光画像取得手段は当該カメラから送信された画像信号に基づいて可視光画像を取得し、赤外線画像取得手段は当該カメラから送信された画像信号に基づいて赤外線画像を取得することを特徴とする。

この車両検出装置では、車両前方における可視光画像が可視光画像取得手段によって取得され、赤外線投光手段から赤外線が照射された車両前方における赤外線画像が赤外線画像取得手段によって取得される。可視光画像には、路上に設置された路上反射器や先行車両背面のリフレクタが車両のヘッドライトなどを反射した光が写るが、道路沿いの建物に設けられた光源や先行車両のテールランプから放たれる光はリフレクタなどの反射光と比べて強く写る。そして、赤外線画像には、路上反射器や先行車両背面のリフレクタが赤外線を反射した光が強く写る一方、道路沿いの建物に設けられた光源や先行車両のテールランプは赤外線をあまり出さないため弱く写る。したがって、これらの可視光画像及び赤外線画像を比較してリフレクタなどの反射器とテールランプなどの光源とを区別し、その形状や位置関係などを認識することで、リフレクタとテールランプとを備える先行車両を高精度に検出することができる。

また、先行車両検出手段は、赤外線画像取得手段が取得した赤外線画像及び可視光画像取得手段が取得した可視光画像における画素間の輝度値の差が第１の閾値以上である場合に、先行車両を検出することが好ましい。先行車両検出手段は、赤外線画像の各画素の輝度と可視光画像の各画素の輝度との差が所定の閾値以上、すなわち赤外線画像において輝度が大きく、可視光画像において輝度の小さいリフレクタが検出されるか、又は赤外線画像において輝度が小さく、可視光画像において輝度の大きいテールランプが検出された画像内の領域を検出することで、可視光画像と赤外線画像とに基づくリフレクタとテールランプとを備える先行車両の検出が好適に実現される。

また、可視光画像取得手段が取得した可視光画像及び赤外線画像取得手段が取得した赤外線画像のうち少なくとも一方に基づいて、先行車両候補領域を抽出する抽出手段を更に備え、先行車両検出手段は、抽出手段が抽出した先行車両候補領域に基づいて、先行車両を検出することが好ましい。

この車両検出装置では、抽出手段は、可視光画像において、例えば各画素における輝度（明るさ）を認識し、画像中で高い輝度を有する画素集合の形状や位置などからテールランプの候補となる画素集合を検出し、そのテールランプ候補の周辺の領域を先行車両候補領域として抽出する。或いは、抽出手段は、赤外線画像において、例えば各画素における輝度を認識し、画像中で高い輝度を有する画素集合の形状や位置などから先行車両背面のリフレクタの候補を検出し、そのリフレクタ候補の周辺の領域を先行車両候補領域として抽出する。このように先行車両候補領域を予め抽出することにより、先行車両検出手段は画像内で車両のテールランプやリフレクタの形状や位置関係と異なるもの（すなわち、車両以外の光源や反射器）を予め検出対象から外すことが可能となり、先行車両をより高精度に検出することができる。

また、赤外線投光手段は、抽出手段が先行車両候補領域を抽出した場合に消灯状態から点灯状態に切り換わることが好ましい。この場合、先行車両候補領域が抽出されるまでは、赤外線投光手段を消灯状態としておくことで、装置の省エネルギー化が図られる。

また、赤外線投光手段は、抽出手段が先行車両候補領域を抽出した場合に点灯状態から消灯状態に切り換わることが好ましい。この場合、予め赤外線投光手段を点灯状態としておくことで、赤外線画像を取得した直後に赤外線投光手段を消灯して可視光画像を取得することが可能となる。その結果、赤外線投光手段の点灯後に赤外線の照射量が安定するまで待ってから赤外線画像を取得する必要がなく、赤外線画像と可視光画像との間における取得時間の差を少なくすることができるので、先行車両検出の速度の向上を図ることができる。

また、先行車両検出手段は、赤外線投光手段が点灯状態に切り換わった後、赤外線画像取得手段が取得した赤外線画像における所定時間毎の輝度変化量が第２の閾値以下である場合に、赤外線画像に基づいて先行車両を検出することが好ましい。このような構成によれば、赤外線投光手段が照射する赤外線の量が安定することで、赤外線画像における所定時間毎の輝度変化量が所定の閾値以下に落ち着くため、赤外線投光手段を点灯した直後の赤外線の量が不安定な状態で取得された赤外線画像が先行車両の検出に利用されることを防ぎ、先行車両をより高精度に検出することができる。

本発明によれば、先行車両をより高精度に検出することができる。

以下、図面を参照して、本発明に係る車両検出装置の実施の形態を説明する。

本実施の形態に係る車両検出装置は、自車両の前方に存在する先行車両を検出し、検出した先行車両情報をＡＣＣ[Adaptive Cruise Control]装置などの運転支援装置に提供する。本実施の形態では、夜間において、路上障害物を検知するレーダセンサなどの検出範囲を超えた距離（例えば、自車両から６００ｍ〜７００ｍ前方の距離）に存在する四輪の先行車両の検出も可能である。

図１〜図８を参照して、第１の実施の形態に係る車両検出装置１について説明する。図１は、第１の実施の形態に係る車両検出装置を示す構成図である。図２は、図１に示すＣＣＤカメラの撮像可能な波長領域を示すグラフである。図３は、自車両の前方における可視光画像の一例を示す図である。図４は、自車両の前方における近赤外線画像の一例を示す図である。図５は、図３の可視光画像と図４の近赤外線画像との先行車両候補領域内の差分を示す図である。図６は、自車両の前方における可視光画像の他の例を示す図である。図７は、自車両の前方における近赤外線画像の他の例を示す図である。図８は、図６の可視光画像と図７の近赤外線画像との先行車両候補領域内の差分を示す図である。なお、図３、図４、図６、及び図７において、実線は、画像に写っているもの（例えば、光を放つ先行車両のテールライトや光を反射しているリフレクタ）を示しており、破線は、画像に写っていないが、存在するもの（例えば、先行車両の車体や道路沿いの建物）を示す。また、図３〜図５と図６〜図８とは、先行車両のリフレクタの位置及び形状についてのみ異なっている。図３〜図５に示された先行車両２０のリフレクタ２２は、円形状をなし、テールランプ２１の下方に備えられている。図６〜図８に示された先行車両３０のリフレクタ３２は、円環形状をなし、テールランプ３１の周囲を囲むように備えられている。

車両検出装置１は、可視光の波長領域から近赤外線の波長領域まで撮像できるカメラによって、自車両の前方の可視光画像及び近赤外線画像を取得し、可視光画像と近赤外線画像とにおける画素間の輝度（明るさ）の差分から、自車両の前方に存在する先行車両２０を検出する。そのために、車両検出装置１は、ＣＣＤカメラ４、近赤外線投光器５、運転支援装置６、及び車両検出ＥＣＵ［Electric Control Unit］１０を備えており、車両検出ＥＣＵ１０に可視光画像取得部１３ａ、先行車両候補領域抽出部１４ａ、近赤外線画像取得部１５ａ、先行車両検出部１６ａが構成される。

なお、第１の実施の形態では、近赤外線投光器５が特許請求の範囲に記載する赤外線投光手段に相当し、ＣＣＤカメラ４及び可視光画像取得部１３ａが特許請求の範囲に記載する可視光画像取得手段に相当し、ＣＣＤカメラ４及び近赤外線画像取得部１５ａが特許請求の範囲に記載する近赤外線画像取得手段に相当し、先行車両候補領域抽出部１４ａが特許請求の範囲に記載する抽出手段に相当し、先行車両検出部１６ａが先行車両検出手段に相当する。

ＣＣＤカメラ４は、自車両の前方（例えば、ルームミラーのフロントガラス側）に備えられ、自車両の前方の画像を撮像する。ＣＣＤカメラ４には、光の波長領域を限定する光カットフィルタが取り付けられており、６００ｎｍ〜１０００ｎｍ（可視光の赤色領域から近赤外線領域）の光波長の画像を撮像する。ＣＣＤカメラ４は、撮像した自車両の前方の画像を画像信号として車両検出ＥＣＵ１０に送信する。

近赤外線投光器５は、自車両の前面（例えば、ヘッドライト収納部内）に備えられ、自車両の前方に近赤外線（８００ｎｍ〜１０００ｎｍの波長領域の光）を照射する。近赤外線投光器５は、自車両の６００ｍ〜７００ｍ先まで近赤外線を照射するが、可視光を含まない近赤外線であるため対向車両などに眩惑などの影響を及ぼすことはない。このような近赤外線投光器５には、例えばハロゲン灯が用いられる。また、近赤外線投光器５は、車両検出ＥＣＵ１０から送信されるＯＮ信号によって点灯状態になると共に、車両検出ＥＣＵ１０から送信されるＯＦＦ信号によって消灯状態になる。

運転支援装置６は、自車両に備えられて、運転者による自車両の運転を支援する。このような運転支援装置６としては、例えば認識した先行車両に追従して自車両の走行制御を行うＡＣＣ[Adaptive Cruise Control]装置や車内のディスプレイに先行車両を強調表示するなどにより運転者に対して注意喚起を行う注意喚起装置がある。

車両検出ＥＣＵ１０は、演算処理を行うＣＰＵ[Central Processing Unit]、記憶部となるＲＯＭ[Read Only Memory]及びＲＡＭ[Random Access Memory]、画像処理チップなどから構成される電子制御ユニットであり、ＣＣＤカメラ４、近赤外線投光器５、及び運転支援装置６と電気的に接続されて車両検出装置１を統括制御する。車両検出ＥＣＵ１０は、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することにより、可視光画像取得部１３ａ、先行車両候補領域抽出部１４ａ、近赤外線画像取得部１５ａ、先行車両検出部１６ａを構成する。

可視光画像取得部１３ａは、近赤外線投光器５が消灯の状態でＣＣＤカメラ４から送信された画像信号に基づいて、自車両の前方における可視光の赤色領域（６００ｎｍ〜８００ｎｍ）の画像（以下、可視光画像Ａと呼ぶ）を取得する（図３及び図６参照）。この可視光画像Ａには、先行車両２０，３０の円形のテールランプ２１，３１や道路沿いの建物（例えば、コンビニエンスストアなどの店舗や住宅）２５の照明２６などの光源から出る赤色領域の光が明確に写る。なお、図３及び図６に示す先行車両２０，３０及び建物２５は、いずれも自車両のヘッドライトの有効照射距離（例えば、１００ｍ）以上離れており、例えば先行車両２０，３０のリフレクタ２２，３２や建物２５自体は可視光画像Ａに写り込んでいないものとする。

先行車両候補領域抽出部１４ａは、可視光画像取得部１３ａが取得した可視光画像Ａに基づいて、画像中において先行車両が存在すると推定される領域である先行車両候補領域Ｔを抽出する。具体的には、先行車両候補領域抽出部１４ａは、可視光画像Ａ中の各画素について、各画素の輝度（明るさ）が所定の輝度閾値よりも明るいか否かによって区別する二値化処理（輝度が輝度閾値以上の画素を１、輝度が輝度閾値以下の画素を０とする処理）を行う。そして、画像内においては先行車両２０，３０のテールランプ２１，３１が略水平方向に並ぶ左右一対で面積の等しい光源として写ることから、二値化処理後の画像内で輝度が１の画素の集合領域に対し、その形状、画像内における水平位置及び垂直位置、複数の画素集合領域間における水平距離や面積比などに関してラベリング処理を行う。その後、ラベリング処理の結果に基づき先行車両２０，３０のテールランプ２１，３１と推定される２つの画素集合をテールランプ候補として検出し、画像中においてテールランプ候補の画素集合とその周辺を囲む矩形領域を先行車両候補領域Ｔとして抽出する。この先行車両候補領域Ｔの大きさは、一定であってもよいが、例えばテールランプ候補として検出された画素集合の面積の大きさに応じて変化する態様であってもよく、またテールランプ候補として検出された２つの画素集合間の水平距離（すなわち左右一対のテールランプ２１，３１の間隔）に応じて変化する態様であってもよい。

近赤外線画像取得部１５ａは、先行車両候補領域抽出部１４ａが先行車両候補領域Ｔを抽出した場合に、近赤外線投光器５にＯＮ信号を送信する。近赤外線画像取得部１５ａは、近赤外線投光器５が点灯した状態でＣＣＤカメラ４から送信された画像信号に基づき、自車両の前方における可視光の赤色領域から近赤外線領域の画像（以下、近赤外線画像Ｂと呼ぶ）を取得する。この近赤外線画像Ｂには、先行車両２０，３０のテールランプ２１，３１や道路沿いの建物２５の照明２６に加えて、先行車両２０，３０においてテールランプ２１，３１の下方に備えられたリフレクタ２２，３２や道路沿いのガードレール２７に設けられた路上反射器２８が近赤外線を反射して明確に写る（図４及び図７参照）。

ここで、近赤外線投光器５がＯＮ状態になった直後は、照射する近赤外線の量が安定しないため、先行車両２０，３０のリフレクタ２２，３２やガードレール２７の路上反射器２８における反射光も安定せず、近赤外線画像Ｂに明確に写りこまない慮がある。そこで、先行車両検出部１６ａは、近赤外線画像取得部１５ａが近赤外線画像Ｂを取得した場合、近赤外線画像Ｂの各画素の輝度の単位時間変化量（例えば、１秒当たりの輝度の変化量）が所定の輝度変化閾値（第２の閾値）以下であるか否かを判定する。この輝度変化閾値は、時間経過に伴う近赤外線画像Ｂの各画素の輝度の単位時間変化量の減少、すなわち近赤外線投光器５の照射する近赤外線の反射光の単位時間変化量の減少から近赤外線投光器５が照射する近赤外線の量が安定したか否かを判断するために用いられ、実験等によりその値が決定される。

先行車両検出部１６ａは、近赤外線画像Ｂの各画素の輝度の単位時間変化量が輝度変化閾値以下であると判定した場合、近赤外線投光器５の照射する近赤外線の量が安定した状態の近赤外線画像Ｂを取得できたと判断して近赤外線投光器５にＯＦＦ信号を送信する。

先行車両検出部１６ａは、近赤外線投光器５にＯＦＦ信号を送信した場合、先行車両候補領域抽出部１４ａが抽出した先行車両候補領域Ｔ内において、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分を算出する、すなわち近赤外線を照射することによって画像内に現れたリフレクタ２２の輝度を認識する（図５及び図８参照）。具体的には、図５に示される図３の可視光画像Ａと図４の近赤外線画像Ｂとの先行車両候補領域Ｔ内の差分として、先行車両２０においてテールランプ２１の下方に備えられた円形状のリフレクタ２２の反射光及び路上反射器２８の反射光の一部が算出される。また、図８に示される図６の可視光画像Ａと図７の近赤外線画像Ｂとの先行車両候補領域Ｔ内の差分として、先行車両３０においてテールランプ３１の周囲に備えられた円環形状のリフレクタ３２の反射光及び路上反射器２８の反射光の一部が算出される。

先行車両検出部１６ａは、先行車両候補領域Ｔ内において、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分が所定の差分閾値（第１の閾値）より大きいものが有るか否かを判定する。この差分閾値は、リフレクタ２２，３２以外のもの（例えば、ガードレール２７の表面）による近赤外線の反射光をノイズとして除去するために用いられ、実験によりその値が決定される。

先行車両検出部１６ａは、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分が所定の差分閾値より大きい先行車両候補領域Ｔが有ると判定した場合、当該先行車両候補領域Ｔにはテールランプ２１，３１及びリフレクタ２２，３２を備えた先行車両２０が存在するとして先行車両２０を検出する。先行車両検出部１６ａは、検出した先行車両２０，３０の情報を先行車両情報として運転支援装置６に送信する。

次に、図１〜図５及び図９を参照して、車両検出装置１における動作の流れについて詳細に説明する。図９は、第１の実施形態に係る車両検出装置の動作の流れを示すフローチャートである。

この車両検出装置１では、先行車両の検出開始時において近赤外線投光器５は消灯状態となっている。まずＣＣＤカメラ４は、近赤外線投光器５が消灯された状態で自車両前方の画像を撮像し、画像信号を車両検出ＥＣＵ１０に送信する。そして、車両検出ＥＣＵ１０における可視光画像取得部１３ａは、近赤外線投光器５が消灯した状態でＣＣＤカメラ４から送信された画像信号に基づいて、自車両の前方における可視光画像Ａを取得する（Ｓ１）。

先行車両候補領域抽出部１４ａは、可視光画像取得部１３ａが取得した可視光画像Ａに基づいて、画像中において先行車両が存在すると推定される領域である先行車両候補領域Ｔを抽出する（Ｓ２）。

ステップＳ３において、先行車両候補領域抽出部１４ａは、先行車両候補領域Ｔが抽出できない場合、先行車両は存在しないと判断してステップＳ１１に移行する。一方、先行車両候補領域抽出部１４ａによって先行車両候補領域Ｔが抽出できた場合、近赤外線画像取得部１５ａは、近赤外線投光器５にＯＮ信号を送信する（Ｓ４）。

ＯＮ信号を送信された近赤外線投光器５は、点灯状態となり、自車両の前方に近赤外線を照射する。ＣＣＤカメラ４は、近赤外線投光器５が点灯した状態で自車両前方の画像を撮像し、画像信号を車両検出ＥＣＵ１０に送信する。車両検出ＥＣＵ１０における近赤外線画像取得部１５ａは、ＣＣＤカメラ４から送信された画像信号に基づき、自車両の前方における近赤外線画像Ｂを取得する（Ｓ５）。

続いて、先行車両検出部１６ａは、近赤外線画像Ｂの各画素の輝度の単位時間変化量が所定の輝度変化閾値以下であるか否かを判定する（Ｓ６）。先行車両検出部１６ａは、近赤外線画像Ｂの各画素における輝度の単位時間変化量が輝度変化閾値以下ではないと判定した場合、輝度の単位時間変化量が輝度変化閾値以下であると判定するまで上記輝度の単位時間変化量に関する判定を繰り返す。

先行車両検出部１６ａは、近赤外線画像Ｂの各画素の輝度の単位時間変化量が輝度変化閾値以下であると判定した場合、近赤外線投光器５にＯＦＦ信号を送信する（Ｓ７）。ＯＦＦ信号を送信された近赤外線投光器５は、消灯状態になる。その後、先行車両検出部１６ａは、先行車両候補領域抽出部１４ａが抽出した先行車両候補領域Ｔ内において、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分を算出する（Ｓ８）。

先行車両検出部１６ａは、先行車両候補領域Ｔ内において、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分が所定の差分閾値より大きいものが有るか否かを判定する（Ｓ９）。先行車両検出部１６ａは、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分が差分閾値より大きい先行車両候補領域Ｔがないと判定した場合、先行車両は存在しないと判断して、ステップＳ１１に移行する。

先行車両検出部１６ａは、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分が差分閾値より大きい先行車両候補領域Ｔが有ると判定した場合、当該先行車両候補領域Ｔにはテールランプ２１及びリフレクタ２２を備えた先行車両２０が存在するとして先行車両２０を検出する。ステップＳ１１において、先行車両検出部１６ａは、検出した先行車両２０に関する情報又は先行車両が存在しないとの判断を先行車両情報として運転支援装置６に送信する。

以上説明した車両検出装置１によれば、近赤外線投光器５から近赤外線が照射されない状態の自車両前方における可視光画像Ａと、近赤外線投光器５から近赤外線が照射された状態の自車両前方における近赤外線画像Ｂとが取得される。可視光画像Ａには、先行車両２０の背面のリフレクタ２２や道路沿いのガードレール２７に設けられた路上反射器２８が自車両のヘッドライトなどを反射した光が写る場合があるが、道路沿いの建物２５の照明２６や先行車両２０のテールランプ２１から放たれる光はリフレクタ２２などの反射光と比べて強く写る。そして、近赤外線画像Ｂには、先行車両２０のリフレクタ２２や路上反射器２８が近赤外線を反射した光が強く写る一方、先行車両２０のテールランプ２１や道路沿いの建物２５の照明２６は近赤外線をあまり出さないため可視光画像Ａと比べて写り方にあまり差が生じない。したがって、これらの可視光画像Ａ及び近赤外線画像Ｂを比較してテールランプ２１などの光源とリフレクタ２２などの反射器とを区別し、その形状や位置関係などを認識することで、リフレクタ２２とテールランプ２１とを備える先行車両２０を高精度に検出することができる。このような車両検出装置１は、画像情報のみに基づく先行車両の検出を可能にするので、路上障害物を検知するレーダセンサなどの検出範囲を超えて自車両から離れた距離に存在する先行車両も検出できる。

また、車両検出ＥＣＵ１０における先行車両候補領域抽出部１４ａでは、可視光画像Ａの各画素における輝度を認識し、画像中で高い輝度を有する画素集合の形状や位置などから先行車両のテールランプの候補となる画素集合を検出し、そのテールランプ候補を含む周辺の領域を先行車両候補領域Ｔとして抽出する。このように先行車両候補領域Ｔを予め抽出することにより、画像内で車両のテールランプの形状や位置関係と大きく異なるものを予め検出対象から外すことが可能となり、先行車両２０をより高精度に検出することができる。更に、画像中の先行車両候補領域Ｔ以外の領域における各画素の輝度の差分算出が不要になるので、車両検出ＥＣＵ１０における演算処理の負荷を軽減することができる。

また、車両検出ＥＣＵ１０における先行車両検出部１６ａでは、可視光画像取得部１３ａが取得した可視光画像Ａ及び近赤外線画像取得部１５ａが取得した近赤外線画像Ｂにおける画素間の輝度の差分が所定の差分閾値以上である場合に、先行車両を検出する。これにより、先行車両検出部１６ａは、近赤外線画像Ｂの輝度と可視光画像Ａの輝度との差が差分閾値以上、すなわち近赤外線画像Ｂにおいて輝度の大きく、可視光画像Ａにおいて輝度の小さいリフレクタ２２を検出することができる。更に、近赤外線画像Ｂの輝度と可視光画像Ａの輝度との差が差分閾値以下、すなわちリフレクタ２２以外のガードレール２７の表面などによる近赤外線の反射光をノイズとして除去することができるので、可視光画像Ａと近赤外線画像Ｂとに基づきリフレクタ２２とテールランプ２１とを備える先行車両２０の検出が好適に実現される。

また、車両検出ＥＣＵ１０における近赤外線画像取得部１５ａでは、先行車両候補領域抽出部１４ａが可視光画像Ａに基づいて先行車両候補領域を抽出した場合に、近赤外線投光器５にＯＮ信号を送信して、近赤外線投光器５を消灯状態から点灯状態に切り換える。このように、先行車両候補領域Ｔが抽出されるまでの間、近赤外線投光器５を消灯状態としておくことで、車両検出装置１の省エネルギー化が図られる。

また、車両検出ＥＣＵ１０における先行車両候補領域抽出部１４ａでは、近赤外線投光器５が点灯状態に切り換わった後、近赤外線画像取得部１５ａが取得した近赤外線画像Ｂの各画素における輝度の単位時間変化量が所定の輝度変化閾値以下である場合に、近赤外線画像Ｂに基づいて先行車両を検出する。このような構成によれば、近赤外線投光器５を点灯状態にした直後の近赤外線の量が不安定な状態で取得された近赤外線画像Ｂが先行車両の検出に利用されることを防ぎ、先行車両２０をより高精度に検出することができる。

図１〜図８を参照して、第２の実施の形態に係る車両検出装置２について説明する。車両検出装置２では、第１の実施の形態に係る車両検出装置１の構成と同様の構成について、同一の符号を付与し、その説明を省略する。

車両検出装置２は、第１の実施の形態に係る車両検出装置１と比較すると、その動作の流れ及び車両検出ＥＣＵ１１の構成が異なり、可視光画像より先に近赤外線画像を取得し、この近赤外線画像に基づいて先行車両候補領域の抽出を行う。そのために、車両検出装置２は、ＣＣＤカメラ４、近赤外線投光器５、運転支援装置６、及び車両検出ＥＣＵ１１を備えており、車両検出ＥＣＵ１１に可視光画像取得部１３ｂ、先行車両候補領域抽出部１４ｂ、近赤外線画像取得部１５ｂ、先行車両検出部１６ｂが構成される。

なお、第２の実施の形態では、近赤外線投光器５が特許請求の範囲に記載する赤外線投光手段に相当し、ＣＣＤカメラ４及び可視光画像取得部１３ｂが特許請求の範囲に記載する可視光画像取得手段に相当し、ＣＣＤカメラ４及び近赤外線画像取得部１５ｂが特許請求の範囲に記載する近赤外線画像取得手段に相当し、先行車両候補領域抽出部１４ｂが特許請求の範囲に記載する抽出手段に相当し、先行車両検出部１６ｂが先行車両検出手段に相当する。

可視光画像取得部１３ｂは、近赤外線投光器５が消灯された状態でＣＣＤカメラ４から送信された画像信号に基づいて、可視光画像Ａを取得する。この可視光画像Ａには、先行車両２０，３０のテールランプ２１，３１や道路沿いの建物２５の照明２６などの光源から出る赤色領域の光が明確に写る（図３及び図６参照）。

近赤外線画像取得部１５ｂは、先行車両の検出の開始時に、近赤外線投光器５にＯＮ信号を送信する。近赤外線画像取得部１５ｂは、近赤外線投光器５にＯＮ信号を送信した場合、近赤外線投光器５が点灯した状態でＣＣＤカメラ４から送信された画像信号に基づき、近赤外線画像Ｂを取得する。この近赤外線画像Ｂには、建物２５の照明２６及びガードレール２７の路上反射器２８に加えて、先行車両２０，３０のテールランプ２１，３１及びリフレクタ２２，３２が写る（図４及び図７参照）。

近赤外線画像取得部１５ｂは、取得した近赤外線画像Ｂについて、近赤外線画像Ｂの各画素の輝度の単位時間変化量が所定の輝度変化閾値（第２の閾値）以下であるか否かを判定する。近赤外線画像取得部１５ｂは、近赤外線画像Ｂの各画素の輝度の単位時間変化量が輝度変化閾値以下であると判定した場合、近赤外線投光器５の照射する近赤外線の量が安定した状態の近赤外線画像Ｂを取得できたと判断する。

先行車両候補領域抽出部１４ｂは、近赤外線画像取得部１５ｂが安定した状態の近赤外線画像Ｂを取得できたと判断した場合、近赤外線画像取得部１５ｂが取得した近赤外線画像Ｂに基づいて、先行車両候補領域Ｔを抽出する。具体的には、先行車両候補領域抽出部１４ｂは、近赤外線画像Ｂ中の各画素について、各画素の輝度が所定の輝度閾値よりも明るいか否かによって二値化処理（輝度が輝度閾値以上の画素を１、輝度が輝度閾値以下の画素を０とする処理）を行う。そして、画像中において先行車両２０，３０のテールランプ２１，３１やリフレクタ２２，３２が略水平方向に並ぶ左右一対で面積の等しい反射器であることから、二値化処理後の画像内で輝度が１の画素の集合領域に対し、その形状、画像内における水平位置及び垂直位置、複数の画素集合領域間における水平距離や面積比などに関してラベリング処理を行う。その後、ラベリング処理の結果に基づき先行車両２０，３０のテールランプ２１，３１と推定される２つの画素集合をテールランプ候補として検出し、リフレクタ２２と推定される２つの画素集合をリフレクタ候補として検出する。そして、画像中でテールランプ候補の画素集合やリフレクタ候補の画素集合とその周辺を囲む矩形領域を先行車両候補領域Ｔとして抽出する。この先行車両候補領域Ｔの大きさは、一定であってもよいが、例えばテールランプ候補やリフレクタ候補として検出された画素集合の面積の大きさに応じて変化する態様であってもよい。先行車両候補領域抽出部１４ｂは、先行車両候補領域Ｔを抽出した場合、近赤外線投光器５にＯＦＦ信号を送信する。

先行車両検出部１６ｂは、先行車両候補領域抽出部１４ｂが抽出した先行車両候補領域Ｔ内において、近赤外線画像Ｂの各画素における輝度と可視光画像Ａの各画素における輝度との差分を算出する、すなわち近赤外線投光器５をＯＦＦ状態にすることによって画像に写らなくなったリフレクタ２２，３２の輝度を認識する（図５及び図８参照）。

先行車両検出部１６ｂは、先行車両候補領域Ｔ内において、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分が所定の差分閾値（第１の閾値）より大きいものが有るか否かを判定する。

先行車両検出部１６ｂは、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分が差分閾値より大きい先行車両候補領域Ｔが有ると判定した場合、当該先行車両候補領域Ｔにはテールランプ２１，３１及びリフレクタ２２，３２を備えた先行車両２０，３０が存在するとして先行車両２０，３０を検出する。先行車両検出部１６ｂは、先行車両に関する情報を先行車両情報として運転支援装置６に送信する。

次に、図１〜図５及び図１０を参照して、車両検出装置２における動作の流れについて詳細に説明する。図１０は、第２の実施の形態に係る車両検出装置における動作の流れを示すフローチャートである。

車両検出ＥＣＵ１１における近赤外線画像取得部１５ｂは、先行車両の検出の開始時において、近赤外線投光器５にＯＮ信号を送信する（Ｓ２１）。ＯＮ信号を送信された近赤外線投光器５は、点灯状態になり、自車両の前方に近赤外線を照射する。ＣＣＤカメラ４は、近赤外線投光器５が点灯した状態で自車両の前方を撮像する。近赤外線画像取得部１５ｂは、ＣＣＤカメラ４から送信された画像信号に基づき、自車両の前方における近赤外線画像Ｂを取得する（Ｓ２２）。

次に、近赤外線画像取得部１５ｂは、近赤外線画像Ｂの各画素の輝度の単位時間変化量が輝度変化閾値以下であるか否かを判定する（Ｓ２３）。近赤外線画像取得部１５ｂは、近赤外線画像Ｂの各画素の輝度の単位時間変化量が輝度変化閾値以下ではないと判定した場合、輝度の単位時間変化量が輝度変化閾値以下であると判定するまで上記輝度の単位時間変化量に関する判定を繰り返す。

近赤外線画像取得部１５ｂは、近赤外線画像Ｂの各画素の輝度の単位時間変化量が輝度変化閾値以下であると判定した場合、近赤外線投光器５の照射する近赤外線の量が安定した状態の近赤外線画像Ｂを取得できたと判断する。先行車両候補領域抽出部１４ｂは、近赤外線画像取得部１５ｂが安定した状態の近赤外線画像Ｂを取得できたと判断した場合、近赤外線画像取得部１５ｂが取得した近赤外線画像Ｂに基づいて、先行車両候補領域Ｔを抽出する（Ｓ２４）。

ステップＳ２５において、先行車両候補領域抽出部１４ｂは、先行車両候補領域Ｔを抽出できない場合、先行車両は存在しないと判断してステップＳ３１に移行する。先行車両候補領域抽出部１４ｂは、先行車両候補領域Ｔを抽出できた場合、近赤外線投光器５にＯＦＦ信号を送信する（Ｓ２６）。ＯＦＦ信号を送信された近赤外線投光器５は、消灯状態になる。ＣＣＤカメラ４は、近赤外線投光器５が消灯の状態で自車両の前方を撮像する。可視光画像取得部１３ｂは、近赤外線投光器５が消灯の状態でＣＣＤカメラ４から送信された画像信号に基づいて、自車両の前方における可視光画像Ａを取得する（Ｓ２７）。

続いて、先行車両検出部１６ｂは、先行車両候補領域抽出部１４ｂが抽出した先行車両候補領域Ｔ内において、近赤外線画像Ｂの各画素における輝度と可視光画像Ａの各画素における輝度との差分を算出する（Ｓ２８）。

その後、先行車両検出部１６ｂは、先行車両候補領域Ｔ内において、近赤外線画像Ｂの各画素における輝度と可視光画像Ａの各画素における輝度との差分が所定の差分閾値より大きいものが有るか否かを判定する（Ｓ２９）。先行車両検出部１６ｂは、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分が差分閾値より大きい先行車両候補領域Ｔが無いと判定した場合、先行車両は存在しないと判断してステップＳ３１に移行する。

先行車両検出部１６ｂは、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分が差分閾値より大きい先行車両候補領域Ｔが有ると判定した場合、当該先行車両候補領域Ｔにはテールランプ２１及びリフレクタ２２を備えた先行車両２０が存在するとして先行車両２０を検出する（Ｓ３０）。ステップＳ３１において、先行車両検出部１６ｂは、検出した先行車両２０に関する情報又は先行車両が存在しないとの判断を先行車両情報として運転支援装置６に送信する。

以上説明した第２の実施の形態に係る車両検出装置２も第１の実施の形態の車両検出装置１と同様の効果を奏するが以下の点について異なる効果を有する。すなわち、この車両検出装置２によれば、先に近赤外線画像を取得し、その近赤外線画像から先行車両候補領域Ｔが抽出された後、近赤外線投光器５が消灯されて可視光画像を取得する構成であるため、先行車両候補領域Ｔが抽出された後において近赤外線投光器５が照射する近赤外線の量が安定することを待つ必要がない。その結果、先行車両候補領域Ｔを抽出してから先行車両を検出するまでの時間を短くすることが可能となり、先行車両検出の速度の向上を図ることができる。

図３、図４、図６、図７、及び図１１〜図１４を参照して、第３の実施の形態に係る車両検出装置３について説明する。車両検出装置３では、第１の実施の形態に係る車両検出装置１の構成と同様の構成について、同一の符号を付与し、その説明を省略する。図１１は、第３の実施の形態に係る車両検出装置を示す構成図である。図１２（ａ）は、図１１に示す可視光カメラの撮像可能な波長領域を示すグラフであり、図１２（ｂ）は、図１１に示す近赤外線カメラの撮像可能な波長領域を示すグラフである。図１３は、第３の実施の形態に係る図３の可視光画像と図４の近赤外線画像との先行車両候補領域内の差分を示す図である。図１４は、第３の実施形態に係る図６の可視光画像と図７の近赤外線画像との先行車両候補領域内の差分を示す図である。

車両検出装置３は、第１の実施の形態に係る車両検出装置１と比較すると、ＣＣＤカメラ４に代えて可視光カメラ７と近赤外線カメラ８とを有している点と、車両検出ＥＣＵ１２における先行車両検出部１７の機能とが異なる。車両検出装置３では、可視光カメラ７によって自車両前方の可視光画像を撮像すると共に、近赤外線カメラ８によって自車両前方の近赤外線画像を撮像し、先行車両検出部１７において可視光画像及び近赤外線画像から先行車両を検出する。そのために、車両検出装置３は、近赤外線投光器５、運転支援装置６、可視光カメラ７、近赤外線カメラ８、及び車両検出ＥＣＵ１２を備えており、車両検出ＥＣＵ１２に可視光画像取得部１３ａ、先行車両候補領域抽出部１４ａ、近赤外線画像取得部１５ａ、先行車両検出部１７が構成される。

なお、第３の実施の形態では、近赤外線投光器５が特許請求の範囲に記載する赤外線投光手段に相当し、可視光カメラ７及び可視光画像取得部１３ａが特許請求の範囲に記載する可視光画像取得手段に相当し、近赤外線カメラ８及び近赤外線画像取得部１５ａが特許請求の範囲に記載する近赤外線画像取得手段に相当し、先行車両候補領域抽出部１４ａが特許請求の範囲に記載する抽出手段に相当し、先行車両検出部１６ａが先行車両検出手段に相当する。

以下、第１の実施の形態と異なる可視光カメラ７、近赤外線カメラ８、及び車両検出ＥＣＵ１２における先行車両検出部１７について詳細に説明する。

可視光カメラ７は、自車両の前方に備えられ、自車両の前方の画像を撮像するＣＣＤカメラである。可視光カメラ７は、４００ｎｍ〜１０００ｎｍ（可視光の波長領域）の光波長の画像を撮像する（図１２（ａ）参照）。可視光カメラ７は、撮像した自車両の前方の画像を可視光画像信号として車両検出ＥＣＵ１２に送信する。車両検出ＥＣＵ１２における可視光画像取得部１３ａは、可視光カメラ７が送信した可視光画像信号から可視光画像Ａを取得する。この可視光カメラ７から取得された可視光画像Ａには、先行車両２０，３０のテールランプ２１，３１や道路沿いの建物２５の照明２６などの光源から出る光が明確に写る（図３及び図６参照）。

近赤外線カメラ８は、自車両の前方に備えられ、自車両の前方の画像を撮像するＣＣＤカメラである。近赤外線カメラ８には、光の波長領域を限定する光カットフィルタが取り付けられており、８００ｎｍ〜１０００ｎｍ（近赤外線の波長領域）の光波長の画像を撮像する（図１２（ｂ）参照）。近赤外線カメラ８は、近赤外線投光器５が点灯した状態で撮像した自車両の前方の画像を近赤外線画像信号として車両検出ＥＣＵ１２に送信する。車両検出ＥＣＵ１２における近赤外線画像取得部１５ａは、近赤外線カメラ８が送信した近赤外線画像信号から近赤外線画像Ｂを取得する。この近赤外線カメラ８から取得された近赤外線画像Ｂには、先行車両２０，３０のテールランプ２１，３１や道路沿いの建物２５の照明２６などの光源はほとんど近赤外線の波長領域の光を出さないため弱く写る一方、先行車両２０，３０のリフレクタ２２，３２や道路沿いのガードレール２７に設けられた路上反射器２８は近赤外線を反射して明確に写る（図４及び図７参照）。なお、この近赤外線画像Ｂにおいては、可視光が写らないため、近赤外線をほとんど出さないテールランプ２１，３１や照明２６は第１及び第２の実施の形態と比べて輝度が小さくなる。

先行車両検出部１７は、第１の実施の形態又は第２の実施の形態と同様に抽出された先行車両候補領域Ｔ内において、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分を算出する。ここで、先行車両２０，３０のテールランプ２１，３１や建物２５の照明２６から出る光は、可視光画像Ａにおいて強く写る一方、近赤外線画像Ｂにおいては近赤外線をあまり含まないため弱く写る。また、先行車両２０，３０のリフレクタ２２，３２やガードレール２７の路上反射器２８は、自車両のヘッドライトの有効照射距離以上離れているため可視光画像Ａにはほとんど写らないが、近赤外線画像Ｂにおいては、近赤外線投光器５の近赤外線を反射した光が強く写る。

そこで、先行車両検出部１７は、先行車両候補領域Ｔ内における可視光画像Ａの各画素の輝度と近赤外線画像Ｂの各画素の輝度との差分を算出することにより、先行車両２０，３０のテールランプ２１，３１とリフレクタ２２，３２とを認識する(図１３及び図１４参照)。具体的には、図１３に示される図３の可視光画像Ａと図４の近赤外線画像Ｂとの先行車両候補領域Ｔ内の差分として、先行車両２０のテールランプ２１の光、テールランプ２１の下方に備えられた円形状のリフレクタ２２の反射光及び路上反射器２８の反射光の一部が算出され、図１４に示される図６の可視光画像Ａと図７の近赤外線画像Ｂとの先行車両候補領域Ｔ内の差分として、先行車両３０のテールランプ３１の光、テールランプ３１の周囲に備えられた円環形状のリフレクタ３２の反射光、及び路上反射器２８の反射光の一部が算出される。

その後、先行車両検出部１７では、先行車両候補領域Ｔ内における可視光画像Ａの各画素の輝度と近赤外線画像Ｂの各画素の輝度との差分が所定の差分閾値より大きいものが有ると判定した場合に、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分の正負を認識し、テールランプ２１，３１とリフレクタ２２，３２とを区別する。具体的には、可視光画像Ａの各画素の輝度から近赤外線画像Ｂにおける各画素の輝度を差し引いた場合に、正の差分値を有する画素集合（すなわち可視光画像Ａにおいて輝度が高く近赤外線画像Ｂにおいて輝度の小さい画素集合）をテールランプ２１，３１などの光源と判断し、負の差分値を有する画素集合（すなわち可視光画像Ａにおいて輝度が小さく近赤外線画像Ｂにおいて輝度の高い画素集合）をリフレクタ２２，３２などの反射器と判断する。このようにして、先行車両検出部１７では、テールランプ２１，３１及びリフレクタ２２，３２を有する先行車両２０，３０が検出される。

この車両検出装置３における動作の流れは、第１の実施の形態における動作の流れと同じでもよく、また第２の実施の形態における動作の流れと同じであってもよい。

この車両検出装置３によれば、第１の実施の形態に係る車両検出装置１又は第２の実施の形態に係る車両検出装置２と同様の効果を有する。

本発明は、上述した実施形態に限定されるものではない。例えば、車両検出装置１，２，３は、四輪だけでなく二輪の先行車両を検出することができる。この場合、先行車両候補領域抽出部１４ａ，１４ｂは、二値化処理後の画像内で輝度が１の画素の集合領域に対し、二輪車のテールランプの形状などから画素集合をテールランプ候補として検出し、そのテールランプ候補を含む周囲の矩形領域を先行車両候補領域Ｔとして抽出する。その後、可視光画像Ａの各画素における輝度と近赤外線画像Ｂの各画素における輝度との差分からテールランプ及びリフレクタを有する二輪の先行車両を検出する。

また、可視光画像Ａの各画素における輝度と近赤外線画像の各画素Ｂにおける輝度との差分を取るにあたり、予め各画像を二値化処理した後、差分を取る態様であってもよい。この場合、車両検出ＥＣＵ１０，１１，１２における演算処理の負荷を軽減することができる。

また、先行車両候補領域Ｔは、矩形領域に限られず、楕円形や長円形の領域であってもよく、領域の形状は特に限定されない。

第１の実施の形態に係る車両検出装置を示す構成図である。図１に示すＣＣＤカメラの撮像可能な波長領域を示すグラフである。自車両の前方における可視光画像の一例を示す図である。自車両の前方における近赤外線画像の一例を示す図である。図３の可視光画像と図４の近赤外線画像との先行車両候補領域内の差分を示す図である。自車両の前方における可視光画像の他の例を示す図である。自車両の前方における近赤外線画像の他の例を示す図である。図６の可視光画像と図７の近赤外線画像との先行車両候補領域内の差分を示す図である。第１の実施の形態に係る車両検出装置の動作の流れを示すフローチャートである。第２の実施の形態に係る車両検出装置の動作の流れを示すフローチャートである。第３の実施の形態に係る車両検出装置を示す構成図である。（ａ）は、図１１に示す可視光カメラの撮像可能な波長領域を示すグラフである。（ｂ）は、図１１に示す近赤外線カメラの撮像可能な波長領域を示すグラフである。第３の実施の形態に係る図３の可視光画像と図４の近赤外線画像との先行車両候補領域内の差分を示す図である。第３の実施の形態に係る図６の可視光画像と図７の近赤外線画像との先行車両候補領域内の差分を示す図である。

符号の説明

１，２，３…車両検出装置、４…ＣＣＤカメラ（可視光画像取得手段，近赤外線画像取得手段）、５…近赤外線投光器（赤外線投光手段）、６…運転支援装置、７…可視光カメラ（可視光画像取得手段）、８…近赤外線カメラ（赤外線画像取得手段）、１０，１１，１２…車両検出ＥＣＵ、１３ａ，１３ｂ…可視光画像取得部（可視光画像取得手段）、１４ａ，１４ｂ…先行車両候補領域抽出部（抽出手段）、１５ａ，１５ｂ…近赤外線画像取得部（赤外線画像取得手段）、１６ａ，１６ｂ，１７…先行車両検出部（先行車両検出手段）、２０，３０…先行車両、２１，３１…テールランプ、２２，３２…リフレクタ、照明…２６、路上反射器…２８。

Claims

車両の前方を走行する先行車両を検出する車両検出装置であって、
前記車両の前方における可視光画像を取得する可視光画像取得手段と、
前記車両の前方に近赤外線を照射する赤外線投光手段と、
前記赤外線投光手段が赤外線を照射した前記車両の前方における赤外線画像を取得する赤外線画像取得手段と、
前記赤外線画像取得手段が取得した前記赤外線画像と前記可視光画像取得手段が取得した前記可視光画像とに基づいて、先行車両を検出する先行車両検出手段と、
を備え、
前記可視光画像取得手段及び前記赤外線画像取得手段は、可視光の赤色領域から近赤外線領域の波長領域以外の光をカットする光カットフィルタが取付けられたカメラを共有しており、
前記可視光画像取得手段は当該カメラから送信された画像信号に基づいて前記可視光画像を取得し、前記赤外線画像取得手段は当該カメラから送信された画像信号に基づいて前記赤外線画像を取得することを特徴とする車両検出装置。
前記先行車両検出手段は、前記赤外線画像取得手段が取得した前記赤外線画像及び前記可視光画像取得手段が取得した前記可視光画像における画素間の輝度値の差が第１の閾値以上であることに基づいて、前記先行車両を検出することを特徴とする請求項１に記載の車両検出装置。
前記可視光画像取得手段が取得した前記可視光画像及び前記赤外線画像取得手段が取得した前記赤外線画像のうち少なくとも一方に基づいて、先行車両候補領域を抽出する抽出手段を更に備え、
前記先行車両検出手段は、前記抽出手段が抽出した先行車両候補領域に基づいて、前記先行車両を検出することを特徴とする請求項１又は２に記載の車両検出装置。
前記赤外線投光手段は、前記抽出手段が前記可視光画像取得手段の取得した前記可視光画像に基づいて前記先行車両候補領域を抽出した場合に消灯状態から点灯状態に切り換わることを特徴とする請求項３に記載の車両検出装置。
前記赤外線投光手段は、前記抽出手段が前記赤外線画像取得手段の取得した前記赤外線画像に基づいて前記先行車両候補領域を抽出した場合に点灯状態から消灯状態に切り換わることを特徴とする請求項３に記載の車両検出装置。
前記先行車両検出手段は、前記赤外線投光手段が点灯状態に切り換わった後、前記赤外線画像取得手段が取得した前記赤外線画像における所定時間毎の輝度変化量が第２の閾値以下である場合に、前記赤外線画像に基づいて前記先行車両を検出することを特徴とする請求項１〜請求項４のうちいずれか一項に記載の車両検出装置。