JP4743037B2

JP4743037B2 - 車両検出装置

Info

Publication number: JP4743037B2
Application number: JP2006206899A
Authority: JP
Inventors: 健二小林; 宏明公文; 玉津　　幸政
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2006-07-28
Filing date: 2006-07-28
Publication date: 2011-08-10
Anticipated expiration: 2026-07-28
Also published as: DE102007032075A1; JP2008033676A; US20080024325A1

Description

本発明は、画像センサを用いて、夜間に先行車両や対向車両などの他車両を検出する車両検出装置に関するものである。

例えば、特許文献１には、対向車両のヘッドランプや外灯などの光が複数存在する画像から、対向車両を認識する対向車両認識装置が開示されている。この対向車両認識装置は、ＴＶカメラで撮影した画像において対向車両認識領域を設定し、この領域内の画像を２値化しかつノイズ除去した後に明領域にラベリングして各明領域の重心と面積を演算する。次に、対向車両のヘッドランプと想定される明領域のペアをライト候補とする。このライト候補の下方に明領域があるときに、ライト候補を対向車両のヘッドランプと認識することで対向車両を認識する。この認識された対向車両のライト候補の間隔から車間距離を演算する。

つまり、特許文献１に記載の対向車両認識装置では、単にライト候補がペアとなっていることに基づいて対向車両を認識するのではなく、そのライト候補がヘッドライトであれば路面反射光が生じることを利用して、対向車両を認識するのである。このようにして、撮像した画像内に、外灯や建築物等の反射による複数の光点領域が形成されている場合でも、より確実に対向車両を認識できるようにしている。
特開平６−２７６５２４号公報

しかしながら、対向車両までの距離が長くなると、カメラで撮影した画像において、ペアとなるべき明領域が分離されずに、１つの明領域となってしまったり、さらに、路面反射光による明領域も結合して、１つの明領域となってしまったりする場合がある。このような場合、特許文献１の装置では、路側に設けられたリフレクタ等の外乱光源との識別が困難になるという問題がある。

本発明は、上述した点に鑑みてなされたものであり、カメラなどの撮像手段によって撮像した画像データにおいてリフレクタ等の外乱光源による光源領域を、誤って車両のランプによる光源領域として検出することを低減することが可能な車両検出装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の車両検出装置は、
自車両の前方を撮像するように、自車両に設置された撮像手段と、
撮像手段によって撮像された画像データにおいて、自車両が走行する車線を区画する区画線を検出する区画線検出手段と、
画像データにおいて、所定値以上の輝度を有する、光源に対応する光源領域を判別する判別手段と、
区画線検出手段によって検出された区画線を基準として、画像データの光源領域の中から、路側に設けられたリフレクタを含む外乱光源による光源領域を検出する外乱光源検出手段と、
外乱光源検出手段によって検出された外乱光源による光源領域を除いた、残りの光源領域を対象として、他車両のランプが光源である光源領域を検出するランプ光源検出手段とを備え、
外乱光源検出手段は、区画線を用いて、他車両が存在しない車両非存在領域を定め、その車両非存在領域に属する光源領域を、外乱光源による光源領域として検出するものであり、自車両が走行する車線の区画線の内、対向車線とは逆側に位置する区画線が連続線である場合に、その区画線の車線外側の領域であって、区画線から所定高さ以上の領域を車両非存在領域として定め、所定高さ以下の領域は他車両のランプが光源である光源領域が存在する領域とすることを特徴とする。

このように、請求項１に記載の車両検出装置では、画像データにおいて、光源により明領域となっている光源領域がある場合、区画線の位置を基準として、その光源領域が外乱光源による光源領域であるかどうかを検出する。そして、外乱光源による光源領域とみなされる場合には、他車両のランプを光源とする光源領域を検出する際の、検出対象から除外する。この結果、路側に設けられるリフレクタなどの外乱光源を、誤って車両のランプを光源とする光源領域として検出することを極力低減することができる。
具体的には、外乱光源検出手段は、区画線を用いて、他車両が存在しない車両非存在領域を定め、その車両非存在領域に属する光源領域を、外乱光源による光源領域として検出するものであり、自車両が走行する車線の区画線の内、対向車線とは逆側に位置する区画線が連続線である場合に、その区画線の車線外側の領域であって、区画線から所定高さ以上の領域を車両非存在領域として定める。
先行車両や対向車両などの他車両は、道路上を走行し、その他車両が走行する道路領域は、基本的に区画線によって規定される。従って、その区画線を用いて、他車両が存在しない車両非存在領域を定め、その車両非存在領域に属する光源領域は、外乱光源による光源領域とみなすことができる。ここで、道路に複数車線がある場合、車線間の区画線は点線によって表示され、対向車線とは逆側における車線と車線以外の領域（例えば路側帯）との間の区画線は連続線によって表示される。このため、自車両が走行する車線の区画線の内、対向車線とは逆側に位置する区画線が連続線である場合、その区画線の車線外側の領域を車両非存在領域として定めることができる。ただし、例えば先行車両が区画線よりも内側の車線を走行している場合であっても、先行車両のテールランプは、ある高さに設置されるので、画像データにおいては、区画線の車線外側にあるように映し出されることがある。これは、画像データが、いわゆる線遠近法のように、近距離にあるものを大きく、遠距離になるほど小さく映し出すため、区画線が遠方になるほど画像の中央に近づくように斜めになるためである。そのため、請求項１の発明では、画像データにおいて、連続線である区画線から所定高さ以上の領域を車両非存在領域として定め、所定高さ以下の領域は他車両のランプが光源である光源領域が存在する領域とする。これにより、車線内側を走行している先行車両のテールランプを、誤って外乱光源とみなしてしまうことを防止できる。

請求項２に記載したように、外乱光源検出手段は、区画線と並行して延びるように並んだ複数の光源領域の列を、リフレクタによる光源領域の列として検出することができる。路側に設けられたリフレクタは、視線誘導標（デリニエータ）とも呼ばれ、非常に高い光反射率を有している。このため、自車両においてヘッドランプを点灯している場合には、その反射光により、撮像手段が撮像した画像データにおいて、光源領域に相当する明るさで映し出される。このリフレクタは、夜間における道路形状の認識向上などのため、路側に一定間隔で設置される。従って、リフレクタが路側に設置されている場合、画像データでは、区画線と並行して延びるように並んだ複数の光源領域の列が生じる。このような光源領域の列を検出することにより、リフレクタによる光源領域を、車両ランプの検出対象から除去することができる。

光源領域の列を検出するための具体的手法として、例えば請求項３に記載するように、外乱光源検出手段は、検出された区画線を高さ方向上方に平行にシフトさせ、シフト後の区画線と、所定数以上の光源領域とが重なったとき、それら複数の光源領域を、リフレクタによる光源領域の列として検出することができる。

（第１実施形態）
以下、本発明の第１実施形態について、図面に基づいて詳細に説明する。図１は、本実施形態による車両検出装置を備えたヘッドランプ制御装置の構成を示す構成図である。

図１において、車載カメラ１０は、例えば、電荷結合素子（ＣＣＤ）等を受光素子とする画像センサを内蔵し、自車両の前方を撮影することができるように自車両に搭載される。この際、車載カメラ１０の撮影方向が、所定の基準方向（例えば水平方向）に一致するように、車載カメラ１０が自車両に設置、固定される。

なお、車載カメラ１０は、図示しない内蔵された制御部からの指示に応じて、シャッタースピード、フレームレート、及び、車両検出制御装置２０へ出力するデジタル信号のゲイン等を調整することが可能に構成されている。そして、車載カメラ１０は、画像データとして、撮影した画像の画素毎の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに車両検出制御装置２０へ出力する。

車両検出制御装置２０は、車載カメラ１０から入力された画像データに対して、画像処理を施すことにより、先行車両のテールランプ、対向車両のヘッドランプを光源とする光源領域を検出する。そして、先行車両のテールランプや対向車両のヘッドランプを光源とする光源領域を検出した場合には、その先行車両や対向車両に関する検出情報をヘッドランプ制御装置３０に出力する。

ヘッドランプ制御装置３０は、車両検出制御装置２０から入力された、先行車両もしくは対向車両などの他車両に関する検出情報に基づいて、ヘッドランプの向きを制御する。例えば、検出情報に含まれる、先行車両や対向車両までの距離が所定距離以下である場合には、ヘッドランプの向きをロービームとして、先行車両や対向車両の運転者が自車両のヘッドランプの光によって眩しさを感じることを防止する。一方、先行車両や対向車両までの距離が所定距離以上であったり、先行車両や対向車両が検出されていなかったりする場合には、ヘッドランプの向きをハイビームとして、自車両の運転者の視界をより遠方まで確保するようにする。車載カメラ１０による画像データに基づくことにより、比較的遠距離（例えば６００ｍ）に存在する先行車両や対向車両を検出することができるので、ヘッドランプ制御装置３０は、ヘッドランプの向きを適切に制御することができる。

次に、車両検出制御装置２０における、車両検出のための具体的な処理手順を図２のフローチャートに基づいて説明する。

まず、ステップＳ１１０では、車載カメラ１０の画像センサによって自車両前方を撮像した画像データをメモリに取り込む。この画像データは、上述したように、画像センサの各画素における輝度を示す信号を含む。ステップＳ１２０では、メモリに取り込まれた画像データから光源と思われる輝度の高い光源領域を検出する。

具体的には、まず、各画素の輝度を所定の閾値輝度と比較することにより、２値化処理を行う。この２値化処理では、所定の閾値輝度以上の輝度を有する画素に「１」、そうでない画素に「０」を割り振ることで、２値画像を作成する。次に、この２値画像において、「１」が割り振られた画素が近接している場合には、それらを１つの光源領域として認識するラベリング処理を実施する。これによって、複数の画素の集合からなる光源領域が、１つの光源領域として検出される。

次に、ステップＳ１３０では、メモリに保存した画像データに対して演算処理を行ない、自車両が走行している車線を区画する区画線としての白線の位置を検出する。そのため、まず、車載カメラ１０の設置方向、画角などに基づいて、車載カメラ１０が撮影した画像において、白線が含まれる白線領域を予め定めておく。そして、例えば図３に示すように、この白線領域の画像データに対して、微分処理を施すことにより、明るさ（輝度）が大きく変化するエッジを抽出する。

ここで、夜間、自車両のヘッドランプが点灯されている場合には、そのヘッドランプからの光を白線が反射するため、白線は、画像データにおいて比較的明るく映し出される。そのため、道路部分（暗部）から白線部分（明部）及び白線部分（明部）から道路部分（暗部）となる位置で、エッジが検出されるのである。このようにして、エッジが検出された部分を組み合わせたときに、白線に相当する形状となったとき、その組み合わせ部分に白線があることを検出する。

なお、白線検出処理は、上述した処理に限られず、他の公知の処理方法によって実行されても良い。例えば、上述したように、白線部分に対応する画素の輝度は、道路部分に対応する画素の輝度よりも高い。従って、白線部分に該当する輝度を抽出するための閾値を設定し、この閾値以上の輝度を持つ画素を抽出して、これらの抽出した画素を組み合わせたとき白線に相当する形状を示す場合に、その抽出画素集合を白線として検出しても良い。また、区画線には、白線の他、黄線も含み、上述した白線検出処理は、区画線が黄線からなる場合にも、同様に適用することができる。

ステップＳ１３０における白線検出処理において、例えば、道路に白線が描かれていない等の理由により、白線が検出できないこともある。そこで、続くステップＳ１４０では、白線が検出できたか否かを判断する。ステップＳ１４０において、白線は検出されなかったと判定されると、ステップＳ１８０の処理に進む。一方、ステップＳ１４０において、白線が検出されたと判定されると、ステップＳ１５０の処理に進む。

ステップＳ１５０では、白線位置を基準として、路側に設けられたリフレクタによる光源領域を検出するリフレクタ検出処理を実行する。

昼間であれば、車両の運転者は、白線や防護柵等を走行基準としながら運転を行うことができるが、夜間においては、それらの施設による視線誘導機能は著しく低下し、道路形状を明瞭に視認できるのは、主に自車両のヘッドランプの照射範囲に限定される。そのため、夜間における道路形状の認識向上等のため、路側には、非常に高い光反射率を有するリフレクタ（視線誘導標（デリニエータ）とも呼ばれる）が設けられることがある。このようなリフレクタが路側に設けられた場合、自車両においてヘッドランプを点灯していれば、その反射光により、自車両の運転者は、遠方に設置されたリフレクタまで認識することができる。

一方、このように明るいリフレクタは、車載カメラ１０が撮影した画像データにおいても、光源領域に相当する明るさで映し出される。このため、リフレクタによる光源領域を、先行車両のテールランプや対向車両のヘッドランプなど、他車両のランプであると誤検出してしまう場合がある。そのため、本実施形態では、白線位置を基準としてリフレクタによる光源領域を検出し、予め、車両ランプの検出対象から除外することで、上述した誤検出を極力低減する。

以下に、リフレクタによる光源領域の検出方法について、図４を参照して説明する。リフレクタは、路側に一定間隔で設置される。従って、リフレクタが路側に設置されている場合、画像データには、図４に示すように、区画線である白線と並行して延びるように並んだ複数の光源領域の列が生じる。このような光源領域の列を画像データにおいて探索することにより、リフレクタによる光源領域を検出することができる。

光源領域の列を探索する具体的方法の一例としては、図４に点線で示すように、ステップＳ１３０で検出した白線の位置を、高さ方向上方に所定距離ごとに平行にシフトさせる。そして、シフト後の白線に、所定数（例えば４個）以上の光源領域が重なったとき、それら複数の光源領域を、リフレクタによる光源領域の列として検出する。

続くステップＳ１６０では、ステップＳ１５０のリフレクタ検出処理において、リフレクタに対応する光源領域の列が検出されたか否かを判定する。このステップＳ１６０において、リフレクタに対応する光源領域の列は検出されなかったと判定されると、ステップＳ１８０の処理に進む。一方、ステップＳ１６０において、リフレクタに対応する光源領域の列が検出されたと判定されると、ステップＳ１７０の処理に進む。

ステップＳ１７０では、リフレクタに対応する光源領域の列を、画像データから削除する。これにより、画像データに残る光源領域は、リフレクタによる光源領域を含まなくなるので、先行車両のテールランプや対向車両のヘッドランプを光源とする光源領域を精度良く検出することができる。

ステップＳ１８０では、光源領域の輝度、形状、左右対称性などに基づいて、画像データに含まれる光源領域の内、先行車両のテールランプが光源となっている光源領域や、対向車両のヘッドランプが光源となっている光源領域を検出する。そして、先行車両のテールランプや、対向車両のヘッドランプが光源となっている光源領域が検出された場合、先行車両や対向車両などの他車両が検出されたことを示す他車両検出情報をヘッドランプ制御装置３０に出力する。この他車両検出情報は、その他車両までの距離も含むことが好ましい。他車両までの距離は、公知のように、左右ランプ間の距離や、画像センサにおける光源領域の位置などから算出することができる。

なお、ステップＳ１４０にて白線が検出されなかったと判定された場合、及びステップＳ１６０において、リフレクタが検出されなかったと判定された場合には、ステップＳ１７０の処理を行うことなく、ステップＳ１８０の処理に進む。従って、この場合には、ステップＳ１２０において検出された全ての光源領域を対象として、他車両のランプが光源となっている光源領域の検出処理が実行される。

また、図４には、左側の白線に基づいて、リフレクタによる光源領域の列を探索する例を示したが、対向車線同士が分離されている場合などには、右側の白線に沿ってリフレクタが設置される場合もある。従って、左側の白線に加え、右側の白線に基づいて、リフレクタによる光源領域の列を探索するようにしても良い。

（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態による車両検出装置は、前述した第１実施形態による車両検出装置と同様に構成される。このため、構成に関する説明は省略する。

本実施形態による車両検出装置では、リフレクタ等の外乱光源の検出方法が、上述した第１実施形態による車両検出装置とは異なる。このため、以下、本実施形態の車両検出装置における、リフレクタ等の外乱光源の検出方法について重点的に説明する。

図５は、本実施形態の車両検出制御装置２０における、車両検出のための具体的な処理手順を示すフローチャートである。この図５に示すフローチャートにおいて、ステップＳ１１０の画像データの取込処理からステップＳ１４０の白線検出判定処理まで、及びステップＳ１８０の他車両検出情報出力処理は、図２に示すフローチャートに示す処理と同様である。

しかし、本実施形態においては、ステップＳ１４０において白線が検出されたと判定されると、ステップＳ１５５に進んで、左側の白線が連続線であるか否かを判定する。

ここで、先行車両や対向車両などの他車両は、道路上を走行し、それらの他車両が走行する道路領域は、基本的に白線などの区画線によって規定される。この区画線は、同一方向に複数車線があり、それら複数車線を区画する場合には点線によって表示され、道路領域の境界を示す場合には、連続線によって表示される。従って、同一方向車線を走行する先行車両に関して、対向車線とは逆側に位置する区画線に基づいて、先行車両が存在しない車両非存在領域を定めることができる。つまり、左側通行における左側の白線が連続線である場合、自車両が走行している車線は、最も左寄りの車線であって、その左側白線の車線外側は、路側帯など、先行車両が存在しない車両非存在領域であるとみなすことができる。

そのため、ステップＳ１５５において「Ｙｅｓ」と判定された場合には、ステップＳ１６５に進み、左側の白線に基づいて、その白線よりもさらに左側（車線外側）の領域を、先行車両が走行することがない他車両非存在領域に設定する。続くステップＳ１７５では、ステップＳ１６５において設定した車両非存在領域に属する光源領域を、リフレクタなどの外乱光源による光源領域とみなして、画像データから削除する。これにより、画像データに残る光源領域は、リフレクタなどの外乱光源による光源領域を含まなくなるので、他車両のランプを光源とする光源領域を精度良く検出することができる。

ただし、例えば先行車両が道路境界となる左側区画線よりも内側を走行している場合であっても、図６に示すように、先行車両のテールランプは、ある高さに設置されるので、画像データにおいては、左側区画線の車線外側にあるように映し出されることがある。これは、画像データが、いわゆる線遠近法のように、近距離にあるものを大きく、遠距離になるほど小さく映し出すため、区画線が遠方になるほど画像の中央に近づくように斜めになるためである。

そこで、ステップＳ１６５において、他車両非存在領域を設定する場合には、図６に示すように、画像データにおいて、連続線である左側区画線から所定高さ以下の領域は他車両存在領域とし、その所定高さ以上の領域を他車両非存在領域として定めることが好ましい。これにより、車線内側を走行している先行車両のテールランプを、誤って外乱光源として削除してしまうことを防止できる。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において、種々、変形して実施することが可能である。

例えば、上述した実施形態では、車両検出装置が、ヘッドランプ制御装置に適用される例について説明したが、本発明による車両検出装置は、例えば、夜間に先行車両や対向車両などを検出し、運転者に表示や警告を行う運転支援装置に適用することも可能である。

第１実施形態による車両検出装置を備えたヘッドランプ制御装置の構成を示す構成図である。車両検出制御装置２０において実行される車両検出処理を示すフローチャートである。車両検出処理における白線検出処理を説明するための説明図である。車両検出処理におけるリフレクタ検出処理を説明するための説明図である。第２実施形態の車両検出装置における、車両検出処理を示すフローチャートである。第２実施形態による車両検出処理における他車両非存在領域設定処理を説明するための説明図である。

符号の説明

１０車載カメラ
２０車両検出制御装置
３０ヘッドランプ制御装置

Claims

自車両の前方を撮像するように、自車両に設置された撮像手段と、
前記撮像手段によって撮像された画像データにおいて、自車両が走行する車線を区画する区画線を検出する区画線検出手段と、
前記画像データにおいて、所定値以上の輝度を有する、光源に対応する光源領域を判別する判別手段と、
前記区画線検出手段によって検出された区画線を基準として、前記画像データの光源領域の中から、路側に設けられたリフレクタを含む外乱光源による光源領域を検出する外乱光源検出手段と、
前記外乱光源検出手段によって検出された外乱光源による光源領域を除いた、残りの光源領域を対象として、他車両のランプが光源である光源領域を検出するランプ光源検出手段とを備え、
前記外乱光源検出手段は、前記区画線を用いて、前記他車両が存在しない車両非存在領域を定め、その車両非存在領域に属する光源領域を、外乱光源による光源領域として検出するものであり、前記自車両が走行する車線の区画線の内、対向車線とは逆側に位置する区画線が連続線である場合に、その区画線の車線外側の領域であって、区画線から所定高さ以上の領域を前記車両非存在領域として定め、所定高さ以下の領域は他車両のランプが光源である光源領域が存在する領域とすることを特徴とする車両検出装置。
前記外乱光源検出手段は、前記区画線と並行して延びるように並んだ複数の光源領域の列を、前記リフレクタによる光源領域の列として検出することを特徴とする請求項１に記載の車両検出装置。
前記外乱光源検出手段は、検出された区画線を高さ方向上方に平行にシフトさせ、シフト後の区画線と、所定数以上の光源領域とが重なったとき、それら複数の光源領域を、前記リフレクタによる光源領域の列として検出することを特徴とする請求項２に記載の車両検出装置。