JP4253275B2 - 車両制御システム - Google Patents

Description

本発明は、車両搭載用の車両制御システムに関するものである。

車載カメラが撮影した画像を用いて車両の位置及び方向を検出する技術として、夜間のヘッドライトやテールランプを検知し、その情報を基に他車両情報を検出する例があげられる。ヘッドライトは夜間走行時、運転手の視認性を良くするために前方に車両が存在しなければハイビームに、存在する場合は距離に応じてロービームにすることが望ましい。従って、自車両前方に先行車もしくは対向車がどの距離に存在するかどうかを検出する技術が重要となる。車間距離算出の一方式として、自車の前方をカメラで撮像し、画像を解析することで車間距離を計算する例が知られている。ただしＣＣＤやＣＭＯＳのカメラは、ダイナミックレンジが限られているため、ヘッドライトとテールランプのように輝度差が大きな対象を一様に撮像することが難しい。更にカメラへの入射光量は光点からの距離に依存するため、ヘッドライトが近くテールランプが遠方にあれば見かけ上の輝度差は一層広がる。ハイビームは２００ｍ程離れても眩しさを感じることから、配光制御では数百ｍ遠方の車両まで検出できなければならない。即ち遠方のテールランプの輝度にあわせて露光を調整すると、近傍のヘッドライトからの光量が強すぎてブルーミングを起こす可能性が高く、また近傍のヘッドライトにあわせて露光を調整すると、遠方のテールランプは暗くなり、距離の算出が困難となる。

この課題を解決するために、青色フィルタを装着したレンズを持つ撮像素子と赤色フィルタを装着したレンズを持つ撮像素子の２つを有し、青色フィルタで対向車のヘッドライトを、赤色フィルタで先行車のテールランプを各々検出する技術が知られている。（例えば特許文献１）本方式は、機械的な走査装置が不要であって簡単な構成の安価なシステムを実現できる。しかし、撮像素子及びレンズを２つ用いているので、光学系で２倍のコストがかかる。更に、２つそれぞれがヘッドライトとテールランプを分けて認識するため、ヘッドライトとテールランプの違いによる輝度差は吸収できるが、距離の違いによる輝度差は吸収が困難であり、近傍と遠方に車両が混在する場合は、ブルーミング等による車両位置検出精度の低下が生じる。

更に、ヘッドライトやテールランプを検知する場合に問題となるのが信号機やリフレクタ、街灯、自動販売機など、車両以外のノイズ光点の混入である。配光制御や、ＡＣＣ、プリクラッシュセイフティーなどのアプリケーションでは、車両を検知することが重要であり、それ以外のものはノイズとして除外しなければならない。しかしながら、上記のようなノイズ光点が混入すると、それを車両と誤認識することがあり、アプリケーションの振る舞いに重大な影響を与えてしまう。これらノイズ光の影響を排除する手法として、街灯を除外するための手法が提案されている（例えば特許文献１）。本方式では、街灯の光点の特徴を利用してヘッドライトやテールランプとの差別化を図っている。すなわち、走行を続けるにつれて光点が画面の上方に移動することを利用したり、蛍光灯特有のフリッカーを利用したりすることで除外が可能としている。

特表２００１−５１９７４４号

しかしながら、通常のＮＴＳＣカメラを用いる場合、蛍光灯のフリッカーを利用した方法は現実的でなく、蛍光灯でない信号機には意味をなさない。また、単に上方に移動するものであればバスなどの高い位置に設置されたテールランプも同様の動きをするため、それらとの切り分けが難しいという問題がある。

本発明は、カメラ１台で、近傍のヘッドライトから遠方のテールランプまで高精度に光点の位置を特定できる高精度でかつ安価な画像処理システムを提供する。また、ヘッドライトやテールライトと、信号機や街灯、自動販売機などのノイズ光を識別して、夜間の車両検知性能を高め、より高度な機能を提供することを目的としている。

本発明では、車両に搭載された１台のカメラ（撮像手段）が撮影した画像を解析する画像解析手段を備え、画像解析手段でカメラが撮影した２つ以上の露光量の異なる画像を解析して前方を走行する他の車両の位置を検知する。検知した他車両の位置情報は、車両制御のために用いる。

本発明では、露光量を変えながら複数の画像を撮像することで、ダイナミックレンジの小さい撮像素子においても高精度な光の検出ができ、安価な画像処理システムを構築できる。更に本発明では、ノイズ光の影響をより削減することが可能であり、カメラによる夜間の車両検知を必要とするアプリケーションの高度化に役立つ。

以下、図を用いて本発明の実施例を説明する。

図１は、ヘッドライト配光制御を実現する画像処理システムを、自動車などの車両１００に搭載した構成を模式的に示した図である。本実施例の画像処理システムは、カメラ（撮像手段）１０１と画像解析ユニット１０２を有している。カメラ１０１は、車両１００が走行する前方の画像を撮像できるように、座席のルームミラー（図示せず）付近に設置されている。カメラ１０１で撮像された車両前方の画像は、画像信号化されて画像解析ユニット１０２に入力される。画像解析ユニット１０２は、カメラ１０１から送信された画像信号を解析し、車両１００の前方に存在する他の車両までの距離を算出する。ヘッドライト制御ユニット１０３は、画像解析ユニット１０２からの出力信号を受け、画像解析ユニット１０２が算出した距離値から、ヘッドライト１０４を制御する制御信号を生成する。ヘッドライト制御ユニット１０３が生成した制御信号は、ヘッドライト１０４に送られる。具体的には、ヘッドライト制御ユニット１０３は、ヘッドライト１０４のハイビームおよびロービームに負荷する電圧量を算出し、ヘッドライト１０４に算出された電圧を供給する。

なお、ヘッドライト制御ユニット１０３は、ヘッドライト１０４のハイビームとロービームの電流量を算出して、ヘッドライト１０４に供給してもかまわない。また、ヘッドライト１０４の図示しないフィラメント、あるいはリフレクタ部分を稼動するために、ヘッドライト制御ユニット１０３から、ヘッドライト１０４の照射する光軸の角度を制御する信号を、ヘッドライト１０４に送信しても良い。この制御方法によって、ヘッドライト１０４の照射する光の光軸を変化させて、ヘッドライト１０４からの照射距離を制御することができる。

図２は、カメラ１０１と画像解析ユニット１０２の内部構成を示した模式図である。図３は、カメラ１０１の内部構成を詳細に示した模式図である。以下、図２と図３を用いてカメラ１０１と画像解析ユニット１０２の動作を説明する。

カメラ１０１は、画像を検知するＣＣＤ２０１とカメラＤＳＰ２０２を有している。ＣＣＤ２０１は光を電荷に変換する撮像素子であり、車両前方の映像をアナログ画像信号に変換して、カメラＤＳＰ２０２に転送する。なおカメラ１０１は、他にもレンズや必要に応じてフィルタ等を有していても良い。

カメラＤＳＰ２０２の内部には、ＡＤＣ３０３（Analog-Digital Converter）と、露光制御を行うための露光制御ユニット３０１と、露光時間を設定するためのレジスタ３０２を備えている。ＡＤＣ３０３は、ＣＣＤ２０１が画像を検知して出力したアナログ画像信号を、デジタル画像信号に変換し、画像解析ユニット１０２の画像入力Ｉ／Ｆ２０５に送信している。デジタル画像信号は、カメラＤＳＰ２０２より連続的に送信されるが、その先頭には同期信号が含まれている。従って、画像入力Ｉ／Ｆ２０５では、必要なタイミングのデジタル画像信号のみを取り込むことができる。画像入力Ｉ／Ｆ２０５で取り込まれたデジタル画像信号は、メモリ２０６に書き込まれ、画像処理ユニット２０４によって処理や解析が行われる。なお、この処理の詳細については、後述する。一連の処理はＦＲＯＭに書き込まれたプログラム２０７によって行われ、画像入力Ｉ／Ｆ２０５で画像を取り込ませたり、画像処理ユニット２０４で画像処理を行わせるための制御および必要な計算は、ＣＰＵ２０３が行っている。

ここでＣＣＤ２０１は、レジスタ３０２に設定された露光時間で、車両前方の画像を撮像する。レジスタ３０２は、設定された露光時間を利用者によって任意に書き換え可能である。書き換えられた露光時間は、次フレームあるいは次フィールド以降の撮像時に反映される。

設定された露光時間の制御は、カメラＤＳＰ２０２によって行われる。カメラＤＳＰ２０２は、ＣＣＤ２０１の電源をオンしている時間を制御し、その結果ＣＣＤ２０１に当たる光の量が制限される。この方式は、電子シャッター方式と呼ばれる。露光時間の制御は、電子シャッター方式以外に、メカニカルシャッターを開閉させる方式を用いても実現できる。また、絞り機構を設けて、絞りを調整して露光量を変化させても良い。また、インターレースのように１ラインおきに操作する場合、奇数ラインと偶数ラインで露光量を変化させても良い。

図４は、実施例１の処理の流れを表したフローチャートである。Ｓ４０１からＳ４０９は、それぞれの処理ステップを示している。まず、各処理ステップの概略について説明する。

Ｓ４０１からＳ４０４では、カメラ１０１から高輝度検出用の画像と低輝度検出用の画像を取得し、画像解析ユニット１０２に転送する処理である。転送される画像データには同期信号が含まれており、ＣＰＵ２０３は、同期信号を割り込みタイミングとして画像入出力にかかわる処理を行う。

Ｓ４０５からＳ４０７では、画像データから画像解析ユニット１０２を用いて、画像中の光点の位置を検出している。

Ｓ４０８では自車両と前方を走行する他の車両との車間距離を計算し、Ｓ４０９は、最も近い他の車両との車間距離からヘッドライト１０４に加える目標電圧を算出し、ヘッドライト制御ユニット１０３によってヘッドライト１０４にかける電圧を制御している。

次に、図４及び図５、図６、図７を用いて、各処理ステップの詳細な説明を行う。

Ｓ４０１では、ＣＰＵ２０３がレジスタ３０２を高輝度検出用露光量に設定する。詳述すると、高輝度の光点を検出するために最適な露光時間に設定するものであって、前方の対向車のヘッドライト、または比較的近距離にある先行車両のテールランプの光点を検出するために選ばれる。高輝度の光点を検出するための露光時間は、撮像素子であるＣＣＤ２０１の感度特性にもよるが、１／１２０秒から１／２５０秒程度である。

図５は、カメラ１０１によって車両１００の前方を撮像した画像の模式図である。図５（ａ）は、道路を走行する車両１００の前方の像を示し、対向車両５０１及び先行車両５０２が認識される。図５（ａ）の状態を、前記高輝度検出用露光時間で撮像した画像が、図５（ｂ）に示す高輝度検出用画像５０３である。対向車両５０１のヘッドライトは、輝度が高いために高輝度検出用画像５０３では光点として写る。しかし、先行車両５０２のテールランプは、輝度値が低いために、高輝度検出用画像５０３には写らない。

Ｓ４０２では、Ｓ４０１で設定した露光時間で撮像したデジタル画像信号を、画像解析ユニット１０２中の画像入力Ｉ／Ｆ２０５が受信したのち、メモリ２０６に格納する。

Ｓ４０３では、ＣＰＵ２０３によって、レジスタ３０２を低輝度検出用露光量に書き換える。これは、低輝度の光点を検出するために最適な露光時間であって、前方の比較的遠距離にあるテールランプの光点を検出するために選ばれる。そのため露光時間は、Ｓ４０１で設定したものよりも長くなり、１／３０秒から１／６０秒程度である。図５（ａ）の状態を低輝度検出用露光時間で撮像した画像が、図５（ｃ）の低輝度検出用画像５０４である。低輝度検出用画像５０４は、先行車両５０２のテールランプの低輝度光点を捉えることができる反面、対向車両５０１のヘッドライトは高輝度であるため、ブルーミングを起こして周辺の画素まで白く飽和している。

Ｓ４０４では、Ｓ４０２と同様にＳ４０３で設定した露光時間で撮像したデジタル画像信号を、画像入力Ｉ／Ｆ２０５が受信し、メモリ２０６に格納する。

Ｓ４０５〜Ｓ４０７では、カメラ１０１から取得した画像を解析して光点の位置を求める。Ｓ４０５〜Ｓ４０７の処理は、ＣＰＵ２０３と画像処理ユニット２０４によって行われる。Ｓ４０５〜Ｓ４０７に関する一連の処理を、図６、図７を用いて説明する。

Ｓ４０５は、高輝度検出用画像５０３を用いて、図６（ａ）に示す高輝度光点６０１の位置検出を行っている。光点の位置検出方法については、後述する。高輝度光点６０１の位置が求まったら、Ｓ４０６〜Ｓ４０７で、図６（ｂ）に示す低輝度検出用画像５０４を用いて低輝度光点の位置検出を行う。ここで、低輝度検出用画像５０４には、高輝度の光点も含まれており、前述したようにブルーミングを起こすことがある。ただし、高輝度光点６０１の位置が含まれる光点のブルーミング領域６０３は、高輝度検出用画像５０３ですでに求めている。

そこでＳ４０６では、図６（ｂ）に示すように低輝度検出用画像５０４で高輝度点の二重検出を防ぐためにマスキングを行っている。ここで、日本の道路のように自動車などの車両が左側通行である場合は、対向車両が画像面の右側に位置し、対向車両のヘッドライトよりも画像面の右側に先行車両のテールランプが位置することは考えにくい。そこで、マスキング領域６０４は、図６（ｂ）のようにブルーミング領域６０３から画像面の右側すべてとする。自動車などの車両が道路右側通行の場合は、反対にブルーミング領域から画像面の左側すべてをマスキングすることになる。

続いてＳ４０７では、マスキング領域６０４以外の領域で、低輝度光点６０２の位置を算出している。

次に、高輝度光点と低輝度光点の位置の検出方法について図７を用いて説明する。ここで、図７（ａ）は高輝度検出用画像５０３、図７（ｂ）は低輝度検出用画像５０４を示している。光点は、輝度値が高いため画像上での濃度値が高く白く写る。濃度値は８ビットで示される。即ち、０から２５５までの２５６段階で表現される。高輝度の光点付近の濃度値は２５５に近く、それ以外の領域の濃度値は０に近い。そこで、まず高輝度点を検出するため、図７（ａ）のようにＹ座標が等しい画素の濃度値をすべてＹ軸に累積しながら投影する。この投影分布をＹ軸の濃度投影分布と呼ぶこととする。図７（ａ）のようにＹ軸濃度投影分布には車両１台につき、Ｙ座標軸に１つの山が現れる。この山の頂点を求めることで、光点のＹ座標を求めることができる。更に、Ｙ軸濃度投影分布で検出された山の裾野を上端下端とした光点存在帯７０１に限定して、Ｘ軸濃度投影分布を求める。通常の自動車などの車両は、左右にヘッドライトがあることからＸ座標軸に２つの山が現れる。ただし、片側複数の車線がある路線では、車両が２台以上並ぶこともあり、２つ以上の山が現れる場合もある。また、車両がオートバイなどの２輪車である場合、ヘッドライトは１つであるため、Ｘ座標軸には１つしか山が現れない。低輝度光点の場合も、高輝度光点と同様にして座標軸上の位置を算出することができる。図７（ｂ）のようにマスキング領域６０４を除外した領域で、図７（ａ）の場合と同様にＹ軸濃度投影分布を求め、帯状領域でＸ軸投影を求める。

通常、自動車などの４輪車両の場合は、テールランプやヘッドライトの光点が２つとなり、２つの光点を検出すればよい。しかしながら４灯テールランプ等の車両も存在し、例え先行車両が１台であってもＸ軸濃度投影分布に４つの山ができることがある。このような場合は、先行車両が、１台か２台か判断しにくい。そこで、本発明の実施例では、前記のような４灯テールランプの車両において、山が４つ以上現れた場合は、テールランプが車両中心から左右対称であることを利用し、山のＸ軸の幅や位置を解析することとする。前記解析結果から、先行車両が、４灯テールランプの車両か、それとも２灯テールランプの車両が２台存在するのかを判断できる。

輝度点の位置が求まったら、続いて図４のＳ４０８で車間距離の計算を行う。対向車両もしくは先行車両が４輪車であれば、ヘッドライトあるいはテールランプから車幅を求めることができる。この場合、カメラ１０１を用いてヘッドランプあるいはテールランプの画角を測定し、画角情報があれば三角測量の原理で、自車両と対向車両または先行車両との車間距離を求めることができる。ただし、対向車両もしくは先行車両が２輪車の場合は、ランプが１つしかないので、上記方式で車幅を求めることはできない。そこで、２輪車のように光点が１つの場合は、自車両に設置したカメラの路面からの高さを利用して俯角による測距を行うこととする。すなわち、２輪車のランプの路面からの高さよりも、自車両に設置したカメラの路面からの高さの方が高いことを利用することで、三角測量を用いた車間距離測定を行うことができる。対向車両もしくは先行車両が４輪車の場合は、バスやトラック等、自車両に設置したカメラの路面からの高さよりも高い位置にヘッドライトあるいはテールランプを備えている車両もある。この場合には、俯角による車間距離の測定ができない。従って、前述のランプ幅情報を用いた車間距離の測定を行うこととする。

三角測量で距離を求める方法を図１６、１７を用いて説明する。まず、車両幅情報から距離を求める場合、図１６に示す原理で測距を行う。先行車両１６０３の実際の車両幅Ｗ、カメラの焦点距離ｆ、ＣＣＤ１６０２面に映し出された画像中の車両幅ｗとすると、カメラから車両１６０３までの距離Ｌは
Ｌ＝Ｗｆ／ｗ
と表せる。ここで実際の車両幅Ｗは未知であるため例えば平均的な１．７ｍと仮定することで距離が求まる。

次に、俯角情報を用いて距離を求める場合について図１７を用いて説明する。先行車両のテールランプ１７０３の路面からの高さをｈｌ、カメラの焦点距離ｆ、ＣＣＤ１７０２面に映し出された画像中の座標ｙとすると、カメラから先行車両までの距離Ｌは
Ｌ＝（ｈｃ−ｈｌ）×ｆ／ｙ
と表せる。ここで、実際の先行車両のテールランプ１７０３の路面からの高さｈｌは未知であるため例えば８０ｃｍと仮定する必要がある。ただし、この値は車両による個体差が大きく、とくにカメラの光軸よりも高い、すなわち、カメラの路面からの高さｈｃがテールランプの路面からのｈｌよりも低い場合は距離が求まらない。そのため、オートバイなどの二輪車に使用する程度にして、主に図１６のように車両幅を用いて距離を出すようにした方がよい。

ここで、４輪車でも自車両から遠方に離れてしまうと、画像解像度などによりヘッドライトあるいはテールランプなどの左右２つの光点が切り分けられないこともある。例えば、４輪車の車幅が１。７ｍ であって、レンズ画角が２８度、水平解像度６４０、ＣＣＤ横サイズ５ｍｍ、焦点距離１０ｍｍのカメラを用いた場合、３００ｍ遠方での車幅はおよそ７画素程度となる。このとき左右２つの光点の切り分けができず、ランプ間隔による側距方式が俯角による測距方式に切り替わる。このとき距離の整合性が取れなくなり、結果として急激に距離が変化して見えることがある。すなわち２種類の測距方式が違うことで、その誤差が悪影響を及ぼすことがある。このような課題に関しては、４輪車も前述した２通りの測距方式で車間距離を計算し、そのうち距離の近いほうを採用することで誤差を軽減することができる。

図４のＳ４０９では、Ｓ４０８で求まった車間距離のうち最も近い値を基準にしてヘッドライトの配光制御を行っている。ＣＰＵ２０３は、最も小さな車間距離の値からヘッドライトのロービームおよびハイビームに負荷する電圧を算出し、ヘッドライト制御ユニット１０３に送信する。ヘッドライト制御ユニット１０３は、送られてきた各電圧値をヘッドライトのロービームおよびハイビームのフィラメントに負荷する。ここで、最も近い車両との距離が８０ｍ以下であればロービームのみに電圧をかけ、それから距離が大きくなるにつれて徐々にロービームの電圧を落としながらハイビームに電圧を上昇させる。４００ｍ以上離れていればハイビームのみに電圧をかけることとする。

次に、撮像素子であるＣＣＤ２０１にカラーＣＣＤを用いた場合の実施例２の処理について説明する。図８はカラーカメラを用いた実施例２の処理のフローチャートである。Ｓ８０１からＳ８０９は、それぞれの処理ステップを示している。まず、各処理ステップの概略について説明する。

Ｓ８０１からＳ８０４では、カメラ１０１から高輝度検出用の画像と低輝度検出用の画像を取得し、画像解析ユニット１０２に転送する処理である。転送される画像データには同期信号が含まれており、ＣＰＵ２０３は、同期信号を割り込みタイミングとして画像入出力にかかわる処理を行う。Ｓ８０５、Ｓ８０６では、画像データから画像解析ユニット１０２を用いて、画像中の光点の位置を検出している。Ｓ８０７では自車両と前方を走行する他の車両との車間距離を計算し、Ｓ８０８は、最も近い他の車両との車間距離からヘッドライト１０４に加える目標電圧を算出し、ヘッドライト制御ユニット１０３によってヘッドライト１０４にかける電圧を制御している。

次に、図８及び図９、図１０、図１１を用いて、各処理ステップの詳細な説明を行う。

Ｓ８０１では、ＣＰＵ２０３がレジスタ３０２を高輝度検出用露光量に設定する。実施例１同様、高輝度の光点を検出するために最適な露光時間に設定するものであって、前方の対向車のヘッドライト、または比較的近距離にある先行車両のテールランプの光点を検出するために選ばれる。高輝度の光点を検出するための露光時間は、撮像素子であるＣＣＤ２０１の感度特性にもよるが、１／１２０秒から１／２５０秒程度である。

図９は、カメラ１０１によって車両１００の前方を撮像した画像の模式図である。図９（ａ）は、道路を走行する車両１００の前方の像を示し、対向車両９０１及び先行車両９０２が認識される。図９（ａ）の状態を、前記高輝度検出用露光時間で撮像した画像が、図９（ｂ）に示す高輝度検出用画像９０３である。対向車両９０１のヘッドライトは、輝度が高いために高輝度検出用画像９０３では光点として写る。しかし、先行車両５０２のテールランプは、輝度値が低いために、高輝度検出用画像９０３には写らない。

Ｓ８０２は、Ｓ８０１で設定した露光時間で撮像したデジタル画像信号を、画像解析ユニット１０２中の画像入力Ｉ／Ｆ２０５が受信したのち、メモリ２０６に格納する。

Ｓ８０３は、ＣＰＵ２０３によって、レジスタ３０２を低輝度検出用露光量に書き換える。これは、低輝度の光点を検出するために最適な露光時間であって、前方の比較的遠距離にあるテールランプの光点を検出するために選ばれる。そのため露光時間は、Ｓ８０１で設定したものよりも長くなり、１／３０秒から１／６０秒程度である。図９（ａ）の状態を低輝度検出用露光時間で撮像した画像が、図９（ｃ）の低輝度検出用画像９０４である。低輝度検出用画像９０４は、先行車両９０２のテールランプの低輝度光点を捉えることができる反面、対向車両９０１のヘッドライトは高輝度であるため、実施例１と同様に、ブルーミングを起こして周辺の画素まで白く飽和することがある。

Ｓ８０４では、Ｓ８０２と同様にＳ８０３で設定した露光時間で撮像したデジタル画像信号を、画像入力Ｉ／Ｆ２０５が受信し、メモリ２０６に格納する。

Ｓ８０５、Ｓ８０６では、カメラ１０１から取得した画像を解析して光点の位置を求めている。Ｓ８０５、Ｓ８０６の処理は、ＣＰＵ２０３と画像処理ユニット２０４によって行われる。Ｓ８０５、Ｓ８０６に関する一連の処理を、図１０、図１１を用いて説明する。

Ｓ８０５は、高輝度検出用画像９０３を用いて、図１０（ａ）に示す高輝度光点１００１の位置検出を行っている。光点の位置検出方法については後述する。高輝度光点１００１の位置が求まったら、Ｓ８０６で、図９（ｃ）に示す低輝度検出用画像９０４を用いて低輝度光点の位置検出を行う。ここで、低輝度検出用画像９０４には、高輝度の光点も含まれており、前述したようにブルーミングを起こすことがある。ここで、実施例２は実施例１とは異なり色情報を用いることができるため、低輝度検出用画像９０４のなかでテールランプの色である赤色の部分のみを抽出することが可能である。

次に、高輝度光点と低輝度光点の位置の検出方法について図１１を用いて説明する。ここで、図１１（ａ）は高輝度検出用画像９０３、図１１（ｂ）は低輝度検出用画像９０４を示している。光点は、輝度値が高いため画像上での濃度値が高く白く写る。濃度値は８ビットで示される。即ち、０から２５５までの２５６段階で表現される。高輝度の光点付近の濃度値は２５５に近く、それ以外の領域の濃度値は０に近い。そこで、まず高輝度点を検出するため、図１１（ａ）のようにＹ座標が等しい画素の濃度値をすべてＹ軸に累積しながら投影する。この投影分布をＹ軸の濃度投影分布と呼ぶこととする。図１１（ａ）のようにＹ軸濃度投影分布には車両１台につき、Ｙ座標軸に１つの山が現れる。この山の頂点を求めることで、光点のＹ座標を求めることができる。更に、Ｙ軸濃度投影分布で検出された山の裾野を上端下端とした光点存在帯１１０１に限定して、Ｘ軸濃度投影分布を求める。

低輝度光点の場合は、高輝度光点と同様にして座標軸上の位置を算出することができる。カラー画像については様々な表色系の規格が存在し、どの表色系でも本実施例は実現可能であるが、ここでは一般的なＹＵＶ表色系で説明する。ＹＵＶ画像は、濃度情報に対応するＹ画像と色情報をもつＵＶ画像の２画面で構成される規格である。このうちＵＶ画像は２次元のカラーマップを表しており、色の基本情報である色相、彩度情報を取り出すことが可能である。すなわち、ＹＵＶのカラー画像を処理すると赤色部分のみを抽出することができる。この事を利用し、低輝度検出用画像９０１では、実施例１のようにマスキングされた画像から高輝度部分を抽出するのではなく、全領域から赤色成分をもつ高輝度部分のみ抽出する。赤色成分を持つ高輝度部分は図１０（ｂ）のようになる。すなわち、赤色成分をもつ高輝度部分のみを抽出することにより、マスキング処理が必要なくテールランプ領域のみを抽出することが可能となる。光点の検知方法は図１１（ａ）の場合と同様にＹ軸濃度投影分布を求め、帯状領域でＸ軸投影を求める。

ステップＳ８０７、Ｓ８０８については、実施例１のステップＳ４０８、Ｓ４０９と等価な処理であるため説明を省く。

次に、夜間の走行路における、車両以外の様々な光源の識別方法について述べる。車両以外の光源は、画像処理システムにおいてノイズとなる場合が多い。このため、画像処理システムでは、カメラ１０１が捉えた光源を、車両のランプと、ノイズ光源に区別する必要がある。そこで、カメラ１０１としてカラーカメラを用いた場合のノイズ光源除外方法について、以下説明する。

最も走行路に近くかつ明るいノイズ光源としては、道路わきに設置されたリフレクタが上げられる。リフレクタは、自車両のヘッドライトの反射であるため、近い場合には先行車のテールランプよりも輝度が高くなることがある。高輝度検出用画像９０３に写ることはまれであるが、低輝度検出用画像９０４には写る可能性が高い。この問題に関しては、色情報を用いて解決できる。一般に道路左側に設置されたリフレクタは白色、道路右側に設置されたリフレクタはオレンジ色に反射する。すなわち、低輝度検出用画像９０４から光点を検出する場合、赤色光点、すなわち赤色の領域のみを検出してそれ以外の色の低輝度光点はすべて除外する。

次に問題となるのが信号機である。信号機は視認性を確保するため、一般に図１２（ｂ）のように２基並んで設置されている。そのため、４００ｍ〜５００ｍ離れた地点での信号機２基１２０２を、１００ｍ程度前方の比較的高い位置に設置されたバスなどのテールランプ１２０１と混同することがある。これは、カメラで撮像した際に、信号機１２０２もバスのテールランプ１２０１も、どちらも図１２（ｃ）の光点１２０３のように同様に写るからである。この信号機の輝度は一般に高く、高輝度検出用画像９０３に写る。そこで、青信号、黄色信号の場合のみ、カラー情報を用いて高輝度検出用画像９０３内にある青もしくは黄色の高輝度光点は除外する。

ＣＣＤ２０１に赤色フィルタを設置してもよい。この場合、輝度の低い車両のテールランプの光量を落とさずに他のノイズ光源の輝度を落とすことができる。

一般的には上記の手法で大部分のノイズ光が除外できる。ただし、ノイズ光はできるだけ除外できていた方がアプリケーションの動作安定につながる。そのため、いくつかの手法を組み合わせてより多くのノイズ光を取り除く手段を組み込んだ方がよい。以下に本発明となるノイズ光除去手法を詳述する。

まず初めに、赤信号の除去について説明する。赤信号の場合、高輝度検出用画像９０３で除外したとしても、低輝度検出用画像９０４に赤色光点として写りこむため、基本的にはテールランプと誤認識してしまう。赤信号の誤認識は、前述のように４００ｍ〜５００ｍ離れた地点での信号機２基を、１００ｍ程度前方の比較的高い位置に設置されたバスなどの車両灯と混同することである。ここで、比較的高いとは、具体的には消失点１８０１よりも高い位置にある光点を指している。消失点とは図１８に図示するようにすべてのレーンマークが集中する点であり、カメラの光軸と一致する。すなわち、バスなどのように自車のカメラの取付高よりも高い位置に設置されたテールランプは、信号機と同様に消失点よりも高い位置に写るため識別が難しくなる。この場合、バスと信号機の違いを検知できれば区別が可能になる。

例えば図１３（ａ）のようにバス１３０１が１００ｍ以内と比較的近傍に存在するのであれば、低輝度検出用画像１３０５にはテールランプ１３０２以外にもテールランプの下方ナンバープレート光１３０３あるいは客室の明かり１３０４が写りこむ。これらの光点の位置関係はおおむね図１３（ｂ）のようになっているため、テールランプ１３０２以外の光の配置を解析することで、遠方の赤信号なのか近傍のバスなどの車両なのかを識別することが可能となる。すなわち、消失点よりも高い位置に赤色光点１３０２が抽出されたとき、同時に当該赤色光点１３０２の上及び／又は下にも他の光点１３０３、１３０４が抽出されれば、抽出された赤色光点１３０２は他車両に起因する光点であると判定できる。ここで、上あるいは下の光点とは、ｘ座標が２つの当該赤色光点１３０２を左右端とした範囲内の光点のみを指すものとし、２つの当該赤色光点１３０２の範囲外のｘ座標を持ついわゆる斜め方向の光点は含めない。例えば図１３（ｄ）のヘッドランプ光点１３０９は赤色光点１３０８の下とみなし、ヘッドランプ光点１３１０は赤色光点１３０８の下とはみなさない。

次に、図１３（ｃ）に示すように、遠方の信号機１３０６が赤信号になっており、かつ対向車１３０７が存在する状況において、そのヘッドランプ光１３０９と遠方信号機１３０６の配置が、ちょうど図１３（ｂ）に示すナンバープレート光１３０３とバスのテールランプ光１３０２のような配置になる場合について説明する。このような場合にでも、もし当該赤色光点の下に抽出された他の光点が赤色の光点であれば、すなわち当該赤色光点の下に他のテールランプ光が存在すれば、上にある当該赤色光点は赤信号である可能性が高く、他車両に起因する光点ではないと判定できる。また、当該赤色光点の下に抽出された他の光点が赤色でない場合について考えると、もしバスのナンバープレート光１３０３であれば、光量が小さいことから高輝度検出用画像には映らないが、ヘッドランプ光１３０９であれば光量が大きいことから高輝度検出用画像に映る。このことを利用すればテールランプ１３０１と信号機１３０６の赤色とを識別可能となる。しかしながら、対向車１３０７が赤信号で停車してヘッドランプ光をスモールランプに減光している場合も考えられる。このとき対向車１３０７が遠方であれば、高輝度検出画像にはヘッドランプ光１３０９が映らないことも考えられ、前記のような区別が難しくなる。これらのことを考慮し図２２の処理フローのようにして、当該赤色光点が他車両に起因する光点かどうかを判断する。

低輝度検出画像において消失点よりも高い位置に赤色光点が抽出される（Ｓ２２０１）とともに、高輝度検出画像において当該赤色光点の下に他の光点が抽出された場合（Ｓ２２０２）は、前記赤色光点は他車両に起因する光点ではないと判定する（Ｓ２２０７）。低輝度検出画像において消失点よりも高い位置に赤色光点が抽出され（Ｓ２２０１）、かつ高輝度検出画像において当該赤色光点の下に他の光点が抽出されなかった場合（Ｓ２２０２の判定がNo）、低輝度検出用画像において当該赤色光点の下に他の光点が抽出されるかどうかを検証する（Ｓ２２０３）。もし低輝度検出画像において当該赤色光点の下に他の光点が抽出された場合（Ｓ２２０３の判定がYES）、赤色であれば（Ｓ２２０４の判定がYes）、前記赤色光点は他車両に起因する光点ではないと判定する（Ｓ２２０７）。赤色でない場合、１点であれば（Ｓ２２０５の判定がNo）、ナンバープレート光の可能性も高いため前記赤色光点は他車両に起因する光点と判定し（Ｓ２２０６）、図１３（ｄ）のように２点以上あれば（Ｓ２２０５の判定がYes）、前記赤色光点は他車両に起因する光点ではないと判定する（Ｓ２２０７）。

また、赤信号の除去方法として、定期的に点灯色が変化する事を利用して、時系列に複数枚撮像した画像から光点をトラッキングしてその色の変化を解析することで信号機かどうかを判断することもできる。この場合の問題点としては、信号機の光点をトラッキングしなければならないため、画像の取り込みタイミングの周期を短めに設定しておかないと難しいことが挙げられる。また、青色から黄色、赤色に変化したときのみ排除可能であり、画面に初めて出現したときに赤色だった場合には、この手法では取り除けない。

ここでトラッキングとは、動きのある複数枚の画像から対象物を追跡する処理のことで、ここでは毎画像の光点の位置を記憶しておき、次の画像で一番近い位置にある光点を同一物体の光点とみなす処理を行うことで実現可能である。

同じく赤信号を除去するために、図１４のように信号機１４０１の付近に設置された歩行者用信号機１４０２、あるいは横断歩道１４０３を検知することで信号機と判定する方法がある。歩行者用信号機１４０２は一般的に車両用信号機１４０１よりも低い位置にあり、かつ道路わきに位置している。そこで、赤色の光点１４０４、１４０５が斜め方向に位置している場合は信号機の可能性が高いと判断できる。もう一つの情報である横断歩道１４０３については、夜間、カメラで検知するためにはかなり近づかないと難しい（例えば３０ｍ以内）。信号機の場合、接近するとカメラの設置高と信号機の高さの関係から仰角分画面の上の方に写るため、Ｙ座標から判断することも可能になる。そこで、横断歩道１４０３の情報は参考程度で用いると良い。ここで、横断歩道を検出するために、横断歩道のエッジ情報を用いる。図１９に示すように横断歩道１９０１の白線は消失点に向かっているため、消失点に向かっているエッジの数も多い。そこで、消失点に向かっているエッジの数が、あらかじめ指定したしきい値よりも大きくなった段階で横断歩道が路面に描かれていると判断することができる。

次にリフレクタの除去について説明する。リフレクタの除去については上述しているが、ここでは、至近距離のリフレクタの場合に、自車のヘッドランプの反射強度が強く高輝度検知用画像９０３に写りこむ場合について説明する。高輝度検知用画像９０３ではヘッドライトの白色光を検知するが、白色リフレクタはヘッドライトの色そのままであるため、色で判断し除外することはできない。すべてのリフレクタを除外することは難しいが、比較的頻繁に現れる白線の外側にレーンに沿って設置されたリフレクタ群に関しては除外することが可能である。具体的には、白線が写る程度の露光制御で取り込んだ画像で白線認識を行い、その外側に白線に沿って並んでいる光点が数点（例えば３点）以上ある場合はそれらを排除する。

最後に、自動販売機などの明かりを除去する方法について説明する。自動販売機の光は一般的に白いため、低輝度検出用画像９０４に写っても除去できるが、近づいてくると高輝度検出用画像９０３に写りこむ可能性がある。自動販売機の光の特徴としては、高輝度検出用画像９０３に写りこむがヘッドライトよりも輝度が低く、発光部分の面積が大きいため、比較的暗く領域の大きな光点がある場合、車両のヘッドランプやテールランプではなく自動販売機の光である可能性が高い。そのため、高輝度検出用画像９０３の濃淡画像から複数のしきい値で作成した二値画像群から判断する。すなわち、二値化しきい値を段階的に下げていき、急激に光点領域が大きくなる光点部分は、ぼんやりと面積が大きい光点である可能性が高いため、その部分を自販機の光点として除去する。

以上述べたノイズ光識別手段を加味し、実施例２を高度化したものを実施例３として図１５に示す。複数画像から光点の位置を検出するまでのステップはＳ８０１からＳ８０７と同様である。

ステップＳ１５０１では信号機の判定を行う。消失点よりも高い位置にある赤色光点の場合、その上下の光点の存在など、上述したような方法で信号機の灯火かどうかを判断する。

ステップＳ１５０２ではリフレクタの判断を行う。レーンの認識を行ってそのレーンに沿って並んでいることが確認できればリフレクタの可能性が高い。

ステップＳ１５０３で自動販売機の光かどうかの判断を行う。これも上述したように光点の面積とその輝度で判断する。

ステップＳ１５０４では、光点が信号機、リフレクタ、自販機のようなノイズ光である可能性が高いと判断された光点を除外する。

ステップＳ８０８の車間距離計算以降は実施例２と同様なので説明を省略するが、ステップＳ１５０１からステップＳ１５０４によっていくつかのノイズ光が除外されることで、より配光制御の信頼性が向上する。

本実施例では、ヘッドライトの配光制御について示したが、夜間においても先行車両との車間距離が高精度に求まるため、先行車両との車間距離を考慮し前記先行車に追従走行する制御にも使用できる。追従制御の構成を図２０に示す。画像解析ユニット１０２で計算された先行車両までの距離、方向情報、および車速センサ２００７の車速情報をもとに自車両のエンジン２００４、変速機２００５、ブレーキ２００６を制御して先行車に追従するように速度制御を行う。エンジン制御ユニット２００１はエンジンのスロットル開度を調整することでエンジン出力を制御し、変速機制御ユニット２００２は自車速度、エンジン出力をもとに最適なギア比を選択、また、必要に応じてブレーキ制御ユニット２００３がブレーキ２００６を制御することで減速の制御も行える。また、先行車両もしくは対向車両との距離が安全のための閾値よりも狭くなったときに接近警報として運転手に伝える技術にも応用できる。この接近警報の構成を図２１に示す。接近警報も追従制御と同様に画像解析ユニット１０２で計算された先行車両までの距離、方向情報、および車速センサ２００７の車速情報をもとに、警報制御ユニット２１０１が先行車に衝突する危険があるか否かを判断し、必要に応じてスピーカー２１０２で警報を鳴らす。

このように本発明の画像処理システムを用いることにより、快適でかつ安全な運転環境を運転手に提供することができる。

本発明によるヘッドライト配光制御の構成図。 カメラ、および画像解析ユニットの構成図。 カメラ内部の詳細図。 実施例１に係わる露光量の異なる２つの画像から車間距離を算出する処理フロー。 実施例１に係わる先行車と対向車が存在する場合の車両前方の様子の説明図。 実施例１に係わるヘッドライトとテールランプの位置を検出する手法の説明図。 実施例１に係わるヘッドライトとテールランプの位置を検出する手法の説明図。 実施例２に係わる露光量の異なる２つの画像から車間距離を算出する処理フロー。 実施例２に係わる先行車と対向車が存在する場合の車両前方の様子の説明図。 実施例２に係わるヘッドライトとテールランプの位置を検出する手法の説明図。 実施例２に係わるヘッドライトとテールランプの位置を検出する手法の説明図。 大型車のテールランプと赤色信号機がどのように撮像されるかを示す説明図。 近距離にある大型車がどのように撮像されるかを示す説明図。 信号機がどのように撮像されるかを示す説明図。 実施例３に係わるノイズ光を除外するための処理フロー。 三角測量の原理により車両幅情報から距離を求めるための説明図。 三角測量の原理により俯角情報から距離を求めるための説明図。 画面における消失点の説明図。 本実施例３に係わる横断歩道検知手段の説明図。 追従走行制御の構成図。 接近警報制御の構成図。 信号機判定手段の処理フロー。

符号の説明

１００…車両、１０１…カメラ、１０２…画像解析ユニット、１０３…ヘッドライト制御ユニット、１０４…ヘッドライト、２０１…ＣＣＤ、２０２…カメラＤＳＰ、２０３…ＣＰＵ、２０４…画像処理ユニット、２０５…画像入力Ｉ／Ｆ、２０６…メモリ、２０７…ＦＲＯＭ上のプログラム、３０１…露光制御ユニット、３０２…レジスタ、３０３…ＡＤＣ、５０１…対向車、５０２…先行車、５０３…高速シャッター画像、５０４…低速シャッター画像、６０１…高速シャッター時における対向車のヘッドライト光点、６０２…低速シャッター時における先行車のテールランプ光点、６０３…ブルーミング領域、６０４…マスキング領域、７０１…ヘッドランプ光点存在帯、７０２…テールランプ光点存在帯、９０１…対向車、９０２…先行車、９０３…高速シャッター画像、９０４…低速シャッター画像、１００１…高速シャッター時における対向車のヘッドライト光点、１００２…低速シャッター時における先行車のテールランプ光点、１１０１…ヘッドランプ光点存在帯、１１０２…テールランプ光点存在帯、１２０１…大型車後部、１２０２…信号機、１２０３…画像上の光点、１３０１…大型車、１３０２…大型車のテールランプ光点、１３０３…大型車のナンバープレート光点、１３０４…大型車の車内灯光点、１３０５…低速シャッター画像、１３０６…遠方の信号機、１３０７…対向車、１３０８…赤色光点、１３０９…ヘッドランプ光点、１３１０…ヘッドランプ光点、１４０１…信号機、１４０２…歩行者用信号機、１４０３…横断歩道、１４０４…信号機の光点、１４０５…歩行者用信号機の光点、１６０１…カメラのレンズ、１６０２…撮像素子（ＣＣＤ）面、１６０３…先行車、１７０１…カメラのレンズ、１７０２…撮像素子（ＣＣＤ）面、１７０３…先行車のテールランプ、１８０１…消失点、１９０１…横断歩道、２００１…エンジン制御ユニット、２００２…変速機制御ユニット、２００３…ブレーキ制御ユニット、２００４…エンジン、２００５…変速機、２００６…ブレーキ、２１０１…警報制御ユニット、２１０２…スピーカー

Claims (5)

1. 車両に搭載された撮像手段と、前記撮像手段から入力された画像を解析して他車両位置情報を検出する画像解析手段と、前記画像解析手段から出力された他車両位置情報に基づいて車両制御を行う車両制御手段とを備える車両制御システムにおいて、
   前記画像解析手段は、前記撮像手段が第１の露光量で撮影した第１の画像と前記第１の露光量よりも露光量の多い第２の露光量で撮影した第２の画像を取得し、前記第１の画像及び前記第２の画像から赤色光点を含む光点領域を抽出し、当該光点領域を解析して他車両位置情報を検知するものであり、消失点よりも高い位置に前記赤色光点が抽出されたとき、前記赤色光点の上及び下に他の光点が抽出されれば、前記赤色光点は他車両に起因する光点であると判定する、車両制御システム。
2. 車両に搭載された撮像手段と、前記撮像手段から入力された画像を解析して他車両位置情報を検出する画像解析手段と、前記画像解析手段から出力された他車両位置情報に基づいて車両制御を行う車両制御手段とを備える車両制御システムにおいて、
   前記画像解析手段は、前記撮像手段が第１の露光量で撮影した第１の画像と前記第１の露光量よりも露光量の多い第２の露光量で撮影した第２の画像を取得し、前記第１の画像及び前記第２の画像から赤色光点を含む光点領域を抽出し、当該光点領域を解析して他車両位置情報を検知するものであり、消失点よりも高い位置に前記赤色光点が抽出されたとき、前記赤色光点の下に所定数以上の他の光点が抽出されれば、前記赤色光点は他車両に起因する光点ではないと判定する、車両制御システム。
3. 前記車両制御手段は、前記他車両位置情報に基づいてヘッドライトの配光を制御する、請求項１又は２記載の車両制御システム。
4. 前記車両制御手段は、前記他車両位置情報に基づいて先行車に追従走行制御を行う、請求項１又は２記載の車両制御システム。
5. 前記車両制御手段は、前記他車両位置情報に基づいて接近警報制御を行う、請求項１又は２記載の車両制御システム。

Images