JP4191759B2

JP4191759B2 - 車両用オートライトシステム

Info

Publication number: JP4191759B2
Application number: JP2006295973A
Authority: JP
Inventors: 賢一藤江
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-10-31
Filing date: 2006-10-31
Publication date: 2008-12-03
Anticipated expiration: 2026-10-31
Also published as: US7638747B2; JP2008110715A; US20080100225A1

Description

本発明は、撮像手段による画像データに基づいて車両のヘッドライトを点灯、又は消灯するようにした車両用オートライトシステムに関するものである。

車両のダッシュボード上に配置した受光素子により車両上方の光量を直接検出し、その検出した光量に基づいてライトを点灯し、又は消灯するようにした車両用オートライトシステムは、既に市販されている。又、撮像手段から得られる画像データ、及び外光検出用センサの検出信号に基づいて夜間であることを判定したとき、ヘッドライトを自動的に点灯させるようにした車両用ヘッドライト装置は、既に提案されている。（例えば、特許文献１参照）

特開平１１−３２１４４０号公報

特許文献１に記載された装置は、撮像手段により得た画像データの画面輝度に基づいてヘッドライトを点灯させるように構成されているため、周囲の光量に係わらず画面輝度を一定に制御する必要がある用途、例えば、撮像手段からの画像データを処理して道路の白線を認識する白線認識機能を用いる装置、或いは撮像手段からの画像データを処理して障害物を検出する障害物検出機能を用いる装置等には併用することができず、撮像手段が車輌外部の光量判断専用となってしまい、非経済的であるという課題がある。

本発明は、従来の装置に於けるこのような課題に鑑みてなされたものであり、撮像手段を用いてオートライト機能を実現すると共に、その撮像手段をオートライト機能以外の画像処理機能にも利用できるオートライトシステムを得ることを目的とする。

本発明による車両用オートライトシステムは、車両に搭載され前記車両の少なくとも前方の周囲を撮像してその画像データを出力する撮像手段と、前記画像データに基づき画面輝度を算出する画面輝度算出手段と、前記算出された画面輝度と目標値とを比較しその偏差に基づく操作量により前記撮像手段を操作してその撮像条件を制御する撮像条件制御手段と、前記操作量に基づいて前記車両の周囲の光量を推定する車両周囲光量推定手段と、前記推定された光量に基づいて前記車両のヘッドライトを点灯又は消灯させるヘッドライト制御手段とを備えたものである。

本発明による車両用オートライトシステムによれば、車両に搭載され前記車両の少なくとも前方の周囲を撮像してその画像データを出力する撮像手段と、前記画像データに基づき画面輝度を算出する画面輝度算出手段と、前記算出された画面輝度と目標値とを比較しその偏差に基づく操作量により前記撮像手段を操作してその撮像条件を制御する撮像条件制御手段と、前記操作量に基づいて前記車両の周囲の光量を推定する車両周囲光量推定手段と、前記推定された光量に基づいて前記車両のヘッドライトを点灯又は消灯させるヘッドライト制御手段とを備えているので、撮像条件の操作量をもとに車両周囲の光量を判断すると同時に、画面輝度算出手段から得られる画面輝度を一定に制御することができ、撮像手段を車両のオートライトシステムとしての機能のほかに、白線認識処理や障害物検出処理などの画像処理の機能としても利用することもでき、コストパフォーマンスを向上させることができる。

実施の形態１．
図１は、本発明の実施の形態１による車両用オートライトシステムの構成を示すブロック図である。図１に於いて、撮像手段１０は、車両に設置されたＣＣＤカメラ等により構成され、自車両の前方を主体とする周囲を撮像しその画像データＥを出力する。この撮像手段１０は、例えば図２に示すように、車両２０のルームミラー付近に取り付けられ、自車両の前方を主体とする周囲を撮像するよう構成されている。画面輝度算出手段１１は、撮像手段１０から得られる画像データＥの各画素の輝度値に基づいて画面輝度Ｂの値を算出し出力する。

撮像条件制御手段１２は、画面輝度算出手段１１から得られる画面輝度Ｂが、車両の周囲の光量Ｃに係わらず一定となるように、撮像手段１０の露光時間、ゲイン等の撮像条件を演算し、その演算結果に基づく操作量Ｘを出力する。撮像装置１０は、操作量Ｘに基づいて操作され、露光時間、ゲイン等の撮像条件が調整される。車両周囲光量推定手段１３は、撮像条件制御手段１２から得られる操作量Ｘに基づいて車両周囲の光量を推定し光量推定値Ｙを出力する。ヘッドライト制御手段１４は、車両周囲光量推定手段１３から得られる車両周囲の光量推定値Ｙに基づいて車両のヘッドライトを点灯又は消灯させる。

図３及び図４は、画面輝度算出手段１１による画面輝度Ｂの算出方法を説明する説明図である。画面輝度算出手段１１による画面輝度Ｂの算出方法としては、撮像手段１０からの画像データに於ける各画素の輝度値の平均を求める方法があるが、画面上の被写体の位置が予め判明している場合は、図３に示すように、被写体の入る場所を中心として、１つ以上の輝度平均値を算出する領域３０、３１、３２を設定し、その領域ごとに重み付けＷ１、Ｗ２、Ｗ３を行い、そららの加重平均を求めて画面輝度とする方法、或いは図４に示すように、前方画像の上方、及び下方に、夫々少なくとも１つの輝度平均値を算出する領域３３、３４を設け、その複数の領域３３、３４に重み付けＷ１、Ｗ２を行い、そららの加重平均を求めて画面輝度とする方法が考えられる。或いは又、輝度平均値ではなく、各画素の輝度の最大値、又は最小値を画面輝度とする方法等もある。

図５は、本発明の実施の形態１によるオートライトシステムに於ける、画面輝度Ｂを一定に制御する制御系を示す説明図である。図５に於いて、撮像条件制御手段１２は、画面輝度の目標値Ａと画面輝度算出手段１１から得た実際の画面輝度Ｂとの比較に基づく偏差Ｄが０となるように、撮像手段１０の露光時間、ゲイン等の撮像条件を演算する。撮像装置１０は、画面輝度算出手段１１の演算結果に基づく操作量Ｘにより操作され、その露光時間、ゲイン等が調整される。その結果、画面輝度算出手段１１から得られる画面輝度Ｂは、車両周囲の光量Ｃに関わらず一定となるように制御される。

車両周囲光量推定手段１３による車両周囲の光量の推定は、以下のようにして行われる。即ち、図５に示す制御系により、車両周囲の光量Ｃと、操作量Ｘ、画面輝度Ｂの関係を次式（１）のように表すことができる。

Ｂ∝Ｘ・Ｃ・・・・・式（１）

ここで、画面輝度Ｂは、撮像条件制御手段１２によって一定値に制御されるため、車両周囲の光量Ｃは、操作量Ｘの逆数に比例することが判る。そこで、昼間、及び夜間の操作量Ｘ、及び車両周囲の光量Ｃをあらかじめ測定することで式（１）に於ける比例係数を求め、現在の操作量Ｘから相対的に車両周囲の光量を推定することができる。

次に、本発明の実施の形態１による車両用オートライトシステムの動作について説明する。図６は、その動作を示すフローチャートである。図６に於いて、先ず、ステップＳ１００により撮像手段１０の画像データＥから各画素の輝度値を取得する。次に、ステップＳ１０１へと進み、各画素の輝度値に基づいて画面輝度算出手段１１により前述した何れかの方法により画面輝度Ｂを算出する。次にステップＳ１０２では、その算出した画面輝度Ｂに基づいて撮像条件制御手段１２により操作量Ｘを演算し、ステップＳ１０３へと進む。

ステップＳ１０３では、演算された操作量Ｘに基づいて車両周囲光量推定手段１３により車両周囲の光量を推定し光量推定値Ｙを得る。例えば、前述したように、式（１）により、操作量Ｘの逆数を光量推定値Ｙとして求める。ステップＳ１０４では、車両のヘッドライトが既に点灯しているか否かをヘッドライトの点灯及び消灯に連動している信号に基づいて判定し、既にヘッドライトが点灯している場合はステップＳ１０５へ進み、点灯していない場合はステップＳ１０７へと進む。

ステップＳ１０５では、車両ヘッドライト制御手段１４に於いて、光量推定値Ｙとヘッドライトの消灯しきい値Ｆとを比較し、次式（２）を満たす場合は車両周囲が明るくなったと判断して、ステップＳ１０６へ進みヘッドライトを消灯する。

Ｙ＞Ｆ・・・・・式（２）

式（２）を満たさない場合は、ステップＳ１０８へ進み引き続きヘッドライトを点灯させる。

一方、ステップＳ１０４に於いて車両のヘッドライトが点灯していないと判定した場合は、ステップＳ１０７に進む。ステップＳ１０７では、光量推定値Ｙとヘッドライトの点灯しきい値Ｇとを比較し、次式（３）を満たす場合は車両周囲が暗くなったと判断して、ステップＳ１０８へ進みヘッドライトを点灯する。

Ｙ＜Ｇ・・・・・式（３）

式（３）を満たさない場合は、ステップＳ１０９へ進み、引き続きヘッドライトを消灯させる。

尚、前述の点灯しきい値Ｇ、及び消灯しきい値Ｆは、運転者の好みにあわせて、調整が可能である。

以上のように、本発明の実施の形態１によるオートライトシステムによれば、車両周囲の光量推定値Ｙを用いて車両周囲の光量を判断してヘッドライトを点灯又は消灯するよう制御すると共に、画面輝度Ｂを一定に制御するので、撮像手段をオートライトシステムと、白線認識処理や、ナンバープレート認識、或いは後方監視モニタ等の画像処理にも利用することができ、オートライトシステムのコストパフォーマンスを向上させることができる。

実施の形態２．
オートライトシステムのヘッドライトが点灯又は消灯すると、そのヘッドライトの光が外乱として画像処理に影響し、画面輝度Ｂが急変する場合がある。例えば、図７に示すように、トンネル４０の入口に於いて、車両２０の前方の光量Ｃがヘッドライトの点灯時の光量Ｈ１よりも低くなった時点ｔ１でヘッドライトを点灯させると、車両２０の前方の光量Ｃがヘッドライトの分だけ急激に増えＣ１となるため、画面輝度Ｂも急増してＢ１となる。

同様に、図８のように、トンネル４０の出口に於いて、車両前方の光量Ｃがヘッドライトの消灯時の光量Ｈ２と程度の時点ｔ２でヘッドライトを消灯させると、車両前方の光量Ｃがヘッドライトの点灯時の光量Ｈ１分だけ急激に減少してＣ２となるため、画面輝度Ｂが急減してＢ２となる。

そこで、本発明の実施の形態２によるオートライトシステムは、ヘッドライトの点灯、又は消灯による車両周囲の光量Ｃの変化に応じて、撮像条件制御手段１２から得られる撮像条件の操作量Ｘを補正することで、ヘッドライトの点灯、又は消灯に起因する画面輝度Ｂの急変を抑制するようにしたものである。以下、実施の形態２について詳細に説明する。

図９は、本発明の実施の形態２による車両用オートライトシステムの構成を示すブロック図である。図９に於いて、、撮像手段１０は、車両に設置されたＣＣＤカメラ等により構成され、自車両の前方を主体とする周囲を撮像しその画像データＥを出力する。この撮像手段１０は、例えば図２に示すように、車両２０のルームミラー付近に取り付けられ、自車両の前方を主体とする周囲を撮像するよう構成されている。画面輝度算出手段１１は、撮像手段１０から得られる画像データＥの各画素の輝度値に基づいて画面輝度Ｂの値を算出し出力する。

撮像条件制御手段１２は、画面輝度算出手段１１から得られる画面輝度Ｂが、車両の周囲の光量Ｃに係わらず一定となるように、撮像手段１０の露光時間、ゲイン等の撮像条件を演算し、その演算結果に基づく操作量Ｘを出力する。撮像装置１０は、操作量Ｘに基づいて操作され、露光時間、ゲイン等の撮像条件が調整される。車両周囲光量推定手段１３は、撮像条件制御手段１２から得られる操作量Ｘに基づいて車両周囲の光量を推定し光量推定値Ｙを出力する。ヘッドライト制御手段１４は、車両周囲光量推定手段１３から得られる車両周囲の光量推定値Ｙに基づいて車両のヘッドライトを点灯又は消灯させる。操作量補正手段１５は、後述するようにヘッドライトの点灯、又は消灯によって、車両前方の光量Ｃが増加、又は減少し、画面輝度Ｂが急変することを防ぐために、操作量Ｘを補正する。

図１０は、本発明の実施形態２による車両用オートライトシステムに於ける、画面輝度Ｂを一定に制御する制御系を示す説明図である。図１０に於いて、撮像条件制御手段１２は、画面輝度の目標値Ａと画面輝度算出手段１１から得た実際の画面輝度Ｂとの比較に基づく偏差Ｄが０となるように、撮像手段１０の露光時間、ゲイン等の撮像条件を演算し、その演算に基づいて操作量Ｘを出力する。操作量補正手段１５は、撮像条件制御手段１２からの操作量Ｘとヘッドライトの光量Ｈと車両周囲の光量Ｃとから、次式（４）に基づき操作量Ｘの補正量Ｊを演算し、操作量Ｘから補正量Ｊを減算して補正した操作量Ｘ１を出力する。

Ｊ＝Ｘ[Ｈ／（Ｃ＋Ｈ）]・・・・・式（４）

撮像装置１０は、操作量補正手段１５により補正された操作量Ｘ１により操作され、その露光時間、ゲイン等が調整される。その結果、画面輝度算出手段１１から得られる画面輝度Ｂは、ほぼ一定となるように制御される。

次に、本発明の実施の形態２によるオートライトシステムの動作を説明する。図１１は、本発明の実施の形態２によるオートライトシステムの動作を説明するフローチャートである。図１１に於いて、ステップＳ１００からステップＳ１０９の処理は、図６に示す実施の形態１のフローチャートと同様である。ステップＳ１００からステップＳ１０５の処理を経て、又はステップＳ１０４からステップＳ１０７を経て、ヘッドライトの点灯が必要と判断され、ステップＳ１０８に於いてヘッドライト点灯信号が出力される。ステップＳ１１０では、ヘッドライト点灯信号が出力された後、操作量補正手段１５により前述の式（４）に基づいて操作量の補正量Ｊを求め、撮像条件制御手段１２が出力する操作量Ｘから補正量Ｊを減算して補正した操作量Ｘ１により撮像手段１０の撮像条件を調整する。その結果、ヘッドライトの点灯による光量の増加分が抑制され、撮像装置１０からの画面輝度Ｂは、ほぼ一定値に制御される。

ステップＳ１０６に於いてヘッドライト消灯信号が出力された場合、ステップＳ１１１では、前述の操作量の補正を中止する。

図１２は、実施の形態２に於けるオートライトシステムの動作を説明する説明図である。即ち、図１２に示すように、トンネル４０の入口に於いて、ヘッドライトの点灯時点でヘッドライトの光量増加分を補正する操作量Ｊを前記撮像手段１０に印加することで、ヘッドライトの点灯による画面輝度Ｂの変動を小さくすることができる。図１２において、Ｂ１は、補正量Ｊによる補正をしていないときの操作量Ｘ０の画面輝度を示し、Ｂ１１は操作量Ｘを補正量Ｊにより補正した操作量Ｘ１とした場合の画面輝度を示す。トンネル４０の出口に於いては、ヘッドライトの消灯時点ｔ２で操作量Ｘの補正を中止しＸ２となるので、ヘッドライトの消灯による画面輝度Ｂの変動はＢ２１となり小さく抑えることができる。

以上述べたように、本発明の実施の形態２によれば、ヘッドライトの点灯、又は消灯に起因する画面輝度の急変を抑制することができ、画像処理への影響を改善することができる。

実施の形態３．
本発明の実施の形態３によるオートライトシステムは、ヘッドライトの点灯又は消灯のタイミングに制限を設けることで、ヘッドライトの点灯、又は消灯に起因する画面輝度の急変を抑制するようにしたものである。以下、その詳細について説明する。

本発明の実施の形態３によるオートライトシステムは、実施の形態１、又は実施の形態３による車両ヘッドライト制御手段１４に於いて、前述の消灯しきい値Ｆに次式（５）による制限を設け、又、前述の点灯しきい値Ｇに次式（６）による制限を設ける。その他の構成は、実施の形態１、又は実施の形態２と同様である。

Ｆ＞Ｈ・・・・・式（５）

Ｇ＞Ｈ・・・・・式（６）

このように構成した実施の形態３によれば、式（６）による点灯しきい値Ｇの制限が設けられているので、例えば図１３に示すように、トンネル４０の入口手前に於いて、車両前方の光量Ｃが少なくともヘッドライトの光量Ｈ以上である時点ｔ０でヘッドライトが点灯し、光量がＣ３に示すように変化し、画面輝度Ｂの変動はＢ１２に示す通りとなる。この画面輝度の変動Ｂ１２は、図１２に示す点灯しきい値Ｇに制限を設けていない場合の変動Ｂ１１に比べて小さくなっていることが判る。このように、式（６）による点灯しきい値Ｇの制限により画面輝度Ｂの変動Ｂ１２が少なくなり、従がって操作量ＸはＸ１１となり、図１２に示す点灯しきい値Ｇの制限がない場合のＸ１に比べて小さくなる。

又、実施の形態３によれば、式（５）による消灯しい値Ｆの制限が設けられているので、トンネル４０の出口手前に於いて、車両前方の光量Ｃが少なくともヘッドライトの光量Ｈ以上である時点ｔ３でヘッドライトが消灯し、画面輝度の変動はＢ２２に示す通りとなる。この画面輝度Ｂの変動Ｂ２２は、図１２に示す点灯しきい値Ｇに制限を設けていない場合の変動Ｂ２１に比べて小さくなっていることが判る。このように、式（６）による点灯しきい値Ｇの制限により画面輝度Ｂの変動がＢ２２のように少なくなり、従がって操作量はＸ２１となり、図１２に示す点灯しきい値Ｇの制限がない場合のＸ２に比べて小さくなる。

尚、図１３に於いて、車両前方の光量Ｃ、画面輝度Ｂ、操作量Ｘの夫々に示す破線は、補正量Ｊにより操作量Ｘを補正しない場合の特性を示している。

このように本発明の実施の形態３によるオートライトシステムによれば、実施の形態１、又は実施の形態２と同様の構成のまま、ヘッドライトの点灯、及び消灯しきい値に制限を設けることで、ヘッドライトの点灯、或いは消灯による画面輝度の一時的な変動を抑えることができ、画像処理への影響を改善することができる。

尚、実施の形態３では、消灯しきい値Ｆに式（５）による制限を設け、且つ点灯しきい値Ｇに式（６）による制限を設けたが、何れか一方にその制限を設けるようにしても良い。

実施の形態４．
本発明の実施の形態４による車両用オートライトシステムは、トンネル出入口における前記画面輝度の急変を抑制するために、画面輝度算出手段１１に於ける画面輝度算出領域を図４のように、前方画像の上方、及び下方に、夫々少なくとも１つ設け、上方の領域を車両の遠方の画像領域３３とし、下方の領域を車両近傍の前方の画像領域３４とし、これらの領域の加重平均輝度値を用いて車両前方の光量推定値を得るようにしたものである。その他の構成は、実施の形態１、又は実施の形態２と同様である。

実施の形態４によれば、図１４に示すように、車両前方の光量推定値Ｙは、車両近傍の前方（例えば、１０[ｍ]先）の光量のみでなく、遠方（例えば、５０[ｍ]先）からトンネル出入口の光量も含めた光量推定値Ｙ１となり、画面輝度ＢはＢ４となり、操作量ＸはＸ４となる。これに対して、車両近傍の前方（例えば１０[ｍ]先）のみの光量推定値Ｙ０として場合は、画面輝度ＢはＢ３となり、操作量ＸはＸ３となる。このように、光量推定値Ｙ１とすることにより、トンネル出入口に於ける画面輝度Ｂの急変を抑制することができると共に、早めにヘッドライトの点灯及び消灯のタイミングを設定することができる効果がある

以上、本発明の実施の形態１乃至４について説明したが、夫々の実施の形態に於いて、撮像手段１０として、ダイナミックレンジの広い（例えば、６０[ｄＢ]以上）撮像手段を用いれば、検出できる光量の範囲が広がり、トンネル出入口などの明暗の差が大きい場所に於ける各画素の輝度値の飽和を防げるため、画面輝度の算出分解能を向上させることができる。即ち、操作量の逆数に比例する光量推定値の推定精度も良くなるため、ヘッドライトの点灯及び消灯のタイミングの設定自由度を広げることができる。

尚、当然のことながら、実施の形態１乃至３に於ける点灯しきい値Ｇ、及び消灯しきい値Ｆは、次式（７）に示す制約を持って設定される。

Ｇ＜Ｆ・・・・・式（７）

尚、夕暮時に於ける操作量をあらかじめ測定し、その操作量をしきい値として現在の操作量と比較し、夕暮時における操作量に対する現在の操作量の大小に応じてヘッドライトの点灯、又は消灯を行ってもよい。

本発明の実施の形態１によるオートライトシステムの構成を示すブロック図である。撮像手段の車両への設置例を示す説明図である。本発明の実施の形態１によるオートライトシステムに於ける、画面輝度の算出方法を示す説明図である。画面輝度の算出方法を説明するてめの説明図である。画面輝度の算出方法を説明するてめの説明図である。本発明の実施の形態１によるオートライトシステムの動作を示すフローチャートである。トンネル入口に於けるヘッドライトの点灯に起因する車両周囲の光量の変化に伴う撮像条件の制御特性を示す説明図である。トンネル出口に於けるヘッドライトの消灯に起因する車両周囲の光量の変化に伴う撮像条件の制御特性の一例を示す説明図である。本発明の実施の形態２によるオートライトシステムの構成を示すブロック図である。本発明の実施の形態２によるオートライトシステムに於ける、画面輝度を一定にする制御系を示す説明図である。本発明の実施の形態２によるオートライトシステムの動作を示すフローチャートである。本発明の実施の形態２によるオートライトシステムの動作を説明する説明図である。本発明の実施の形態３によるオートライトシステムの動作を示す説明図である。本発明の実施の形態３によるオートライトシステムの動作を示す説明図である。

符号の説明

１０撮像手段
１１画面輝度算出手段
１２撮像条件制御手段
１３車両周囲照度推定手段
１４ヘッドライト制御手段
１５操作量補正手段
２０車両
３０画像データ領域
４０トンネル

Claims

車両に搭載され前記車両の少なくとも前方の周囲を撮像してその画像データを出力する撮像手段と、前記画像データに基づき画面輝度を算出する画面輝度算出手段と、前記算出された画面輝度と目標値とを比較しその偏差に基づく操作量により前記撮像手段を操作してその撮像条件を制御する撮像条件制御手段と、前記操作量に基づいて前記車両の周囲の光量を推定する車両周囲光量推定手段と、前記推定された光量に基づいて前記車両のヘッドライトを点灯又は消灯させるヘッドライト制御手段とを備えた車両用オートライトシステム。
前記車両のヘッドライトの点灯、又は消灯による前記車両の周囲の光量増減分に基づいて、前記撮像条件制御手段による前記操作量を補正する操作量補正手段を備えたことを特徴とする請求項１に記載の車両用オートライトシステム。
前記車両ヘッドライト制御手段は、前記ヘッドライトを点灯させる点灯しきい値、及び前記ヘッドライトを消灯させる消灯しきい値の、少なくとも何れか一方を備え、前記点灯しきい値、及び消灯しきい値は、前記ヘッドライトの光量よりも大きい値に設定されていることを特徴とする請求項１又は２に記載の車両用オートライトシステム。
前記画面輝度算出手段は、前記撮像手段により得られた画像データの複数の領域の画面輝度を取得し、夫々の画像輝度の加重平均輝度値を画像輝度として用いるようにしたことを特徴とする請求項１又は２に記載の車両用オートライトシステム。