JP4457150B2 - ビデオカメラにより撮影された画像を表示する方法 - Google Patents

Description

本発明は車両前方のシーンのビデオカメラにより撮影された画像を表示する方法に関するものであり、ここで車両前方のシーンとは車両のヘッドライトにより照明された車道を含んでいる。

画像撮影技術の改良に伴って、赤外線照明で車両前方のシーンを照明して、赤外線ビデオカメラで画像を撮影する自動車向けの能動的暗視システムがすでに開発されている。これらのシステムにおける独特の難点は撮影されたシーンのコントラストが高いことである。高いコントラストが生じるのは、例えば、次のような場合である。すなわち、良く反射する車道の路面もしくは良く反射する明るく照明された物体が付近にあり、同時に、反射性の悪い弱く照明された物体が遠方にある場合である。なお、上記の明るく照明された物体は場合によってはさらに自ら光るものであることもあり、また、上記の弱く照明された物体は、遠くにあるとは言え、適時に認識されることが重要である。このような物体とは、例えば、暗い色の服を着た歩行者である。

健康な人間の目はこのような高コントラストの状況を良く把握することができる。また、現代のビデオカメラを使用すれば、大きなコントラスト範囲を処理することもできる。しかしながら、問題は、現在の技術では人間の目で完全に把握できるようにスクリーン上に全コントラスト範囲を表示することが不可能なことである。このため、上記の状況において、車道またはヘッドライトの光円錐内にある近くの物体が画像内で過度に輝いて見えるのに対して、弱く照明された遠方の物体はほとんど知覚できなくなる。

それゆえ、本発明の課題は、明るい物体または車道が過度に輝いて表示されたり、ユーザの目を眩ませたりすることなく、大きなコントラスト範囲のシーンもスクリーン上に表示することである。

発明の利点
本発明によれば、この課題は、車両前方の近傍領域の再生と画像の他の部分の再生との間のコントラストが低減されるように、ビデオカメラにより形成された画像データの画素のグレイ値を画像内の各画素の位置と車両前方の近傍領域にある物体の明るさとに依存した低減係数により評価することにより解決される。

その際、近傍領域の物体は通常は車道から形成される。ここで、近傍領域とは、ヘッドライトの光の明るさの点で、遠く離れた領域とは明らかに区別されるような距離領域のことである。しかしまた、この方法は近傍領域における他の照明された物体が低減係数に影響を与えることも許容する。

また、有利には、個々の画素に対する低減係数は、画像全体にわたる低減の分布を決定する第１の係数と、画像内の位置に依存しない低減の度合いを決定する第２の係数とから計算される。

本発明による方法の利点は、ヘッドライトから離れるにつれて照明強度が低下することにより生じる効果、すなわち、車両のすぐ前方にある物体は過度に明るく照明され、遠く離れた物体は過度に暗く照明されるという効果が、必要ならば補償されるということである。例えば、近傍領域に明るい物体のない暗く濡れた車道がある場合には、コントラストの低減はまったく又は僅かにしか行われない。

本発明は赤外線ヘッドライトと赤外線カメラとを使用した実施形態に限定されるものではなく、可視光を使用した実施形態にも完全に適用される。

本発明による方法の１つの有利な実施形態の要点は、第１の係数が、実質的に、ヘッドライトにより照明された良く反射する車道の輝度分布のカメラによる像に相当することにある。有利には、第１の係数は複数の値の行列として記憶される。

第１の係数の決定は表面の明るい車道に車両のヘッドライトを当てることにより実験的に行ってよく、その際、一連の画像の平均化を行ってもよい。またその際、車両が車道上を動いていると有利である。さらに、照明の不均一性を平滑化して第１の係数に悪影響が及ばないようにするため、得られた画像をローパスフィルタリングしてもよい。

同様に、第１の係数を例えばレイトレーシング法の適用結果に基づいて解析的に定めることも可能である。この場合、ヘッドライトによる照明と車道での反射と画像撮影が数学的にモデル化される。

第２の係数を求めるために、本発明の１つの有利な実施形態では、第１の平均値と第２の平均値との比から第２の係数を形成する。その際、第１及び第２の平均値を形成するために、逆に第１の係数に依存して、平均値の割当てが行われる。

この構成の第１の実施形態では、割当ては、第１の係数が閾値よりも小さな画素のグレイ値は第１の平均値に入れ、第１の係数が前記閾値よりも大きな画素のグレイ値は第２の平均値に入れることにより行われる。なお、閾値は第１の係数の最大値の半分であってよいが、他の閾値も可能である。この実施形態によれば、比較的少ない計算コストで第２の係数の形成が可能となる。

この構成の第２の実施形態はより正確に第１の係数の値のプロファイルに適応している。この第２の実施形態の要点は、画素のグレイ値が、第１の平均値を形成するためには第１の係数の１に対する補数と掛け合わされ、第２の平均値を形成するためには第１の係数と掛け合わされ、それぞれ足し合わされることにある。

計算コストを低減するために、第２の係数を計算するに当たって、画像全体にわたって平均値を形成する際に、分布した代表画素を使用するようにしてもよい。このために、例えば、水平方向においても垂直方向においても１０個目ごとの画素を使用するようにしてよい。

照明と反射との比が異常なときにコントラストの低減ではなくコントラストの不所望な上昇が生じるのを確実に防ぐために、本発明による方法では、画像の明るさを上げる作用のない値に第２の係数を制限してもよい。

本発明による方法の他の有利な実施形態では、評価されたグレイ値は以下のようにして計算される：
ｇ’（ｘ，ｙ）＝ｇ（ｘ，ｙ）・（１−（１−ｆ）・ｈ（ｘ，ｙ））
ここで、ｇ’は評価されたグレイ値を、
ｇは未評価のグレイ値を、
ｆは第２の係数を、
ｈは第１の係数を、
ｘ及びｙは画素の座標を表している。

本発明による方法では、第２の係数を形成する際に、使用される画素がどの程度内側のより明るい画像領域に属し、どの程度外側のより暗い画像領域に属するのかに関して、重み付けを絶えず新たに計算しなくてもよい。それゆえ、さらに別の実施形態においては、第２の係数の形成に使用される画素の重み付けはメモリに記憶されている。

本発明による方法はそれ自体、第１の係数を求めるために行う画像撮影の際の輝度分布が動作時とほぼ同じであることを仮定している。しかし、様々なヘッドライト設定で走行が行われることにより、この仮定からの逸脱が生じうる。それゆえ、本発明のさらに別の実施形態では、メモリに記憶されている値の中から、車道のそれぞれ異なる照射に対応した複数の値セットが、ヘッドライトによる設定された照明と実際の照明に依存して選択される。このため、ヘッドライトが作動しなくなってもそれに反応することができる。

図面
本発明の実施例は複数の図に基づく図面に示されており、以下の説明においてより詳細に解説される。

図１は、本発明による方法を説明するためのブロック図であり、
図２は、第１の係数を表示するスクリーン画像の概略図であり、
図３及び図４は、図２による画像の選択された列と選択された行における第１の係数のグレイ値のプロファイルを示したものであり、
図５及び図６は、本発明による方法の第１の実施例による選択された行のプロファイルにおける重み付け係数を示したものであり、
図７及び図８は、本方法の第２の実施例による選択された行の重み付け係数を示したものであり、
図９は、方法を実際に実行する際に生じるスクリーン画像の概略図であり、
図１０は、コントラストの低減をしない場合の図９による画像の列におけるグレイ値のプロファイルを示したものであり、
図１１は、本発明による方法によりコントラストを低減した場合のグレイ値のプロファイルを示したものであり、
図１２は、本発明による方法を適用しなかった場合の画像を示しており、
図１３は、本発明による方法によりコントラストの低減した画像を示している。

実施例の説明
図１には、本発明による方法を実行するための装置が示されており、図１のいくつかのブロックは回路とその他の部品（ハードウェア）を表しており、他のブロックはマイクロコンピュータ内で処理されるプログラムの一部を表している。カメラ１は、例えば、詳細には図示されていない車両のフロントガラス２越しに「見る」。ここで、カメラ１は有利には近赤外線領域を感知するカメラである。車両前方のシーンはヘッドライト１２，１３により照明される。なお、ヘッドライト１２，１３は制御装置１１により運転者の入力に応じて又は自動的にスイッチオン又はスイッチオフされる。また、例えばカーブに追従するヘッドライトのように向きの変えられるヘッドライトを本発明による方法とともに駆動してもよい。

ビデオカメラ１は図示されていない散乱光用の絞りを備えており、調整装置３と接続されている。調整装置３は、とりわけ、様々な比率の光にカメラを適応させるものである。ビデオカメラ１は画像データとも呼ばれるデジタルビデオ信号を生成する。上記ビデオカメラは通常はモノクロカメラであるので、画像データは座標ｘ、ｙにおける各画素（ピクセル）につき１つのグレイ値ｇを含んでいる。このグレイ値ｇは複数のグレイ値の加重平均の計算に渡される。ここで、加重平均４が実質的に照明された車道の外部にある画素を考慮するのに対して、５では、実質的に照明された車道の領域内にある画素のグレイ値が平均される。

両方の平均値ｍ１とｍ２は６において除算され、これにより第２の係数ｆが生じる。第１の係数ｈはパラメータｗ１及びｗ２と同様にメモリ７内にある。照明はそのつどのヘッドライト設定に依存しているため、複数のパラメータセットｗ１，ｗ２，ｈがメモリ７に記憶されており、これらのパラメータセットの中からそのつど１つのパラメータセットがヘッドライト１２，１３の制御装置１１によってメモリから読み出される。

８では、評価されたグレイ値ｇ’（ｘ，ｙ）が以下の式に従って計算される：
ｇ’（ｘ，ｙ）＝ｇ（ｘ，ｙ）・（１−（１−ｆ）・ｈ（ｘ，ｙ））
ここで、ｇ’は評価されたグレイ値を、ｇは未評価のグレイ値を、ｆは第２の係数を、ｈは第１の係数を、ｘ及びｙは画素の座標を表している。評価されたグレイ値は画像スクリーン１０の駆動部９に渡される。

第１の係数ｈを求めるために、ビデオカメラ１は良く反射する平面に向けられ、この平面は車道のようにヘッドライトで照らされる。すると、図２に示されている画像が得られる。この画像では、輝度の低下が等輝度線として図示されている。単純に見れば、内側領域２１は比較的輝度が高く、外側領域２２は比較的輝度が低く、移行は漸次的である。

続く図３〜８ならびに図１０及び１１はそれぞれ、図２による画像の選択された列Ｖと選択された行Ｈに関するグレイ値とパラメータのプロファイルを示している。図３及び４からは、選択された列のグレイ値が中央から下にかけて次第に増大しているのに対し、選択された行では、中央領域においてグレイ値が高く、縁にかけて次第に低下していることが見て取れる。撮影された値はすべての画素に関して第１の係数ｈ（ｘ，ｙ）としてメモリに記憶される。

第２の係数のためのパラメータｗ１及びｗ２を形成するため、実施例では２つの方式が説明される。１つは図５及び６に示されている方式であり、この方式では、係数ｈと閾値との比較により、パラメータｗ２は画像領域２１に関してはすべて値１をとり、この領域外では０をとるのに対して、パラメータｗ１はこの領域外の画素に関しては１をとり、領域内の画素に関しては０をとる。ここで、１は相応する画素が平均の計算に入ることを意味しており、０は相応する画素が平均の計算に入らないことを意味している。

これに関して言うべきことは、パラメータｗ１及びｗ２を用いて計算された第２の係数、ひいては低減係数も画像全体に対して作用するので、ｗ１及びｗ２がジャンプする箇所にエッジが生じないということである。画像内の輝度のジャンプがパラメータｗ１とｗ２により与えられる領域２１と領域２２との間の境界をまたぐ場合には、場合によって低減係数の突然の変化が生じることもありうる。その他の点では、この実施例は計算能力への要求が比較的低いという点で優れている。

以下に図７及び８に基づいて説明される実施形態では、画像領域２１及び２２は人為的に鋭い直線で分割されるのではなく、第１の係数ｈの実際の漸次的な移り変わりがパラメータｗ１及びｗ２の形成に使用される。これは、ｗ２が第１の係数ｈに一致すること（図７）、ならびに、ｗ１を形成するためにｈの１に対する補数が計算されることによって行われる。

加重平均４，５（図１）は以下の式に従って行われる：
領域２２内のすべての代表画素について、ｍ１＝［Σｗ１（ｘ，ｙ）・ｇ（ｘ，ｙ）]／［Σｗ１（ｘ，ｙ）］
領域２１内のすべての代表画素について、ｍ２＝［Σｗ２（ｘ，ｙ）・ｇ（ｘ，ｙ）］／［Σｗ２（ｘ，ｙ）］
ここで、ｎ１、ｎ２はそれぞれの領域の代表画素の個数である。

図９では、車道２４上に人２３がいる画像によって実際のシーンが単純化して示されている。図９には、その他に、画像領域２１及び２２ならびに図２による選択された列Ｖ及び行Ｈが示されている。

図１０には、撮影信号のグレイ値が示されている。ここで、車道２４が明るい、つまり、車道２４が例えば乾いたコンクリート又は砂利の道路である限り、人を表しているグレイ値２５は一般に前景の照明された車道２４のグレイ値２６よりもはるかに低い。本発明の方法による低減によってグレイ値２５は実質的に維持されるのに対して、グレイ値２６’はグレイ値２６に比べて明らかに低下する（図１１）。車道が暗ければ暗いほど、低減は小さくなる。というのも、本発明による方法では、車道が明るい場合に求められた第１の係数は低減のプロファイルを決定するだけであって、画像領域２１及び２２（図９）のそれぞれの実際の平均輝度に依存する低減の大きさを決定するわけではないからである。

図１２及び１３にはスクリーン画像が示されており、ただし、図１２は本発明による手段を用いずに撮影されたものである。明らかに、車道、このケースでは林道は、画像の他のディテールよりも光っていることが分かる。そのため、道の上にいる人の画像は、車道の輝度がはるかに低い図１３によるスクリーン画像の場合ほどはっきりと際立っていない。図１３のスクリーン画像の場合、運転者はちょっと見ただけでも道に人がいることを直ちに気付くことができる。別の効果として、図１３では、コントラストの低減のない場合よりも道の構造が良く認識されることが示されている。

本発明による方法を説明するためのブロック図を示す。 第１の係数を表示するスクリーン画像の概略図を示す。 図２による画像の選択された列における第１の係数のグレイ値のプロファイルを示す。 図２による画像の選択された行における第１の係数のグレイ値のプロファイルを示す。 本発明による方法の第１の実施例による選択された行のプロファイルにおける重み付け係数を示す。 本発明による方法の第１の実施例による選択された行のプロファイルにおける重み付け係数を示す。 本方法の第２の実施例による選択された行の重み付け係数を示す。 本方法の第２の実施例による選択された行の重み付け係数を示す。 方法を実際に実行する際に生じるスクリーン画像の概略図を示す。 コントラストの低減をしない場合の図９による画像の列におけるグレイ値のプロファイルを示す。 本発明による方法によりコントラストを低減した場合のグレイ値のプロファイルを示す。 本発明による方法を適用しなかった場合の画像を示す。 本発明による方法によりコントラストの低減した画像を示す。

Claims (10)

1. ビデオカメラにより撮影された車両前方のシーンの画像を表示する方法であって、車両前方のシーンは車両のヘッドライトにより照明された車道を含むものであるとした方法において、車両前方の近傍領域の再生と前記画像の他の部分の再生との間のコントラストが低減されるように、ビデオカメラにより形成された画像データの画素のグレイ値を前記画像内の各画素の位置と車両前方の近傍領域にある物体の明るさとに依存した低減係数により評価する、ただしその際、個々の画素に対する前記低減係数を、前記画像全体にわたる低減の分布を決定する第１の係数と、前記画像内の位置に依存しない低減の度合いを決定する第２の係数とから計算し、前記第２の係数を前記画像の明るさを上げる効果を持たない値に制限する、ことを特徴とする、ビデオカメラにより撮影された車両前方のシーンを表示する方法。
2. 前記第１の係数は、実質的に、ヘッドライトにより照明された良く反射する車道の輝度分布のカメラによる像に相当する、請求項１記載の方法。
3. 前記第１の係数は複数の値の行列として記憶される、請求項１記載の方法。
4. 前記第２の係数は第１の平均値と第２の平均値との比から形成され、この第１及び第２の平均値を形成するには、逆に前記第１の係数に依存して、画像内における位置の割当てが行われる、請求項１から３のいずれか１項記載の方法。
5. 前記割当ては、前記第１の係数が閾値よりも小である画素のグレイ値は前記第１の平均値に入れ、前記第１の係数が前記閾値よりも大である画素のグレイ値は前記第２の平均値に入れることにより行われる、請求項４記載の方法。
6. 前記第１の平均値は画素のグレイ値と前記第１の係数の１に対する補数とをそれぞれ掛け合わせて加算することにより求められ、前記第２の平均値は画素のグレイ値と前記第１の係数とをそれぞれ掛け合わせて加算することにより求められる、請求項４記載の方法。
7. 前記画像全体にわたる平均値を形成するために、分布した代表画素を使用する、請求項５または６記載の方法。
8. 評価されたグレイ値を次のようにして計算する：
   ｇ’（ｘ，ｙ）＝ｇ（ｘ，ｙ）・（１−（１−ｆ）・ｈ（ｘ，ｙ））、
   ここで、ｇ’は評価されたグレイ値を、ｇは未評価のグレイ値を、ｆは前記第２の係数を、ｈは前記第１の係数を、ｘ及びｙは画素の座標を表している、請求項１から７のいずれか１項記載の方法。
9. 前記第２の係数を形成するために使用される画素の重み付けがメモリに記憶されている、請求項１から８のいずれか１項記載の方法。
10. メモリに記憶されている値の中から、車道のそれぞれ異なる照射に対応する複数の値セットが、ヘッドライトによる設定された照明と実際の照明とに依存して選択される、請求項１から９のいずれか１項記載の方法。

Images