JP5851597B2 - 車両の周辺区域の気象条件を認識する方法および制御装置 - Google Patents

Description

本発明は、車両の周辺区域の気象条件を認識する方法、車両の周辺区域の気象条件を認識する制御装置、ならびに相応のコンピュータプログラム製品に関する。

車両のカメラベースのハードウェアシステムおよびソフトウェアシステムのために、たとえば雨、雪、濡れた車道、霧、飛沫、埃などのような現在生じている気象条件を知ることに関心が向けられている。

そのために特許文献１は、自動車のための光学式の降雨センサ装置を記載している。

ドイツ特許出願公開第１０２００７０６２２５８Ａ１

以上を背景としたうえで、本発明により、主請求項に記載されている車両の周辺区域の気象条件を認識する方法、車両の周辺区域の気象条件を認識する制御装置、ならびに相応のコンピュータプログラム製品が提供される。好ましい実施形態は、それぞれの従属請求項および以下の説明から明らかとなる。

車両の周辺区域の気象条件、特に車両前方の道路上の気象条件は、車両の走行挙動や、車両の運転者にとっての認識到達範囲にマイナスの影響を及ぼすことがある。従来の車両は、たとえば降雨センサによって降水を検出し、車両の機能を適合調節することができる。それ以外の気象条件は運転者が認識して、相応に対応しなければならない。暗闇では、運転者が状況上の理由からすでに感覚の限界に達している場合、気象条件の早期の認識に問題が生じる。ＡＢＳやＥＳＰといった車両のアクティブセーフティシステムは、車両がロードグリップを失いかけているときに初めて、気象に起因する道路の変化に対応することができる。すなわち、これらのシステムは対応をすることしかできない。先を見越した運転については、常に運転者がその責任を担う。

本発明が踏まえている知見は、たとえば雨、雪、霧、巻き上がる砂埃、乾燥した気候などさまざまに異なる気象条件が生じているとき、暗闇では、車両の運転者の視界がさまざまに異なる特徴的な指標を有しているというものである。運転者の視界を画像検出することで、特徴的な指標を画像情報として結像することができる。特に、少なくとも１つのヘッドライトにより運転者の視界が照明されているとき、気象条件は、気象に典型的な光学的挙動を特徴的な指標として引き起こすことがある。反射率が高い物体の場合や光源では、生じている気象条件によって光が屈折することがあり、そのようにして、気象に典型的な屈折挙動または散乱挙動が特徴的な指標として引き起こされる。

特徴的な指標の評価は、いっそう高い安全性に配慮することに寄与する重要なパラメータを、車両の安全性関連システムに提供することができるのが好ましい。同様に快適性システムも、たとえば他の情報の誤解釈を回避するために、気象条件を知ることによって制御パラメータを変更し、適合調節することができる。さらに光学式の検出システムは、さまざまに異なる気象条件のもとでの物体認識と評価を改善するために、最新の気象条件に合わせて画像処理を適合調節することができる。

本発明は、車両の周辺区域の気象条件を認識する方法を提供するものであり、本方法は次の各ステップを有している：
画像情報の中の少なくとも１つの結像指標を判定し、このとき画像情報は周辺区域の少なくとも１つの領域の結像を表すとともに、結像指標は周辺区域の前記領域にある反射または自己発光をする物体における光効果を表しており、
結像指標と少なくとも１つの期待値との間の比較に基づいて、気象条件を特徴づけるための気象情報を決定する。

気象条件とは、大気の諸現象であると理解することができる。たとえば気象条件は、霧、雨、下に溜まった雨、降雪、下に溜まった雪、あるいはこれらの欠如であってよい。同様に気象条件は、大気の諸現象の帰結であってもよい。たとえば風、埃、砂などが巻き上げられて、吹き付けてくることがある。車両の周辺区域とは、車両の視界距離内にある周囲であってよい。特に周辺区域は、車両のヘッドライトにより直接的または間接的に照明可能である車両前方の領域であってよい。結像指標とは、たとえば少なくとも１つの物理現象によって引き起こされる、物体の結像品質の低下であると理解することができる。たとえば交通標識の輪郭が、ぼやけて結像されることであり得る。あるいはランプが「暈」すなわちハローを有することもある。同様に結像標識として、たとえば降水や空気中の水分の凝結が、ヘッドライト円錐光で目に見えることもある。その場合には水の結晶や水滴が、入射光を高い程度にヘッドライトの方向へはね返す。画像情報とは、画像ファイル、たとえばラスターグラフィックであると理解することができる。ラスターグラフィックでは、格子状に配置されたピクセルがそれぞれ１つの画点を表すことができる。１つの画点は、明度値および／または色値を有することができる。光効果とは、たとえば物体での、および／またはヘッドライトから物体までの光路での、および／または物体から物体への光路での、光の屈折、光の回折、あるいは光の反射、光の散乱などであると理解することができる。反射または自己発光をする物体とは、たとえばリフレクタ、道路標識、街灯、ヘッドライト、氷晶、雪片、水滴、埃の粒、氷面、水面等であると理解することができる。気象情報は、最新の気象条件の結果として得られる情報であってよい。たとえば気象情報は、視界距離や道路状態に関する情報であってよい。期待値とは、たとえば過去において過去の結像指標として類似の物体や類似の気象条件のときに記録された、保存されている値であると理解することができる。すなわち期待値は、結像の１つの領域の明度分布、形状、面積、配置、あるいはこれらの組み合わせであってよい。比較をすることで最大の一致を見出すことができ、選択された期待値に割り当てられている気象条件を、気象情報として提示することができる。

本発明の別の実施形態では、光効果は少なくとも１つの明暗グラジエントを表しており、判定のステップでは明暗グラジエントの散乱特性値および／または屈折特性値を結像指標から判定することができ、散乱特性値は反射または自己発光をする物体を中心とする画像領域における光散乱を表しており、屈折特性値は反射または自己発光をする物体を中心とする画像領域における光屈折を表している。さらに決定のステップでは、散乱特性値および／または屈折特性値を、散乱特性値および／または屈折特性値についての少なくとも１つの期待値と比較することができる。明暗グラジエントとは、明るい点から隣接する暗い点への明度勾配であると理解することができる。たとえば白いピクセルと黒いピクセルの間の明暗グラジエントは大きい。グレーのピクセルと暗いグレーのピクセルの間では、明暗グラジエントは小さい。たとえば空中の水滴は光を屈折させることがある。それにより、たとえば光源と暗い背景との間の周縁部における明暗グラジエントは、空気が澄んでいるときよりも小さくなる。そのようにして車両の運転者の目からは、たとえば他の車両の車両ヘッドライトが霧のときにいわゆるハローを有している。ハローは、ヘッドライトから離れるにつれて暗くなっていく。したがってそこでは明暗グラジエントが小さい。散乱特性値は、たとえばハローの程度を表すことができる。霧が濃ければ濃いほど、ハローは強くなり得る。ハローは、車両によって照明される反射をする物体でも、たとえばリフレクタなどでも、同様に生じている場合がある。屈折特性値は、たとえばハロー中における光のスペクトル成分への分解を表すことができる。高い屈折特性値は、たとえば空気中の氷晶を示唆している場合がある。散乱特性値についての期待値は、特定の散乱を表す目安となる保存された経験値であってよい。屈折特性値についての期待値は、特定の屈折を表す目安となる保存された経験値であってよい。それにより、特に車両前方の比較的遠い距離での気象条件を認識することができ、そのようにして、早くから予防的な対策を開始することができる。

さらに光効果は、車両のヘッドライトにより放射される少なくとも１つの光束によって引き起こされるライトスポットの少なくとも１つの特性を表すことができる。判定のステップでは、結像指標からライトスポットの位置を判定することができ、さらに決定のステップでは、その位置を位置についての期待値と比較することができる。ライトスポットとは、ヘッドライトのビームが引き起こすことができる、明度の高い領域であると理解することができる。たとえばライトスポットは、ヘッドライトに由来する光束の輪郭を結像することができる。ライトスポットは道路上に投影されていてよい。あるいはライトスポットは、車両前方の粒子での反射によって「浮遊する」ことがある。「浮遊する」ライトスポットは、投影されたライトスポットとは異なる形態を有することがある。同様に「浮遊する」ライトスポットは、投影されたライトスポットとは別の位置で識別されることがある。特性はライトスポットの形状と位置を表すことができる。位置は、たとえばライトスポットが道路に投影されていて道路が光を反射しているか、それとも、光の大部分がすでに粒子によって反射されているかを表すことができる。粒子はたとえば埃、水滴、氷晶などであり得る。位置についての期待値は、特定の気象条件のときにライトスポットの期待される位置を表す経験値であってよい。それにより、特に霧を特別に容易かつ確実に認識することができる。

本発明の別の実施形態では、判定のステップで結像指標からライトスポットの高さと幅をさらに判定することができ、高さはライトスポットの見かけ上の垂直方向の広がりを表しており、幅はライトスポットの見かけ上の水平方向の広がりを表している。さらに決定のステップでは、この高さを高さについての期待値と比較するとともに、この幅を幅についての期待値と比較することができる。ライトスポットの高さや幅とは、ライトスポットの見かけ上の寸法であると理解することができる。たとえば高さおよび／または幅は、車両に対して縦方向および／または横方向の向きでのピクセルの計数可能な数を表すことができる。高さおよび／または幅についての期待値は、特定の気象条件のときのライトスポットの期待される高さおよび／または幅を表す経験値であってよい。ライトスポットを測定することで、さまざまな気象条件を特別に簡単に区別することができる。ヘッドライトは車両に定置に取り付けられているので、ライトスポットは気象条件のみに依存して、車両に対して相対的にその位置を変えるからである。

さらに別の実施形態では、光効果は少なくとも１つの地面明度を表すことができ、判定のステップでは結像指標から地面明度の光分布が判定される。さらに決定のステップでは、この光分布を光分布についての期待値と比較することができる。地面明度とは、車両から識別可能な道路の明度であると理解することができる。光分布は、道路上の明るい個所と暗い個所の識別可能な分布を表すことができる。たとえば車道が濡れているとき、発せられた光のわずかな部分しか車両へと反射されないことがある。発せられた光の残りは全反射のもとで、濡れた車道から指向性をもって車両から離れるように反射されることがある。雪で覆われた車道では、たとえば発せられる光の大部分が広い面積に拡散して車両へと反射されることがある。乾燥した車道では、発せられた光の中程度の部分が車両へと反射されることがある。対向車両があると、これらの関係が逆になることがある。雨のときには、対向車両から離れるように反射された光が全反射として、直接的なヘッドライト放射と同様に自分の車両に当たることがあるからである。雪のときには、光が広い面積に拡散して反射されることがある。光分布についての期待値は、特定の気象条件のときの地面明度の期待される光分布を表す経験値であってよい。それにより車両前方の道路状態を、特別に安全性関連のパラメータとして検出し、安全性システムや快適性システムの修正された介入を適合調節して、車両の運転者に注意を喚起することができる。

本発明の追加的な実施形態では、光効果は地面近傍の側方領域における少なくとも１つの明度を表しており、側方領域は車両のヘッドライトにより直接的に照射される領域の範囲外で、車両の側方に配置されている。判定のステップでは、結像指標から明度の側方領域明度値を判定することができ、さらに決定のステップでは、この側方領域明度値を側方領域明度値についての期待値と比較することができる。底面近傍の側方領域とは、たとえば自分の走行車線に隣接する道路の走行車線であると理解することができる。同様に、底面近傍の側方領域とは、道路の側方車線または道路の側道であると理解することができる。地面近傍の側方領域は、たとえば汚れを有していることがある。同様に地面近傍の側方領域は、たとえば堆積した雪を有していることがある。側方領域明度値は、側方領域で反射される明度を表すことができる。それにより、たとえば自分の走行車線の横で車道が汚れているかどうか、雪で覆われているかどうかを認識することができる。側方領域明度値についての期待値は、特定の気象条件のときの地面近傍の側方領域における明度の期待される側方領域明度値を表す期待値であってよい。

さらに別の実施形態では判定のステップで、画像情報の中の別の結像指標を判定することができ、この別の結像指標は、周辺区域の一部分にある反射または自己発光をする別の物体における別のライトスポットを表すことができる。決定のステップでは、別の結像指標と少なくとも１つの別の期待値との別の比較に基づいて、気象情報を決定することができる。反射または自己発光をする別の物体を評価することで、生じている気象条件をいっそう高い確実性で決定することができる。多数の物体の監視により、特に別の離れた物体の監視により、予想される気象の検出を実現することができる。それにより、車両安全性を決定的に向上させることができる。

本発明の別の実施形態では、判定の追加のステップで追加の画像情報から追加の結像指標を判定することができ、追加の画像情報は追加の時点における周辺区域の少なくとも一部の追加の結像を表しており、追加の結像指標は周辺区域の一部分にある反射または自己発光をする物体における追加の時点での追加の光効果を表している。さらに決定のステップでは、追加の結像指標と期待値または少なくとも１つの追加の期待値との追加の比較に基づいて気象情報を決定することができ、さらに、比較と追加の比較との間の変化に基づいて気象情報を決定することができる。反射または自己発光をする物体を複数の時点にわたって追跡することで、変化の継続的な監視を実現することができる。それにより、ダイナミックなプロセスを監視することが可能である。たとえば複数の時点にわたる対向車両の監視は、自分のヘッドライトによってまだ照明可能ではない道路に関する推測をもたらす。

さらに本発明は、車両の周辺区域の気象条件を認識する制御装置を提供するものであり、制御装置は画像情報の中の結像指標を判定する装置を有しており、画像情報は周辺区域の少なくとも一部の結像を表しており、結像指標は周辺区域の前記部分にある反射または自己発光をする物体における光効果を表している。さらに制御装置は、結像指標と少なくとも１つの期待値との比較に基づいて、気象条件を特徴づけるための気象情報を決定する装置を有している。制御装置の形態の本発明のこのような実施態様によっても、本発明に課せられた課題を迅速かつ効率的に解決することができる。

制御装置とは、本件においては、センサ信号を処理し、それに依存して制御信号を出力する電気機器であると理解することができる。制御装置は、ハードウェアおよび／またはソフトウェアとして構成されていてよいインターフェースを有することができる。ハードウェアとしての構成では、インターフェースはたとえば制御装置の種々の機能を含む、いわゆるシステムＡＳＩＣの一部であってよい。しかしながら、インターフェースが独立した集積回路であり、または、少なくとも部分的に個別のデバイスからなっていることも可能である。ソフトウェアとしての構成では、インターフェースは、たとえばマイクロコントローラに他のソフトウェアモジュールと並んで存在するソフトウェアモジュールであってよい。

半導体メモリ、ハードディスクメモリ、または光学メモリのような機械読取可能な担体に記憶されていてよく、コンピュータに相当する機器でプログラムが実行されたときに、上に説明したいずれかの実施形態に基づく方法を実施するために利用されるプログラムコードを有するコンピュータプログラム製品も好ましい。

次に、添付の図面を参照しながら本発明を一例として詳しく説明する。図面は次のものを示している：

本発明の１つの実施例に基づく、車両の周辺区域の気象条件を認識する制御装置を備えた車両を示す図である。 本発明の１つの実施例に基づく、車両の周辺区域の気象条件を認識する方法のフローチャートである。 暗闇でのある気象条件のときの道路の画像情報を示す図である。 暗闇でのある気象条件のときの道路の画像情報を示す図である。 暗闇でのある気象条件のときの道路の画像情報を示す図である。 暗闇でのある気象条件のときの道路の画像情報を示す図である。 暗闇でのある気象条件のときの道路の画像情報を示す図である。 暗闇でのある気象条件のときの道路の画像情報を示す図である。 暗闇でのある気象条件のときの道路の画像情報を示す図である。 暗闇でのある気象条件のときの道路の画像情報を示す図である。 暗闇でのさまざまな気象条件のときの道路の複数の画像情報の中の結像指標の変化を示すグラフである。

本発明の好ましい実施例についての以下の説明では、異なる図面に示されていて類似の作用をする部材には、同一または類似の符号が使用されており、これらの部材について繰り返して説明することはしない。

図１は、本発明の１つの実施例に基づく、車両の周辺区域の気象条件を認識する制御装置１００を備えた車両の図面を示している。制御装置１００は、画像情報の中の結像指標を判定する装置１０２と、気象条件を特徴づけるための気象情報を決定する装置１０４とを有している。車両１０６は、周辺区域検出装置１０８と、車両制御部１１０とを有している。さらに車両１０６は、車両１０６の前方の周辺区域の部分を照明するための２つのフロントヘッドライト１１２を有している。

周辺区域検出装置１０８は、少なくともフロントヘッドライト１１２により照明される周辺区域の部分を検出するために構成されている。周辺区域検出装置１０８は、車両１０６の前方のいっそう広い領域を検出することもできる。周辺区域検出装置１０８は画像情報を生起し、これを車両１０６の他の装置のために提供する。制御装置１００は、画像情報を受信するために構成されている。装置１０２は、画像情報の中で少なくとも１つの結像指標を判定するために構成されている。特に結像指標は、フロントヘッドライト１１２により照明される物体における、またはたとえば他のヘッドライトのような自己発光をする物体における、特徴的な光分布または特徴的な光効果であってよい。たとえば雪、雨、埃、霧などは、フロントヘッドライト１１２から周辺区域検出装置１０８に向かって光をはね返す。同様に、フロントヘッドライト１１２により照射されたリフレクタは、自己発光をする物体のように作用する。このとき、リフレクタと周辺区域検出装置１０８との間の直接的な光経路での気象条件は、光をたとえば散乱させ、屈折させ、あるいは減衰させる。それによってリフレクタの結像が劣化し、すなわち歪んだり不鮮明に結像されたりすることがある。たとえば街灯や対向車両のヘッドライトのような他の光源が、車両１０６の前方の周辺区域を照明すると、気象条件は、車両１０６の期待される周辺区域に合致しない光効果を引き起こすことがある。たとえば道路が乾燥していると、他の光源の周辺はほどほどにしか明るくならない。雪や霧は他の光源の光分布を変える。雪は入射光をほぼ完全に反射し、もしくは散乱させ、それにより他の光源の周辺はいっそう明るく見えることになる。霧は光の散乱と屈折を起こし、それにより他の光源の周辺領域は平面的に照明されているように見える。装置１０２では、制御装置１００がこのような光効果を結像指標として判定し、この結像指標を装置１０４で少なくとも１つの期待値と比較する。期待値は、気象条件に割り当てられた光効果の光学的な指標を表している。それにより装置１０４では結像指標に、気象条件を特徴づける気象情報を割り当てることができる。この気象情報に基づき、車両制御部１１０は車両パラメータを変更して、最新の気象条件に対応することができる。この実施例では、車両制御部１１０は車両駆動部１１４についてのパラメータを変更する。たとえば路面状況に応じて、ホイール１１４の最大の駆動トルクを決定することができる。

車両１０６のカメラベースのハードウェアシステムおよびソフトウェアシステムのために、たとえば雨、雪、濡れた車道、霧、飛沫、埃など、生じている最新の気象条件を知ることに関心が向けられる。たとえばＥＳＰ１１０のようなドライブダイナミックコントロールシステムは、他の制御パラメータを適用するためにこうした知見を利用することができるのに対して、ビデオベースのシステム２０８は、特定の機能を不作動化したり、定義されたとおりに格下げしたり、ないしは先行処理のパラメータを的確に適合調節して、システムのできる限り高い利用可能性を確保することができる。たとえば雪に覆われた道路では、車線を守るのが可能でないことがある。夜間には、カメラベースのソフトウェアシステムにとって気象条件を認識するのが一般に難しくなる。たとえば空を見ることができなかったり、視界範囲が５０ｍ以下になることがあったり、道路の舗装が未知になったりするからである。さまざまな種類の明るい物体が、たとえば自己発光する物体や反射をする物体が、画像中にあるケースについては、このような物体の画像指標は、どのような具体的な気象条件が生じているかを推測する材料になり得る。

図２は、本発明の１つの実施例に基づく、車両の周辺区域の気象条件を認識する方法のフローチャートを示している。この方法はたとえば制御装置１００で、図２に示すように実施することができる。この方法は、画像情報の中の少なくとも１つの結像指標を判定するステップ２０２と、気象条件を特徴づけるための気象情報を決定するステップ２０４とを有している。

ステップ２０２では、画像情報の中の結像指標が判定される。画像情報は、車両の周辺区域の少なくとも１つの部分の結像を表している。結像指標は、周辺区域のこの部分にある反射または自己発光をする物体における光効果を表している。画像情報は、たとえばカメラによって受信することができる。カメラは車両に取り付けられていてよく、車両前方の周辺区域を検出する。結像指標は画像情報の一部分であってよい。物体からカメラへの光路を気象条件が変えると、物体の結像が、気象条件がないときとは異なる形態を有することがある。それを特別に明瞭に認識可能になることがあるのは、明るい光線が「気象」を通過するときである。その場合、水滴、氷晶、埃などの粒子が、物体の結像をぼやけさせることがある光学的な効果を引き起こすことがある。気象条件がたとえば雪や雨によって車両前方の周辺区域を著しく反射性にしているときには、さらに別の効果が起こることがある。その場合、通常はカメラに直接届くことがないはずの光がカメラへと反射されて、カメラを眩ませることがある。そのために、たとえば画像情報の部分領域が露出過多になり、これに含まれる情報の大部分を失わせることがある。一例としてのこのような光学効果を、ステップ２０２で結像指標として判定することができる。

ステップ２０４では、結像指標が少なくとも１つの期待値と比較される。期待値は、類似の気象条件のときの結像指標の結像であってよい。それにより、結像指標に対応する気象情報を割り当てることができる。気象情報は、最新の気象条件を特徴づけることができる。気象情報に基づいて、車両制御部は最新の気象条件に合わせて制御パラメータを予防的に適合調節することができる。ステップ２０４では、結像指標を多数の期待値と比較することができる。各々の期待値はそれぞれ異なる気象条件を表すことができ、それぞれ異なる気象情報に割り当てられていてよい。

図３から図１０は、夜間でのさまざまな気象条件のカメラ画像を示している。これらのカメラ画像は、車両前方の運転者の視界を示している。運転者の視界は車両のヘッドライトによって照明されている。カメラ画像には、反射や放出をするさまざまな光物体が表されている。したがってここでは夜間での気象条件の認識について、自己発光をする物体と反射をする物体を取り上げて説明する。生じている最新の気象条件の見積もりは、反射をする光物体についても自己発光をする光物体についても、特徴的な指標の判定に基づいて行われる。これはたとえば他の通行者のヘッドライトやランプ、自分のヘッドライトの光で照明されるリフレクタ、車両のすぐ前方の道路の明るい領域などであり得る。これらの光物体の指標は、たとえば最大の明度、グレー値推移、色、グラジエント推移などは、通常の気象条件のもとでは定義された特性を有している。このような特性を、指標領域として記述することができる。気象条件が「通常のケース」と相違しているとき、ないしは気象条件がたとえば降り始めた雨、水平に広がる霧の塊、汚れた車道などによって変化したとき、変化した指標領域でその変化が反映される。指標が「劣化」する。さまざまな指標領域のこうした変化が、具体的な気象条件についての直接的な示唆を与える。

このように、以下において一例として掲げる気象状況については、下記のような指標を評価ないし考慮するのが好ましい。このとき霧を含む画像は、たとえば広い面積で低角度のグラジエント推移を有していることがあり、比較的暗いことがある。雨は画像ではたとえば劣化して長く引き伸ばされた物体形状や、部分的に強いグラジエント推移を引き起こすことがあり、雨を含む画像は不規則な明度推移を有していることがある。車道縁部にある雪は、たとえば多数の小さく明るい物体として結像されることがある。氷晶の反射性のファセットにより、雪は「きらめく」ことがある。このとき大きな変動のあるグラジエント指標が生じることがある。雪の白い色に基づき、色情報が欠如することがある。車道上の雪、埃などは、たとえば見かけ上または仮想的な大きい半透明の物体を自分の車両のすぐ前方に引き起こすことがある。その際には不規則なグラジエント指標が発生することがある。一般に、自分の車両の前方の面を物体非依存的に詳細に分析するのが好ましい。

提案される取組みのロバスト性を向上させるために、１つの画像の中の多数もしくは全部の物体についての指標変化の分析が好ましい。それにより、たとえばウィンドワイパーがちょうど画像を通過して動いて、画像情報の一部を隠したのかどうかを認識することができる。ロバスト性を高めるためのさらに別の選択肢は、気象条件の分析を画像ごとに行うだけでなく、複数の画像を通じて指標推移ないし指標変化の分析を行うことにある。認識された物体にトラックを割り当てることができる。これらのトラックを、複数の画像を通じて分析することができる。これはたとえば、物体が初回に検知されたのはいつであり、時間ないし進行距離にわたって指標推移がどのようであるかを意味している。

図３は、乾燥した気象のときの運転者の視界の画像を示している。運転者の視界は、車両のヘッドライトに由来する光で部分的に照明されている。車道をそれぞれ備える道路３００の直線の推移が、光が十分に道路３００を照明できなくなる範囲まで、車両の前方で認識されている。道路３００は、暗い車道舗装上で反射をする車道指標３０２，３０４と、誘導装置３０６，３０８とを有している。右側の車道縁部は、連続する側方マーキング３０２を有している。道路中央部は、中断のある中央マーキング３０４を有している。道路３００の右側の側方領域は植物で覆われており、長尺状のリフレクタを備える白黒の視線誘導標３０６を有している。さらに右側の側方領域は、反射をする道路標識３１０を有している。道路３００の左側の側方領域は、それぞれ２つの点状のリフレクタを備える白黒の視線誘導標３０６を有している。さらに左側の側方領域は、ガードレール３０８を有している。道路３００の上では、車両前方の近傍領域で、ヘッドライト円錐光の下側の明暗境界を認識可能である。明暗境界を超えると、車両が上を走っている車道が明るく照明される。照明の強度は、車両からの距離が増すにつれて低下していく。右側の側方領域は、同じく明暗境界を超えてから明るく照明されている。ここでも照明の強度は、車両からの距離が増すにつれて低下していく。他方の車道は、部分的にのみ明るく照明されている。この画像は、乾燥した気象について特徴的なライトスポット３１２を車両前方に示している。画像の中の反射をする物体３０２，３０４，３０６，３１０は、車両前方の距離が遠いところを除いて認識可能である。ここで提案される取組みでは、画像の中で明るく照らされた部分領域３１２および反射をする物体３０２，３０４，３０６，３１０が評価される。図３に示すように、結像された反射をする物体３０２，３０４，３０６，３１０の鋭い明暗移行部は、乾燥した気象について特徴的なものである。さらに、以下の図面を参照して説明するような結像指標が存在していない。このような気象条件は、たとえば、車両前方の定義された領域にライトスポット３１２があるかどうか、非常に明るい画像領域が隣接する暗い画像領域に対して非常に鋭い移行部を有しているかどうかをチェックすることによって認識することができる。

図４は、湿った気象のときの運転者の視界の画像を示している。図３と同じく、運転者の視界は自己車両のヘッドライトに由来する光で部分的に照明されている。道路３００は自己車両の前方で左カーブで延びている。左カーブには、交通標識３１０「法定右側走行」と、道路３００に対して横向きの歩行者横断路（ゼブラゾーン）とを有する交通島が配置されている。同様に道路３００は、車道上の右側の側方領域に、ならびに中央領域に、反射をする物体３０４，３０６，３１０を有している。道路３００は濡れている。したがって、車道舗装はヘッドライトの光を少ない範囲内でしか車両にはね返さない。図３に示すようなライトスポットは、自己車両の前方に認識することができない。道路３００は、反射をする物体３０４，３０６，３１０と歩行者横断路とによってのみ認識可能である。他方の車道上には、非常に明るい自己発光をする２つの物体４０２が結像されている。自己発光をする物体４０２は、対向車両の２つのフロントヘッドライト４０２を表している。自己発光をする物体４０２は、２つの等しい大きさの、ほぼ等しい高さで相互に間隔をおいて配置された、非常に明るい画像領域として表示される。対向車両は認識可能ではない。対向車両の道路３００の上には、自己発光をする物体４０２の下方に、強く反射をする２つの明るい面４０４があり、これらの面が、２つのフロントヘッドライト４０２の光を自己車両へ直接反射する。２つのフロントヘッドライト４０２の光は、自己車両のフロントガラスにあるウィンドワイパーの縞模様で散乱される。それにより、自己発光をする物体４０２はいわゆる剣状光４０６を有している。道路３００の右側の道路縁部４０８は雪で覆われており、ヘッドライトの光の一部を自己車両に向かって反射する。自己車両の前方にライトスポットがないこと、自己発光をする物体４０２の下方にある結像指標「反射をする面」４０４、自己発光をする物体４０２から発せられる「剣状光」４０６、ならびに「道路縁部での光反射の増大」４０８に基づき、本発明の一実施例に基づく方法により、道路３００が濡れており、降水がフロントガラスにウィンドワイパーの縞模様をつけていることを認識することができる。さらには、雪があり、場合により水が一面に凍っていることが予想されることを認識することができる。車両制御のパラメータを最新の気象条件に合わせて適合調節するために、こうした気象情報を自己車両の車両制御部で処理することができる。

図５は、湿った気象のときの運転者の視界の別の画像を示している。図３と同じく、運転者の視界は自己車両のヘッドライトに由来する光で部分的に照明されている。図３と同じく、道路３００は車道上および右側の側方領域に、反射をする物体３０２，３０４，３０６，３１０を有している。道路３００は濡れている。したがって車道舗装は、ヘッドライトの光を少ない範囲内でのみ車両に向かって反射する。自己車両の前方には、図３に示すようなライトスポットは認識可能ではない。道路３００は、反射をする物体３０２，３０４，３０６，３１０によってのみ認識可能である。自己車両の前方の車道上には、先行車両が結像されている。先行車両の２つのテールライト５０２を、明るい光点５０２として認識可能である。テールライト５０２の放射される光は、自己車両のフロントガラスにあるウィンドワイパーの縞模様で散乱される。それにより、明るい光点５０２はいわゆる剣状光４０６を有している。他方の車道上には、非常に明るい２つの自己発光をする物体４０２が結像されている。自己発光をする物体４０２は、対向車両の２つのフロントヘッドライト４０２を表している。対向車両は認識可能ではない。２つのフロントヘッドライト４０２の光は、自己車両のフロントガラスにあるウィンドワイパーの縞模様で同じく散乱される。それにより、自己発光をする物体４０２も剣状光４０６を有している。道路３００の右側の道路縁部４０８は雪で覆われており、ヘッドライトの光の一部を拡散させながら自己車両に向かって反射する。自己車両前方にライトスポットがないこと、結像指標「剣状光」４０６、ならびに「道路縁部での光反射の増大」４０８に基づき、本発明の一実施例に基づく方法により、道路３００が濡れており、降水がフロントガラスにウィンドワイパーの縞模様をつけていることを認識することができる。さらには、雪があり、場合により水が一面に凍っていることが予想されることを認識することができる。車両制御のパラメータを最新の気象条件に合わせて適合調節するために、こうした気象情報を自己車両の車両制御部で処理することができる。

図６，７および８は、霧のときの運転者の視界の画像を示している。図３と同じく、道路３００は自己車両の前方で自己車両のヘッドライトにより照明される。道路３００は中断のある中央マーキング３０４を有している。右側の道路縁部４０８は雪で覆われており、自己車両のヘッドライトの拡散した光をはね返す。

図６では、空気中の水滴または微小な氷晶が自己車両の前方でヘッドライトにより照射され、ヘッドライトの光の一部を自己車両に向かって反射する。それにより、自己車両のヘッドライトのヘッドライト円錐光６０２を認識可能である。ヘッドライト円錐光６０２の光の見え方の明るさにより、道路３００の車道表面のライトスポットが、見かけ上浮遊するヘッドライト円錐光６０２により覆われる。中央マーキング３０４は、その反射をする特性にも拘わらず、さほど右側の道路縁部４０８以上にはっきりと認識可能というわけではない。霧は視界範囲を制限する。ヘッドライトの既知の照明範囲内でヘッドライト円錐光６０２を結像中に認識できるかどうかチェックすることによって、霧を認識することができる。

図７では、図６で結像されているようなヘッドライト円錐光６０２に加えて、道路３００の右隣に反射をする交通標識３１０を認識可能である。第１の群の交通標識３１０が、自己車両のヘッドライトによって直接照射され、大量の光を自己車両に向かって反射する。したがってこれらの交通標識３１０は、自己車両に向けて光線を発する強力な光源のように作用する。この光線は浮遊する水滴や氷晶によって屈折、散乱する。したがって交通標識３１０は、ハロー７０２と呼ばれる発光リングで取り囲まれている。ハロー７０２は、ヘッドライト円錐光６０２よりも高い明度を有している。直接的に照射されない別の群の交通標識３１０では、反射される光の量は、ハロー７０２を引き起こすのに十分なほどには多くない。

図８では、道路３００の別の車道に２つの明るい光点４０２が結像されている。これらの明るい光点１０２は、対向車両の２つのフロントヘッドライト４０２を表している。自己車両に直接向けられているフロントヘッドライト４０２の光線も、浮遊する氷粒子および／または水粒子によって屈折、散乱する。したがって明るい光点１０２は、同じくハロー７０２でそれぞれ取り囲まれている。霧は、図６および図７よりも薄い。したがって、ヘッドライト円錐光６０２はさほど強く特徴を示しておらず、自己車両のヘッドライトは道路表面上にライトスポット３１２を生成する。道路３００の右隣りには、ハローを有するのに十分な光を自己車両にはね返すことがない交通標識が結像されている。

ヘッドライト円錐光６０２とハロー７０２の結像指標に基づき、ここで提案される方法は気象情報「霧」を決定し、実際のライトスポット３１２を期待されるライトスポット３１２と比較することで、気象情報「予測される視界範囲」を生成することができる。これらの気象情報に基づき、自己車両の車両制御部は、たとえば車両前方の光分布のようなパラメータを、実際の気象条件に合わせて適合調節することができる。それにより、自己車両の運転者にとって自分の視界を改善することができる。

図９および１０は、降雪時の雪で覆われた車道３００での運転者の視野を示している。道路３００は自己車両の前方の広い範囲で照明されており、自己車両のヘッドライトの光を広い面積で拡散させて自己車両へと反射する。右側と左側の道路縁部では雪が積み上げてあり、良好な光入射角に基づき、自己車両のヘッドライトから雪の車道よりも多くの光を自己車両に向かって反射している。

図９では、自己車両のヘッドライトは、車両前方の空気中にある個々の雪片９０２を照射している。雪片９０２は画像中では明るい白点として見える。図１０では、自己車両に他の車両が対向している。他の車両のヘッドライト４０２は、他の車両の前方にある車道の雪を非常に明るく照射する。したがって、図１０における運転者の視野のこの部分は露出過多であり、不定形の白い面１００２として見える。車道が雪で覆われているときの自己車両の前方の道路３００における特徴的な光分布に基づき、あるいは、対向車両の前方の露出過多の面１００２に基づき、ここで提案される方法は気象情報「車道上の雪」を決定することができる。ヘッドライト光の中の雪片９０２の数を評価することで、降雪の密度およびこれに伴って気象情報「予測される視界」を推定することができる。

図１１は、変化した指標空間の結果を、３通りの異なる気象状況で車両前方にあるライトスポットついて一例として示している。図示されているのは、大気が澄んでいるときのライトスポットの配置１１０２と、薄い霧があるときのライトスポットの配置１１０４と、霧があるときのライトスポットの配置１１０６である。横座標にはカメラ画像におけるライトスポットの幅がプロットされており、縦座標にはカメラ画像におけるライトスポットの高さがプロットされている。気象状況に応じて、ライトスポットは異なる位置、形状、広がりを有している。

車両前方の空気に反射をする粒子がないとき、すなわち大気が澄んでいるとき、ヘッドライトのビームは車道表面に当たる。車道の起伏に基づき、ライトスポットの測定される高さ、ならびに測定される幅は変動幅を有している。車道表面は、強度の高いヘッドライトビーム中心の光だけを車両に向かって反射するので、ライトスポットは細く見える。薄い霧がかかっていると、車両前方にある空気中の粒子がヘッドライトのビームによってすでに照射され、これを目に見えるようにする。霧の濃度に依存して、ライトスポットは車両前方のさまざまな高さで見える。霧はヘッドライトビームの側方領域に由来する強度の低い光も反射するので、薄い霧のときのライトスポットは、大気が澄んでいるときのライトスポットよりも幅が広く見える。薄い霧がかかっているときのライトスポットの幅には、大きな変動幅がある。霧のときには光のわずかな部分しか車道に当たらない。光の大部分はすでに空気中の粒子で反射され、ライトスポットを車両前方の高いところで浮遊させる。霧は非常に弱い光でも車両に向かって反射し、したがって、大気が澄んでいるときには車道上にライトスポットを引き起こすことがない光線の部分も目に見えるので、ライトスポットは非常に広い幅で見える。ライトスポットの高さと幅を評価することで、ここで提案している方法により、たとえば気象情報「霧の濃度」を決定することができる。

上述した図面に示している各実施例は、一例として選択されたものにすぎない。さまざまに異なる実施例を全体的に、または個々の構成要件に関して、相互に組み合わせることができる。１つの実施例を他の実施例の構成要件によって補完することもできる。さらには、本発明に基づく各方法ステップを反復して実施することができ、ならびに、上記の順序とは異なる順序で実施することもできる。

１００ 制御装置
１０２ 画像情報の中の結像指標を判定する装置
１０４ 気象条件を特徴づけるための気象情報を決定する装置
１０６ 車両
１０８ 周辺区域検出装置
１１０ 車両制御部
１１２ フロントヘッドライト
１１４ 車両駆動部
２０２ ステップ
２０４ ステップ
３００ 道路
３０２ 側方マーキング
３０４ 中央マーキング
３０６ 誘導装置
３０８ 誘導装置
３１０ 道路標識
３１２ ライトスポット
４０２ 自己発光をする物体
４０４ 明るい面
４０６ 剣状光
４０８ 右側の道路縁部
５０２ テールライト
６０２ ヘッドライト円錐光
７０２ ハロー
９０２ 雪片
１００２ 露出過多の面
１１０２ ライトスポットの配置
１１０４ ライトスポットの配置
１１０６ ライトスポットの配置

Claims (9)

1. 車両（１０６）の周辺区域の気象条件を認識する方法において、前記方法は次の各ステップを有しており、すなわち、
   画像情報の中の少なくとも１つの結像指標（４０４，４０６；６０２；７０２；９０２；１００２）を判定し（２０２）、このとき画像情報は周辺区域の少なくとも１つの領域の結像を表すとともに、結像指標は周辺区域の前記領域にある反射または自己発光をする物体（３０２，３０４，３０６，３１０，３１２；４０２，４０８；５０２）における光効果を表しており、
   結像指標と少なくとも１つの期待値との間の比較に基づいて、気象条件を特徴づけるための気象情報を決定し（２０４）、
   光効果は車両のヘッドライトにより放射される少なくとも１つの光束によって引き起こされるライトスポット（３１２；６０２）の形状と位置を表しており、判定のステップ（２０２）では結像指標（４０４，４０６；６０２；７０２；９０２；１００２）からライトスポットの位置（１１０２，１１０４，１１０６）が判定され、さらに決定のステップ（２０４）では当該位置が位置についての期待値と比較される、方法。
2. 光効果は少なくとも１つの明暗グラジエントを表しており、判定のステップ（２０２）では明暗グラジエントの結像指標（４０４，４０６；６０２；７０２；９０２；１００２）から散乱特性値および／または屈折特性値が判定され、散乱特性値は反射または自己発光をする物体（３０２，３０４，３０６，３１０，３１２；４０２，４０８；５０２）を中心とする画像領域における光散乱を表しており、屈折特性値は反射または自己発光をする物体（３０２，３０４，３０６，３１０，３１２；４０２，４０８；５０２）を中心とする画像領域における光屈折を表しており、さらに決定のステップ（２０４）では散乱特性値および／または屈折特性値が散乱特性値および／または屈折特性値についての少なくとも１つの期待値と比較される、請求項１に記載の方法。
3. 判定のステップ（２０４）では結像指標（４０４，４０６；６０２；７０２；９０２；１００２）からライトスポット（３１２；６０２）の高さと幅がさらに判定され、高さはライトスポットの見かけ上の垂直方向の広がりを表しており、幅はライトスポットの見かけ上の水平方向の広がりを表しており、さらに決定のステップ（２０４）では当該高さが高さについての期待値と比較されるとともに、当該幅が幅についての期待値と比較される、請求項１に記載の方法。
4. 光効果は少なくとも１つの地面明度を表しており、判定のステップ（２０２）では結像指標（４０４，４０６；６０２；７０２；９０２；１００２）から地面明度の光分布が判定され、さらに決定のステップ（２０４）では当該光分布が光分布についての期待値と比較される、請求項１から３のうちいずれか１項に記載の方法。
5. 光効果は地面近傍の側方領域における少なくとも１つの明度を表しており、側方領域は車両のヘッドライトにより直接的に照射される領域の範囲外で車両の側方に配置されており、判定のステップ（２０２）では結像指標（４０４，４０６；６０２；７０２；９０２；１００２）から明度の側方領域明度値が判定され、さらに決定のステップ（２０４）では当該側方領域明度値が側方領域明度値についての期待値と比較される、請求項１から４のうちいずれか１項に記載の方法。
6. 判定のステップ（２０２）では画像情報の中の別の結像指標（４０４，４０６；６０２；７０２；９０２；１００２）が判定され、前記別の結像指標は周辺区域の一部分にある反射または自己発光をする別の物体（３０２，３０４，３０６，３１０，３１２；４０２，４０８；５０２）における別のライトスポットを表しており、決定のステップ（２０４）では前記別の結像指標と少なくとも１つの別の期待値との別の比較に基づいて気象情報が決定される、請求項１から５のうちいずれか１項に記載の方法。
7. 判定の追加のステップ（２０２）で追加の画像情報から少なくとも１つの追加の結像指標（４０４，４０６；６０２；７０２；９０２；１００２）が判定され、追加の画像情報は追加の時点における周辺区域の少なくとも一領域の追加の結像を表しており、追加の結像指標は周辺区域の一領域にある反射または自己発光をする物体（３０２，３０４，３０６，３１０，３１２；４０２，４０８；５０２）における追加の時点での追加の光効果を表しており、さらに決定のステップ（２０４）では追加の結像指標と少なくとも１つの追加の期待値との追加の比較に基づいて気象情報が決定され、さらに比較と追加の比較との間の変化に基づいて気象情報が決定される、請求項１から６のうちいずれか１項に記載の方法。
8. 車両（１０６）の周辺区域の気象条件を認識する制御装置において、前記制御装置（１００）は次の各構成要件を有しており、すなわち、
   画像情報の中の結像指標（４０４，４０６；６０２；７０２；９０２；１００２）を判定する装置（１０２）を有しており、画像情報は周辺区域の少なくとも１つの領域の結像を表しており、結像指標は周辺区域の前記領域にある反射または自己発光をする物体（３０２，３０４，３０６，３１０，３１２；４０２，４０８；５０２）における光効果を表しており、および、
   結像指標と少なくとも１つの期待値との比較に基づいて気象条件を特徴づけるための気象情報を決定する装置（１０４）を有しており、
   光効果は車両のヘッドライトにより放射される少なくとも１つの光束によって引き起こされるライトスポット（３１２；６０２）の形状と位置を表しており、前記判定する装置（１０２）は結像指標（４０４，４０６；６０２；７０２；９０２；１００２）からライトスポットの位置（１１０２，１１０４，１１０６）を判定し、さらに前記決定する装置（１０４）では当該位置を位置についての期待値と比較する、制御装置。
9. プログラムが情報システムで実行されたときに請求項１から７のいずれか１項に記載の方法を実施するためのプログラムコードを有しているコンピュータプログラム製品。

Images