JP4512595B2 - 車両周辺部を可視化するための方法及び装置 - Google Patents

Description

本発明は、車両周辺部（車両の周辺状況）を可視化するための方法、特に暗視情報システム（ナイトビジョン情報システム）を用いて運転者の前方にある交通状況を検出及び描写するための方法に関し、この方法では、異なるスペクトル領域から殆ど同所同時のビデオ画像が融合され、ビデオ画像の融合時、異なるスペクトル領域に重み係数（ウェイティングファクタ）が備えられる。本発明は更に、車両周辺部を可視化するための装置、特に暗視情報システムを用いて運転者の前方にある交通状況を検出及び描写するための装置に関し、この装置では、カメラシステムを用い、異なるスペクトル領域から殆ど同所同時のビデオ画像が記録可能であり、それらのビデオ画像が融合装置を用いて重み付けられて融合可能である。

夜間の場合、又は雨天や霧や吹雪のような悪天候の場合、車両の運転者のための視界状況を援助するために暗視情報システムが知られている。これらのシステムは、運転者の前方にある交通状況のビデオ画像を記録し、それらの画像を運転者に対してディスプレイ上に提供する。暗視情報システムは、多くの場合、周辺部の一部分の熱イメージを検知する赤外（ＩＲ）カメラを用いて作動する。それにより運転者には、照明されてなくそれによって運転者により直接的には知覚され得ない熱放射する対象、特に、歩行者、自転者に乗った人、又は動物を、視界状況が悪い場合にも早期に認識し、事故を回避するための援助手段が使用可能とされる。

特許文献１から車両周辺部を可視化するための方法及び装置が知られていて、そこでは暗視情報システムにおいて、赤外スペクトル領域用のＩＲカメラに追加し、可視（即ち視覚）スペクトル領域用のＶＩＳカメラが使用される。融合装置内では、その都度、実質的に同所同時のデジタル化されたＩＲイメージとＶＩＳイメージがソフトウェア的に画素ごとに正確に重ね合わされる。この際、個々の画素ペア又は全ての画素領域は、画素情報の重み付けられた平均値形成により処理される。平均値形成の際、ＩＲ情報とＶＩＳ情報は異なって重み付けられ得て、特に、周辺部の明るさや、視覚イメージ内の色や、各々のスペクトル領域内で情報理論から導出可能な情報資源に依存してである。重み付けは全面的に又は個々の画像領域内で行なわれ得る。ＩＲ画像をＶＩＳ画像と重ね合わせることにより、運転者は、視覚的にウインドシールドを通じて検出される運転者の前方にある交通状況と、暗視情報システムによりビデオ画像を介して描写される対応的な交通状況とを、ＩＲイメージだけを用いて作動する暗視情報システムにおけるよりも互いに容易に割り当てることができる。

この周知の方法において、融合された画像内のコントラストが画像面に渡って比較的一様に調節されることは短所である。融合される画像の平均値形成時のＩＲ画像とＶＩＳ画像の調節可能な重み付けは、重み付けられていない画像に対してコントラスト化を確かに全体として改善するが、この際、１つの画像領域内の様々な詳細は同じく取り扱われてしまう。このことは、表示されたビデオ画像において所定の交通状況内で例えば車道上の人物のような大切な詳細が所望の程度では周辺部から際立たないということをもたらしてしまう。

ＤＥ１０２０７０３９Ａ１ ＤＥ１９９５５９１９Ｃ１

それ故、本発明の基礎を成す課題は、個々の画像対象の知覚可能性が向上されるように、暗視情報システムを用いた車両周辺部を可視化するための方法を改善することである。

前記の課題は、本発明に従い、請求項１の前提部と関連し、第１にビデオ画像が全域的（グローバル）に調節された予備的な重み係数で重み付けられること、第２に対象認識システムを使ってビデオ画像の対象分析が実施されること、及び第３に対象分析に基づいて重み係数の対象選択式の局所的な適合が行なわれることにより解決される。

重み係数の対象選択式の適合は、車両周辺部内の検知された対象が運転者によるより良い知覚のために最適のコントラストで描写されることを可能にし、その理由は、対象の知覚のために最大限寄与するスペクトル部分がより強く重み付けられるためである。そのために先ずは画像融合用のスペクトル部分の予備的な全面を覆う（グローバル：全域的な）重み付けが調節され、例えばＶＩＳスペクトル領域及びＩＲスペクトル領域の各々の半分の強度が調節される。その際、画像融合としては、基本的に、対応する画素ペアの強度の重み付けられた平均値形成から新たな画素を形成することとして、また強度の重み付けられた合計を用いた重ね合わせとして理解される。引き続き、重み係数の局所的な適合、及びその最終的な確定が、対象認識システムにより検知された或いは認識された対象に基づいて行なわれる。

適切な対象認識システムが原則的に使用可能である。その機能方式は例えば特許文献２及びそこに含まれている相互参照から知られている。それらは、通常、デジタル画像の自動対象分析、又はパターン認識に基づき、予め設定されている所定の対象の存在に関する情報を提供する。本発明に従う対象認識システムは、記録されている各スペクトル領域内で画像分析を実施する。その際には、検知された対象、例えば、人物、動物、障害物の認識及び区別に基づき、スペクトルの重み係数が各々の画像領域内で可視域及び赤外域のそれらの放射強度に応じて的を絞って適切に適合され得る。重み係数は、検知された対象が、各々、スペクトル領域であってこのスペクトル領域内でそれらの対象が運転者にとって融合されたビデオ画像上で最も明白に知覚可能であるスペクトル領域内で主に描写されるように調節され得る。特に人物と鳥獣は比較的大きな間隔においては視覚部分をもたないが赤外域では極めて良好に検知可能であり、この適合により更に良好に固有の車両周辺部に組み入れられ、その理由はコントラストの減少が暗い背景との融合により無くなるためである。対応的に、例えば、装着された反射器に基づき道路境界ポールのように視覚域内では著しく良好なシグネチャーを残す対象には、視覚域内でより強い重み付けが備えられる。

本発明の有利な実施形態に従い、対象認識システムを使い、検知された対象のそれらの重要性に関する対象評価が実施され、局所的な重み係数が、その対象評価に基づいて割り当てられた各々の対象の重要性に適合され、その結果、予め設定されている検知された対象が、各々、スペクトル領域であってこのスペクトル領域内ではそれらの対象が運転者にとって融合されたビデオ画像上で最も明白に知覚可能であるスペクトル領域内で主に描写される。

前記の対象評価により、局所的な重み係数における的を絞った適切な強化或いは弱化が行なわれ得る。それにより特に、所定のスペクトル部分の過剰な重み付けにより、運転者に対し、極めて重要な対象、特に危険な及び／又は危険にさらされた対象に注意が明確に換気されることが可能である。それにより暗闇時や視界の悪い場合にも自身（運転者）及び別の交通参加者に対する向上された安全性が達成され得る。過剰な重み付けは、一方では興味のある画像領域内の局所的な際立ちにより、又は対象周辺部内のスペクトル部分の減少により行なわれる。

前記の対象評価のためには、対象分類をもって作動する対象認識システムが特に適している。様々な対象クラス、例えば、人物、動物、車両、障害物などに基づき、検知された対象の重要性の特に迅速で且つ信頼性のある等級付けが行なわれ得る。

本発明の他の有利な実施形態により、画像領域であってこれらの画像領域内では重要な対象が検知されない又は対象の重要性が一義的には割り当てられ得ない画像領域は、全域的に調節された重み係数で重み付けられる。

重要な対象を伴わない又は一義的な割り当てを伴わない画像領域内の全域的な重み係数の調節により、これらの画像領域の情報も運転者にとって見られるようになることが保証される。

本発明の他の有利な実施形態に従い、隣接している重要な画像領域と重要でない画像領域との間に、異なるスペクトル領域の重み係数の比率の変更可能な特性曲線経過を使い、融合されたビデオ画像内で連続的な移行が生成される。

重要であるがゆえに特に強調された画像領域とその周辺部との間の連続的な移行により、気づかないほどにソフトな経過により、融合された各々のビデオ画像内で調和的で且つ現実的な画像印象が生成される。

本発明の他の有利な実施形態により、ビデオ画像の融合時、可視スペクトル領域からの波長を有する放射部分と、赤外スペクトル領域からの波長を有する放射部分とが考慮される。

可視スペクトル領域（ほぼ３８０ｎｍ〜７８０ｎｍ）の検知により、人間の目に対して発光する或いは照明された全ての対象が検出される。赤外領域（ほぼ７８０ｎｍ〜１ｍｍ）内では、熱放射線を放出する全ての対象が検出される。それにより、現在の交通状況を含み再現する情報量が、融合された画像内で達成される。特に、照明により検出されない、従って可視光線を反射しない人物では、ＦＩＲスペクトル領域（ほぼ２５μｍ〜１ｍｍ）内のより強い重み付けが特に効果的である。

他の有利な実施形態に従い、視覚ビデオ画像内でカラー情報が処理される。

カラー情報は、融合された画像内で所定の対象の知覚可能性を更に改善する。それにより対象選択式の重み付けの効果が援助される。運転者には、例えば、赤いブレーキランプや、交通信号灯や、信号装置に対してより明らかに注意が喚起され得て、それにより現在の交通状況が更に迅速に認識され、事故の危険性が更に減少される。

本発明の他の有利な実施形態により、検知された対象のマスキング効果及び／又は遮蔽効果が、局所的な重み係数の適合を使い、少なくとも部分的に抑制される。

局所的な重み係数により、可能なマスキング効果及び遮蔽効果が管理可能である。遮蔽領域内で的を絞って重み係数を適切に変更することにより遮蔽が多大に抑制され得る。それにより、描写された画像の解釈可能性が追加的に改善される。

特許文献１から知られている、車両周辺部を可視化するための装置は、この装置が、運転者の前方にある交通状況を様々なスペクトル領域で確かに画像的に検知するが内容的には検知しないという短所をもつ。このことは、重要な対象が運転者に対して比較的目立たないように表示されることを導いてしまう。

従って本発明の更なる課題は、重要な画像対象がより特徴をもって表示可能であるように、車両周辺部を可視化するための装置を改善することである。

前記の課題は、本発明に従い、請求項９の前提部と関連し、融合装置には対象認識システムが前接続されていて、この対象認識システムを用い、車両周辺部内にある対象がカメラシステムを介して検知可能であること、及び、制御装置が設けられていて、対象認識システムと作用接続状態にあるこの制御装置を介し、融合装置が、対象選択式の局所的なスペクトル領域重み付けについてコントロール可能であることにより解決される。

暗視情報システムであってこの暗視情報システムがカメラシステムを介して少なくとも２つの異なるスペクトル領域から画像情報を組み合わせる暗視情報システムを、対象認識システムと作用接続することにより、運転者には例えば人物のような特に大切な即ち重要な対象に注意が喚起され得て、その理由は、これらの対象が、対象選択式のスペクトル領域重み付けにより、融合されたビデオ画像内で特に強調され得るためである。融合されたビデオ画像内のコントラストが全体的に増加され、その理由は、基本的に、検知された全ての対象が、スペクトル領域であってこのスペクトル領域内でそれらの対象が最善のシグネチャーを残す即ち最も特徴のあるように現れるスペクトル領域内で描写され得るためである。

本発明の有利な実施形態に従い、カメラシステムは、可視スペクトル領域内で感知可能な少なくとも１つのセンサと、赤外スペクトル領域内で感知可能な少なくとも１つのセンサを有する。

カメラシステムが対象を可視域及び赤外域で検知し得ることにより、可視の対象も、純粋な熱放射体も、融合されたビデオ画像内で描写され得る。それにより、極めて高い知覚品質、及び、運転者の前方にある交通状況に対し、暗視情報システムの表示の簡単な割り当てが達成される。

本発明の他の有利な実施形態によりヘッドアップディスプレイが設けられていて、このヘッドアップディスプレイ上には融合されたビデオ画像が運転者に対して提供可能である。

ヘッドアップディスプレイにより、融合されたビデオ画像は、車両のウインドシールドの特に下部分に投影され得る。それにより画像が、運転者の直接的な視野内で運転者の前方の見通しを妨げることなく現れ、それにより運転者においては特に高い注意度が達成され、危険が知覚された場合には迅速な反応が成され得る。しかし当然のことであるが基本的にビデオ画像を従来のモニタ、例えばＬＣＤディスプレイ上に描写することも可能である。

本発明の他の詳細は、以下の詳しい説明及び添付の図面から見てとれ、その図面には本発明の有利な実施形態が例として具現化されている。

車両内に組み込まれた暗視情報システムから実質的に構成される車両周辺部を可視化するための装置は対象認識システム５を有する。

図１にブロックダイヤグラムとして描かれている暗視情報システム１の構造は、特許文献１から知られているシステムに基本的に対応する。

カメラシステム２内には、可視スペクトル領域内のビデオ画像を記録するための視覚カメラ（ＶＩＳカメラ）３と、赤外スペクトル領域からビデオ画像を記録するための赤外カメラ（ＩＲカメラ）４とが配設されている。これらのカメラは、有利には、対応するスペクトル領域内で感知可能なセンサを備えたデジタルカメラとして形成されている。本発明に従い、対象認識システム５が、カメラシステム２に対して後接続されている或いは融合装置９に対して前接続されている。対象認識システム５には制御装置６が付設されていて、制御装置６を介して融合装置９がコントロール可能である。それらの間には標準化装置７が中間接続されていて、標準化装置７内ではビデオ画像の像欠陥（イメージエラー）が基本的に周知の方式でソフトウェア的に排除され得る。更に指向調整装置８が設けられていて、指向調整装置８内では、デジタル画像処理を使い、同所同時に記録されたＶＩＳ画像とＩＲ画像が互いに指向調整され得て、それにより、その都度で互いに属する画像ペアが画素ごとに正確に一致される。指向調整装置８には、一致されたＶＩＳ画像とＩＲ画像を重み付けて融合するための融合装置９が後接続されている。そして融合された画像がヘッドアップディスプレイ１０上に表示可能である。

車両周辺部を可視化するための方法は、実質的に、運転者の前方にある交通状況の異なるスペクトル領域から殆ど同所同時のビデオ画像を重み付けして融合することに基づいている。

次に、図１に描かれている装置に基づいて本方法を説明する：

カメラシステム２を介し、可視放射に対して感知可能なカメラ３と、赤外放射に対して感知可能なカメラ４とを用い、殆ど同所同時で、各々、運転者の前方にある車両周辺部の記録が成される。それから得られる車両周辺部のＶＩＳデジタルイメージとＩＲデジタルイメージが対象認識システム５内で自動画像分析にふされる。検知された即ち認識された対象がそれらの重要性による対象分類において評価される。例えば人物は最も高い重要性レベルを獲得する。ビデオ画像は、引き続き、標準化装置７内で、存在するイメージエラー、例えば歪みに関して修正され、その後、指向調整装置８内で画素ごとに正確に一致される。一致されたビデオ画像は、引き続き、融合装置９内でデジタル処理される。

このデジタル画像処理により、互いに属する各画素ペアから、融合された画素が作り出される。この際、ＩＲ部分とＶＩＳ部分には重み係数が掛けられる。先ず、全面的（全域的：グローバル）に、例えば周辺部の明るさ（昼間光／薄明り／暗闇）に依存する重み付けが調節される。局所的な重み係数が、その後、対象認識システム５内で対象分析に基づいて決定される。この際、検知された対象は、これらの対象がより強く放射するスペクトル領域内でより強い重み付けを獲得する。更に、特に重要な対象は、さほど重要ではない対象よりも強い重み付けを獲得する。その後、制御装置６を介し、融合装置９が次のようにコントロールされる、即ち、検知された対象を含む局所的な画像領域が、局所的な重み係数に応じて重み付けられる、つまりスペクトル領域であってこのスペクトル領域内でこれらの対象が最善のシグネチャーを残すスペクトル領域内で実質的に描写されるようにである。例えば、照明されていない人物は主に赤外域で描写され、反射している道路境界部は、それに対し、主に可視域で描写される。更に、重要な画像領域と重要ではない画像領域の間のソフトな移行を生成するための精密調整、及び、マスキング効果の抑制が行なわれ得る。結果として、コントラストに富んだ融合されたビデオ画像が生成され、このビデオ画像上では重要な対象が特に強調されて現れる。

融合されたカラービデオ画像を発生させるために、好ましくは視覚画像がカラーＶＩＳカメラを用いて記録される。それにより画像はより現実的に現れ、検知された様々な対象が運転者にとって更に簡明的確に認識可能であり、運転者の前方にある車両周辺部に対してより容易に割り当てられ得る。

融合された画像は、カメラシステム２の記録周波数と、後接続されている装置５〜９内の処理速度とに応じ、連続的にヘッドアップディスプレイ１０上に投影され、その結果、車両周辺部内に入ってくる対象が運転者にとって直接的に見えるようになり、暗い場合や視界が悪い場合にも運転者により高い信頼性をもって知覚される。

車両周辺部を可視化するための装置のブロックダイヤグラムを示す図である。

符号の説明

１ 暗視情報システム
２ カメラシステム
３ ＶＩＳカメラ
４ ＩＲカメラ
５ 対象認識システム
６ 制御装置
７ 標準化装置
８ 指向調整装置
９ 融合装置
１０ ヘッドアップディスプレイ

Claims (10)

1. 車両周辺部を可視化するための方法、特に暗視情報システムを用いて運転者の前方にある交通状況を検出及び描写するための方法であって、異なるスペクトル領域から殆ど同所同時のビデオ画像が融合され、ビデオ画像の融合時、異なるスペクトル領域に重み係数が備えられる、前記方法において、
   第１にビデオ画像が全域的に調節された予備的な重み係数で重み付けられること、第２に対象認識システム（５）を使ってビデオ画像の対象分析が実施されること、及び第３に対象分析に基づいて重み係数の対象選択式の局所的な適合が行なわれ、重み係数は、検知された対象がより強く放射するスペクトル領域内でより強い重み付けを獲得するように決定されることを特徴とする方法。
2. 対象認識システム（５）を使い、検知された対象のそれらの重要性に関する対象評価が実施されること、及び、局所的な重み係数が、その対象評価に基づいて割り当てられた各々の対象の重要性に適合され、それにより、予め設定されている検知された対象が、各々、スペクトル領域であってこのスペクトル領域内ではそれらの対象が運転者にとって融合されたビデオ画像上で最も明白に知覚可能であるスペクトル領域内で主に描写されることを特徴とする、請求項１に記載の方法。
3. 検知された対象が対象評価のために対象クラスに配分されることを特徴とする、請求項２に記載の方法。
4. 画像領域であってこれらの画像領域内では重要な対象が検知されない又は対象の重要性が一義的には割り当てられ得ない画像領域が、全域的に調節された重み係数で重み付けられることを特徴とする、請求項１〜３のいずれか一項に記載の方法。
5. 隣接している重要な画像領域と重要でない画像領域との間に、異なるスペクトル領域の重み係数の比率の変更可能な特性曲線経過を使い、融合されたビデオ画像内で連続的な移行が生成されることを特徴とする、請求項１〜４のいずれか一項に記載の方法。
6. ビデオ画像の融合時、可視スペクトル領域からの波長を有する放射部分と、赤外スペクトル領域からの波長を有する放射部分とが考慮されることを特徴とする、請求項１〜５のいずれか一項に記載の方法。
7. 視覚ビデオ画像内でカラー情報が処理されることを特徴とする、請求項１〜６のいずれか一項に記載の方法。
8. 車両周辺部を可視化するための装置、特に暗視情報システムを用いて運転者の前方にある交通状況を検出及び描写するための装置であって、カメラシステムを用い、異なるスペクトル領域から殆ど同所同時のビデオ画像が記録可能であり、ビデオ画像が、融合装置を用い、重み付けられて融合可能である、前記装置において、
   融合装置（９）には対象認識システム（５）が前接続されていて、この対象認識システム（５）を用い、車両周辺部内にある対象がカメラシステム（２）を介して検知可能であること、及び、制御装置（６）が設けられていて、対象認識システム（５）と作用接続状態にあるこの制御装置（６）を介し、融合装置（９）が、対象選択式の局所的なスペクトル領域重み付けについてコントロール可能であり、検知された対象は、これらの対象がより強く放射するスペクトル領域内でより強い重み付けを獲得することを特徴とする装置。
9. カメラシステム（２）が、可視スペクトル領域内で感知可能な少なくとも１つのセンサと、赤外スペクトル領域内で感知可能な少なくとも１つのセンサを有することを特徴とする、請求項８に記載の装置。
10. ヘッドアップディスプレイ（１０）が設けられていて、このヘッドアップディスプレイ（１０）上には融合されたビデオ画像が運転者に対して提供可能であることを特徴とする、請求項８又は９に記載の装置。

Images