JP5404932B2 - 交通状況のビデオデータと間隔データを組み合わせて視覚的に表示するための方法および装置 - Google Patents

Description

従来技術
車両運転者をサポートするために、間隔センサを車両の外側に取り付け、そのようにして得られた間隔情報を、音響的にまたは視覚的に車内の運転者に表示することが知られている。同様に、ビデオカメラを用いて、車両がより良好に見えることを運転者に保証することも知られている。運転者をサポートするこのようなカメラは例えば、後方に向けて配向されている。これによって、バックミラーを介した不十分な視界が改善される。または、このようなカメラは車両の前方部分に取り付けられ、前方に向けて配向されている。これによって例えば夜間走行時に、フロントガラスを通じて得られる表示が改善される。カメラが運転者をサポートする別の公知の手法は、カメラ画像に基づいて、交通標識および殊に車線の経過を識別、または運転者に示す、またはエラーの可能性を示唆するシステムである。

さらに、センサに基づく間隔識別メカニズム（例えば超音波装置またはレーダー装置）を画像データと組み合わせることが知られている。さらに、形状識別によってビデオ画像内で検出された重要な対象物を強調するために、人工的な物体を備えたこの形状を用いて、強調することが知られている。さらにこのような人工的な物体、例えば矢印またはフレームは、画像内に挿入される。さらに、センサによって検出された間隔情報を同様に画像内に挿入することが知られている。これは例えば、数値または、間隔バー等の別の人工的な物体として挿入される。例えば文献ＤＥ１０２４１４６４Ａ１号はシステムを示しており、このシステムでは、例えば図示された画像の他に表示領域が設定されている。この表示領域は、センサ検出から得られた示唆を示す。この文献に示されている別の手法は、それぞれ人工的な物体として画像内に挿入される補助線または間隔マーキングである。

このように組み合わせられたシステムは、ビデオ検出された周囲の別の画像領域を覆ってしまう、ないしは別の特徴から気を逸らす。なぜなら、カメラピクチャーデータ上に被せられた人工的な物体は、観察時に目立つ、ないしはその下にある画像情報を覆ってしまうからである。ビデオに基づいたシステムの欠点は、さらに、運転者の全注意力を必要とする、ということである。これは、画像が、大きさおよび距離を見積もるのに不十分な特徴しか有しておらず、ビデオ画像内の画像情報から気がそがれる状況において顕著になる。距離領域の挿入も、運転者の気を元来表示されている周囲から逸らす。なぜなら２つの異なるクラスの情報（図的に簡易化された人工的な物体および周辺のビデオ画像表示）が、運転者に同時に示されるからである。場合によっては、付加的に処理されるべき音響的な警告によって、運転者の気が実際の画像情報から逸らされ、付加的な物体ないしはセンサ情報に頼らなければならなくなる、という問題がより深刻になる。

従って本発明の課題は、ビデオデータとセンサ間隔データとを組み合わせた表示を提供することであり、ここではこの間隔データが、運転者による実際の画像データの把握を妨害することはない。

本発明の開示
上述の課題は、添付された独立請求項によって解決される。

本発明の基となるコンセプトは、ビデオデータの部分が付加的な物体によって覆われない、または付加的な物体が強調されるのではなく、間隔データを、画像データ強調の実際のサポートのために使用する、ということである。ここでこの画像情報は、完全に保持される。これは本発明では、幾何学的な変換、すなわち歪みによる画像データの強調によって実現される。このようにして、画像データがぼかされなくなる；殊に、実際のカメラ画像の把握を妨害するであろう付加的な物体が相応する画像領域上またはその近傍に挿入されることはない。

これによって、画像内容をより直観的に把握することが可能になる。なぜなら殊に、付加的な人工的な物体が、カメラピクチャーデータ上に重畳されないからである。本発明では、カメラ画像内容は幾何学形状的に整合される。ここでこの整合は、幾何学的な変換によって行われる。このような変換の強さは、センサに基づく間隔データに依存する。本発明の幾何学形状的な整合では、カメラピクチャーデータはその割合、その画像サイズまたは配向のみにおいて変化されているが、カメラピクチャーデータが完全に得られ続ける。殊に画像データは覆われず、また物体が次のように加えられることはない。すなわち、観察者の気が元来の実際の画像から逸らされる、または画像特徴の識別が覆い隠しによって阻止されてしまうように加えられることはない。

従って本発明では、車両が存在する交通状況のビデオデータと間隔データとを組み合わせて視覚的に表示する方法が提示される。このビデオデータと間隔データは、車両から検出されたデータであり、殊に、ビデオデータを検出するためのカメラと、間隔データを検出するためのセンサとが車両に、または車両内に取り付けられている。このビデオカメラは乗員室内に、または乗員室外に設けられ、車両に設けられている点または車両内に設けられている点での見通しからの画像データを示す。センサは有利には車両外側に配置されており、従って、これによって設定されたセンサデータは、車両外側に対して相対的な間隔を確認する。センサは超音波またはレーダーないしはマイクロ波送／受信機との組み合わせとして使用される、または個々のセンサまたは有利にはセンサアレイとして使用される。このセンサアレイは例えば、１つまたは２つのバンパーに沿って延在している、または車両側面に沿って延在している。間隔データは例えば、送出された超音波信号またはレーダー信号等の伝播時間測定によって得られる。交通状況は、車両近傍に位置する対象物、例えば別の車両によって形成される。これは、センサおよびビデオによって検出される。車両の他に、停止している対象物、例えばポールまたは別の交通措置、または建物壁部も考えられる。本発明の方法は、さらに、車両周辺部分のカメラピクチャーデータを記録するステップを含む。ここでは車両の見通し、例えば乗客室内の１つの点から出発して、フロントガラスまたは車両後方終端部でも、例えばビデオデータまたは時間的に順次連続している静止画像データとして画像データが検出される。ここではこの周辺部分は、カメラの検出角度に相応する。ここで交通状況が、周辺部分内で示されているように、カメラによって、カメラの検出角度に従って撮影される。さらに同時に、または少なくとも、カメラピクチャーデータ撮影の時間的に後に、距離データが検出される。この距離データは少なくとも、車両と、周辺部分内の対象物との間の間隔をあらわす。有利には、周辺部分内に存在している各対象物に対して間隔が検出される。周辺部分が、間隔センサによって検出されない下方部分または箇所を有している場合には、車両と、センサの有効距離内の少なくとも１つの対象物との間の間隔があらわされる。ここで、センサの有効距離によって表される領域は、周辺部分とオーバーラップする。従って、対象物の距離データが検出される。これは、距離データを検出する間隔センサ装置の有効距離内に位置していても、カメラ画像によってあらわされる周辺部分内に位置していてもよい。カメラピクチャーデータの周辺部分内に位置しているが、間隔測定を行うセンサの有効距離外にある対象物は、この場合には、この対象物には、少なくとも間隔センサの有効距離と同じ大きさの間隔が割り当てられる。従って、距離データの検出は、センサ検出外の対象物も考慮することができる。しかしこれは、カメラピクチャーデータ内ないしはカメラによって検出される周辺部分内に位置する。

本発明では、カメラピクチャーデータの少なくとも１つの画像部分が、少なくとも１つの検出された間隔に依存して歪められる。この依存性は、間隔に対する歪みの強さの関数によって表される。間隔を歪み強度にマッピングする関数は有利には、単調に下降する関数である。これによって、間隔が大きい場合には、間隔が小さい場合に比べて歪みが弱められる。これは殊に、歪みが拡大（拡大ファクタ＞１）として設定されている場合である。歪みとして縮小が選択されている場合には（画像サイズ乗算ファクタ＜１）、この依存性は、単調に上昇する関数として示される。これによって、画像部分は、間隔が大きい場合には、間隔が小さい場合よりも強く縮小される（すなわち歪められる）。歪み操作としての縮小および拡大は、符号を除いて、相互に対応するので、さらに、特に垂直方向または水平方向またはこれら２つの方向において伸長が観察される。

有利な実施形態ではこの歪みは、歪み操作、例えばシフト、伸長、圧縮、回転またはこれらの任意の組み合わせを含む。ここでは圧縮操作が、符号を除いて、伸長操作に相応することに留意されたい。これらの操作は、歪められていないと見なされる、受信されたカメラ画像に基づく変換に関する。上述した歪み操作の他に、別の歪み操作、またはより複雑な歪み操作を行うことも可能である。これは例えば、相応する画像部分の中心の面積が変換後に、縁部部分と比べて増す変換である。歪み操作（ないしはそれらの組み合わせ）は、カメラによって撮影された周辺部分全体に相応する画像部分上で使用される、またはカメラピクチャーデータをあらわす画像部分である画像部分上で使用される。従って画像部分は、カメラによって撮影された画像全体に相応するか、または部分区間に相応する。しかしここで歪み操作が、カメラピクチャーデータ全体の各部分区間に相応する複数の画像部分に関連してもよい。複数の画像部分が設定されている場合には、これらの画像部分は有利には相互に直接的に接して接続しているか、または部分的にのみ重畳しており、全体として、カメラピクチャーデータによってあらわされる画像全体を満たす。歪み操作は、単調に下降する関数に従って、間隔に依存する強さで実施される。これは、殊にシフト、伸長または回転に関する。これによって、間隔が小さい場合には、歪み操作が、間隔が大きい場合よりも大きい強さで実行される。択一的に、単調に上昇する関数も使用される。ここでもこれは殊に、圧縮歪み操作に関する。これによって、遠く離れて位置している画像部分が、より小さい間隔を有している画像部分よりも、より強く圧縮される（すなわちより縮小される）。伸長歪み操作の場合にはこの強さは拡大ファクタ（＞１）に相当し、回転歪み操作の場合にはこの強さは（元の画像に対する）回転角度に相当し、シフト歪み操作の場合にはこの強さは、元の画像に対する（かつ別の、歪みのより小さい画像部分にも対する）シフト距離に相応する。圧縮歪み操作の場合にはこの強度は、幅対長さ比またはその逆数に相応する。別の歪み操作は、拡大、縮小および一般的なスケーリングである。ここで、歪み操作が縮小に相応する場合には、関数は単調に上昇する関数である。画像部分が複数の場合には、これらは有利には、場合によっては異なる強さではあるが、同じ歪み操作を受ける。択一的に、縁部領域に対して、カメラピクチャーデータの画像の中央部分とは異なる歪み操作が選択される。

本発明の別の実施形態では、間隔データがそれぞれ、周辺部分の複数の異なる領域に対して検出される。これは車両部分に並べられている（例えば相互に等間隔で水平方向に、車両外側、殊にリアバンパーに並べられている）複数の距離センサないしは間隔センサによって行われる。これらの領域は、個々のセンサの各センサ領域に相応する。これらは、センサの有効距離および受信特性によって定められる。周辺部分の個々の異なる領域は有利には部分的にオーバーラップしており、有利には周辺部分の幅全体にわたって互いに接して延在している。同様にこの場合には、カメラピクチャーデータが複数の異なる画像部分に分けられる。従って、少なくとも１つの画像部分は複数の異なる画像部分を含んでいる。これらは少なくとも部分的にオーバーラップしており、全体として、カメラ画像全体を包括し、有利には直接的に互いに接して並んでいる。殊に、これら複数の画像部分は垂直なストリップであり得る。これらは直接的に互いに接しており、カメラによって検出された画像全体をカバーしている。歪めるステップは、間隔データに即して、複数の画像部分のうちの少なくとも１つの画像部分を歪めることを含んでいる。これらの間隔データは、周辺部分の領域内に位置する対象物に関係する。これはこの画像部分に実質的に相応する、またはこの画像部分と大部分でオーバーラップしている。有利には、画像部分の全てまたは少なくとも幾つかが、それぞれ、個々の画像部分に適している強さに従って歪まされる。個々の画像部分に対して検出された間隔が、適切な強さとして考えられる。個々の画像部分および、センサの受信特性によって予め定められている、周辺部分の属する領域は、必ずしも同じでなくてはならないわけではなく、少なくとも部分的にオーバーラップしていてもよい。殊に、センサによって監視されている周辺部分は完全に（または部分的にのみでも）、属する画像部分内に位置する。しかし、これを完全に満たすことはない。複数のセンサが使用されている場合には、基本的には、センサと属する個々の画像部分との間で対応関係があるのが望ましい。センサの受信特性と、カメラ画像の属する部分との間の１００％の対応は必ずしも必要ではない。

殊に、上述した実施形態と組み合わせ可能である別の実施形態では、周辺部分の少なくとも２つの異なる領域（これらの領域は、個々のセンサの有効距離および調整特性から生じる）に対して、（それぞれ属するセンサによって）それぞれ属する間隔データが検出される。同様に、これに対して、複数の画像部分の少なくとも２つの画像部分が検出される。これらはそれぞれ、各画像部分内に位置している少なくとも１つの対象物に対する間隔データに応じて検出される。これらの少なくとも２つまたは複数の画像部分はそれぞれ、相応する画像部分内ないしは周辺部分の領域内に位置する少なくとも１つの対象物に対する属する間隔データに応じて歪まされる。殊に、複数の画像部分の少なくとも２つの画像部分が、少なくとも１つの対象物に対する間隔データに応じて歪まされる。この対象物は、周辺部分の各領域内に位置しており、ここで、この領域は相応する画像部分に割り当てられており、実質的にこの画像部分に相応する、またはこの画像部分と大部分オーバーラップしている。

別の実施形態では、周辺部分は、互いに接してつながっている複数の画像部分に、カメラピクチャーデータの水平線に沿って区分されている。有利にはこれらの画像部分は直接的に互いに接してつながっている、または僅かにだけオーバーラップしている。カメラピクチャーデータの水平線としては、車両の基底へ向けたカメラの配向によって、ないしは車両の位置自体から生じる水平線が挙げられる。水平線としては例えば、重力方向に対して垂直な面内の直線、またはその中に、車両が基底と接する車両位置が存在する面内の直線が挙げられる。各画像部分は、割り当てられている各距離データに応じて歪められる。歪んだ、隣接する画像部分は、個々の間隔に応じて設定された、自身の歪みに応じてあらわされる。歪んだ、隣接する画像部分は、互いに適応調整されない、または、これらの歪んだ、隣接する画像部分の歪みは、画像部分の少なくとも縁部領域で、隣接する画像部分に対して適応調整される。ここで画像部分のインタフェース領域（垂直）では、２つの隣接する画像部分の間の移行部で連続して延在する強さの歪みが設定される。これによって、隣接する画像部分の縁部部分が、歪みの強さにおいて相互に整合され、隣接する画像部分の突発的な歪み変化が回避される。このようにして設定された、２つの隣接する画像部分間の異なる歪み強度の調整は、例えば線形に行われる。ここで、この縁部部分では、歪み強度は、隣接する画像部分への近さが増すにつれて、隣接する画像部分の歪みに近似する。適応調整のための線形補間方法の他に、より複雑な、多項式の整合または複数のマッピングポイントも使用可能である。

カメラピクチャーデータ自体の歪みの他に、色情報も変えられる。ここでは、次のような方法が設定される。すなわち、カメラピクチャーデータの少なくとも１つの画像部分の色情報を、少なくとも１つの間隔に依存して変える方法である。ここでは、間隔が減少するとともに、色情報は、元来の色情報に対してますます変化する。この変化は、所定の色変化に基づいている。ここではまず、検出された間隔が大きく、変化が小さい場合には、実質的に元来の色調が示され、間隔が減るとともに、色情報はまずはより多くの黄色割合および赤色割合を得る。殊に、検出された間隔が減るとともに、赤色割合が高められる。従って間隔への色情報のこの依存は、上述したような歪み強度に相応する。検出された間隔が低減するとともに、変化が大きくなる（相応に、歪みの強度が大きくなる）。ここで、間隔が大きい場合（歪みが小さい場合）の変化は、撮影された画像の元来の色情報に相応し、歪み度合が増すとともに（すなわち間隔が低減するとともに）、色情報はますます変えられる。これは有利にはさらなる強調、ないしは暖色色調、例えば黄色、および付加的に強くされる強調の場合には赤色色調がますます強くなることによって行われる。色情報の変化は、画像部分に関し、有利には複数の画像部分の１つの画像部分、例えば画像部分の下方部分に関する。ここでこの下方部分は対象物をあらわしており、この対象物に、間隔が関係している。殊に、対象物の周辺、対象物自体または周辺を含めた対象物は画像内で、本発明の方法に従って変えられる。周辺としてはここで、縁部ストリップが挙げられる。これは対象物を、間接的または直接的に包囲しており、例えば、一定の幅を有している。従って、択一的に対象物領域自体が、本発明と相応に、自身の色情報において、検出された属する間隔に依存して変えられる。

本発明の特に有利な実施形態では、歪みが設定され、これは、画像部分内で検出された対象物の間隔が低減するとともに画像部分を、垂直方向のみで、または水平方向のみで、または両方の方向で、拡大することによって行われる（例えば、等しいまたは異なる歪みファクターを用いて水平方向ないしは垂直方向で拡大する）。択一的に、またはこれと組み合わせて、画像部分が縮小されてもよい。これは、この画像部分内に対象物が検出されなかった場合である。または、対象物の間隔が増すとともに、画像部分の縮小が増すように設定される。ここでこの対象物は、画像部分内で検出されたものである。この縮小は、カメラピクチャーデータの垂直方向のみで、または水平方向のみで、または両方の方向で行われる。水平方向および垂直方向での縮小が行われる場合には、２つの方向に対する縮小ファクタが異なることがある。

別の有利な実施形態では、カメラピクチャーデータないしは少なくとも１つの画像部分の歪みは、設定を含んでいる。すなわち、カメラピクチャーデータの画像下方エッジと、視覚表示の最も下方のエッジとの間に下方縁部分が加えられる。視覚表示はカメラピクチャーデータと、カメラピクチャーデータの下に位置する下方縁部分とをあらわす。従って、元来のカメラピクチャーデータも、付加的な縁部分もあらわす画像（視覚表示）が得られるように元来のカメラピクチャーデータが歪められる。ここでこのカメラピクチャーデータは例えば縮小され、付加的な縁部分に対する場所が得られる。この縮小は、殊に、圧縮として行われる。

視覚表示（出力画像）内に付与された下方縁部分は、高さを有している。この高さは、対象物に対して検出された間隔に従って高くなる。この対象物は、縁部分より上に示されている画像部分内に位置している。従って、この画像部内で、縁部上に、それに対して大きい間隔が検出された対象物が示されている場合には、縁部により大きい高さが設けられる。小さい間隔が求められた対象物を備えた画像部分の場合には、下方縁部分に、より小さい高さが設けられる。これは殊に、本願に記載されている実施形態と組み合わせ可能であり、ここでは複数の画像部分が相互に隣接して示されている。これらは異なったセンサ、ひいては異なった間隔に割り当てられている。種々異なる画像部分に対して異なる間隔が検出されている場合には、縁部は、全ての画像部分に対して、同じ高さを有しておらず、（高さによって定められる）その経過において、相応する縁部部分上に位置する個々の画像部分に対して検出された個々の間隔に従う。縁部内では、有利にはカメラピクチャーデータは、カメラピクチャーデータのイメージとして示されない。場合によっては、付加情報が縁部内に示される。上述の実施形態との組み合わせとして、この縁部に色情報を設けることができる。これは、対象物の接近をあらわす。ここで対象物が接近する（間隔が低減する）と、相応する縁部部分の相応する色調は、検出された間隔が大きい場合に比べて、より多くの黄色の色調ないしは赤色の色調（または別の暖色の色調）を含む。

従って、歪めることは殊に、カメラピクチャーデータの画像下方エッジと視覚表示の最下エッジとの間の下方縁部分を歪めることを含む（これらは共同で画像全体を設定する）。ここで、この表示はカメラピクチャーデータと、カメラピクチャーデータの下方に位置する下方縁部分とをあらわす。ここでこの下方縁部分は、色を有する（縁部分全体またはその個々の部分であり、これらは相応する画像部分の下方に設定されている）。この色は、所定の経過に即して、間隔とともに変化する。この間隔は、縁部上に表示された画像部分内で検出された対象物に対する間隔である。下方縁部分はこの色をあらわす。殊に下方縁部分は、カメラピクチャーデータのイメージの形状のカメラピクチャーデータを表さない。このカメラピクチャーデータから導出されたデータは、視覚的または数値的な情報として縁部内に設定される。しかしここで有利にはカメラの画像データ自体はこの下方縁部分内に設けられない。

本発明の基となるコンセプトはさらに、本発明の方法を実行する、ビデオデータと間隔データとを組み合わせて視覚的に表示する装置によって実現される。この装置は、カメラピクチャーデータを入力し、このカメラピクチャーデータを画像操作ユニットへ伝送するする画像入力側を含んでいる。ここでこの画像操作ユニットは、装置の一部として設けられている。このために画像入力側は、画像操作ユニットと接続されている。さらに、この装置は、間隔情報を入力するための間隔入力側を有している。画像入力側に、車両カメラが接続されている間は、間隔入力側に、間隔センサと接続されており、間隔データを求める装置が接続されている。択一的にこの間隔入力側は直接的に、センサと接続されている。このような場合には、この装置が、個々の間隔の算出を行う。両方の場合において、間隔入力側は、間隔情報を入力するために設けられている。ここでこの間隔情報は検出された間隔をあらわす。画像操作ユニットは、間隔入力側と接続されており、これによって、間隔情報を得る。この装置はさらに出力側を有している。これは画像操作ユニットと接続されており、画像表示データを出力するために設けられている。この画像表示データは、歪んだ画像部分をあらわす。これは、画像操作ユニットによって設定された歪みステップの結果である。殊に、画像操作ユニットは、画像入力側に加えられたカメラピクチャーデータで歪みステップを実行するように構成されている。画像操作ユニットは、従って本発明に相応の、画像データの幾何学的な変換を行うように構成されており、殊に、少なくとも１つの上述した歪み操作を行うように構成されている。ここで、間隔入力側に加えられた間隔情報に依存して画像操作ユニットによって歪みが行われる。有利には画像操作ユニットは、カメラピクチャーデータを画像部分ごとに歪めるように構成されている。ここで各画像部分は、割り当てられた間隔情報を有している。この間隔情報は、歪み度合いを、各画像部分に対して個別に設定する。このために画像操作ユニットは区分装置を有しており、これによって、カメラピクチャーデータの全体画像情報から、個々の画像部分が設定され、これらの画像部分はそれぞれ、個々に、個別の間隔情報に応じて歪まされる。間隔情報は従って、ベクトルの意図で設けられる。ここで各ベクトルエントリーは、個々の間隔センサ明確に割り当てられている。

最後に、本発明の装置は、歪んだ、少なくとも１つの画像部分を、出力側に出力するように構成されている。殊に、この装置は、複数の画像部分を使用する場合に、合成された画像を、出力側に出力するように構成されている。殊に、全ての画像部分のつながっている視覚表示の画像データを出力する。これは場合によっては、本発明によって画像に付与される縁部を含む。幾何学的な変換と組み合わせて、または幾何学的な変換の代わりに、装置、殊に、画像操作ユニットが設けられ、これはカメラピクチャーデータの色情報を、上述のように、間隔情報に応じて変える。

別の実施形態では、この装置はさらに、スクリーンの形状の表示ユニットを含んでいる。本発明の装置の実現はソフトウェアによって行われる。これは少なくとも幾つかの機能を実現し、プロセッサとともに、この装置並びに方法を実行する。本発明の別の形態はプログラミング可能、またはプログラミング不可能な回路を含んでいる。これは、センサのエコーデータから間隔情報を計算する。プロセッサ装置による実現の場合には、これは、車両の別の機能を実行するためにも用いられる。画像操作は実質的に、歪みまたは色情報の変化に基づいているので、通常のプロセッサが、４０ＭＨｚを下回るクロック周波数を伴う、４００×３００ピクセルの画像解像度の場合に使用可能である。なぜなら本発明の装置は、２２−３６ＭＨｚのクロック周波数に相応する通常のプロセッサの計算能力を要求するからである。従って、本発明の装置は、既に車両内に設けられているメディア制御機器によって設定される（例えばナビゲーションシステム、中央ディスプレイ）。これらは８０ＭＨｚ〜２００ＭＨｚのクロック周波数で作動し、本発明の機能を収容するのに十分な計算能力を提供する。実現は、プログラミング可能な回路、例えばＡＳＩＣまたはＦＰＧＡによって設定され、殊に、ビデオアプリケーションに対して特別な１つまたは複数プロセッサによって設定される。これは駐車補助システムの実現時に使用される。

本発明による方法を説明するシナリオ 撮影によるカメラピクチャーデータの例 歪み後のカメラピクチャーデータの例 歪み経過の例 歪み経過に属する距離データの例

図１に示されたシナリオは、車両２内の本発明の装置１を示している。この車両には、多数のセンサ３ａ’、３ｅが配置されている。さらに、カメラ４が車両２に配置されている。カメラ４は、周辺部分を撮影する。この周辺部分は、カメラ４の撮影角度５によって定められる。周辺部分５は画像全体を形成する、ないしはカメラの画像部分を形成する。同様にセンサは、周辺部分の複数の異なる領域６ａ’、６ｅを検出する。ここで各センサ３ａ’、３ｅには１つの領域６ａ’、６ｅが割り当てられている。図１に示された種々の領域６ａ’、６ｅは、簡易表示であるので、個々の線によって分けられている。しかし実現時には、これらの個々の異なる領域は部分的に、隣接する縁部で重なっている。ここで重畳時には、重なっている領域に対して、相応する間隔データの補間が行われる。

周辺部分内にはさらに、対象物７、８、例えば柱、並びに、例えば木の形状の別の対象物１２、１２’が存在する。対象物７、８は、センサ３ａ’、３ｅによって検出される周辺部分の領域内に存在している。対象物１２、１２’は、センサの有効距離外に位置している。しかしこれらは、カメラによって検出される周辺部分内には配置されている。

センサ３ａ’、３ｅによって検出される周辺部分の個々の領域は、それぞれ開放角度を有している。これは例えば、センサ３ｃの場合には、参照番号１１によって示されている。領域６ｃも規定しているこの開放角度内に対象物８が存在している。対象物８は間隔ｄ１で車両１０から離れており、対象物７は間隔ｄ２で車両１０から離れている。さらに、センサによって、対象物８が属するセンサ３ｃの領域６ｃ内に存在しており、対象物７が属するセンサ３ｅの領域６ｅ内に存在していることが検出される。車両２内には、さらに、スクリーン９が配置されている。このスクリーン上には、本発明によって形成されたビデオ画像１０が示される。図１で示されている画像は単なる例であり、より詳細な説明が図２ａおよび図２ｂにされている。

図１に示されているように、間隔情報ｄ１、ｄ２は有利には方向情報または場所情報と組み合わせされる。これによって対象物７、８の存在箇所が確定され、これらが周辺部分６の領域６ａ、６ｃに割り当てられる。場所ないし角度は、例えば、有利には装置１の三辺測量によって検出される。図１からさらに、検出領域とも称される周辺部分６が、その全体において、所定の開放角度１１を有する複数の方向ゾーンに区分されていることが読み取れる。これによって、センサによって検出された対象物７、８と属する画像部分ないしはカメラがピクチャーデータの対象物部分との間の割り当てが行われる。さらに図１から、本発明が、対象物７、８、１２、１２’の適切なサポートされた表示に用いられることが読み取れる。これらの対象物は、超音波センサ３ａ’、３ｅの検出領域６内に位置しており、同時にカメラ４によって検出される（例えば対象物７、８）か、または、検出領域６外の対象物を含んでいる。この対象物はカメラ４によってのみ検出され、センサ３ａ’、３ｅによっては把握されない。対象物が検出領域外にある場合、すなわちセンサ３ａ’、３ｅによって検出可能な、周辺部分の種々の領域６ａ’、６ｅ外にある場合には、この対象物に対して、部分情報は存在しない。これは、本発明と相応して画像データと組み合わせられる。カメラ４の画像データは、装置１に伝送される。装置はこのデータを幾何学的に操作し、ディスプレイ９に示す。ここで、対象物が存在しているはずであることがセンサによって検出される少なくとも１つの領域では、相応する部分情報が検出され、本発明の歪みが実行される。

図２ａには、図１に示された交通状況が示されている。これはカメラ４によって検出されたものである。換言すれば、図２ａはカメラピクチャーデータを示している。これは車両からの周辺部分から撮影されたものである。対象物１２、１２’は、上述したように、センサ３ａ’、３ｅの有効距離外に位置し、従って、間隔データが求められる種々の領域内には存在しない。図２ａに示された破線は、有効距離によって規定された、種々の領域の終端部を示している。ここから間隔データが検出される。領域６ａ’、６ｆは、左側から右側へと、相互に連続する角度部分に区分けされている。従って、対象物１２、１２’は、カメラによって検出されるが、属する領域６ｂ、６ｄ／６ｅは、センサの有効距離が制限されているので、対象物１２、１２’の位置外にある。しかし対象物７、８は、破線によって示されたセンサの有効距離内にある。従ってこれらの対象物は、種々の領域６ｃ、６ｆ内にある。この領域に対して、間隔データが対象物７、８に関して作成される。従って領域６ｃおよび６ｅに対しては、対象物７、８に対する最終情報が存在する。ここでこれらの対象物７、８は同様にカメラピクチャーデータ内に存在する。図２ａから、領域６ｅ内における対象物７が、対象物６よりも確実に車両の近くに位置していることが読み取れる。

結果として生じた、本発明によって歪められた表示が図２ｂに示されている。間隔データが検出される領域外に位置する対象物１２、１２’に対しては実質的に歪みが存在していないことが見て取れる。少なくとも、図２ｂに示されている歪みは、対象物１２、１２’へと続く一列線内には実質的に存在していない。しかし対象物７、８に対しては、間隔データが検出されている。これは歪みを生じさせ、Ｄ１およびＤ２によってあらわされている。示された歪みによって、すなわち対象物７、８が存在している垂直な画像ストリップの垂直な圧縮によって、これらは下方画像縁部分の方へとシフトされる。このようにして現にある印象が観察者に与えられる。間隔Ｄ１およびＤ２は、下方画像エッジへの残っている近さを示している。殊に経過１３は、対象物７、８の間隔に依存した圧縮を示しており、これによって、これらの対象物は、下方画像縁部分のより近くに移される。対象物７の間隔が小さいので、周辺部分において、対象物７の画像部分は格段に近くで、下方画像縁部分へと歪まされていることが見て取れる（対象物７での曲線１３の経過を参照されたい）。同様に対象物８が下方画像エッジの方へ、歪みによってシフトされていることが見て取れる。しかしこのシフトは、対象物７に比べて僅かである。しかし対象物７、８は、対象物１２、１２’と比較すると格段に近傍に、下方画像縁部分の方へと歪まされている。対象物１２、１２’は下方画像縁部分の方へほぼ歪まされていない、ないしはシフトされていない。

殊に、図２ｂには、線１３の下方に縁部分が設けられていることが示されている。ここでこの線１３は、圧縮度合いを示している。検出されたカメラ画像の下方画像エッジを示している、線１３の下方の縁部分は、このようにして表示される画像内に挿入される。この表示される画像は一方では、歪められた画像部分を示しており（線１３の上方）、さらに下方縁部分を示している（線１３の下方）。ここで縁部分の高さは、車両に対して短い間隔で配置されている対象物７、８がその上に示されている、縁部分の領域に対しては低減される。間隔Ｄ１、Ｄ２は、近くに配置された対象物７、８を有している、相応する画像部分の下方の縁部分の領域に対する縁部分の強い先細りを示している。

図３ａは、図２ｂに示された歪んだ画像再現を明確にするために用いられており、殊に、表示されるべき、歪んだ画像の画像構成を示している。図３は、歪んだ格子網に基づいて、カメラピクチャーデータを再現するための領域を示している。ここでこの格子網は、元来検出されたカメラ画像に対する歪みを表している。座標ｘ、ｙを有する点は、一方では、下方縁部分を挿入することによって上方へシフトされ、他方では、属する間隔に応じて、付加的にスケーリングによってシフトされる。縁部を含む、検出された、本発明に相応して歪まされたカメラ画像に対しては、高さＨが生じる。図３ａに示された歪みは、垂直な歪みである；図３ａに示された画像は、水平な歪みを設定していない方法の結果である。本発明では、Ｘ軸部分に対してセンサによって間隔が検出され、ここから歪みが計算される。この歪みによって、相応する部分の伸長が生じる。従って、下方画像終端部に対する間隔が間隔Ｄｉに低減される。表示が歪まされていない場合には、高さＤ_ｏを有する縁部が設定される。しかしこれは、検出された間隔に応じて低減される。換言すれば、図３ａにおける、Ｄ_ｏを有する箇所で、ファクタ１（または別の定数）で、垂直圧縮（すなわち、圧縮ないしは圧縮基本ファクタを備えた圧縮は行われない）によって歪みが行われる。これに対して、対象物が小さい間隔で検出された箇所ｘｉで、より大きいファクタで伸長が行われる。すなわち１よりも大きい値または定数Ｋよりも大きい値によって伸長が行われる。Ｋは殊に１／２であり、従って、半分の画像高さまでの圧縮に相応する。図３ａの最も右側の画像縁部では、次のことが読み取れる。すなわち、ここでは車両に対して短い間隔で検出された対象物が示されており、従って相応するこの画像部分が強く、下方へ伸長されている、ということが読み取れる。同様に、箇所Ｄｉと比較することによって、伸長が最も右側の画像縁部で、箇所ｄｉでの伸長よりも、大きい強さで行われているということが識別される。図３ａで設定されている伸長は、上方の画像縁部から生じており、検出された間隔に応じて、図示されている画像部分を下方へ歪める。

図３ｂは、種々の画像部分に属する、検出された間隔を示している。これらは、ｘ軸に沿って記載されている。間隔は、検出された間隔ｄとして示されており、センサの最大有効距離は、ｄ_ｍａｘによって示されている。検出された間隔ｄ_ｉは、周辺部分の領域１１に相応する。この領域に対して間隔データが検出された。さらに、別の領域が示されている。これらに対しては、この部分において検出された全ての対象物の（最小）間隔が示されている。複数の対象物が同じ領域内で検出される場合には、最も短い間隔が、この領域の間隔とみなされる。

本発明の別の形態では、歪み操作として伸長が行われずに、水平な圧縮が行われる。この実施形態は同様に、図３ａに基づいて示される。しかしこの場合には、格子網は多かれ少なかれ、カメラの強く圧縮された画像部分を表している。これは周辺部分を再現している。高さＨに対してレイアウトされているカメラピクチャーデータから出発して、画像データはまずは半分だけ垂直に圧縮される。しかしこの圧縮は、検出された間隔に応じて低減される。ここでこの圧縮の低減は、間隔が低減するとともに上昇する。圧縮ファクタは例えば、（例えば垂直方向における）基本圧縮を設定する一定のファクタおよび可変の、検出された間隔に依存する値から生じる。この値は、例えば最大有効距離を示す定数に基づいて計算される。ここから、画像部分に対して検出された目下の間隔が減算される。この差は最大有効距離によって除算され、次に修正ファクタと乗算される。修正ファクタは、例えば、次のように設定される。すなわち、検出された間隔が実質的に０である場合に、１の総計が生じるように設定される。殊に、この一定の基本ファクタが１．５であり、乗算されるべきファクタは同じように１．５であり得る。従って、対象物の間隔が実質的に０である場合には、圧縮強度に応じて、画像は、第１の画像半部にわたってのみ延在する（有効距離よりも大きい間隔が検出された場合）か、または画像高さＨ全体にわたって延在する。

画像点の補間は、有利には次のように設定される。すなわち、検出されたカメラピクチャーデータの出力画像点が例えば、その類似性ファクタにおいて検出され、圧縮に基づいて低減されるべき画像点の場合には、最大輝度値が検出され、これが、相応する画像点に対する輝度値として設定されるように、設定される。極大値形成の代わりに、算術平均または幾何学平均が形成されてもよい。特に有利な実施形態では、カメラピクチャーデータ全体の個々の画像部分は垂直なストリップである。これらは、相互に直接的に接して並んでおり、カメラピクチャーデータによって示された画像の高さ全体を含んでいる。圧縮または伸長の場合、または一般的に歪みの場合には、ストリップ全体が垂直に歪められる。水平な歪みが行われることはない。上述したように、かつ図２ｂおよび３ａから読み取れるように、隣接する画像部分の縁部領域は、その歪みにおいて、相互に流れるように整合される。従って例えば図３ｂは離散した、種々の画像部分に対する種々の間隔値を示している。しかしこれらは、画像部分の隣接する縁部領域での連続した整合に基づいて、連続的に延在する歪み経過になる。

図３ａおよび３ｂに対しては、基本圧縮ファクタとしてファクタＦが選択される。これは、はじめは、各画像部分に対して異なっており、隣接する画像部分の整合に基づいて、連続した伸長延在になる。これは、ｘ軸（水平軸）に沿った位置に依存しており、このような連続的な経過に整合されている。隣接する画像部分の整合の前に各画像部分に対して計算されるファクタＦは、Ｆ＝１／２＋（１／２×（ｄ_ｍａｘ−ｄ_ｉ）：ｄ_ｍａｘ）である。ここでＦは基礎圧縮ファクタであり、ｄ_ｍａｘはセンサの最大有効距離であり、ｄ_ｉは属する画像部分内で検出された対象物の間隔である。項（ｄ_ｍａｘ−ｄ_ｉ）は、正の値のみを取る、または０である項として設定されており、ここでｄ_ｉ＞ｄ_ｍａｘである場合には、この項は０である。これは、対象物が有効距離外にある場合に当てはまり、これによってセンサは自動的に最大の有効距離を結果として示す。有効距離よりも小さい、検出された値ｄ_ｉまでは、この項は、スケーリングに影響を与える、車両への近さをあらわす。有効距離外の間隔の場合には、この間隔自体はもはや圧縮ファクタに影響を与えるのではなく、一定の圧縮ファクタが仮定される。これは、上述の場合には１／２に相応する。

通常は、直接的な関係が、センサと、センサの受信領域（すなわち配向）とカメラピクチャーデータの画像部分との間に生じる。これは、カメラが、使用されているセンサに対して固定された空間的な配向で配置されていることによって実現される。例えば、カメラが回転する場合には、この方法はさらに、検出領域の割り当て（これは、対象物に対する間隔がセンサによって検出されることによって実現される）および相応する対象物をあらわす画像領域を含んでいる。この割り当ては例えば、形状識別によって、または画像マッチング方法によって設定される。

Claims (14)

1. 車両（２）が存在する交通状況のビデオデータと間隔データとを組み合わせて視覚的に表示する方法であって、
   車両（２）からの周辺部分（５）のカメラピクチャーデータを撮影するステップと、
   前記周辺部分（５）内での、前記車両（２）と少なくとも１つの対象物（７、８、１２、１２’）との間の少なくとも１つの間隔（ｄｉ）をあらわす間隔データを検出するステップと、を有している方法において、
   前記カメラピクチャーデータの少なくとも１つの画像部分を、前記少なくとも１つの間隔（ｄｉ）に依存して歪めるステップと、
   当該歪んだ、少なくとも１つの画像部分（１０）を表示するステップと、
   を有しており、
   前記歪めるステップは、少なくとも１つの画像部分をシフトさせること、伸長させること、圧縮すること、回転させることまたは当該歪み操作の組み合わせを含んでおり、
   前記歪み操作を、単調に下降する関数に従って前記間隔に依存する強度で実行し、間隔が短い場合には、間隔が長い場合に比べて大きい強度で前記歪み操作を実行する、
   ことを特徴とする方法。
2. 前記間隔データを検出するステップは、前記周辺部分の複数の異なる領域（６ａ−６ｅ）に対してそれぞれ間隔データを、前記車両（２）の車両部分に並んでいる複数の距離センサ（３ａ−３ｅ）によって検出することを含み、
   前記少なくとも１つの画像部分は、複数の異なる画像部分を含んでおり、
   前記歪めるステップは、前記複数の画像部分の１つを、前記周辺部分の領域（１１）内に位置する対象物（８）に関する前記間隔データの間隔（ｄｉ）に応じて歪めることを含んでおり、
   前記領域は、当該画像部分に相応している、または当該画像部分と大部分で重畳している、
   請求項１記載の方法。
3. 前記周辺部分の少なくとも２つの異なる領域に対してそれぞれ属する間隔データを検出し、
   前記複数の画像部分の少なくとも２つの画像部分をそれぞれ、前記各画像部分内に位置する少なくとも１つの対象物（７、８、１２、１２’）に対する当該各間隔データの各間隔（ｄｉ）に応じて歪め、
   前記周辺部分の前記属する領域は前記各画像部分に相応している、または、前記画像部分と大部分で重畳している、
   請求項２記載の方法。
4. 前記周辺部分を、相互に接して接続されている複数の画像部分に、前記カメラピクチャーデータの水平線に沿って区分し、
   前記複数の画像部分に前記各間隔データをそれぞれ割り当て、
   前記各画像部分をそれぞれに割り当てられた間隔データの間隔（ｄｉ）に応じて歪め、
   当該歪んだ、隣接する画像部分を相互に適合させず、または、
   前記歪んだ、隣接する画像部分の歪みを、少なくとも当該画像部分の垂直縁部領域で相互に適合させる、
   請求項１から３までのいずれか１項記載の方法。
5. さらに、前記カメラピクチャーデータの少なくとも１つの画像部分の色情報を少なくとも１つの間隔に依存して変えるステップ、または、
   前記カメラピクチャーデータの画像部分の少なくとも１つの対象物の色情報を少なくとも１つの間隔に依存して変えるステップ、または、
   前記画像部分の上方に、下方に、または前記画像部分に隣接して位置している、少なくとも１つの縁部領域の色情報を変えるステップを含んでおり、前記縁部領域は、カメラピクチャーデータを画像表示として再現しない、
   請求項１から４までのいずれか１項記載の方法。
6. 前記歪めるステップは、
   画像部分内で検出された対象物の間隔（ｄｉ）が低減するとともに、前記画像部分を、前記カメラピクチャーデータの垂直方向においてのみ、または、水平方向においてのみ、または、水平方向かつ垂直方向において拡大すること、
   画像部分内で対象物が検出されない場合、または、前記画像部分内で検出された対象物（７、８、１２、１２’）の間隔（ｄｉ）が増すとともに、前記画像部分を、前記カメラピクチャーデータの垂直方向（ｙ）においてのみ、または、水平方向（ｘ）においてのみ、または、水平方向かつ垂直方向において縮小することを含む、
   請求項１から５までのいずれか１項記載の方法。
7. 前記歪めるステップは、
   前記カメラピクチャーデータの画像下方エッジと、視覚表示の最も下のエッジとの間に下方縁部分を設けることを含み、
   当該視覚表示は、前記カメラピクチャーデータと当該カメラピクチャーデータの下に位置する前記下方縁部分とをあらわし、
   当該下方縁部分は高さ（Ｄ_ｏ、Ｄ_ｉ）を有しており、当該高さは、前記縁部分の上に示される画像部分内の対象物に対して検出された間隔とともに増し、前記下方縁部分は、カメラピクチャーデータをそのイメージとしてあらわさない、
   請求項１から６までのいずれか１項記載の方法。
8. 前記歪めるステップは、
   前記カメラピクチャーデータの画像下方エッジと、視覚表示の最も下のエッジと、の間に下方縁部分を設けることを含み、
   前記視覚表示は、前記カメラピクチャーデータと当該カメラピクチャーデータの下に位置する下方縁部分とをあらわし、
   当該下方縁部分は色を有しており、当該色は、所定の経過に従って、前記縁部分上に示される画像部分内の対象物に対して検出された間隔に従って変化し、前記下方縁部分は当該色をあらわし、カメラピクチャーデータをそのイメージとしてあらわさない、
   請求項１から７までのいずれか１項記載の方法。
9. 前記各画像部分のインタフェース領域で、２つの隣接する画像部分の間の移行部を、連続的な強度の流れで歪ませる、
   請求項４記載の方法。
10. ビデオデータと間隔データとを組み合わせて視覚的に表示する装置であって、当該装置は、
    画像入力側と、間隔入力側と、出力側と、画像操作ユニット（１）と、を有しており、
    前記画像入力側は、前記カメラピクチャーデータを、当該画像入力側と接続されている前記装置の画像操作ユニット（１）に入力するように構成されており、
    前記間隔入力側は、検出された間隔（ｄｉ）をあらわす間隔データを、当該間隔入力側と接続されている前記画像操作ユニットに入力するように構成されており、
    前記出力側は、前記画像操作ユニット（１）と接続されており、画像表示データを出力するように構成されており、当該画像表示データは、歪んだ画像部分をあらわし、
    前記画像操作ユニット（１）は、前記入力された間隔データの間隔（ｄｉ）に依存して前記入力されたカメラピクチャーデータを歪め、かつ、前記歪められた、少なくとも１つの画像部分を有する前記画像表示データを出力側に出力するように構成されており、
    前記少なくとも１つの画像部分を歪める操作は、
    前記少なくとも１つの画像部分をシフトさせる、伸長させる、圧縮する、回転させる操作または前記各歪み操作の組み合わせを含んでおり、
    前記歪み操作を、前記間隔（ｄｉ）が短い場合には、間隔が長い場合に比べて大きい強度で前記歪み操作を実行する、
    ことを特徴とする装置。
11. 前記装置は、
    前記周辺部分の複数の異なる領域（６ａ−６ｅ）に対してそれぞれ間隔データを検出し、
    前記画像表示データを構成する複数の異なる画像部分の少なくとも１つを、前記周辺部分の領域（１１）内に位置する対象物（８）に関する前記間隔データの間隔（ｄｉ）に応じて歪める、
    ように構成されている、
    請求項１０記載の装置。
12. 前記歪める操作は、
    画像部分内で検出された対象物の間隔（ｄｉ）が低減するとともに、前記画像部分を、前記カメラピクチャーデータの垂直方向においてのみ、または、水平方向においてのみ、または、水平方向かつ垂直方向において拡大すること、
    画像部分内で対象物が検出されない場合、または、前記画像部分内で検出された対象物（７、８、１２、１２’）の間隔（ｄｉ）が増すとともに、前記画像部分を、前記カメラピクチャーデータの垂直方向（ｙ）においてのみ、または、水平方向（ｘ）においてのみ、または、水平方向かつ垂直方向において縮小すること、
    を含む、
    請求項１０または１１記載の装置。
13. 前記少なくとも１つの画像部分を歪める操作は、
    さらに、前記カメラピクチャーデータの少なくとも１つの画像部分の色情報を少なくとも１つの間隔（ｄｉ）に依存して変える操作、または、
    前記カメラピクチャーデータの画像部分の少なくとも１つの対象物の色情報を少なくとも１つの間隔（ｄｉ）に依存して変える操作、または、
    前記カメラピクチャーデータの少なくとも１つの画像部分の上方に、下方に、または、前記画像部分に隣接して位置している、少なくとも１つの縁部領域の色情報を変える操作を含んでおり、
    前記縁部領域は、カメラピクチャーデータを画像表示として再現しない、
    請求項１０または１１記載の装置。
14. 前記少なくとも１つの画像部分を歪める操作は、
    前記カメラピクチャーデータの画像下方エッジと、視覚表示の最も下のエッジと、の間に下方縁部分を設けることを含み、
    前記視覚表示は、前記カメラピクチャーデータと当該カメラピクチャーデータの下に位置する下方縁部分とをあらわし、
    当該下方縁部分は色を有しており、当該色は、所定の経過に従って、前記縁部分上に示される画像部分内の対象物に対して検出された間隔に従って変化し、前記下方縁部分は当該色をあらわし、カメラピクチャーデータをそのイメージとしてあらわさない、
    請求項１３記載の装置。

Images