JP6522630B2 - 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム - Google Patents

Description

本発明は、車両の周辺部を表示するための、特に好ましくは、ドライバー・アシスタント・システムにおける使用に適した方法と装置、並びに、ドライバー・アシスタント・システムに関する。

該ドライバー・アシスタント・システム、並びに、車両の周辺部を表示するための方法と装置は、原則的に見れば、従来の技術より既知である。これらの例としては、特許文献１や特許文献２などを挙げることができる。所謂「トップヴュー・システム」や「サラウンドヴュー・システム」並びに「リアヴュー・システム」と呼ばれるカメラ・ベースのシステムは、ドライバーに車両周辺近部を表示し、これにより、例えば、車庫入れなど車両の運転を容易にするために、昨今、車両において頻繁に採用されるようになってきている。

特許文献３には、車両に危険を及ぼし得るオブジェクトが、より危険性の低い物体よりも目立つように表示手段に描写されるドライバー・アシスタント・システムが記述されている。

特許文献４には、カメラによって捕捉されたオブジェクトが、遠近法的に正しく描写される表示手段を備えたドライバー・アシスタント・システムが開示されている。また、補足されたオブジェクトに関する付加的な情報を、ドライバーの認知を改善するために、フェードインすることも可能である。

独国特許出願公開第１００５９９００号明細書 独国特許出願公開第１０１０９６６５号明細書 独国特許出願公開第１０２４７５６３号明細書 独国特許出願公開第１０２５７４８４号明細書

よって本発明の課題は、車両の周辺部を表示するための改善された方法および改善された装置を提案することである。

本発明によれば、上記目的は、独立請求項に記載されている対象によって達成される。本発明の更なる実施形態は、従属請求項に記載されている。

本発明のある実施形態は、以下のステップを包含する、車両の周辺部を表示するための方法に関する：
−少なくとも一つのセンサーを用いて車両の周辺部を捕捉することによる該車両の周辺部のセンサーデータの作成、
−センサーデータの生画像データへの前処理、
−生画像データの車両周辺部のグリッド・モデルを用いたオブジェクト・インフォメーションへの加工、
−生画像データからの画像・オブジェクト・データへの前処理用に得られたオブジェクト・インフォメーション、及び／或いは、グリッド・モデルの使用、
−画像・オブジェクト・データの表示。

尚、該センサーデータの生画像データへの前処理、生画像データのオブジェクト・インフォメーションへの加工、並びに、生画像データの画像・オブジェクト・データへの加工は、オブジェクト・インフォメーション、及び／或いは、グリッド・モデルの使用の基、少なくとも二つの独立した手段によって実施することが特に好ましい。この際、画像前処理手段によるセンサーデータの生画像データへの前処理、並びに、画像処理手段による生画像データのオブジェクト・インフォメーションへの加工が、実施されることが好ましいが、ここでは、該画像処理手段は、該生画像データを、該画像前処理手段から、第一データ技術的接続手段（往チャンネル）を介して受信している。続いて、好ましくは画像前処理手段によって生画像データの画像・オブジェクト・データへの前処理が実施されるが、ここでは、該画像前処理手段は、該オブジェクト・インフォメーションを、画像処理手段から第二データ技術的接続手段（復チャンネル）を介して受信している。該画像前処理手段は、好ましくは、センサーデータ、或いは、生画像データを車両内における画像データの表示用に準備するための手段である。該画像処理手段は、好ましくは、例えば、車両パラメータや車両機能を制御するための手段用にオブジェクト・インフォメーションを取得するための手段である。これにより、複数段階の画像処理方法が確立されるが、ここでは、好ましくは、車両パラメータや車両機能の制御用の画像処理から得られたオブジェクト・インフォメーションが、特に好ましくは、画像処理手段から画像前処理手段への復チャンネルを介して、車両内における画像データの表示のための画像データの準備、例えば、画像データの表示の際に、オブジェクトを強調する、或いは、画像内でマークするために、使用できるようになっている。

本発明の更なる実施形態は、以下のステップを包含する、車両の周辺部を表示するための方法に関する：
−少なくとも一つのセンサーを用いて車両の周辺部を捕捉することによる該車両の周辺部のセンサーデータの作成、
−第一前処理ステップにおけるセンサーデータの生画像データへの前処理、
−第二前処理ステップにおける生画像データのグリッド・モデルを用いて修正された画像データへの前処理、
−修正された画像データの画像・オブジェクト・データへの前処理におけるセンサーによって得られたオブジェクト・インフォメーションの使用、
−画像・オブジェクト・データの表示。

これにより、複数段の画像データを修正できる方法が提供される。該センサーデータは、生画像データに前処理され、これを用いて、オブジェクト・インフォメーションが得られ、続いてこれが、生画像データの前処理のためにフィードバックされる。即ち、センサーデータから前処理された生画像データを、生画像データの処理のために往チャンネル方向に伝達し、オブジェクト・インフォメーションを、（必要に応じて更なる）生画像データの前処理のために復チャンネルを介して伝達することができる。これにより画像データの前処理が改善でき、更には、画像データだけでなく付加的な情報も含んだ、組み合わされた画像・オブジェクト・データも表示できるようになる。

該少なくとも一つのセンサーは、生画像データの作成に適したあらゆる種類のセンサーとして、特に好ましくは、光学的カメラ、夜視システム乃至残光増幅システム、赤外線カメラ乃至熱線カメラなど、光学的センサーとして構成されることができる。原則的には、該センサーは、例えば、レーダー、ライダーなど、他の波長の電磁線を受信することができるように構成されている、或いは、音波、例えば、超音波を受信することができるように構成されていることも可能である。

該オブジェクト・インフォメーションは、車両の周辺部のグリッド・モデルを基にして得ることができる。これにより、例えば、グリッド・マップなどとしてオブジェクト・インフォメーションを捉える、及び／或いは、保存する、及び／或いは、伝達することが可能である。更には、グリッド・モデルの部分領域に、固有の情報を割り当てることも可能になる。

該オブジェクト・インフォメーションは、オブジェクトを特徴づける、及び／或いは、識別するための情報、及び／或いは、オブジェクトの状態に関する、特に好ましくは、位置、大きさ乃至高さ、広がり、明るさ、移動方向、加速、センサーに対する相対的移動、センサーに対する相対的移動方向、或いは、センサーに対する相対的な加速などの情報であることができる。

生画像データの前処理の範囲においても、グリッド・モデルを使用することができる。これにより、画像・生データ、特に好ましくは − 例えば、結像特性など特定のセンサー特性に基づく、例えば、光学的な乃至測定技術的な歪みを要因とする − 歪んだ画像・生データの適切な修正、乃至、歪み除去が可能になる。このようにして生画像データから、修正された画像に相当する修正された画像データが作成される。これは、続く画像処理ステップ、或いは、画像前処理ステップにおいて基とすることができる。

オブジェクト・インフォメーションを、他のセンサーのデータと比較して検証する、及び／或いは、安定化させることを想定することも可能である。即ち、上記の、生画像データの作成に用いられるセンサーデータに対して付加的に、或いは、補足的に、更なるセンサー、或いは、センサーデータを取り入れることも可能である。この際それは、例えば、光学カメラ、夜視システム、乃至、残光増幅システム、赤外線カメラ、乃至、熱線カメラなど更なる光学的なセンサーであることができる。原則的には、これら更なるセンサー類は、例えば、レーダー、ライダーなど、他の波長の電磁線を受信することができるように構成されている、或いは、音波、例えば、超音波を受信することができるように構成されていることも可能である。付加的なセンサー・インフォメーションにより、捕捉されたオブジェクト・インフォメーションの範囲が広がる、及び／或いは、捕捉されたオブジェクト・インフォメーションの精度が高まり、これは、オブジェクト・インフォメーションが安定化する、及び／或いは、得られたオブジェクト・インフォメーション内のエラーが低減される、乃至、認識されたオブジェクト・インフォメーション或いはオブジェクトを検証することに貢献している。

生画像データの処理の範囲において、付加的な、ヒストリカルな、及び／或いは、予測されるオブジェクト・インフォメーションを用いることを想定することも可能である。即ち、オブジェクト・インフォメーションの時間的推移を割り出す、及び／或いは、保存する、及び／或いは、メモリーから呼び出し、生画像データの処理の際に、併用することができる。この際、オブジェクト・インフォメーションの時間的な変化（例えば、位置、大きさ乃至高さ、広がり、明るさ、移動方向、加速、センサーに対する相対的移動、センサーに対する相対的移動方向、或いは、センサーに対する相対的な加速など）の時間的な変化を併用することが可能である。

周辺領域のグリッド・モデルが、セルを有しており、該セルには、部分オブジェクト・インフォメーションが割り当てられ、該部分オブジェクト・インフォメーションから、オブジェクト認識ステップにおいて、オブジェクト・インフォメーションが作成されることを想定することも可能である。グリッド・モデルのセルは、同一に、即ち、同じ大きさ、同じ形状、同じ向きに構成されていることができる。要するに、該セルは、均一の分布と均一の構成であることができる。しかしながら、グリッド・モデルのセルは、グリッド内のセルの位置に依存する大きさ、及び／或いは、形状、及び／或いは、向きを有することも可能である。

グリッド・モデルとして３Ｄ・グリッド・モデルを、即ち、グリッドが、三次元の形状を有しているグリッド・モデルを使用することも、特に好ましく想定することが可能である。ここで言う「三次元の形状」とは、二次元の形状から少なくとも一部、即ち、平面状の形状ではない形状であると解釈できる。そして生画像データを、投影アルゴリズムを用いて、該３Ｄ・グリッド・モデル上に投影することが可能である。これにより、生画像データ、特に好ましくは、 − 例えば、結像特性など特定のセンサー特性に基づく、例えば、光学的な乃至測定技術的な歪みを要因とする − 歪んだ生画像データの特に適切な修正、乃至、歪み除去が可能になる。

車両の周辺部の３Ｄ・グリッド・モデルは、湾曲した面のモデルを描写することが特に好ましいが、ここでは、湾曲の半径は、車両からの、乃至、該センサーデータを作成するセンサーからの距離が大きくなるにつれ、大きくなる。湾曲した面、特に好ましくは、距離が増すにつれより湾曲度が増すモデルは、例えば、光学的魚眼センサー（フィッシュ・アイ・センサー）や他の同様の結像特性を有するセンサーにおいて発生する広角レンズ効果による歪みを修正するのに非常に適していることが分かった。

グリッド・モデルのセルには、セルに係る部分・オブジェクト・インフォメーションを割り当てることができる。このような部分・オブジェクト・インフォメーションは、捕捉されたオブジェクト部分、或いは、捕捉されたストラクチャーを識別、及び／或いは、特徴づける為の情報、例えば、位置や大きさ、例えば、オブジェクトの高さ、形状、広がり、明るさ、移動方向、加速、センサーに対する相対的な動き、センサーに対する相対的移動方向、センサーに対する相対的加速に関する情報であることができる。

この部分・オブジェクト・インフォメーションからは、セルに係るオブジェクト・プロファイルを作成し、それぞれのセルに割り当てることができる。一つの、或いは、複数のセルのオブジェクト・プロファイルは、オブジェクトに集約することができる。本方法の範囲においてオブジェクト認識ステップが実施される場合、認識されたオブジェクトに関するオブジェクト・インフォメーションは、オブジェクトの高さに関するオブジェクト・インフォメーションと共に、画像前処理手段に伝送されることができる。

本発明のある更なる実施形態は、以下を有する車両の周辺部を表示するための装置に関する：
−車両の周辺部を捕捉して、車両の周辺部のセンサーデータを作成するための少なくとも一つのセンサー、
−センサーデータを生画像データに前処理するための画像データ・前処理・領域を有し、オブジェクト・インフォメーション、及び／或いは、グリッド・モデルを画像・オブジェクト・データに対して用いて該生画像データを前処理するように構成された画像前処理手段、
−画像前処理手段へのデータ技術的接続手段を有し、グリッド・モデルを用いて生画像データをオブジェクト・インフォメーションに処理するように構成された画像処理手段、並びに、
−画像・オブジェクト・データを表示するための表示手段。

尚、本発明に係る装置の長所、並びに、更なる実施形態は、本発明に係る装置に対しても同様に有効である本発明に係る方法の開示を参照のこと。

この際、画像前処理手段は、第一データ技術的接続手段（往チャンネル）を介して、画像処理手段と接続されていることが好ましいが、これによっては、該画像処理手段が、該第一データ技術的接続手段を介して、画像前処理手段によって前処理された生画像データを受信する。更に、該画像処理手段は、更なるデータ技術的接続手段（復チャンネル）を介して、画像前処理手段と接続されていることが好ましいが、これによっては、該画像前処理手段が、該更なるデータ技術的接続手段を介して、画像処理手段によって生画像データから得られたオブジェクト・インフォメーションを受信する。

該画像前処理手段は、この際、生画像データとオブジェクト・データから得られた画像・オブジェクト・データを表示するための表示手段と接続されていることが特に好ましい。

画像前処理手段から画像処理手段への往チャンネルと画像処理手段から画像前処理手段に戻る復チャンネルを設けることが可能である。該画像前処理手段は、センサーデータを生画像データに前処理するために構成されている。更に、該画像前処理手段は、オブジェクト・インフォメーションを用いて生画像データを前処理できるように構成されていてもよい。一方、該画像前処理手段は、グリッド・モデルを用いて − 場合によっては、オブジェクト・インフォメーションも用いて − 生画像データを画像・オブジェクト・データに前処理することができるように構成されていてもよい。

該少なくとも一つのセンサーは、上述した如く、生画像データの作成に適したあらゆる種類のセンサーとして、特に好ましくは、光学的カメラ、夜視システム乃至残光増幅システム、赤外線カメラ乃至熱線カメラなど、光学的センサーとして構成されることができる。原則的には、該センサーは、例えば、レーダー、ライダーなど、他の波長の電磁線を受信することができるように構成されている、或いは、音波、例えば、超音波を受信することができるように構成されていることも可能である。

また、画像処理手段とデータ技術的に接続される更なるセンサー類を想定することも可能である。その際、画像処理手段は、更なるセンサー類のデータと比較することによってオブジェクト・インフォメーションを検証、及び／或いは、安定化するように構成されていてもよい。この際それは、上記した如く、例えば、光学カメラ、夜視システム、乃至、残光増幅システム、赤外線カメラ、乃至、熱線カメラなど更なる光学的なセンサーであることができる。原則的には、これら更なるセンサー類は、例えば、レーダー、ライダーなど、他の波長の電磁線を受信することができるように構成されている、或いは、音波、例えば、超音波を受信することができるように構成されていることも可能である。

該画像前処理手段は、機能的に、ソフトウェア技術的に、或いは、ハードウェア技術的にそれぞれ機能の異なる画像データ・前処理・領域を有していることもできる。即ち、該画像前処理手段は、センサーデータを生画像データに前処理する第一画像データ・前処理・領域と、生画像データとオブジェクト・インフォメーションを画像・オブジェクト・データに前処理する第二画像データ・前処理・領域を有していることも可能である。

また、ヒストリカルな、及び／或いは、予測されたオブジェクト・インフォメーションを保存するためのデータ保存手段が想定さていることもできるが、この場合、該画像処理手段は、ヒストリカルな、及び／或いは、予測されたオブジェクト・インフォメーションを、生画像データを処理する範囲において用いることができるように構成されている。該データ保存手段内には、オブジェクト・インフォメーションの経時変化を保存し、読みだすことが可能であるとともに、それを介して、ヒストリカルな、及び／或いは、予測されたオブジェクト・インフォメーションを生画像データの処理のために伝達することができる画像処理手段へのデータ技術的接続手段も設けることが可能である。

また、車両の周辺部のグリッド・モデルを保存するための更なるデータ保存手段を設けることもできるが、この場合、該データ保存手段は、データ技術的接続手段を介して、画像処理手段と接続され、該画像処理手段は、グリッド・モデルのセルに割り当てられた部分オブジェクト・インフォメーションを基にしてオブジェクト認識ができるように構成されていてもよい。代案的、或いは、付加的には、該画像前処理手段は、グリッド・モデルを基にして生画像データを前処理できるように構成されていてもよいが、この際、該画像前処理手段は、データ技術的接続手段を介して該データ保存手段と接続されている。

本発明のある更なる実施形態は、本発明に係り、ここに記載されている如き装置を備えたドライバー・アシスタント・システムに関する。

本発明の更なる長所と応用例は、以下の図に示されている例に基づいた説明によりそれぞれ開示される。

明細書、請求の範囲、要約および図では、後に記載する「符号の説明」に記載されている符号および名称を使用する。

自動ドライバー・アシスタント機能を備えたシステムの模式的描写図である。 複数のセンサーとオブジェクト・インフォメーションを伝送するための復チャンネルを有する自動ドライバー・アシスタント機能を備えたシステムの模式的描写図である。 平面グリッド・モデルの模式的描写図である。 歪み補正されたトップヴュー画像の模式的描写図である。 フィッシュアイ・カメラ画像（生画像データ）の歪み補正と遠近法的補正の模式的描写図である。 四台のカメラを備えた車両と四つの独立したフィッシュアイ・カメラ・画像（生画像データ）の模式的描写図である。 距離に依存した湾曲半径を有する３Ｄ・グリッド・モデルの模式的描写図である。 ３Ｄ・グリッド・モデルを用いて歪み補正した画像の模式的描写図である。 平面上に動いていないオブジェクトを投影した場合の長さの歪みの模式的描写図である。 湾曲した面上に動いていないオブジェクトを投影した場合の長さの歪みの模式的描写図である。

以下の説明においては、同一のおよび／あるいは同じ機能を持つおよび／あるいは機能的に関連しているエレメントには、同一の符号を使用する場合がある。明記されている数値は、例にすぎず、本発明を制限するものではない。

ドライバー・アシスタント・システムでは、自動化されたドライバー・アシスタント機能が、より頻繁に装備されるようになるであろう。その際、自動的にオブジェクト、特に、障害物を認識し、車両ダイナミクスに介入することを可能にするために画像処理を用いることが可能である。図１は、このようなドライバー・アシスタント・システム１０を、模式的に示している。

該ドライバー・アシスタント・システム１０は、光学的センサー、例えば、カメラを、車両の周辺部のセンサーデータを捕捉するための第一センサー１として装備している。画像前処理手段が、該第一センサー１と接続されている。該画像前処理手段２は、センサーデータの生画像データへの前処理、及び／或いは、画像データの前処理を実施するために構成されている。更に、該画像前処理手段２は、表示手段５ − 特に好ましくは、適切なディスプレー − と、車内において、ドライバーに前処理された画像データを示すために、接続されている。

該ドライバー・アシスタント・システム１０は更に、データ技術的接続手段３を介して画像前処理手段２と接続され、且つ、そこからセンサーデータを基に前処理された生画像データを受信する画像処理手段４を有している。該画像処理手段４は、更なるデータ技術的接続手段９を介して、車両ダイナミクス１３ − 即ち、車両パラメータや車両機能の制御を実施するための手段 − と、接続されている。

特に好ましくは、ドライバー・アシスタント・システムが、車両ダイナミクスに介入する前に、認識されたオブジェクトを、特に、障害物を、ドライバーが、自動的車両介入の理由を理解できるように、或いは、車両ダイナミクスへの介入の前に、ドライバーが反応できるように、表示手段に表示する。図２は、このようなドライバー・アシスタント・システム１００を、模式的に示している。

図２のドライバー・アシスタント・システム１００も、光学的センサー、例えば、カメラを、車両の周辺部のセンサーデータを捕捉するための第一センサー１０１として装備している。また、画像前処理手段１０２も、第一センサー１０１と接続されている。該画像前処理手段１０２は、図２のドライバー・アシスタント・システム１００では、センサーデータの生画像データへの前処理を実施するために構成されている。該画像前処理手段１０２は、異なる画像前処理ステップを並行して実施できるように、ソフトウェア技術的に、或いは、ハードウェア技術的に異なっている、或いは、ソフトウェア技術的に、或いは、ハードウェア技術的に独立して配置された、機能的に独立した画像データ・前処理・領域１１２， １２２を有している。即ち、該画像前処理手段１０２は、センサーデータを生画像データに前処理する第一画像データ・前処理・領域１１２と、生画像データとオブジェクト・インフォメーションを画像・オブジェクト・データに前処理する第二画像データ・前処理・領域１２２を有していることができる。該画像前処理手段１０２は、表示手段１０５ − 特に好ましくは、適切なディスプレー − と、車内において、ドライバーに前処理された画像データを示すために、接続されている。

該画像前処理手段１０２ − 特に、センサーデータの生画像データへの前処理のための第一画像データ・前処理・領域１１２ − は、第一データ技術的接続手段１０３（往チャンネル）を介して、画像前処理手段１０２から前処理された生画像データを受信する画像処理手段１０４と接続されている。一方で該画像処理手段１０４は、更なるデータ技術的接続手段１０９を介して、車両ダイナミクス１１３ − 即ち、車両パラメータや車両機能の制御を実施するための手段 − と、接続されている。他方で該画像処理手段１０４は、更なるデータ技術的接続手段１０６（復チャンネル）を介して、画像前処理手段１０２ − 特に、生画像データとオブジェクト・インフォメーションを画像・オブジェクト・データに前処理するための第二画像データ・前処理・領域１２２ − と接続されている。

図２の実施形態によれば、復チャンネルを介して、画像処理のシステムブロックから画像前処理のシステムブロックへ、例えば、障害物までの距離やその高さと言ったオブジェクト・インフォメーションを伝達することが可能である。該情報は、画像前処理において認識されたオブジェクトの自車両に対する危険性（例えば、前処理された画像・オブジェクト・データ内で、オブジェクトに色を付けてマークする）、及び／或いは、距離、及び／或いは、高さを示すために、使用されることができる。

画像処理手段１０４におけるオブジェクトの認識は、グリッド・モデル２１， ２２１を基にしたものであることができる。この場合、車両２０， ２２０を取り巻くグリッド・モデル２１， ２２０のセル２２， ２２２が、定義される。該グリッド・モデル２１， ２２１は、例えば、データ技術的に画像前処理手段１０２と画像処理手段１０４と接続されたデータ保存手段１０８に保存されたものであることができる。本発明の実施形態にもよるが、データ保存手段１０８は、双方の装置１０２， １０４の何れか一方とだけ接続されていることもできる。各々のセル２２， ２２２には、画像処理手段１０４によって割り出された、或いは、認識された部分オブジェクト・インフォメーションを割り当てることができる。即ち、カメラ画像において認識されたオブジェクトの高さ、広がり、位置、或いは、速度などをセル２２， ２２２に割り当てることができる。ここでは、オブジェクトの高さを例に説明する。その際、一つのセル内には、オブジェクト２３， ２７の一部のみが存在することもあり得るため、該オブジェクト２３， ２７の該当部分に対応する部分オブジェクト・インフォメーションのみ − この例では、高さ情報 − が、割り当てられる場合もある。複数の部分オブジェクト・インフォメーション − 例えば、オブジェクト・プロファイルとして割り当てられたもの − は、各々のオブジェクト２３， ２７に、集約される。これらの個々のセル２２， ２２２に割り当てられたグリッド・インフォメーションは、オブジェクトの高さ、並びに、認識されたオブジェクト２３， ２７と共に、画像前処理手段１０２に送り返される。

オブジェクト２３， ２７（即ち、障害物候補）の広がりや位置以外にも、（動的なオブジェクト２３の場合）移動方向２６や移動速度、並びに、タイプ（人、自転車、乗用車、その他のオブジェクト乃至障害物）、及び、補外された動きにおける衝突確立なども、有意義に表示することが可能である。ヒストリカルなオブジェクト・インフォメーション２４、及び／或いは、予測されるオブジェクト・インフォメーション２５、並びに、自車両の過去の、及び、予測される軌道などは、例えば、軌跡として、該当するオブジェクト２３に帰属されるだけでなく、画像処理手段１０４と画像前処理手段１０２による制御によって、表示手段１０５（ディスプレー）にも表示される。更には、ある特定の領域に障害物が無いことも可視化することができる（例えば、画像内の走行可能な領域全体に色を付ける）。尚、危険であると認識された場所へカメラをパンする、或いは、ズームすることも考え得る。

画像前処理手段１０２では、オブジェクト・インフォメーション、及び／或いは、グリッド・モデル２１， ２２１を、トップビュー・データを作成する前に生画像データの歪み補正に使用することができる。図４は、上記のごとき、ドライバーに車両を上から観察しているかのような視野を提供する、車両２０， ２２０のトップヴュー描写（乃至、バードビュー）を模式的に示している。そのため、該画像は、通常（図６に図示されているごとく車両２０， ２２０の前、後、左、右に設けられている）カメラ画像四枚が組み合わされたものである。一般的なトップヴュー・システムは、撮影された２Ｄ画像を２Ｄ平面、或いは、２Ｄ球面に、ユーザーに車両とその周辺を上から見ているかのような印象を与えるために投影する。様々な示される画像（パノラマ、側方、バック用の視野）は、そのステップが図５に概略的に示されている以下のような原理に基づいて作成される：先ず画像 − 図５ａ）では、ここでは、フィッシュアイ・カメラであるカメラのセンサーデータを基に生画像データが作成される。フィッシュアイ・カメラの結像特性が原因で歪んだ画像となっている。フィッシュアイ補正により、図５ｂに示すような結果が得られる。次のステップで遠近法的補正が実施され、図５ｃ）のような結果が得られる。この様にすれば、複数のセンサー１， １０１， １１， １２１， １３１の、特に好ましくは、複数のカメラの生画像データを、図４に示したような一枚のトップヴュー画像に組み合わせることができる。

この様なシステムで用いることができ、所謂フィッシュアイ画像を提供する魚眼カメラ、乃至、フィッシュアイ・カメラには、重要な長所がある：視野が広い。各カメラの広い角度（水平方向 ＞ １８０°、鉛直方向 ＞ １３０°）によれば、車両周辺全域を四台のみのカメラで観察することが可能である。即ち、コストを削減することが可能である。欠点は、フィッシュアイ画像は、加工することなく、或いは、歪み補正することなく使用することができないことである。よって、フィッシュアイ画像は、平面的な画像に修正した後、望まれる画像領域に合わせて視野を修正しなければならない。そのステップを図５に示す。この際、出力画像は、入力ビデオの複数の領域から組み合わせることが可能である。このステップ、乃至、ここで記載されている方法は、所謂、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）やその他のＤＳＰ（デジタル・シグナル・プロセッサー）を用いて実施することができる。

ここで問題は、一般的なトップヴュー・システムでは、車両から離れた場所にある垂直なオブジェクトが、非常に歪んで（縦に伸びて）描写されることである。本発明は、この問題に対して以下のような改善を提案する。

図６は、カメラ、特に好ましくは、フィッシュアイ・カメラとして実施されている四つのセンサー１０１， １１１， １２１， １３１を装備した車両２２０を模式的に示している。これらが対応する生画像データ、即ち、画像３０１， ３１１， ３２１， ３３１を作成するが、これらは、光学的に歪んでおり（フィッシュアイ画像）、直線が、湾曲して見え、寸法、特に、長さも歪んでいる。

図７は、３Ｄ・グリッド・モデル２２１として実施されているグリッド・モデルを模式的に示しているが、ここでは、グリッド・モデルのセル２２２は、グリッド中のセルの位置に依存した大きさ、形状、並びに、向きを有している。車両２２０の周辺部の３Ｄ・グリッド・モデル２２１は、湾曲した表面を表しているが、湾曲半径（これを傾きと呼ぶこともできる）は、まるで「どんぶり」のごとく、車両２０からの距離Ｒが増すにつれ、大きくなっている。各々の画像３０１， ３１１， ３２１， ３３１の生画像データは、投影アルゴリズムを用いて、四つのセンサー１０１， １１１， １２１， １３１各々の生画像データの改善された歪み補正を得るために、３Ｄ・グリッド・モデル２２１に投影されることができる。これにより、車両の周辺部２２０の現実により近づいた、様々な視点から見ることも可能な、描写が得られる。図８は、車両の周辺部２２０の、四つのセンサー１０１， １１１， １２１， １３１のうち一つの生画像データを基にして、線がより直線的になり、寸法、特に、長さがより現実的に描かれ、他の車両２２３などのオブジェクトが、より良好、且つ、より現実的に認識できるようになった、上記のごとく修正された描写、乃至、補正された画像３５１の補正された画像データの表示を示している。

特に、長さの歪みを回避することにより、より遠くのオブジェクトが、短く、よって、より現実的に描写される。湾曲した投影面を用いることにより、描写されるオブジェクトの大きさは、平面に投影した場合と比較して、実際の大きさにより近いものとなっている。これを、図９と１０を用いてより詳しく説明する：
図９には、不動オブジェクトｏを平面Ｅに投影した場合の長さの歪みｌｐｅ／ｌｖが、示されている。尚、Ｃは、カメラの位置、ｖは、ドライバーにその位置からの視点で車両周辺部が示されるバーチャル視点である。この際、オブジェクトが、車両から遠ければ遠いほど、バーチャル視点が、カメラの位置よりもさらに高い位置にあるため、その歪みは大きくなる。

図１０は、遠くに離れてある、不動オブジェクトｏの描かれている長さは、図７に例示した（「どんぶり」の）ような湾曲した面ＧＯに投影した場合、オブジェクトの実際の長さにより良好に対応している様子を示している。平面では、オブジェクトの歪みは、距離と共にますため、湾曲した面の形状は、車両に近い領域では、比較的平面であるが、車両から離れるにつれ、湾曲した表面の湾曲半径、乃至、傾きは、増すようになっている。

３Ｄ表示エレメントがある場合、グリッド・インフォメーション、乃至、セル・インフォメーション、或いは、オブジェクト・インフォメーション（位置、大きさ、広がり）は、３Ｄ表示によって障害物やその他のオブジェクトを観察者に対してより立体的に描写できる、即ち、ドライバーに周辺領域のより改善された印象を伝えることができるため、特に３Ｄ可視化用として有用に用いることができる。即ち、該グリッド・モデル、乃至、湾曲した表面を、周辺領域が、ライブ３Ｄモデルに見えるようにすら改善することも可能である。その際、例えば、１０ｘ１０ｃｍタイルからなる、オブジェクト情報を含む車両周辺部のモデルを用いる、或いは、作成することができる。これらの情報を基にすれば、投影表面を、周辺領域の本当の３Ｄモデルであるかのごとく表示できるようにモデル化することも可能である。

１ センサー
２ 画像前処理手段
３ データ技術的接続手段
４ 画像処理手段
５ 表示手段
９ データ技術的接続手段
１０ ドライバー・アシスタント・システム
１３ 車両のダイナミクス
２０ 車両
２１ グリッド・モデル
２２ セル
２３ オブジェクト
２４ ヒストリカルなオブジェクト・インフォメーション
２５ 予測されるオブジェクト・インフォメーション
２６ 移動方向
２７ オブジェクト
１００ ドライバー・アシスタント・システム
１０１ センサー
１０２ 画像前処理手段
１０３ データ技術的接続手段
１０４ 画像処理手段
１０５ 表示手段
１０６ データ技術的接続手段
１０７ データ保存手段
１０８ データ保存手段
１０９ データ技術的接続手段
１１１ センサー
１１２ 画像データ・前処理・領域
１２１ センサー
１２２ 画像データ・前処理・領域
１３１ センサー
２２０ 車両
２２１ ３Ｄ・グリッド・モデル
２２２ セル
２２３ 車両
３０１ 画像
３１１ 画像
３２１ 画像
３３１ 画像
３５１ 補正された画像
Ｃ カメラの位置
Ｅ 面
ＧＯ 湾曲した表面
ｏ オブジェクト
Ｒ 間隔
ｖ バーチャル視点

Claims (14)

1. 以下のステップを有することを特徴とする車両の周辺部を表示するための方法：
   − 少なくとも一つのセンサー（１，１０１，１１１，１２１，１３１）を用いて車両の周辺部（２０，２２０）を捕捉することによる該車両の周辺部（２０，２２０）のセンサーデータの作成、
   − センサーデータの生画像データへの前処理、
   − 生画像データの、車両周辺部（２０，２２０）のグリッド・モデル（２１，２２１）を用いた、オブジェクト・インフォメーションへの加工、
   − 生画像データからの画像・オブジェクト・データへの前処理のための、得られたオブジェクト・インフォメーション、及び／或いは、グリッド・モデル（２１，２２１）の使用、
   − 画像・オブジェクト・データの表示、
   であって、
   − センサーデータを生画像データに、画像前処理手段（１０２）によって前処理し、
   車両パラメータないし車両機能を制御するための手段に用いられるオブジェクト・インフォメーションであって、認識されたオブジェクトを特徴づけるか識別するかの少なくともいずれかのための情報と、オブジェクトの状態についての情報との少なくともいずれかを含むオブジェクト・インフォメーションを取得するために、生画像データのオブジェクト・インフォメーションへの処理を画像処理手段（１０４）によって実施し、
   − 該画像処理手段（１０４）は、車両パラメータないし車両機能を制御するための手段である車両ダイナミクスに接続され、生画像データを画像前処理手段（１０２）から第一データ技術的接続手段（１０３）を介して受け取り、
   − 画像前処理手段（１０２）により、生画像データとオブジェクト・インフォメーションを、画像データだけでなく付加的な情報も含んだ組み合わされた画像・オブジェクト・データに前処理し、
   − 該画像前処理手段（１０２）は、オブジェクト・インフォメーションを画像処理手段（１０４）から、第ニデータ技術的接続手段（１０６）を介して受け取り、該オブジェクト・インフォメーションが、認識されたオブジェクトの自車両に対する危険性、距離および高さの少なくともいずれかを示すために、使用される。
2. オブジェクト・インフォメーションを、他のセンサー（１１１，１２１）のデータと比較して検証する、及び／或いは、オブジェクト・インフォメーションの精度を高めることを特徴とする請求項１に記載の方法。
3. 生画像データの処理の範囲において、少なくとも、過去のオブジェクト・インフォメーション（２４）および予測されるオブジェクト・インフォメーション（２５）のいずれかを用いることを特徴とする請求項１から２のうち何れか一項に記載の方法。
4. 周辺領域のグリッド・モデル（２１，２２１）が、セル（２２，２２２）を有しており、該セル（２２，２２２）には、部分オブジェクト・インフォメーションが割り当てられ、該部分オブジェクト・インフォメーションを基にしてオブジェクトを認識するステップにおいて、オブジェクト・インフォメーションが作成されることを特徴とする請求項１から３のうち何れか一項に記載の方法。
5. グリッド・モデル（２１，２２１）のセル（２２，２２２）が、グリッド（２１，２２１）内のセル（２２，２２２）の位置に依存する大きさ、形状、および向きの少なくともいずれかを有することを特徴とする請求項１から４のうち何れか一項に記載の方法。
6. グリッド・モデル（２１，２２１）として、３Ｄ・グリッド・モデル（２２１）が用いられ、生画像データを、カメラの位置（Ｃ）から該３Ｄ・グリッド・モデル上（２２１）に投影することを特徴とする請求項１から５のうち何れか一項に記載の方法。
7. 車両の周辺部（２０，２２０）のグリッド・モデル（２１，２２１）が、湾曲した表面を表している、但し、湾曲半径は、車両（２０，２２０）からの距離（Ｒ）が増すにつれ、大きくなっていることを特徴とする請求項６に記載の方法。
8. グリッド・モデル（２１，２２１）のセル（２２，２２２）に、セルに係る部分オブジェクト・インフォメーションが割り当てられ、認識されたオブジェクト（２３，２７）のオブジェクト・インフォメーションが、オブジェクトの高さに関するオブジェクト・インフォメーションと共に、画像前処理手段（１０２）に伝送されることを特徴とする請求項１から７のうち何れか一項に記載の方法。
9. 以下を装備していることを特徴とする車両（２０，２２０）の周辺部を表示するための装置（１００）：
   − 車両（２０，２２０）の周辺部を捕捉して、車両（２０，２２０）の周辺部のセンサーデータを作成するための少なくとも一つのセンサー（１，１０１，１１１，１２１，１３１）、
   − センサーデータを生画像データに前処理するための画像データ・前処理・領域（１１２，１２２）を有し、オブジェクト・インフォメーション、及び／或いは、グリッド・モデル（２１，２２１）を画像・オブジェクト・データに対して用いて該生画像データを前処理するように構成された画像前処理手段（１０２）、
   − 画像前処理手段（１０２）へのデータ技術的接続手段（１０３，１０６）を有し、車両パラメータないし車両機能を制御するための手段に用いられるオブジェクト・インフォメーションであって、認識されたオブジェクトを特徴づけるか識別するかの少なくともいずれかのための情報と、オブジェクトの状態についての情報との少なくともいずれかを含むオブジェクト・インフォメーションを取得するために、グリッド・モデル（２１，２２１）を用いて生画像データをオブジェクト・インフォメーションに処理するように構成された画像処理手段（１０４）、並びに、
   − 画像・オブジェクト・データを表示するための表示手段（１０５）
   であって、
   − 画像処理手段（１０４）は、車両パラメータないし車両機能を制御するための手段である車両ダイナミクスに接続され、生画像データを画像前処理手段（１０２）から第一データ技術的接続手段（１０３）を介して受信し、
   − 画像前処理手段（１０２）により、生画像データとオブジェクト・インフォメーションを、画像データだけでなく付加的な情報も含んだ組み合わされた画像・オブジェクト・データに前処理し、
   − 該画像前処理手段（１０２）は、オブジェクト・インフォメーションを画像処理手段（１０４）から、第ニデータ技術的接続手段（１０６）を介して受信し、該オブジェクト・インフォメーションが、認識されたオブジェクトの自車両に対する危険性、距離および高さの少なくともいずれかを示すために、使用される。
10. 以下を特徴とする請求項９に記載の装置：
    − 該画像前処理手段（１０２）が、生画像データとオブジェクト・インフォメーションから得られた画像・オブジェクト・データを表示するための表示手段（１０５）と接続されている。
11. 画像処理手段（１０４）とデータ技術的に接続される更なるセンサー（１１１，１２１，１３１）を装備している、但し、該画像処理手段（１０４）が、更なるセンサー（１１１，１２１，１３１）のデータと比較することによってオブジェクト・インフォメーションを検証、及び／或いは、オブジェクト・インフォメーションの精度を高めるように構成されていることを特徴とする請求項９から１０のうち何れか一項に記載の装置。
12. 少なくとも、過去のオブジェクト・インフォメーション（２４）および予測されたオブジェクト・インフォメーション（２５）のいずれかを保存するためのデータ保存手段（１０７）を装備している、但し、該画像処理手段（１０４）が、ヒストリカルな、及び／或いは、予測されたオブジェクト・インフォメーション（２４，２５）を、生画像データを処理する範囲において用いることができるように構成されていることを特徴とする請求項９から１１のうち何れか一項に記載の装置。
13. 車両（２０，２２０）の周辺部のグリッド・モデル（２１，２２１）を保存するためのデータ保存手段（１０８）を装備している、但し、画像処理手段（１０４）が、グリッド・モデル（２１，２２１）のセル（２２，２２２）に割り当てられた部分オブジェクト・インフォメーションを基にしてオブジェクト認識ができるように構成されている、及び／或いは、該画像前処理手段（１０２）が、グリッド・モデル（２１，２２１）を基にして生画像データを前処理できるように構成されていることを特徴とする請求項９から１２のうち何れか一項に記載の装置。
14. 請求項９から１３のうち何れか一項に記載の装置を装備したドライバー・アシスタント・システム。

Images