JPWO2019170202A5

JPWO2019170202A5 -

Info

Publication number: JPWO2019170202A5
Application number: JP2020544254A
Authority: JP
Publication date: 2023-04-13
Anticipated expiration: 2039-02-26

Description

本発明は、車両用のサラウンドビュー・システム、この様なサラウンドビュー・システムを備えた車両、サラウンドビュー・システムの投影面を調整するための方法、プログラム・エレメント並びにコンピュータによって読み取り自在な媒体に関する。

車両には、運転手を運転マヌーバの実施においてサポートするドライバー・アシスタント・システムが、ますます、装備されるようになってきている。これらドライバー・アシスタント・システムの中には、車両のドライバーに車両周辺部を示すことを可能にするサラウンドビュー・システムを包含しているものがある。この様なサラウンドビュー・システムは、車両周辺部の複数の実際の画像を捕捉する一台の、或いは、複数台の車載カメラを包含しており、画像は後に該サラウンドビュー・システムのデータ処理ユニットによって車両周辺部の周辺画像に統合される。続いて、該車両周辺部の画像は、ドライバーのために表示ユニット上に表示される。

そのためには、該サラウンドビュー・システムのカメラによって得られた車両周辺部のリアルな画像は、先ず車両周辺部のバーチャル周辺モデルの投影面の投影点に投影されることができる。続いて、バーチャルカメラのこの様に作成された統合サラウンドビュー画像に対する視点を割り出すことができ、これから更に、表示ユニットに表示される画像が算出されることができる。尚、表示されるサラウンドビュー画像を計算するためのバーチャルカメラの位置は、可変であり、必要に応じて、或いは、走行状況に応じて、ドライバーに車両周辺部の異なる描写を表示することができるようになっている。リアル画像の投影、並びに、統合されたサラウンドビュー画像の作成のための三次元周辺モデルの選択は、表示される画像のクオリティに大きく影響する。

独国特許出願公開第１０２００９００５５０５号明細書

本発明の課題は、画像データの投影を改善することにある。

上記目的は、独立請求項に記載されている対象によって達成される。尚、実施形態、並びに、発展形態は、従属請求項、明細書、並びに、図面によって示される。

本発明の第１アスペクトは、車両用のサラウンドビュー・システムに関する。該サラウンドビュー・システムは、捕捉ユニットと評価ユニットを有している。該捕捉ユニットは、周辺データを捕捉する様に構成されている。該評価ユニットは、捕捉された周辺データ内のオブジェクトを認識し、その３Ｄ形状を割り出す様に構成されている。該評価ユニットは更に、該割り出された３Ｄ形状を、捕捉された周辺データ用のサラウンドビュー・システムの投影面に加え、調整された投影面を生成できる様にも構成されている。該評価ユニットは、調整された投影面上に周辺データを投影する様に構成されている。

言い換えれば、車両周辺部の改善されたバーチャル周辺モデルを得るために認識された３Ｄ形状をサラウンドビュー・システムの投影面に加える事ができる。この際、該捕捉ユニットは、車両周辺部の周辺データを捕捉することができる。この周辺データは、評価ユニットによって処理され、これにより、例えば、該周辺データ内に、オブジェクトを認識することができる。該評価ユニットは更に、認識されたオブジェクトの３Ｄ形状を、計算や周辺データを評価することによって直接的に、或いは、認識されたオブジェクトを予め定義されているオブジェクトと比較することによって間接的に、割り出すことができる様にも構成されている。例えば、一台の車両を認識し、データベースから車両の典型的な３Ｄ形状を用いることができる。続いて、認識されたオブジェクトの割り出された３Ｄ形状は、サラウンドビュー・システムの投影面に加えられることができる。これにより、捕捉された周辺データを、可能な限り詳細に、且つ、歪み無く、調整された投影面上に投影し、その結果を、ドライバーに対して、例えば、モニタやディスプレイ上に、表示することができる。上記の歪みは、特に、周辺データが、ある特定の視角や視点から撮影され、ドライバーに対する表示用に、視点を、バーチャルな視点に変更する場合に発生する可能性がある。言い換えれば、ドライバーのための表示用のバーチャルカメラが、実際のカメラとは異なる位置にある場合である。例えば、周辺データを、四台のカメラから作成し、評価ユニットによって（例えば、四枚の画像を合成することにより）、車両を上から見たバーチャル平面図（上視図）であるサラウンドビュー画像を作成することができる。尚、該上視図は、評価ユニットが、車両上空からのバーチャル視点を、実際に捕捉した周辺データをベースに得ることにより作成される。この転換においては、特に、例えば、ポールや植木鉢など、高さを有するオブジェクトが、周辺データを作成する時毎の視野によって変更され、その結果がドライバーに対して表示されるバーチャル視野内における歪みの原因と「なり得る」。

該投影面（該投影面の元の形状乃至初期形状）は、例えば、鉢（ボール）、深皿、平面や他の任意な形状など、様々な形状を取り得る。更に該投影面は、捕捉された周辺データを描写するための車両のバーチャル周辺モデルとして用いることもできる。

ある実施形態によれば、該捕捉ユニットは、一台のカメラである。

代案的、乃至、付加的に、該捕捉ユニットは、複数のカメラ（ステレオカメラを含む）、及び／或いは、深度（奥行き）情報を割り出すためのセンサ類、例えば、レーダ、ライダ、或いは、超音波センサ、或いは、レーザ・スキャナを有している事も可能である。更に、該捕捉ユニットは、上記のセンサ類の組み合わせを有していることも可能である。該深度情報から認識されたオブジェクトの３Ｄ形状は、評価ユニットによって直接的に割り出されることができる。

本発明のある実施形態によれば、認識されたオブジェクトの３Ｄ形状は、予め定義され、評価ユニットによって認識されたオブジェクトに対応している。

言い換えれば、認識されたオブジェクトの３Ｄ形状は、データベース乃至テーブルとの比較によって割り出されることができる。該評価ユニットは、捕捉された周辺データ内に、オブジェクトを認識し、該認識されたオブジェクトの３Ｄ形状を割り出すために、該オブジェクトを該データベース乃至テーブルと比較することができる。例えば、データベース内に車両の、ポールの、或いは、植木鉢の典型的な３Ｄ形状が、保存されており、オブジェクトが、該評価ユニットによって認識されるやいなや、対応する予め定義された３Ｄ形状が、該データベース乃至テーブルから読み出され、該投影面に加えられることができる。これにより、オブジェクトの具体的な３Ｄ形状を割り出す代わりに、既存の３Ｄ形状を選択して投影面に加えるだけで良くなるため、捕捉ユニット内に３Ｄ認識機能や付加的なセンサを必要とすることなく、評価ユニットの計算時間も節約することが可能になる。

本発明のある更なる実施形態によれば、該評価ユニットは、認識されたオブジェクトの３Ｄ形状を、捕捉ユニットによって捕捉された周辺データから割り出すことができる様に構成されている。

認識されたオブジェクトの該３Ｄ形状は、捕捉ユニットによって割り出されることも、或いは、評価ユニットによって算出されることも可能である。例えば、該捕捉ユニットは、付加的に、３Ｄ形状を割り出すことができる様に構成された深度検出用のセンサ類（例えば、レーダ、超音波、或いは、ライダやレーザ）を有していることもできる。代案的乃至付加的に該評価ユニットは、例えば、二台の視野乃至視点が異なる個別のカメラから得られたオブジェクトの周辺データがある場合には、３Ｄ形状を、算出する乃至割り出す事ができる様にすること、即ち、ステレオスコピーにより、認識されたオブジェクトの３Ｄ形状を算出乃至割り出すことができる様にすることも可能である。

本発明のある実施形態によれば、該評価ユニットは、周辺データ内の該オブジェクトによって覆い隠された領域を、周辺データを、調整された投影面上に投影する際に、予め定義された色やパターンで補う様に構成されている。

認識されたオブジェクトの３Ｄ形状を投影面に加える事により、該オブジェクトによって覆い隠されてしまうため、該投影面内には、周辺データの無い領域ができる。言い換えれば、該捕捉ユニットは、該オブジェクトの裏を見ることはできない。この覆い隠された領域は、例えば、予め定義された色、例えば、黒色や予め定義されたパターンで補うことができる。言い換えれば、覆い隠された領域は、投影する際、予め定義された周辺データによって補うことができる。

本発明のある更なる実施形態によれば、該評価ユニットは、周辺データ内の該オブジェクトによって覆い隠された領域を、周辺データを、調整された投影面上に投影する際に、その周りの周辺データを補間によって補う様に構成されている。

覆い隠された領域を予め定義された色で補う代わりに、この様に覆い隠された領域の周辺データを、補間によって充填することもできる、即ち、覆い隠された領域用の周辺データを、覆い隠された領域に隣接する領域の周辺データを、補間することにより生成することができる。

本発明のある実施形態によれば、該評価ユニットは、周辺データ内の該オブジェクトによって覆い隠された領域を、周辺データを、調整された投影面上に投影する際に、オブジェクトの前面の周辺データの鏡像で補う様に構成されている。

更に、該覆い隠された領域は、オブジェクトの前面の周辺データの鏡像とすることができるが、ここで言う前面とは、オブジェクトの捕捉ユニットによって捕捉された側の事である。例えば、該オブジェクトが、ポールである場合、その前面と後面は、同じような構成であるため、前面の画像データを、その裏面にも投影することができる。

代案的乃至付加的には、覆い隠されたる領域用の周辺データを作成する上記の方法と組み合わせることも可能である。

本発明のある更なる実施形態によれば、該評価ユニットは、周辺データ内のオブジェクトによって覆い隠された領域を投影面から削除する様に構成されている。

生成された乃至予め定義された周辺データを用いて投影面を補う代わりに、覆い隠された領域は、投影面から削除されることもできる。該覆い隠された領域には、具体的な周辺データは存在していないため、この様域に関する具体的な叙述は、不可能である。これに基づいて、投影面は、周辺データが存在している領域のみを含むように調整することができる。

本発明の更なるアスペクトは、上述され、更に以下に説明されるサラウンドビュー・システムを備えた車両に関する。

ここで言う、「車両」とは、例えば、自動車、バス、乃至、貨物自動車などの動力車両、或いは、鉄道車両、船舶、ヘリコプターや飛行機など航空機、或いは、例えば、自転車などの車両のことである。

本発明の更なるアスペクトは、サラウンドビュー・システムの投影面を調整するための方法に関する。本方法は、以下のステップを有している：
－捕捉ユニットによって周辺データを捕捉するステップ；
－捕捉された周辺データ内にオブジェクトを認識するステップ；
－認識されたオブジェクトの３Ｄ形状を割り出すステップ；
－割り出された３Ｄ形状を、捕捉された周辺データ用のサラウンドビュー・システムの投影面に加えるステップ；並びに、
－周辺データを調整された投影面に投影するステップ。

尚、該方法のステップは、他の順番、或いは、同時に実施することもできると言うことは、指摘しておく。更に、個々のステップ間に長めの時間枠をとる事も可能である。

本発明の更なるアスペクトは、サラウンドビュー・システムの評価ユニット上において実行されると、該評価ユニットが、上述され、更に以下に説明される方法を実施するように導くプログラム・エレメントに関する。

本発明の更なるアスペクトは、サラウンドビュー・システムの評価ユニット上において実行されると、該評価ユニットが、上述され、更に以下に説明される方法を実施するように導くプログラム・エレメントがそれに保存されているコンピュータによって読み取り可能なメディアに関する。

本発明の更なる特徴、長所、及び、用途は、実施例と図面の以下の説明によって示される。

これらの図は、模式的であり、正確な縮尺ではない。尚、以下の図面の説明において、同じ符号が用いられている場合、これらは、同じ、或いは、類似するエレメントを示している。

本発明のある実施形態に係るサラウンドビュー・システムのブロック図を示している。サラウンドビュー・システム用の投影面の元形状を等尺的な図として示している。サラウンドビュー・システム用の投影面の元形状を側面図として示している。本発明のある実施形態に係るサラウンドビュー・システム用の調整された投影面を側面図として示している。本発明のある実施形態に係るサラウンドビュー・システムを備えた車両を示している。本発明のある実施形態に係るサラウンドビュー・システムの投影面を調整するための方法用のフローチャートを示している。

図１は、本発明のある実施形態に係る車両用のサラウンドビュー・システム１のブロック図を示している。該サラウンドビュー・システム１は、捕捉ユニット２０と評価ユニット１０を有している。該捕捉ユニット２０は、車両の周辺データを捕捉することができる。例えば、該捕捉ユニット２０は、一台のカメラ、乃至、複数台のカメラを有している。代案的乃至付加的に該捕捉ユニット２０は、ライダセンサ、レーダセンサ、超音波センサ、レーザ・スキャナ、或いはこれらの組み合わせを包含していることもできる。特に、捕捉ユニット２０によって車両周辺部のオブジェクトを捕捉することができる。該評価ユニット１０は、該捕捉ユニット２０によって捕捉された周辺データを、サラウンドビュー画像に合成し、ドライバーのために、例えば、表示ユニット上に描写する。ドライバーのためのサラウンドビュー画像の描写には、捕捉された周辺データを投影面上に投影することができる。この投影面は、典型的には、鉢や深皿の形状を有している、即ち、車両に非常に近い領域は、平らであり、遠い領域は、凸状に湾曲していることができる。該投影面を、車両周辺部のバーチャル周辺モデルと解釈する事も可能である、該投影面は、特に、サラウンドビュー画像をドライバーに、捕捉ユニットが描写した視点とは異なる視点から描写する場合に有意義である。更に、該評価ユニット１０は、捕捉ユニット２０の周辺データ内にオブジェクトを認識し、その３Ｄ形状を割り出すことができる。認識されたオブジェクトの３Ｄ形状は、例えば、ステレオカメラが、該オブジェクトの深度情報を提供する事により、或いは、例えば、捕捉ユニット２０が、（例えば、レーダセンサ、超音波センサ、ライダセンサ、或いは、レーザ・スキャナなど）奥行きを割り出すためのセンサを有することにより、周辺データから割り出されることができる。代案的乃至付加的には、オブジェクトの３Ｄ形状を、予め定義されたオブジェクトとの比較によって割り出すことも可能であり、例えば、評価ユニット１０が周辺データ内に車両を認識し、データベースには、車両用の予め定義された典型的な３Ｄ形状が、保存されている事ができる。続いて、この予め定義された３Ｄ形状は、評価ユニット１０によって使用される。更に、該評価ユニット１０は、認識された一つのオブジェクトの乃至認識された複数のオブジェクトの３Ｄ形状を投影面に加え、これにより、調整された投影面が生成する。言い換えれば、該投影面が、認識されたオブジェクト分拡張されるため、該調整された投影面は、より改善された現実の描写であると言える。これにより、捕捉された周辺データの投影を改善でき、それにより、視点を変更する際、描写内の歪みを避けることができる。更に、評価ユニット１０が、周辺データを調整された投影面上に、該車両のドライバーに示すために、投影することができる様になる。

図２と図３は、車両２用のサラウンドビュー・システムにおける投影面１５を示している。該投影面１５は、等尺的（図２）に、並びに、側面からの（図３）描写として示されている。該投影面１５の中央には、それぞれ、サラウンドビュー・システムを備えた車両２がある。該投影面１５は、鉢や深皿等の形状に相当する形状を有している。この際、車両近くの領域は、平面であり、周縁部は、上方及び外側に盛り上がっているが、投影面の周長は、高くなるにつれ徐々に長くなっている。該投影面がこの様な形状をしているため、第一近似において、サラウンドビュー・システム用の周辺データの良好な描写が、確保されている。しかしながら、現実において、車両近くにある高さを有するオブジェクトは、投影面１５上への投影の際、歪んで描写されてしまう。これは特に、描写の視点が、現実において捕捉された周辺データとは、バーチャル的に変更される場合に顕著である。

図４は、認識されたオブジェクト３の３Ｄ形状を投影面１５に加える様子を示している。図４の左側には、車両２とサラウンドビュー・システムの投影面１５が、示されている。図４の左側には更に、他のオブジェクト３、この例では、他の車両がある。この他のオブジェクト３は、サラウンドビュー・システムによって認識され、該認識されたオブジェクトの３Ｄ形状は、サラウンドビュー・システムによって、例えば、センサ類を用いて直接的に、或いは、データベースと予め定義された３Ｄ形状との比較によって間接的に割り出される。図４の右側には、認識されたオブジェクトの３Ｄ形状が、投影面１５に加えられており、調整された投影面１６が形成されている。これにより、捕捉された周辺データを、現実に近い形で投影面上に投影することができる。認識されたオブジェクトの３Ｄ形状を投影面１５上に加える事により調整された投影面１６内には、該オブジェクトがその領域を覆い隠しているために、その領域に対する具体的な周辺データが存在していない覆い隠された領域が存在しうる。調整された投影面１６内のこの様な覆い隠された領域に対しては、様々な対処方法が考え得る。例えば、黒色など、予め定義された色や予め定義されたパターンによって、例えば、補うことが可能である。更に、該覆い隠された領域を、周囲の周辺データを補間することによって補うこともできる。また、認識されたオブジェクトの前面を、その後面（覆い隠された領域）にも投影することができる。代案的乃至付加的には、認識されたオブジェクトを投影面に加えるのみならず、調整された投影面１６全体に対して周辺データが存在するようにするために、該認識されたオブジェクトによって覆い隠された領域を投影面から除去することも可能である。

図５は、上述され、更に以下に説明されるサラウンドビュー・システム１を備えた車両２を示している。ここに記述されているサラウンドビュー・システムを用いれば、捕捉された周辺データの車両２のドライバーのために改善された描写が可能になるが、描写の視点は、ドライバーの望みに応じて変更乃至調整することが可能である。調整された投影面を用いることにより、高さを有するオブジェクトによる歪みを低減乃至回避することができる。

図６は、サラウンドビュー・システム用の投影面を調整するための方法に係るフローチャートを示している。ステップＳ１では、捕捉ユニットによって周辺データが、捕捉される。該周辺データ内では、ステップＳ２において、オブジェクトを認識することができる。ステップＳ３では、ステップＳ２で認識されたオブジェクトの３Ｄ形状が、割り出される。ここでは、オブジェクトの該３Ｄ形状は、捕捉ユニットによって直接的に認識される、或いは、評価ユニットによって算出される、又は、該評価ユニットが、予め定義された３Ｄ形状にアクセスし、捕捉された周辺データを基に応じて選択することができる。ステップＳ４では、オブジェクトの割り出された３Ｄ形状が、サラウンドビュー・システムの投影面に加えられる。ステップＳ５では、捕捉ユニットの周辺データが、調整された投影面に投影される。

Claims

－捕捉ユニット（２０）；と
－評価ユニット（１０）、
但し、捕捉ユニット（２０）は、周辺データを捕捉する様に構成されている、
を備えている車両用のサラウンドビュー・システムであって、
評価ユニット（１０）が、捕捉された周辺データ内のオブジェクト（３）を認識し、その３Ｄ形状を割り出す様に構成されており、
評価ユニット（１０）が更に、割り出された３Ｄ形状を、捕捉された周辺データ用のサラウンドビュー・システム（１）の投影面（１５）に加え、調整された投影面（１６）を生成できる様に構成されており、且つ、
評価ユニット（１０）が、調整された投影面（１６）上に周辺データを投影する様に構成されている
ことを特徴とする車両（２）用のサラウンドビュー・システム（１）。
捕捉ユニット（２０）がカメラである
ことを特徴とする請求項１に記載のサラウンドビュー・システム（１）。
認識されたオブジェクト（３）の３Ｄ形状が、予め定義され、且つ、評価ユニット（１０）によって認識されたオブジェクト（３）に対応している
ことを特徴とする請求項１及び２に記載のサラウンドビュー・システム（１）。
評価ユニット（１０）が、認識されたオブジェクト（３）の３Ｄ形状を、捕捉ユニット（２０）によって捕捉された周辺データから割り出すことができる様に構成されている
ことを特徴とする請求項１及び２に記載のサラウンドビュー・システム（１）。
評価ユニット（１０）が、周辺データ内のオブジェクト（３）によって覆い隠された領域を、周辺データを、調整された投影面（１６）上に投影する際に、定義された色やパターンで補う様に構成されている
ことを特徴とする先行請求項のうち一項に記載のサラウンドビュー・システム（１）。
評価ユニット（１０）が、周辺データ内のオブジェクト（３）によって覆い隠された領域を、周辺データを、調整された投影面（１６）上に投影する際に、その周りの周辺データを補間によって補う様に構成されている
ことを特徴とする請求項１から４のうち一項に記載のサラウンドビュー・システム（１）。
評価ユニット（１０）が、周辺データ内のオブジェクト（３）によって覆い隠された領域を、周辺データを、調整された投影面（１６）上に投影する際に、オブジェクト（３）の前面の周辺データの鏡像で補う様に構成されている
ことを特徴とする先行請求項のうち一項に記載のサラウンドビュー・システム（１）。
評価ユニット（１０）が、周辺データ内のオブジェクト（３）によって覆い隠された領域を投影面（１５）から削除する様に構成されている
ことを特徴とする請求項１から４のうち一項に記載のサラウンドビュー・システム（１）。
請求項１から８のうち何れか一項に記載のサラウンドビュー・システム（１）を備えた車両（２）。
以下のステップを包含することを特徴とするサラウンドビュー・システムの投影面を調整するための方法；
－捕捉ユニットによって周辺データを捕捉するステップ（Ｓ１）；
－捕捉された周辺データ内にオブジェクトを認識するステップ（Ｓ２）；
－認識されたオブジェクトの３Ｄ形状を割り出すステップ（Ｓ３）；
－割り出された３Ｄ形状を、捕捉された周辺データ用のサラウンドビュー・システムの投影面に加えるステップ（Ｓ４）；並びに、
－周辺データを調整された投影面に投影するステップ（Ｓ５）。
サラウンドビュー・システムの評価ユニット上で実施され、該サラウンドビュー・システムが、請求項１０に記載の方法を実施するように導くプログラム・エレメント。
請求項１１に記載のプログラム・エレメントが、保存されていることを特徴とするコンピュータによって読み取り可能な媒体。