JP6776440B2 - 動力車両を運転する際に動力車両のドライバーを支援する方法、ドライバー支援システム及び動力車両 - Google Patents

Description

発明は、動力車両を運転する際に動力車両のドライバーを支援するための方法に関し、少なくとも１つの車両側カメラによって動力車両の環境領域から取得される画像データに基づいて、車両側表示装置上で表示するために環境領域の少なくとも１つの画像が生成される。さらに、発明は、ドライバー支援システム及びそのようなドライバー支援システムを備えた動力車両に関する。

例えば車両側カメラシステムによって取得される動力車両の環境領域を車両側表示装置に表示することによって、動力車両を運転する際に動力車両のドライバーを支援することは従来技術から既に知られている。そこでは、また、いわゆる第三者視点から、環境領域の三次元表現が表示装置にますます表示されている。そのような第三者の視点は、車両の外部のビューアー、いわゆる仮想カメラ、の眺望から動力車両の環境領域及び動力車両自体を示し、特にドライバーにとって直感的な環境領域の眺望を提示する。第三者視点を作り出すために、環境領域の画像は通常、車両側カメラシステムの画像データから決定され、それは仮想カメラの位置で実際のカメラによって取得されたかのような印象を与える。

通常、車両側カメラシステムの画像データのみが第三者視点を作り出すために利用可能であるので、車両側カメラシステムとは反対側を向いているオブジェクトであって、それによってカメラシステムの捕捉範囲の外側にあるオブジェクトの側部を捕捉することは可能ではない。このように仮想カメラの位置を任意に選択することができず、あるいはドライバーにとって直感的ではない環境領域の画像が生成され、それによってドライバーは現在の交通状況やシーンを信頼できるようには推定することができない。

さらに、魚眼レンズを具備するカメラの場合、オブジェクトの大きさの認知は動力車両に対するオブジェクトの位置に依存するということが起こりうる。これはまた、表示装置において環境領域での現在のシーンの非直感的表示をもたらしうる。さらに、様々なカメラの画像データ、例えば動力車両のフロントカメラ及び側部カメラの画像データ、を結合又はつなぎ合わせる際に、オブジェクトがカメラの撮影範囲間で変化してそれによって死角スポット内にある場合、情報が失われうる。この情報の損失は、環境領域の誤って生成される画像をももたらしうる。

本発明の目的は、動力車両のドライバーが動力車両を運転する際に支援されることができるように、動力車両の環境領域をどのように確実に捕捉することができるかという解決策を提供することである。

発明によれば、この目的は、それぞれの独立請求項による方法、ドライバー支援システム及び動力車両によって解決される。発明の有利な実施形態は、従属請求項、明細書、及び図面の主題である。

少なくとも１つの車両側カメラにより動力車両の環境領域から取得される画像データに基づいて、動力車両を運転する際に動力車両のドライバーを支援するための方法の一実施形態では、環境領域の少なくとも１つの画像が、車両側表示装置における表示のために作り出される。特に、環境領域における他の車両が画像データに基づいて識別され、他の車両が環境領域の少なくとも１つの画像において車両のモデルと置き換えられる。

動力車両を運転する際に動力車両のドライバーを支援する方法において、少なくとも１つの車両側カメラによって動力車両の環境領域から取得される画像データに基づき、環境領域の少なくとも１つの画像が、車両側表示装置における表示のために、好ましくは作り出される。さらに、画像データに基づき環境領域において他の車両が識別され、他の車両は環境領域の少なくとも１つの画像において車両のモデルと置き換えられる。

このように、環境領域の少なくとも１つの画像が車両側表示装置に表示されるというように、動力車両を運転する際にドライバーを支援する方法によって、ドライバー支援システムが実現されうる。特に、環境領域のビデオシーケンスが車両側表示装置に表示され、それによって動力車両のドライバーは、表示装置によってほぼリアルタイムで環境領域を認知することができる。そこでは、画像データに基づいて第三者視点が好ましくは作られ、当該画像データからは、環境領域において動力車両からスペースをおいて位置する仮想カメラの姿勢を決めることによって且つ仮想カメラの眺望からの少なくとも１つの画像を決めることによって、動力車両と一緒に環境領域が少なくとも１つの画像において表される。その少なくとも１つの画像は、例えば、動力車両の室内ミラーにおいて及び／又はセンターコンソールにおけるスクリーンに及び／又はヘッドアップディスプレイに提示される。したがって、その画像は、特に車両の外部の観察者の眺望からの、環境領域の三次元表現を示す。それにおいて、動力車両自体は画像におけるモデルとして表されることができる。

それにおいて、少なくとも１つの画像は、特に動力車両のいわゆるサラウンドビューカメラシステムの画像データに基づいて作り出され、サラウンドビューカメラシステムは、例えば、複数のカメラを有することができ、当該複数のカメラは動力車両において分散して配置される。それに加え、動力車両は、例えばフロントカメラ、リアカメラ及び２つのウイングミラーカメラを含むことができる。それにおいて、カメラはいわゆる魚眼レンズを装備することができ、当該魚眼レンズによってそれぞれのカメラの撮影範囲が増大される。環境領域の少なくとも１つの画像は、この画像データから、例えば画像データを結合又はつなぎ合わせることによって生成される。それにおいて、第三者視点であって、当該第三者視点から動力車両とともに環境領域が画像において表されるような第三者視点が、例えばドライバーによって事前設定されている環境領域における仮想カメラの姿勢により、動力車両のドライバーによって変更されうることが特に提供されうる。それに加えて、ドライバーは、例えば複数の所定の姿勢のうちの１つ、したがって仮想カメラの位置及び向きを選択することができ、及び／又は、例えばジェスチャ操作によって仮想カメラの姿勢を自由に選択することができる。

画像データに基づいて、他の車両を、例えば物体認識アルゴリズムによってさらに認識することができる。それにおいて、他の車両は特に動力車両に接近する車両である。他の車両は、例えば前方から動力車両に接近して動力車両を通過することができる。この他の車両は、実際の車両を表すことになるモデル、特に３次元モデルすなわち３Ｄモデル、に置き換えられることができる。それに加えて、他の車両に関連づけられるその画像データは、例えば識別され又は抽出されることができ、他の車両のモデルを描く画像データと置き換えられることができる。言い換えれば、これは、実際に撮影された他の車両が少なくとも１つの画像において表示装置に表示されず、その車両がモデル化されることを意味する。したがって、他の車両を表す人工的に生成された部分画像エリアが、環境領域の少なくとも１つの画像に挿入される。それにおいて、動力車両の環境領域において位置づけられ、且つ、環境領域の少なくとも１つの画像に挿入される他の複数の車両のために、モデルが決められることができる。

三次元モデルは、それが完全に定められることができ、したがってモデルがすべての視点から表されることができるという利点を有する。したがって、仮想カメラの姿勢は、有利には、他の車両が、それが例えばある領域において少なくとも１つのカメラの捕捉範囲の外側にある場合に、完全に表現され及び描かれることもできるように、自由に選択されることができる。したがって、少なくとも１つの車両側カメラから離れる方向に向けられた他の車両の側部も、モデルによって視覚化されることができる。モデルのサイズも事前設定され又は制御されることができる。したがって、魚眼レンズを備えたカメラの場合において、他の車両が、動力車両に対するその車両の位置に応じて、ビデオシーケンス内において非現実的なサイズで例えば突然不規則にそのサイズを変化するように表示されることを防ぐことができる。このように、画像において他の車両をその車両の３Ｄモデルと置き換えることにより、他の車両の正しいサイズ比を有する現在の交通状況の直感的な画像が、表示装置においてシーン内に提示されることができる。これにより、ドライバーは確実に環境領域を認知し、交通状況を正しく評価することができる。

それにおいて、仮想カメラの決められた姿勢のために他の車両が仮想カメラの仮想捕捉範囲の外側にある場合に、及び／又は、仮想カメラの決められた姿勢のために他の車両が少なくともある領域において少なくとも１つの車両側カメラの捕捉範囲の外側にある場合に、他の車両のモデルが少なくとも１つの画像内に挿入されることが提供されうる。したがってこの実施形態によれば、他の車両のモデルは、他の車両の表示が実際のカメラの画像データに基づいて生成されることができないような視点から、他の車両が仮想カメラによって「捕捉」される場合に、特に挿入される。例えば、これは、実際のカメラの撮影範囲にはない仮想カメラの選択された姿勢によって他の車両のエリアが表示装置において表される場合に、このエリアが例えば車両側カメラから遠ざかる方向に向けられているので、起こりうる。そのような姿勢の場合でもこの視点を提供することができるようにするために、所望の視点から提示されることができる他の車両のモデルが使用される。代替的に又は追加的に、他の車両が選択された視点により画像において見られず、したがって他の車両の画像データが画像を生成するための画像合成に組み込まれない場合に、モデルが提供されることもできる。したがって、仮想カメラの任意の姿勢を有利には事前設定することができ、それによって環境領域の任意の現実的な眺望を生み出すことができる。

特に好ましくは、動力車両に対する他の車両の距離が検出され、動力車両に対する他の動力車両の距離が所定の閾値を下回るとすぐに、環境領域の画像において他の動力車両がモデルと置き換えられる。例えば、その距離は、画像データ自体に基づいて及び／又は車両側距離センサによって、例えばレーダセンサ、超音波センサ及び／又はライダセンサによって、取得されることができる。これは、動力車両に対するその車両の距離が閾値を下回るまで、取得された動力車両が画像において表されることを意味する。閾値を下回ると、他の車両はモデルに置き換えられる。この実施形態は、このケースでは他の車両の正しい表示が動力車両に対するその車両の位置に依存するので、死角を有するカメラシステム及び／又は魚眼レンズを有するカメラを有するカメラシステムにおいて特に有利である。したがって、その車両が、他の動力車両の正しい表示がもはや保証され得なくなるような動力車両に対する位置を有するとすぐに、他の動力車両を表すモデルが画像に挿入される。

好ましくは、他の車両の少なくとも１つの特徴が決定され、他の車両を表すためのモデルが少なくとも１つの特徴に応じて決定される。特に、他の車両のブランド及び／又はタイプ及び／又は色が特徴として決定され、その車両のブランド及び／又はタイプ及び／又は色を表すモデルが決定される。言い換えれば、これはモデルの外観が他の車両に適合されることを意味する。そのモデルは、例えばそれが実際の車両と同じ色を有するように作り出される。それに加えて、他の車両の少なくとも１つの特徴は、例えば、分類方法、例えばサポートベクター法（ＳＶＭ−「Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ」）及び／又は機械学習、特に「深層学習（ｄｅｅｐ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）」によって決定されることができる。したがって、少なくとも１つの画像に表される環境領域の交通状況又はシーンは、動力車両のドライバーにとって特に現実的に構成されることができる。したがって、ドライバーは、画像における撮影された車両とモデルとの間の変化によって邪魔されたり混乱させられたりしないので、運転の仕事に集中することができる。

それにおいて、それぞれの参照モデルが所定の参照特徴と関連付けられ、参照モデルのうちの１つが、モデルとして選択され且つ少なくとも１つの決定された特徴に基づいて少なくとも１つの画像内に挿入されることを提供することができる。これは、様々な参照モデルを有するリストが、例えば車両側の記憶装置に及び／又はインターネットベースのデータベースに、記録されていることを意味する。それにおいて、参照モデルはあるブランド及び／又はモデル及び／又は色の車両を描写する。そして、取得される特徴に応じて、対応する参照モデルが選択されて画像内に挿入される。したがって、モデルは、とりわけ簡単かつ迅速な方法で、また少ない計算量で決定されることができる。したがって、他の接近車両が例えば動力車両までの距離を下回る場合に、それは例えば特に迅速に応答することができ、モデルは特に画像内に挿入されることができる。それにおいて、車両側データベースは、好ましくは最初に参照モデルに関して検索される。対応する参照モデルが車両側データベースに記録されていない場合、車両の外部のデータベースを検索することができる。そして、そこに記録された参照モデルはダウンロードされことができ、将来のレンダリングのために車両側データベースに保存されることができる。

好ましくは、他の車両における少なくとも１つの特徴を表す所定のオブジェクトが画像データに取り込まれ、少なくとも１つの特徴はオブジェクトに基づいて決められる。これは、他の車両のブランド及び／又はタイプ及び／又は色が、例えば直接的には取得されないが、オブジェクトが他の車両の特徴を一意的に表すことを意味する。特に好ましくは、他の車両の登録指定を有する公式ライセンスプレートがオブジェクトとして捕捉され、他の車両の少なくとも１つの特徴が登録指定に基づいて決定される。その特徴は、例えば、捕捉されたオブジェクトが関連の特徴と共に記録されている車両の内部及び／又は車両の外部のデータベースを検索することによって、例えばインターネットに基づいて、決められることができる。

これは、他の車両のナンバープレート又は公式のライセンスプレートが、例えば物体認識又はパターン認識によって取得されることを意味する。数字及び／又は英数字の登録指定も、例えばテキスト認識（ＯＣＲ−「光学式文字認識」）によって取得される。この登録指定についてデータベースを検索することができ、それには登録指定に関連する特徴、例えば他の車両のブランド、ならびにモデル及び色が記録されている。さらに、少なくとも１つの特徴、例えば他の車両の色が直接的に取得され、データベースに記録された色と比較されることを提供することができる。それによって、登録指定に対してデータベースに記録されている車両が、少なくとも１つの車両側カメラにより撮影された車両に対応するかを確認することができる。直接的に取得された特徴は、機械学習アルゴリズムの入力変数としても使用されることができる。例えば、他の車両の画像をライセンスプレートと一緒にサーバにアップロードすることができる。これにより、分類アルゴリズムの性能を向上させることができるように、他の車両の代替の眺望が提供される。登録指定をテキスト認識によって取得することによって、他の車両に関する複数の情報を特に速い方法でそしてわずかな計算労力で抽出することができ、それによって他の車両の現実的で正確なモデルを決定することができる。

本発明の発展では、他の車両のオブジェクトが画像に挿入され、他の車両を表すモデルと共に描かれる。これは、例えば公式のライセンスプレートがモデルに挿入され、したがって車両側表示装置において他の車両のモデルが実際の公式のライセンスプレートと共に環境領域の画像に描かれることを意味する。これにより、表示装置を見る際に、まるでモデルではなく実際の車両が表示装置に表示されているような、ドライバーに対する印象が生じる。

代替的に又は追加的に、少なくとも１つの特徴は他の車両から車両側通信装置に無線で通信される。この通信は、車両間通信又はＣａｒ２Ｃａｒ通信とも呼ばれる。さらに、他の車両は、例えば位置座標、特にＧＰＳデータ、を動力車両に通信することもできる。したがって、動力車両に対する他の車両の位置は、位置座標と、環境領域を表す環境マップとに基づいて決定されることができ、したがってモデルは、動力車両に対する対応の位置で画像内に挿入されることができる。

動力車両に対する他の車両の向きが取得され、画像におけるモデルの向きが他の車両の向きに応じて決められると有利であることが分かっている。代替的に又は追加的に、少なくとも１つの環境条件、特に照明条件が取得され、モデルは少なくとも１つの環境条件に適合される。他の車両の向きを取得することによって、画像におけるモデルの向きが他の車両の実際の向きと一致するようにモデルを画像に挿入することによって、画像をとりわけ現実的に決めることができる。照明条件も決定されることができる。それに加え、例えば、日中、街路照明及び／又は影の存在が捕捉されることができる。そして、モデルは、環境領域において現在存在する環境条件にそれが適合するように、変更される。そして、モデルは、例えば対応するように明るくされ、従って環境領域において現在存在する照明条件で表される。

方法の有利な実施形態において、他の車両は、少なくとも１つのカメラとは異なるセンサ装置によって追加的に捕捉される。そのようなセンサ装置は、例えば、超音波センサ、ライダセンサ及び／又はレーダセンサとすることができ、それによって、環境領域を表す環境マップを生成及び更新することができる。それにより、他の車両が例えば少なくとも１つのカメラの捕捉範囲から消えてオブジェクト、例えば公式のライセンスプレート、がもはや見えない場合でも、他の車両の３Ｄモデルを表示できるように、他の車両をトレース又は追跡して環境マップに登録することができる。

さらに、発明は、動力車両のドライバーが動力車両を運転するのを支援するためのドライバー支援システムに関する。一実施形態によれば、ドライバー支援システムは、動力車両の環境領域から画像データを取得するための少なくとも１つのカメラと、環境領域の少なくとも１つの画像を作り出すための評価装置と、少なくとも１つの画像を表示するための表示装置とを有する。さらに、評価装置は、画像データに基づいて環境領域における他の車両を識別し、環境領域の少なくとも１つの画像において他の車両を車両のモデルと置き換えるように、適合されることができる。好ましくは、ドライバー支援システムは、動力車両の環境領域から画像データを取得するための少なくとも１つのカメラと、環境領域の少なくとも１つの画像を作り出すための評価装置と、少なくとも１つの画像を表示するための表示装置とを有する。評価装置は、画像データに基づいて環境領域における他の車両を識別し、環境領域の少なくとも１つの画像において他の車両を車両のモデルと置き換えるように、適合される。

発明による動力車両は、発明によるドライバー支援システムを含む。特に、動力車両は乗用車として形成される。

発明による方法及びその利点に関して提示される好ましい実施形態は、発明によるドライバー支援システムに対して及び発明による動力車両に対してそれに応じて適用する。

「後ろ」、「前」、「車両縦軸」、「横」、「外側」、「右」、「左」などの表現によって、動力車両の車両縦軸の方向に観察者が見た場合に与えられる位置及び向きが特定される。

発明のさらなる特徴は、特許請求の範囲、図面及び図面の説明から明らかである。明細書において上述した特徴及び特徴の組み合わせ、ならびに図の説明及び／又は図面中で単独で示される特徴及び特徴の組み合わせは、それぞれ特定されている組み合わせだけではなく、発明の範囲から逸脱することなく他の組み合わせで又は単独でも使用可能である。したがって、図面において明示的に示されておらず説明されていないが、説明されている実施形態からの分離した特徴の組み合わせから生じる及び当該組み合わせによって生み出されることができる実施形態もまた、発明によって包含及び開示されると見なされるべきである。したがって、当初に記載された独立請求項の特徴を全部は有していない実施形態及び特徴の組み合わせも開示されていると見なされるべきである。さらに、特許請求の範囲の関連において立案されている特徴の組み合わせを超えて広がる又は当該特徴の組み合わせから逸脱する実施形態及び特徴の組み合わせは、特に上記で立案されている実施形態によって、開示さているものとしてみなされるものである。

添付の図面を参照し、並びに、好ましい実施形態に基づいて、発明をより詳細に説明する。
そこでは以下を示す：
図１は、発明による動力車両の一実施形態の概略図である。 図２は、発明によるドライバー支援システムの一実施形態の概略図である。 図３ａは、ビデオシーケンスのフレームの概略図である。 図３ｂは、ビデオシーケンスのフレームの概略図である。 図３ｃは、ビデオシーケンスのフレームの概略図である。 図３ｄは、ビデオシーケンスのフレームの概略図である。 図３ｅは、ビデオシーケンスのフレームの概略図である。 図４は、更なる画像の概略図である。 図５は、発明による方法の一実施形態の概略図である。 図６は、発明による方法の一実施形態を実現するためのシステムアーキテクチャの概略図である。

図面において、同一及び機能的に同一の要素には同一の参照符号が付されている。

図１は、本ケースでは乗用車として形成されている、動力車両１を示す。動力車両１は、動力車両１を運転する際に動力車両１のドライバーを支援することができるドライバー支援システム２を含む。ドライバー支援システム２は、動力車両１の環境領域５から画像データを取得するように適合された少なくとも１つの車両側カメラ３を有する。本ケースにおいて、ドライバー支援システム２は４つの車両側カメラ３を有し、当該車両側カメラ３によってサラウンドビューカメラシステムが形成される。それにおいて、ドライバー支援システム２は、動力車両１の前方エリア４に取り付けられ、動力車両１の前方の環境領域５を監視するように働く第１のカメラ３と、動力車両１の後方エリア６に取り付けられ、動力車両１の後方の環境領域５を監視するように働く第２のカメラ３と、動力車両１の左側部７に取り付けられ、動力車両１の脇の左方の環境領域５を監視するように形成される第３のカメラ３と、動力車両１の右側部８に取り付けられ、動力車両１の脇の右方の環境領域５を監視するように働く第４のカメラ３と、を含む。側部７、８に取り付けられるカメラ３は、例えば、動力車両１のウイングミラーに、又は、ウイングミラーの代わりに動力車両１に、取り付けられることができる。カメラ３は、例えば魚眼レンズを有することができ、当該魚眼レンズによってそれぞれのカメラ３の捕捉が増大される。

図２に追加的に概略的に示されているドライバー支援システム２は、例えばビデオプロセッサとして形成されている評価装置９を追加的に有することができる。ビデオプロセッサ９は、カメラ３によって捕捉される画像データを処理するように、そしてビデオシーケンスの形態で車両側表示装置１０に表示されることができる画像を生成するように働く。さらに、ドライバー支援システム２は、車両側記憶装置１１及び通信インターフェース１２を有することができる。ドライバー支援システム２は、通信インターフェース１２を介して、車両の外部の装置１３、例えば他の車両の又はインターネットベースのデータベース、と通信することができる。

ここで、動力車両１を運転する際に動力車両１のドライバーを支援するために、ビデオシーケンスが、連続して表示される画像Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５の形で車両側表示装置１０に表示される（図３ａ〜図３ｅ参照）。それにおいて、環境領域５が、特に第三者の視点からの画像Ｂ１〜Ｂ５において表わされる。これは、動力車両１及び環境領域５が外部の観察者の視点から表示されることを意味する。それに加え、仮想カメラ１４の姿勢Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８が決定される。ここで、仮想カメラ１４の姿勢Ｐ１〜Ｐ８は、図１に示すように、動力車両１の周囲を延びる楕円軌道１５上にある。個々の姿勢Ｐ１〜Ｐ８は、例えば、入力装置を介して動力車両１のドライバーによって選択されうる。

それにおいて、画像Ｂ１〜Ｂ５が、選択される姿勢Ｐ１〜Ｐ８、例えば第１の姿勢、における仮想カメラ１４のカメラ視点に対応する視点から生じるように、カメラ３の画像データはビデオプロセッサ９によって処理される。図３ａ〜図３ｅは、時間的に連続して生成されるビデオフレーム、すなわち画像Ｂ１〜Ｂ５、を示す。それにおいて、動力車両１の環境領域５が図３ａの第１の画像Ｂ１に基づいて示されており、別の車両１６が画像Ｂ１において追加的に配置されている。他の車両１６は、前方から動力車両１に接近し、動力車両１に対して第１の距離を有する。図３ｂにおいて、時間的に第１の画像Ｂ１の後に生成される第２の画像Ｂ２が示されている。車両１６は動力車両１に向かって移動したところであり、第１の距離と比べてより短い動力車両１までの第２の距離を有する。図３ｃにおいて、時間的に第２の画像Ｂ２の後に生成された第３の画像Ｂ３が示されている。動力車両１６は動力車両１に向かってさらに移動したところであり、第２の距離と比べてより短い動力車両１までの第３の距離を有する。図３ｄにおいて、時間的に第３の画像Ｂ３の後に生成された第４の画像Ｂ４が示されており、当該第４の画像Ｂ４において車両１６は、それが第３の距離よりも短い第４の距離を有する位置まで動力車両１に近づいており、それによって第４の画像Ｂ４を生成する際に動力車両１と他の車両１６との間のサイズ比が非現実的に表される。図３ｅによる時間的に第４の画像Ｂ４の後に生成された第５の画像Ｂ５においても、他の車両１６は、動力車両１まで、第４の距離と比べてより短い第５の距離を有し、他の車両１６の不均衡なサイズ変化が示される。ここで、非現実的に表されたサイズ比は、例えば、車両１６が動力車両１の側部７の近くを通り過ぎることによって生じ、それによって横方向カメラ３及びスケールが不規則に変化する。

さらに、図４には、姿勢Ｐ７において仮想カメラ１４により取得された画像Ｂ６として画像データから生成された動力車両１及び環境領域５のさらなる画像Ｂ６が示されている。ここで、仮想カメラ１４のカメラ視点は、動力車両１の後方左側から動力車両１への眺望方向に対応する。ここで、他の車両１６が仮想カメラ１４の仮想の撮像範囲外にあるため、表示装置１０に表示される画像Ｂ６において他の車両１６が見えないことが示されている。これとともに図３ｄ及び図３ｅに示される車両１６の不正確なスケーリングを防止するために、表示装置１０において提示される画像Ｂ４、Ｂ５、Ｂ６には、車両１６の代わりに車両１６の三次元モデルＭが表示される。例えば、他の車両１６の距離が所定の閾値を下回った場合、及び／又は、他の車両１６が仮想カメラ１４の仮想撮像範囲外である場合、モデルＭが挿入される。

モデルＭを決定するために、その実施形態が図５に例示的に示されている方法を、実行することができる。それにおいて、その方法は、動力車両１の環境領域５における複数の他の車両１６のために使用されることができる。図６に、その方法を実現するためのシステムアーキテクチャが示されている。それに加え、例えば前方に配置されたカメラ３の画像データ１７において他の車両１６が特定される。図５には、他の車両１６を有する画像部分１８が拡大された方法でさらに示されている。さらに、画像データ１７に基づいて他の車両１６の特徴３５を捕捉し、そしてそれに基づいてモデルＭが決定される。特徴３５は、例えば、他の車両１６のブランド、タイプ、色、製造年、エンジンタイプなどでありうる。それにおいて、特徴３５を決定するために、他の車両１６におけるオブジェクト１９を捕捉することができる。本ケースでは、オブジェクト１９は公式のライセンスプレート２０として構成されている。公式のライセンスプレート２０は、方法ステップ２１において、例えば物体認識により、画像データ１７において認識される。さらなる方法ステップ２２において、登録表示２３が認識される。例えば文字及び数字の列を含むことができる登録表示２３は、簡単かつ迅速な方法でテキスト認識によって画像データ１７において認識されることができる。さらなる方法ステップ２４において、ここでは、車両の外部のデータベース２５のような、車両の外部の装置１３が、登録表示２３に関連付けられた他の車両１６の特徴３５について検索される。ここで、車両の外部のデータベース２５はインターネットベースのデータベースである。例えば、ドライバー支援システム２は、通信インターフェース１２を介してインターネット３２にアクセスし、したがって車両の外部の装置１３にアクセスすることができる。

さらに、方法ステップ２６において、ライセンスプレート２０に対応する車両１６の特徴３５が記録されているデータベース２５のエントリーが識別される。データベース２５のエントリーは、例えばダウンロードされて車両側記憶装置１１に記憶されることができる。このエントリーに基づいて、他の車両１６を記述し且つ表す３ＤモデルＭが方法ステップ２７において決定される。そのモデルＭは、例えば、参照モデルの形で、車両の外部のさらなるデータベース３３に、及び／又は、データベース３４も有しうる車両の内部の記憶装置１１に、記録されることができる。

そして方法ステップ２８において、データベース２５に記録された車両１６の色が、画像データ１７に基づいて決定されることができる車両１６の実際の色と比較されることができる。これは、モデルＭが実際に車両１６に対応し、それを正しく表しているかどうかを調べるのに役立つ。また、画像データ１７に基づいて環境条件、例えば照明条件が決定される。モデルＭのレンダリングの間に、方法ステップ２９において、これらの照明条件、例えば日中又は夜間の照明条件、影の投射又は街路照明、を考慮に入れることができる。方法ステップ３０では、ステップ３１で他の車両１６の現実的なモデルＭが画像Ｂ４、Ｂ５、Ｂ６に挿入されることができるように、公式のライセンスプレート２０がモデルＭに追加的に挿入される。

少なくとも１つの特徴３５についてデータベースを検索することに代えて又は加えて、動力車両１は、通信インターフェース１２を介して、特にＣａｒ２Ｃａｒ通信を介して、他の車両１６とも通信することでき、それによって他の車両１６が直接的に特徴３５、例えば色、ブランド等、を動力車両１に送信することができる。

Claims (13)

1. 動力車両（１）のドライバーを前記動力車両（１）を運転する際に支援する方法であって、少なくとも１つの車両側カメラ（３）によって前記動力車両（１）の環境領域（５）から取得される画像データ（１７）に基づいて、車両側表示装置（１０）において表示するために前記環境領域（５）の少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）が生成され、
   前記画像データ（１７）に基づいて前記環境領域（５）における他の車両（１６）が識別され、前記環境領域（５）の前記少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）において前記他の車両（１６）が車両のモデル（Ｍ）に置き換えられ、
   前記他の車両（１６）のブランド、タイプ及び色のうちの少なくとも１つに関する特徴（３５）が決められ、前記特徴（３５）を表すモデル（Ｍ）が決められ、
   前記動力車両（１）に対する前記他の車両（１６）の向きが捕捉され、前記少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）における前記モデル（Ｍ）の向きが前記他の車両（１６）の向きに応じて決められること、及び／又は、少なくとも１つの環境条件が取得され、前記モデル（Ｍ）が前記少なくとも１つの環境条件に適応されることを特徴とする方法。
2. 動力車両（１）のドライバーを前記動力車両（１）を運転する際に支援する方法であって、少なくとも１つの車両側カメラ（３）によって前記動力車両（１）の環境領域（５）から取得される画像データ（１７）に基づいて、車両側表示装置（１０）において表示するために前記環境領域（５）の少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）が生成され、
   前記画像データ（１７）に基づいて前記環境領域（５）における他の車両（１６）が識別され、前記環境領域（５）の前記少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）において前記他の車両（１６）が車両のモデル（Ｍ）に置き換えられ、
   前記他の車両（１６）のブランド、タイプ及び色のうちの少なくとも１つに関する特徴（３５）が決められ、前記特徴（３５）を表すモデル（Ｍ）が決められ、
   前記動力車両（１）までの前記他の車両（１６）の距離が検出され、前記動力車両（１）までの前記他の車両（１６）の距離が所定の閾値を下回るとすぐに、前記環境領域（５）の前記少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）において前記他の車両（１６）が前記モデル（Ｍ）に置き換えられることを特徴とする方法。
3. 第三者視点が前記画像データ（１７）に基づいて作り出され、前記環境領域（５）における仮想カメラ（１４）の姿勢（Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８）を決めることによって及び前記仮想カメラ（１４）の眺望から前記少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）を決めることによって、前記第三者視点から、前記動力車両（１）とともに前記環境領域（５）が前記少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）において表されることを特徴とする請求項１又は２に記載の方法。
4. 前記仮想カメラ（１４）の決められた姿勢（Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８）のために前記他の車両（１６）が前記仮想カメラ（１４）の仮想捕捉範囲の外側にいる場合に、及び／又は、前記仮想カメラ（１４）の決められた姿勢（Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８）のために前記他の車両（１６）が少なくともあるエリアにおいて前記少なくとも１つの車両側カメラ（３）の捕捉範囲の外側にいる場合に、前記他の車両（１６）の前記モデル（Ｍ）が前記少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）に挿入されることを特徴とする請求項３に記載の方法。
5. それぞれの参照モデルが所定の参照特徴に関連付けられており、前記参照モデルのうちの１つが、決められた前記特徴（３５）に基づいて前記モデルとして選ばれ、前記少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）に挿入されることを特徴とする請求項１〜４のうちのいずれか一項に記載の方法。
6. 前記特徴（３５）を表す前記他の車両（１６）における所定のオブジェクト（１９）が前記画像データ（１７）において物体認識によって取得され、前記特徴（３５）が前記オブジェクト（１９）に基づいて決められることを特徴とする請求項１〜５のうちのいずれか一項に記載の方法。
7. 前記他の車両（１６）の登録指定（２３）を有する公式のライセンスプレート（２０）が前記オブジェクト（１９）として取得され、前記他の車両（１６）の前記特徴（３５）が前記登録指定（２３）に基づいて決められることを特徴とする請求項６に記載の方法。
8. 前記特徴（３５）は、取得される前記オブジェクト（１９）が関連付けられる前記特徴（３５）とともに記録されている車両の内部の及び／又は車両の外部のデータベース（２５、３４）を検索することによって決められることを特徴とする請求項６又は７に記載の方法。
9. 前記他の車両（１６）の前記オブジェクト（１９）は、画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）に挿入され、前記他の車両（１６）を表す前記モデル（Ｍ）と一緒に描かれることを特徴とする請求項６〜８のうちのいずれか一項に記載の方法。
10. 前記特徴（３５）は、前記他の車両から車両側通信装置（１２）に無線で通信されることを特徴とする請求項４〜９のうちのいずれか一項に記載の方法。
11. 前記他の車両（１６）は、前記少なくとも１つのカメラ（３）とは異なるセンサ装置によって追加的に捕捉されることを特徴とする請求項１〜１０のうちのいずれか一項に記載の方法。
12. 動力車両（１）のドライバーを前記動力車両（１）を運転する際に支援するドライバー支援システム（２）であって、前記動力車両（１）の環境領域（５）から画像データ（１７）を取得する少なくとも１つのカメラ（３）と、前記環境領域（５）の少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）を作り出す評価装置（９）とを備え、前記少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）を表示する表示装置（１０）を含み、
    前記評価装置（９）は、前記画像データ（１７）に基づいて前記環境領域（５）において他の車両（１６）を識別するように且つ前記環境領域（５）の前記少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）において前記他の車両（１６）を車両のモデル（Ｍ）に置き換えるように適応される一方で、前記他の車両（１６）のブランド、タイプ及び色のうちの少なくとも１つに関する特徴（３５）が決められ、前記特徴（３５）を表すモデル（Ｍ）が決められ、
    前記動力車両（１）に対する前記他の車両（１６）の向きが捕捉され、前記少なくとも１つの画像（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）における前記モデル（Ｍ）の向きが前記他の車両（１６）の向きに応じて決められること、及び／又は、少なくとも１つの環境条件が取得され、前記モデル（Ｍ）が前記少なくとも１つの環境条件に適応されることを特徴とするドライバー支援システム（２）。
13. 請求項１２に記載のドライバー支援システム（２）を有する動力車両（１）。

Images