JP5590688B2 - 車両の環境を表示するための視認システムおよび方法 - Google Patents

車両の環境を表示するための視認システムおよび方法 Download PDF

Info

Publication number
JP5590688B2
JP5590688B2 JP2013005364A JP2013005364A JP5590688B2 JP 5590688 B2 JP5590688 B2 JP 5590688B2 JP 2013005364 A JP2013005364 A JP 2013005364A JP 2013005364 A JP2013005364 A JP 2013005364A JP 5590688 B2 JP5590688 B2 JP 5590688B2
Authority
JP
Japan
Prior art keywords
vehicle
virtual
dimensional space
environment
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013005364A
Other languages
English (en)
Other versions
JP2013156981A (ja
Inventor
ガスマン ベルント
シヨル カイ−ウルリヒ
クヴァスト ヨハネス
Original Assignee
ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー filed Critical ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー
Publication of JP2013156981A publication Critical patent/JP2013156981A/ja
Application granted granted Critical
Publication of JP5590688B2 publication Critical patent/JP5590688B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/32—Image data format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Description

本発明は、車両の環境を表示するための視認システムおよび方法に関する。
グラフィックスパイプラインは、Ｗｉｋｉｐｅｄｉａの記事「Ｂｉｌｄｓｙｎｔｈｅｓｅ」、ｈｔｔｐ：／／ｄｅ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｂｉｌｄｓｙｎｔｈｅｓｅ（英語版：「Ｒｅｎｄｅｒｉｎｇ」（ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｎｄｅｒｉｎｇ）より知られている。仮想の観察者がいる場面では、視野体積は、２つのクリッピング平面によって範囲が定められる。その場面における全てのプリミティブは、仮想の観察者が、奥行き軸ｚに沿って見ているように変形される。場面が光源を含有する場合、色は、対応する三角形の材料の性質に基づき、各頂点に対して算出される。観察者の眺めから視認可能な場面の体積は、切頂角錐（錐台）である。この錐台は、次のステップで立方体へと変形する。部分的にまたは完全に視野体積の外側にあるプリミティブは、クリッピングおよびカリング技術を用いて、抜き出されるか、または除去される。最後に、頂点座標をスクリーンの所望の描画エリアへ移動させる変形が適用される。ｚ座標は、後の隠れた表面の決定のために必要であるため、同じままである。ラスタリングステップでは、全ての残っているプリミティブが、それらに属するピクセルを彩色することによってラスタリングされる。重なっている三角形の視認可能な部分のみが、表示されるべきであるため、隠れた表面の決定を実行する、ｚバッファが使用される。
欧州特許第ＥＰ １ ７２０ １３１ Ｂ１号は、実マーカーオブジェクトの識別を伴う、拡張現実システムを示す。拡張現実システムは、本物の言語環境を拡張させるために、実世界環境を見渡し、その画像データを生成し、仮想画像データをレンダリングし、仮想画像データを追加のオブジェクトデータと重畳するように構成される。実環境から受信された実画像データは、処理されかつ操作されてもよく、それによって、ユーザへ、仮想オブジェクトを含む画像を提供するように、「仮想」オブジェクトからのオブジェクトの画像データによって補充されてもよい。
本発明の目的は、可能な限り、車両用の視認システムを改善することである。
本目的は、独立請求項１の特徴を有する視認システムによって達成される。有利な改善点が、従属請求項の主題であり、本説明の中に含まれている。
それに基づいて、車両の視認システムが提供される。視認システムは、画像データの形式で、車両の環境の画像を記録するための、複数の画像キャプチャユニットを有する。視認システムは、出力画像を表示するための表示装置を有する。視認システムは、複数の画像キャプチャユニットおよび表示装置に接続される、演算ユニットを有する。
演算ユニットは、仮想三次元空間および表面を決定するように構成され、表面は、仮想三次元空間の範囲を少なくとも部分的に定める。
演算ユニットは、表面上への画像データの投影を算出するように構成される。
演算ユニットは、仮想三次元空間において、事前に定義されたデータからコンピュータで生成されたグラフィックとして、仮想車両オブジェクトを算出するように構成される。
演算ユニットは、仮想車両オブジェクトを含む視野体積をレンダリングすることによって、出力画像を生成するように構成される。視野体積は、表面によって範囲を定められる。視野体積は、仮想三次元空間の中の視点、および視角、ならびにズーム倍率に基づく。
本発明の特定の実施形態は、説明される通り、例えば、図との関連で、複数の利点を提供する。本システムは、ユーザに、表示部上に出力されてもよい、周辺視野を提供する。視点および視角は、ユーザにいつも環境の最適な視野を提供するように、必要に応じて自由に選択され変更されてもよい。ユーザは、車両オブジェクトを表示することによって、車両位置に対する環境を非常に簡単に捕捉することもでき、それによって、起こり得る衝突を予測することができる。
本発明の目的は、さらに、車両の環境を表示するために、できる限り改善されている方法を特定することである。
本目的は、独立請求項６の特徴を有する方法によって達成される。有利な改善点が、本説明の中に含まれている。
従って、車両の環境を表示するための方法が提供される。
方法では、車両の環境の画像が、複数の画像キャプチャユニットを用いて、画像データの形式で記録される。
方法では、出力画像が、表示装置を用いて表示される。
方法では、仮想三次元空間および表面が、演算ユニットを用いて決定される。仮想三次元空間は、表面によって少なくとも部分的に範囲を定められる。
方法では、表面上への画像データの投影が、演算ユニットを用いて算出される。
方法では、仮想車両オブジェクトは、演算ユニットを用いて、仮想三次元空間の中で、事前に定義されたデータからコンピュータで生成されたグラフィックとして算出される。
方法では、出力画像は、仮想車両オブジェクトを含む視野体積をレンダリングすることによって、演算ユニットを用いて生成される。視野体積は、表面によって範囲を定められる。視野体積は、例えば、表面によって奥行きの範囲を定められる。視野体積は、仮想三次元空間の中の視点、および視角、ならびにズーム倍率に基づく。
下に記載される実施形態は、システムおよび方法の両方に関する。
１つの有利な実施形態に従い、表面は、仮想車両オブジェクト、特に、車両オブジェクトの複数の側面に隣接する。車両オブジェクトは、有利に、表面に隣接するエリアを有する。
有利な実施形態に従い、演算ユニットは、形状を使用して表面を決定するように構成され、形状は、視点の側面から視認して陥凹状の湾曲を、少なくとも部分的に有する。
有利な実施形態に従い、演算ユニットは、車両オブジェクトに隣接し、曲面領域に延在するエリアにおいて、大部分水平であるように表面を決定するように構成される。車両オブジェクトに隣接する表面の領域は、好ましくは、車両オブジェクトの底部エリアと同じ平面上にある。
１つの有利な実施形態に従い、演算ユニットは、底部および壁を有する鉢の形状である表面を決定するように構成される。鉢形状の底部は、大部分は水平に、好ましくは、平面であるように設計される。鉢形状の壁は、曲面となるように設計される。
１つの有利な実施形態に従い、演算ユニットは、３つの空間方向において仮想三次元空間を決定するように構成され、仮想三次元空間は、空間方向のうちの少なくとも２つにおいて、表面によって範囲を定められる。これにより周辺視野が達成され、ユーザが、例えば、鳥瞰的な眺めから、車両の全周囲の環境を、完全にまたはセクションごとに視認することが可能になる。仮想三次元空間は、好ましくは、空間方向のうちの２つにおいて完全に範囲を定められ、もう１つの第３の空間方向において少なくとも部分的に範囲を定められる。
１つの有利な実施形態に従い、演算ユニットは、仮想三次元空間内の固定位置にある車両オブジェクトを決定するように構成される。車両オブジェクトは、好ましくは、例えば、車両の確認された動きの間、車両オブジェクトの仮想車輪を回転および／または旋回させるために、動画化される。
１つの有利な実施形態に従い、演算ユニットは表面上へ画像データを投影することによって、歪みを算出するように構成される。それによって、出力画像の中に環境のできるだけ大きな部分を出力し、運転手が自分の位置を確認するのをより簡単にするために、画像データ領域は圧縮されてもよい。
１つの有利な実施形態に従い、画像キャプチャユニットは、例えば、ＣＭＯＳカメラまたはＣＣＤカメラ等として設計される。画像キャプチャユニットは、好ましくは、大きな魚眼レンズ（広角度）を有する。１つの有利な実施形態に従い、表示装置は、タッチスクリーンまたは投影機等として設計される。
特に有利な実施形態に従い、演算ユニットは、視野体積を制御するように構成される。
視野体積を制御するために、演算ユニットは、好ましくは、仮想三次元空間の中の第１の座標と、仮想三次元空間の中の第２の座標との間で、視点を変更するように構成される。
視野体積を制御するために、演算ユニットは、好ましくは、仮想三次元空間の中の第１の方向と、仮想三次元空間の中の第２の方向との間で、視角を変更するように構成される。
視野体積を制御するために、演算ユニットは、好ましくは、第１のズーム値と第２のズーム値との間で、ズーム倍率を変更するように構成される。
演算ユニットは、好ましくは、ユーザにより確認された入力に基づき、視点、および／もしくは視角、ならびに／またはズーム倍率を変更するように構成される。演算ユニットは、好ましくは、特に、視点、および／もしくは視角、ならびに／またはズーム倍率を自動的に変更するように構成される。ユーザ入力は、本目的には必ずしも必要ではない。
特に有利な実施形態に従い、演算ユニットは、軌道に沿って連続して視点を変更するように構成される。このタイプの軌道は、例えば、円形状または楕円形状を有する。
特に有利な実施形態に従い、演算ユニットは、衝突確率を判定するように構成される。車両の領域と、環境の中のオブジェクトとの間の衝突の衝突確率は、車両の環境の中のオブジェクトへの、少なくとも１つの確認された距離に基づき判定される。例えば、車両の領域とオブジェクトとの間の距離が測定され、複数の閾値と比較される。例えば、衝突確率は、０（衝突なし）から１（衝突が差し迫っている）までの値の範囲中の値を有する。
１つの有利な実施形態に従い、演算ユニットは、環境の中の車両の動きと関連する、少なくとも１つの信号に基づき、車両の領域と環境の中のオブジェクトとの間の衝突の衝突確率を、加えて判定するように構成される。信号は、好ましくは、制御信号またはセンサ信号である。信号は、好ましくは、特に、前進および後退のギア選択、および／または車両の速度、および／または車両の加速、および／または衛星信号を用いて確認された位置の変化、および／または検知されたブレーキペダル位置、および／または検知されたアクセルペダル位置、および／または設定された方向指示器と関連する。
特に好ましい実施形態に従い、車両の各領域は、少なくとも１つの所定の視野体積と関連する。所定の視野体積は、領域と関連する車両オブジェクトの部分、および関連する部分に隣接する表面の表面領域を有する。演算ユニットは、閾値を衝突確率が上回る時、車両の領域と関連する所定の視野体積を制御するように構成される。そのため、車両の領域と関連する車両オブジェクトの部分、および関連する部分に隣接する表面の表面領域は、出力画像を生成するようにレンダリングされる。
本実施形態は、衝突の危険性がある場合に、車両の領域と、環境の中のオブジェクトとの間の空間を表示する、出力画像が動的に生成されるという利点を達成する。それゆえ、ユーザは、衝突の可能性をより正確に推定する場合がある。
衝突確率による閾値の超過を確認するために、衝突確率は、好ましくは、複数の、特に、固定閾値と比較される。閾値の超過と関連する視点は、表（ＬＵＴ‐参照テーブル）に基づき確認される。衝突確率は、例えば、値またはベクトルである。例えば、ベクトルは、車両の各領域に対して、関連する衝突確率値を有する。
別の有利な実施形態に従い、演算ユニットは、車両の動きと関連する、信号の複数の動作値を検出するためのインターフェースを有する。例えば、インターフェースは、データバスのセンサノードに接続するためのバス接続、および／またはアナログセンサ信号を評価するためのアナログ／デジタル変換器を有する。
上に記載した実施形態は、個別でも組み合わせても特に有利である。全ての実施形態は、互いに組み合わせられてもよい。幾つかの可能な組み合わせは、図中の例示的実施形態の記述において説明される。しかしながら、可能な実施形態の特徴を組み合わせるために、その中に図示されるこれらの可能性は、最終的なものではない。
例えば、本願発明は以下の項目を提供する。
（項目１）
車両（１００）の視認システムであって、
画像データ（ＲＡＷ）の形式で、上記車両（１００）の環境（９００）の画像を記録するための、複数の画像キャプチャユニット（１１０、１２０、１３０、１４０）と、
出力画像（３３０）を表示するための表示装置（３００）と、
上記複数の画像キャプチャユニット（１１０、１２０、１３０、１４０）、および上記表示装置（３００）に接続される、演算ユニット（２００）と、を備え、
上記演算ユニット（１００）は、
仮想三次元空間（６００）および上記仮想三次元空間（６００）を少なくとも部分的に限定する表面（６９０）を決定し、
上記表面（６９０）上への上記画像データ（ＲＡＷ）の投影を算出し、
上記仮想三次元空間（６００）の中に、所定のデータ（Ｏｂｊ）からコンピュータで生成されたグラフィックとして、仮想車両オブジェクト（５００）を算出し、
上記仮想車両オブジェクト（５００）を含む視野体積（７１１、７２１）をレンダリングすることによって、上記出力画像（３３０）を生成するように構成され、上記視野体積（７１１、７２１）は、上記表面（６９０）によって範囲を定められ、上記視野体積（６９０）は、上記仮想三次元空間（６００）内の、視点（７１０、７２０）、および視角（７１２、７２２）、ならびにズーム倍率（７２４）に基づく、視認システム。
（項目２）
上記視野体積（７１１、７２１）を制御するために、上記演算ユニット（２００）は、
上記仮想三次元空間（６００）内の第１の座標と、上記仮想三次元空間（６００）内の第２の座標との間で、上記視点（７１０、７２１）を変更し、
上記仮想三次元空間（６００）の中の第１の方向と、上記仮想三次元空間（６００）の中の第２の方向との間で、上記視角（７１２、７２２）を変更し、
かつ／または
第１のズーム値と第２のズーム値との間で、上記ズーム倍率（７１４、７２４）を変更するように構成される、上記項目に記載の視認システム。
（項目３）
上記演算ユニット（２００）は、
上記車両（１００）の上記環境（９００）内のオブジェクト（９１０）までの少なくとも１つの確認された距離（ｄ１）に基づき、上記車両（１００）の領域（１０１）と、上記環境（９００）内の上記オブジェクト（９１０）との間の衝突の衝突確率（ＣＰ）を判定するように構成される、上記項目のいずれか一項に記載の視認システム。
（項目４）
上記演算ユニット（２００）は、
上記環境（９００）の中の上記車両（１００）の動きと関連付けられた、少なくとも１つの信号（Ｓ１）に基づき、上記車両（１００）の上記領域（１０１）と、上記環境（９００）内の上記オブジェクト（９１０）との間の上記衝突の上記衝突確率（ＣＰ）を判定するように構成される、上記項目のいずれか一項に記載の視認システム。
（項目５）
少なくとも１つの所定の視野体積（７１１、７２１）は、上記車両（１００）の各領域（１０１、１０２、１０３、１０４、１０５、１０６）と関連付けられ、上記所定の視野体積（７１１、７２１）は、上記車両（１００）の上記領域（１０１、１０２、１０３、１０４、１０５、１０６）と関連付けられた、上記車両オブジェクト（５００）の部分（５０１、５０２、５０３、５０４、５０５、５０６）と、上記関連付けられた部分（５０１、５０２、５０３、５０４、５０５、５０６）に隣接する上記表面（６９０）の表面領域とを有し、上記演算ユニット（２００）は、
上記領域（１０１、１０２、１０３、１０４、１０５、１０６）と関連付けられた上記車両オブジェクト（５００）の上記部分（５０１、５０２、５０３、５０４、５０５、５０６）と、上記関連付けられた部分（５０１、５０２、５０３、５０４、５０５、５０６）に隣接する上記表面（６９０）の上記表面領域とをレンダリングするために、上記衝突確率（ＣＰ）による閾値の超過に基づき、上記領域（１０１、１０２、１０３、１０４、１０５、１０６）と関連付けられた、上記所定の視野体積（７１１、７２１）を制御するように構成される、上記項目のいずれか一項に記載の視認システム。
（項目６）
車両（１００）の環境を表示するための方法であって、
複数の画像キャプチャユニット（１１０、１２０、１３０、１４０）を用いて、画像データ（ＲＡＷ）の形式で、上記車両（１００）の環境（９００）の画像を記録するステップと、
表示装置（３００）を用いて、出力画像（３３０）を表示するステップと、
演算ユニット（２００）を用いて、仮想三次元空間（６００）および表面（６９０）を決定するステップであって、上記仮想三次元空間（６００）は、上記表面（６９０）によって少なくとも部分的に範囲を定められる、ステップと、
上記演算ユニット（２００）を用いて、上記表面（６９０）上への上記画像データ（ＲＡＷ）の投影を算出するステップと、
上記演算ユニット（２００）を用いて、上記仮想三次元空間（６００）においてコンピュータで生成されたグラフィックとして、所定のデータ（Ｏｂｊ）から仮想車両オブジェクト（５００）を算出するステップと、
上記仮想車両オブジェクト（５００）を含む視野体積（７１１、７２１）をレンダリングすることによって、上記演算ユニット（２００）を用いて、上記出力画像（３３０）を生成するステップであって、上記視野体積（７１１、７２１）は、上記表面（６９０）によって範囲を定められ、上記視野体積（６９０）は、上記仮想三次元空間（６００）の中の視点（７１０、７２０）、および視角（７１２、７２２）、ならびにズーム倍率（７２４）に基づく、ステップと、を含む方法。
（適用）
車両（１００）の環境を表示するための視認システムおよび方法であって、
複数の画像キャプチャユニット（１１０、１２０、１３０、１４０）を用いて、画像データ（ＲＡＷ）の形式で、車両（１００）の環境（９００）の画像を記録するステップと、
表示装置（３００）を用いて、出力画像（３３０）を表示するステップと、
演算ユニット（２００）を用いて、仮想三次元空間（６００）および表面（６９０）を決定するステップであって、仮想三次元空間（６００）は、表面（６９０）によって少なくとも部分的に範囲を定められる、ステップと、
演算ユニット（２００）を用いて、表面（６９０）上への画像データ（ＲＡＷ）の投影を算出するステップと、
演算ユニット（２００）を用いて、仮想三次元空間（６００）においてコンピュータで生成されたグラフィックとして、所定のデータ（Ｏｂｊ）から仮想車両オブジェクト（５００）を算出するステップと、
仮想車両オブジェクト（５００）を含む視野体積（７１１、７２１）をレンダリングすることによって、演算ユニット（２００）を用いて、出力画像（３３０）を生成するステップであって、視野体積（７１１、７２１）は、表面（６９０）によって範囲を定められ、視野体積（６９０）は、仮想三次元空間（６００）の中の視点（７１０、７２０）、および視角（７１２、７２２）、ならびにズーム倍率（７２４）に基づく、ステップと、を含む、視認システムおよび方法。
本発明は、図面中に図示する例示的実施形態に基づき、下により詳細に説明される。
環境における車両の略図を示す。 コンピュータで生成された車両オブジェクトを含む、三次元空間の略図を示す。 図３ａ〜図３ｃは、コンピュータで生成された車両オブジェクトの視点および視角の視野を示す。 鳥瞰的な眺めからの出力画像の略図を示す。 衝突領域に対する出力画像の略図を示す。 視認システムの概略ブロック図を示す。 概略フローチャートを示す。
図１は、環境９００における自動車１００の概略図を示す。例示的環境９００は、オブジェクトとして、鉢植え９１０、壁９２０、人９３０、および別の車両９５６を有する。車両１００は、外形としてのみ図示される。車両１００は、環境９００においてオブジェクト９１０、９２０、９３０、９５６と衝突する可能性がある、領域１０１、１０２、１０３、１０４、１０５、１０６を有する。加えて、画像キャプチャユニットとして複数のカメラ１１０、１２０、１４０、１６０、および複数の距離センサ４１０、４２０、４３０、４４０、４５０、４６０の構成が、概略的に図示されている。
カメラ１１０、１２０、１４０、１６０は、カメラ１１０、１２０、１４０、１６０が環境９００の画像を記録するように、車両１００の中で外側の方へ向けられる。しかしながら、図１の例示的実施形態では、車両１００は、カメラ１１０、１２０、１４０、１６０自体によって記録されない。比較的少数のカメラ１１０、１２０、１４０、１６０を使用して、車両１００の周り全ての環境９００の画像を記録するために、カメラ１１０、１２０、１４０、１６０は、例えば、破線によって図１の中に示される、１７５°（魚眼レンズ）の非常な広角度を有する。したがって、カメラ１１０、１２０、１４０、１６０は、周辺視野のために位置している。２つのカメラ、例えば、１１０および１２０、の記録領域は重複していてもよい。
各距離センサ４１０、４２０、４３０、４４０、４５０、４６０は、距離を記録するように設計される。距離センサ４１０、４２０、４３０、４４０、４５０、４６０は、例えば、容量でまたは超音波を使用する非接触式の方法で、車両１００とオブジェクト９１０、９２０、９３０、９５６のうちの１つとの間の距離ｄ１、ｄ２、ｄ３、ｄ５、ｄ６を測定する。
カメラ１１０、１２０、１４０、１６０および距離センサ４１０、４２０、４３０、４４０、４５０、４６０は、信号、ならびに／またはカメラ１１０、１２０、１４０、１６０および距離センサ４１０、４２０、４３０、４４０、４５０、４６０の信号を評価するように構成される、データ処理装置２００に接続される。図１の例示的実施形態では、演算ユニット２００はまた、出力画像３３０を出力し、ユーザにより制御コマンドを入力するように構成される、タッチスクリーン３００に接続される。
図１に図示するシステムは、カメラ１１０、１２０、１４０、１６０によって記録された環境９００を、出力画像３３０の中でユーザに表示する機能を有する。出力画像３３０は静止しておらず、代わりに、複数の（可変）距離ｄ１、ｄ２、ｄ３、ｄ５、ｄ６に基づき、有利に制御される。
出力画像３３０の生成が、概略的に図２に図示されている。車両１００のカメラ１１０、１２０、１４０、１６０が、外側に向けられているため、車両１００自体は、カメラ１１０、１２０、１４０、１６０によって記録されない。実車両１００の代わりに、車両オブジェクト５００が、コンピュータで生成されたグラフィックとして、事前に定義されたデータより算出される。コンピュータで生成されたグラフィックは、例えば、同じタイプの車両を示し、車両オブジェクト５００の色は、例えば、車両１００に適応可能である。車両オブジェクト５００は、複数の部分５０１、５０２、５０３、５０４を有し、車両オブジェクト５００の各部分５０１、５０２、５０３、５０４は、実車両１００の領域１０１、１０２、１０３、１０４と関連付けられる。
車両オブジェクト５００は、仮想三次元空間６００の中に位置付けられる。仮想三次元空間６００は、表面６９０によって範囲を定められる。図２の例示的実施形態では、表面６９０は鉢の形状である。表面６９０の底部６１０は、大部分が水平である。一方、表面６９０の壁６２０は大部分が垂直であり、車両オブジェクト５００の方向に、陥凹状の湾曲を有する。
表面６９０上への画像データの投影が算出され、画像データはカメラ１１０、１２０、１４０、１６０を用いて記録される。記録された画像データは、図２においては鉢の内部上へ投影される。表面６９０の形状のために、画像データの歪みが、出力画像３３０に対して達成される。陥凹セクション６２０と比較すると、歪みのために、出力画像３３０において、表面６９０の大部分が水平なセクション６１０上に、投影領域を拡大して表示することが可能である。カメラ１１０、１２０、１４０、１６０が外側の方に向き、実車両１００自体をキャプチャしないため、表面６９０は、車両オブジェクト５００の下方に穴６５０を有する。図２に従う鉢形状の代替として、例えば、半球といった別の形状もまた提供されてもよい。しかしながら、鉢形状は、画像データを歪めるという利点を有する。測定された変数および／または制御変数に応じて、表面６９０の形状を適合させることもまた、可能である。測定された変数は、例えば、車両速度である。制御変数は、ユーザ入力である。形状は、例えば、大部分が水平な領域６１０の幅を変えることによって適合する。
出力画像３３０は、視野体積７１１、７１２に基づき生成される。視野体積７１１、７２１は、表面６９０によって三次元空間６００の中で範囲を定められる。視野体積７１１、７２１は、仮想三次元空間６００の中の視点７１０、７２０、および視角７１２、７２２、ならびにズーム倍率７１４、７２４に基づく。視点７１０、７２０は、表面６９０によって包囲される領域に割り当てられなくてはならない。ズーム倍率７１４、７２４は、固定されてもよく、または調整可能であってもよい。図２の例示的実施形態では、２つの視野体積７１１、７２１は、破線によって概略的に図示されている。
第１の視野体積７２１は、いわゆる第１のクリッピング平面７２３、第１のズーム倍率７２４、第１の視角７２２、および表面６９０による範囲設定によって画定される。表面６９０の湾曲に基づき、第１の視野体積７２１は、切頂角錐形状から逸脱する。第１のズーム倍率７２４は、開いている角度によって、簡易化した形態で表示される。また、車両オブジェクト５００は、第１の視野体積７２１の中にも含まれ、そのため、第１の視点から見ると、表面６９０の領域は、出力画像３３０において車両オブジェクト５００の「背後」に見ることができない。そのため、隠れた表面の決定が実行される。車両オブジェクト５００の部分のみが見え、第１の視点７２０の場合には部分５０３、５０２が見える。出力画像３３０は、第１の視野体積７２１をレンダリングすることによって生成される。
図２の例示的実施形態はまた、第２の視点７１０、第２の視角７１２、第２のクリッピング平面７１３、および第２のズーム倍率７１４を有する、第２の視野体積７１１を示す。第２の視野体積７１１は、車両オブジェクト５００の最前部５０１、および表面６９０の大部分が水平な領域６１０を有する。図２に図示する表面６９０の湾曲のため、第２の視野体積７１１はまた、不正確な角錐台、すなわち、正確な錐台ではない形状を有する。第１の視野体積７２１が、移動の方向に出力画像３３０として環境９００の良好な概観を提供する一方、第２の視野体積７１１は、車両オブジェクト５００のすぐ前の、環境９００の非常に詳細な視野を提供する。両方の場合において、車両オブジェクト５００のおかげで、ユーザが出力画像３３０内で自分自身を配向することが、より簡単になる。加えて、他の情報、例えば、メートル表示の距離ｄ１または警告記号が、出力画像３３０の中に表示されてもよい（図２には図示せず）。
最も単純な場合には、第１の視野体積７２１と第２の視野体積７１１との間で切り替えることが可能であるが、第１の視野体積から第２の視野体積への円滑な変化は、配向を改善する。視点は、有利にも、軌道７９０に沿って、第１の視点７２０から第２の視点７１０へ連続して変更される。また、視角７２２、７１２の変更も適合されてもよい。このような変更の例示的実施形態は、図３ａから図３ｃの例によって説明される。
軌道７９１、７９２、７９３、７９７、７９８に対する例示的実施形態は、図３で、関連する視角７２２、７３２、７４２における視点７２０、７３０、７４０の変更に対して、図示する。視点７２０、７３０、７４０は、仮想三次元空間６００内で変更され、仮想三次元空間６００は、加えて、図２に関連して記載した通り、前記表面６９０および前記車両オブジェクト５００を有する。
図３ａの車両オブジェクト５００は、順に、複数の部分５０１、５０４、５０５、５０６を有し、車両オブジェクト５００の各部分５０１、５０４、５０５、５０６は、実車両１００の領域１０１、１０４、１０５、１０６と関連付けられる。図３ａの例示的実施形態では、視点７２０は、車両オブジェクト５００の周囲にいる観察者の動きをシミュレートする、水平な楕円軌道７９１上で変更される。図示する開始位置では、車両オブジェクト５００の部分５０４およびそこに隣接する表面６９０の領域は、出力画像３３０の中の観察者に対して可視である。一方、車両オブジェクト５００の前方にある視点７２０が優先される場合、車両オブジェクト５００の部分５０１およびそこに隣接する表面６９０の領域は、出力画像３３０の中に見ることができる。
加えて、関連する軌道７９３を有する鳥瞰的な眺めからの視点７４０、および最下の視点７２０と鳥瞰的な眺めからの視点７４０との間の視点７３０は、各々異なる高さで示されている。また、視点７２０、７３０、７４０の高さの変更も、例えば、円軌道７９７、７９８といった軌道によって図示される。図１に従い、衝突の危険が、センサ４１０、４２０、４３０、４４０、４５０、４６０を用いて確認される場合には、投影された画像データによって示される、車両オブジェクト５００の部分５０１と、対応するオブジェクト９１０との間の衝突の可能性が、出力画像３３０の中で見えるように、視点７２０、７３０、７４０が軌道７９１、７９２、７９３、７９７、７９８に沿って変更される。
図３ｂおよび図３ｃは、別の例示的実施形態を示す。車両オブジェクト５００は、上方から示されている。図３ｂの視点７２０ａおよび図３ｃの７２０ｂは、楕円軌道７９１上にある。図３ｂの視角７２８および図３ｃの７２９のみが異なる。図３ｂの場合には、衝突確率は、視角７２８が、車両オブジェクト５００の右部５０２、５０３の方を向いているため、領域１０２、１０３のうちの１つにおいて、車両の右側で判定される。一方、図３ｃの場合には、衝突確率は、視角７２９が、車両オブジェクト５００の後部５０４へ旋回するため、領域１０４において、車両の後部で判定される。視点７２０ａ、７２０ｂは保持される。
出力画像３３０は、図４で概略的に図示され、図４の出力画像３３０は、表面６９０を含む、仮想三次元空間６００を用いて生成されている。第１の視野体積７２１からレンダリングされた、図２の第１の視点７２０からの視野が示されている。カメラ１１０、１２０、１４０、１６０の画像データから生成され、出力画像３３０の中に表示されたオブジェクト画像９１０′、９２０′、９３０′、および９５６′は、鉢形状表面６９０のために、出力画像３３０では歪められる。
図２からの第２の視野体積７１１に対する出力画像３３０が、図５に概略的に図示されている。出力画像３３０は、出力画像３３０の中のオブジェクト９１０の投影された画像９１０′に関係して、車両オブジェクト５００の上方からの視野を表示することによって、ユーザに対して、車両１００とオブジェクト９１０との間の距離を明確に示す。出力画像３３０の中に距離指標８００を表示することも可能である。
図６は、概略ブロック図として自動車１００のためのシステムを示す。システムは、複数のカメラ１１０から１４０と、複数の距離センサ４１０から４６０と、状態センサ８１０、８２０、８３０、８４０、８５０とを有する。カメラ１１０から１４０、距離センサ４１０から４６０、および状態センサ８１０、８２０、８３０、８４０、８５０は、演算ユニット２００のインターフェース２４０に接続される。第１の状態センサ８１０は、例えば、ギア選択を感知し、関連する第１のセンサ信号Ｓ１を出力するように構成される。第２の状態センサ８２０は、例えば、ハンドルの動きを感知し、関連する第２のセンサ信号Ｓ２を出力するように構成される。第３の状態センサ８３０は、例えば、アクセルペダルの位置を感知し、関連する第３のセンサ信号Ｓ３を出力するように構成される。第４の状態センサ８４０は、例えば、ブレーキ圧を感知し、関連する第４のセンサ信号Ｓ４を出力するように構成される。第５の状態センサ８５０は、例えば、スイッチとして、方向指示器の設定を判定し、関連する第５のセンサ信号Ｓ５を出力するように構成される。センサ信号Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５がアナログ信号として提供される場合には、インターフェース２４０はアナログ／デジタル変換器を有してもよい。代替的に、センサ４１０から４６０、および／もしくは８１０から８５０、ならびに／またはカメラ１１０から１４０は、データバスを介してインターフェース２４０に接続されてもよい。
図６の例示的実施形態では、演算ユニット２００が、データ接続３２０を介して表示部３００に接続される。表示部３００は、例えば、接続３２０を通してコマンドをユーザが入力することを可能にする、タッチスクリーンである。表示部３００は、演算ユニット２００によってレンダリングされた出力画像３３０が表示される、表示領域３４０を有する。図１に従う車両１００の環境９００の画像は、カメラ１１０から１４０によって記録され、画像データＲＡＷとして、インターフェース２４０を介して、演算ユニット２００のバッファ２８０へ書き出される。演算ユニット２００は、事前に定義されたデータＯｂｊがその中に記憶される、記憶装置エリア２９０を有する。演算ユニット２００の論理２７０は、三次元空間６００において仮想車両オブジェクト５００の形態で記憶され事前に定義されたデータＯｂｊから、コンピュータで生成されたグラフィックを生成するように構成される。例えば、論理２７０は、この目的のためのグラフィック処理装置を有する。さらに、論理２７０は、距離センサ４１０から４６０、および状態センサ８１０から８５０のセンサ信号Ｓ１からＳ５に応じて、車両オブジェクト５００および画像データＲＡＷから、出力画像３３０を生成するように構成される。三次元空間内の視点および視角は、出力画像３３０が車両１００の環境９００の変化に自動的に適応し、重要衝突領域がユーザに自動的に表示されるように、センサ４１０から４６０、８１０から８５０に応じて制御される。
図７は、方法ステップ１、２、３、４、５、６、７を含む、概略フローチャートを示す。第１の方法ステップ１では、例えば、図６に従うセンサ８１０、８２０、８３０、８４０、８５０、およびセンサ信号Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５を含む状態センサシステムが評価される。状態センサシステムは、センサ信号Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５を用いて、またはセンサ信号Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５から得られた情報を用いて、車両１００の予測されるさらなる動きのコースをキャプチャする。例えば、ギア選択、特に、前進ギアまたは後退ギア、および／またはハンドルの動き、および／またはアクセルペダルの位置、および／またはブレーキ圧、および／または方向指示器の設定が感知される。方法のステップ１に従う状態センサシステムの評価は、好ましくは、連続して、または、例えば、１秒の半分といった短時間の間隔で行われる。
環境センサシステムは、第２の方法のステップ２において評価される。例えば、図１に従う環境センサシステムは、距離センサ４１０、４２０、４３０、４４０、４５０、４６０を有する。センサとしてカメラ１１０、１２０、１３０、１４０を使用して、画像データＲＡＷから距離値を得ることも可能である。環境センサシステムによって、センサデータを用いて、またはセンサデータから得られた情報を用いて、環境を評価することが可能になる。特に、環境９００の中のオブジェクト９１０、９２０、９３０、９５６が検出されてもよく、それらの距離ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６および／または車両１００に対する方向、例えば、「右前方」、「右後方」、「中央後方」等を判定する。好ましくは、環境センサシステムを使用して、オブジェクト９１０、９２０、９３０、９５６と車両１００との間の距離ｄ１からｄ６に関する命令文を作成してもよい。例えば、超音波距離センサを使用してもよい。代替的に、または超音波距離センサと組み合わせて、オブジェクトが画像データＲＡＷから検出され、および／または人９３０がサーモパイルを用いて検出される。
第３の方法のステップ３では、状態センサシステムのデータが解釈され、車両１００が動くと予想される方向（ギア／ハンドルの動き／方向指示器）、およびどのくらいの速度（アクセルペダル／ブレーキ圧）かが確認される。一方、環境センサシステムは、第４の方法のステップ４において解釈され、例えば、オブジェクト９１０、９２０、９３０、９５６の方への接近、またはオブジェクト９１０、９２０、９３０、９５６からの離隔、および／あるいは環境９００の中でのその動きの方向が判定されてもよい。
視点７１０、７２０および／または視角７１２、７２２を有する、所定の視野体積７２１、７１１は、第５の方法のステップ５において確認される。目的は、所定の視野体積７１１、７２１をレンダリングすることによって、出力画像３３０を生成することである。所定の視野体積７１１、７２１は、仮想車両オブジェクト５００を有する。所定の視野体積７１１、７２１はまた、視角７１２、７２２の方向で面６９０によって範囲を定められる。表面６９０上への車両の環境の画像データＲＡＷの投影が算出される。所定の視野体積７１１、７２１は、視点７１０、７２０、および視角７１２、７２２、ならびに、例えば、図２に図示する通り、仮想三次元空間６００の中の固定または可変ズーム倍率７１４、７２４に基づく。少なくとも１つの視野体積は、図１からの各領域１０１、１０２、１０３、１０４、１０５、１０６と関連する。例えば、図２からの所定の視野体積７１１は、図１からの領域１０１と関連する。所定の視野体積７１１は、車両１００の領域１０１と関連する車両オブジェクト５００の部分５０１、および車両オブジェクト５００の関連する部分５０１に隣接する表面６９０の表面領域を有する。
視点７１０、７２０のどちらに接近するべきかについては、第５の方法のステップ５において判定される。判定するために、例えば、閾値の比較が図７の例示的実施形態において実行される。衝突確率
ＣＰ＝ｆ（ｄ１．．．ｄ６， Ｓ１．．．Ｓ５） ・・・・・・・・・・・・・・・・（１）
は、例えば、ベクトルとして判定される。例えば、ベクトルの各要素は、図１に概略的に図示する通り、特定の車両領域１０１、１０２、１０３、１０４、１０５、１０６の衝突の１つの確率と関連付けられる。例えば、衝突確率ＣＰは、環境センサシステムの距離ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６、および車両１００の状態センサシステムのセンサ信号Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５の関数である。
図７の例示的実施形態では、車両１００の領域１０１と関連する車両オブジェクト５００の部分５０１をレンダリングし、関連する部分５０１に隣接する表面６９０の表面領域をレンダリングするために、衝突確率ＣＰが閾値を上回る場合、車両１００の領域１０１と関連する所定の視野体積７１１は制御される。
例えば、視点‐例えば、図２に従う７１０‐は、入力変数として衝突確率ＣＰのベクトルを有する、参照テーブルＬＵＴからの出力変数として読み出される。代替的に、視点７１０はまた、別の方法を使用して、例えば、ファジー論理を用いて、状態センサシステムおよび環境センサシステムより確認されてもよい。例えば、センサデータ、またはセンサデータから得られた環境センサシステムの情報は、要素「情報」、および「警告」、ならびに「重要」を使用して、例えば、緊急の形態で格付けすることができる。例えば、各分類、例えば、「情報」、および「警告」、ならびに「重要」は、例えば、それぞれ「＞３ｍ」（情報）、または「０．５ｍから３ｍ」（警告）、あるいは「＜０．５ｍ」（重要）といった距離範囲に割り当てられる。
視点‐図２からの７１０、７２０等に対応する‐は、図７の例示的実施形態におけるクラスに分割される。クラスＩは、例えば、「右前方」、「左前方」、「右後方」、「左後方」といった詳細な視野に対して、いくつかの視点を識別する。クラスＩＩは、例えば、「前方中央」、「後方中央」といった概観に対して、いくつかの観察者の位置を識別する。クラスＩＩＩは、例えば、「前方上」、「後方上」といった、鳥瞰的な眺めからのいくつかの視点を識別する。クラスＩ、ＩＩ、ＩＩＩは、例えば、参照テーブルＬＵＴの中に記憶されてもよい。各場合における現在のクラスは、例えば、距離センサ４１０から４６０、および適用可能な場合には、環境センサシステムの他の信号、ならびに適用可能な場合には、状態センサシステムのセンサ信号を用いて、距離に基づき制御される。結果的に、現在の視点は、分類（緊急度）、および場所、または衝突する可能性のあるオブジェクトの場所の変化、ならびに車両の動きの方向に応じて決定される。
例えば、危険およびしたがって衝突の確率が、後方領域（図１からの１０４に対応する）および前方領域（図１からの１０１に対応する）の両方において高いと、第５のステップ５で判定される場合、または衝突の危険がないことが確認される場合、視点は、移動の方向に投影された画像データを大部分示す、鳥瞰的な眺めから制御される。移動の方向における衝突の危険が、車両１００の一側面上にのみ存在する場合、車両オブジェクト５００の関連する部分の詳細な視野を有する、視野体積が制御される。一方、移動の方向における衝突の危険が、車両１００の両側にある場合、視野体積が車両オブジェクト５００の両側部分を含むように、中央に視点を有する視野体積が制御される。
視野体積の変更は、第６のステップ６において制御される。視点は、仮想三次元空間の中の第１の座標と、仮想三次元空間の中の第２の座標との間で変更される。視点は、第１の座標と第２の座標との間の軌道に沿った動きの中で変更される。例えば、軌道は楕円形状を有し、車両オブジェクトは、省略記号の中心に位置付けられる。視点はまた、仮想三次元空間の中の第１の方向と、仮想三次元空間の中の第２の方向との間で変更されてもよい。例えば、ズーム倍率は恒久的に設定されてもよい。
２つの視野体積間の遷移は、視点が継続して前後に揺れないように、論理を用いて調整される。例えば、論理を用いた、詳細な視野を有する視野体積に対する視点への変更は、中央の対応する視点から開始する時のみ許可されるが、そうでない場合には、中央の視点が最初に制御され、詳細な視野を有する視野体積に対する視点は、その後にのみ制御される。
中央の視点から詳細な視野を有する視野体積に対する視点への変更、および／または中央の視点から鳥瞰的な眺めからの視点への変更は、時間の遅延を介し、論理を用いて制御される。衝突の一時的な危険は、環境センサシステムによって検出されるが、遅延の終了前の視点の変更の制御が、既にカウンタ制御によって上書きされているために、遅延を原因とする視点の変更にはつながらない。
視点の変更は、第７のステップ７において動画化される。例えば、軌道に沿った動きが、最初に加速され、第１の視点から開始して、第２の視点に到達する前にブレーキがかかる。これによって、 出力画像の観察者が、眺めの変更の中で自分自身の配向を確認することが可能になり、観察者が新しい視野および起こる可能性がある衝突の危険を捉えることができる。
本発明は、図１から７に図示した実施形態の変形に限定されない。例えば、異なる数のカメラ、例えば、単一のサラウンドカメラ、または車両の上方の環境を表示するための１台のカメラを使用することが可能である。レーダーセンサ等のような、環境センサシステムおよび状態センサシステムの他のセンサを使用することも可能である。図６に従うブロック図の機能性は、自動車のインフォテインメントシステムに対して、特に有利に使用されてもよい。
参照番号の一覧
１， ２， ３， ４， ５， ６， ７ 方法のステップ
１００ 車両
１０１， １０２， １０３， １０４， １０５， １０６ 車両領域
１１０， １２０， １４０， １６０ カメラ
２００ 演算ユニット、処理装置、マイクロコントローラ
２４０ インターフェース
２７０ 論理、グラフィック処理装置
２８０ 一時記憶装置、バッファ
２９０ 記憶装置
３００ 表示部、スクリーン、タッチスクリーン
３２０ 接続
３３０ 出力画像
３４０ 表示領域
４１０， ４２０， ４３０， ４４０， ４５０，４６０ 距離センサ
５００ 車両オブジェクト
５０１， ５０２， ５０３， ５０４， ５０５，５０６ 車両オブジェクトの部分
６００ 仮想三次元空間
６１０ 大部分が水平な領域、底部
６２０ 陥凹状領域、壁
６５０ 表面の穴
６９０ 表面
７１０， ７２０， ７２０ａ， ７２０ｂ， ７３０，７４０ 視点
７１１，７２１ 視野体積
７１２， ７２２， ７２８， ７２９， ７３２，７４２ 視角
７１３，７２３ クリッピング平面
７１４，７２４ ズーム倍率
７９０， ７９７， ７９８ 位置の変更
７９１， ７９２， ７９３， 楕円軌道
８００ テキスト、警告、距離指標
８１０， ８２０， ８３０， ８４０， ８５０ センサ
９００ 環境
９１０， ９２０， ９３０， ９５６ オブジェクト
９１０’， ９２０’， ９３０’， ９５６’ 投影されたオブジェクト
ＣＰ 衝突確率
ｄ１， ｄ２， ｄ３， ｄ５， ｄ６ 距離
Ｏｂｊ 事前に定義されたデータ、車両オブジェクトデータ
ＬＵＴ 参照テーブル
ＲＡＷ 画像データ
Ｓ１， Ｓ２， Ｓ３， Ｓ４， Ｓ５ センサ信号

Claims (6)

  1. 車両（１００）の視認システムであって、
    前記視認システムは、
    画像データ（ＲＡＷ）の形式で前記車両（１００）の環境（９００）の画像を記録するための複数の画像キャプチャユニット（１１０、１２０、１３０、１４０）と、
    出力画像（３３０）を表示するための表示装置（３００）と、
    前記複数の画像キャプチャユニット（１１０、１２０、１３０、１４０）および前記表示装置（３００）に接続される演算ユニット（２００）と
    を備え、
    前記演算ユニット（２００）は、
    仮想三次元空間（６００）および前記仮想三次元空間（６００）を少なくとも部分的に限定する表面（６９０）を決定することと、
    前記表面（６９０）上への前記画像データ（ＲＡＷ）の投影を算出することと、
    前記仮想三次元空間（６００）において、所定のデータ（Ｏｂｊ）から、コンピュータで生成されたグラフィックとして、仮想車両オブジェクト（５００）を算出することと、
    前記仮想車両オブジェクト（５００）を含む視野体積（７１１、７２１）をレンダリングすることによって前記出力画像（３３０）を生成することであって、前記視野体積（７１１、７２１）は、前記表面（６９０）によって範囲を定められ、前記視野体積（７１１、７２１）は、前記仮想三次元空間（６００）の中の視点（７１０、７２０）および視角（７１２、７２２）ならびにズーム倍率（７１４、７２４）に基づく、ことと
    を実行するように構成される、視認システム。
  2. 前記視野体積（７１１、７２１）を制御するために、前記演算ユニット（２００）は、
    前記仮想三次元空間（６００）内の第１の座標と前記仮想三次元空間（６００）内の第２の座標との間で前記視点（７１０、７２０）を変更し、
    かつ／または
    前記仮想三次元空間（６００）の中の第１の方向と前記仮想三次元空間（６００）の中の第２の方向との間で前記視角（７１２、７２２）を変更し、
    かつ／または
    第１のズーム値と第２のズーム値との間で前記ズーム倍率（７１４、７２４）を変更するように構成される、請求項１に記載の視認システム。
  3. 前記演算ユニット（２００）は、
    前記車両（１００）の前記環境（９００）内のオブジェクト（９１０）までの少なくとも１つの確認された距離（ｄ１）に基づき、前記車両（１００）の領域（１０１）と前記環境（９００）内の前記オブジェクト（９１０）との間の衝突の衝突確率（ＣＰ）を判定するように構成される、請求項１または２に記載の視認システム。
  4. 前記演算ユニット（２００）は、
    前記環境（９００）の中の前記車両（１００）の動きと関連付けられた少なくとも１つの信号（Ｓ１）に基づき、前記車両（１００）の前記領域（１０１）と前記環境（９００）内の前記オブジェクト（９１０）との間の前記衝突の前記衝突確率（ＣＰ）を判定するように構成される、請求項３に記載の視認システム。
  5. 少なくとも１つの所定の視野体積（７１１、７２１）は、前記車両（１００）の各領域（１０１、１０２、１０３、１０４、１０５、１０６）と関連付けられ、前記所定の視野体積（７１１、７２１）は、前記車両（１００）の前記領域（１０１、１０２、１０３、１０４、１０５、１０６）と関連付けられた前記車両オブジェクト（５００）の部分（５０１、５０２、５０３、５０４、５０５、５０６）と、前記関連付けられた部分（５０１、５０２、５０３、５０４、５０５、５０６）に隣接する前記表面（６９０）の表面領域とを有し、前記演算ユニット（２００）は、
    前記領域（１０１、１０２、１０３、１０４、１０５、１０６）と関連付けられた前記車両オブジェクト（５００）の前記部分（５０１、５０２、５０３、５０４、５０５、５０６）と、前記関連付けられた部分（５０１、５０２、５０３、５０４、５０５、５０６）に隣接する前記表面（６９０）の前記表面領域とをレンダリングするために、前記衝突確率（ＣＰ）による閾値の超過に基づき、前記領域（１０１、１０２、１０３、１０４、１０５、１０６）と関連付けられた前記所定の視野体積（７１１、７２１）を制御するように構成される、請求項３に記載の視認システム。
  6. 車両（１００）の環境を表示するための方法であって、
    前記方法は、
    複数の画像キャプチャユニット（１１０、１２０、１３０、１４０）が、画像データ（ＲＡＷ）の形式で前記車両（１００）の環境（９００）の画像を記録するステップと、
    表示装置（３００）が、出力画像（３３０）を表示するステップと、
    演算ユニット（２００）が、仮想三次元空間（６００）および表面（６９０）を決定するステップであって、前記仮想三次元空間（６００）は、前記表面（６９０）によって少なくとも部分的に範囲を定められる、ステップと、
    前記演算ユニット（２００）が、前記表面（６９０）上への前記画像データ（ＲＡＷ）の投影を算出するステップと、
    前記演算ユニット（２００）が、前記仮想三次元空間（６００）において、コンピュータで生成されたグラフィックとして、所定のデータ（Ｏｂｊ）から仮想車両オブジェクト（５００）を算出するステップと、
    前記演算ユニット（２００）が、前記仮想車両オブジェクト（５００）を含む視野体積（７１１、７２１）をレンダリングすることによって前記出力画像（３３０）を生成するステップであって、前記視野体積（７１１、７２１）は、前記表面（６９０）によって範囲を定められ、前記視野体積（７１１、７２１）は、前記仮想三次元空間（６００）の中の視点（７１０、７２０）および視角（７１２、７２２）ならびにズーム倍率（７１４、７２４）に基づく、ステップと
    を含む方法。
JP2013005364A 2012-01-30 2013-01-16 車両の環境を表示するための視認システムおよび方法 Active JP5590688B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP12000590.5 2012-01-30
EP12000590.5A EP2620917B1 (en) 2012-01-30 2012-01-30 Viewing system and method for displaying an environment of a vehicle

Publications (2)

Publication Number Publication Date
JP2013156981A JP2013156981A (ja) 2013-08-15
JP5590688B2 true JP5590688B2 (ja) 2014-09-17

Family

ID=45562704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013005364A Active JP5590688B2 (ja) 2012-01-30 2013-01-16 車両の環境を表示するための視認システムおよび方法

Country Status (5)

Country Link
US (1) US9865169B2 (ja)
EP (1) EP2620917B1 (ja)
JP (1) JP5590688B2 (ja)
KR (1) KR101427193B1 (ja)
CN (1) CN103295265B (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013203404A1 (de) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
US10171775B1 (en) 2013-05-31 2019-01-01 Vecna Technologies, Inc. Autonomous vehicle vision system
TWI528325B (zh) * 2013-10-18 2016-04-01 財團法人資訊工業策進會 影像處理方法及應用影像處理方法之系統
DE102014214667A1 (de) * 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Anzeigen von dynamischen sicherheitsrelevanten dreidimensionalen Inhalten auf einer Anzeigeeinrichtung
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
EP3199403B1 (en) * 2016-01-28 2022-06-22 Harman Becker Automotive Systems GmbH System and method for external sound synthesis of a vehicle
DE102016211453A1 (de) * 2016-06-27 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102016212687A1 (de) * 2016-07-12 2018-01-18 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs
CN107734223B (zh) * 2017-02-13 2018-06-12 南京锐驰鼎欣科技股份有限公司 基于图像识别的定位装置
JP6889587B2 (ja) * 2017-03-31 2021-06-18 株式会社Ｓｕｂａｒｕ 画像表示装置
DE102017114611A1 (de) * 2017-06-30 2019-01-03 Connaught Electronics Ltd. Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
CN111033555B (zh) * 2017-08-25 2024-04-26 株式会社索思未来 修正装置、修正程序以及记录介质
FR3071333B1 (fr) 2017-09-15 2021-06-11 Renault Sas Procede d’affichage sur un ecran d’un environnement d’un vehicule automobile, et vehicule automobile dans lequel un tel procede est mis en œuvre
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
JP7032950B2 (ja) 2018-02-19 2022-03-09 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
JP2019156298A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
JP7060418B2 (ja) 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
US11151793B2 (en) * 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
CN111376832A (zh) * 2018-12-28 2020-07-07 奥迪股份公司 图像显示方法、装置、计算机设备和存储介质
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
EP3809377A1 (en) * 2019-10-15 2021-04-21 Continental Automotive GmbH Method and device for providing a visualization of a vehicle
WO2021247641A1 (en) * 2020-06-02 2021-12-09 Oceaneering International, Inc. Automatic detection and tracking of pallet pockets for automated pickup

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222557B1 (en) * 1998-06-26 2001-04-24 Visual Insights, Inc. Navigation system and method for viewing a 3D data landscape
EP1179958B1 (en) * 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
DE60009000T2 (de) 1999-10-21 2005-03-10 Matsushita Electric Industrial Co., Ltd., Kadoma System zur Einparkhilfe
ATE330818T1 (de) * 1999-11-24 2006-07-15 Donnelly Corp Rückblickspiegel mit nutzfunktion
JP2002083285A (ja) 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP2002074594A (ja) * 2000-08-25 2002-03-15 Alpine Electronics Inc 障害物検知システム
FR2853121B1 (fr) * 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
DE602005013752D1 (de) * 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
US7138938B1 (en) * 2005-05-06 2006-11-21 Ford Global Technologies, Llc System and method for preemptively sensing an object and selectively operating both a collision countermeasure system and a parking assistance system aboard an automotive vehicle
US8797352B2 (en) * 2005-08-09 2014-08-05 Total Immersion Method and devices for visualising a digital model in a real environment
JP2009026250A (ja) * 2007-07-23 2009-02-05 Panasonic Corp 面成分検出装置、地上面検出装置、及び障害物検出装置
JP5067169B2 (ja) * 2008-01-15 2012-11-07 日産自動車株式会社 車両用駐車支援装置および画像表示方法
EP2107503A1 (en) * 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
JP5397373B2 (ja) * 2008-05-29 2014-01-22 富士通株式会社 車両用画像処理装置、車両用画像処理方法
FR2932595B1 (fr) * 2008-06-13 2010-12-24 Valeo Vision Sas Procede d'affichage d'aide au parking.
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
CN101425181B (zh) * 2008-12-15 2012-05-09 浙江大学 一种全景视觉辅助泊车系统的标定方法
US8665260B2 (en) * 2009-04-16 2014-03-04 Autodesk, Inc. Multiscale three-dimensional navigation
US20120069153A1 (en) * 2009-05-25 2012-03-22 Panasonic Corporation Device for monitoring area around vehicle
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法

Also Published As

Publication number Publication date
JP2013156981A (ja) 2013-08-15
CN103295265A (zh) 2013-09-11
KR101427193B1 (ko) 2014-08-07
KR20130088065A (ko) 2013-08-07
EP2620917A1 (en) 2013-07-31
US9865169B2 (en) 2018-01-09
US20130194256A1 (en) 2013-08-01
EP2620917B1 (en) 2019-08-28
CN103295265B (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
JP5590688B2 (ja) 車両の環境を表示するための視認システムおよび方法
US10029700B2 (en) Infotainment system with head-up display for symbol projection
JP6608146B2 (ja) ライブ映像を有する仮想透過型インストルメントクラスタ
JP6014442B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
JP6091759B2 (ja) 車両のサラウンドビューシステム
US9558592B2 (en) Visualization of physical interactions in augmented reality
US9996980B1 (en) Augmented reality for providing vehicle functionality through virtual features
CN107465890B (zh) 车辆的图像处理装置
JP2019517049A5 (ja)
CN107438538B (zh) 用于显示车辆的车辆周围环境的方法
US20140375812A1 (en) Method for representing a vehicle's surrounding environment
JP2013131222A (ja) 自動車のディスプレイを用いた、拡張現実感を生成する方法及びシステム
EP3327676B1 (en) Method for displaying object on three-dimensional model
WO2017169273A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN105006175A (zh) 主动识别交通参与者的动作的方法和系统及相应的机动车
US20230237210A1 (en) 3d multi-object simulation
EP3185173B1 (en) Automated vehicle human-machine interface system based on glance-direction
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
WO2017169272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110248845B (zh) 用于显示车辆的周围环境的方法和设备
EP3591624B1 (en) Augmented vision in image sequence generated from a moving vehicle

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140725

R150 Certificate of patent or registration of utility model

Ref document number: 5590688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250