JP6880252B2 - 自動車両および自動車両の環境領域の少なくとも1つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両 - Google Patents

自動車両および自動車両の環境領域の少なくとも1つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両 Download PDF

Info

Publication number
JP6880252B2
JP6880252B2 JP2019572399A JP2019572399A JP6880252B2 JP 6880252 B2 JP6880252 B2 JP 6880252B2 JP 2019572399 A JP2019572399 A JP 2019572399A JP 2019572399 A JP2019572399 A JP 2019572399A JP 6880252 B2 JP6880252 B2 JP 6880252B2
Authority
JP
Japan
Prior art keywords
image
eye view
jamming signal
automatic vehicle
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019572399A
Other languages
English (en)
Other versions
JP2020525945A (ja
Inventor
ファンチン、グオ
ブライアン、マイケル、トーマス、ディーガン
ウラジミール、ズロコリカ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Publication of JP2020525945A publication Critical patent/JP2020525945A/ja
Application granted granted Critical
Publication of JP6880252B2 publication Critical patent/JP6880252B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/12Indexing scheme for image data processing or generation, in general involving antialiasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、動的仮想カメラの動的可変視点から自動車両および自動車両の環境領域を示し、少なくとも2台の車両側カメラの原画像、および仮想カメラの視点に依存する自動車両の透視モデルに基づいて、少なくとも1つの合成俯瞰表示画像を生成する方法に関する。本発明はさらに、カメラシステムおよび自動車両に関する。
自動車両のカメラシステム、例えば、サラウンドビューカメラシステムのカメラを用いて自動車両の環境領域を監視することは、従来技術から既に知られている。この目的のために、カメラは、環境領域から原画像または原画像データをキャプチャすることができ、これを自動車両の表示装置、例えば、画面上で自動車両の運転者に表示することができる。いわゆる第三者の視点からの環境領域の三次元表現も、表示装置にますます表示されつつある。このような第三者の視点は、車両外部観察者、いわゆる仮想カメラの視点から自動車両の環境領域と自動車両自体を示す。
第三者視点からの環境領域のこのような俯瞰画像は、カメラシステムのカメラによって検出された原画像を合成することによって生成でき、合成、したがって結果として得られる俯瞰画像表示は、仮想カメラの視点に依存する。合成俯瞰表示画像は、仮想カメラの姿勢で実際のカメラによってキャプチャされているような印象を与える。このような合成俯瞰表示画像は、例えば、観察者が自動車両を上から垂直に下向きに見る平面図である可能性がある。したがって、仮想カメラは、自動車両の上方の自動車両の垂直軸に沿って配置され、自動車両に向かって方向付けられる。この上面図画像は、表示装置に表示することができ、車両の屋根を備えた自動車両の上側と、自動車両を取り巻く環境領域、特に路面を示している。
この場合、合成俯瞰表示画像に、エイリアシング効果エイリアシングとも呼ばれる妨害信号が含まれることがある。これらの妨害信号は、例えば、表示装置に表示される画像の人工的なフリッカ効果である可能性がある。これらのフリッカ効果は、通常、合成俯瞰表示画像の画像領域で発生し、この領域は、特に、自動車両が動いているときに、自動車両の近くの環境領域の底部領域を示す。表示装置に表示されるこれらのフリッカ効果は、運転者に表示される合成俯瞰表示画像の画質を低下させ、運転者を混乱させる可能性がある。妨害信号を低減するためのアンチエイリアシング法が従来技術から知られている。ただし、特に環境領域の画像を運転者にリアルタイムで表示する必要がある場合は、これらの計算コストが高くなる可能性がある。
本発明の目的は、自動車両および自動車両の環境領域の高品質の合成された俯瞰表示画像を、多大な計算努力なしに、いかに迅速に生成できるかに関する解決策を提供することである。
本発明によれば、この目的は、方法、カメラシステム、およびそれぞれの独立請求項による構成を有する自動車両によって解決される。本発明の有益な実施形態は、従属特許請求項、説明および図面の主題である。
方法の一実施形態によれば、動的仮想カメラの動的可変視点から自動車両および自動車両の環境領域を示す、少なくとも1つの合成俯瞰表示画像が生成され、合成俯瞰表示画像は、特に、少なくとも2つの車両側カメラの原画像に基づいて、および仮想カメラの視点に依存する透視モデルに基づいている。ステップa)で、特に、合成俯瞰表示画像が少なくとも1つの妨害信号の影響を受けた画像領域を含むかどうかが決定され、もしそうであれば、少なくとも1つの妨害画像の影響を受けた画像領域が合成俯瞰表示画像内で識別される。ステップb)で、少なくとも1つの妨害信号の影響を受けた画像領域における妨害信号の重大度を決定でき、ステップc)で妨害信号の重大度を仮想カメラの視点に応じて決定でき、仮想カメラの視点での画像領域の少なくとも1つの幾何学的パラメータは、重大度によって特徴付けられる。特に、ステップd)で、合成俯瞰表示画像に挿入される自動車両のモデルによる妨害信号の影響を受けた画像領域の遮蔽度は、仮想カメラの視点に応じて決定される。特に、ステップe)で、妨害信号の重大度が所定の重大度しきい値を超え、かつ妨害信号の有意度が所定の有意度しきい値を超え、かつ遮蔽度が所定の遮蔽度しきい値未満のままの場合に、合成俯瞰表示画像に関する妨害信号のみが低減される。
方法の特に好ましい実施形態によれば、動的仮想カメラの動的可変視点から自動車両および自動車両の環境領域を示す、少なくとも1つの合成俯瞰画像が生成され、合成俯瞰表示画像は、少なくとも2台の車両側カメラの原画像に基づき、および仮想カメラの視点に依存する自動車両の透視モデルに基づいて決定される。ステップa)で、合成俯瞰画像は、合成俯瞰表示画像内に少なくとも1つの妨害信号の影響を受ける表示画像を含むかどうかが決定される。ステップb)で、少なくとも1つの妨害信号の影響を受けた画像領域内の妨害信号の重大度が決定され、ステップc)で、妨害信号の有意度が仮想カメラの視点に応じて決定され、仮想カメラの視点での画像領域の少なくとも1つの幾何学的パラメータは、有意度によって特徴付けられる。さらに、ステップd)で、合成俯瞰画像に挿入される自動車両のモデルによる妨害信号の影響を受けた画像領域の遮蔽度は、仮想カメラの視点に応じて決定される。ステップe)で、妨害信号の重大度が所定の重大度しきい値を超え、かつ妨害信号の有意度が所定の有意度しきい値を超え、かつ遮蔽度が所定の遮蔽度しきい値未満のままの場合に、合成俯瞰表示画像に対する妨害信号のみが低減される。
本方法により、仮想カメラの視点から自動車両と自動車両を取り巻く環境領域を示す高品質の俯瞰表示画像を生成できる。俯瞰画像は、ビデオシーケンス、特にリアルタイムビデオの形式で自動車両の運転者に表示できる。俯瞰画像は、少なくとも2台の車両側カメラでキャプチャされた原画像によって生成される。俯瞰画像を生成すなわちレンダリングするために、原画像が、例えば、車両側の画像処理装置によって合成される。原画像の俯瞰表示画像への合成は、本明細書で、仮想カメラによる俯瞰表示画像のキャプチャと同じ方法で使用される。
特に、原画像は、自動車両の広角マルチカメラシステムによって高解像度でキャプチャされる。マルチカメラシステムは、例えば、自動車両に搭載された4台のカメラを備えたサラウンドビューカメラシステムとして構成できる。サラウンドビューカメラシステムは、自動車両の前方の環境領域から原画像をキャプチャする前方カメラ、自動車両の後方の環境領域から原画像をキャプチャする後方カメラまたは反転カメラ、および自動車両に隣接する環境領域から原画像をキャプチャする2台の側方カメラを備えてもよい。カメラの検出範囲を拡大するために、カメラには広角レンズ、例えば魚眼レンズを含めてもよい。原画像および合成俯瞰表示画像は、自動車両の表示装置に表示されるため、運転者は表示装置を見て環境領域をキャプチャすることができる。したがって、例えば、駐車するときに、自動車両を操縦する際に運転者を支援することができる。サラウンドビューカメラシステムと表示装置は、カメラ監視システム(CMS)を形成し、例えば、自動車両のサイドミラーを置き換えることもできる。
ここで、合成俯瞰画像として、動的仮想カメラの動的可変視点から環境領域を示す画像が生成される。このことは、自動車両に対する仮想カメラの位置および仮想カメラの向き、すなわち、動的仮想カメラの姿勢が変化する可能性があることを意味する。この場合、例えば、複数の合成俯瞰表示画像からのシーケンスをカメラの原画像から生成でき、これにより、様々な視点から環境領域が表示され、俯瞰表示画像をキャプチャする間に、仮想カメラが自動車両の上を、および自動車両の周囲を飛んでいるかのような印象を与える。仮想カメラの運動経路または飛行経路を、例えば、事前に決定することができる。自動車両自体をカメラでキャプチャすることはできないため、自動車両のモデルが合成画像に挿入される。モデル化された自動車両のモデルは、仮想カメラの現在の視点にも依存する。その結果、自動車両のモデルは仮想カメラの視点で変化する可能性がある。
好ましくは、合成俯瞰表示画像を生成するために、原画像は所定の曲面に投影され、自動車両のモデルは曲面の所定の位置に配置され、合成俯瞰表示画像は投影された原画像と自動車両のモデルを含む曲面に基づいて、および動的な仮想カメラの視点に基づいて決定される。したがって、特に、いわゆるボウルビューが合成俯瞰画像として生成される。曲面は、例えば、4次多項式を用いて決定または指定できる。自動車両のモデルは、例えば、曲面の中央に配置できる。
合成俯瞰画像は、妨害信号またはエイリアシングを含む可能性があるが、これらはアンチエイリアシング法によって抑制または軽減できる。これらの妨害信号は、特に、原画像には存在しないが、特に、自動車両および/または仮想カメラが動く場合、合成俯瞰表示画像の生成中に挿入される。合成俯瞰表示画像の生成中に計算資源を節約するために、とにかく、合成俯瞰表示画像が妨害信号を含むことがあるかどうかが判断される。妨害信号が発生するかどうかは、特に、特定のカメラシステムおよび/または自動車両の環境領域の環境条件に依存する。合成俯瞰表示画像に妨害信号を伴う画像領域が含まれる場合、これら画像領域は、例えば、合成俯瞰表示画像内の画像領域の位置が決定されるので、識別される。次に、妨害信号の影響を受けた画像領域内の妨害信号の重大度が決定される。重大度は、とにかく、画像領域内の妨害信号が、合成俯瞰表示画像内で目に見えるほど十分に強いかどうかを説明する。この場合、画像領域内の妨害信号は十分に強いかまたは重大であるため、重大度が所定の重大度しきい値を超えると、目に見えると想定される。妨害信号の重大度は、特に、カメラシステムの実際のカメラに依存する。
さらに、妨害信号の有意度が判断される。有意度は、特に、仮想カメラに依存する尺度である。有意度は、仮想カメラの参照視点、例えば、上面図を生成するための視点と、該参照視点とは異なる視点、例えば、自動車両の背面図を生成するための視点とでの画像領域の少なくとも1つの幾何学的パラメータの変化を表す。したがって、有意度は、特に、仮想カメラの視点の変化に応じて、妨害信号の影響を受けた画像領域がどのように変化するかを表す。次に、重大度が重大度しきい値を超えた場合でも、とにかく、仮想カメラの現在の視点に応じて、合成俯瞰表示画像の画像領域内に妨害信号が目に見えるかどうかが判断される。有意度が所定の有意度しきい値を超える場合、妨害信号の影響を受けた画像領域内の妨害信号は十分に有意であり、したがって目に見えると想定される。
特に、動的仮想カメラの視点での合成俯瞰画像内の少なくとも1つの妨害信号の影響を受けた画像領域のサイズおよび/または形状および/または位置は、動的仮想カメラの視点に応じて有意度として判定される。例えば、俯瞰画像内の仮想カメラの現在の視点に起因して妨害信号の影響を受けた画像領域のサイズが非常に小さく、妨害信号は目に見えないか、ほとんど目に見えない場合、有意度しきい値には到達しない。また、画像領域の位置および/または形状は、仮想カメラの視点の結果として、妨害信号を弱めるかまたは除去するように変化する可能性もある。例えば、仮想カメラの所定の視点に起因して、画像領域が仮想カメラの検出範囲内にないため、画像領域、したがって妨害信号は全く目に見えないことがあり得る。
さらに、妨害信号の影響を受けた画像領域の遮蔽度は、自動車両のモデルによって影響を受ける。特に、仮想カメラのランダムで可変的な視点から環境領域を表示する合成俯瞰表示画像では、画像領域の妨害信号は、特に、それが十分に重大で十分に有意であるにもかかわらず、画像領域が自動車両の透視モデルによって少なくとも部分的に遮蔽されるため、目に見えないことが発生する場合がある。遮蔽度は、特に、モデルの透明度とモデルの視点依存形状によって決定される。したがって、例えば、妨害信号の影響を受けた画像領域は、モデルの視点依存形状によって少なくとも部分的に遮蔽されるが、モデルは透明であるため、妨害信号は依然として目に見える場合がある。特別に構成されたこの遮蔽度が決定され、所定の遮蔽度しきい値と比較される。遮蔽度が所定の遮蔽度しきい値未満のままである場合、すなわち、例えば、自動車両のモデルが透明すぎるか、モデルの透視形状が妨害信号の影響を受けた画像領域に突出していない場合、妨害信号が合成画像内で目に見えると想定される。
したがって、重大度、有意度、および遮蔽度を決定することにより、妨害信号の低減の必要性を決定することができる。したがって、妨害信号が合成画像内で目に見えることが検出または確認された場合、妨害信号を低減するか、アンチエイリアシングを実行する。重大度が重大度しきい値未満のままであるか、有意度が有意度しきい値未満のままであるか、または遮蔽度が遮蔽度しきい値を超えている場合、妨害信号の低減は回避される。したがって、合成俯瞰表示画像を決定する際に、計算資源を効果的に節約することができる。それにより、妨害信号の低減の必要性が認識された場合に妨害信号のみが低減されるため、自動車両用の、特に、低コストのカメラシステムを実現することができる。
好ましくは、原画像および/または合成俯瞰表示画像内における妨害信号は低減され、少なくとも原画像内で妨害信号が低減される場合、合成俯瞰表示画像を生成する前に、原画像に基づいてステップa)〜d)が予測的に実行される。原画像内における妨害画像の低減はプレフィルタリングに対応し、合成俯瞰表示画像内における妨害信号の低減は後処理に対応する。原画像内に既に存在する妨害画像を低減することができるようにするために、合成俯瞰表示画像が妨害信号の影響を受ける少なくとも1つの画像領域を含むことになるかどうかが予測される。さらに、妨害信号の重大度、妨害信号の有意度、および自動車両のモデルによる妨害信号の影響を受けた画像領域の遮蔽度が予測される。したがって、原画像から俯瞰表示画像の生成中、すなわち、仮想カメラによる俯瞰表示画像のキャプチャ中に、前々から妨害信号を減らすことができる。したがって、高品質の俯瞰表示画像は、表示装置で表示するために、特に高速で表示される。これは、例えば、リアルタイムでの応用に、特に、有益である。
本発明のさらなる発展形態では、ステップa)で、少なくとも1つの環境条件、特に、自動車両用路面テクスチャおよび/または1日の内の時間帯および/または気象条件が決定され、少なくとも1つの環境条件に基づいて、合成俯瞰表示画像が少なくとも1つの妨害信号の影響を受けた画像領域を含むかどうかが予測される。この実施形態は、エイリアシング効果の発生は、自動車両の環境領域の環境条件に依存する、という洞察に基づいている。例えば、路面が水膜で覆われている場合、路面上の水膜によって引き起こされる反射のコントラストが低下するため、妨害信号は非常に少なくなる。また、水膜はカメラのレンズを覆うことができるため、それによって、カメラはぼやけた原画像をキャプチャする。ぼやけた原画像に基づいて決定される合成俯瞰表示画像については、特に、妨害画像が低減されている。合成俯瞰表示画像内の妨害信号を人工的なフリッカの形で低減させる路面テクスチャは、特に小さな、または、特に大きな道路砂利の形で形成することができる。さらに、例えば、夜間ドライブ中や自動車両の影の中など光レベルが低い場合、俯瞰画像内で妨害信号はほとんど目に見えない。これらの場合、妨害信号の低減が回避される可能性がある。
本発明の有益な実施形態では、ステップa)で、妨害信号インジケータが決定され、少なくとも1つの妨害信号の影響を受けた画像領域の存在、ならびに合成俯瞰表示画像における画像領域の位置が、妨害信号インジケータに基づいて決定され、ステップb)で、妨害信号の重大度が妨害信号インジケータに基づいて決定される。妨害信号インジケータは、特に、妨害信号のない画像領域を妨害信号の影響を受けた画像領域から区別するのに役立つ。妨害信号インジケータによって、特定のカメラで妨害信号またはエイリアシングが発生しているかどうかを示すことができる。結果として、妨害信号インジケータは、実際のカメラに依存するが、特に、仮想カメラによってではない。妨害信号インジケータを、原画像に基づいて、および/または合成画像に基づいて決定することができる。この妨害信号インジケータに基づいて、妨害信号の影響を受けた画像領域を、例えば、妨害信号の影響を受けた画像領域の位置などを、少なくとも1つの合成俯瞰表示画像内において識別することができる。さらに、妨害信号の重大度を、妨害信号インジケータに基づいて決定、特に、予測することができる。
ピクセル密度マップは、妨害信号インジケータとしてカメラの少なくとも1つのカメラパラメータに応じて決定され、そのピクセル密度マップは、合成俯瞰表示画像の作成に寄与する原画像のピクセル数の分布に依存する画像領域を表しており、ピクセル密度マップ内の最大ピクセル密度値が妨害信号の重大度として決定される。ピクセル密度マップは、ピクセル密度の空間分布に対応しており、これは、合成俯瞰表示画像内の画像領域の生成に寄与する原画像のピクセル数を表す。画像領域により、環境領域の特定の環境サブ領域または関心領域(ROI)が画像化される。関心領域は、例えば、路面の環境サブ領域である。分布は、例えば、路面などの環境領域を環境サブ領域に分割することによって決定できる。各環境サブ領域について、合成俯瞰表示画像のそれぞれの環境サブ領域の表現に使用される原画像のピクセル数と、合成俯瞰表示画像のピクセル数との比を決定することができる。言い換えると、環境領域を細分化し、特定の環境サブ領域が環境領域内で選択され、この特定の環境サブ領域が原画像内および合成俯瞰表示画像内で占有するピクセル数が決定される。結果として、ピクセル密度は、合成俯瞰表示画像に対する原画像のピクセル比を測定するための尺度である。
ピクセル比は、カメラの外部および内部カメラパラメータに依存するため、ピクセル密度マップはカメラパラメータに応じて生成される。例えば、全てのカメラのピクセル密度マップを決定したり、カメラシステム全体のピクセル密度マップを決定したりできる。外部カメラパラメータは、ワールド座標系でのカメラの空間位置、すなわち位置と向きを表し、ワールド座標系とカメラ座標系との関係を確立する。内部カメラパラメータは、カメラ座標系と、原画像および合成俯瞰表示画像の画像座標系との関係を確立する。例えば、カメラの焦点距離、画像中心の座標、および画像座標の両方向のピクセルスケーリングなどの内部カメラパラメータを示すことができる。
したがって、ピクセル密度マップに基づいて、妨害信号の影響を受けた画像領域の位置と妨害信号の重大度の両方を妨害信号の影響を受けた画像領域内で決定することができる。ピクセル密度マップをピクセル密度範囲に分割することができ、各ピクセル密度範囲は、俯瞰表示画像内の画像領域に対応している。ピクセル密度範囲のピクセル密度が高いほど、ピクセル密度範囲に対応する俯瞰画像の画像領域内の妨害信号はより激しく、またはより強くなる。したがって、その画像領域を、ピクセル密度マップに従って、最高ピクセル密度を有する妨害信号の影響を受けた画像領域として識別できる。この最高ピクセル密度は、妨害信号の重大度として同時に識別でき、所定の重大度しきい値と比較することができる。例えば、カメラの近くのターゲット領域を表す画像領域内のピクセル密度は、カメラから遠いターゲット領域を表す画像領域内のピクセル密度よりも大きい。したがって、環境領域の特定の画像環境サブ領域内の妨害信号の影響を受けた画像領域は、実際のカメラに接近している。
代替的または追加的に、妨害信号インジケータとして、ピクセル値の統計的分散を示す少なくとも1つの尺度が、原画像内および/または合成俯瞰表示画像内のピクセルの位置の関数として決定されるが、妨害信号の重大度は、少なくとも1つの尺度の相対値に基づいて決定される。したがって、この実施形態によれば、妨害信号インジケータは、ピクセル値、特に輝度値の分散、すなわちばらつきに基づいて決定される。本実施形態は、妨害信号の影響を受けた画像領域のピクセル値は、妨害信号のない画像領域のピクセル値よりも分散が著しく大きいという認識に基づいている。統計的分散が特徴付けられる統計的尺度または統計的指標は、例えば、データ範囲、標準偏差、距離での距離標準偏差、平均絶対偏差、変動係数、相対平均差などであり得る。統計的指標が大きいほど、ピクセル値の分散が大きい。エイリアシングの重大度を統計的指標の相対値によって評価することができる。
妨害信号インジケータを決定するために統計的指標を使用することは、妨害信号インジケータをピクセル密度マップに基づいて正確にまたは確実に決定できないときに、特に有益である。特に、ピクセル密度は、カメラのピンホールモデルと線形レイトレーシング計算とに基づいて決定される比であるため、環境領域内での対象物の存在、対象物の形状、対象物の寸法、関心領域の輝度と色、異なるカメラレンズ特性などの他の様々な条件は考慮されない。
代替的または追加的に、妨害信号インジケータは、原画像および/または合成俯瞰表示画像のピクセル値の周波数分析によって決定されることが提供可能となる。エイリアシング効果は、特にサンプリング周波数の半分よりも高い高周波成分を含む信号のサンプリング中に発生する信号処理エラーを指すため、周波数領域内で原画像および/または俯瞰表示画像を分析することによって、妨害信号インジケータを決定することもできる。単一の原画像内および/または単一の俯瞰表示画像内の両方の空間周波数を考慮することができ、同様に、時間領域内の周波数を画像の時間シーケンス内で考慮することができる。
本発明のさらなる発展形態では、合成俯瞰表示画像を表示するための車両側画面に応じて、妨害信号インジケータとして、環境領域内の特定の環境サブ領域に対応するそれぞれの画面領域が決定される。その画面領域のサイズは、妨害信号の重大度として決定され、該画面領域は、画面で表示中に妨害信号の影響を受けた画像領域に対応する環境サブ領域によって占有される。したがって、妨害信号インジケータは、俯瞰表示画像が表示される特定の表示装置に依存する可能性もある。この場合、合成俯瞰表示画像が画面上に表示されている間、合成俯瞰表示画像に妨害信号が含まれているかどうかが調べられる。これは、例えば、合成俯瞰表示画像に、十分に重大であるばかりか十分に有意で、かつ遮蔽されていない妨害信号が含まれていることは明らかであるが、妨害信号は特定の画面パラメータを持つ特定の画面では目に見えないことを意味する。妨害信号が、実際には存在していても、特定の画面上で目に見えない場合、妨害信号の低減を回避できる。したがって、合成俯瞰表示画像を決定する際に、計算性能と計算時間を経済的に節約できる。
少なくとも1つのテストサイクル中にテスト妨害信号インジケータが決定されると有益であり、環境領域内の所定の環境サブ領域の位置とテスト妨害インジケータの値との関係が決定され、重大度しきい値が該関係に基づいて決定される。特に、テストサイクルは、特定のカメラシステムがまだ最終顧客に納入されていない、いわゆる半製品段階で実行される。テストサイクルにより、特定のカメラシステムにおいてアンチエイリアシング法が、とにかく、必要かどうかを効果的にチェックできる。さらに、特定のカメラシステムにおいて、つまり原画像内または俯瞰表示画像内のみで、いつ妨害信号が低減するかを明らかにすることができる。したがって、プレフィルタリングまたは後処理により望ましい結果が得られるかどうか、すなわち高品質の俯瞰表示画像の決定が得られるかどうかを決定することができる。この目的のために、テストサイクルで原画像をキャプチャし、例えば、仮想カメラの姿勢などの仮想カメラの設定を利用して、俯瞰表示画像を決定できる。テストサイクルで決定された俯瞰表示画像内に妨害信号が発生した場合、原画像および/または俯瞰表示画像に基づいてテスト妨害信号インジケータを決定できる。次いで、テスト妨害信号インジケータに基づいて、この特定のカメラシステム用の特定の重大度しきい値を決定できる。したがって、アンチエイリアシングを、それぞれのカメラシステムに具体的に適合させることができるため、質的に、特に高品質の俯瞰表示画像を生成できるカメラシステムをエンドユーザに提供できる。
特に、有益な実施形態では、合成俯瞰表示画像内の妨害信号を低減するために、ステップf)で、統合強調機能を備えたカメラの場合、キャプチャされた原画像のコントラスト強調および/またはエッジ強調が抑制または軽減されて、合成俯瞰表示画像は、コントラスト強調および/またはエッジ強調なしの原画像に基づいて決定される。ステップf)に対して代替的または追加的に、ステップg)で、キャプチャされた原画像内で焦点調節誤差が生成され、合成俯瞰表示画像は、焦点調節誤差を有する原画像に基づいて決定される。ステップf)および/またはステップg)に対して代替的または追加的に、ステップh)で、合成俯瞰表示画像内および/または原画像内の妨害信号の影響を受けた画像領域に対応するピクセルにフィルタが適用される。
したがって、ステップa)〜e)によって、合成俯瞰表示画像に対して妨害信号の低減が必要であることが検出された場合、ステップf)〜h)の少なくとも1つが実行される。ステップf)で、カメラの統合強調機能または強調機能は、オフにされるか縮小される。ほとんどのカメラまたはカメラシステムには、コントラスト強調および/またはエッジ強調が組み込まれた統合画像処理ユニットが含まれる。妨害信号が統合強調機能によって生成されない場合でも、これらの強調機能により妨害信号の重大度が悪化する可能性がある。カメラの画像処理ユニットは、例えば、車両側の画像処理装置によって制御することができ、その場合、強調機能は原画像に適用されない。このようにして、合成俯瞰表示画像を生成するために、未処理の原画像が画像処理装置に提供される。カメラのこれらの強調機能を抑制または少なくとも軽減し、未処理の原画像に基づいて合成俯瞰表示画像を決定することにより、妨害信号を合成俯瞰表示画像へ導入することが容易に回避または低減できる。
代替的または追加的に、光学的方法に関するステップg)を実行することができる。ステップg)で、焦点調節誤差または焦点調節オフセットが原画像内で意図的に生成される。焦点調節誤差はカメラのぼやけた画像の形で目に見え、光学的なぼやけは、高周波信号を低減させ、したがって、ぼやけた原画像に基づいて決定された合成俯瞰表示画像内のエイリアシングを低減させる。原画像内の焦点調節誤差は、例えば、カメラのレンズにずれを与えることにより生成される。したがって、原画像は、レンズ位置がずれているカメラによって検出される。この目的のために、レンズ、例えば魚眼レンズを公称位置からわずかにずらして、フォーカスオフセットを実現し、したがってレンズの位置をずらすことができる。カメラの製造中またはカメラの自動車両への取付け中に、レンズの位置がずれることがある。したがって、カメラにはレンズの位置ずれが組み込まれており、ぼやけた原画像をキャプチャできる。これらのぼやけた原画像内で、ピクセル輝度の高周波が平滑化され、その結果、俯瞰表示画像内の妨害信号が低減される。
ステップf)およびg)は、合成俯瞰表示画像を生成する前に実行されるため、合成俯瞰表示画像への妨害信号の導入を回避するための予防手段と見なすことができる。
代替的または追加的に、画像処理方法に関するステップh)を実行することができる。このステップh)内で、合成俯瞰表示画像内の妨害信号の影響を受ける少なくとも1つの画像領域がフィルタリングされる。特に、画像要素またはピクセルは、合成俯瞰表示画像のこの画像領域内および/または関連する画像領域に寄与する原画像の画像要素内でフィルタリングされる。ステップh)は、フィルタを原画像に適用することによって合成俯瞰表示画像を生成する前、および/またはフィルタを合成俯瞰表示画像に適用することによって合成俯瞰表示画像を生成した後に実行できる。ピクセル密度マップを使用してフィルタをガイドすることができる。重み付け係数は、原画像および/または合成俯瞰表示画像のピクセルを重み付けするためのピクセル密度マップに応じて決定できる。したがって、ピクセル密度マップは、ガイド付きフィルタのいわゆるガイド画像として機能し、それによって、フィルタの画像処理操作を局所に制限することができる。したがって、妨害信号の影響を受けた画像領域と、妨害信号のない画像領域との間での滑らかな移行を効果的に保証することができる。
妨害信号低減の必要性がステップa)〜e)で決定された場合、運転者に表示される合成俯瞰表示画像の画質は、ステップf)〜h)の少なくとも1つを、特に、ステップf)〜h)の全てを実行することにより改善できる。したがって、運転者のための視覚的品質を向上させることができる。
好ましくは、妨害信号が自動車両の動きおよび/または仮想カメラの動きに起因するかどうかが判定され、妨害信号が仮想カメラの動きにのみ起因する場合、妨害信号は合成俯瞰表示画像内の隣接ピクセルの平均化を実行することによって低減される。この実施形態によれば、妨害信号のソースが検出される。妨害信号が自動車両の動きではなく、単に仮想カメラの動きに起因する場合、簡略化された妨害信号の低減、または簡略化されたアンチエイリアシングを実行できる。したがって、ステップf)〜h)のいずれも実行されないが、合成俯瞰表示画像内での隣接するピクセルの平均化のみが実行される。例えば、原画像の記録時に自動車両が静止しているか固定しているかを検出できる。この場合、自動車両は動かない。仮想カメラは、特に、合成俯瞰表示画像のビデオシーケンスが生成されるときに動き、仮想カメラは、俯瞰表示画像のキャプチャ中に自動車両の上を飛行する。妨害信号の発生源を検出することにより、妨害信号を低減するための適切な、任意選択により、簡略化された変形を効果的に選択でき、したがって計算時間を節約できる。
本発明はまた、自動車両の環境領域から原画像を検出するための少なくとも2台のカメラと、本発明またはその有益な実施形態による方法を実行するように設計された画像処理装置とを含む自動車両用カメラシステムに関する。カメラシステムは、画像処理装置によって生成される妨害信号が低減された合成俯瞰表示画像を表示するための表示装置、例えば、画面をさらに備えてもよい。特に、カメラシステムはサラウンドビューカメラシステムとして設計されており、自動車両上に配置し、かつ自動車両の周囲の環境領域から原画像を検出するための少なくとも4台のカメラを備える。カメラは、特に、魚眼レンズなどの広角レンズを備える。
本発明による自動車両は、本発明によるカメラシステムを備える。自動車両は、特に、乗用車として設計されている。
本発明による方法に関して提示された好ましい実施形態およびそれらの利点は、本発明によるカメラシステム、および本発明による自動車両に相応に適用される。
「前」、「後」、「次」、「上」、「左」、「右」の表示により、車両の前に立って、車両の長手方向を見る観測者の視点からの位置と向きが示される。
本発明のさらなる構成は、特許請求の範囲、図面、および図面の説明から明らかである。上記の説明で言及した構成および構成の組合せ、ならびに図の説明で以下に言及する構成および構成の組合せ、および/または図のみに示すものは、本発明の範囲から逸脱することなく、それぞれ指定された組合せだけでなく、他の組合せまたは単独でも使用可能である。したがって、実装もまた、本発明によって包含および開示されると見なされるべきであり、これは、図に明示的に示され説明されていないが、説明された実装から生じ、またそれから分離される構成の組合せによって生成することができる。実装と構成の組合せも開示されていると見なされるべきであり、したがってこれらは元々策定された独立請求項の構成の全てを備えているわけではない。さらに、実装と構成の組合せは、特に、上記の実装によって開示されていると見なされるべきであり、これらは特許請求の範囲に記載された構成の組合せを超えて拡大し、またはそれから逸脱している。
本発明は、好ましい例示的な実施形態に基づいて、添付の図面を参照して、より詳細に説明される。
本発明による自動車両の実施形態の概略図である。 自動車両の検出中における仮想カメラの異なる視点の概略図である。 自動車両の検出中における仮想カメラの異なる視点の概略図である。 自動車両の検出中における仮想カメラの異なる視点の概略図である。 いわゆる「ボウルビュー」で合成俯瞰表示画像を生成するための曲面の概略図である。 合成俯瞰表示画像を生成するための一般的な画像パイプラインの概略図である。 合成俯瞰表示画像を生成するためのさらなる画像パイプラインの概略図である。 本発明による方法の実施形態のフローチャートの概略図である。 合成俯瞰表示画像内の妨害信号を識別するためのピクセル密度マップの概略図である。 合成俯瞰表示画像内の妨害信号を識別するためのピクセル密度マップの概略図である。 合成俯瞰表示画像内の妨害信号を識別するためのピクセル密度マップの概略図である。 合成俯瞰表示画像内の妨害信号を識別するためのピクセル密度マップの概略図である。 自動車両および仮想カメラのモデルの概略図である。 自動車両の環境領域内の位置における妨害信号の関係の概略図である。 ピクセル占有数と車両側カメラの1つの光軸への入射角との間の実験的に検出された関係の概略図である。 妨害信号の影響を受けた画像領域の形状の概略図である。 製品前段階でカメラシステムの妨害信号インジケータを決定するためのフローチャートの概略図である。 妨害信号のソースを決定するためのフローチャートの概略図である。
図面では、同一の要素および機能的に同一の要素には同じ参照文字が付けられている。
図1は、本発明による自動車両1の実施形態を示す。この場合、自動車両1は乗用車として設計されている。自動車両1は、自動車両1の運転中、例えば、駐車中に自動車両1の運転者を支援することができる運転者支援システム2を備える。運転者支援システム2は、自動車両1の環境領域4を監視するためのカメラシステム3を備える。ここで、カメラシステム3は、サラウンドビューカメラシステムとして設計されている。カメラシステム3は、自動車両1に配置された4台のカメラ5a、5b、5c、5dを備える。前方カメラである第1のカメラ5aは、自動車両1の前部領域6に配置され、自動車両1の前方の環境領域4から原画像を検出するのに役立つ。後方カメラである第2のカメラ5bは、自動車両1の後部領域7に配置され、自動車両1の後方の環境領域4から原画像を検出するのに役立つ。第3のカメラ5cは、自動車両1の左側8に配置され、自動車両1の左側の環境領域4から原画像を検出するのに役立つ。第4のカメラ5dは、自動車両1の右側9に配置され、自動車両1の右側の環境領域4から原画像を検出するのに役立つ。左右のカメラ5c、5dは、特に、自動車両1のサイドミラー上にまたはその代わりに配置することができるサイドミラーカメラである。カメラ5a、5b、5c、5dは、特に、それぞれの検出範囲を拡大するための魚眼レンズを含む。
カメラ5a、5b、5c、5dによって検出された原画像または生ビデオフレームは、運転者支援システム2の表示装置10、例えば、ビデオまたはビデオシーケンスの形で画面に表示することができる。原画像を運転者支援システム2の画像処理装置11にも供給することができ、運転者支援システム2は、原画像を合成して俯瞰表示画像にする。画像処理装置11は、例えば、車両側の制御装置またはECUに統合することができる。合成俯瞰表示画像を、代替として、または原画像に加えて、表示装置10に表示してもよい。
合成俯瞰表示画像は、自動車両1と、仮想カメラ12の動的に変化する視点P1、P2、P3からの自動車両1の環境領域4とを示す。図2a、図2b、図2cでは、仮想カメラ12が示されており、異なる視点P1、P2、P3から自動車両1を検出中である。図2aによれば、仮想カメラ12は、自動車両1の真上に位置し、第1の視点P1から自動車両1および自動車両1の路面13を垂直に下向きに見ている。自動車両1および路面13は、仮想カメラ12の投影面に直角に投影される。したがって、直交投影の場合、環境領域4からの可視光線14は、仮想カメラ12の投影面上で直角に交わる。図2bによれば、仮想カメラ12も自動車両1の真上に配置され、自動車両1および自動車両1の路面13を垂直に下向きに第2の視点P2から見ている。図2bによれば、自動車両1および路面13は、仮想カメラ12の投影面に透視投影され、その結果、可視光線14は、特に、仮想カメラ12の投影面上の1点で交わる。視点P1およびP2によって、上面図または上面図画像の形式の俯瞰画像を作成できる。したがって、視点P1と視点P2は同じであり、投影タイプのみが異なる。視点効果は上面図内には現れないため、図2aのような正射影か、図2bのような透視投影かを視覚的に判断することはできない。
図2cによれば、仮想カメラ12は、自動車両1の斜め後方の上方に位置し、自動車両1および自動車両1の路面13の第3の視点P3から斜め下方を見ている。視点P3により、例えば、自動車両1の背面図を生成することができる。自動車両1および路面13は、仮想カメラ12の投影面に透視投影される。視点P1およびP2とは対照的に、視点効果は、第3の視点P3において俯瞰表示画像内で発生する。
自動車両1の検出中に仮想カメラ12に異なる視点P1、P2、P3を提供するために、仮想カメラ12は、図3に示されるように、第1の位置Aから第2の位置Bまで動的に飛行することができ、俯瞰表示画像を連続的にキャプチャできる。俯瞰表示画像を生成するために、実際のカメラ5a、5b、5c、5dの原画像を曲面16に投影することができ、これにより、自動車両1のモデル17を曲面16内の任意の所望の位置に配置することができる。特に、自動車両1のモデル17は、曲面の中央に配置される。曲面16は、例えば、4次の多項式を用いて決定することができる。自動車両1のモデル17は、カメラ5a、5b、5c、5dによって検出できない実際の自動車両1を表すことを意図している。
図4は、コンポーネント19、20、21、22、23のセットによって表される一般的な画像パイプライン18またはビデオパイプラインの概略図を示す。ビデオパイプライン18により、サラウンドビューカメラシステム3のカメラ5a、5b、5c、5dによって撮影された原画像25または生ビデオフレームに基づいて、合成俯瞰画像24を生成することができる。環境領域4からの光は、カメラ5a、5b、5c、5dのレンズ19、例えば魚眼レンズを介してカメラ5a、5b、5c、5dの画像センサユニット20に投影される。画像センサユニット20は、例えば、撮像装置と、例えば、コンパニオンチップなどのマイクロプロセッサとを備えることができる。画像センサユニット20は、カメラ5a、5b、5c、5dの統合画質調整機能21、例えば、統合エッジ強調またはコントラスト強調により、原画像25を出力する。原画像25、較正、および仮想カメラ設定23に基づいて、例えば、車両側画像処理装置11に統合することができる計算装置22により、合成俯瞰画像24が生成される。俯瞰画像24を表示用の表示装置10に提供することができる。
図5は、妨害信号27が合成俯瞰表示画像24に導入される地点を有する合成俯瞰表示画像24を生成するための具体的なビデオパイプライン26の表現を示す。特に、自動車両1および/または仮想カメラ12が動くとき、合成俯瞰表示画像24または画像24の連続シーケンスは、例えば、人工的なフリッカ効果の形で、妨害信号27またはエイリアシングを含む。これらの妨害信号27は、カメラ5a、5b、5c、5d、特に、それらの解像度に依存している。妨害信号27は、各解像度レベルで発生する可能性がある。しかしながら、妨害信号27は、低解像度カメラ5a、5b、5c、5dよりも高解像度カメラ5a、5b、5c、5dにおいて、はるかによく目に見える。妨害信号27またはエイリアシング効果は主に空間効果であり、この効果は自動車両1が動くにつれて悪化する。
カメラ5a、5b、5c、5dにより検出された原画像25a、25b、25c、25dは、画像処理装置11に送られる。特に、妨害信号27は、原画像25a、25b、25c、25d内に存在しないか、または目に見えないか、ほとんど目に見えない。原画像25a、25b、25c、25dは、メモリユニット28またはRAM(ダイレクトアクセスメモリ)に記憶することができる。記憶された原画像25a、25b、25c、25dは、原画像25a、25b、25c、25dを解析するマシンビジョン用の処理ユニット29に提供することができる。したがって、マシンビジョンシステムの並列経路は、処理ユニット29を介して提供される。原画像25a、25b、25c、25dは、例えば、対象物ベースの情報30を出力するために、環境領域4内の対象物に関するマシンビジョンのアルゴリズムを用いて解析することができる。対象物ベース情報30は、表示装置10上で運転者に表示することもできる。
原画像25a、25b、25c、25dは、原画像25a、25b、25c、25dをフィルタリングするためのプレフィルタ32と、画像レンダラ33または合成俯瞰表示画像24を生成する画像生成ユニットを備えたデジタル信号プロセッサ31に供給され得る。妨害信号27は、特に、画像レンダラ33によって導入され、その結果、合成俯瞰表示画像24は、ここで妨害信号27を含むことになる。ここで、合成俯瞰表示画像24にポストフィルタ34を適用しているにもかかわらず、合成俯瞰表示画像24から妨害信号27を除去することはできない。これらの合成俯瞰表示画像24は、人工的なフリッカ効果の形で妨害信号27の影響を受け、表示装置10上で運転者に表示されるときに妨害として知覚され得る。これらの妨害信号27は、アンチエイリアシングによって低減することができる。この場合、妨害信号27は、例えば、原画像25a、25b、25c、25を事前にフィルタリングすることにより、および/または俯瞰表示画像24を後処理することにより低減することができる。
最初に、とにかく、干渉信号27の低減、すなわちアンチエイリアシングが必要かどうかがチェックされる。アンチエイリアシングの必要性を判断するためのフローチャートを図6に示す。この場合、自動車両1のモデル17に関する情報だけではなく、俯瞰表示画像24の特定のターゲット図を生成するための仮想カメラ12の視点を表すパラメータ36を用いて、原画像25の合成に起因して妨害信号27が俯瞰表示画像に挿入されるかどうかのレビューが行われる。したがって、妨害信号27を低減するための結果ステップ35が実行されるべきかどうかがチェックされる。例えば、ここに示されていないステップで、最初に、妨害信号27が予想されるかどうかを確認することができる。これは、例えば、とにかく、自動車両1の環境領域4における所定の環境条件の下で妨害信号27が予想されるかどうか、したがって、合成俯瞰表示画像24が少なくとも1つの妨害信号の影響を受けた画像領域を含むことがあるかどうかがチェックされることを意味する。
例えば、雨により自動車両1の路面13が濡れている場合、妨害信号27は小さく、したがって、目に見えないか、ほとんど目に見えないことが起こり得る。カメラレンズ19を水膜で覆うことによっても、エイリアシング効果が弱まる。加えて、エイリアシングは、低光強度部では、したがって、例えば、夜間の路面13における低輝度部では、俯瞰表示画像24内でほとんど目に見えない。また、エイリアシング効果は、影領域の光強度が低いため、自動車両1の影の中では目に見えない。さらに、エイリアシング効果は、例えば、特に小さい、または特に大きい砂利片を有する特定の路面13では発生しない場合がある。環境領域4で検出された環境条件に基づいて、目に見える妨害信号27の存在が既に排除されている場合、アンチエイリアシングは省略されてもよい。したがって、妨害信号27が低減されるため、結果ステップ35は実行されない。
図6による本方法のステップS61において、妨害信号27の有意度を、合成俯瞰表示画像24内の少なくとも1つの妨害信号の影響を受けた画像領域内において決定することができる。有意度は、例えば、画像24内の少なくとも1つの画像領域が、とにかく、妨害信号27が目に見えるほど十分に大きいかどうかを表す。したがって、有意度は、例えば、俯瞰表示画像24内の画像領域のサイズ、形状、および位置など、妨害信号の影響を受ける少なくとも1つの画像領域の幾何学的パラメータを予測するために使用される。妨害信号の影響を受けた画像領域の形状、サイズ、および位置は、特に、画像領域24によって提供される自動車両1および環境領域4の光景に、したがって仮想カメラ12の視点P1、P2、P3に依存する。したがって、有意度は、仮想カメラ12に依存するパラメータであり、妨害信号の影響を受けた画像領域が仮想カメラ12の現在の視点P1、P2、P3の関数としてどのように変化するかを表す。例えば、妨害信号の影響を受けた画像領域の形状は、仮想カメラ12の第1の視点P1から第3の視点P3まで変化する可能性がある。さらに、妨害信号の影響を受けた画像領域であって、自動車両1の前の環境サブ領域を画像化する該画像領域は、視点P1およびP2では上面図の形で、俯瞰表示画像内で第1の大きさを有し、視点P3では背面図の形で、俯瞰表示画像内で第1のサイズよりも小さい第2のサイズを有する。
有意度、例えば、画像領域のサイズが所定の有意度しきい値未満に低下する場合(N)、結果ステップ37でアンチエイリアシングは実行されない。有意度が所定の有意度しきい値を超える場合(Y)、本方法はステップS62で継続される。ステップS62では、妨害信号の影響を受けた画像領域が、自動車両1の透視モデル17によって隠されるかどうかがチェックされる。自動車両1のモデル17は、例として図8を参照して示されており、仮想カメラ12は、自動車両1のモデル17の上方かつ斜め後方に配置されている。自動車両1のモデル17の前の領域38は、仮想カメラ12には見えない。したがって、仮想カメラ12の可視光線14は、この領域38の背後の路面13のみに当たる。この領域38が妨害信号の影響を受けた画像領域に対応する場合、妨害信号の影響を受けた画像領域内で妨害信号27が十分に有意であったとしても、この領域は、俯瞰表示画像24内において自動車両1のモデル17によって隠されているので、目に見えない。したがって、妨害信号の影響を受けた画像領域が自動車両1のモデル17によって遮蔽されるかどうかは、仮想カメラ12の現在の視点P1、P2、P3にも依存する。仮想カメラ12の視点P1、P2では、それによって上面図が生成され、特に、自動車両1に隣接する環境領域4の環境サブ領域を示す画像領域は隠されない。しかしながら、モデル17が少なくとも半透明である場合、それでも領域38、したがって妨害信号27が目に見える可能性がある。したがって、モデル17の透過性とモデルの透視形状の両方を考慮に入れることができるように、モデル17と妨害信号の影響を受けた画像領域との間での遮蔽度を決定することができる。
したがって、妨害信号の影響を受けた画像領域が自動車両1のモデル17によってブロックまたは遮蔽される場合、すなわち、遮蔽度が所定の遮蔽度しきい値を超える場合、結果ステップ37が実行され、アンチエイリアシングはブロックされる。妨害信号の影響を受けた画像領域が自動車両1の透視モデル17によって遮蔽されていない場合(N)、すなわち、遮蔽度しきい値が不足している場合、方法はステップS63で継続される。ステップS63では、妨害信号27の重大度が決定される。妨害信号27の重大度は、自動車両1のカメラシステム3の実際のカメラ5a、5b、5c、5d、特にカメラ5a、5、5c、5dの外部および内部カメラパラメータに依存する。さらに、ステップS63において、妨害信号27の重大度が所定の重大度しきい値と比較される。重大度が重大度しきい値未満に低下する場合(N)、結果ステップ37が実行され、妨害信号27の低減は省略される。重大度が重大度しきい値を超える場合(Y)、結果ステップ35が実行され、妨害信号27が低減される。ステップS61、S62、S63は、ここで示されたもの以外のシーケンスで実行することもできる。
いわゆる妨害信号インジケータまたはエイリアシングインジケータIA(図9を参照)を決定して、とにかく妨害信号27が合成画像24に発生するかどうかを予測し、妨害信号27の重大度を決定することができる。妨害信号インジケータIAとして、例えば、図7a、7b、7c、7dに示されるようなピクセル密度マップPDMを決定することができる。ピクセル密度は、俯瞰表示画像24内の環境領域の特定の部分、例えば環境サブ領域またはターゲット領域を撮像するために、原画像25のカメラピクセルまたは画像点がいくつ使用されるかを計算する可能性を提供する。ピクセル密度は、長さ当りの単位ピクセルまたは画像領域当りのピクセル領域、またはその逆の比である。実際のカメラ5a、5b、5c、5dのサンプリングレートは、特定の環境サブ領域、いわゆる関心領域の表現のために、ピクセル密度に基づいて測定できるので、ピクセル密度の計算は、特に有益である。この関心領域は、特に、通常は砂利または砕石を有する路面13上の領域である。この砂利で覆われた路面13により、カメラ5a、5b、5c、5dによるターゲット領域の検出中に、ピクセル値の高周波変化が発生する可能性がある。この場合、カメラ5a、5b、5c、5dによって提供されるサンプリングレートは、路面13の全ての詳細、例えば、砂利を復元するために必要である重要なサンプリング周波数を満たすことができないため、妨害信号27が俯瞰表示画像24内に挿入される。
図7a、図7b、図7c、図7dに示すピクセル密度マップは、ピクセル密度の空間分布を示す。異なるピクセル密度のピクセル密度領域B1、B2、B3、B4を図7a、図7b、図7c、図7dに示す。ピクセル密度範囲B1は最高値のピクセル密度を含み、ピクセル密度範囲B4は最低値のピクセル密度を含む。最も高いピクセル密度値を有するピクセル密度領域、例えば、ピクセル密度領域B1およびB2は、合成画像24内の妨害信号の影響を受けた画像領域に対応する。したがって、ピクセル密度マップPDMを使用して、とにかく、妨害信号27が発生するかどうかを判断することができ、さらに、妨害信号の影響を受けた画像領域の位置をピクセル密度マップPDMに基づいて識別することができる。ピクセル密度の最大値、すなわちピクセル密度範囲B1内のピクセル密度の値を妨害信号27の重大度として決定することができる。
カメラ5a、5b、5c、5dに依存するピクセル密度Pは、例えば、以下の式により計算することができる。
Figure 0006880252
、f、f、fはカメラ5a、5b、5c、5dの魚眼係数、θはカメラ5a、5b、5c、5dへの光の入射角、(x、y、z)は外部カメラパラメータによって定義されるカメラ5a、5b、5c、5dの位置、および(x、y、z)はピクセル密度が計算される任意の位置である。地上地点の場合、係数z=0である。
ピクセル密度Pの逆数1/Pは、ピクセル密度データ範囲を変換するのに役立つ。正規化されたピクセル密度Pを使用して、ピクセル密度Pのピーク値または最大ピクセル密度値を、1に正規化できる。
図7aは、例として、それぞれのカメラ5a、5b、5c、5dのカメラ軸の交差面41を示す。図10は、ピクセル占有数Nと車両側カメラ5a、5b、5c、5dの1つの光軸またはカメラ軸への入射角θとの間の実験的に確認された関係を示す。したがって、ピクセル密度またはピクセル密度値は、外部カメラパラメータを介して影響を受ける可能性がある。したがって、自動車両1上の各カメラ5a、5b、5c、5dに対して最適な位置があり、それによってエイリアシングを弱めることができる。しかしながら、カメラ5a、5b、5c、5dの高さは、通常、自動車両1上で不変であるため、ピクセル密度の位置を外部カメラパラメータによって変えることはできるが、分布を変えることはできない。ピクセル密度の条件が満たされている場合、エイリアシングはいつでも発生する可能性がある。
図7a、7b、7c、7dは、仮想カメラ12がエイリアシング効果に影響を及ぼすことも示している。ピクセル密度マップPDMとして決定される干渉信号インジケータIAは、ピクセル密度領域B1、B2、B3、B4が、例えば、それらのサイズ、形状および/または位置を変えるという点で、特に、仮想カメラ12の視点P1、P2、P3の影響を受ける。図7aによれば、ピクセル密度領域B1、B2、B3、B4は、仮想カメラ12が自動車両1の上方の第1の距離で自動車両1の垂直上方に配置された視点に対して、示されている。図7bによれば、ピクセル密度領域B1、B2、B3、B4は、仮想カメラ12が自動車両1の垂直上方の第1の距離よりも大きい第2の距離に配置された視点に対して、示されている。より大きな第2の距離により、ピクセル密度領域B1、B2、B3のサイズ、したがって妨害信号の影響を受けた画像領域も俯瞰表示画像24内で減少する。図7cによれば、ピクセル密度領域B1、B2、B3、B4は、仮想カメラ12が自動車両1の斜め後方および上方に配置され、自動車両1上で斜め下方に見る視点に対して、示されている。図7dによれば、ピクセル密度領域B1、B2、B3、B4は、仮想カメラ12は、自動車両1の後方に配置され、自動車両1の後部領域7を自動車両1の前部領域6の方向で前方に見る視点に対して、示されている。
図7a、図7b、図7c、図7dの領域43は、自動車両1によって遮蔽される領域を示す。自動車両1のモデル17は、領域43に対応する俯瞰表示画像24の画像領域に配置される。領域43は、仮想カメラ12の視点P1、P2、P3と共に変化することも明らかである。したがって、自動車両1のモデル17はまた、仮想カメラ12の視点P1、P2、P3によっても変化することになる。図7aおよび図7bによる領域44は、カメラ5a〜5dのいずれによっても検出できない環境領域4内の環境サブ領域に対応する領域であるため、環境領域4内のこれらの環境サブ領域に対して画像情報を利用できない。これらの画像領域については、例えば、合成俯瞰表示画像24の隣接する画像領域の関数として合成俯瞰表示画像24を表示するとき、表示装置10上で印を付けたり、人工的に生成したりすることができる。
仮想カメラ12の視点P1、P2、P3によって変化するピクセル密度領域B1、B2、B3、B4のサイズは、合成画像24内で変化する画像領域のサイズに対応する。領域が仮想カメラ12に近いほど、俯瞰表示画像内においてこの領域が占有するピクセルが多くなる。仮想カメラ12の構成の結果として、すなわち、例えば、仮想カメラ12の視点の結果として、ピクセル密度領域B1のサイズが変化する場合、妨害信号の影響を受けた画像領域もそのサイズを変化させる。妨害信号の影響を受けた画像領域のサイズは、例えば、妨害信号27の有意度として決定することができる。
例えば、妨害信号の影響を受けた画像領域のサイズまたは面積は、次の式を使用して計算できる。
Figure 0006880252
は仮想カメラの合成画像内で占有されているピクセルの面積、すなわち、妨害信号の影響を受けた画像領域の面積である。Aは、例えば、路面13上の仮想カメラ12によってキャプチャされた環境領域4内の丸い領域、dはミリメートルでの仮想カメラ12のズーム長さ、Rは仮想カメラ12の位置からの当該領域の距離、およびθは仮想カメラ12の投影面への可視光線14の入射角である。仮想カメラ12の占有ピクセル面積は、当該面積領域すなわち関心領域の距離の二乗に反比例することがわかる。これは、仮想カメラ12から遠くにある関心領域の同じサイズが、仮想カメラ12に近い該領域よりもはるかに小さいことを説明している。領域が十分に小さい場合、例えば、300ピクセル未満の正方形の場合、アンチエイリアシングの必要はない。したがって、有意度は面積Aの値から決定できる。次に、その有意度に基づいて、妨害信号27の低減を実行するかどうかを評価することができる。
図11には、妨害信号の影響を受けた画像領域に関する形状45a、45bが示されており、これは、ピクセル密度マップPDMを用いて決定することができる。形状45aは、自動車両1の前方における妨害信号の影響を受けた画像領域に対応し、形状45bは、自動車両1の左側の妨害信号の影響を受けた画像領域に対応する。妨害信号の影響を受けた画像領域は、例えば、50ピクセルの幅46を有し得る。それにより、形状45a、45bは、ピクセルマップPDMに基づいて、例えば図7aを参照して、上面図内で決定される。これらの形状45a、45bは、仮想カメラ12の視点によって変化し得る。例えば、図7cおよび図7dによる仮想カメラ12の形状45aの幅46は、図7aの平面図と比較して小さくすることができるが、一方、自動車両1の後部領域の幅は増加する。
さらなる妨害信号インジケータIAは、妨害信号のない画像領域を妨害信号の影響を受けた画像領域と区別できることに基づいて、統計的分散によって計算することができる。ピクセル値は、妨害信号のない画像領域内よりも妨害信号の影響を受けた画像領域内で大きく変化するため、ピクセル配列内のピクセル値の変化も計算できる。統計的分散は、例えば、統計的メトリックまたは統計的指標、例えば、データ範囲、標準偏差、距離標準偏差、平均絶対偏差、変動係数、相対平均差などで決定できる。指標の値が大きいほど、データまたはピクセル値のばらつきが大きくなる。妨害信号27の重大度は、例えば、統計的指標の相対値を用いて決定することができる。例えば、ピクセルの輝度値の標準偏差を考慮することができる。輝度値の標準偏差は、妨害信号の影響を受けた画像領域内では第1の値、例えば、24.3を有し、干渉信号27のない同じ領域内での標準偏差は、第1の値よりも小さい第2の値、例えば、7.5を有する。第2の値は、例えば、アンチエイリアシングの実行後に統計的測定値によって決定されるターゲット値として機能する。
エイリアシング効果は高周波の変化に影響するため、周波数領域での効果の解析は、妨害信号のインジケータとしても機能する。原画像25内または俯瞰表示画像24内の局所周波数範囲内での周波数分析、および時間周波数範囲内での周波数分析を、それぞれ原画像25または俯瞰表示画像24の時系列またはシーケンス内で実行できる。
図9では、妨害信号インジケータIAのコース39が関心領域の位置Lに関してプロットされている。妨害信号インジケータIAが所定のしきい値40を超える場合、これは妨害信号27が関心領域に対応する画像領域内で目に見えるほど十分に重大であることを意味する。図9に示すコース39は、既に説明した妨害信号インジケータIAのいずれかのコース、例えば、ピクセル密度マップPDMまたは統計的指標であり得る。
例えば、図6による結果ステップ35でアンチエイリアシングを実行するために、カメラ5a、5b、5c、5dの内の少なくとも1つの組込み型のコントラスト強調および/またはエッジ強調を抑制または弱めることができる。最終俯瞰表示画像24が作成される前に、カメラ5a、5b、5c、5dは、通常、局所エッジ鮮明化操作および/またはコントラスト強調操作などの特定の前処理手順を実行して、最終画像24の視覚的品質を改善する。このようなコントラストとエッジの強調により、画像の見かけの鮮明さ、すなわち視力が向上する。画像24の生成前に原画像25にエッジ強調および/またはコントラスト強調が適用されると、それによりエイリアシング効果が悪化する可能性がある。エッジ強調やコントラスト強調により、エイリアシング効果が生成されることはないが、むしろ既存の効果が強化される。
エイリアシング効果または妨害信号27は、カメラ5a、5b、5c、5dの少なくとも1つの統合された強調機能をオフにするか、少なくとも弱めることにより大幅に低減することができる。好ましくは、エッジ強調および/またはコントラスト強調は、妨害信号の影響を受けた画像領域に寄与する画像領域に対して局所的にオフにされ、一方、強調機能は他の画像領域に対してオンのままである。
代替的または追加的に、妨害信号27を低減するための光学的方法を実行することができる。カメラ5a、5b、5c、5dの光学レンズ19、例えば魚眼レンズは、原画像25内の周波数成分を変えるように設計されている。合成画像24内の妨害信号27を低減するために、光学魚眼レンズ19を公称位置からわずかにオフセットして、焦点ぼけカメラ5a、5b、5c、5dを提供することができる。したがって、カメラ5a、5b、5c、5dに焦点調節誤差が発生する。これにより、一定量の光学的ぼやけが生じ、高周波でのエイリアシングを低減できる。
代替的または追加的に、ピクセルレベルで原画像25および/または俯瞰表示画像24を処理する画像処理方法を実行することができる。これは、高周波エイリアシングのフィルタリングに役立つ。ダウンサンプリング、近傍内挿、および/またはピクセル(例えば、YUV画像形式のLuma部分)での平均化などの従来の画像処理方法を高周波フィルタに適用すると、エイリアシング効果が減少する。これは、原画像25および/または俯瞰表示画像24に対して、空間的および時間的に実行することができる。妨害信号のない画像領域と妨害信号の影響を受けた画像領域との間で俯瞰表示画像24の滑らかな遷移を達成するために、例えば、ピクセル密度マップPDMをガイド画像として使用することにより、フィルタを局所的に制限することができる。
図12は、特定のカメラシステム3の製造前段階で、この特定のカメラシステム3でエイリアシングが発生するかどうかを、とにかく判断することができるフローチャートを示す。この目的のために、カメラシステム3の半製品段階で、特にカメラシステム3または自動車両1を自動車両1の最終顧客に納入する前に、俯瞰テスト画像が、仮想カメラ12の構成設定48である「ボウルビュー」設定でテスト原画像47を使用して決定される。ステップS121において、エイリアシング効果が俯瞰テスト画像において重要であるかどうかが判定される。そうでない場合(Y)、結果ステップ49が実行され、このカメラシステム3では、アンチエイリアシングは必要ではないと考えられることから、この特定のカメラシステム3に対してアンチエイリアシングアルゴリズムは提供されない。俯瞰テスト画像においてエイリアシング効果が顕著である場合、妨害信号27の重大度を決定する妨害信号テストインジケータがステップS122で評価される。テストインジケータ50は、合成俯瞰テスト画像によって決定することができ、および/またはテストインジケータ51は、テスト原画像47によって決定することができる。
合成テスト画像に基づいて、特定の環境サブ領域が占有する画面領域を、例えば、テストインジケータ52として決定できる。画面依存テストインジケータ52に基づいて、とにかく、妨害信号27が自動車両1の特定の画面で目に見えるかどうかを予測することができる。ピクセル値の周波数分析は、合成テスト画像に基づいておよび/またはテスト原画像47に基づいて、テストインジケータ53として決定でき、上記の統計的尺度はテストインジケータ54として決定できる。ピクセル密度は、テスト原画像47に基づいて、さらなるテストインジケータ55として決定することができる。測定値としきい値、例えば、重大度しきい値と有意度しきい値は、結果ステップ56でテストインジケータ52、53、54、55から決定され、それによってこの特定のカメラシステム3で、アンチエイリアシングが実行されるかどうか判定される。
図13には、エイリアシング効果の原因を決定するためのフローチャートが示されている。第1のステップS131で、俯瞰表示画像24内にエイリアシングが発生したことが検出されると、第2のステップS132で、妨害信号27が自動車両1の動きまたは仮想カメラ12の動きに起因するかどうかが判定される。ステップS133で、妨害信号27が仮想カメラ12の動きのみに起因することが検出された場合、ステップ134で、単純化されたアンチエイリアシングを実行することができる。例えば、ステップS134で、平均化は、原画像25または合成俯瞰画像24のピクセルを介して実行することができる。ステップ135で、エイリアシングが自動車両1の動きから生じることも検出された場合、例えば、カメラ5a、5b、5c、5dの統合エッジ強調機能および/またはコントラスト強調機能を弱めるまたは動作停止することにより、および/またはカメラ5a、5b、5c、5dで焦点調節誤差を生成することにより、および/またはフィルタを適用することにより、妨害信号27を低減できる。

Claims (15)

  1. 動的仮想カメラ(12)の動的可変視点(P1、P2、P3)からの自動車両(1)と前記自動車両(1)の環境領域(4)とを示し、少なくとも2台の車両側カメラ(5a、5b、5c、5d)の原画像(25)に基づいておよび前記仮想カメラ(12)の前記視点(P1、P2、P3)に依存する前記自動車両(1)の透視モデル(17)に基づいて決定される少なくとも1つの合成俯瞰表示画像(24)を生成する方法であって、
    a)前記合成俯瞰表示画像(24)が少なくとも1つの妨害信号の影響を受けた画像領域を含むかどうかを決定し、そうである場合は、前記合成俯瞰表示画像(24)内の前記少なくとも1つの妨害信号の影響を受けた画像領域を識別するステップと、
    b)前記少なくとも1つの妨害信号の影響を受けた画像領域内の妨害信号(27)の重大度を決定するステップ(S63)と、
    c)前記仮想カメラ(12)の前記視点(P1、P2、P3)に応じて前記妨害信号(27)の有意度を決定するステップであって、前記仮想カメラ(12)の前記視点(P1、P2、P3)と共に前記画像領域の少なくとも1つの幾何学的パラメータが有意度によって特徴付けられる、ステップ(S61)と、
    d)前記仮想カメラ(12)の前記視点(P1、P2、P3)に応じて、前記合成俯瞰表示画像(24)に挿入される、前記自動車両(1)の前記モデル(17)による前記妨害信号の影響を受けた画像領域の遮蔽度を決定するステップ(S62)と、
    e)前記妨害信号(27)の前記重大度が所定の重大度しきい値を超え、前記妨害信号(27)の前記有意度が所定の有意度しきい値を超え、及び前記遮蔽度が所定の遮蔽度しきい値未満のままの場合に、前記合成俯瞰表示画像(24)のみに関して前記妨害信号(27)を低減するステップ(35)と、を含む、方法。
  2. 前記妨害信号(27)は、前記原画像(25)内および/または前記合成俯瞰表示画像(24)内で低減され、前記妨害信号(27)が少なくとも前記原画像(25)において低減される場合、前記ステップa)〜d)は、前記合成俯瞰表示画像(24)の作成前に原画像(25)に基づいて予測的に実行される
    ことを特徴とする、
    請求項1に記載の方法。
  3. 前記原画像(25)は、所定の曲面(16)に投影され、前記自動車両(1)の前記モデル(17)は、前記面(16)上の所定の位置に配置され、前記合成俯瞰表示画像(24)は、前記動的仮想カメラ(12)の視点(P1、P2、P3)に基づくとともに、前記面(16)に基づいて、前記自動車両(1)の前記モデル(17)及び前記投影された原画像(25)とともに決定される
    ことを特徴とする、
    請求項1または2に記載の方法。
  4. ステップa)において、少なくとも1つの環境条件、特に前記自動車両(1)のための路面(13)のテクスチャおよび/または日中および/または気象の条件、が決定され、少なくとも1つの環境条件に基づいて、前記合成俯瞰表示画像(24)が、前記少なくとも1つの妨害信号の影響を受けた画像領域を含むかどうかが予測される
    ことを特徴とする、
    請求項1〜3のいずれか一項に記載の方法。
  5. ステップa)において、妨害信号インジケータが決定され、前記妨害信号インジケータに基づいて前記少なくとも1つの妨害信号の影響を受けた画像領域の存在と、前記合成俯瞰表示画像(24)内の少なくとも1つの画像領域の位置とが決定され、ステップb)において、前記妨害信号(27)の前記重大度が前記妨害信号インジケータに基づいて決定される
    ことを特徴とする、
    請求項1〜4のいずれか一項に記載の方法。
  6. 前記妨害信号インジケータとして、前記カメラ(5a、5b、5c、5d)の少なくとも1つのカメラパラメータに応じてピクセル密度マップ(PDM)が決定され、それは前記合成俯瞰表示画像(24)の作成に寄与する前記原画像(25)のピクセルの数の分布に依存する画像領域を表し、前記ピクセル密度マップ(PDM)内の最大ピクセル密度値が、前記妨害信号(27)の前記重大度として決定される
    ことを特徴とする、
    請求項5に記載の方法。
  7. 前記妨害信号インジケータとして、ピクセル値の統計的ばらつきを表す少なくとも1つの測定値が、前記原画像(25)におけるおよび/または前記合成俯瞰表示画像(24)におけるピクセルの位置の関数として決定され、前記妨害信号(27)の前記重大度は、前記少なくとも1つの測定値の相対値に基づいて決定される
    ことを特徴とする、
    請求項5または6に記載の方法。
  8. 前記妨害信号インジケータは、前記原画像(25)および/または前記合成俯瞰表示画像(24)のピクセル値の周波数分析によって決定される
    ことを特徴とする、
    請求項5〜7のいずれか一項に記載の方法。
  9. 前記合成俯瞰表示画像(24)を表示するための車両側の画面に応じて、前記妨害信号インジケータとして、前記環境領域(4)におけるある環境サブ領域に対応するそれぞれの画面領域が決定され、その画面領域のサイズは、前記妨害信号(27)の前記重大度として決定され、それは前記画面での表示中に前記妨害信号の影響を受けた画像領域に対応する前記環境サブ領域によって占有される
    ことを特徴とする、
    請求項5〜8のいずれか一項に記載の方法。
  10. テスト妨害信号インジケータ(50、51、52、53、54、55)が少なくとも1つのテストサイクル中に決定され、前記環境領域(4)における所定の環境サブ領域の位置と前記テスト妨害インジケータ(50、51、52、53、54、55)の値との間の関係が決定され、前記重大度しきい値が前記関係に基づいて決定される
    ことを特徴とする、
    請求項5〜9のいずれか一項に記載の方法。
  11. 前記動的仮想カメラ(12)の前記視点(P1、P2、P3)に依存する有意度として、前記動的仮想カメラ(12)の前記視点(P1、P2、P3)に対応する前記合成俯瞰表示画像(24)における前記少なくとも1つの妨害信号(27)の影響を受けた画像領域のサイズおよび/または形状および/または位置が決定される
    ことを特徴とする、
    請求項1〜10のいずれか一項に記載の方法。
  12. 前記合成俯瞰表示画像(24)において前記妨害信号(27)を低減するために、以下のステップf)〜h)のうちの少なくとも1つが実行される
    f)統合強調機能を備えるカメラ(5a、5b、5c、5d)の場合、前記キャプチャされた原画像(25)に関するコントラスト強調および/またはエッジ強調を抑制または軽減し、前記コントラスト強調および/またはエッジ強調なしの前記原画像(25)に基づいて前記合成俯瞰表示画像(24)を決定する、
    g)前記キャプチャされた原画像(25)内の焦点調節誤差を生成し、前記焦点調節誤差を有する前記原画像(25)に基づいて前記合成俯瞰表示画像(24)を決定する、
    h)前記合成俯瞰表示画像(24)および/または前記原画像(25)の前記妨害信号の影響を受けた画像領域に対応するピクセルにフィルタを適用する、
    ことを特徴とする、
    請求項1〜11のいずれか一項に記載の方法。
  13. 前記妨害信号(27)が前記自動車両(1)の動きおよび/または前記仮想カメラ(12)の動きに起因するかどうかが判断され、前記妨害信号(27)が前記仮想カメラ(12)の動きのみに起因する場合、前記合成俯瞰表示画像(24)における隣接ピクセルの平均化を実行することにより、前記妨害信号(27)が低減される
    ことを特徴とする、
    請求項1〜12のいずれか一項に記載の方法。
  14. 自動車両(1)用のカメラシステム(3)であって、前記自動車両(1)の環境領域(4)から原画像(25)をキャプチャするための少なくとも2台のカメラ(5a、5b、5c、5d)と、請求項1〜13のいずれか一項に記載の方法を実行するように構成された画像処理装置(11)とを備える、自動車両(1)用のカメラシステム(3)。
  15. 請求項14に記載のカメラシステム(3)を備える自動車両(1)。
JP2019572399A 2017-06-30 2018-06-25 自動車両および自動車両の環境領域の少なくとも1つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両 Active JP6880252B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017114611.3A DE102017114611A1 (de) 2017-06-30 2017-06-30 Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
DE102017114611.3 2017-06-30
PCT/EP2018/066868 WO2019002165A1 (en) 2017-06-30 2018-06-25 METHOD FOR GENERATING AT LEAST ONE FUSED PERSPECTIVE VISUALIZATION IMAGE OF A MOTOR VEHICLE AND A PERIPHERAL AREA OF THE MOTOR VEHICLE, CAMERA SYSTEM AND MOTOR VEHICLE

Publications (2)

Publication Number Publication Date
JP2020525945A JP2020525945A (ja) 2020-08-27
JP6880252B2 true JP6880252B2 (ja) 2021-06-02

Family

ID=62716080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019572399A Active JP6880252B2 (ja) 2017-06-30 2018-06-25 自動車両および自動車両の環境領域の少なくとも1つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両

Country Status (7)

Country Link
US (1) US11302062B2 (ja)
EP (1) EP3646285A1 (ja)
JP (1) JP6880252B2 (ja)
KR (1) KR102257727B1 (ja)
CN (1) CN110809780B (ja)
DE (1) DE102017114611A1 (ja)
WO (1) WO2019002165A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261340B (zh) * 2020-10-22 2023-04-07 维沃移动通信有限公司 视野共享方法、装置、电子设备及可读存储介质
US20230196619A1 (en) * 2021-12-16 2023-06-22 Gm Cruise Holdings Llc Validation of virtual camera models

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
US7424170B2 (en) * 2003-09-30 2008-09-09 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images
US7450778B2 (en) * 2005-03-17 2008-11-11 Hewlett-Packard Development Company, L.P. Artifact reduction in a digital video
JP2007310805A (ja) * 2006-05-22 2007-11-29 Matsushita Electric Ind Co Ltd 物体認識装置
JP2007315861A (ja) * 2006-05-24 2007-12-06 Nissan Motor Co Ltd 車両用画像処理装置
JP5173552B2 (ja) 2008-04-23 2013-04-03 アルパイン株式会社 車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法
EP2327059B1 (en) * 2008-10-02 2014-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction
JP5248388B2 (ja) * 2009-03-26 2013-07-31 株式会社東芝 障害物危険度算出装置、方法及びプログラム
JP5555526B2 (ja) * 2010-04-06 2014-07-23 東芝アルパイン・オートモティブテクノロジー株式会社 車両用ディスプレイ装置
DE102010034142A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers beim Führen eines Kraftfahrzeugs und Fahrerassistenzsystem
DE102010042248A1 (de) * 2010-10-11 2012-04-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur optischen Darstellung einer Umgebung eines Fahrzeugs
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
US9321329B2 (en) * 2012-05-10 2016-04-26 Chris Beckman Glare elimination and image enhancement system improving lenses, windows and displays
EP2620917B1 (en) * 2012-01-30 2019-08-28 Harman Becker Automotive Systems GmbH Viewing system and method for displaying an environment of a vehicle
US9445011B2 (en) * 2012-10-22 2016-09-13 GM Global Technology Operations LLC Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation
US9081385B1 (en) * 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
JP2014153192A (ja) * 2013-02-08 2014-08-25 Aisin Aw Co Ltd 走行案内システム、走行案内方法及びコンピュータプログラム
DE102013021150A1 (de) * 2013-12-13 2015-06-18 Man Truck & Bus Ag Verfahren zur Anzeige von optischen Informationen in Fahrzeugen
CN105765966B (zh) * 2013-12-19 2020-07-10 英特尔公司 碗形成像系统
DE102014110516A1 (de) * 2014-07-25 2016-01-28 Connaught Electronics Ltd. Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem, Fahrassistenzsystem und Kraftfahrzeug
US10055643B2 (en) * 2014-09-19 2018-08-21 Bendix Commercial Vehicle Systems Llc Advanced blending of stitched images for 3D object reproduction
US9466109B1 (en) * 2015-06-30 2016-10-11 Gopro, Inc. Image stitching in a multi-camera array
EP3142066B1 (en) * 2015-09-10 2024-06-12 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Image synthesizer for a surround monitoring system
JP6073433B2 (ja) * 2015-09-17 2017-02-01 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法
JP6775776B2 (ja) * 2017-03-09 2020-10-28 株式会社岩根研究所 自由視点移動表示装置
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images

Also Published As

Publication number Publication date
US11302062B2 (en) 2022-04-12
EP3646285A1 (en) 2020-05-06
US20200151942A1 (en) 2020-05-14
KR20200013728A (ko) 2020-02-07
KR102257727B1 (ko) 2021-06-01
CN110809780A (zh) 2020-02-18
JP2020525945A (ja) 2020-08-27
CN110809780B (zh) 2024-01-12
WO2019002165A1 (en) 2019-01-03
DE102017114611A1 (de) 2019-01-03

Similar Documents

Publication Publication Date Title
CN111406275B (zh) 生成在预定目标视图中示出机动车辆及其环境区域的图像的方法、相机系统以及机动车辆
GB2559760B (en) Apparatus and method for displaying information
US10896335B2 (en) Adaptive transparency of virtual vehicle in simulated imaging system
KR101811157B1 (ko) 사발형 영상 시스템
US9445011B2 (en) Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation
US9762880B2 (en) Vehicle vision system with customized display
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
DE102014115037A1 (de) Sichtbasierte Objekterkennung und -hervorhebung bei Fahrzeugbildanzeigesystemen
EP2414776B1 (en) Vehicle handling assistant apparatus
KR20170135952A (ko) 차량의 주변 영역을 표시하기 위한 방법
TWI749030B (zh) 駕駛輔助系統及駕駛輔助方法
JP6880252B2 (ja) 自動車両および自動車両の環境領域の少なくとも1つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両
KR101405085B1 (ko) 차량녹화영상분석 방법 및 장치
DE102013220013A1 (de) Abbildungsflächenmodellierung für die Kameramodellierung und für die Synthese virtueller Ansichten
DE102013220839B4 (de) Verfahren zum dynamischen Einstellen einer Helligkeit eines Bilds einer Rückansichts-Anzeigevorrichtung sowie entsprechendes Fahrzeugabbildungssystem
US8487997B2 (en) Method for displaying an image recorded by a video camera
JP4039402B2 (ja) 物体検出装置
WO2019177036A1 (ja) 車両用映像システム
DE102014111186A1 (de) Objekthervorhebung und -erkennung bei Fahrzeugbildanzeigesystemen
EP4304191A2 (en) Camera system, method for controlling the same, and computer program
CN115909283A (zh) 图像生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210430

R150 Certificate of patent or registration of utility model

Ref document number: 6880252

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250