JP7132213B2 - 乗り物において乗り物周辺ビューを作成するための方法及び装置 - Google Patents

乗り物において乗り物周辺ビューを作成するための方法及び装置 Download PDF

Info

Publication number
JP7132213B2
JP7132213B2 JP2019518222A JP2019518222A JP7132213B2 JP 7132213 B2 JP7132213 B2 JP 7132213B2 JP 2019518222 A JP2019518222 A JP 2019518222A JP 2019518222 A JP2019518222 A JP 2019518222A JP 7132213 B2 JP7132213 B2 JP 7132213B2
Authority
JP
Japan
Prior art keywords
vehicle
fua
view
matrix
tpm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019518222A
Other languages
English (en)
Other versions
JP2020502850A (ja
JP2020502850A5 (ja
Inventor
フリーベ・マルクス
シュレプファー・イェルク
ガルシア・マルケス・ロドリゴ
ペッツォールト・ヨハネス
アルバイター・ゲオルク
ミルツ・シュテファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2020502850A publication Critical patent/JP2020502850A/ja
Publication of JP2020502850A5 publication Critical patent/JP2020502850A5/ja
Application granted granted Critical
Publication of JP7132213B2 publication Critical patent/JP7132213B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、乗り物、特に、陸上用の乗り物において、乗り物周辺ビューを作成するための方法ならびに装置に関する。
乗り物には、増々、乗り物周辺ビューを表示するためのシステムやサラウンドビーシステムが、搭載される様になってきている。サラウンドビーシステムは、乗り物のドライバーアシスタントシステムの一部であることができるが、その際、サラウンドビーシステムは、乗り物乗り物周辺部を可能な限り詳細に再現するものである。ドライバーアシスタントシステムは、乗り物のドライバーを、特に、乗り物マヌーバの実施時にサポートするものである。従来のサラウンドビーシステムでは、乗り物乗り物ボディに設置されている複数の車載カメラによって提供される複数のカメラ画像が、評価される。その際、複数の車載カメラは、乗り物ボディの側方に配置されていて乗り物周辺部の複数のカメラ画像を作成する。
しかしながら、様々な複数の車載カメラから提供される複数のカメラ画像は、乗り物ボディの下に横たわる地面の画像データ、供給しない。従来のサラウンドビーシステムは、乗り物ボディの下にある地面を、画一的な色で描写する。即ち、乗り物乗り物ボディの下にあり、複数の車載カメラからは見えない地面は、十分には、描写されていない。よって、サラウンドビーシステムによって描写された乗り物周辺ビューは、例えば、乗り物のドライバーに、地面の領域において、乗り物周辺部の現実的な再現を提供していないため、運転マヌーバの実施の際に、ドライバーのサポートに悪影響を与えている。地面の再現が不十分であるため、運転マヌーバにおいて、例えば、駐車マヌーバや同様のマヌーバにおいて、乗り物ボディに傷がつく可能性がある。
よって、本発明の課題は、マヌーバを実施する際に、ドライバーをより効率的にサポートし、マヌーバ実施の際に乗り物ボディへの傷を回避できるようにするために、特に乗り物の地面領域の、より現実的な乗り物周辺ビューを作成するための方法を提供することにある。
この課題は、本発明の請求項1記載の特徴を有する、乗り物において、乗り物周辺ビューを作成するための方法によって達成される。
これによれば、本発明は以下のステップを有する乗り物において乗物周ビューを作成するための方法を提供する:
複数のカメラ画像を、乗り物乗り物ボディに設けられている複数の車載カメラによって用意するステップ、並びに、
用意された複数のカメラ画像を基に、乗り物乗り物周辺ビューを算出するステップ、但し、乗り物周辺ビューに含まれる、乗り物ボディの下にあり、見えない地面のテクスチャは、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出される。
本発明に係る方法のある可能な実施形態においては、複数の車載カメラによって用意された複数のカメラ画像を基に、乗り物のオリジナル乗り物周辺ビューが、乗り物ボディの下にある、複数の車載カメラからは見えない地面用のテクスチャを割り出すことなく算出される。
本発明に係る方法のある可能な実施形態においては、算出されたオリジナル乗り物周辺ビューを基に、カラー予測マトリクスを算出するためのローカルなカラー予測、並びに、テクスチャ予測マトリクスを算出するための動き補正されたテクスチャ予測が、実施される。
本発明に係る方法のある更なる可能な実施形態においては、オリジナル乗り物周辺ビューと算出されたテクスチャ予測マトリクスとの間の見えない地面の境界に沿った境界誤差が、算出される。
本発明に係る方法のある更なる可能な実施形態においては、見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクスを生成するために算出される。
本発明に係る方法のある更なる可能な実施形態においては、カラー予測マトリクスとテクスチャ予測マトリクスが、乗り物周辺ビューの算出のために、割り出された重み付けマトリクスを用いて以下の様に重み付けされ組み合わされる:
FUA=GM×PM+(1-GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー
GMは、重み付けマトリクス、
PMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
本発明に係る方法のある更なる可能な実施形態においては、センサー的に捕捉されたオドメトリデータに依存してテクスチャ予測マトリクスTPMを算出するために動き補正されたテクスチャ予測が、実施される。
本発明は、更に、第二のアスペクトにおいて、請求項に記載の特徴を有する乗り物において乗り物周辺ビューFUAを作成するための装置も提供する。
それによれば、本発明は、以下を包含する乗り物において、乗り物周辺ビューFUAを作成するための装置が提供される:
乗り物乗り物ボディに設置され、乗り物乗り物周辺部の複数のカメラ画像を用意する複数の車載カメラ
乗り物乗り物周辺ビュー、用意された複数のカメラ画像を基に算出する計算ユニット、
但し、乗り物乗り物周辺ビュー内の乗り物ボディの下にある見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、
及び、
算ユニットによって算出された乗り物周辺ビューを出力する出力ユニット。
本発明に係る装置のある可能な実施形態においては、複数の車載カメラによって用意された複数のカメラ画像を基に、先ず、計算ユニットによって、乗り物のオリジナル乗り物周辺ビューが、乗り物ボディの下にある、複数の車載カメラからは見えない地面用のテクスチャを割り出すことなく算出される。
本発明に係る装置のある更なる可能な実施形態においては、算出されたオリジナル乗り物周辺ビューを基に、計算ユニットによって、カラー予測マトリクスを算出するためのローカルなカラー予測、並びに、テクスチャ予測マトリクスを算出するための動き補正されたテクスチャ予測が、実施される。
本発明に係る装置のある更なる可能な実施形態においては、計算ユニットによって、オリジナル乗り物周辺ビューとテクスチャ予測マトリクスとの間の見えない地面の境界に沿った境界誤差が、算出される。
本発明に係る装置のある更なる可能な実施形態においては、計算ユニットによって、見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクスを生成するために算出される。
本発明に係る装置のある更なる可能な実施形態においては、計算ユニットは、カラー予測マトリクスとテクスチャ予測マトリクスを、乗り物周辺ビューの算出のために、割り出された重み付けマトリクスを用いて以下の様に重み付けされ組み合わせる様に構成されている:
FUA=GM×PM+(1-GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー
GMは、重み付けマトリクス、
PMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
本発明に係る装置の更なる可能な実施形態においては、装置は、算出したカラー予測マトリクスと算出したテクスチャ予測マトリクスを一時保存するための少なくとも一つのデータ保存手段も包含している。
また本発明は、更なるアスペクトによれば、請求項に記載の特徴を有するドライバーアシスタントシステムも、提供する。
それによれば、本発明は、
乗り物乗り物ボディに取り付けられ、乗り物乗り物周辺部の複数のカメラ画像を用意する複数の車載カメラ、並びに、
乗り物の乗り物周辺ビュー内の乗り物ボディの下にある見えない地面のテクスチャを、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出し、用意された複数のカメラ画像に基づいて乗り物乗り物周辺ビューを算出することに適している計算ユニットを、
有する
乗り物周辺ビューを作成するための装置を
備えた
乗り物用のドライバーアシスタントシステムを提供する。
また本発明は、更なるアスペクトによれば、この様なドライバーアシスタントシステムを備えた陸上用の乗り物も、提供する。
以下、様々な本発明に係るアスペクトの可能な実施形態を、添付されている図を用いて詳細に説明する:
乗り物乗り物周辺ビューを作成するための本発明に係る方法の可能な実施形態の簡略化したフローチャートである。 乗り物乗り物周辺ビューを作成するための本発明に係る方法の可能な実施形態の模式的な描写である。 乗り物乗り物周辺ビューを作成するための本発明に係る装置の一例である実施形態の簡略化したブロック図である。
図1から見て取れるように、本発明の第一アスペクトに係る乗り物において乗り物周辺ビューFUAを作成するための方法は、示されている実施例では、二つのメインステップを包含している。
第一ステップS1では、複数のカメラ画像が、乗り物乗り物ボディに設置されている複数の車載カメラによって用意される。
次の第二ステップS2では、計算ユニットによって、乗り物乗り物周辺ビューが、ステップS1において用意された複数のカメラ画像を基に算出される。その際、乗り物周辺ビュー内の乗り物ボディの下にあり見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、は、算出される。
複数の車載カメラによって用意された複数のカメラ画像は、ステップS2において、先ず、乗り物乗り物ボディの下にあり、複数の車載カメラからは見えない地面のテクスチャを割り出すことなく、乗り物のオリジナル乗り物周辺ビューoFUAが、算出される。続いて、計算ユニットが、オリジナル乗り物周辺ビューoFUAに基づいて、カラー予測マトリクスFPMの算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクスTPMの算出のための動き補正されたテクスチャ予測を実施する。この際、複数の予測アルゴリズムが、実施される。算出されたカラー予測マトリクスFPMと動き補正されたテクスチャ予測マトリクスTPMは、ある可能な実施形態においては、一つの、は、複数の異なるデータ保存手段に更なるデータ処理のために一時保存されることができる。ステップS2では、好ましくは、見えない地面の境界に沿った、オリジナル乗り物周辺ビューoFUA、並びに、算出され一時保存されたテクスチャ予測マトリクスTPMの間の境界誤差が、算出される。続いて、ステップS2では、見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクスGMを生成するために算出される。重み付けマトリクスも、データ保存手段に、更なるデータ処理のために、一時保存されることができる。計算ユニットにより、ステップS2では、一時保存されたカラー予測マトリクスFPM、並びに、一時保存されたテクスチャ予測マトリクスTPMが、乗り物周辺ビューFUAの算出のために、一時保存された重み付けマトリクスGMによって、重み付けされ、以下の様に組み合わされる:
FUA=GM×PM+(1-GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー
GMは、重み付けマトリクス、
PMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
テップS2において計算ユニットによって実施されるテクスチャ予測マトリクスTPMを算出するための動き補正されたテクスチャ予測は、ある可能な実施形態においては、センサー的に捕捉されたオドメトリデータに依存して実施されることができる。オドメトリデータは、その際、これも、乗り物乗り物ボディに設けられているセンサーにより供給される。
図2は、本発明に係る乗り物における乗り物周辺ビューFUAを生成するための方法の実施例を示すための他のグラフを示している。
先ず、オリジナル乗り物周辺ビューoFUA、又は、サラウンドビーイメージが、乗り物ボディの下にある、複数の車載カメラからは見えない地面用のテクスチャを割り出すことなく、複数のカメラ画像を基に算出される。このオリジナル乗り物周辺ビューoFUAを基に、カラー予測マトリクスFPMの算出のためのローカルなカラー予測を実施する一方、他方では、テクスチャ予測マトリクスTPMの算出のための動き補正されたテクスチャ予測が、実施される。算出されたカラー予測マトリクスFPM、及び、テクスチャ予測マトリクスTPMは、その後、好ましくは、更なるデータ処理のために、一時保存される。続いて、更なる中間ステップにおいて、好ましくは、見えない地面の境界に沿った、オリジナル乗り物周辺ビューoFUA、並びに、算出され、そして、一時保存されたテクスチャ予測マトリクスTPMの間の境界誤差(boundary error)が、算出される。見えない地面領域内のピクセルの誤差度合いは、重み付けマトリクスGMを生成するために、好ましくは、算出された境界誤差に依存して、算出される。乗り物ボディの下の地面は、多数の画像点、又は、ピクセルによって表されることができる。従来の陸上用の乗り物では、乗り物ボディの下の地面は、典型的には、長方形であり、適した二次元の重み付けマトリクスGMを割り当てることができる。例えば、地面が、200×500画像点、又は、ピクセルによって再現できる場合、重み付けマトリクスは、200の列と500の行を有している。即ち、重み付けマトリクスGMは、地面の各々の画像点に対して一つの、計算ユニットによって、割り出した誤差度合いに基づき、算出された境界誤差に依存して、割り出される重み付けファクターを有している。算出された重み付けマトリクスとこれに含まれる重み付けファクターは、好ましくは、一時保存され、続いて、乗り物乗り物周辺ビューFUAの算出用のベースとして使用される。ある好ましい実施形態においては、一時保存されたカラー予測マトリクスFPMと一時保存されたテクスチャ予測マトリクスTPMが、一時保存された重み付けマトリクスGMによって、以下の様に重み付けされ組み合わされる:
FUA=GM×PM+(1-GM)×TPM。
算出された乗り物周辺ビューFUAは、乗り物ボディの下にある地面用のテクスチャも包含しているため、地面を含む乗り物乗り物周辺部内を現実的に再現する。算出された乗り物周辺ビューFUAは、出力ユニットを介して、出力される。ある可能な実施形態においては、算出された乗り物周辺ビューFUAは、直接的に、乗り物のドライバーに対してドライバーアシスタントシステムFASの表示ユニット上に出力される。更なる可能な実施形態においては、地面用のテクスチャを含む算出された乗り物周辺ビューFUAは、更なるデータ処理のために、一時保存される。たとえば、ドライバーアシスタントシステムのドライバーアシスタント機能は、算出され、一時保存された乗り物周辺ビューFUAの画像データを、更に評価し、対応するドライバーアシスタントシステムの補助機能を、乗り物のドライバー提供することもできる。複数の車載カメラによって用意された複数のカメラ画像の評価と、乗り物周辺ビューFUAの算出は、ある好ましい実施形態においては、リアルタイムに実施される。乗り物周辺ビューFUAをカラー予測と動き補正されたテクスチャ予測を用いてリアルタイムに算出する計算ユニットは、一つの、は、複数のマイクロプロセッサーであることができる。乗り物周辺ビューFUAの算出は、該当する乗り物が、停止している、は、乗り物が、地面上を動いている時に実施されることができる。例えば、乗り物乗り物ボディの側方に設けられている複数の車載カメラの数は、可変である。
図3は、乗り物乗り物周辺ビューFUAを作成するための本発明に係る装置1の一例である実施形態の簡略化したブロック図を示している。装置1は、複数の車載カメラ2-1,2-2,2-3,2-4から、乗り物周辺部の複数のカメラ画像を継続的に対応するシグナル配線を介して受取る。複数の車載カメラ2-iは、乗り物Fの乗り物ボディ3に配置されている。その際、複数の車載カメラ2-iは、好ましくは、乗り物ボディ3の異なるサイドに設けられている。図3に示されている実施例では、乗り物は、乗り物Fの前方、後方、及び、双方の長手方向に設けられている四台の車載カメラを装備している。複数の車載カメラ2-iは、ある可能な実施形態においては、好ましくは、それらの視野が、重なり合っている、フィッシュアイカメラであることができる。乗り物周辺ビューFUAを作成するための装置1は、示されている実施例では、計算ユニット4を包含している。計算ユニット4は、好ましくは、一つの、は、複数のリアルタイムに画像処理をするためのマイクロプロセッサーを包含している。計算ユニット4は、シグナル配線を介して、複数の車載カメラ2-iから、複数のカメラ画像KBを受け取る。計算ユニット4は、乗り物Fの乗り物周辺ビューFUAを、用意され受信した複数のカメラ画像KBを基に算出するが、この際、乗り物周辺ビューFUA内の乗り物ボディ3の下にあり、見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、又は、算出される。図3に示されている実施例では、陸上用の乗り物Fの乗り物ボディ3は、長方形に形成されていて乗り物ボディ3の下には、複数の車載カメラ2-iによって、捕捉できない同様に長方形の見えない地面がある。複数の車載カメラ2-iによって用意された複数のカメラ画像KBを基にして、先ず、計算ユニット4により、乗り物ボディ3の下にあり、複数の車載カメラ2-iからは見えない地面のテクスチャを割り出すことなく、乗り物Fのオリジナル乗り物周辺ビューoFUAが、算出される。続いて、オリジナル乗り物周辺ビューoFUAに基づいて、計算ユニット4によりリアルタイムに、カラー予測マトリクスFPMの算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクスTPMの算出のための動き補正されたテクスチャ予測が実施される。その際、計算ユニット4は、対応するカラー予測アルゴリズム、及び、テクスチャ予測アルゴリズムを実施することができる。続いて、装置1の計算ユニット4は、見えない地面の境界に沿った、オリジナル乗り物周辺ビューoFUA、並びに、算出され一時保存されたテクスチャ予測マトリクスTPMの間の境界誤差を算出する。更には、見えない地面領域内のピクセルの誤差度合いが、計算ユニット4によって、重み付けマトリクスGMを生成するために、算出された境界誤差に依存して、算出される。最後に、計算ユニット4により、カラー予測マトリクスFPM、並びに、テクスチャ予測マトリクスTPMが、乗り物周辺ビューFUAの算出のために、重み付けマトリクスGMによって、重み付けされ、以下の様に組み合わされる:
FUA=GM×PM+(1-GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー
GMは、重み付けマトリクス、
PMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
算ユニット4には、好ましくは、算出された乗り物周辺ビューFUAを出力するための出力ユニットが接続されている。出力ユニットは、ある可能な実施形態においては、算出された乗り物周辺ビューFUAを乗り物Fのドライバーに対して出力する表示ユニットであることができる。また、出力ユニットは、乗り物周辺ビューFUAを更に評価する更なるデータ処理ユニットへのデータインターフェースを包含することもできる。その際、ある可能な実施形態においては、算出された乗り物周辺ビューFUAを基に、様々なサポート機能、は、ドライバーアシスタント機能を乗り物Fのドライバーに提供するために、は、算出するために、ドライバーアシスタントシステムFASの更なるドライバー・アシスタント・ユニットに、アクセスすることもできる様になっている。本発明に係る乗り物周辺ビューFUAを生成するための装置1は、計算ユニット4を、特に好ましくは、ステップS2において用意された算出ステップS2をリアルタイムに実施できるプロセッサーを包含している。ある可能な実施形態においては、テクスチャ予測マトリクスTPMを算出するための動き補正されたテクスチャ予測は、これらも乗り物Fの乗り物ボディ3に設けられているセンサー類によって捕捉されたオドメトリデータに依存して実施される。
本発明に係る乗り物周辺ビューFUAを作成するための方法は、図1に例示されているごとく、そして、乗り物Fにおいて乗り物周辺ビューFUAを作成するための本発明に係る装置1は、図3に例示されているごとく、地面上に停止している乗り物Fにおいても、地面上を動いている乗り物Fにおいても、いずれも、乗り物周辺ビューFUAを作成することを可能にする。乗り物Fが動いている場合、算出された乗り物周辺ビューFUAの画質は、通常、より優れている。よって、本発明に係る乗り物周辺ビューFUAを作成するための方法は、特に、動くことができる、は、動いている乗り物に適している。乗り物周辺ビューFUAを作成するための本発明に係る方法、並びに、本発明に係る装置1は、好ましくは、地面の上を動く、陸上用の乗り物において使用される。尚、陸上用の乗り物は、従来の道路用の乗り物、特に、乗用車や貨物自動車、は、アスファルト舗装された地面を動いている農業用の乗り物であることができる。

Claims (7)

  1. 乗り物において、乗り物周辺ビュー(FUA)を作成するための方法であって、
    当該方法が、以下のステップ、即ち、
    (a)複数のカメラ画像(KB)を、乗り物の乗り物ボディ(3)に設けられている複数の車載カメラ(2)によって用意するステップ(S1)、並びに、
    (b)複数の車載カメラ(2)によって用意された複数のカメラ画像(KB)を基にして、乗り物ボディ(3)の下にあり、複数の車載カメラ(2)からは見えない地面のテクスチャを割り出すことなく、乗り物のオリジナル乗り物周辺ビュー(oFUA)が、算出され、続いて、オリジナル乗り物周辺ビュー(oFUA)に基づいて、カラー予測マトリクス(FPM)の算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクス(TPM)の算出のための動き補正されたテクスチャ予測が実施され、並びに、
    乗り物周辺ビュー(FUA)に含まれ、乗り物ボディ(3)の下にあり、見えない地面のテクスチャが、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出され、用意された複数のカメラ画像(KB)を基に、乗り物の乗り物周辺ビュー(FUA)を算出するステップ(S2)、
    を備える、当該方法において、
    オリジナル乗り物周辺ビュー(oFUA)とテクスチャ予測マトリクス(TPM)との間の見えない地面の境界に沿った境界誤差が算出され、
    見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクス(GM)を生成するために算出され、
    カラー予測マトリクス(FPM)と、テクスチャ予測マトリクス(TPM)とが、乗り物周辺ビュー(FUA)の算出のために、重み付けマトリクス(GM)によって、以下の組み合わせ、即ち、
    FUA=GM×FPM+(1-GM)×TPM,
    の様に重み付けし、
    この式中の、
    FUAは、乗り物周辺ビューであり、
    GMは、重み付けマトリクスであり、
    FPMは、カラー予測マトリクスであり、そして、TPMは、テクスチャ予測マトリクスである、
    ことを特徴とする方法。
  2. センサー的に捕捉されたオドメトリデータに依存してテクスチャ予測マトリクス(TPM)を算出するために動き補正されたテクスチャ予測が、実施されることを特徴とする請求項1に記載の方法。
  3. 乗り物(F)において、乗り物周辺ビュー(FUA)を作成するための装置であって、当該装置が、以下の、即ち、
    -乗り物(F)の乗り物ボディ(3)に設置され、乗り物の乗り物周辺部(FUA)の複数のカメラ画像(KB)を用意する複数の車載カメラ(2)、
    -計算ユニット(4)が、複数の車載カメラ(2)によって用意された複数のカメラ画像(KB)を基にして、乗り物ボディ(3)の下にあり、複数の車載カメラ(2)からは見えない地面のテクスチャを割り出すことなく、乗り物のオリジナル乗り物周辺ビュー(oFUA)を、算出し、続いて、
    算出したオリジナル乗り物周辺ビュー(oFUA)に基づいて、カラー予測マトリクス(FPM)の算出のためのローカルなカラー予測、及び、テクスチャ予測マトリクス(TPM)の算出のための動き補正されたテクスチャ予測を実施し、並びに、
    乗り物周辺ビュー(FUA)内の乗り物ボディ(3)の下にあり見えない地面のテクスチャが、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出され、乗り物周辺ビュー(FUA)を、用意された複数のカメラ画像(KB)を基に算出することができる様に構成された計算ユニット(4)、並びに、
    -計算ユニット(4)によって算出された乗り物周辺ビュー(FUA)を出力する出力ユニット、
    を備える、当該装置において、
    計算ユニット(4)が、オリジナル乗り物周辺ビュー(oFUA)とテクスチャ予測マトリクス(TPM)との間の見えない地面の境界に沿った境界誤差を算出し、
    計算ユニット(4)が、見えない地面領域内のピクセルの誤差度合いを、算出された境界誤差に依存して、重み付けマトリクス(GM)を生成するために算出し、
    計算ユニット(4)が、カラー予測マトリクス(FPM)とテクスチャ予測マトリクス(TPM)とを、乗り物周辺ビュー(FUA)の算出のために、重み付けマトリクス(GM)によって、以下の組み合わせ、即ち、
    FUA=GM×FPM+(1-GM)×TPM,
    の様に重み付けし、
    この式中の、
    FUAは、乗り物周辺ビューであり、
    GMは、重み付けマトリクスであり、
    FPMは、カラー予測マトリクスであり、そして、
    TPMは、テクスチャ予測マトリクスである、
    ことを特徴とする装置。
  4. テクスチャ予測マトリクス(TPM)を算出するための動き補正されたテクスチャ予測が、乗り物のセンサーによって、センサー的に捕捉されたオドメトリデータに依存して実施されることを特徴とする請求項に記載の装置。
  5. 算出されたカラー予測マトリクス(FPM)と算出されたテクスチャ予測マトリクス(TPM)が、一つのデータ保存手段に一時保存されることを特徴とする請求項3又は4に記載の装置。
  6. 請求項からのうち何れか一項に記載の乗り物周辺ビュー(FUA)を作成するための装置(1)を備えた乗り物用のドライバーアシスタントシステム。
  7. 請求項のドライバーアシスタントシステムを搭載した陸上用の乗り物。
JP2019518222A 2016-10-20 2017-09-21 乗り物において乗り物周辺ビューを作成するための方法及び装置 Active JP7132213B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016220651.6A DE102016220651A1 (de) 2016-10-20 2016-10-20 Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016220651.6 2016-10-20
PCT/DE2017/200098 WO2018072793A1 (de) 2016-10-20 2017-09-21 Verfahren und vorrichtung zur erzeugung einer fahrzeugumgebungsansicht bei einem fahrzeug

Publications (3)

Publication Number Publication Date
JP2020502850A JP2020502850A (ja) 2020-01-23
JP2020502850A5 JP2020502850A5 (ja) 2021-11-18
JP7132213B2 true JP7132213B2 (ja) 2022-09-06

Family

ID=60164562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518222A Active JP7132213B2 (ja) 2016-10-20 2017-09-21 乗り物において乗り物周辺ビューを作成するための方法及び装置

Country Status (5)

Country Link
US (1) US10902622B2 (ja)
EP (1) EP3529743A1 (ja)
JP (1) JP7132213B2 (ja)
DE (2) DE102016220651A1 (ja)
WO (1) WO2018072793A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
DE102019201702A1 (de) 2019-02-11 2020-08-13 Conti Temic Microelectronic Gmbh Modulares inpainting Verfahren
JP2021150838A (ja) * 2020-03-19 2021-09-27 株式会社デンソーテン 画像処理装置
US11966452B2 (en) 2021-08-05 2024-04-23 Ford Global Technologies, Llc Systems and methods for image based perception
US11663807B2 (en) * 2021-08-05 2023-05-30 Ford Global Technologies, Llc Systems and methods for image based perception

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354467A (ja) 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
JP2005001570A (ja) 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
US20140347470A1 (en) 2013-05-23 2014-11-27 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3772185B2 (ja) * 1995-07-28 2006-05-10 独立行政法人情報通信研究機構 画像符号化方式
US8605947B2 (en) 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
FR2976355B1 (fr) 2011-06-09 2013-06-21 Jean Luc Desbordes Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant.
DE102011077398B4 (de) * 2011-06-10 2021-11-04 Robert Bosch Gmbh Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren
DE102012211025A1 (de) 2012-06-27 2014-01-02 Robert Bosch Gmbh Verfahren zur Fahrassistenz und Fahrassistenzsystem
DE102012112724A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
GB201406405D0 (en) * 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
US9892493B2 (en) * 2014-04-21 2018-02-13 Texas Instruments Incorporated Method, apparatus and system for performing geometric calibration for surround view camera solution
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems
US9811743B2 (en) * 2015-06-29 2017-11-07 Sharp Laboratories Of America, Inc. Tracking road boundaries
DE102016005463A1 (de) 2016-05-03 2016-11-17 Daimler Ag Verfahren und Vorrichtung zur Erkennung und Lokalisierung von Fahrbahnunebenheiten
CN109891475A (zh) * 2016-11-09 2019-06-14 索尼公司 信息处理设备、信息处理方法、程序和移动体
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354467A (ja) 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
JP2005001570A (ja) 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
US20140347470A1 (en) 2013-05-23 2014-11-27 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system

Also Published As

Publication number Publication date
JP2020502850A (ja) 2020-01-23
US10902622B2 (en) 2021-01-26
US20190213744A1 (en) 2019-07-11
DE112017004075A5 (de) 2019-04-18
EP3529743A1 (de) 2019-08-28
WO2018072793A1 (de) 2018-04-26
DE102016220651A1 (de) 2018-04-26

Similar Documents

Publication Publication Date Title
JP7132213B2 (ja) 乗り物において乗り物周辺ビューを作成するための方法及び装置
JP6860348B2 (ja) 車両の車両周辺部の歪無い表示のための方法、並びに、装置
JP2020502850A5 (ja)
CN105075247B (zh) 车辆的控制装置及存储介质
JP7247173B2 (ja) 画像処理方法及び装置
JP5035284B2 (ja) 車両周辺表示装置
CN107808390A (zh) 使用来自单摄像机的数据的对象距离估算
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US11383642B2 (en) Display control apparatus
US11410430B2 (en) Surround view system having an adapted projection surface
JP6958163B2 (ja) 表示制御装置
JP7008068B2 (ja) 乗り物において乗り物周辺ビューを作成するための方法ならびに装置
CN111277796A (zh) 图像处理方法、车载视觉辅助系统及存储设备
JP2018509799A (ja) 車両の車両周辺部の歪無い表示のための方法、並びに、装置
JP2018509799A5 (ja)
CN107851304A (zh) 面板变换
JP7013751B2 (ja) 画像処理装置
CN107851305A (zh) 后部交叉交通快速检视
CN112825546A (zh) 使用中间图像表面生成合成图像
JP2019504382A (ja) アダプティブな周辺画像データ処理を有するドライバー・アシスタント・システム
JP2020127171A (ja) 周辺監視装置
US20200090307A1 (en) Surround View System for a Vehicle
US11430147B2 (en) Image processing apparatus, imaging apparatus, mobile body, and image processing method
US20240169668A1 (en) Computer-implemented method for creating a three-dimensional virtual model of an environment of a motor vehicle
JP6769187B2 (ja) 表示装置の表示方法及び表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200512

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210707

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20211005

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220705

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220713

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220825

R150 Certificate of patent or registration of utility model

Ref document number: 7132213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150