JP6860348B2 - 車両の車両周辺部の歪無い表示のための方法、並びに、装置 - Google Patents

車両の車両周辺部の歪無い表示のための方法、並びに、装置 Download PDF

Info

Publication number
JP6860348B2
JP6860348B2 JP2016565679A JP2016565679A JP6860348B2 JP 6860348 B2 JP6860348 B2 JP 6860348B2 JP 2016565679 A JP2016565679 A JP 2016565679A JP 2016565679 A JP2016565679 A JP 2016565679A JP 6860348 B2 JP6860348 B2 JP 6860348B2
Authority
JP
Japan
Prior art keywords
vehicle
camera
data
grid
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016565679A
Other languages
English (en)
Other versions
JP2017515727A (ja
JP2017515727A5 (ja
Inventor
フリーベ・マルクス
ペッツォールト・ヨハネス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2017515727A publication Critical patent/JP2017515727A/ja
Publication of JP2017515727A5 publication Critical patent/JP2017515727A5/ja
Application granted granted Critical
Publication of JP6860348B2 publication Critical patent/JP6860348B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、車両の、特に、カメラ・サラウンド・ビュー・システムを装備した道路交通用車両の車両周辺部の歪無い表示を可能にする方法、並びに、装置に関する。
車両には、運転手を運転マヌーバの実施においてサポートするドライバー・アシスタント・システムが、ますます、装備されるようになってきている。ドライバー・アシスタント・システムの一部は、車両の車両周辺部を、該車両のドライバーに表示することを可能にするカメラ・サラウンド・ビュー・システムを包含している。この様なカメラ・サラウンド・ビュー・システムは、該カメラ・サラウンド・ビュー・システムのデータ処理ユニットによって、車両周辺部の周辺画像に統合されるカメラ画像を供給する一台の、或いは、複数台の車載カメラを包含している。そしてこの車両周辺部の画像は、表示ユニット上に表示される。従来のカメラベースのドライバー・アシスタント・システムは、カメラ・システムのテクスチャー情報を静的な投影面、例えば、静的な二次元の基準面、或いは、静的な三次元の凹面に投影する。
しかしこのようなシステムには、テクスチャー・再・投影面が静的であり、それが故に、カメラ・システムの実際の周辺部に対応していない、乃至、近似していないため、車両周辺部のオブジェクトが、極度に歪んで表示されると言う致命的な欠点がある。即ち、邪魔なアーティファクトとなる極度に歪んだオブジェクトが表示される。
よって、本発明の課題は、このような、歪んだアーティファクトの表示を抑えることのできる、車両周辺部の歪無い表示を可能にする装置、並びに、方法を提供することにある。
この課題は、本発明の請求項１記載の特徴を有するカメラ・サラウンド・ビュー・システムによって達成される。
即ち、本発明は、その第一のアスペクトにおいて車両用のカメラ・サラウンド・ビュー・システムを提供するが、該カメラ・サラウンド・ビュー・システムは、少なくとも一台の車載カメラを有しており、該車載カメラは、表示ユニット上に表示されるサラウンド・ビュー画像乃至周辺画像を作成するために、データ処理ユニットによって処理されるカメラ画像を供給するが、該データ処理ユニットは、車載カメラによって捕捉されたテクスチャーを、該車両の車載センサー類によって提供されたセンサーデータをベースに算出される車両周辺部に近似した適応性のある再・投影面に再・投影される。
本発明に係るカメラ・サラウンド・ビュー・システムのある可及的実施形態においては、車載センサー類によって提供されたセンサーデータが、車両の車両周辺部を正確に描写している。
本発明に係るカメラ・サラウンド・ビュー・システムの更なる可及的実施形態においては、センサーデータは、駐車間隔データ、レーダーデータ、ライダーデータ、カメラデータ、レーザー・スキャンデータ、及び／或いは、動きに関するデータが包含される。
本発明に係るカメラ・サラウンド・ビュー・システムの更なる可及的実施形態においては、適応性のある再・投影面が、動的に可変なグリッドを有している。
本発明に係るカメラ・サラウンド・ビュー・システム更なる可及的実施形態においては、再・投影面のグリッドが、提供されたセンサーデータに応じて動的に可変である。
本発明に係るカメラ・サラウンド・ビュー・システム更なる可及的実施形態においては、再・投影面のグリッドが、三次元グリッドである。
本発明は、更に、特許請求項７に記載の特徴を有する車両用のドライバー・アシスタント・システムも実現する。
即ち、本発明は、その第二のアスペクトにおいてカメラ・サラウンド・ビュー・システムを内蔵したドライバー・アシスタント・システムを提供するが、該システムは、少なくとも一台の車載カメラを有しており、該車載カメラは、表示ユニット上に表示されるサラウンド・ビュー画像を作成するために、データ処理ユニットによって処理されるカメラ画像を供給するが、該データ処理ユニットは、該車両の車載カメラによって捕捉されたテクスチャーを、車載センサー類によって提供されたセンサーデータをベースに算出される車両周辺部に近似した適応性のある再・投影面に再・投影される。
本発明は、更に、特許請求項８に記載の特徴を有する車両の車両周辺部の歪みない表示を得るための方法を実現する。
即ち、本発明は、以下のステップを有する車両の車両周辺部の歪みない表示を得るための方法を実現する：
車両の車載カメラによって車両周辺部のカメラ画像を作成するステップ、
作成されたカメラ画像を車両周辺部の周辺画像を作成するために処理するステップ、
車載カメラによって捕捉されたテクスチャーを、車載センサー類によって提供されたセンサーデータをベースに算出された車両周辺部に近似した適応性のある再・投影面に再・投影するステップ。
本発明に係る方法の更なる可及的実施形態は、従属請求項に記載されている。
以下、車両の車両周辺部の歪みない表示を得るための本発明に係る装置、並びに、本発明に係る方法の可及的実施形態を、添付されている図を用いて詳細に説明する。
本発明に係るカメラ・サラウンド・ビュー・システムの実施形態を示すためのブロック図 車両の車両周辺部の歪みない表示を得るための本発明に係る方法の実施例を示すためのフローチャート 本発明の好ましい実施例
図１からも明らかなように、示されている例では、カメラ・サラウンド・ビュー・システム１は、多数のコンポーネントを有している。該カメラ・サラウンド・ビュー・システム１は、示されている実施例では、少なくとも一台の、該カメラ・サラウンド・ビュー・システム１のデータ処理ユニット３によって該車両のサラウンド・ビュー画像、乃至、周辺画像に加工されるカメラ画像を供給する車載カメラ２を有している。該データ処理ユニット３によって作成されたサラウンド・ビュー画像、乃至、車両周辺画像は、表示手段４上に表示される。データ処理ユニット３は、車両の車載センサー類５によって提供さえるセンサーデータをベースに、適応性のある再・投影面を算出する。カメラ・サラウンド・ビュー・システム１の車載カメラ２によって捕捉されたテクスチャーは、この算出された車両周辺部に近似する適応性のある再・投影面に再・投影され、これにより、歪みやアーティファクトは、最小限に抑えられる、乃至、除去される。
図１に示されているセンサー類５は、例えば、駐車間隔制御用、乃至、駐車間隔帰還制御用のセンサー類である。車両のこれらのセンサー類としては更に、レーダーセンサー、ライダーセンサーなども挙げられる。更なる可及的実施形態においては、更なる車載カメラ２、特に好ましくは、ステレオ・カメラ、或いは、モノカメラからセンサーデータが、適応性のある再・投影面の計算のために供給される。更なる可及的実施形態においては、車両のレーザー・スキャン・システムからセンサーデータが供給される。更なる可及的実施形態においては、動きに関するデータ、或いは、ストラクチャー・データも、データ処理ユニット３による再・投影面の計算のために用いられる。車載センサー５から提供されたセンサーデータは、高い精度をもって、車両周辺部、乃至、車両周辺部のオブジェクトを再現する。ここで言うオブジェクトとは、例えば、車両の周辺部の極近傍、例えば、半径五メートル以内にある他の車両のことである。該オブジェクトとして更には、半径五メートル以内の極近傍にいる歩行者も挙げられる。
該データ処理ユニット３によってセンサーデータをベースに計算された再・投影面は、好ましくは、動的に可変なグリッド、乃至、メッシュを有している。この再・投影面のグリッドは、ある可及的実施形態においては、提供されるセンサーデータに基づいて動的に変更される。尚、該再・投影面のグリッドは、好ましくは、三次元のグリッドである。
三次元のグリッドとは、好ましくは、車両周辺部を再現するグリッドベースの周辺モデルである。グリッドベースの周辺モデルは、車両の周辺部をセルに分割し、その各々のセルに周辺部を描写する特徴を保存するという方法を基本にしている。所謂「オキュパイ・グリッド」では、例えば、各々のセルに、「走行可能」や「オキュパイド」といった分類が保存される。走行可能か否かの他、他の特徴による分類、例えば、反射されたレーダー・エネルギーも保存されることができる。優れた圧縮性の他、この様なグリッドの長所としては、例えば、ステレオ・カメラ、レーダー、ライダー、超音波など様々なセンサー類の統合を可能にする高い抽象化率も挙げることができる。「走行可能」と「オキュパイド」と言うセルの分類に対して、付加的、乃至、代案的に、個々のグリッド・セル、特に、障害物やオブジェクトを表している「オキュパイドのセル」に対して、特徴として、高さ値を保存することもできる。当該高さ情報は、僅かな付加的なリソース消費によって保存でき、周辺モデルの効率的な保存と伝達を可能にする。特に、オキュパイ・グリッドのそれぞれのグリッド・セルへの、上述のような高さ情報の割り当てにより、本件発明において有利に利用できる車両周辺部の三次元のオキュパイ・マップが作成される。該三次元オキュパイ・マップは、この場合、その上に車載カメラによって捕捉されたテクスチャーが、再・投影される適応性のある再・投影面として使用できる。その際好ましくは、該テクスチャーが、三次元のオキュパイ・マップ、乃至、三次元のグリッド・セル上に直接に投影される。
データ処理ユニット３により計算された再・投影面は、静的ではなく、動的であり、車載センサー類５から供給されるその時点のセンサーデータに対して適合可能である。車載センサー類５は、ある可及的実施形態においては、モノ・フロント・カメラ、乃至、ステレオ・カメラを包含していることができる。更に該センサーユニット類５は、データを供給するライダーシステム、或いは、周辺のレーダーデータをデータ処理ユニット３に伝達するレーダーシステムを有していることもできる。データ処理ユニット３は、一つの、或いは、複数の、センサーデータを処理し、そこから再・投影面をリアルタイムに算出するマイクロプロセッサーを包含することができる。車載カメラ２によって捕捉されたテクスチャーは、算出された車両周辺部に近似する再・投影面に投影される、乃至、再・投影される。車載カメラ２の表示には、バリエーションがあっても良い。ある可及的実施形態においては、車両は、四台の車載カメラ２を、車両の四つの異なる側面に有している。ここで言う車両とは、好ましくは、道路交通用車両、特に好ましくは、貨物自動車や乗用車である。本発明のカメラ・サラウンド・ビュー・システム１では、上記のアーティファクトを低減する、乃至、無くすために、カメラ・システムのカメラ２によって捕捉された周辺部のテクスチャーが、適応性のある再・投影面に再・投影される。本発明に係るカメラ・サラウンド・ビュー・システム１によれば、表示される車両周辺画像のクオリティは、明確に改善する。車両周辺画像内のオブジェクト、例えば、他の近隣に駐車している車両や近隣にいる人は、静的な再・投影面を採用しているシステムと比較してより僅かな歪みで表される。
図２は、車両の車両周辺部の歪みない表示を得るための本発明に係る方法のある実施形態を表すフローチャートを示している。
第一ステップＳ１において、車両周辺部の複数のカメラ画像が、車両の車載カメラ２によって作成される。例えば、カメラ画像は、車両の様々な側面に配置されている複数の車載カメラ２によって作成されることができる。
作成されたカメラ画像は、続いて、ステップＳ２において、車両周辺部の周辺画像を生成するために処理される。ある可及的実施形態においては、作成されたカメラ画像の処理は、図１に示すようなデータ処理ユニット３によって実施される。該カメラ画像は、対応する周辺画像を生成するために、好ましくは、リアルタイムに処理される。
次のステップＳ３では、提供されたセンサーデータをベースに再・投影面が、算出され、続いて、車載カメラによって捕捉されたテクスチャーが、この算出された適応性のある再・投影面に再・投影される。該適応性のある再・投影面は、提供されるセンサーデータを基に動的に変化する、動的な可変なグリッドを有している。尚、該グリッドは、好ましくは、三次元のグリッドである。図２に示されている方法は、ある可及的実施形態においては、マイクロプロセッサーによって実施可能なコンピューター命令を含むコンピューター・プログラムに実装されていることもできる。該プログラムは、ある可及的実施形態においては、データ記憶媒体、或いは、プログラム・メモリーに保存されている。
図３は、本発明の好ましい実施形態を示している。ここに示されている適応性のある再・投影面は、動的に可変なグリッドである。グリッドは、４つのセクター、即ち、「左セクター」（ＳｅｋｔＬ）、「右セクター」（ＳｅｋｔＲ）、「前セクター」（ＳｅｋｔＶ）、並びに、「後セクター」（ＳｅｋｔＨ）から構成されている。各々のセクターは、再・投影距離に関して個々に可変である。これには、４つのパラメーター、即ち、「左間隔」（ＤｉｓｔＬ）、「右間隔」（ＤｉｓｔＲ）、「後間隔」（ＤｉｓｔＨ）、並びに、「前間隔」（ＤｉｓｔＶ）が、用いられる。これらにより、各々のセクターにおいて、車両（６）からオブジェクト、乃至、障害物に対する間隔を個々に設定できる。図３には、その一例として、定義された初期間隔（実線）からセンサーによって測定されたオブジェクト間隔（破線）への動的なグリッドのセクター毎の、乃至、セクターに帰属する変化が、示されている。

Claims (14)

  1. データ処理ユニット（３）によって、表示ユニット（４）上に表示されるサラウンド・ビュー画像乃至周辺画像を作成するために、処理されるカメラ画像を提供する少なくとも一台の車載カメラ（２）を有する、但し、該データ処理ユニット（３）が、車載カメラ（２）によって捕捉されたテクスチャーを、車載センサー類（５）によって提供されたセンサーデータをベースに算出される車両周辺部に近似した適応性のある再・投影面に再・投影するカメラ・サラウンド・ビュー・システム（１）において、
    算出された適応性のある再・投影面が、該提供されたセンサーデータに基づいて動的に可変なグリッドを有し、
    高さ情報を前記グリッドのそれぞれのグリッド・セルに割り当てることによって、前記車両周辺部の三次元のオキュパイ・マップが、前記再・投影面として作成され、前記テクスチャーが、前記三次元のオキュパイ・マップ上に直接に投影されることを特徴とする車両用（６）のカメラ・サラウンド・ビュー・システム（１）。
  2. 車載センサー類（５）によって提供されたセンサーデータが、車両（６）の車両周辺部を再現することを特徴とする請求項１に記載のカメラ・サラウンド・ビュー・システム。
  3. 該センサーデータが、駐車間隔データ、レーダーデータ、ライダーデータ、カメラデータ、レーザーデータ、並びに、動きに関するデータを包含していることを特徴とする請求項２に記載のカメラ・サラウンド・ビュー・システム。
  4. 再・投影面の該グリッドが、該提供されたセンサーデータに基づいて動的に可変であることを特徴とする請求項１〜３のいずれか１項に記載のカメラ・サラウンド・ビュー・システム。
  5. 再・投影面の該グリッドが、三次元グリッドであることを特徴とする請求項１〜４のいずれか１項に記載のカメラ・サラウンド・ビュー・システム。
  6. 請求項１〜５のいずれか１項に記載のカメラ・サラウンド・ビュー・システム（１）を備えた車両（６）用のドライバー・アシスタント・システム。
  7. 以下のステップを有することを特徴とする車両（６）の車両周辺部の歪みない表示を得るための方法：
    （ａ） 車両（６）の車載カメラ（２）によって車両周辺部のカメラ画像を作成するステップ（Ｓ１）、
    （ｂ） 作成されたカメラ画像を車両周辺部の周辺画像を作成するために処理するステップ（Ｓ２）、
    （ｃ） 車載カメラ（２）によって捕捉されたテクスチャーを、車載センサー類（５）によって提供されたセンサーデータをベースに算出された車両周辺部に近似した適応性のある再・投影面に再・投影するステップ（Ｓ３）において、
    適応性のある再・投影面が、該提供されたセンサーデータに基づいて動的に可変なグリッドを有し、
    高さ情報を前記グリッドのそれぞれのグリッド・セルに割り当てることによって、前記車両周辺部の三次元のオキュパイ・マップが、前記再・投影面として作成され、前記テクスチャーが、前記三次元のオキュパイ・マップ上に直接に投影されることを特徴とする方法。
  8. 車載センサー類（５）によって提供されたセンサーデータが、車両（６）の車両周辺部を描写していることを特徴とする請求項７に記載の方法。
  9. 該センサーデータが、駐車間隔データ、レーダーデータ、ライダーデータ、カメラデータ、レーザー・スキャンデータ、並びに、動きに関するデータを包含していることを特徴とする請求項８に記載の方法。
  10. 再・投影面の該グリッドが、該提供されたセンサーデータに基づいて動的に変更されることを特徴とする請求項７〜９のいずれか１項に記載の方法。
  11. 再・投影面の該グリッドが、三次元グリッドを有していることを特徴とする請求項７〜１０のいずれか１項に記載の方法。
  12. 請求項７〜１１のいずれか１項に記載の方法を実施する命令を有するコンピューター・プログラム。
  13. 請求項６に記載のドライバー・アシスタント・システムを備えた車両（６）。
  14. 車両（６）は、道路交通用車両である請求項１３に記載の車両（６）。
JP2016565679A 2014-05-08 2015-05-06 車両の車両周辺部の歪無い表示のための方法、並びに、装置 Active JP6860348B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014208664.7A DE102014208664A1 (de) 2014-05-08 2014-05-08 Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
DE102014208664.7 2014-05-08
PCT/DE2015/200301 WO2015169316A2 (de) 2014-05-08 2015-05-06 Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges

Publications (3)

Publication Number Publication Date
JP2017515727A JP2017515727A (ja) 2017-06-15
JP2017515727A5 JP2017515727A5 (ja) 2020-01-30
JP6860348B2 true JP6860348B2 (ja) 2021-04-14

Family

ID=53502383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016565679A Active JP6860348B2 (ja) 2014-05-08 2015-05-06 車両の車両周辺部の歪無い表示のための方法、並びに、装置

Country Status (7)

Country Link
US (1) US20170203692A1 (ja)
EP (1) EP3140813B1 (ja)
JP (1) JP6860348B2 (ja)
KR (1) KR101911610B1 (ja)
CN (1) CN106462996B (ja)
DE (2) DE102014208664A1 (ja)
WO (1) WO2015169316A2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102261312B1 (ko) * 2015-04-21 2021-06-08 주식회사 만도 다중 카메라 운전 보조 시스템
DE102015221340B4 (de) * 2015-10-30 2021-02-25 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugumgebungsansicht für ein Fahrzeug
DE102015223176A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges
DE102016203709B4 (de) * 2016-03-08 2018-04-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildverarbeitungsverfahren, Bildverarbeitungsmittel und Bildverarbeitungsvorrichtung zur Erzeugung von Abbildungen eines Teils eines dreidimensionalen Raums
EP3252658B1 (en) * 2016-05-30 2021-08-11 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method
US11204610B2 (en) 2016-05-30 2021-12-21 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method using correlation between attributes
DE102016220894A1 (de) * 2016-10-25 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016223391A1 (de) * 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
JP6859216B2 (ja) * 2017-07-03 2021-04-14 トヨタ自動車株式会社 車両周辺表示装置
CN107948501A (zh) * 2017-10-30 2018-04-20 深圳市易成自动驾驶技术有限公司 自动环视方法、装置及计算机可读存储介质
CN107972585A (zh) * 2017-11-30 2018-05-01 惠州市德赛西威汽车电子股份有限公司 结合雷达信息的自适应3d环视场景重建系统与方法
DE102018203590A1 (de) * 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
DE102018210812A1 (de) * 2018-06-30 2020-01-02 Robert Bosch Gmbh Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung
DE102018214875A1 (de) * 2018-08-31 2020-03-05 Audi Ag Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
CA3122865A1 (en) * 2018-12-13 2020-06-18 Continental Holding China Co., Ltd. Method for detecting and modeling of object on surface of road
DE102019203274B3 (de) 2019-03-11 2020-07-09 Zf Friedrichshafen Ag Computerimplementiertes Verfahren zum Erstellen eines Umfeldmodells für ein automatisiert betreibbares Fahrzeug, Steuergerät und Computerprogrammprodukt zur automatisierten Steuerung eines Fahrzeuges und Steuerungssystem für ein Fahrzeug
TWM593949U (zh) * 2019-04-19 2020-04-21 帷享科技股份有限公司 用於車輛之影像整合警示系統
DE102020201000B3 (de) 2020-01-28 2021-07-29 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und System zum Erhalten eines Umfeldmodells und Steuergerät für ein automatisiert betreibbares Fahrzeug
CN112277806B (zh) * 2020-11-24 2021-11-16 广州市车智连电子有限公司 全景泊车影像系统
DE102022206782A1 (de) 2022-07-04 2024-01-04 Continental Autonomous Mobility Germany GmbH Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem sowie Kamerasystem
DE102022124085A1 (de) 2022-09-20 2024-03-21 Connaught Electronics Ltd. Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002019556A (ja) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
FR2853121B1 (fr) * 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
DE102004032118B4 (de) * 2004-07-01 2006-09-21 Daimlerchrysler Ag Objekterkennungsverfahren für Fahrzeuge
DE102004057296A1 (de) * 2004-11-26 2006-06-08 Daimlerchrysler Ag Lane-Departure-Warning mit Unterscheidung zwischen Fahrbahnrandmarkierung und baulicher Begrenzung des Fahrbahnrandes
US7835592B2 (en) * 2006-10-17 2010-11-16 Seiko Epson Corporation Calibration technique for heads up display system
DE102009029439A1 (de) * 2009-09-14 2011-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
JP2012244600A (ja) * 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
DE102012018326B4 (de) * 2012-09-15 2019-12-19 Zf Friedrichshafen Ag Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion

Also Published As

Publication number Publication date
CN106462996B (zh) 2020-06-09
DE102014208664A1 (de) 2015-11-12
KR101911610B1 (ko) 2018-10-24
EP3140813A2 (de) 2017-03-15
DE112015000833A5 (de) 2016-12-08
JP2017515727A (ja) 2017-06-15
WO2015169316A2 (de) 2015-11-12
KR20160145598A (ko) 2016-12-20
CN106462996A (zh) 2017-02-22
EP3140813B1 (de) 2019-07-10
WO2015169316A3 (de) 2015-12-30
US20170203692A1 (en) 2017-07-20

Similar Documents

Publication Publication Date Title
JP6860348B2 (ja) 車両の車両周辺部の歪無い表示のための方法、並びに、装置
JP2017515727A5 (ja)
JP2018531530A (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
CN104883554B (zh) 通过虚拟透视仪器群集显示直播视频的方法和系统
CN111582080B (zh) 车辆360度环视监控实现方法及装置
US20170341582A1 (en) Method and device for the distortion-free display of an area surrounding a vehicle
JP6737288B2 (ja) 周囲監視装置、画像処理方法、及び画像処理プログラム
JP7132213B2 (ja) 乗り物において乗り物周辺ビューを作成するための方法及び装置
JP2019106159A (ja) 知的地形特定のための方法及び装置、車両搭載端末、並びに車両
JP7295123B2 (ja) 調整された投影面を有するサラウンドビュー・システム
US20170116710A1 (en) Merging of Partial Images to Form an Image of Surroundings of a Mode of Transport
JP2018509799A5 (ja)
JP6975642B2 (ja) 車両周辺部のバーチャル画像を作成するための方法
CN113838060A (zh) 用于自主车辆的感知系统
CN112883790A (zh) 一种基于单目摄像头的3d物体检测方法
CN114423646A (zh) 基于传感器融合的感知增强环绕视图
EP3921797A1 (en) Image system for a vehicle
CN107851305A (zh) 后部交叉交通快速检视
JP7084400B2 (ja) 三次元サラウンドビュー・システム
CN112334947A (zh) 基于传感器和存储器表示周围环境的方法、显示装置和具有显示装置的车辆
JP5773334B2 (ja) オプティカルフロー処理装置及び表示半径マップ生成装置
KR101398068B1 (ko) 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
JPWO2019170202A5 (ja)
JP2022101979A (ja) 画像生成装置、画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181205

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20190208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190807

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20191202

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20191202

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191210

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20191211

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200306

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200311

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200527

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200703

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200826

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201215

C126 Written invitation by the chief administrative judge to file intermediate amendments

Free format text: JAPANESE INTERMEDIATE CODE: C126

Effective date: 20201223

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210127

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210303

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210326

R150 Certificate of patent or registration of utility model

Ref document number: 6860348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250