JP7132213B2 - 乗り物において乗り物周辺ビューを作成するための方法及び装置 - Google Patents
乗り物において乗り物周辺ビューを作成するための方法及び装置 Download PDFInfo
- Publication number
- JP7132213B2 JP7132213B2 JP2019518222A JP2019518222A JP7132213B2 JP 7132213 B2 JP7132213 B2 JP 7132213B2 JP 2019518222 A JP2019518222 A JP 2019518222A JP 2019518222 A JP2019518222 A JP 2019518222A JP 7132213 B2 JP7132213 B2 JP 7132213B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- fua
- view
- matrix
- tpm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
複数のカメラ画像を、乗り物の乗り物ボディに設けられている複数の車載カメラによって用意するステップ、並びに、
用意された複数のカメラ画像を基に、乗り物の乗り物周辺ビューを算出するステップ、但し、乗り物周辺ビューに含まれる、乗り物ボディの下にあり、見えない地面のテクスチャは、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出される。
FUA=GM×FPM+(1-GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー、
GMは、重み付けマトリクス、
FPMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
乗り物の乗り物ボディに設置され、乗り物の乗り物周辺部の複数のカメラ画像を用意する複数の車載カメラ、
乗り物の乗り物周辺ビューを、用意された複数のカメラ画像を基に算出する計算ユニット、
但し、乗り物の乗り物周辺ビュー内の乗り物ボディの下にある見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、
及び、
計算ユニットによって算出された乗り物周辺ビューを出力する出力ユニット。
FUA=GM×FPM+(1-GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー、
GMは、重み付けマトリクス、
FPMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
乗り物の乗り物ボディに取り付けられ、乗り物の乗り物周辺部の複数のカメラ画像を用意する複数の車載カメラ、並びに、
乗り物の乗り物周辺ビュー内の乗り物ボディの下にある見えない地面のテクスチャを、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出し、用意された複数のカメラ画像に基づいて乗り物の乗り物周辺ビューを算出することに適している計算ユニットを、
有する
乗り物周辺ビューを作成するための装置を
備えた
乗り物用のドライバーアシスタントシステムを提供する。
FUA=GM×FPM+(1-GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー、
GMは、重み付けマトリクス、
FPMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
FUA=GM×FPM+(1-GM)×TPM。
FUA=GM×FPM+(1-GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー、
GMは、重み付けマトリクス、
FPMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
Claims (7)
- 乗り物において、乗り物周辺ビュー(FUA)を作成するための方法であって、
当該方法が、以下のステップ、即ち、
(a)複数のカメラ画像(KB)を、乗り物の乗り物ボディ(3)に設けられている複数の車載カメラ(2)によって用意するステップ(S1)、並びに、
(b)複数の車載カメラ(2)によって用意された複数のカメラ画像(KB)を基にして、乗り物ボディ(3)の下にあり、複数の車載カメラ(2)からは見えない地面のテクスチャを割り出すことなく、乗り物のオリジナル乗り物周辺ビュー(oFUA)が、算出され、続いて、オリジナル乗り物周辺ビュー(oFUA)に基づいて、カラー予測マトリクス(FPM)の算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクス(TPM)の算出のための動き補正されたテクスチャ予測が実施され、並びに、
乗り物周辺ビュー(FUA)に含まれ、乗り物ボディ(3)の下にあり、見えない地面のテクスチャが、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出され、用意された複数のカメラ画像(KB)を基に、乗り物の乗り物周辺ビュー(FUA)を算出するステップ(S2)、
を備える、当該方法において、
オリジナル乗り物周辺ビュー(oFUA)とテクスチャ予測マトリクス(TPM)との間の見えない地面の境界に沿った境界誤差が算出され、
見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクス(GM)を生成するために算出され、
カラー予測マトリクス(FPM)と、テクスチャ予測マトリクス(TPM)とが、乗り物周辺ビュー(FUA)の算出のために、重み付けマトリクス(GM)によって、以下の組み合わせ、即ち、
FUA=GM×FPM+(1-GM)×TPM,
の様に重み付けし、
この式中の、
FUAは、乗り物周辺ビューであり、
GMは、重み付けマトリクスであり、
FPMは、カラー予測マトリクスであり、そして、TPMは、テクスチャ予測マトリクスである、
ことを特徴とする方法。 - センサー的に捕捉されたオドメトリデータに依存してテクスチャ予測マトリクス(TPM)を算出するために動き補正されたテクスチャ予測が、実施されることを特徴とする請求項1に記載の方法。
- 乗り物(F)において、乗り物周辺ビュー(FUA)を作成するための装置であって、当該装置が、以下の、即ち、
-乗り物(F)の乗り物ボディ(3)に設置され、乗り物の乗り物周辺部(FUA)の複数のカメラ画像(KB)を用意する複数の車載カメラ(2)、
-計算ユニット(4)が、複数の車載カメラ(2)によって用意された複数のカメラ画像(KB)を基にして、乗り物ボディ(3)の下にあり、複数の車載カメラ(2)からは見えない地面のテクスチャを割り出すことなく、乗り物のオリジナル乗り物周辺ビュー(oFUA)を、算出し、続いて、
算出したオリジナル乗り物周辺ビュー(oFUA)に基づいて、カラー予測マトリクス(FPM)の算出のためのローカルなカラー予測、及び、テクスチャ予測マトリクス(TPM)の算出のための動き補正されたテクスチャ予測を実施し、並びに、
乗り物周辺ビュー(FUA)内の乗り物ボディ(3)の下にあり見えない地面のテクスチャが、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出され、乗り物周辺ビュー(FUA)を、用意された複数のカメラ画像(KB)を基に算出することができる様に構成された計算ユニット(4)、並びに、
-計算ユニット(4)によって算出された乗り物周辺ビュー(FUA)を出力する出力ユニット、
を備える、当該装置において、
計算ユニット(4)が、オリジナル乗り物周辺ビュー(oFUA)とテクスチャ予測マトリクス(TPM)との間の見えない地面の境界に沿った境界誤差を算出し、
計算ユニット(4)が、見えない地面領域内のピクセルの誤差度合いを、算出された境界誤差に依存して、重み付けマトリクス(GM)を生成するために算出し、
計算ユニット(4)が、カラー予測マトリクス(FPM)とテクスチャ予測マトリクス(TPM)とを、乗り物周辺ビュー(FUA)の算出のために、重み付けマトリクス(GM)によって、以下の組み合わせ、即ち、
FUA=GM×FPM+(1-GM)×TPM,
の様に重み付けし、
この式中の、
FUAは、乗り物周辺ビューであり、
GMは、重み付けマトリクスであり、
FPMは、カラー予測マトリクスであり、そして、
TPMは、テクスチャ予測マトリクスである、
ことを特徴とする装置。 - テクスチャ予測マトリクス(TPM)を算出するための動き補正されたテクスチャ予測が、乗り物のセンサーによって、センサー的に捕捉されたオドメトリデータに依存して実施されることを特徴とする請求項3に記載の装置。
- 算出されたカラー予測マトリクス(FPM)と算出されたテクスチャ予測マトリクス(TPM)が、一つのデータ保存手段に一時保存されることを特徴とする請求項3又は4に記載の装置。
- 請求項3から5のうち何れか一項に記載の乗り物周辺ビュー(FUA)を作成するための装置(1)を備えた乗り物用のドライバーアシスタントシステム。
- 請求項6のドライバーアシスタントシステムを搭載した陸上用の乗り物。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016220651.6A DE102016220651A1 (de) | 2016-10-20 | 2016-10-20 | Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug |
DE102016220651.6 | 2016-10-20 | ||
PCT/DE2017/200098 WO2018072793A1 (de) | 2016-10-20 | 2017-09-21 | Verfahren und vorrichtung zur erzeugung einer fahrzeugumgebungsansicht bei einem fahrzeug |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020502850A JP2020502850A (ja) | 2020-01-23 |
JP2020502850A5 JP2020502850A5 (ja) | 2021-11-18 |
JP7132213B2 true JP7132213B2 (ja) | 2022-09-06 |
Family
ID=60164562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019518222A Active JP7132213B2 (ja) | 2016-10-20 | 2017-09-21 | 乗り物において乗り物周辺ビューを作成するための方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10902622B2 (ja) |
EP (1) | EP3529743A1 (ja) |
JP (1) | JP7132213B2 (ja) |
DE (2) | DE102016220651A1 (ja) |
WO (1) | WO2018072793A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016223391A1 (de) | 2016-11-25 | 2018-05-30 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug |
DE102018203590A1 (de) | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview-System mit angepasster Projektionsfläche |
DE102019201702A1 (de) | 2019-02-11 | 2020-08-13 | Conti Temic Microelectronic Gmbh | Modulares inpainting Verfahren |
JP2021150838A (ja) * | 2020-03-19 | 2021-09-27 | 株式会社デンソーテン | 画像処理装置 |
US11966452B2 (en) | 2021-08-05 | 2024-04-23 | Ford Global Technologies, Llc | Systems and methods for image based perception |
US11663807B2 (en) * | 2021-08-05 | 2023-05-30 | Ford Global Technologies, Llc | Systems and methods for image based perception |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002354467A (ja) | 2001-05-25 | 2002-12-06 | Nissan Motor Co Ltd | 車両周囲情報表示装置 |
JP2005001570A (ja) | 2003-06-12 | 2005-01-06 | Equos Research Co Ltd | 駐車支援装置 |
US20140347470A1 (en) | 2013-05-23 | 2014-11-27 | GM Global Technology Operations LLC | Enhanced top-down view generation in a front curb viewing system |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3772185B2 (ja) * | 1995-07-28 | 2006-05-10 | 独立行政法人情報通信研究機構 | 画像符号化方式 |
US8605947B2 (en) | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
JP5182042B2 (ja) * | 2008-11-28 | 2013-04-10 | 富士通株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
FR2976355B1 (fr) | 2011-06-09 | 2013-06-21 | Jean Luc Desbordes | Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant. |
DE102011077398B4 (de) * | 2011-06-10 | 2021-11-04 | Robert Bosch Gmbh | Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren |
DE102012211025A1 (de) | 2012-06-27 | 2014-01-02 | Robert Bosch Gmbh | Verfahren zur Fahrassistenz und Fahrassistenzsystem |
DE102012112724A1 (de) | 2012-12-20 | 2014-06-26 | Continental Teves Ag & Co. Ohg | Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten |
GB201406405D0 (en) * | 2014-04-09 | 2014-05-21 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
US9892493B2 (en) * | 2014-04-21 | 2018-02-13 | Texas Instruments Incorporated | Method, apparatus and system for performing geometric calibration for surround view camera solution |
DE102014117888A1 (de) * | 2014-12-04 | 2016-10-13 | Connaught Electronics Ltd. | Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems |
US9811743B2 (en) * | 2015-06-29 | 2017-11-07 | Sharp Laboratories Of America, Inc. | Tracking road boundaries |
DE102016005463A1 (de) | 2016-05-03 | 2016-11-17 | Daimler Ag | Verfahren und Vorrichtung zur Erkennung und Lokalisierung von Fahrbahnunebenheiten |
CN109891475A (zh) * | 2016-11-09 | 2019-06-14 | 索尼公司 | 信息处理设备、信息处理方法、程序和移动体 |
DE102016223391A1 (de) | 2016-11-25 | 2018-05-30 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug |
-
2016
- 2016-10-20 DE DE102016220651.6A patent/DE102016220651A1/de not_active Withdrawn
-
2017
- 2017-09-21 EP EP17788107.5A patent/EP3529743A1/de not_active Ceased
- 2017-09-21 US US16/334,493 patent/US10902622B2/en active Active
- 2017-09-21 DE DE112017004075.2T patent/DE112017004075A5/de active Pending
- 2017-09-21 WO PCT/DE2017/200098 patent/WO2018072793A1/de unknown
- 2017-09-21 JP JP2019518222A patent/JP7132213B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002354467A (ja) | 2001-05-25 | 2002-12-06 | Nissan Motor Co Ltd | 車両周囲情報表示装置 |
JP2005001570A (ja) | 2003-06-12 | 2005-01-06 | Equos Research Co Ltd | 駐車支援装置 |
US20140347470A1 (en) | 2013-05-23 | 2014-11-27 | GM Global Technology Operations LLC | Enhanced top-down view generation in a front curb viewing system |
Also Published As
Publication number | Publication date |
---|---|
JP2020502850A (ja) | 2020-01-23 |
US10902622B2 (en) | 2021-01-26 |
US20190213744A1 (en) | 2019-07-11 |
DE112017004075A5 (de) | 2019-04-18 |
EP3529743A1 (de) | 2019-08-28 |
WO2018072793A1 (de) | 2018-04-26 |
DE102016220651A1 (de) | 2018-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7132213B2 (ja) | 乗り物において乗り物周辺ビューを作成するための方法及び装置 | |
JP6860348B2 (ja) | 車両の車両周辺部の歪無い表示のための方法、並びに、装置 | |
JP2020502850A5 (ja) | ||
CN105075247B (zh) | 车辆的控制装置及存储介质 | |
JP7247173B2 (ja) | 画像処理方法及び装置 | |
JP5035284B2 (ja) | 車両周辺表示装置 | |
CN107808390A (zh) | 使用来自单摄像机的数据的对象距离估算 | |
JP2018531530A6 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
US11383642B2 (en) | Display control apparatus | |
US11410430B2 (en) | Surround view system having an adapted projection surface | |
JP6958163B2 (ja) | 表示制御装置 | |
JP7008068B2 (ja) | 乗り物において乗り物周辺ビューを作成するための方法ならびに装置 | |
CN111277796A (zh) | 图像处理方法、车载视觉辅助系统及存储设备 | |
JP2018509799A (ja) | 車両の車両周辺部の歪無い表示のための方法、並びに、装置 | |
JP2018509799A5 (ja) | ||
CN107851304A (zh) | 面板变换 | |
JP7013751B2 (ja) | 画像処理装置 | |
CN107851305A (zh) | 后部交叉交通快速检视 | |
CN112825546A (zh) | 使用中间图像表面生成合成图像 | |
JP2019504382A (ja) | アダプティブな周辺画像データ処理を有するドライバー・アシスタント・システム | |
JP2020127171A (ja) | 周辺監視装置 | |
US20200090307A1 (en) | Surround View System for a Vehicle | |
US11430147B2 (en) | Image processing apparatus, imaging apparatus, mobile body, and image processing method | |
US20240169668A1 (en) | Computer-implemented method for creating a three-dimensional virtual model of an environment of a motor vehicle | |
JP6769187B2 (ja) | 表示装置の表示方法及び表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200512 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210707 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20211005 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220705 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220705 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220713 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220825 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7132213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |