JPWO2020224730A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2020224730A5 JPWO2020224730A5 JP2021561823A JP2021561823A JPWO2020224730A5 JP WO2020224730 A5 JPWO2020224730 A5 JP WO2020224730A5 JP 2021561823 A JP2021561823 A JP 2021561823A JP 2021561823 A JP2021561823 A JP 2021561823A JP WO2020224730 A5 JPWO2020224730 A5 JP WO2020224730A5
- Authority
- JP
- Japan
- Prior art keywords
- image
- hdr
- vehicle
- images
- individual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Description
本発明は、車両周辺部の画像を生成する方法及び装置に関する。
車両には、運転手を運転マヌーバの実施においてサポートするドライバー・アシスタント・システムが、ますます、装備されるようになってきている。これらドライバー・アシスタント・システムの中には、車両のドライバーに車両周辺部を示すことを可能にするカメラ・サラウンド・ビュー・システムを包含しているものがある。この様なカメラ・サラウンド・ビュー・システムは、該カメラ・サラウンド・ビュー・システムの、特に、データ処理ユニットによって、車両周辺部の周辺画像に統合される車両周辺部の複数のリアル画像を供給する一台の、又は、複数台の車載カメラを包含している。そしてこの車両周辺部の画像は、ドライバーのために表示ユニット上に好ましく表示される。
該サラウンド・ビュー・システムの互いに隣接するカメラは、通常、重なり合う視野領域を有している。この様な領域では、必要以上に多くの情報が提供されるため、これらの画像は、一般的には、アルファブレンディングによって混合される。しかしながらこの方法は、隣接する画像間における明度が大きく異なる場合には、該混合領域において移行部が明確に現れる原因となり得る。この様な問題を回避するため、画像間の明度を混合する前に合わせると言う既知なアプローチがある。これは、特に、画像調和(Image Harmonization)によって実施される。しかしながら、画像調和には、欠点がある。例えば、計算が煩雑なこと;サンプリングが、略完璧でなければならないこと;カラーフォーマットによっては、明度を容易に設定できないこと;及び、画像内のパターンと一致しないために、スキャンパターンが、十分にランダムでなければならないこと、などが挙げられる。また、結果が、その時点の状況に大きく依存することも欠点である。
よって、これらを起点とした本発明の課題は、隣接するカメラ間の明度の差異に起因する問題を排除できる方法、又は、装置を提供することである。
この課題は、独立請求項1記載の特徴を持つ方法によって達成される。好ましい実施形態は、従属請求項の対象である。装置は、並列独立請求項の対象である。
第一アスペクトによれば本発明は、以下のステップを有する車両周辺部の画像を生成する方法に関する:
- 特に、車両の車両ボディに配置されている複数の車載カメラを準備するステップ、
- 車載カメラの画像データ又は画像から、個々のHDR画像を算出する及び/又は生成するステップ、
- 複数の個々のHDR画像を一枚の統合HDR画像に合成するステップ、
- 統合HDR画像から、ダイナミックレンジの小さい画像、特に、LDR画像を算出するステップ。
- 特に、車両の車両ボディに配置されている複数の車載カメラを準備するステップ、
- 車載カメラの画像データ又は画像から、個々のHDR画像を算出する及び/又は生成するステップ、
- 複数の個々のHDR画像を一枚の統合HDR画像に合成するステップ、
- 統合HDR画像から、ダイナミックレンジの小さい画像、特に、LDR画像を算出するステップ。
これらの方法ステップは、特に、表記されている順番に実施される。
本発明に係る方法を用いれば、特に、個々の画像間の明度差がなくなるため、非常に煩雑且つエラーが発生しやすい画像調和を実施する必要がなくなる。
複数の車載カメラは、特に、それぞれ車両周辺の少なくとも一つの部分領域を捕捉する。これらの車載カメラ又は該車載カメラの視野領域は、特に、異なる向きを有しているが、隣接するカメラは、通常、少なくとも部分的に重なり合う視野領域を有している。
本発明におけるHDR画像とは、特に、高いダイナミックレンジを有する画像であると解釈される。これは、当業者には、「High Dynamic Range Image」として既知である。この様な画像は、カメラの視野領域内における大きな明度差を詳細に再現することを可能にする。
複数の個別のHDR画像からは、特に、一枚の統合HDR画像が合成される。個別の画像を一枚の統合画像に合成することは、特に、当業者に既知な方法、好ましくは、ステッチングによって実施される。これは、特に、重複領域にも採用される。
本発明におけるLDR画像とは、特に、小さなダイナミックレンジを有する画像であると解釈される。これは、当業者には、「Low Dynamic Range Images」として既知である。LDRは、特に、HDR画像のダイナミックレンジを圧縮することによって得られる。
有利な形態においては、個々のHDR画像は、制御装置に伝達される。個々の車載カメラの個々のHDR画像の制御装置への伝達には、既知の方法の場合よりもより大きな性能が必要とされるため、先ずは、プロセスにとって不利に作用する。しかしながら驚くべきことに、これは、他のステップ又は後続のステップによって相殺できることが解明された。該制御装置は、好ましくは、複数の個別のHDR画像から一枚の統合HDR画像を合成する。特に、個々のHDR画像の一枚の統合HDR画像への合成は、制御装置内において実施される。
ある好ましい実施形態においては、個々のHDR画像の算出及び/又は生成は、個々の車載カメラ毎に実施される。しかしながら本質的には、個々のHDR画像の算出を、車載カメラ外において実施することも考え得る。尚、この場合は、画像の生データ又は画像データを、例えば、車載されている、又は、車外にある、計算が実施される手段に転送することも考え得る。
HDR画像からのLDR画像の算出は、特に、トーンマッピングによって実施される。但し、該算出は、ある特定のトーンマッピング法に本質的に制限されない。即ち、本質的に、グローバル演算子の使用も考え得る。ここでは、特に、各々のHDR値にダイナミックに関して圧縮された値を割り当て、これらを各々のピクセルに採用する関数が用いられる。よって、グローバル演算子を用いる際は、HDR画像又は元画像のピクセルは、互いに独立に処理される。HDR画像は、特に、線形に圧縮される;即ち、全ての画像点に一つのファクタが用いられる。更には、ローカル演算子や周波数ベースの演算子を用いることもできる。ここでは、特に、コントラストの高い画像区域とコントラストの低い画像区域は、少なめに圧縮される。トーンマッピングの際は、好ましくは、近隣の、特に、隣接するピクセルも考慮される。
有利な形態においては、各々の車載カメラが、画像毎に複数回露光する。個々のHDR画像は、好ましくは、一つの露光系列から、より好ましくは、ダイナミックレンジが小さい、特に、「low dynamic range」の複数画像の一つの露光系列から再構成される。
本発明で言う露光系列とは、特に、段階的な露光からなる系列であると解釈される。その際、好ましくは、同じモチーフが、特に、様々な露光設定によって撮影される。好ましくは、各々の画像区域が、少なくとも一枚の個別画像内において、正しく露光される。露光の変化は、露光時間の長さによって実施できる。しかしながら、露光の変化は、絞り値や感度設定によっても制御可能である。個々のHDR画像を算出するためには、露光系列を撮影することが有利である。
ある好ましい実施形態においては、統合LDR画像は、表示ユニット上に表示される。該表示ユニットとしては、ディスプレイ、表示器、及び/又は、ヘッドアップディスプレイを挙げることができる。該表示ユニットは、車両の一部であることができる。しかしながら、該表示ユニットは、携帯端末の一部であることもできる。
有利な形態においては、サラウンド・ビュー・システムのカメラは、車両周辺部の画像データを提供する。これは、特に、理想的には車両の異なる側に配置されている、四台のカメラである。該カメラは、好ましくは、魚眼カメラである。
第二アスペクトによれば本発明は、以下を包含する車両周辺部の画像を生成する装置に関する:
- 特に、車両の車両ボディに配置され、且つ、HDR画像を生成する、又は、HDR画像を算出させることができる車載カメラ、並びに、
- 複数の個々のHDR画像を一枚の統合HDR画像に合成し、それを基に、LDR画像を算出する様に構成されている制御装置。
- 特に、車両の車両ボディに配置され、且つ、HDR画像を生成する、又は、HDR画像を算出させることができる車載カメラ、並びに、
- 複数の個々のHDR画像を一枚の統合HDR画像に合成し、それを基に、LDR画像を算出する様に構成されている制御装置。
本発明に係る装置は、本発明に係る方法を実施するのに適している。
本発明のある有利な形態においては、該装置は、制御ユニットによって算出されたLDR画像を出力する表示ユニットを包含している。
尚、車載カメラは、同一に構成されていることが好ましい。本発明では、同一の構成とは、該車載カメラが、同じセンサ及び/又は同じレンズを有していると解釈される。尚、全ての車載カメラが、同一の露光時間、感度、絞り、AD変換、及び/又は、ISPの値を用いていることが有利である。
車載カメラは、好ましくは、魚眼カメラとして構成されている。ある好ましい実施形態においては、該車載カメラは、車両の異なる側に配置されている。丁度四台のカメラが使用されることが有利であるが、この際、特に、一台の車載カメラを、車両ボディの前方に、一台の車載カメラを後方に、一台の車載カメラを、右側に、そして、一台の車載カメラを左側に配置する。ここで言う車載カメラとは、特に、サラウンド・ビュー・システムのカメラである。
本発明の更なる好ましい実施形態は、図面によって示される。図の説明:
図1は、車両周辺部の画像を生成するための本発明に係る方法のある実施形態におけるフローチャートの模式的な描写を示している。第一ステップS1では、複数の車載カメラ12,14,16,18が、準備される。カメラ12,14,16,18は、車両の車両ボディに配置されているが、車載カメラ12,14,16,18又は車載カメラ12,14,16,18の視野領域は、異なる方向を有している。隣接する車載カメラ12,14,16,18は、特に、一部、重複領域を有している。
第二ステップS2では、個々のHDR画像が、車載カメラ12,14,16,18の画像データ又は画像から算出される、及び/又は、生成される。個々のHDR画像の算出は、好ましくは、それぞれの車載カメラ12,14,16,18内において実施される。個々のHDR画像は、露光系列、好ましくは、低いダイナミックレンジの画像の露光系列から再構成することで、有利に得ることができる。そのために、各々の車載カメラ12,14,16,18は、特に、画像毎に複数回露光する。
第三ステップS3では、複数の個別のHDR画像が、一枚の統合HDR画像に合成される。個々のHDR画像の合成は、制御装置20内で実施されることができる。
第四ステップS4では、統合HDR画像から一枚の低いダイナミックレンジの画像、好ましくは、LDR画像が、算出される。HDR画像からのLDR画像の算出は、好ましくは、トーンマッピングによって実施される。続いて、統合LDR画像は、表示ユニット22上に表示されることができる。
図2は、車両周辺部の画像を生成するための本発明に係る装置10の、ある実施形態における模式的な描写を示している。該装置は、HDR画像を生成できる、又は、それらからHDR画像を算出できる様に構成されている複数の車載カメラ12,14,16,18を包含している。車載カメラ12,14,16,18は、好ましくは、車両の車両ボディに設けられている。特に、車載カメラ12,14,16,18は、車両の異なる側に配置されている。
車載カメラ12,14,16,18は、理想的には、同一に構成されている。これらは、特に、同じセンサ、及び/又は、同じレンズを有している。車載カメラ12,14,16,18は、魚眼カメラとして構成されていることができる。車載カメラ12,14,16,18が、サラウンド・ビュー・システムのカメラであることは、有利である。
更に本発明に係る装置10は、制御装置20を包含している。制御装置20は、複数の個々のHDR画像を一枚の統合HDR画像に合成し、それを基に、LDR画像を算出する様に構成されている。加えて、本発明に係る装置10は、制御装置20によって算出されたLDR画像を出力する又は表示する表示ユニット22を包含していることもできる。
本発明は、上記実施例によって説明された。しかしながら、特許請求項に定義されている請求範囲を逸脱することなく、数多くの変更やヴァリエーションが可能であることは、言うまでも無いことである。尚、様々な実施例の組み合わせも可能である。
10 装置
12 第一車載カメラ
14 第二車載カメラ
16 第三車載カメラ
18 第四車載カメラ
20 制御装置
22 表示ユニット
S1-S4 方法ステップ
12 第一車載カメラ
14 第二車載カメラ
16 第三車載カメラ
18 第四車載カメラ
20 制御装置
22 表示ユニット
S1-S4 方法ステップ
Claims (10)
- 以下のステップを有することを特徴とする車両周辺部の画像を生成する方法:
- 特に、車両の車両ボディに配置されている複数の車載カメラ(12,14,16,18)を準備するステップ(S1)、
- 車載カメラ(12,14,16,18)の画像データ又は画像から、個々のHDR画像を算出する及び/又は生成するステップ(S2)、
- 複数の個々のHDR画像を一枚の統合HDR画像に合成するステップ(S3)、
- 統合HDR画像から、ダイナミックレンジの小さい画像、特に、LDR画像を算出するステップ(S4)。 - 個々のHDR画像が、制御装置(20)に転送され、
制御装置(20)が、複数の個別のHDR画像から統合HDR画像を作成することを特徴とする請求項1に記載の方法。 - 個々のHDR画像の算出が、それぞれ、個々の車載カメラ(12,14,16,18)内において実施されることを特徴とする請求項1又は2の何れか一項に記載の方法。
- 各々の車載カメラ(12,14,16,18)が、画像毎に複数回露光することを特徴とする先行請求項のうち一項に記載の方法。
- 統合LDR画像が、表示ユニット(22)に表示されることを特徴とする先行請求項のうち一項に記載の方法。
- サラウンド・ビュー・システムのカメラ(12,14,16,18)が、車両周辺部の画像データを供給することを特徴とする先行請求項のうち一項に記載の方法。
- 以下を有することを特徴とする車両周辺部の画像を生成する装置(10):
- 特に、車両の車両ボディに配置され、且つ、HDR画像を生成する、又は、HDR画像を算出させることができる車載カメラ(12,14,16,18)、並びに、
- 複数の個々のHDR画像を一枚の統合HDR画像に合成し、それを基に、LDR画像を算出する様に構成されている制御装置(20)。 - 制御装置(20)によって算出されたLDR画像を出力する又は表示する表示ユニット(22)を特徴とする請求項7に記載の装置(10)。
- 車載カメラ(12,14,16,18)が、同一の構成であることを特徴とする請求項7又は8のうち何れか一項に記載の装置(10)。
- 車載カメラ(12,14,16,18)が丁度四台であり、特に、一台の車載カメラが、車両ボディの前方に、一台の車載カメラが後方に、一台の車載カメラが、右側に、そして、一台の車載カメラが左側に配置されていることを特徴とする請求項7から9の何れか一項に記載の装置(10)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019206581.3 | 2019-05-08 | ||
DE102019206581.3A DE102019206581A1 (de) | 2019-05-08 | 2019-05-08 | Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung |
PCT/DE2020/200030 WO2020224730A1 (de) | 2019-05-08 | 2020-05-05 | Verfahren zur erzeugung eines bildes einer fahrzeugumgebung und vorrichtung zur erzeugung eines bildes einer fahrzeugumgebung |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022529657A JP2022529657A (ja) | 2022-06-23 |
JPWO2020224730A5 true JPWO2020224730A5 (ja) | 2023-02-28 |
Family
ID=70779404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021561823A Pending JP2022529657A (ja) | 2019-05-08 | 2020-05-05 | 車両周辺部の画像を生成するための方法ならびに車両周辺部の画像を生成するための装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220215668A1 (ja) |
EP (1) | EP3967030A1 (ja) |
JP (1) | JP2022529657A (ja) |
CN (1) | CN113812144A (ja) |
DE (1) | DE102019206581A1 (ja) |
WO (1) | WO2020224730A1 (ja) |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4325642B2 (ja) * | 2006-05-31 | 2009-09-02 | ソニー株式会社 | 移動体カメラシステム |
JP4869795B2 (ja) * | 2006-06-06 | 2012-02-08 | 富士フイルム株式会社 | 撮像制御装置、撮像システム、および撮像制御方法 |
JP5182042B2 (ja) * | 2008-11-28 | 2013-04-10 | 富士通株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP5409577B2 (ja) * | 2010-10-05 | 2014-02-05 | 株式会社ソニー・コンピュータエンタテインメント | パノラマ画像生成装置およびパノラマ画像生成方法 |
CN105469375B (zh) * | 2014-08-28 | 2021-09-07 | 北京三星通信技术研究有限公司 | 处理高动态范围全景图的方法和装置 |
DE102014118314A1 (de) * | 2014-12-10 | 2016-06-16 | Connaught Electronics Ltd. | Verfahren zum Anpassen einer Helligkeit eines Hochkontrastbilds, Kamerasystem und Kraftfahrzeug |
US9418408B1 (en) * | 2015-07-22 | 2016-08-16 | Rockwell Collins, Inc. | Dynamic range optimization |
US20170090194A1 (en) * | 2015-09-24 | 2017-03-30 | Halo Augmented Reality Ltd. | System And Method For Subtractive Augmented Reality And Display Contrast Enhancement |
WO2017205492A1 (en) * | 2016-05-25 | 2017-11-30 | Gopro, Inc. | Three-dimensional noise reduction |
AU2017308749A1 (en) * | 2016-08-09 | 2019-02-21 | Contrast, Inc. | Real-time HDR video for vehicle control |
CN109923580B (zh) * | 2016-11-04 | 2023-12-15 | 特利丹菲力尔有限责任公司 | 用于热视频的动态范围压缩 |
JP7122729B2 (ja) * | 2017-05-19 | 2022-08-22 | 株式会社ユピテル | ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム |
EP3685346A4 (en) * | 2017-11-09 | 2020-09-02 | SZ DJI Technology Co., Ltd. | SYSTEM AND PROCEDURE FOR ADJUSTING THE DYNAMIC IMAGE AREA |
EP3672267A1 (en) * | 2018-12-20 | 2020-06-24 | InterDigital VC Holdings, Inc. | Methods for processing audio and/or video contents and corresponding signal, devices, electronic assembly, system, computer readable program products and computer readable storage media |
US11150664B2 (en) * | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US10956755B2 (en) * | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
-
2019
- 2019-05-08 DE DE102019206581.3A patent/DE102019206581A1/de active Pending
-
2020
- 2020-05-05 CN CN202080033410.XA patent/CN113812144A/zh active Pending
- 2020-05-05 WO PCT/DE2020/200030 patent/WO2020224730A1/de unknown
- 2020-05-05 JP JP2021561823A patent/JP2022529657A/ja active Pending
- 2020-05-05 EP EP20727143.8A patent/EP3967030A1/de active Pending
- 2020-05-05 US US17/595,073 patent/US20220215668A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11303806B2 (en) | Three dimensional rendering for surround view using predetermined viewpoint lookup tables | |
CN109690628B (zh) | 图像处理设备 | |
JP4681432B2 (ja) | 車載周辺画像表示装置 | |
JP2009017020A (ja) | 画像処理装置及び表示画像生成方法 | |
KR101077584B1 (ko) | 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법 | |
JP2006048451A (ja) | 周辺監視装置および俯瞰画像表示方法 | |
JP2008077628A (ja) | 画像処理装置並びに車両周辺視界支援装置及び方法 | |
WO2003075573A1 (fr) | Unite de commande de l'affichage d'images | |
JP2009081664A (ja) | 車両用周辺監視装置および映像表示方法 | |
JP2002324235A (ja) | 車載カメラの画像合成表示方法及びその装置 | |
US10902622B2 (en) | Method and device for generating a view around a vehicle for a vehicle | |
JP2008149764A (ja) | 車両周辺監視装置 | |
JP4830380B2 (ja) | 車両周辺監視装置及び車両周辺監視方法 | |
JP5020792B2 (ja) | 合成画像生成装置および合成画像生成方法 | |
JPWO2020224730A5 (ja) | ||
JP2022529657A (ja) | 車両周辺部の画像を生成するための方法ならびに車両周辺部の画像を生成するための装置 | |
WO2019057807A1 (en) | HARMONIZING IMAGE NOISE IN A CAMERA DEVICE OF A MOTOR VEHICLE | |
JP2012065228A (ja) | 画像処理装置、画像表示システム及び画像表示方法 | |
CN109906602B (zh) | 图像匹配方法及装置 | |
KR20110130137A (ko) | 차량용 광각 영상 처리장치 및 그 방법 | |
KR20110088680A (ko) | 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치 | |
JP2021510221A (ja) | 仮想カメラを自動車両のルームミラーに向けてシフトすることにより周囲環境の表示を生成するための方法、ならびにカメラ装置 | |
JP2004147210A (ja) | 運転支援装置 | |
JP4251099B2 (ja) | 車両用周辺確認装置 | |
JPH10341374A (ja) | 画像処理方法及び画像処理装置 |