JP7027476B2 - 電子ミラーの映像合成装置及び映像合成方法 - Google Patents
電子ミラーの映像合成装置及び映像合成方法 Download PDFInfo
- Publication number
- JP7027476B2 JP7027476B2 JP2020068461A JP2020068461A JP7027476B2 JP 7027476 B2 JP7027476 B2 JP 7027476B2 JP 2020068461 A JP2020068461 A JP 2020068461A JP 2020068461 A JP2020068461 A JP 2020068461A JP 7027476 B2 JP7027476 B2 JP 7027476B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- camera
- projective
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims description 57
- 238000006243 chemical reaction Methods 0.000 claims description 53
- 230000009466 transformation Effects 0.000 claims description 24
- 230000004888 barrier function Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 14
- 238000012935 Averaging Methods 0.000 description 11
- 239000002131 composite material Substances 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007664 blowing Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Description
第1位置から、第1視野により前記車両の後方となる第1風景の第1映像を取得するリアカメラと、
前記第1位置よりも前記車両の前方となる第2位置から、前記第1風景の方向に向かって自車の側部である風景遮断物を一部に配置させた第2視野により、第2映像を取得するサイドカメラと、
前記第2映像に含まれる前記風景遮断物の映像を半透明化映像にする半透明化処理部と、
前記第2映像において前記半透明化映像の輪郭にラインを付加することができるエッジ処理部と、
前記第1映像の一部であって、前記サイドカメラの視点位置に射影変換されかつ前記第2映像の前記半透明化映像の部分に対応した射影変換映像を得る射影変換部と、
前記射影変換映像を前記第2映像の前記半透明化映像の部分に合成する合成部と、を備え、
前記射影変換映像は、
第1の前記射影変換部により、前記リアカメラの視点の映像が、前記車両の後方の遠方平面位置に基づいて前記サイドカメラの視点の映像に射影変換された第1射影変換映像の一部と、
第2の前記射影変換部により、前記リアカメラの視点の映像が、前記遠方平面位置よりも前記サイドカメラの撮影位置に近づいた地面位置に基づいて前記サイドカメラの視点の映像に射影変換された第2射影変換映像の一部を含み、
前記リアカメラ及び前記サイドカメラの水平ライン方向が左右方向であり、垂直ライン方向が上下方向とする場合、
前記半透明化映像の部分に対応した前記射影変換映像の上側領域が前記第1射影変換映像の前記一部であり、
前記半透明化映像の部分に対応した前記射影変換映像の下側領域が前記第2射影変換映像の前記一部であり、
さらに前記第1射影変換又は前記第2射影変換では、前記遠方平面位置及び前記地面位置が、前記車両の走行速度に応じた設定に応じて調整される、電子ミラーの映像合成装置が提供される。
図7において、(xi, yi, 1)と(ui, vi, 1)が既知であれば、行列成分h0-h7を求めることができる。
Claims (4)
- 車両に搭載されて車両の後方の映像を表示する電子ミラーの映像合成装置において、
第1位置から、第1視野により前記車両の後方となる第1風景の第1映像を取得するリアカメラと、
前記第1位置よりも前記車両の前方となる第2位置から、前記第1風景の方向に向かって自車の側部である風景遮断物を一部に配置させた第2視野により、第2映像を取得するサイドカメラと、
前記第2映像に含まれる前記風景遮断物の映像を半透明化映像にする半透明化処理部と、
前記第2映像において前記半透明化映像の輪郭にラインを付加することができるエッジ処理部と、
前記第1映像の一部であって、前記サイドカメラの視点位置に射影変換されかつ前記第2映像の前記半透明化映像の部分に対応した射影変換映像を得る射影変換部と、
前記射影変換映像を前記第2映像の前記半透明化映像の部分に合成する合成部と、を備え、
前記射影変換映像は、
第1の前記射影変換部により、前記リアカメラの視点の映像が、前記車両の後方の遠方平面位置に基づいて前記サイドカメラの視点の映像に射影変換された第1射影変換映像の一部と、
第2の前記射影変換部により、前記リアカメラの視点の映像が、前記遠方平面位置よりも前記サイドカメラの撮影位置に近づいた地面位置に基づいて前記サイドカメラの視点の映像に射影変換された第2射影変換映像の一部を含み、
前記リアカメラ及び前記サイドカメラの水平ライン方向が左右方向であり、垂直ライン方向が上下方向とする場合、
前記半透明化映像の部分に対応した前記射影変換映像の上側領域が前記第1射影変換映像の前記一部であり、
前記半透明化映像の部分に対応した前記射影変換映像の下側領域が前記第2射影変換映像の前記一部であり、
さらに前記第1射影変換又は前記第2射影変換では、前記遠方平面位置及び前記地面位置が、前記車両の走行速度に応じた設定に応じて調整される、
電子ミラーの映像合成装置。 - さらに前記ラインの太さ、色、濃度の何れかを変更する手段を備える、請求項1記載の
電子ミラーの映像合成装置。 - 車両に搭載されて車両の後方の映像を表示する電子ミラーにおいて、第1位置から、第1視野により前記車両の後方となる第1風景の第1映像を取得するリアカメラと、前記第1位置よりも前記車両の前方となる第2位置から、前記第1風景の方向に向かって自車の側部である風景遮断物を一部に配置させた第2視野により、第2映像を取得するサイドカメラと、前記リアカメラ及び前記サイドカメラからの前記第1映像及び前記第2映像を処理する映像処理装置を用いる電子ミラーの映像合成方法において、
前記第2映像に含まれる前記風景遮断物の映像を半透明化映像にし、
前記第2映像において前記半透明化映像の輪郭にラインを付加し、
前記第1映像の一部を、前記サイドカメラの視点位置に射影変換して、射影変換映像を生成し、この射影変換映像を前記第2映像の前記半透明化映像の部分に合成する方法であり、
前記射影変換映像としては、
第1射影変換部により、前記リアカメラの視点の映像を前記車両の後方の遠方平面位置に基づいて前記サイドカメラの視点の映像に射影変換した第1射影変換映像の一部を有し、
また第2射影変換部により、前記リアカメラの視点の映像を前記遠方平面位置よりも前記サイドカメラの撮影位置に近づいた地面位置に基づいて前記サイドカメラの視点の映像に射影変換した第2射影変換映像の一部を有し、
前記リアカメラ及び前記サイドカメラの水平ライン方向が左右方向であり、垂直ライン方向が上下方向とする場合、
前記半透明化映像の部分に対応した前記射影変換映像の上側領域が前記第1射影変換映像の前記一部であり、
前記半透明化映像の部分に対応した前記射影変換映像の下側領域が前記第2射影変換映像の前記一部であり、
さらに前記第1射影変換又は前記第2射影変換では、前記遠方平面位置及び前記地面位置が、前記車両の走行速度に応じた設定に応じて調整される、
電子ミラーの映像合成方法。 - さらに前記ラインの太さ、色、濃度の何れかを変更可能としている、請求項3記載の電子ミラーの映像合成方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068461A JP7027476B2 (ja) | 2020-04-06 | 2020-04-06 | 電子ミラーの映像合成装置及び映像合成方法 |
JP2022014222A JP7348323B2 (ja) | 2020-04-06 | 2022-02-01 | 電子ミラーの映像合成装置及び映像合成方法 |
JP2023143801A JP2023164507A (ja) | 2020-04-06 | 2023-09-05 | 電子ミラーの映像合成装置及び映像合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068461A JP7027476B2 (ja) | 2020-04-06 | 2020-04-06 | 電子ミラーの映像合成装置及び映像合成方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017008584A Division JP2018117320A (ja) | 2017-01-20 | 2017-01-20 | 電子ミラーの映像合成装置及び映像合成方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022014222A Division JP7348323B2 (ja) | 2020-04-06 | 2022-02-01 | 電子ミラーの映像合成装置及び映像合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020114018A JP2020114018A (ja) | 2020-07-27 |
JP7027476B2 true JP7027476B2 (ja) | 2022-03-01 |
Family
ID=71665993
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020068461A Active JP7027476B2 (ja) | 2020-04-06 | 2020-04-06 | 電子ミラーの映像合成装置及び映像合成方法 |
JP2022014222A Active JP7348323B2 (ja) | 2020-04-06 | 2022-02-01 | 電子ミラーの映像合成装置及び映像合成方法 |
JP2023143801A Pending JP2023164507A (ja) | 2020-04-06 | 2023-09-05 | 電子ミラーの映像合成装置及び映像合成方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022014222A Active JP7348323B2 (ja) | 2020-04-06 | 2022-02-01 | 電子ミラーの映像合成装置及び映像合成方法 |
JP2023143801A Pending JP2023164507A (ja) | 2020-04-06 | 2023-09-05 | 電子ミラーの映像合成装置及び映像合成方法 |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP7027476B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7314885B2 (ja) * | 2020-09-01 | 2023-07-26 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008083786A (ja) | 2006-09-26 | 2008-04-10 | Clarion Co Ltd | 画像生成装置および画像生成方法 |
JP2010149847A (ja) | 2009-12-25 | 2010-07-08 | Fujitsu Ten Ltd | 運転支援装置 |
JP2013124467A (ja) | 2011-12-13 | 2013-06-24 | Sumitomo (Shi) Construction Machinery Co Ltd | 建設機械の周囲画像表示装置及び周囲画像表示方法 |
JP2014116756A (ja) | 2012-12-07 | 2014-06-26 | Toyota Motor Corp | 周辺監視システム |
JP2016175586A (ja) | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | 車両周辺監視装置、車両周辺監視方法、及びプログラム |
-
2020
- 2020-04-06 JP JP2020068461A patent/JP7027476B2/ja active Active
-
2022
- 2022-02-01 JP JP2022014222A patent/JP7348323B2/ja active Active
-
2023
- 2023-09-05 JP JP2023143801A patent/JP2023164507A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008083786A (ja) | 2006-09-26 | 2008-04-10 | Clarion Co Ltd | 画像生成装置および画像生成方法 |
JP2010149847A (ja) | 2009-12-25 | 2010-07-08 | Fujitsu Ten Ltd | 運転支援装置 |
JP2013124467A (ja) | 2011-12-13 | 2013-06-24 | Sumitomo (Shi) Construction Machinery Co Ltd | 建設機械の周囲画像表示装置及び周囲画像表示方法 |
JP2014116756A (ja) | 2012-12-07 | 2014-06-26 | Toyota Motor Corp | 周辺監視システム |
JP2016175586A (ja) | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | 車両周辺監視装置、車両周辺監視方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7348323B2 (ja) | 2023-09-20 |
JP2020114018A (ja) | 2020-07-27 |
JP2023164507A (ja) | 2023-11-10 |
JP2022048281A (ja) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018117320A (ja) | 電子ミラーの映像合成装置及び映像合成方法 | |
US11303806B2 (en) | Three dimensional rendering for surround view using predetermined viewpoint lookup tables | |
JP3300341B2 (ja) | 監視システムおよびカメラ調整方法 | |
JP5347257B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
JP5209578B2 (ja) | 車両用画像表示装置 | |
JP2009524171A (ja) | 複数の画像を結合して鳥瞰図画像にする方法 | |
JP2010095086A (ja) | 車両用表示装置および表示方法 | |
JP4606322B2 (ja) | 車両運転支援装置 | |
CA2369648A1 (en) | Image processing device and monitoring system | |
JP5516998B2 (ja) | 画像生成装置 | |
JP2003255925A (ja) | 画像表示制御装置 | |
JP2009105660A (ja) | 車載用撮像装置 | |
JP2023164507A (ja) | 電子ミラーの映像合成装置及び映像合成方法 | |
JP5271186B2 (ja) | 車両用画像表示装置 | |
JP2005053296A (ja) | 車両周辺視認装置 | |
JP5226621B2 (ja) | 車両用画像表示装置 | |
JP5338374B2 (ja) | 車両用表示装置及び車両用表示方法 | |
JP2003346189A (ja) | 車両用映像表示装置 | |
JP2019202584A (ja) | 画像処理装置および画像処理方法 | |
JP2012065228A (ja) | 画像処理装置、画像表示システム及び画像表示方法 | |
JP6785480B2 (ja) | 画像合成装置、及び、制御方法 | |
JP2007180719A (ja) | 車両運転支援装置 | |
JP2005223568A (ja) | 画像合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200406 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220216 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7027476 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |