JP7077131B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP7077131B2 JP7077131B2 JP2018094220A JP2018094220A JP7077131B2 JP 7077131 B2 JP7077131 B2 JP 7077131B2 JP 2018094220 A JP2018094220 A JP 2018094220A JP 2018094220 A JP2018094220 A JP 2018094220A JP 7077131 B2 JP7077131 B2 JP 7077131B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- range
- side door
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
以下、本発明の第1実施形態を図面に基づいて説明する。図1は、本実施形態に係る画像処理装置1の機能構成例を示すブロック図である。画像処理装置1は、運転手を含むユーザーが車両の右サイドミラーMRまたは左サイドミラーMLを視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示装置2に表示する装置である。
まず、右サイドドアDRが閉状態の場合に画像処理部12が実行する表示画像生成処理について説明する。この場合のリアカメラ3のリアカメラ撮影範囲HBと右サイドカメラ4の閉状態時撮影範囲HRとの関係は図2を用いて説明した通りである。
次に、右サイドドアDRが開状態の場合に、画像処理部12が実行する表示画像生成処理について説明する。右サイドドアDRが開状態の場合、現時点の右サイドカメラ4の撮影範囲と、閉状態時撮影範囲HR(右サイドドアDRが閉状態のときの右サイドカメラ4の撮影範囲)とは、以下の2つの関係の何れかとなる。以下、右サイドドアDRが開状態の場合の現時点の右サイドカメラ4の撮影範囲を「開状態時撮影範囲HQ」と表現し、閉状態時撮影範囲HRと区別する。開状態時撮影範囲HQは、右サイドドアDRの開度に応じて態様(車両に対する相対的な態様)が変化する。
次に、第2実施形態について説明する。以下の第2実施形態の説明では、第1実施形態と同一の構成要素については、同一の符号を付し、その詳細な説明を省略する。
2 表示装置
3 リアカメラ
4,4A 右サイドカメラ(サイドカメラ)
5,5A 左サイドカメラ(サイドカメラ)
10 撮影画像取得部
11 サイドドア状態検出部
12 画像処理部
13 表示制御部
Claims (2)
- 車両の後部に設けられ、前記車両の後方を撮影するリアカメラのリアカメラ撮影画像、および、前記車両の側面部に設けられ、前記車両のサイドドアが閉状態のときは、その撮影範囲に前記車両の車体による死角が含まれ、かつ、その撮影範囲が前記リアカメラの撮影範囲の一部と重複した状態で前記車両の後方に向かう成分を含む方向を撮影する一方、前記サイドドアが開状態のときは、前記サイドドアの開度に応じて、撮影方向が変わるか、または、前記サイドドアにより撮影範囲の少なくとも一部が遮蔽されるサイドカメラのサイドカメラ撮影画像を取得する撮影画像取得部と、
前記サイドドアの開状態/閉状態を検出すると共に、前記サイドドアが開状態のときは前記開度を検出するサイドドア状態検出部と、
前記サイドドア状態検出部により前記サイドドアの閉状態が検出されているときは、前記サイドカメラの前記死角が前記リアカメラの撮影結果に基づいて補われるように、前記撮影画像取得部により取得された前記リアカメラ撮影画像に基づく画像と、前記撮影画像取得部により取得された前記サイドカメラ撮影画像に基づく画像とを一定の態様で合成することによって、前記車体により遮蔽されていない領域にはユーザーが車両のサイドミラーを視認したときに確認できる風景と同等の風景が前記サイドカメラの撮影結果に基づいて記録され、かつ、前記車体により遮蔽された領域にはサイドミラーを視認したときには前記車体により遮蔽されて確認できない部分の風景が前記リアカメラの撮影結果に基づいて記録された表示画像を生成する一方、
前記サイドドア状態検出部により前記サイドドアの開状態が検出されているときにおいて、前記サイドドアの開度に応じて前記サイドカメラの撮影方向が変わる場合には、前記サイドドアが閉状態のときの前記サイドカメラの撮影範囲と、前記サイドドア状態検出部により検出された前記開度で開く前記サイドカメラの撮影範囲とで重複する範囲のうち、前記サイドカメラの死角であった部分を除いた範囲である第1範囲に対応する領域が、前記サイドカメラ撮影画像に基づく画像によって形成され、かつ、前記サイドドアが閉状態のときの前記サイドカメラの撮影範囲から前記第1範囲を除いた範囲である第2範囲のうち、前記サイドカメラの死角であった部分を含み、前記リアカメラの撮影結果に基づいて補完可能な部分に対応する領域が、前記リアカメラ撮影画像に基づく画像によって形成されることによって、前記サイドドアが閉状態のときの前記表示画像における前記車体により遮蔽されていない領域において、前記サイドカメラの撮影結果を利用できる範囲については前記サイドカメラの撮影結果が利用される一方、前記サイドカメラの撮影結果を利用できない範囲についてのみ前記リアカメラの撮影結果が利用された前記表示画像を生成し、
前記サイドドアの開度に応じて撮影範囲の少なくとも一部が前記サイドドアにより遮蔽される場合には、前記サイドカメラの撮影範囲のうち、前記サイドドアで遮蔽されない部分に対応する領域が、前記サイドカメラ撮影画像に基づく画像によって形成され、かつ、前記サイドドアで遮蔽される部分であって、前記リアカメラの撮影結果に基づいて補完可能な部分に対応する領域が、前記リアカメラ撮影画像に基づく画像によって形成されることによって、前記サイドドアが閉状態のときの前記表示画像における前記車体により遮蔽されていない領域において、前記サイドカメラの撮影結果を利用できる範囲については前記サイドカメラの撮影結果が利用される一方、前記サイドカメラの撮影結果を利用できない範囲についてのみ前記リアカメラの撮影結果が利用された前記表示画像を生成する画像処理部と、
前記画像処理部により生成された前記表示画像に基づく画面を表示装置に表示する表示制御部と、
を備えることを特徴とする画像処理装置。 - サイドドアの開状態/閉状態を検出すると共に、前記サイドドアが開状態のときは開度を検出するサイドドア状態検出部を有する画像処理装置による画像処理方法であって、
前記画像処理装置の撮影画像取得部が、車両の後部に設けられ、前記車両の後方を撮影するリアカメラのリアカメラ撮影画像、および、前記車両の側面部に設けられ、前記車両のサイドドアが閉状態のときは、その撮影範囲に前記車両の車体による死角が含まれ、かつ、その撮影範囲が前記リアカメラの撮影範囲の一部と重複した状態で前記車両の後方に向かう成分を含む方向を撮影する一方、前記サイドドアが開状態のときは、前記サイドドアの開度に応じて、撮影方向が変わるか、または、前記サイドドアにより撮影範囲の少なくとも一部が遮蔽されるサイドカメラのサイドカメラ撮影画像を取得する第1ステップと、
前記画像処理装置の画像処理部が、前記サイドドア状態検出部により前記サイドドアの閉状態が検出されているときは、前記サイドカメラの前記死角が前記リアカメラの撮影結果に基づいて補われるように、前記撮影画像取得部により取得された前記リアカメラ撮影画像に基づく画像と、前記撮影画像取得部により取得された前記サイドカメラ撮影画像に基づく画像とを一定の態様で合成することによって、前記車体により遮蔽されていない領域にはユーザーが車両のサイドミラーを視認したときに確認できる風景と同等の風景が前記サイドカメラの撮影結果に基づいて記録され、かつ、前記車体により遮蔽された領域にはサイドミラーを視認したときには前記車体により遮蔽されて確認できない部分の風景が前記リアカメラの撮影結果に基づいて記録された表示画像を生成する一方、
前記サイドドア状態検出部により前記サイドドアの開状態が検出されているときにおいて、前記サイドドアの開度に応じて前記サイドカメラの撮影方向が変わる場合には、前記サイドドアが閉状態のときの前記サイドカメラの撮影範囲と、前記サイドドア状態検出部により検出された前記開度で開く前記サイドカメラの撮影範囲とで重複する範囲のうち、前記サイドカメラの死角であった部分を除いた範囲である第1範囲に対応する領域が、前記サイドカメラ撮影画像に基づく画像によって形成され、かつ、前記サイドドアが閉状態のときの前記サイドカメラの撮影範囲から前記第1範囲を除いた範囲である第2範囲のうち、前記サイドカメラの死角であった部分を含み、前記リアカメラの撮影結果に基づいて補完可能な部分に対応する領域が、前記リアカメラ撮影画像に基づく画像によって形成されることによって、前記サイドドアが閉状態のときの前記表示画像における前記車体により遮蔽されていない領域において、前記サイドカメラの撮影結果を利用できる範囲については前記サイドカメラの撮影結果が利用される一方、前記サイドカメラの撮影結果を利用できない範囲についてのみ前記リアカメラの撮影結果が利用された前記表示画像を生成し、
前記サイドドアの開度に応じて撮影範囲の少なくとも一部が前記サイドドアにより遮蔽される場合には、前記サイドカメラの撮影範囲のうち、前記サイドドアで遮蔽されない部分に対応する領域が、前記サイドカメラ撮影画像に基づく画像によって形成され、かつ、前記サイドドアで遮蔽される部分であって、前記リアカメラの撮影結果に基づいて補完可能な部分に対応する領域が、前記リアカメラ撮影画像に基づく画像によって形成されることによって、前記サイドドアが閉状態のときの前記表示画像における前記車体により遮蔽されていない領域において、前記サイドカメラの撮影結果を利用できる範囲については前記サイドカメラの撮影結果が利用される一方、前記サイドカメラの撮影結果を利用できない範囲についてのみ前記リアカメラの撮影結果が利用された前記表示画像を生成する第2ステップと、
前記画像処理装置の表示制御部が、前記画像処理部により生成された前記表示画像に基づく画面を表示装置に表示する第3ステップと、
を含むことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018094220A JP7077131B2 (ja) | 2018-05-16 | 2018-05-16 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018094220A JP7077131B2 (ja) | 2018-05-16 | 2018-05-16 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019199151A JP2019199151A (ja) | 2019-11-21 |
JP7077131B2 true JP7077131B2 (ja) | 2022-05-30 |
Family
ID=68611693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018094220A Active JP7077131B2 (ja) | 2018-05-16 | 2018-05-16 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7077131B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004048621A (ja) | 2002-07-16 | 2004-02-12 | Nissan Motor Co Ltd | 画像合成装置および画像合成方法 |
JP2007235528A (ja) | 2006-03-01 | 2007-09-13 | Toyota Motor Corp | 画像提供装置 |
JP2010287163A (ja) | 2009-06-15 | 2010-12-24 | Alpine Electronics Inc | 車載用画像表示装置および画像のトリミング方法 |
WO2014198803A1 (en) | 2013-06-14 | 2014-12-18 | Jaguar Land Rover Limited | Door protection system |
-
2018
- 2018-05-16 JP JP2018094220A patent/JP7077131B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004048621A (ja) | 2002-07-16 | 2004-02-12 | Nissan Motor Co Ltd | 画像合成装置および画像合成方法 |
JP2007235528A (ja) | 2006-03-01 | 2007-09-13 | Toyota Motor Corp | 画像提供装置 |
JP2010287163A (ja) | 2009-06-15 | 2010-12-24 | Alpine Electronics Inc | 車載用画像表示装置および画像のトリミング方法 |
WO2014198803A1 (en) | 2013-06-14 | 2014-12-18 | Jaguar Land Rover Limited | Door protection system |
Also Published As
Publication number | Publication date |
---|---|
JP2019199151A (ja) | 2019-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5120880B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5835383B2 (ja) | 情報処理方法、情報処理装置、およびプログラム | |
US11336839B2 (en) | Image display apparatus | |
JP5835384B2 (ja) | 情報処理方法、情報処理装置、およびプログラム | |
JP2009524171A (ja) | 複数の画像を結合して鳥瞰図画像にする方法 | |
JP7069692B2 (ja) | 画像表示装置 | |
JP7296374B2 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
JP2008141649A (ja) | 車両周辺監視装置 | |
JP2022547531A (ja) | センサフュージョンに基づく知覚的に向上したサラウンドビュー | |
JP6890288B2 (ja) | 画像処理装置、画像表示システムおよび画像処理方法 | |
JP6350695B2 (ja) | 装置、方法、およびプログラム | |
JP6700935B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP4823938B2 (ja) | 画面切り替え判定装置、車両周辺監視装置および画面切り替え判定方法 | |
JP7077131B2 (ja) | 画像処理装置および画像処理方法 | |
JP6439436B2 (ja) | 映像処理装置、及び車載映像処理システム | |
JP7029350B2 (ja) | 画像処理装置および画像処理方法 | |
JP6583486B2 (ja) | 情報処理方法、情報処理プログラムおよび情報処理装置 | |
JPWO2012066867A1 (ja) | 車両周辺撮影装置 | |
JP6128185B2 (ja) | 装置、方法、およびプログラム | |
JP2019204393A (ja) | 画像処理装置および画像処理方法 | |
JP2024513783A (ja) | カメラの制御方法 | |
JP6777208B2 (ja) | プログラム | |
WO2020255244A1 (ja) | 撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体 | |
JP2019211944A (ja) | 画像処理装置および画像処理方法 | |
JP2021062756A (ja) | 電子ミラー用表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220518 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7077131 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |