JP5697512B2 - 画像生成装置、画像表示システム及び画像表示装置 - Google Patents
画像生成装置、画像表示システム及び画像表示装置 Download PDFInfo
- Publication number
- JP5697512B2 JP5697512B2 JP2011079563A JP2011079563A JP5697512B2 JP 5697512 B2 JP5697512 B2 JP 5697512B2 JP 2011079563 A JP2011079563 A JP 2011079563A JP 2011079563 A JP2011079563 A JP 2011079563A JP 5697512 B2 JP5697512 B2 JP 5697512B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- display
- camera
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002131 composite material Substances 0.000 claims description 77
- 238000003860 storage Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 35
- 230000002093 peripheral effect Effects 0.000 description 30
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000005856 abnormality Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Description
<1−1.システム構成>
第1の実施の形態では、車載カメラが設置されたサイドミラーが格納された場合に、サイドミラーの展開時とは異なる表示処理を行うことで、より適切な周辺画像をユーザに提供する。まず始めに、周辺画像の処理が行われる画像表示システムの概要について説明する。
尚、切り出しの設定(切り出し範囲の設定)や拡大縮小設定等は、装置(カメラ)取付時に行われるキャリブレーション(調整・設定作業)時においてそれら調整値・設定値等が記憶され、これらの値を用いて、上述の調整処理等の画像処理が行われる。
次に、画像生成部3の合成画像生成部34が、撮影部5で得られた複数の撮影画像P1〜P4に基づいて車両9の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図4は、合成画像を生成する手法を説明するための図である。
次に、画像表示システム120の動作モードについて説明する。図5は、画像表示システム120の動作モードの遷移を示す図である。画像表示システム120は、ナビモードM0、フロントモードM1、サイドモードM2、及び、バックモードM3の3つの動作モードを有している。これらの動作モードは、ドライバの車両9への操作や車両9の走行状態に応じて制御部1の制御により切り替えられるようになっている。
次に、サイドミラーが格納された場合の画像表示システム120の処理について説明する。サイドカメラ52の撮影画像は、合成画像CPaの生成やサイド画像SP2に使用されている。これらの画像は、サイドミラーが展開している状態で撮影されることを前提にしている。このため、サイドミラーが格納されると、画像表示システム120は、合成画像CPa及びサイド画像SP2を正常に表示することができない。
また、俯瞰合成画像においては、合成処理の関係で車体近傍にマージンが発生するため、このマージンにより車体に近い部分では障害物を確認することができないという可能性がある。
また、俯瞰画像ではなく、サイド画像SR1を表示するので、俯瞰画像におけるマージンの問題を発生することを防ぐことができる。
<2−1.システム構成>
続いて第2の実施の形態について説明する。第2の実施の形態では、車載カメラ51〜53のいずれかが故障した場合に、車載カメラ51〜53が正常に画像を出力している場合とは異なる表示処理を行うことで、より適切な周辺画像をユーザに提供する。
続いて、図14を参照して、カメラ故障時における画像表示システム120の処理を説明する。なお、他の実施態様においては、下記のオペレーションBA〜BIの各オペレーションはステップであってもよい。
30 画像選択部
35 画像配置部
36 表示付加部
100 画像生成装置
120 画像表示システム
Claims (6)
- 車両の側方を撮影するカメラが配置されるサイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、サイドミラー格納時のサイドカメラからの撮影画像に写り込む範囲の中の車両側面の一部が映り込み、かつ、車両の側端、前端及び後端からそれぞれ第1の長さ、第2の長さ及び第3の長さだけ離れた位置まで含む矩形領域である第1領域の画像を選択し、前記状態判定部でサイドミラーが展開状態であると判定された場合に、サイドミラー展開時のサイドカメラからの撮影画像に写り込む範囲の中の車両側面の一部が映り込み、かつ、車両側面前後方向に沿って切り出した、前記第1領域と位置及び範囲が異なる第2領域の画像を選択する画像選択部と、
前記画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、
を備えることを特徴とする画像生成装置。 - 前記画像選択部は、サイドミラーが格納状態であると判定された場合に選択される前記第1領域の画像を回転させる回転処理を行うことを特徴とする請求項1に記載の画像生成装置。
- 前記画像生成部は、車両の前方を撮影するカメラからの撮影画像及び車両の後方を撮影するカメラからの撮影画像の少なくともいずれか一方と、前記画像選択部により選択される画像とを、同じ前記表示画像上に同時に配置することを特徴とする請求項1又は2のいずれか一項に記載の画像生成装置。
- 前記表示画像が前記第1領域の画像を含む旨の表示を前記表示画像に加える表示付加部を備えることを特徴とする請求項1〜3のいずれか一項に記載の画像生成装置。
- 車両のサイドミラーに配置されて車両の側方を撮影するカメラと、
サイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、サイドミラー格納時のサイドカメラからの撮影画像に写り込む範囲の中の車両側面の一部が映り込み、かつ、車両の側端、前端及び後端からそれぞれ第1の長さ、第2の長さ及び第3の長さだけ離れた位置まで含む矩形領域である第1領域の画像を選択し、前記状態判定部でサイドミラーが展開状態であると判定された場合に、サイドミラー展開時のサイドカメラからの撮影画像に写り込む範囲の中の車両側面の一部が映り込み、かつ、車両側面前後方向に沿って切り出した、前記第1領域と位置及び範囲が異なる第2領域の画像を選択する画像選択部と、
前記画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、
前記画像生成部から出力される画像を表示する表示部と、
を備える画像表示システム。 - サイドミラーに設置されたサイドカメラを含む車両に配置された複数のカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、
前記合成画像を表示画面に表示する表示手段と、
サイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、サイドミラー格納時のサイドカメラからの撮影画像に写り込む範囲の中の車両側面の一部が映り込み、かつ、車両の側端、前端及び後端からそれぞれ第1の長さ、第2の長さ及び第3の長さだけ離れた位置まで含む矩形領域の画像を前記表示手段に表示する表示制御手段と、を備えたことを特徴とする画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011079563A JP5697512B2 (ja) | 2011-03-31 | 2011-03-31 | 画像生成装置、画像表示システム及び画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011079563A JP5697512B2 (ja) | 2011-03-31 | 2011-03-31 | 画像生成装置、画像表示システム及び画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012214083A JP2012214083A (ja) | 2012-11-08 |
JP5697512B2 true JP5697512B2 (ja) | 2015-04-08 |
Family
ID=47267351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011079563A Active JP5697512B2 (ja) | 2011-03-31 | 2011-03-31 | 画像生成装置、画像表示システム及び画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5697512B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5991648B2 (ja) * | 2013-03-28 | 2016-09-14 | 株式会社デンソー | 車両用表示制御装置 |
JP6432206B2 (ja) * | 2014-08-15 | 2018-12-05 | 株式会社ソシオネクスト | 画像撮影装置の故障カメラ検出方法および故障カメラ検出プログラム、並びに、画像処理装置 |
US9449390B1 (en) | 2015-05-19 | 2016-09-20 | Ford Global Technologies, Llc | Detecting an extended side view mirror |
JP6261542B2 (ja) * | 2015-06-10 | 2018-01-17 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
JP6694695B2 (ja) * | 2015-10-29 | 2020-05-20 | 株式会社デンソーテン | 画像処理装置、及び、画像処理方法 |
JP6758708B2 (ja) * | 2016-09-16 | 2020-09-23 | 株式会社コムテック | 映像録画装置 |
US10220785B2 (en) * | 2017-03-24 | 2019-03-05 | Ford Global Technologies, Llc | Controlling side-view mirrors in autonomous vehicles |
US10220786B2 (en) * | 2017-03-24 | 2019-03-05 | Ford Global Technologies, Llc | Controlling side-view mirrors in autonomous vehicles |
JP6924079B2 (ja) * | 2017-06-12 | 2021-08-25 | キヤノン株式会社 | 情報処理装置及び方法及びプログラム |
JP2020086491A (ja) * | 2018-11-15 | 2020-06-04 | 株式会社リコー | 情報処理装置、情報処理システム及び情報処理方法 |
JP7279566B2 (ja) * | 2019-07-26 | 2023-05-23 | トヨタ自動車株式会社 | 車両用電子ミラーシステム |
KR102419828B1 (ko) * | 2021-02-05 | 2022-07-13 | 주식회사 에스엠알오토모티브모듈코리아 | 격납식 cms 장치 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4274785B2 (ja) * | 2002-12-12 | 2009-06-10 | パナソニック株式会社 | 運転支援画像生成装置 |
JP2007022176A (ja) * | 2005-07-13 | 2007-02-01 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2010042727A (ja) * | 2008-08-11 | 2010-02-25 | Nissan Motor Co Ltd | 車両用周囲状況提示装置 |
-
2011
- 2011-03-31 JP JP2011079563A patent/JP5697512B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012214083A (ja) | 2012-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5697512B2 (ja) | 画像生成装置、画像表示システム及び画像表示装置 | |
JP5087051B2 (ja) | 画像生成装置及び画像表示システム | |
US9706175B2 (en) | Image processing device, image processing system, and image processing method | |
JP5302227B2 (ja) | 画像処理装置、画像処理システム、および、画像処理方法 | |
JP5765995B2 (ja) | 画像表示システム | |
JP5548002B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
JP5341789B2 (ja) | パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム | |
JP4254887B2 (ja) | 車両用画像表示システム | |
JP5858650B2 (ja) | 画像生成装置、画像表示システム、及び、画像生成方法 | |
JP5743652B2 (ja) | 画像表示システム、画像生成装置及び画像生成方法 | |
JP5813944B2 (ja) | 画像表示システム、画像処理装置及び画像表示方法 | |
WO2010137685A1 (ja) | 画像生成装置及び画像表示システム | |
US20120249796A1 (en) | Image processing device, image processing system, and image processing method | |
JP2005110202A (ja) | カメラ装置及び車両周辺監視装置 | |
JP5658507B2 (ja) | 画像表示システム、画像生成装置、及び、画像表示方法 | |
JP2002019556A (ja) | 監視システム | |
JP5914114B2 (ja) | 駐車支援装置、及び駐車支援方法 | |
JP2005186648A (ja) | 車両用周囲視認装置および表示制御装置 | |
JP6073433B2 (ja) | 画像表示システム、画像処理装置及び画像表示方法 | |
JP2012138876A (ja) | 画像生成装置、画像表示システム及び画像表示方法 | |
JP2012046124A (ja) | 画像表示システム、画像処理装置、および、画像表示方法 | |
JP2013225903A (ja) | 画像処理装置、画像処理システム、および、画像処理方法 | |
JP5677168B2 (ja) | 画像表示システム、画像生成装置及び画像生成方法 | |
JP2004235986A (ja) | 監視システム | |
JP5466743B2 (ja) | 画像生成装置及び画像表示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140408 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5697512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |