JP6565693B2 - 車載カメラのレンズ異常検出装置 - Google Patents
車載カメラのレンズ異常検出装置 Download PDFInfo
- Publication number
- JP6565693B2 JP6565693B2 JP2016003752A JP2016003752A JP6565693B2 JP 6565693 B2 JP6565693 B2 JP 6565693B2 JP 2016003752 A JP2016003752 A JP 2016003752A JP 2016003752 A JP2016003752 A JP 2016003752A JP 6565693 B2 JP6565693 B2 JP 6565693B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- bird
- image
- abnormality
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005856 abnormality Effects 0.000 title claims description 88
- 238000001514 detection method Methods 0.000 title claims description 19
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 87
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 87
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 239000000203 mixture Substances 0.000 claims description 10
- 238000000034 method Methods 0.000 description 24
- 208000022517 Abnormality of the lens Diseases 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 239000000470 constituent Substances 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
そして、記憶部は、視点変換部にて生成された鳥瞰画像のうち、車両の走行方向前方に位置する前方鳥瞰画像を、履歴画像として、車両の走行に応じて順次記憶する。
この比較に用いる履歴画像は、後方鳥瞰画像に対応した位置の履歴画像であり、異常判定部は、各画像の差分が異常判定値以上であるとき、複数の車載カメラの一つにレンズ異常が生じていると判定する。
このように、本発明のレンズ異常検出装置によれば、複数の車載カメラで撮像された撮像画像から得られる鳥瞰画像同士を比較することで、車載カメラのレンズの異常を判定する。従って、本発明によれば、レンズ異常の判定対象となるカメラ同士を、撮像領域が重複するように配置しなくても、レンズ異常を判定することができる。
図1に示すように、本実施形態の撮像システム2は、車載カメラとしてのフロントカメラ4f及びリヤカメラ4rと、制御ユニット10と、表示部30とを備える。
撮像信号入力部12は、フロントカメラ4f及びリヤカメラ4rからの撮像信号を取り込み、撮像画像データとして画像処理部20に入力するためのものである。
画像合成部24は、視点変換部22で生成された最新の鳥瞰画像50f、50rと、メモリ16に記憶された履歴画像52と、を合成することで、車両40及びその周囲全体を上方から見た鳥瞰画像を生成する。
異常判定部26は、視点変換部22にて生成された鳥瞰画像50f、50rのうち、車両40の走行方向後方に位置する後方鳥瞰画像と、この後方鳥瞰画像に対応した位置の履歴画像とを比較し、その差分(換言すれば一致度)を算出する。
S160にて履歴画像に自車両40の影があると判断された場合にも、後述の処理でレンズ5f、5rの異常を誤判定してしまうことが考えられるので、当該レンズ異常判定処理を一旦終了する。また、S160にて履歴画像に自車両40の影はないと判断された場合には、S170に移行する。
S190では、画像合成部24としての表示制御処理の実行を禁止することで、自車両周囲の鳥瞰画像の生成、及び、その鳥瞰画像の表示制御部18への出力を禁止し、表示部30への鳥瞰画像の表示を中止させる。
例えば、上記実施形態では、車両40には、フロントカメラ4fとリヤカメラ4rとが搭載されているものとして説明したが、本発明は、車両40に複数のカメラが搭載されていれば、上記実施形態と同様にレンズ異常を判定できる。
この場合、フロントカメラと一方のサイドカメラとを使って、車両の走行方向前方側の前方鳥瞰画像と走行方向後方側の後方鳥瞰画像とを生成し、前方鳥瞰画像を履歴画像として残す。そして、後方鳥瞰画像と履歴画像とで位置が一致する画像領域同士を比較することで、レンズ異常を判定する。
Claims (3)
- 車両周囲を撮像するための複数の車載カメラ(4f、4r)と、
前記複数の車載カメラによる撮像画像をそれぞれ視点変換することで鳥瞰画像を生成する視点変換部(22、S110)と、
前記視点変換部にて生成された鳥瞰画像のうち、前記車両の走行方向前方に位置する前方鳥瞰画像を、履歴画像として、車両の走行に応じて順次記憶する記憶部(16、S130)と、
前記視点変換部にて生成された鳥瞰画像のうち、前記車両の走行方向後方に位置する後方鳥瞰画像と、前記記憶部に記憶され、当該後方鳥瞰画像に対応した履歴画像と、を比較し、各画像の差分が異常判定値以上であるとき、前記複数の車載カメラの一つにレンズ異常が生じていると判定する異常判定部(26、S160−S180)と、
前記視点変換部にて生成された鳥瞰画像に自車両の影が含まれているか否かを判定する影判定部(28、S140、S150)と、
を備え、前記異常判定部は、前記影判定部にて自車両の影が含まれていると判定された鳥瞰画像を利用して前記レンズ異常を判定するのを禁止する、ように構成されている車載カメラのレンズ異常検出装置。 - 前記視点変換部にて生成された鳥瞰画像と前記記憶部に記憶された履歴画像とを合成することで、自車両周囲の鳥瞰画像を生成する画像合成部(24)を備え、
前記異常判定部は、前記レンズ異常が生じていると判定すると前記画像合成部による画像合成を禁止する、ように構成されている請求項1に記載の車載カメラのレンズ異常検出装置。 - 前記異常判定部にて前記レンズ異常が生じていると判定されると、その旨を報知する異常報知部(32、S190)を備えている、請求項1又は請求項2に記載の車載カメラのレンズ異常検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016003752A JP6565693B2 (ja) | 2016-01-12 | 2016-01-12 | 車載カメラのレンズ異常検出装置 |
PCT/JP2017/000659 WO2017122688A1 (ja) | 2016-01-12 | 2017-01-11 | 車載カメラのレンズ異常検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016003752A JP6565693B2 (ja) | 2016-01-12 | 2016-01-12 | 車載カメラのレンズ異常検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017126835A JP2017126835A (ja) | 2017-07-20 |
JP6565693B2 true JP6565693B2 (ja) | 2019-08-28 |
Family
ID=59311246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016003752A Active JP6565693B2 (ja) | 2016-01-12 | 2016-01-12 | 車載カメラのレンズ異常検出装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6565693B2 (ja) |
WO (1) | WO2017122688A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7009209B2 (ja) * | 2017-12-28 | 2022-01-25 | 株式会社デンソーテン | カメラずれ検出装置、カメラずれ検出方法および異常検出装置 |
US20240010242A1 (en) * | 2020-11-11 | 2024-01-11 | Sony Semiconductor Solutions Corporation | Signal processing device and signal processing method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011188134A (ja) * | 2010-03-05 | 2011-09-22 | Panasonic Corp | 監視システム、その制御方法及び監視装置 |
JP6003226B2 (ja) * | 2012-05-23 | 2016-10-05 | 株式会社デンソー | 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム |
JP5994437B2 (ja) * | 2012-07-04 | 2016-09-21 | 株式会社デンソー | 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム |
-
2016
- 2016-01-12 JP JP2016003752A patent/JP6565693B2/ja active Active
-
2017
- 2017-01-11 WO PCT/JP2017/000659 patent/WO2017122688A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2017122688A1 (ja) | 2017-07-20 |
JP2017126835A (ja) | 2017-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5421072B2 (ja) | 接近物体検知システム | |
JP6137081B2 (ja) | 車載機器 | |
JP7077910B2 (ja) | 区画線検出装置及び区画線検出方法 | |
JP6376354B2 (ja) | 駐車支援システム | |
JP2013001366A (ja) | 駐車支援装置および駐車支援方法 | |
US20170028917A1 (en) | Driving assistance device and driving assistance method | |
WO2015186294A1 (ja) | 車載画像処理装置 | |
JP7270499B2 (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
JP6778620B2 (ja) | 区画線検出装置、区画線検出システム、及び区画線検出方法 | |
WO2015122124A1 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP2020068515A (ja) | 画像処理装置 | |
JP6565693B2 (ja) | 車載カメラのレンズ異常検出装置 | |
US10740909B2 (en) | Drive recorder | |
JP2020060899A (ja) | 車載カメラのキャリブレーション装置 | |
JP6635621B2 (ja) | 自動車用視覚システム及び視覚システムを制御する方法 | |
US20200151895A1 (en) | Image processing device and image processing method | |
JP6799030B2 (ja) | 画像認識装置、画像認識方法、及び駐車支援システム | |
US9827906B2 (en) | Image processing apparatus | |
JP6601336B2 (ja) | 区画線認識装置 | |
JP2007221199A (ja) | 車載カメラ表示装置及び画像処理装置 | |
JP2007327803A (ja) | 車両周辺監視装置 | |
JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
CN111989541A (zh) | 立体摄像机装置 | |
JP2008042759A (ja) | 画像処理装置 | |
JP5040851B2 (ja) | 脇見運転判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190715 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6565693 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |