JP7414486B2 - 車載ステレオカメラ - Google Patents
車載ステレオカメラ Download PDFInfo
- Publication number
- JP7414486B2 JP7414486B2 JP2019210153A JP2019210153A JP7414486B2 JP 7414486 B2 JP7414486 B2 JP 7414486B2 JP 2019210153 A JP2019210153 A JP 2019210153A JP 2019210153 A JP2019210153 A JP 2019210153A JP 7414486 B2 JP7414486 B2 JP 7414486B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- brightness
- sum
- difference
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 54
- 239000005357 flat glass Substances 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000005494 condensation Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
以下、図面を用いて本発明の第1実施形態について説明する。
図1は、本発明の代表図であり、第1実施形態における車載ステレオカメラの構成図である。
図2に示すように、第一の画像201と第二の画像202の画面下部中央には、最小輝度計算用の処理領域211、212が設定されている。また、第一の画像201と第二の画像202には、部分的に窓ガラスの曇り領域fが存在している。窓ガラスの曇りが進行した場合、輝度コントラストは低くなる。したがって、所定領域内の最小輝度を監視することによって、窓ガラスが曇っているかどうかを判断することが可能となる。
曇りの進行や濃さ、発生する位置は、第一の画像201と第二の画像202で異なる。本実施形態では、第一の画像201と第二の画像202に対して同様の処理領域を定める。そして、処理領域毎にどの程度輝度和の差があるかを監視することによって窓ガラスが曇っているか否かを判断する。
撮像部101、101’で撮像された第一の画像201、第二の画像202に対して最小輝度計算用の処理領域211、212を決定する(S411)。この最小輝度計算用の処理領域211、212は、予め固定された位置に決めておいてもよく、また、道路の形状等に合わせて動的に設定してもよい。各処理領域211、212の先頭画素からそれぞれ注目画素を走査し、各々の最小輝度を更新する(S412)。求めた最小輝度と、過去の最小輝度を元に、時系列フィルタを適用した最小輝度b1、b2を求める(S413)。時定数は1.0とする。時系列フィルタを適用することにより、ノイズを曇りとして誤検知するのを防ぐことができる。時系列フィルタ処理は、最小輝度b1とb2の少なくとも一つに対して行う。
撮像部101、101’で撮像された第一の画像201と第二の画像202に対し、複数の処理領域(1)、(1)’~(9)、(9)’を決定する(S430)。本処理領域は、第一の画像201と第二の画像202で同じ物が映っている領域とする。第一の画像201と第二の画像202について処理領域毎に輝度和を求める(S431)。第一の画像201と第二の画像202の同じ処理領域同士で、S431で求めた輝度和の差を求める(S433)。S433で求めた輝度和の差の絶対値を取り、全処理領域の和を求めて輝度和の左右差とする(S435)。求めた輝度和の左右差と、過去の輝度和の左右差を元に、時系列フィルタを適用した輝度和の左右差cを求める(S437)。時定数は1.0とする。時系列フィルタを適用することにより、ノイズを曇りとして誤検知するのを防ぐことができる。
窓ガラスのワイパ払拭による汚れや付着物による影響を除外する為、車両のワイパが動作しているかどうかを判断する(S450)。なお、ワイパが動作しているかどうかを判断するのは、必ずしもこの順番である必要はなく、最小輝度を取得するステップ(S451)と輝度和の左右差を取得するステップ(S453)の前であれば良い。
図8は、第2実施形態における車載ステレオカメラの構成図である。
本実施形態において特徴的なことは、一時停止判定部102を追加したことである。
102・・・一時停止判定部
103・・・最小輝度計算部(処理部)
105・・・輝度和の左右差計算部(処理部)
107・・・窓曇り判定部(処理部)
201・・・第一の画像
202・・・第二の画像
211、212・・・最小輝度計算用の処理領域(道路領域)
b1・・・最小輝度(第1の最小値)
b2・・・最小輝度(第2の最小値)
f・・・窓ガラスの曇り領域
Claims (5)
- 右カメラ、及び左カメラと、
処理部と、を有し、
前記処理部は、第1の処理、第2の処理、第3の処理、第4の処理、第5の処理、第6の処理、及び第7の処理を行い、
前記第1の処理は、前記右カメラから得られる第一の画像と、前記左カメラから得られる第二の画像を取得する処理であり、
前記第2の処理は、前記第一の画像中の道路領域の画素から最も小さい輝度値である第1の最小値を取得する処理であり、
前記第3の処理は、前記第二の画像中の道路領域の画素から最も小さい輝度値である第2の最小値を取得する処理であり、
前記第4の処理は、前記第一の画像を複数の領域に分割し、分割された領域毎に各画素の輝度値の和を取得する処理であり、
前記第5の処理は、前記第二の画像を複数の領域に分割し、分割された領域毎に各画素の輝度値の和を取得する処理であり、
前記第6の処理は、前記第一の画像と前記第二の画像において互いに対応した領域毎に前記輝度値の和の差を算出し、該算出された輝度値の和の差の絶対値を前記複数の領域の全てについて加算し、輝度和の左右差として算出して取得する処理であり、
前記第7の処理は、前記第1の最小値、前記第2の最小値、前記輝度和の左右差、及び前記道路領域の画素の最も小さい輝度値である最小輝度値と前記輝度和の左右差とにより決定される2次元の閾値を使用して、車両の窓ガラスの曇りを判定する処理である、
ことを特徴とする車載ステレオカメラ。 - 前記処理部は、昼夜で前記閾値を変更する、ことを特徴とする請求項1に記載の車載ステレオカメラ。
- 前記処理部は、前記第1の最小値、及び前記第2の最小値の少なくとも1つに対して時系列フィルタ処理を行う、ことを特徴とする請求項1に記載の車載ステレオカメラ。
- 前記処理部は、前記車両のワイパが動作した場合は、前記第1の最小値、及び前記第2の最小値の少なくとも1つを無効化する、ことを特徴とする請求項1に記載の車載ステレオカメラ。
- 前記処理部は、前記右カメラ、及び前記左カメラの少なくとも1つが一時停止した場合は、前記曇りを判定する処理を行わない、ことを特徴とする請求項1に記載の車載ステレオカメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019210153A JP7414486B2 (ja) | 2019-11-21 | 2019-11-21 | 車載ステレオカメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019210153A JP7414486B2 (ja) | 2019-11-21 | 2019-11-21 | 車載ステレオカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021082099A JP2021082099A (ja) | 2021-05-27 |
JP7414486B2 true JP7414486B2 (ja) | 2024-01-16 |
Family
ID=75965318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019210153A Active JP7414486B2 (ja) | 2019-11-21 | 2019-11-21 | 車載ステレオカメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7414486B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004020237A (ja) | 2002-06-12 | 2004-01-22 | Fuji Heavy Ind Ltd | 車両管理システム |
JP2012228916A (ja) | 2011-04-25 | 2012-11-22 | Kyocera Corp | 車載カメラシステム |
JP2013190416A (ja) | 2012-02-13 | 2013-09-26 | Ricoh Co Ltd | 付着物検出装置及びこれを用いた車載機器制御装置 |
JP2017138761A (ja) | 2016-02-03 | 2017-08-10 | トヨタ自動車株式会社 | 車両用撮像システム |
JP2019125942A (ja) | 2018-01-17 | 2019-07-25 | 京セラ株式会社 | 画像処理装置、撮像システム、移動体、および画像処理方法 |
-
2019
- 2019-11-21 JP JP2019210153A patent/JP7414486B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004020237A (ja) | 2002-06-12 | 2004-01-22 | Fuji Heavy Ind Ltd | 車両管理システム |
JP2012228916A (ja) | 2011-04-25 | 2012-11-22 | Kyocera Corp | 車載カメラシステム |
JP2013190416A (ja) | 2012-02-13 | 2013-09-26 | Ricoh Co Ltd | 付着物検出装置及びこれを用いた車載機器制御装置 |
JP2017138761A (ja) | 2016-02-03 | 2017-08-10 | トヨタ自動車株式会社 | 車両用撮像システム |
JP2019125942A (ja) | 2018-01-17 | 2019-07-25 | 京セラ株式会社 | 画像処理装置、撮像システム、移動体、および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021082099A (ja) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6744336B2 (ja) | 予想されるエッジ軌跡を用いたレンズ汚染の検出 | |
US7646889B2 (en) | Rain sensor | |
US9424462B2 (en) | Object detection device and object detection method | |
US11138698B2 (en) | Static soiling detection and correction | |
EP2821960B1 (en) | Method for identification of contamination upon a lens of a stereoscopic camera | |
JP3780922B2 (ja) | 道路白線認識装置 | |
TWI607901B (zh) | 影像修補系統及其方法 | |
JP4539415B2 (ja) | 画像処理装置 | |
CN111860120B (zh) | 车载相机自动遮挡检测方法和装置 | |
EP3149656A1 (en) | Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems | |
JP2005515565A (ja) | 画像センサシステムにおける視界妨害物の識別方法および識別装置 | |
JP6743786B2 (ja) | 映り込み判定装置及び撮影装置 | |
JP2020506484A5 (ja) | ||
JP6722084B2 (ja) | 物体検出装置 | |
JP6654999B2 (ja) | 物標検出装置 | |
KR101522757B1 (ko) | 영상의 노이즈 제거 방법 | |
JP7414486B2 (ja) | 車載ステレオカメラ | |
JP2010108182A (ja) | 車両の運転支援装置 | |
EP3336748B1 (en) | Detection of heavy rain by temporally measuring blur from edges | |
CN111762100B (zh) | 车用摄影系统与物件检测方法 | |
EP3373196A1 (en) | Device for determining a region of dirt on a vehicle windscreen | |
JP7219710B2 (ja) | ドライバー・アシスタント・システム用のカメラ撮影を改善するための方法と装置 | |
Ashwini et al. | Application of edge detection for vehicle detection in traffic surveillance system | |
Tadjine et al. | Optical Self Diagnostics for Camera Based Driver Assistance | |
JP4209265B2 (ja) | 背景領域検出装置、方法および該方法を実行するためのコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220916 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7414486 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |