JP6045589B2 - カメラ装置、立体物検出装置及びレンズ洗浄方法 - Google Patents
カメラ装置、立体物検出装置及びレンズ洗浄方法 Download PDFInfo
- Publication number
- JP6045589B2 JP6045589B2 JP2014527025A JP2014527025A JP6045589B2 JP 6045589 B2 JP6045589 B2 JP 6045589B2 JP 2014527025 A JP2014527025 A JP 2014527025A JP 2014527025 A JP2014527025 A JP 2014527025A JP 6045589 B2 JP6045589 B2 JP 6045589B2
- Authority
- JP
- Japan
- Prior art keywords
- lens
- dimensional object
- foreign matter
- adhesion
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 325
- 238000004140 cleaning Methods 0.000 title claims description 260
- 238000000034 method Methods 0.000 title claims description 118
- 230000008859 change Effects 0.000 claims description 178
- 239000007788 liquid Substances 0.000 claims description 156
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 91
- 239000002245 particle Substances 0.000 claims description 84
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 82
- 230000008569 process Effects 0.000 claims description 77
- 238000006243 chemical reaction Methods 0.000 claims description 39
- 238000009826 distribution Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 25
- 239000007787 solid Substances 0.000 claims description 17
- 239000000126 substance Substances 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000005507 spraying Methods 0.000 claims description 15
- 239000006185 dispersion Substances 0.000 description 66
- 238000004364 calculation method Methods 0.000 description 54
- 239000004576 sand Substances 0.000 description 44
- 238000010586 diagram Methods 0.000 description 28
- 239000010419 fine particle Substances 0.000 description 25
- 239000000463 material Substances 0.000 description 16
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 15
- 238000011109 contamination Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 10
- 238000005406 washing Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 8
- 238000007664 blowing Methods 0.000 description 7
- 230000002265 prevention Effects 0.000 description 7
- 239000013256 coordination polymer Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000009736 wetting Methods 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000001035 drying Methods 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000009987 spinning Methods 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000003673 groundwater Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000011499 joint compound Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 239000003981 vehicle Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/08—Waterproof bodies or housings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/04—Wipers or the like, e.g. scrapers
- B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
- B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
- B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
- B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
- B60S1/0833—Optical rain sensor
- B60S1/0844—Optical rain sensor including a camera
- B60S1/0848—Cleaning devices for cameras on vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
Description
本出願は、2012年7月27日に出願された日本国特許出願の特願2012―166530及び特願2012―166531に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
図1は、本発明のカメラ装置1000を備える立体物検出装置1を適用した一実施の形態に係る車両の概略構成図である。本例の立体物検出装置1は、自車両Vの運転者が運転中に注意を払うべき他車両、例えば、自車両Vが車線変更する際に接近乃至接触の可能性がある他車両を障害物として検出する装置である。特に、本例の立体物検出装置1は自車両が走行する車線の隣の隣接車線(以下、単に隣接車線ともいう)を走行する他車両を検出する。また、本例の立体物検出装置1は、検出した他車両の移動距離、移動速度を算出することができる。このため、以下説明する一例は、立体物検出装置1を自車両Vに搭載し、自車両周囲において検出される立体物のうち、自車両Vが走行する車線の隣の隣接車線を走行する他車両を検出する例を示すこととする。同図に示すように、本例の立体物検出装置1は、車両後方の映像を結像させるレンズ11を備えたカメラ10と、車速センサ20と、計算機30と、カメラ10のレンズ11を洗浄するレンズ洗浄装置100とを備える。
本実施形態の立体物検出装置1は、車両後方を撮像する単眼のカメラ1により得られた画像情報に基づいて車両後方の右側検出領域又は左側検出領域に存在する立体物を検出する。
次に、図3に示す立体物の検出ブロックAに代えて動作させることが可能である、立体物の検出ブロックBについて説明する。立体物の検出ブロックBは、輝度差算出部35、エッジ線検出部36及び立体物検出部37で構成されるエッジ情報を利用して立体物を検出する。図13は、図3のカメラ10の撮像範囲等を示す図であり、図13(a)は平面図、図13(b)は、自車両Vから後側方における実空間上の斜視図を示す。図13(a)に示すように、カメラ10は所定の画角aとされ、この所定の画角aに含まれる自車両Vから後側方を撮像する。カメラ10の画角aは、図2に示す場合と同様に、カメラ10の撮像範囲に自車両Vが走行する車線に加えて、隣接する車線も含まれるように設定されている。
[数1]
I(xi,yi)>I(xi’,yi’)+tのとき
s(xi,yi)=1
I(xi,yi)<I(xi’,yi’)−tのとき
s(xi,yi)=−1
上記以外のとき
s(xi,yi)=0
[数2]
s(xi,yi)=s(xi+1,yi+1)のとき(且つ0=0を除く)、
c(xi,yi)=1
上記以外のとき、
c(xi,yi)=0
[数3]
Σc(xi,yi)/N>θ
[数4]
鉛直相当方向の評価値=Σ[{I(xi,yi)−I(xi+1,yi+1)}2]
[数5]
鉛直相当方向の評価値=Σ|I(xi,yi)−I(xi+1,yi+1)|
[数6]
鉛直相当方向の評価値=Σb(xi,yi)
但し、|I(xi,yi)−I(xi+1,yi+1)|>t2のとき、
b(xi,yi)=1
上記以外のとき、
b(xi,yi)=0
本実施形態において、「異物の付着度」は、「異物の付着量」及び「異物の付着割合」を含み、「異物の付着度の変化」は、「異物の付着量の変化」及び「異物の付着割合の変化」を含む。
「異物の付着量」は、レンズ11の表面に付着した異物の量の指標である。特に限定されないが、「異物の付着量」はレンズ11の表面に付着した異物に対応する画素の数に基づいて判断することができる。また、レンズ11の表面に付着した異物に対応する画素は、各画素の画素値に基づいて判断することができる。
「異物の付着量の変化」は所定時間内においてレンズ11に付着した異物の増減の程度である。本実施形態において、「異物の付着量」及び「異物の付着量の変化」は、異物に対応する画像(画素数)に基づいて算出する。
「異物の付着割合」は、所定面積の領域に対する異物の付着面積に基づく指標である。「異物の付着割合」は、異物の分散度(分布度合)の概念も含み、所定面積の領域において、その領域内における異物の存在のばらつきを示す指標である。「異物の付着割合の変化」は、所定時間内におけるレンズ11に付着した異物の存在面積比の変化の程度、又は所定時間内におけるレンズ11に付着した異物の存在のばらつきの変化の程度である。本実施形態において、「異物の付着割合」及び「異物の付着割合の変化」は、異物に対応する画像(画素数)に基づいて算出する。
以下、実施形態では、「異物の付着度」の一例として「異物の付着量」、「異物の付着割合」、「異物の付着量の変化」、「異物の付着割合の変化」の用語を用いて説明する。
本発明における「第1付着閾値」は「第1変化閾値」及び「第2変化閾値」を含む。「第1変化閾値」及び「第2変化閾値」は、異物の付着度が異物の付着量又は異物の付着量の変化量である場合において、レンズ11の汚れの付着の状態を判断する際に用いられる閾値である。
本実施形態の付着状態判断部38は、異物の付着度、異物の付着度の変化量を算出し、この変化量が予め設定された第1変化閾値(第1付着閾値の一態様である。以下同じ)以上かつ第2変化閾値(第2付着閾値の一態様である。以下同じ)未満の所定閾値内である場合には、レンズ11の汚れの付着の状態が第1状態であると判断する。分散度を評価するための第1分散閾値及び第2分散閾値と、分散度の変化量を評価するための第1分散閾値及び第2分散閾値とは実験結果などに基づいてそれぞれ設定される。本実施形態における第1状態とは、細かい粒子(粒径の小さい粒子)がレンズ11に付着している状態であり、例えば、図21Aに示す状態に対応する。図21Aに示す撮像画像から抽出された所定値域の画素値を有する画素の画素数に基づいて異物の付着度を求める手法を図26Aに示す。
本発明における「第1付着閾値」は「第1分散閾値」を含み、「第2付着閾値」は「第2分散閾値」を含む。「第1分散閾値」及び「第2分散閾値」は、異物の付着度が異物の付着割合又は異物の付着割合の変化量である場合において、レンズ11の汚れの付着の状態を判断する際に用いられる閾値である。
本実施形態の付着状態判断部38は、異物の付着割合又は付着割合の変化量(分散変化量)を算出し、この付着割合又は付着割合の変化量(分散変化量)が予め設定された第1分散閾値(第1付着閾値の一態様である。以下同じ)以上かつ第2分散閾値未満(第2付着閾値の一態様である。以下同じ)の所定閾値内である場合には、レンズ11の汚れの付着の状態が第1状態であると判断する。付着割合を評価するための第1分散閾値及び第2分散閾値と、付着割合の変化量を評価するための第1分散閾値及び第2分散閾値とは実験結果などに基づいてそれぞれ設定される。
また、あるタイミングにおいて異物が付着していると判断された画素の分布に基づいて、異物の付着割合(レンズ11上における異物の検出位置の付着割合、散らばり度合いである。付着度の一指標である。以下同じ。)を求めることができる。さらに、異なる複数のタイミングにおける異物の付着割合に基づいて、異物の付着割合の変化量を算出することができる。異物の付着割合の算出手法は特に限定されず、例えば、全画素数に対する異物が付着していると判断された画素数が占める割合を付着割合として定義することができる。図26Aに示す例では、全画素90に対して、異物が付着していると判断された画素数が68個であるから、付着割合は約76%と求めることができる。なお、単位画素は任意に定義することができる。図26Aに示すように、全体が90個の単位画素から構成されていると設定してもよいし3×3の9個の画素を一つの画素単位として10個の単位画素から構成されていると設定してもよい。また、異物の付着割合を、経時的に求め、異なる複数のタイミングにおける異物の付着割合に基づいて、異物の付着割合の変化量を算出することができる。
本実施形態のレンズ洗浄装置100の制御部101は、レンズ11に付着する異物の付着度(付着量、付着量の変化、付着割合、付着割合の変化を含む。以下同じ)が所定閾値以上である場合には、レンズ11を洗浄させる。この所定閾値は、乾いた非舗装路などを走行したときに細かい粒子がレンズに付着する付着度に基づいて、実験的に設定することができる。
特に、本実施形態のレンズ洗浄装置100の制御部101は、レンズ11の汚れの付着の状態が第1状態であると判断された場合には、レンズ洗浄装置100が行う洗浄液の供給タイミングを予定されている供給タイミングよりも所定時間遅延させることが好ましい。つまり、レンズの汚れの付着の状態が第1状態であると判断されている場合には、洗浄液の供給を一時的に中止し、所定時間経過後に洗浄を実行する。
図30に示すように、処理が開始されたら、ステップS41において、付着状態判断部38は、レンズに付着した異物の付着度に基づいて付着状態を判断する。ステップS42において、付着状態判断部38は、リアルタイムで算出された異物の付着度の変化量が予め設定された第1付着閾値以上かつ第2付着閾値未満の所定閾値内である場合には、レンズ11の汚れの付着の状態が第1状態であると判断する。つまり、レンズ11の表面に砂などの細かい粒の異物が付着している状態である。ステップS42において異物の付着度の変化量が予め設定された第1付着閾値以上かつ第2付着閾値未満の所定閾値内ではないが、異物の付着度の変化量が第2付着閾値以上である場合にはステップS43に進み、レンズ11の汚れの付着の状態が第2状態であると判断する。つまり、レンズ11の表面に泥などの比較的体積の大きい異物が付着している状態である。
具体的に、異物の付着度が異物の付着量である場合には、ステップS42において、付着状態判断部38は、リアルタイムで算出された異物の付着量の変化量が予め設定された第1変化閾値以上かつ第2変化閾値未満の所定閾値内である場合には、レンズ11の汚れの付着の状態が第1状態であると判断する。ステップS42において異物の付着量の変化量が予め設定された第1変化閾値以上かつ第2変化閾値未満の所定閾値内ではないが、異物の付着量の変化量が第2変化閾値以上である場合にはステップS43に進み、レンズ11の汚れの付着の状態が第2状態であると判断する。
異物の付着度が異物の付着割合である場合には、ステップS42において、付着状態判断部38は、リアルタイムで算出された異物の分散度又は異物の分散度の変化量が予め設定された第1分散閾値以上かつ第2分散閾値未満の所定閾値内である場合には、レンズ11の汚れの付着の状態が第1状態であると判断する。ステップS42において異物の分散度又は異物の分散度の変化量が予め設定された第1分散閾値以上かつ第2分散閾値未満の所定閾値内ではないが、異物の分散度又は異物の分散度の変化量が第2分散閾値以上である場合にはステップS43に進み、レンズ11の汚れの付着の状態が第2状態であると判断する。
具体的に、異物の付着度が異物の付着量である場合には、異物の付着量の変化量が第1変化閾値未満である場合は自車両は舗装道路を走行し、異物の付着量の変化量が第2変化閾値以上、又は、第2変化閾値よりも高い別途設定された第3変化閾値以上である場合には路面の模様や凹凸を検出している可能性が高いと判断され、デフォルトに設定された洗浄液供給開始タイミング及びデフォルトに設定された洗浄液の供給量を変更しない。
異物の付着度が異物の付着割合である場合には、異物の付着割合(分散度)又は異物の付着割合の変化量が第1分散閾値未満である場合は自車両は舗装道路を走行し、異物の分散度又は異物の分散度の変化量が第2分散閾値以上、又は、第2分散閾値よりも高い別途設定された第3分散閾値以上である場合には路面の模様や凹凸を検出している可能性が高いと判断され、デフォルトに設定された洗浄液供給開始タイミング及びデフォルトに設定された洗浄液の供給量を変更しない。
本実施形態のABS装置300は、急ブレーキ又は低摩擦路でブレーキをかけた場合などにタイヤがロックされる(回転が停止する)ことを防止することにより、 車両の走行安全を保つとともに、ステアリング操舵により障害物を回避できる可能性を高める装置である。本実施形態のABS装置は各車輪軸に取り付けられた車速センサ20が検出した車輪速情報に基づいてブレーキを最適に制御する。滑走発生防止機能を備える他の装置を用いることができる。
図3に戻り、本例の立体物検出装置1は、上述した2つの立体物検出部33(又は立体物検出部37)と、立体物判断部34と、付着状態判断部38と、制御部39とを備える。立体物判断部34は、立体物検出部33(又は立体物検出部37)による検出結果に基づいて、検出された立体物が検出領域A1,A2に存在する他車両VXであるか否かを最終的に判断する。立体物検出部33(又は立体物検出部37)、立体物判断部34は、制御部39の指令に従い、付着状態判断部38の判断結果を反映させた立体物の検出を行う。
10…カメラ
11…レンズ
20…車速センサ
30…計算機
31…視点変換部
32…位置合わせ部
33,37…立体物検出部
34…立体物判断部
35…輝度差算出部
36…エッジ検出部
38…付着状態判断部
39…制御部
40…スミア検出部
41…走行路状態判断部
100…レンズ洗浄装置
38…レンズ状態評価部
110…レンズ洗浄制御部
101…洗浄水タンク
102…洗浄水流路
103a,103b…滴下口
104…エアコンプレッサ
105…エア流路
106a、106b…噴出口
200…ナビゲーション装置
300…ABS装置
400…TSC装置
500…VDC装置
600…ナビゲーション装置
a…画角
A1,A2…検出領域
CP…交点
DP…差分画素
DWt,DWt’…差分波形
DWt1〜DWm,DWm+k〜DWtn…小領域
L1,L2…接地線
La,Lb…立体物が倒れ込む方向上の線
P…撮像画像
PBt…鳥瞰視画像
PDt…差分画像
MP…マスク画像
S…スミア
SP…スミア画像
SBt…スミア鳥瞰視画像
V…自車両
VX…他車両
Claims (12)
- 車両に搭載され、車両周囲の映像を結像させるレンズを備えた撮像手段と、
前記レンズ上に洗浄液を供給する供給タイミングが少なくとも規定された所定のレンズ洗浄工程に従い、前記レンズ上に洗浄液を噴射して前記レンズを洗浄するレンズ洗浄手段と、
前記撮像手段が撮像した撮像画像に基づいて、前記レンズに付着した異物の粒径を判断する付着状態判断手段と、
前記付着状態判断手段により、前記レンズに付着した異物の粒径が小さいと判断されるほど、前記レンズ洗浄工程における前記洗浄液の供給を開始するタイミングまでの時間を延長するレンズ洗浄制御手段と、を有することを特徴とするカメラ装置。 - 車両に搭載され、車両周囲の映像を結像させるレンズを備えた撮像手段と、
前記レンズ上に洗浄液を供給する供給タイミングが少なくとも規定された所定のレンズ洗浄工程に従い、前記レンズ上に洗浄液を噴射して前記レンズを洗浄するレンズ洗浄手段と、
前記撮像手段が撮像した撮像画像に含まれる画素の画素値に基づいて、前記レンズの表面に付着した異物に対応する前記画素の数の所定時間における変化から前記レンズの表面に付着した異物の付着量の変化を当該異物の付着度の変化として算出し、前記異物の付着度の変化に基づいて前記レンズに付着した異物の状態を判断する付着状態判断手段と、
前記付着状態判断手段により、前記レンズに付着した異物の状態が、前記レンズに付着した異物の付着度の変化が大きいと判断されるほど、前記レンズ洗浄工程における前記洗浄液の供給を開始するタイミングまでの時間を延長するレンズ洗浄制御手段と、を有することを特徴とするカメラ装置。 - 車両に搭載され、車両周囲の映像を結像させるレンズを備えた撮像手段と、
前記レンズ上に洗浄液を供給する供給タイミングが少なくとも規定された所定のレンズ洗浄工程に従い、前記レンズ上に洗浄液を噴射して前記レンズを洗浄するレンズ洗浄手段と、
前記撮像手段が撮像した撮像画像に含まれる画素の画素値に基づいて、前記レンズの表面に付着した異物に対応する前記画素の分布の所定時間における変化から前記レンズの表面に付着した異物の付着割合の変化を当該異物の付着度の変化として算出し、前記異物の付着度の変化に基づいて前記レンズに付着した異物の状態を判断する付着状態判断手段と、
前記付着状態判断手段により、前記異物の状態が、前記レンズに付着した異物の付着度の変化が大きいと判断されるほど、前記レンズ洗浄工程における前記洗浄液の供給を開始するタイミングまでの時間を延長するレンズ洗浄制御手段と、を有することを特徴とするカメラ装置。 - 前記付着状態判断手段は、前記異物の付着度が予め設定された第1付着閾値以上かつ第2付着閾値未満の所定閾値内である場合には、前記レンズに付着した異物の状態が第1状態であると判断し、
前記レンズ洗浄制御手段は、前記レンズに付着した異物の状態が第1状態であると判断された場合には、前記洗浄液の供給を開始するタイミングまでの時間を延長する制御を実行することを特徴とする請求項2又は3に記載のカメラ装置。 - 前記第1付着閾値は、前記車両が路面に模様の無い舗装道路又は路面に凹凸の無い舗装道路を実験的に走行した場合に、前記撮像手段により撮像された撮像画像に含まれる画素の画素値に基づいて算出された前記レンズに付着した異物の付着度に基づいて、予め設定された閾値であることを特徴とする請求項4に記載のカメラ装置。
- 前記第2付着閾値は、前記車両が路面に模様が付された舗装道路又は路面に凹凸が形成された舗装道路を実験的に走行した場合に、前記撮像手段により撮像された撮像画像に含まれる画素の画素値に基づいて算出された前記レンズに付着した異物の付着度に基づいて、予め設定された閾値であることを特徴とする請求項4又は5に記載のカメラ装置。
- 前記レンズ洗浄制御手段は、前記異物の付着度が前記第1付着閾値未満、又は当該第1付着閾値よりも大きい前記第2付着閾値以上であり、前記レンズの汚れの付着の状態が第1状態ではないと判断された場合には、前記レンズ洗浄手段に前記所定のレンズ洗浄工程に従い前記レンズの洗浄を実行させることを特徴とする請求項4〜6の何れか一項に記載のカメラ装置。
- 前記第1状態は、平均粒径の小さい粒子が前記レンズに付着している状態であることを特徴とする請求項4〜7の何れか一項に記載のカメラ装置。
- 前記車両において取得される走行情報に基づいて、前記車両が走行する走行路が舗装道路であるか又は非舗装道路であるかを判断する走行路状態判断手段をさらに備え、
前記レンズ洗浄制御手段は、前記洗浄液の供給を開始するタイミングまでの時間を延長した場合であって、前記洗浄液の供給処理が実行される前に、前記走行路状態判断手段により前記車両が走行する走行路が舗装道路であると判断された場合には、前記走行路が舗装道路であると判断がされたタイミングで、前記洗浄液をレンズに供給させることを特徴とする請求項2〜8のうちの何れか一項に記載のカメラ装置。 - 前記走行路状態判断手段は、
前記車両が備える複数の車輪の各車輪速度を取得し、前記取得した複数の車輪速度のばらつきが所定値未満である場合には、前記車両が走行する走行路が舗装道路であると判断することを特徴とする請求項9に記載のカメラ装置。 - 請求項2〜10のうちの何れか一項に記載のカメラ装置と、
前記カメラ装置により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
前記画像変換手段により得られた前記鳥瞰視画像上で、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って輝度差が所定の閾値以上の画素の分布情報を生成し、当該分布情報に基づいて立体物を検出する立体物検出手段と、
前記立体物検出手段により検出された立体物が他車両であるか否かを判断する立体物判断手段と、
前記付着状態判断手段により、前記レンズに付着した異物の付着度の変化が所定値以上であると判断された場合には、前記立体物が検出され、当該立体物が前記他車両であると判断されることを抑制する制御手段と、を備える立体物検出装置。 - レンズと、
前記レンズ上に洗浄液を供給して前記レンズを洗浄するレンズ洗浄装置と、を備えるカメラ装置が実行するレンズ洗浄方法であって、
前記カメラ装置が、撮像画像に基づいて前記レンズに付着した異物の粒径を判断するステップと、
前記レンズに付着した異物の粒径が小さいと判断されるほど、前記洗浄液の供給を開始するタイミングまでの時間を延長するステップと、を実行するレンズ洗浄方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012166530 | 2012-07-27 | ||
JP2012166531 | 2012-07-27 | ||
JP2012166531 | 2012-07-27 | ||
JP2012166530 | 2012-07-27 | ||
PCT/JP2013/070310 WO2014017626A1 (ja) | 2012-07-27 | 2013-07-26 | カメラ装置、立体物検出装置及びレンズ洗浄方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014017626A1 JPWO2014017626A1 (ja) | 2016-07-11 |
JP6045589B2 true JP6045589B2 (ja) | 2016-12-21 |
Family
ID=49997431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014527025A Active JP6045589B2 (ja) | 2012-07-27 | 2013-07-26 | カメラ装置、立体物検出装置及びレンズ洗浄方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9804386B2 (ja) |
EP (1) | EP2878498B1 (ja) |
JP (1) | JP6045589B2 (ja) |
CN (1) | CN104507765B (ja) |
WO (1) | WO2014017626A1 (ja) |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5413516B2 (ja) * | 2010-08-19 | 2014-02-12 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
US10350647B2 (en) | 2011-03-10 | 2019-07-16 | Dlhbowles, Inc. | Integrated automotive system, nozzle assembly and remote control method for cleaning an image sensor's exterior or objective lens surface |
EP2858755B1 (en) | 2011-03-10 | 2017-09-20 | dlhBowles Inc. | Integrated automotive system, nozzle assembly and remote control method for cleaning an image sensor's lens |
WO2014007175A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車載環境認識装置 |
JP6090318B2 (ja) * | 2012-07-11 | 2017-03-08 | 日産自動車株式会社 | 車載カメラの洗浄装置及び車載カメラの洗浄方法 |
CN103997622B (zh) * | 2014-03-27 | 2017-02-22 | 上海海事大学 | 无人值守监控摄像头的自动清洗方法 |
EP3131797B1 (en) | 2014-04-11 | 2019-06-12 | dlhBowles Inc. | Integrated automotive system, compact, low-profile nozzle assembly and compact fluidic circuit for cleaning a wide-angle image sensor's exterior surface |
EP3489091B1 (en) | 2014-04-16 | 2021-09-08 | dlhBowles Inc. | Integrated image sensor support and method for simultaneously cleaning a plurality of image sensors |
US9607242B2 (en) * | 2015-01-16 | 2017-03-28 | Ford Global Technologies, Llc | Target monitoring system with lens cleaning device |
JP6350374B2 (ja) * | 2015-04-17 | 2018-07-04 | トヨタ自動車株式会社 | 路面検出装置 |
DE102015110264A1 (de) * | 2015-06-25 | 2016-12-29 | Cl Schutzrechtsverwaltungs Gmbh | Vorrichtung zur generativen Herstellung wenigstens eines dreidimensionalen Objekts |
US9602703B1 (en) * | 2015-11-25 | 2017-03-21 | GM Global Technology Operations LLC | Camera system |
JP6833337B2 (ja) * | 2016-03-31 | 2021-02-24 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、およびプログラム |
WO2018043743A1 (ja) | 2016-09-05 | 2018-03-08 | 株式会社小糸製作所 | クリーナ、クリーナ付きセンサおよび当該クリーナまたは当該クリーナ付きセンサを備える車両 |
JP6998328B2 (ja) * | 2017-01-23 | 2022-02-10 | 株式会社小糸製作所 | 車両用クリーナシステムおよび車両用クリーナシステムを備える車両 |
EP3367660B1 (en) | 2017-02-27 | 2019-12-25 | Veoneer Sweden AB | A camera device comprising a dirt detection unit |
JP6672202B2 (ja) * | 2017-03-03 | 2020-03-25 | 株式会社デンソーアイティーラボラトリ | 車載カメラシステム、付着物検出装置、付着物除去方法、及び付着物検出プログラム |
JP6832224B2 (ja) * | 2017-04-28 | 2021-02-24 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
US10676071B2 (en) * | 2017-05-03 | 2020-06-09 | GM Global Technology Operations LLC | System and method for automated cleaning of a sensor lens |
US10189429B2 (en) * | 2017-06-26 | 2019-01-29 | Ford Global Technologies, Llc | Vehicle sensor cleaning based on a vehicle occupancy status |
US20190068025A1 (en) * | 2017-08-30 | 2019-02-28 | GM Global Technology Operations LLC | Magnetically-Driven Actuator Assembly |
JP6961002B2 (ja) * | 2017-09-11 | 2021-11-05 | 本田技研工業株式会社 | 車両 |
JP7182053B2 (ja) * | 2017-12-12 | 2022-12-02 | 株式会社デンソー | 車両用洗浄システム |
KR102348123B1 (ko) | 2017-10-27 | 2022-01-07 | 현대자동차주식회사 | 카메라 렌즈 오염 경고 장치 및 방법 |
KR20190047243A (ko) | 2017-10-27 | 2019-05-08 | 현대자동차주식회사 | 카메라 렌즈 오염 경고 장치 및 방법 |
JP7055619B2 (ja) * | 2017-11-14 | 2022-04-18 | 株式会社デンソーテン | 気体噴出装置および気体噴出方法 |
JP6578589B2 (ja) * | 2017-11-27 | 2019-09-25 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
CN107953862A (zh) * | 2017-12-05 | 2018-04-24 | 惠州市德赛西威汽车电子股份有限公司 | 带手动及自动清洗的车载摄像头及其控制方法 |
JP6810683B2 (ja) * | 2017-12-28 | 2021-01-06 | 本田技研工業株式会社 | 制御装置および車両 |
JP7210882B2 (ja) * | 2018-01-30 | 2023-01-24 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
JP7037117B2 (ja) * | 2018-04-16 | 2022-03-16 | トヨタ自動車株式会社 | 運転支援装置 |
CN108416337A (zh) * | 2018-04-28 | 2018-08-17 | 北京小米移动软件有限公司 | 提醒用户清洁镜头的方法及装置 |
US10549723B2 (en) * | 2018-05-04 | 2020-02-04 | Ford Global Technologies, Llc | Vehicle object-detection sensor assembly |
JP6933608B2 (ja) * | 2018-06-01 | 2021-09-08 | ファナック株式会社 | 視覚センサのレンズまたはレンズカバーの異常検出システム |
CN108848361B (zh) * | 2018-07-13 | 2020-10-16 | 杭州易现先进科技有限公司 | 用于交互式投影仪的方法、介质、装置和计算设备 |
US10836356B2 (en) | 2018-09-20 | 2020-11-17 | Ford Global Technologies, Llc | Sensor dirtiness detection |
US10829091B2 (en) | 2018-09-20 | 2020-11-10 | Ford Global Technologies, Llc | Vehicle sensor cleaning |
CN113423620A (zh) * | 2019-02-18 | 2021-09-21 | 株式会社小糸制作所 | 污垢检测系统、LiDAR单元、车辆用传感系统及车辆 |
US10771665B1 (en) * | 2019-02-27 | 2020-09-08 | Ford Global Technologies, Llc | Determination of illuminator obstruction by known optical properties |
US11209280B2 (en) * | 2019-07-31 | 2021-12-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for route selection |
JP7251425B2 (ja) * | 2019-09-20 | 2023-04-04 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
JP7151675B2 (ja) * | 2019-09-20 | 2022-10-12 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
US11673532B2 (en) * | 2019-12-23 | 2023-06-13 | Continental Automotive Systems, Inc. | Automatic camera washer deactivation |
CN111147761A (zh) * | 2019-12-28 | 2020-05-12 | 中国第一汽车股份有限公司 | 一种车用摄像设备清洗方法、系统、车辆及存储介质 |
JP7319597B2 (ja) * | 2020-09-23 | 2023-08-02 | トヨタ自動車株式会社 | 車両運転支援装置 |
CN112183401A (zh) * | 2020-09-30 | 2021-01-05 | 敦泰电子(深圳)有限公司 | 图像采集方法、芯片及图像采集装置 |
CN112622766B (zh) * | 2020-12-30 | 2023-12-26 | 广州威玛尔电子科技有限公司 | 一种可自动清理的汽车倒车摄像头 |
CN113200022A (zh) * | 2021-04-28 | 2021-08-03 | 广州文远知行科技有限公司 | 一种传感器的清洁方法、装置、设备及存储介质 |
CN113458072B (zh) * | 2021-07-06 | 2022-01-18 | 广东固特超声股份有限公司 | 一种智能终端控制的眼镜超声波清洗方法及清洗机 |
US20230366997A1 (en) * | 2022-05-12 | 2023-11-16 | GM Global Technology Operations LLC | Surface cleaning system to clean lidar sensor of an autonomous vehicle |
JP2024016501A (ja) * | 2022-07-26 | 2024-02-07 | トヨタ自動車株式会社 | 車載カメラ遮蔽状態判定装置 |
CN115416615A (zh) * | 2022-11-04 | 2022-12-02 | 江阴瑞兴塑料玻璃制品有限公司 | 车辆前档玻璃灰尘的监测和清洗系统 |
CN116039531B (zh) * | 2023-04-03 | 2023-09-29 | 成都零一通途科技有限公司 | 一种车载道路巡检装置及巡检方法 |
CN117191809B (zh) * | 2023-08-30 | 2024-03-22 | 宿州绍宸智能科技有限公司 | 基于数据分析的玻璃检测设备故障监测预警系统 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4713583A (en) * | 1986-09-08 | 1987-12-15 | Hochstein Peter A | Headlamp cleaning system |
JPH11250396A (ja) * | 1998-02-27 | 1999-09-17 | Hitachi Ltd | 車両位置情報表示装置および方法 |
DE19818643A1 (de) * | 1998-04-25 | 1999-10-28 | Reitter & Schefenacker Gmbh | Leuchte, insbesondere Heckleuchte, für Kraftfahrzeuge |
US6160369A (en) * | 1999-10-12 | 2000-12-12 | E-Lead Electronic Co., Ltd. | Optically operated automatic control system for windshield wipers |
JP2001171491A (ja) | 1999-12-16 | 2001-06-26 | Matsushita Electric Ind Co Ltd | 車載カメラ装置及び車載カメラの洗浄方法 |
JP3807331B2 (ja) * | 2002-03-06 | 2006-08-09 | 日産自動車株式会社 | カメラの汚れ検出装置およびカメラの汚れ検出方法 |
US8180099B2 (en) * | 2002-07-16 | 2012-05-15 | Trw Limited | Rain detection apparatus and method |
JP2007318355A (ja) * | 2006-05-24 | 2007-12-06 | Matsushita Electric Ind Co Ltd | 撮像装置およびレンズ汚れ検出方法 |
JP2008219063A (ja) | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
JP4899954B2 (ja) * | 2007-03-14 | 2012-03-21 | 株式会社ニコン | カメラ |
JP4872769B2 (ja) * | 2007-04-11 | 2012-02-08 | 日産自動車株式会社 | 路面判別装置および路面判別方法 |
DE102009000079A1 (de) * | 2009-01-08 | 2010-07-15 | Robert Bosch Gmbh | Verfahren und Steuergerät zur Erkennung eines gefährlichen Fahrzustandes eines Fahrzeugs |
CN201432644Y (zh) * | 2009-07-17 | 2010-03-31 | 初明明 | 一种自动清洗汽车后视摄像头的装置 |
JP5056919B2 (ja) * | 2009-09-29 | 2012-10-24 | 株式会社デンソー | 車載光学センサカバー及び車載光学センサ装置 |
US20120117745A1 (en) * | 2009-09-29 | 2012-05-17 | Denso Corporation | On-board optical sensor cover and on-board optical sensor apparatus |
JP2011078047A (ja) * | 2009-10-02 | 2011-04-14 | Sanyo Electric Co Ltd | 撮像装置 |
US20110292212A1 (en) * | 2010-05-27 | 2011-12-01 | Asmo Co., Ltd. | Washer nozzle for vehicle mounted camera, vehicle mounted camera, and washer device for vehicle |
JP5240874B2 (ja) | 2011-02-17 | 2013-07-17 | 株式会社名機製作所 | 型締装置 |
US9319637B2 (en) * | 2012-03-27 | 2016-04-19 | Magna Electronics Inc. | Vehicle vision system with lens pollution detection |
US9707896B2 (en) * | 2012-10-15 | 2017-07-18 | Magna Electronics Inc. | Vehicle camera lens dirt protection via air flow |
-
2013
- 2013-07-26 JP JP2014527025A patent/JP6045589B2/ja active Active
- 2013-07-26 CN CN201380040046.XA patent/CN104507765B/zh active Active
- 2013-07-26 WO PCT/JP2013/070310 patent/WO2014017626A1/ja active Application Filing
- 2013-07-26 US US14/416,650 patent/US9804386B2/en active Active
- 2013-07-26 EP EP13822720.2A patent/EP2878498B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2014017626A1 (ja) | 2014-01-30 |
CN104507765A (zh) | 2015-04-08 |
US20150177512A1 (en) | 2015-06-25 |
EP2878498B1 (en) | 2020-06-24 |
US9804386B2 (en) | 2017-10-31 |
JPWO2014017626A1 (ja) | 2016-07-11 |
EP2878498A1 (en) | 2015-06-03 |
CN104507765B (zh) | 2017-02-22 |
EP2878498A4 (en) | 2017-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6045589B2 (ja) | カメラ装置、立体物検出装置及びレンズ洗浄方法 | |
JP5900622B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5900623B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5896027B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5997276B2 (ja) | 立体物検出装置及び異物検出装置 | |
JP5859652B2 (ja) | 水滴検出装置及び水滴検出装置を用いた立体物検出装置 | |
JP6254083B2 (ja) | 車載用周囲環境認識装置 | |
JP5614504B2 (ja) | 立体物検出装置 | |
JP5787024B2 (ja) | 立体物検出装置 | |
JP6020567B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5733467B2 (ja) | 立体物検出装置 | |
JP6003986B2 (ja) | 立体物検出装置、立体物検出方法及び異物検出装置 | |
JP6260444B2 (ja) | カメラ装置及びレンズ洗浄方法 | |
JP5871069B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP6435633B2 (ja) | 立体物検出装置及び立体物検出方法 | |
WO2013125335A1 (ja) | 立体物検出装置及び立体物検出方法 | |
JP2014027495A (ja) | 立体物検出装置および立体物検出方法 | |
JP5817913B2 (ja) | 立体物検出装置及び立体物検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6045589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |