JP5902049B2 - レンズ白濁状態診断装置 - Google Patents

レンズ白濁状態診断装置 Download PDF

Info

Publication number
JP5902049B2
JP5902049B2 JP2012143739A JP2012143739A JP5902049B2 JP 5902049 B2 JP5902049 B2 JP 5902049B2 JP 2012143739 A JP2012143739 A JP 2012143739A JP 2012143739 A JP2012143739 A JP 2012143739A JP 5902049 B2 JP5902049 B2 JP 5902049B2
Authority
JP
Japan
Prior art keywords
lens
cloudiness
vehicle
degree
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012143739A
Other languages
English (en)
Other versions
JP2014007686A (ja
Inventor
耕太 入江
耕太 入江
彰二 村松
彰二 村松
俊輔 近藤
俊輔 近藤
將裕 清原
將裕 清原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2012143739A priority Critical patent/JP5902049B2/ja
Priority to EP13173727.2A priority patent/EP2680227B1/en
Priority to US13/928,001 priority patent/US9286519B2/en
Priority to CN201310263150.7A priority patent/CN103516968B/zh
Publication of JP2014007686A publication Critical patent/JP2014007686A/ja
Application granted granted Critical
Publication of JP5902049B2 publication Critical patent/JP5902049B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Description

本発明は、カメラのレンズ表面に付着した水分が乾燥することによって析出した不純物による、レンズの白濁状態を診断するレンズ白濁状態診断装置に関するものである。
近年、自車両にカメラを搭載し、自車両の周辺を観測して、観測された画像の中から、他車両の位置や走行車線の位置などを検出して、検出された他車両の位置やレーンマーカの位置に基づいて、他車両との接触の可能性や車線逸脱の可能性を判断して注意喚起する車両の周囲環境認識システムが実用化されている。
このようなシステムでは、雨天時の走行場面にあっては、自車両が巻き上げた水分がカメラのレンズ表面に付着する場合がある。また、未舗装路の走行場面にあっては、自車両が巻き上げた埃がカメラのレンズ表面に付着する場合がある。さらに、融雪剤が散布された道路を走行する場面にあっては、自車両が巻き上げた融雪剤がカメラのレンズ表面に付着する場合がある。そして、これらの付着物が乾燥することによって、水分や埃や融雪剤の中の不純物が析出してレンズ表面に堆積し、レンズ表面に汚れ(以下、白濁と呼ぶ)が生じる。
レンズ表面に白濁した部位(白濁部)が生じると、レンズに入射した光は白濁部において散乱するため、観測される画像の中に、ぼけや滲みが生じる。そして、このぼけや滲みによって、検出対象である他車両やレーンマーカの像が変形するため、他車両やレーンマーカの検出失敗(未検出)を引き起こしたり、本来はないはずの他車両やレーンマーカの検出(誤検出)を招いたりする。そして、こうした未検出や誤検出の発生によって、他車両の位置やレーンマーカの位置に関する、的確な注意喚起を実行できなくなる可能性がある。
そして、カメラで撮像した画像を、車両の乗員が目視確認できないシステムにあっては、乗員はレンズが白濁していることを確認することができないため、前記した未検出や誤検出は、乗員に、システムに対する不信感を与えることになる。
このような、レンズの汚れを検出する技術として、例えば、異なるタイミングで撮像された複数の画像の差分結果を積算して、積算された差分結果の中から、濃淡値(差分結果の積算値)が所定値以下で、かつ所定値以上の面積を有する領域を、レンズの汚れとして検出する方法が開示されている(例えば、特許文献1)。
この特許文献1に開示された汚れ検出装置では、異なるタイミングで撮像された複数の画像の差分結果に基づいて、レンズの汚れを検出しており、その際に、差分結果の積算値が所定値以下で、かつ所定値以上の面積を有する領域が検出される構成になっている。
特開2003−259358号公報
しかしながら、特許文献1に記載された汚れ検出装置では、汚れの他に、未舗装路の領域や均一なアスファルト路面のように、異なる時間に撮像された複数の画像の中で、濃淡値の変化量が小さい領域も、汚れとして検出されてしまう可能性があるため、レンズの汚れのみを安定して検出するのは困難であるという問題があった。
本発明は、上記課題に鑑みてなされたもので、白濁によるレンズの汚れを安定して検出して、白濁度合を確実に診断することを目的とする。
本発明に係るレンズ白濁状態診断装置は、カメラのレンズ表面に付着した、水分や埃や融雪剤等が乾燥することによって析出した不純物による白濁状態を、撮像部で撮像された画像の中の濃淡値の勾配である輝度勾配に基づいて診断するものである。
すなわち、本発明の請求項1に係るレンズ白濁状態診断装置は、車両に設置され、レンズを通して前記車両の周囲を観測して、観測された前記車両の周囲の光信号を、画像信号に変換する光電変換部を有する撮像部と、前記画像信号の中から、所定の明るさを越える輝度値を有する画素で構成されて、所定以上の面積を有する略円形状の領域を検出する領域検出部と、前記領域の中で、所定の位置から所定の方向に向かうライン上の画素が有する輝度値に基づいて、前記ライン上の輝度勾配を算出する輝度勾配算出部と、前記輝度勾配に基づいて前記レンズの白濁度合を算出する白濁度合算出部と、を有することを特徴とする。
このように構成された本発明の請求項1に係るレンズ白濁状態診断装置によれば、車両に設置されて、車両の周囲を撮像する撮像部において、レンズを透過した光信号が、光電変換部で画像信号に変換されて、領域検出部が、こうして変換された画像信号の中から、所定の明るさを超える輝度値を有し、所定以上の面積を有する略円形状の領域を検出する。
そして、輝度勾配算出部が、こうして検出された領域の中に、所定の位置から所定の方向に向かうラインを設定して、設定されたライン上の画素の輝度値を読み取って、そのライン上の輝度勾配を算出する。
さらに、白濁度合算出部が、輝度勾配算出部で算出された輝度勾配に基づいてレンズの白濁度合を算出するため、高い輝度値を有する画素で構成された領域の中の所定のラインのみに着目することによって、レンズの白濁度合に応じて変化する輝度勾配を安定して検出することができ、これによって、白濁度合を確実に診断することができる。
本発明に係る撮像装置によれば、汚れによるレンズの白濁度合を安定して検出して、白濁度合を確実に診断することができる。
本発明の実施例1に係るレンズ白濁状態診断装置が実装された車載システムの一例であるBSW(Blind Spot Warning)システムについて説明する図である。 本発明の実施例1に係るレンズ白濁状態診断装置の概略構成を示すブロック図である。 レンズの白濁の発生状況について説明する図であり、(a)は白濁のない状態で撮像された画像の例と、その画像の中の輝度分布の例を示す。(b)は白濁のある状態で撮像された画像の例と、その画像の中の輝度分布の例を示す。 本発明の実施例1に係るレンズ白濁状態診断装置におけるレンズ白濁状態の診断を行うメインルーチンのフローチャートである。 本発明の実施例1に係るレンズ白濁状態診断装置の領域検出部で行われる領域検出処理のフローチャートである。 本発明の実施例1に係るレンズ白濁状態診断装置において、領域検出処理を行う範囲について説明する図である。 本発明の実施例1に係るレンズ白濁状態診断装置における領域検出処理の一例を示す図であり、(a)は撮像された画像を示す。(b)は撮像された画像を縮小した画像を示す。(c)は画像(b)を2値化した画像を示す。(d)は画像(c)の中から条件を満たす領域を抽出した結果を示す。 本発明の実施例1に係るレンズ白濁状態診断装置の領域検出部で検出する領域の形状について説明する図であり、(a)は検出対象となる領域の形状特徴を示す。(b)は検出対象とならない領域の例を示す。 本発明の実施例1に係るレンズ白濁状態診断装置の輝度勾配算出部で行われる輝度勾配算出処理のフローチャートである。 本発明の実施例1に係るレンズ白濁状態診断装置において輝度勾配を算出する所定ラインの一例と、輝度勾配の一例について説明する図である。 本発明の実施例1に係るレンズ白濁状態診断装置の白濁度合算出部で行われる白濁度合を算出する処理のフローチャートである。 本発明の実施例1に係るレンズ白濁状態診断装置における白濁度合の確信度の推移を表す状態遷移について説明する図である。 本発明の実施例1に係るレンズ白濁状態診断装置における白濁状態診断後の処理の流れを示すフローチャートである。 本発明の実施例2に係るレンズ白濁状態診断装置の概略構成を示すブロック図である。 本発明の実施例2に係るレンズ白濁状態診断装置において輝度勾配を算出する所定ラインの一例と、輝度勾配の一例について説明する図である。 本発明の実施例2に係るレンズ白濁状態診断装置の輝度勾配算出部で行われる輝度勾配算出処理のフローチャートである。 本発明の実施例2に係るレンズ白濁状態診断装置において輝度勾配を算出する所定ラインの別の例について説明する図であり、(a)は斜め上方に延びる左右対称の2本のラインを設定した例である。(b)は左方に延びる1本の水平ラインを設定した例である。(c)は上方に延びる1本の垂直ラインを設定した例である。(d)は斜め上方に延びる左右対称の2本のラインと、左右に延びる2本の水平ラインを設定した例である。(e)は左右に延びる2つの矩形領域を設定した例である。
以下、本発明に係るレンズ白濁状態診断装置の実施形態について、図面を参照して説明する。なお、以下の説明において、画像に格納された濃淡値を輝度値と呼ぶ。
本実施例は、本発明のレンズ白濁状態診断装置を、走行中の自車両の後方の監視を行って、自車両後方の隣接車線内に接近車両があるときに注意喚起や警報を行う、BSWシステムが実装された車両に適用した例である。
まず、図1を用いてBSWシステムの動作を説明する。BSWシステム9は、車両5の後部に後ろ向きに取り付けられ、車両5の後方の左右隣接車線を含む範囲ω(道路2の車線L,L,Lを含む範囲)を撮像するように設置された撮像部10によって撮像された画像の中から、車両5が走行している車線の隣接車線(L,L)に存在する接近車両を検出する。
具体的には、BSWシステム9は、車両5が所定車速以上で走行しているときに起動されて、撮像部10から距離dの範囲内において、車両5が走行している車線Lの隣接車線(L,L)に別の車両が検出されて、検出された別の車両が車両5に接近していることが確認されたときに、この別の車両が接近車両として検出される。
図1の場合、車線Lに存在する車両6が検出される。なお、車両6が接近していることは、撮像された画像の中から検出された車両が、時間とともに大きくなっていることを認識することによって判定される。
そして、車線Lに、車両5に接近している車両6が存在することが、車両5に備えられた、例えばインジケータの点灯等によって、視覚情報として運転者に伝達される(1次警報)。
さらに、運転者がこの視覚情報に気づかずに、車両6が存在する車線L側に方向指示器を出して車線変更を行おうとすると、インジケータの点滅と警報音の吹鳴を行って、運転者に対して、車両6の存在をより明確に伝達して(2次警報)、車線変更の中断を促す。
次に、図2を用いて、実施例1に係るレンズ白濁状態診断装置の構成を説明する。図2は、本実施例に係るレンズ白濁状態診断装置を、前記したBSWシステムに適用した例である。
図2に示すように、実施例1に係るレンズ白濁状態診断装置8は、車両5(図1に図示)の後部ライセンスプレート付近に設置されて、図1に示した範囲ωを観測する撮像部10と、撮像部10で撮像された画像の中から、後続車両の前照灯の像を検出する領域検出部20と、領域検出部20で検出された領域の中の所定ライン上の輝度勾配を算出する輝度勾配算出部30と、輝度勾配算出部30で算出された輝度勾配に基づいて、レンズ12の白濁度合を算出する白濁度合算出部40と、白濁度合算出部40で算出された白濁度合を、後述する接近車両検出部60に引き渡す白濁度合引き渡し部50と、を備えている。
また、前記白濁度合算出部40は、さらに、複数の所定ライン上の輝度勾配の平均値を算出する輝度勾配平均値算出部42と、異なる時間に領域検出部20で検出された領域が、同一光源による像であるか否かを判定する類似性算出部44と、算出された白濁度合の確信度を決定する確信度決定部46を備えている。
そして、実施例1に係るレンズ白濁状態診断装置8は、撮像部10で撮像された画像の中から接近車両を検出する接近車両検出部60と、接近車両検出部60で接近車両が検出されたときに、インジケータやブザーによって注意喚起する警報出力部70と、を備えるBSWシステム9と共に動作する。
次に、実施例1に係るレンズ白濁状態診断装置8におけるレンズ白濁状態の診断方法について、図3を用いて説明する。
実施例1に係るレンズ白濁状態診断装置8では、撮像部10が撮像した車両5と同一の車線Lを走行している後続車両の前照灯の像を利用して、その前照灯の像の中の所定ライン上の輝度勾配に基づいて、レンズの白濁状態を診断する。
これは、前照灯のような強い光源の像は、レンズの白濁によって散乱するため、レンズの白濁度合に応じて像の明るい領域の広がり方が変化し、白濁度合が高いほど、明るい領域がより広がった像として観測されることを利用するためである。また、前照灯の光は強いため、SNの高い画像信号が得られ、白濁度合に応じた輝度勾配の変化量も大きくなるため、診断の確実性が向上する。
なお、この方法によると、レンズ12の白濁状態の診断は、前照灯の像が観測される夜間にしか実行できない。しかし、昼間は、前照灯のように強い光源が撮像部10に直接入射することは少ないため、レンズ12に多少の白濁があっても、BSWシステム9の動作に問題は生じない。
図3(a),(b)は、レンズ白濁状態診断装置8の撮像部10で実際に観測された、車両5と同一車線を走行している後続車両の前照灯を含む画像I(x,y)である。そして、図3(a)はレンズ12が白濁していない場合の画像を示し、図3(b)は、レンズ12が白濁している場合の画像を示している。
図3(a),(b)の画像の下に示したグラフは、前照灯の像の中の探索開始点Oを始点として、左方向に延びる探索方向(ライン)OP上の輝度値の分布(以後、輝度分布と呼ぶ)と、前照灯の像の中の探索開始点Oを始点として、右方向に延びる探索方向(ライン)OQ上の輝度分布を1枚のグラフに示したものである。
図3(a)において、探索方向OP上の輝度分布が、しきい値A(第1のしきい値)を下回ってから、しきい値Aよりも小さいしきい値B(第2のしきい値)を下回るまでの左右方向画素数をL、また、探索方向OQ上の輝度分布が、しきい値Aを下回ってから、しきい値Aよりも小さいしきい値Bを下回るまでの左右方向画素数をRとしたときに、輝度勾配gを、輝度差D(=A−B)を用いて、D/L(探索方向OP上の輝度勾配)、および−D/R(探索方向OQ上の輝度勾配)として算出すると、白濁していない図3(a)の場合は、輝度勾配gの絶対値は大きな値となり、輝度分布の広がりは狭く急峻になる。
一方、図3(b)の場合は、輝度勾配gの絶対値は小さな値となり、輝度分布の広がりは広くなる。
実施例1に係るレンズ白濁状態診断装置8は、この輝度勾配gの大きさを利用して、レンズの白濁状態を診断する。すなわち、輝度勾配gの絶対値が大きいほど、白濁度合が高いと診断される。なお、詳しくは後述するが、本発明にあっては、白濁状態診断の確実性を高めるために、輝度勾配gが大きい状態が一定期間継続した場合に、白濁が発生していると判断している。
次に、実施例1に係るレンズ白濁状態診断装置8におけるレンズ白濁状態診断の流れについて、図4を用いて説明する。
図4は、実施例1に係るレンズ白濁状態診断装置8におけるレンズ白濁状態診断を行うメインルーチンのフローチャートである。
まず、ステップS10にて、接近車両検出部60において、車両5の車速を検知する。車速が、例えば30km/h以上であるときは、ステップS11に進んで、BSWシステム9が起動される。一方、車速が30km/hに満たないときは、ステップS10を繰り返す。
次に、ステップS12において、撮像部10で車両5の後方の画像を撮像する。そして、レンズ12を透過した光信号が、CMOS素子で構成された光電変換部14において電気信号に変換されて、さらに、ゲイン調整部16で増幅されて、画像信号I(x,y)が生成される。以後、画像信号I(x,y)を単に画像I(x,y)と呼ぶ。
ゲイン調整部16は、光電変換部14において変換された電気信号のレベルを確認して、所定のレベルになるように、適切なゲインを与えてこれを増幅し、画像I(x,y)としている。これによって、暗い環境であっても、適切なゲインによってSN比が高い画像I(x,y)が得られる。なお、このゲイン調整は、撮像とともに随時実行されて、ゲイン調整部16では、最新のゲインの値がモニタできる構成になっている。
次に、ステップS13において、ゲインの値が所定値以上であるか否かが判定される。ゲインの値が所定値以上であるとき、すなわち、画像I(x,y)を撮像した環境が夜間であると判定されたときはステップS14に進み、それ以外のときは、画像I(x,y)を撮像した環境は昼間であると判定して、レンズ白濁状態診断を行わずに、BSWシステム9のみが動作した状態となる。
次に、ステップS14にて、領域検出部20において、撮像された画像I(x,y)の中から、車両5と同じ車線Lを走行している後続車両の前照灯の像の領域を検出する。この処理の手順は図5に示すが、その詳細については後述する。
そして、ステップS15にて、輝度勾配算出部30において、ステップS14で検出した前照灯の像の領域の中の輝度勾配を算出する。この処理の手順は図9に示すが、その詳細については後述する。
次に、ステップS16にて、白濁度合算出部40において、ステップS15で算出された輝度勾配に基づいて、レンズ12の白濁度合が算出される。この処理の手順は図11に示すが、その詳細については後述する。
そして、ステップS17にて、ステップS16で算出されたレンズ12の白濁度合U等のパラメータが、白濁度合引き渡し部50を通して、接近車両検出部60に引き渡される。
次に、ステップS18にて、接近車両検出部60は、引き渡されたレンズ12の白濁度合等に応じて、BSWシステム9の挙動を適切に切り替える。この処理の手順は図13に示すが、その詳細については後述する。
次に、図4のステップS14の領域検出処理について、図5のフローチャート、および図7の画像を用いて詳細に説明する。
まず、図5のステップS20において、撮像部で撮像された画像I(x,y)を縮小して、例えば、縦方向1/4、横方向1/6のサイズに変更して、縮小画像I’(x,y)を生成する。
このように画像を縮小するのは、画像のサイズを小さくして画像処理を行う際に要するメモリを削減して、なおかつ、処理速度を向上させるためである。なお、具体的な縮小率は、使用する計算機環境、および、白濁度合を診断することができる画像の分解能を勘案して決定されるものであり、前記した値に限定されるものではない。
また、前記した画像の縮小は、画素の間引きによって行うが、これは近傍画素の輝度値の平均化を行って、縮小してもよい。この処理によって、図7(a)に示す画像が、図7(b)に示す画像のように縮小される。
次に、ステップS21において、ステップS20で縮小した縮小画像I’(x,y)の中に、車両5と同じ車線Lを走行する後続車の、前照灯の像が写る領域を設定する。これは、後続車の前照灯が写る位置は予め予想できるため、以後の処理を効率的に行うための措置である。
図6に、ここで設定される処理エリアの概要を示す。図6に示すように、横方向画素数m、縦方向画素数nの画像に対して、左上を(x1,y1)として、右下を(x2,y2)とする処理エリアEが設定される。
この処理エリアEの上下方向位置は、撮像部10の車両5への取り付け位置によって定まる消失点の上下方向座標V(図6参照)の位置を基準にして設定される。
また、この処理エリアEの左右方向位置は、撮像部10の車両5への取り付け位置に応じて設定される。すなわち、撮像部10が車両5の中央に設置されていれば、処理エリアEは、縮小画像I’(x,y)の中に左右対称に設定される。図6の場合、撮像部10の車両5への取り付け位置がオフセットしているため、それに伴って、左右非対称な位置に処理エリアEが設定される。このように処理エリアEを設定することによって、縮小画像I’(x,y)全体を処理する必要がなくなるため、処理の効率が向上する。
次に、図5のステップS22において、ステップS21で設定した処理エリアEの内部について、縮小画像I’(x,y)を所定のしきい値で2値化する。所定のしきい値は、車両5と同じ車線Lを走行する後続車の前照灯の像が検出できる値が、予め実験等によって求められて、領域検出部20に記憶されている。この2値化処理によって、図7(c)に示す2値画像が得られる。
次に、図5のステップS23において、ステップS22で生成した2値画像に対して、ラベリング処理が行われる。ラベリング処理とは、2値画像に対して施される処理であって、2値画像を形成する領域の各々に番号を付ける処理である。
次に、図5のステップS24において、ステップS23でラベリング処理された画像の中、前照灯の像があるか否かが判定される。ここで行われる処理について、図8(a),(b)を用いて説明する。
撮像部10で撮像される、車両5と同じ車線Lを走行する後続車の前照灯の像は、図8(a)に示す領域Rのように略円形状になるため、ラベリング処理された各々の領域に対して、領域の面積が、その領域に外接する矩形領域(縦方向画素数H、横方向画素数W)の面積HWに対して、所定の割合以上を占めていること、および、領域に外接する四角形の幅と高さが所定割合以上異ならないこと、が判定される。
面積の判断基準は(式1)で表され、外接する四角形の幅と高さの判断基準は(式2)で表される。
S>HW×Th (式1)
W<H×Th かつ H<W×Th (式2)
ここで、Sは領域の面積であり、Thは矩形領域に対する面積占有率のしきい値(Th<1)であり、Thは矩形領域の横方向の長さを制限するしきい値(Th>1)であり、Thは矩形領域の縦方向の長さを制限するしきい値(Th>1)である。
この判定によって、例えば、図8(b)に示す領域R,R,Rのような形状の領域は、前照灯の像ではないと判断されて棄却される。
この判定によって、図7(d)に示すように、条件を満足する領域が1つ選択される。なお、条件を満足する領域が複数見つかったときには、最も面積の大きい領域を1つ選択する。そして、条件を満たす領域が見つからなかったとき(ステップS24がNOのとき)は、メインルーチン(図4)に戻る。
次に、ステップS25において、ステップS24で選択された領域の重心位置Gが算出される。領域の重心位置Gの座標をG(Gx、Gy)とすると、重心位置Gの左右方向位置Gxは、領域を構成する全ての画素の左右方向座標の総和を領域の面積で除して算出され、重心位置Gの上下方向位置Gyは、領域を構成する全ての画素の上下方向座標の総和を領域の面積で除して算出される。そして、図5の処理を終了してメインルーチン(図4)に戻る。
次に、図4のステップS15の輝度勾配算出処理について、図9,図10を用いて詳細に説明する。図9は、輝度勾配算出部30で行われる輝度勾配算出処理の流れを示すフローチャートである。そして、図10は、輝度勾配を算出する所定ラインの一例と、その所定ラインにおいて算出される輝度勾配の一例について説明する図である。
まず、図9のステップS30において、縮小画像I’(x,y)の中に、輝度勾配gを算出するための探索開始点Oを設定する。
探索開始点Oの設定方法について、図10を用いて説明する。図10は、図5で説明した領域検出処理によって検出された前照灯の像の領域Rと、その中の所定ラインの輝度分布を示すものである。
例えば雨天走行時にあっては、撮像される画像I(x,y)の中に、車両5が巻き上げるスプラッシュや、後続車両の前照灯の路面反射や、隣接車線を走行している車両の前照灯などが、明るい像として出現する。そして、これらの像は、本来取得したい、車両5と同じ車線Lを走行する後続車の前照灯の像の領域Rと重なる位置に出現する可能性、あるいは、領域Rに近接した位置に出現する可能性がある。そして、これらの像は、領域Rの輝度勾配gを乱す要因となる。
したがって、これらの像が混入した場合であっても、その像に影響されずに輝度勾配gを算出できるように、探索開始点Oと探索方向(ライン)を設定する必要がある。
走行路面に水分が存在する場合、車両5のタイヤの回転によって路面上の水分が空中に巻き上げられて、スプラッシュが発生する場合がある。その際、空中に浮遊する細かい水分が後続車両の前照灯等に照らされて、縮小画像I’(x,y)における領域Rの下部に明るい像を形成する。
また、後続車両の前照灯の路面反射は、縮小画像I’(x,y)の中で、領域Rよりも下部に出現する。
さらに、隣接車線を走行している車両の前照灯の像は、縮小画像I’(x,y)の中で、領域Rとほぼ同じ上下方向位置に出現する可能性が高い。
したがって、縮小画像I’(x,y)の中で、領域Rの重心位置Gからできるだけ上部において、領域Rの輝度勾配gを算出すると、前記した像の影響を軽減することができる。
そのため、本実施例1では、図10に示すように、領域Rの重心位置Gと、領域Rの最上部の点Jの間に、輝度勾配gを算出するための探索開始点Oを設定する。
実際には、探索開始点Oの上下方向座標をOy、領域Rの最上部の点Jの上下方向座標をJyとして、(式3)によってOyを求める。
Oy=Jy+(Gy−Jy)/Th (式3)
ここで、しきい値Thには0より大きい値が設定される。なお、しきい値Thの値は、実験等に基づいて設定すればよい。
次に、ステップS31において、輝度勾配を算出するための探索方向を設定する。本実施例では、探索開始点Oを通り、領域Rの重心位置Gを通過する水平ラインと平行になる探索方向が、探索方向OP,探索方向OQとして設定される。こうして設定された探索方向OP,探索方向OQが、前記した所定ラインとなる。
次に、ステップS32において、探索方向OP上で、探索開始点Oから点Pに向かって、縮小画像I’(x,y)に格納された輝度値を読み取って、輝度分布を算出する。
さらに、ステップS33において、探索方向OQ上で、縮小画像I’(x,y)に格納された輝度値を読み取って、輝度分布を算出する。
こうして算出された輝度分布は、図10の下部に示すグラフのようになる。なお、このグラフは、説明をわかりやすくするために、探索方向OP上の輝度分布と探索方向OQ上の輝度分布を1つのグラフに表している。
次に、ステップS34において、輝度分布の左右の裾野の大きさを求める。ここでは、予め、輝度値のしきい値Aと、Aよりも小さい輝度値のしきい値Bを準備しておき、先に作成した輝度分布を、探索開始点Oから点Pに向かって左方向に探索して、輝度値がしきい値Aを下回る位置と、輝度値がしきい値Bを下回る位置との間隔を、左右方向画素数Lwとして算出する。そして、探索開始点Oから点Qに向かって右方向に探索して、輝度値がしきい値Aを下回る位置と、輝度値がしきい値Bを下回る位置との間隔を、左右方向画素数Rwとして算出する。
なお、図9には記載を省略したが、探索方向に亘って輝度値を読み取った際に、読み取った輝度値がしきい値Aを下回った後で、再度しきい値Aを越える輝度値が出現したとき、もしくは、隣接画素の輝度値に対して、しきい値Cを越える輝度値の上昇があったときには、別の光源等の像が混入しているものと判断して、輝度値の読み取りを打ち切る。そして、輝度値の読み取りが打ち切られたときは、メインルーチン(図4)に戻って、次の画像入力を行う。
次に、ステップS35において輝度勾配gを算出する。具体的には、前記したしきい値Aとしきい値Bの差分値である輝度差D(=A−B)を用いて、探索方向OP上の輝度勾配gをD/Lwとして算出し、探索方向OQ上の輝度勾配gを−D/Rwとして算出する。そして、図9の処理を終了してメインルーチン(図4)に戻る。
次に、図4のステップS16の白濁度合算出処理について、図11,図12を用いて詳細に説明する。図11は、白濁度合算出部40で行われる白濁度合算出処理の流れを示すフローチャートである。そして、図12は、白濁度合の確信度の推移を表す状態遷移について説明する図である。
まず、ステップS40において、領域Rの左右の輝度勾配gに対称性があるか否かが判定される。この対称性は、(式4)によって算出される輝度勾配gのギャップGが、所定のしきい値Th以下であるか否かを確認することによって行われる。
=(|Lw|−|Rw|)/(|Lw|+|Rw|) (式4)
複数の領域が左右方向に連接して出現した場合には、先に算出した輝度勾配gの大きさが左右で異なるため、(式4)で算出されたギャップGがしきい値Thよりも大きくなる。そして、その場合には白濁度合の算出は行わずに、ステップS48に移行する。
次に、ステップS41において、レンズ12の白濁度合Uが算出される。白濁度合Uは、(式5)に示すように、先に算出した左右の輝度勾配gの平均値によって算出される。
U={(D/Lw)+(D/Rw)}/2 (式5)
こうして算出された白濁度合Uが、レンズ白濁状態診断装置8による白濁度合いの診断結果となる。なお、この処理は、図1に示す輝度勾配平均値算出部42において行われる。
次に、ステップS42において、先に検出した領域Rが、その1回前の処理で検出した領域Rと同一であるか否か、すなわち、同一の光源による像と考えられるか否かが判定される。
この判定は、過去の処理によって算出された白濁度合Uの平均値Ave(U)と、(式5)で算出された最新の白濁度合Uを比較することによって行われ、過去の白濁度合Uの平均値Ave(U)と、最新の白濁度合Uとの差が小さいときに、同一光源によって生じた像による領域であると判定される。
この処理は、図1に示す類似性算出部44において行われ、具体的には、(式6)を満足するときに、同一の光源による像であると判定される。
ThLOW < U/Ave(U) < ThHIGH (式6)
ここで、ThLOWは、同一光源による像と判定する最低しきい値であり、ThHIGHは、同一光源による像と判定する最大しきい値である。
ステップS42において、同一光源による像であると判定されると、次に、ステップS43において、同一光源によるとみなせる像が連続して検出されたことを示す通算回数Tがインクリメントされて、ステップS44に進む。なお、ステップS43以降の処理は、図1に示す確信度決定部46において行われ、ステップS43でインクリメントされた通算回数Tの値は、随時、確信度決定部46に記憶される。
一方、ステップS42において、同一光源による像でないと判定されると、次に、ステップS47において、通算回数Tがデクリメントされて、ステップS48に進む。なお、ステップS42の処理は、図1に示す確信度決定部46において行われ、ステップS47でデクリメントされた通算回数Tの値は、随時、確信度決定部46に記憶される。
次に、ステップS44において、先にステップS41で算出された白濁度合Uが、確信度決定部46に記憶される。
そして、ステップS45において、先にステップS41で算出された白濁度合Uを用いて、過去の処理によって算出された白濁度合Uの平均値Ave(U)が更新される。更新された白濁度合Uの平均値Ave(U)の値は、確信度決定部46に記憶される。
次に、ステップS46において、白濁度合Uの誤差eが算出される。誤差eは、ステップS45で更新した白濁度合Uの平均値Ave(U)と、平均値Ave(U)から算出した標準偏差STD(Ave(U))を用いて、(式7)によって求められる。
=STD(Ave(U))/Ave(U) (式7)
次に、ステップS48において、算出された白濁度合Uの確信度Fが判定される。確信度Fは、前記した通算回数Tの値によって表される。そして、Tの値が大きいほど、すなわち、連続して同一光源によると考えられる像が検出されたときほど、白濁度合Uの確信度Fが高いと判定される。
本実施例では、図12に示すように、確信度Fを4つのレベル(Ph0,Ph1,Ph2,Ph3)に分けて管理する。そして、それぞれの確信度Fのレベルは、Tの値に応じて遷移する。
すなわち、図12において、初期状態では、確信度FのレベルはPh0であり、同一光源によるものとみなせる像が連続して検出されたことを示す通算回数Tの値が39を越えると(処理周期を0.5秒とすると19.5秒間に相当)、確信度FのレベルはPh1に移行する。その後、通算回数Tの値が79を越えると(処理周期を0.5秒とすると39.5秒間に相当)確信度FのレベルはPh2に移行し、さらに、通算回数Tの値が129を越えると(処理周期を0.5秒とすると64.5秒間に相当)確信度FのレベルはPh3に移行する。
一方、確信度FのレベルはPh3にあったとき、通算回数Tの値がデクリメントされて118を下回ると確信度FのレベルはPh2に移行し、その後、通算回数Tの値が78を下回ると確信度FのレベルはPh1に移行し、さらに、通算回数Tの値が38を下回ると確信度FのレベルはPh0に移行する。
確信度Fが別のレベルに遷移した際には、すぐに元のレベルに戻ってしまうハンチングを防止するため、確信度Fが高いレベルに遷移したときには通算回数Tに10を加算し、また、確信度Fが低いレベルに遷移したときには通算回数Tから20を減算する措置を講じるようにしてもよい。そして、確信度Fの更新が実行されると、図11の処理を終了してメインルーチン(図4)に戻る。
なお、前記したステップS40において、図11には記載していないが、領域Rの左右の輝度勾配gに対称性がないと判定された場合には、ステップS48において、通算回数Tの値をデクリメントしてもよい。
メインルーチン(図4)に戻った後、図4のステップS17において、ステップS16で算出されたレンズ12の白濁度合U、白濁度合の誤差e、および確信度Fが、白濁度合引き渡し部50によって、接近車両検出部60に引き渡される。
そして、図4のステップS18にて、接近車両検出部60、および警報出力部70において、図13のフローチャートに従って、BSWシステム9の挙動制御が行われる。以下、この処理の詳細について、図13を用いて説明する。
まず、図13のステップS50において、白濁度合Uが所定のしきい値Th以下であり、白濁度合Uの誤差eが所定のしきい値Th以下であり、かつ、確信度FがPh3であるか否かが判定される。すなわち、高い確信度で、白濁度合が高いと診断されたことが確認される。
ステップS50の条件を満足していると判定されると、レンズ12の白濁度合Uが高いと判断して、ステップS51においてBSWシステム9はフェール状態に移行する。そして、接近車両検出部60,および警報出力部70はその機能を停止して、BSWシステム9が、レンズ12の白濁によってフェール状態に移行したことが運転者に報知される。そして、図13の処理を終了して、メインルーチン(図4)に戻る。
そして、一度フェール状態に移行したときには、予め用意されたタイマーを起動して、所定の時間が経過するまでは、フェール状態を維持するようにする。
そして、車両5の運転者は、車両5を停止したタイミングでレンズ12の白濁度合をチェックし、必要に応じて白濁を取り除くことによって、BSWシステム9を再度使用可能とすることができる。
一方、ステップS50の条件を満足していないと判定される、すなわち、白濁度合Uが高いと判断されないときには、図13の処理を終了してメインルーチン(図4)に戻り、BSWシステム9は動作を継続する。
なお、BSWシステム9の挙動制御は、前記したようにシステムをフェールすることに限定されるものではない。すなわち、レンズ12の白濁度合Uが高いときには、接近車両検出部60で行う画像処理におけるエッジ検出のしきい値を小さくして、車両6を構成するエッジ構成点が、レンズ12の白濁によってぼけや滲みを生じても、これを確実に検出できるようにしてもよい。また、白濁度合U、白濁度合の誤差e、および確信度Fを利用して、別の挙動制御を行ってもよい。
以上説明したように、このように構成された本発明のレンズ白濁状態診断装置8によれば、車両5に設置されて、車両5の周囲を撮像する撮像部10において、レンズ12を透過した光信号が、光電変換部14で画像信号I(x,y)に変換されて、領域検出部20が、こうして変換された画像信号I(x,y)の中から、所定の明るさを超える輝度値を有し、所定以上の面積を有する略円形状の領域Rを検出する。そして、輝度勾配算出部30が、こうして検出された領域Rの中に、探索開始点Oから探索方向(ライン)OP,OQを設定して、設定されたラインが通過する画素の輝度値を読み取って、そのライン上の輝度勾配gを算出する。さらに、白濁度合算出部40が、輝度勾配算出部30で算出された輝度勾配gに基づいてレンズ12の白濁度合Uを算出するため、高い輝度値を有する画素で構成された領域Rの中の所定のラインのみに着目することによって、レンズ12の白濁度合Uに応じて変化する輝度勾配gを安定して検出することができ、これによって、白濁度合Uを確実に診断することができる。
また、本発明のレンズ白濁状態診断装置8によれば、車両5の周囲の光を画像信号に変換する際のゲインを調整するゲイン調整部16において、ゲインが所定値よりも大きい値に調整されたときに限って、撮像部10で撮像された画像信号I(x,y)に対して、白濁度合算出部40で白濁度合Uを算出するため、照明等の明るい光源の像が高いSN比で観測される暗い環境においてのみレンズ12の白濁度合Uを診断するため、レンズ12の白濁によって散乱して広がった像を確実に検出できるため、白濁度合Uを確実に診断することができる。
そして、本発明のレンズ白濁状態診断装置8によれば、輝度勾配gを算出する探索方向(ライン)OP,OQを、探索開始点Oの左右方向位置を、領域Rの重心位置Gの左右方向位置Gxとして、探索開始点Oの上下方向位置を、領域Rの重心位置Gを通る水平ラインと領域Rの最上部を通る水平ラインの間の位置として、探索開始点Oから、水平方向左に向かう探索方向OP、および、領域Rの重心位置Gを通って画像の上下方向に延びる線分に関して、探索方向OPと左右対称な探索方向OQとして設定するため、領域Rの重心位置Gよりも画像の下部に出現する、車両5が巻き上げるスプラッシュや、後続車両の前照灯の路面反射や、隣接車線を走行している車両の前照灯等の混入を防止することができ、これによって、信頼性の高い輝度勾配gを算出することができるため、信頼性の高い白濁度合Uの診断を行うことができる。さらに、探索方向を左右対称な方向に設定したため、光源の像の広がりの対称性を利用して、輝度勾配gのギャップGを評価することができ、これによって、より信頼性の高い輝度勾配gを算出して、より確実に白濁度合Uを診断することができる。
さらに、本発明のレンズ白濁状態診断装置8によれば、撮像部10によって撮像された別の車両の、点灯した前照灯によって形成される領域Rの中の輝度勾配gに基づいて白濁度合Uを診断するため、SNの高い像が得られることによって、確実に白濁度合Uを診断することができる。
また、本発明のレンズ白濁状態診断装置8によれば、車両5の後方にあって、車両5と同一車線を走行している車両の、点灯した前照灯によって形成される領域Rの中の輝度勾配gに基づいて白濁度合Uを診断するため、予め予期される位置に光源の像を観測することができるため、光源の像を検出する領域を制限することができ、これによって、画像信号処理の効率を向上させることができる。
そして、本発明のレンズ白濁状態診断装置8によれば、輝度勾配gは、所定の探索方向(ライン)OP,OQが通過する縮小画像I’(x,y)の輝度値が第1のしきい値Aを下回ってから、第1のしきい値よりも小さい第2のしきい値Bを下回るまでの間の、探索方向OP,OQ上の画素数として算出されるため、簡単な処理によって輝度勾配gを確実に算出することができる。
さらに、本発明のレンズ白濁状態診断装置8によれば、白濁度合算出部40は、異なるタイミングで撮像された画像信号I(x,y)から検出された領域Rの類似性を算出する類似性算出部44と、類似性が所定値よりも高い状態が連続したときに、撮像された回数に応じて、白濁度合Uの確信度Fを決定する確信度決定部46と、を有するため、白濁度合Uの診断結果の信頼性を向上させることができる。
また、本発明のレンズ白濁状態診断装置8によれば、類似性は、過去の複数の白濁度合Uの平均値Ave(U)と、最新の白濁度合Uとの比率が所定の範囲内にあるときに、類似性が高いと判断するため、簡単な信号によって白濁度合Uの診断結果の信頼性を向上させることができる。
なお、実施例1において、車両5の車速が所定値以上であるときに白濁度合Uの診断を行っていた。これは、白濁度合Uの診断と同時に実行しているBSWシステム9が、一定車速以上で動作するシステムであるため、白濁度合Uの診断の実施を、BSWシステム9の動きに合わせたためである。しかし、これは、車速による制限を行う必要はなく、車速が0であっても白濁度合Uの診断を行うように変更してもよい。
また、実施例1において、撮像部10の光電変換部14はCMOSタイプの素子を用いる構成で説明したが、これはCMOSタイプの素子に限定されるものではない。すなわち、CCDタイプの素子を用いても構わない。ただし、CCDタイプの素子を用いた場合、前照灯のような高輝度光源を撮像すると、光電変換部14に蓄積された電荷がオーバーフローする現象(スミア)が生じて、前照灯の像の上下に、像と同じ幅の明るい帯が発生するため、細長い縦長の矩形領域を除去するフィルタリング処理を行って、スミアによって生じる帯を除去した後で、前記した処理を実行すればよい。
なお、実施例1において、レンズ白濁状態診断装置8と同時に作動する車載画像処理システムは、BSWシステム9に限定されるものではない。すなわち、車線のはみ出しを検出して報知するLDW(Lane Departure Warning)システムや、その他のシステムに適用することも可能である。
さらに、実施例1においては、レンズ12の表面に生じる白濁度合を診断したが、白濁度合の診断と同時に実行される車載画像処理システムによっては、撮像部10は車両5の室内に設置されて、車両5のウインドシールドを通して外部を観測する構成になっている場合もある。その場合、白濁が生じるのは、レンズ12の表面ではなく、車両5のウインドシールドの前面である。そして、実施例1にあっては、ウインドシールド前面の白濁度合であっても、前記した処理と同じ処理によって診断することが可能である。
次に、本発明に係るレンズ白濁状態診断装置の第2の実施例について説明する。
本実施例は、実施例1と同様に、本発明に係るレンズ白濁状態診断装置を、BSWシステムが実装された車両に適用した例である。実施例1との違いは、白濁度合を診断するために算出する輝度勾配を算出する所定ラインの設定方法が異なる点と、白濁度合が高いときに、レンズの表面を洗浄するレンズ洗浄機能を有する点である。
以下、本発明に係るレンズ白濁状態診断装置の第2の実施形態について、図面を参照して説明する。
図14は、本実施例に係るレンズ白濁状態診断装置を、BSWシステムに適用した例である。
図14に示すように、実施例2に係るレンズ白濁状態診断装置11は、車両5(図1に図示)の後部ライセンスプレート付近に設置されて、図1に示した範囲ωを観測する撮像部10と、撮像部10で撮像された画像の中から、後続車両の前照灯の像を検出する領域検出部20と、領域検出部20で検出された領域の中の所定ライン上の輝度勾配を算出する輝度勾配算出部32と、輝度勾配算出部32で算出された輝度勾配に基づいて、レンズ12の白濁度合を算出する白濁度合算出部41と、白濁度合算出部41で算出された白濁度合を、後述するレンズ洗浄部54と、接近車両検出部60に引き渡す白濁度合引き渡し部52と、を備えている。
また、前記白濁度合算出部41は、さらに、異なる時間に領域検出部20で検出された領域が、同一光源による像であるか否かを判定する類似性算出部44と、算出された白濁度合の確信度を決定する確信度決定部46を備えている。
そして、実施例2に係るレンズ白濁状態診断装置11は、撮像部10で撮像された画像の中から接近車両を検出する接近車両検出部60と、接近車両検出部60で接近車両が検出されたときに、インジケータやブザーによって注意喚起する警報出力部70と、を備えるBSWシステム9と共に動作する。
また、実施例2に係るレンズ白濁状態診断装置11は、レンズ12の表面を洗浄する洗浄機能を備えたレンズ洗浄部54を備えている。
次に、実施例2に係るレンズ白濁状態診断装置11におけるレンズ白濁状態の診断方法について説明する。レンズ白濁状態の診断方法は、実施例1で説明した内容とほぼ同様であり、その流れは、前記した図4とほぼ同様であるため、相違のある部分について、以下に説明する。
ゲイン調整部16のゲインの値が所定値よりも大きいときに限って、レンズ白濁状態の診断を行う点は、実施例1と同様である。そして、車両5と同一の車線Lを走行している後続車両の前照灯の像を利用して、その前照灯の像の中の所定ライン上の輝度勾配に基づいて、レンズの白濁状態を診断する点も、実施例1と同様である。
そして、輝度勾配算出部32における輝度勾配の算出方法は、実施例1と異なっている。以下、輝度勾配の算出方法について、図15,図16を用いて詳細に説明する。図15は、輝度勾配を算出する所定ラインの一例と、その所定ラインにおいて算出される輝度勾配の一例について説明する図である。そして、図16は、輝度勾配算出部32で行われる輝度勾配算出処理の流れを示すフローチャートである。
本実施例にあっては、図15に示すように、探索開始点Oの上下方向座標Oyは、領域Rの重心位置Gと、領域Rの最上部の点Jの間に、設定される(ステップS60)。
そして、領域Rの重心位置Gから領域Rの周縁に向かう方向に、輝度値を探索する探索方向OPが設定される(ステップS61)。
こうして、図15に示すように、領域Rの重心位置Gから、重心位置Gを通る上下方向の直線に対して角度θ方向に、探索開始点Oから領域Rの周縁に向かう探索方向OPが設定される。
そして、探索方向OP上の輝度分布を読み取ると、図15に示すグラフのような輝度分布が得られる(ステップS62)。
この輝度分布から、探索方向OP上の輝度分布が、しきい値A(第1のしきい値)を下回ってから、しきい値Aよりも小さいしきい値B(第2のしきい値)を下回るまでの、角度θ方向の画素数Lθが算出される(ステップS63)。
そして、輝度勾配gが、輝度差D(=A−B)を用いて、D/Lθとして算出される(ステップS64)。
このように、輝度勾配gを算出する探索方向は、実施例1に記載したように左右方向に限定されるものではなく、領域Rの重心位置Gから、上下方向に対して角度θ方向に設定することもできる。そして、このような設定であっても、領域Rの重心位置Gから上方に探索方向を設定することができるため、設定された探索方向の中には、車両5が巻き上げるスプラッシュや、後続車両の前照灯の路面反射や、隣接車線を走行している車両の前照灯による像が混入しにくい。したがって、それらの像に影響されずに、正確な輝度勾配gを算出することができる。
次に、算出された輝度勾配gを、ゲイン調整部16で調整されたゲインの値に応じて補正する。すなわち、ゲインの値が所定値K以上のとき(ステップS65がYESのとき)は、算出された輝度勾配gに、所定値Kの自然対数を乗算して、新たな輝度勾配gとする(ステップS66)。
また、ゲインの値が所定値Kよりも小さいとき(ステップS65がNOのとき)は、算出された輝度勾配gに、ゲイン調整部16で調整された現在のゲインの自然対数を乗算して、新たな輝度勾配gとする(ステップS67)。
このような補正を行うのは、ゲインの値が0から所定値Kの範囲にあるときは、ゲインの値と撮像された画像の輝度値の関係が対数関数で近似できるため、撮像された画像の輝度値に、その画像を撮像したときのゲインの値の自然対数を乗算することによって、より正確な輝度値に補正できるためである。そして、このような補正を行うことによって、より正確な輝度勾配gを算出することができ、これによって、白濁度合Uをより正確に診断することができる。
こうして、輝度勾配gが算出された後で、実施例1では、左右2方向の輝度勾配gを平均化して白濁度合Uを算出していた。しかし、実施例2では、1つの方向の輝度分布から輝度勾配gは算出しているため、算出された輝度勾配gが、そのまま白濁度合Uになる。
また、実施例1では、2方向の輝度分布に基づいてギャップGを算出し、光源の像の対称性を評価していたが、実施例2では、その対称性の評価も行わない。
したがって、実施例2における白濁度合診断の流れは、実施例1で説明した図11のフローチャートの中から、左右の対称性を評価するステップS40と、2方向の輝度勾配gを平均化して白濁度合を算出するステップS41を削除したフローチャートになる。
そして、実施例1と同様にして、同じ光源による像であるか否かが判定されて、同じ光源によると考えられる像が連続して検出されるにつれて確信度Fが向上して、これによって白濁度合Uの診断の確実性が向上する。
そして、診断された白濁度合Uが所定のしきい値Th以下であり(白濁度合が高く)、白濁度合Uの誤差eが所定のしきい値Th以下であり、さらに、確信度FがPh3であるときには、レンズ12が白濁していると判断されて、白濁度合U等のパラメータが、白濁度合引き渡し部52を通して、接近車両検出部60とレンズ洗浄部54に送られる。
そして、レンズ洗浄部54において、レンズ12の表面に洗浄液を噴射して、レンズ12の表面の洗浄が行われる。
また、BSWシステム9は、白濁度合U等のパラメータを受け取った後、レンズ12の洗浄が行われている間は、BSWシステム9をフェール状態にする等の挙動制御を行う。そして、レンズ12の洗浄が終了した後で、再びBSWシステム9が起動する。
なお、レンズ12の洗浄が終了した後で、前記した白濁診断を実行して、白濁が確実に除去されていることを確認した後で、BSWシステム9を起動するようにしてもよい。
このように、実施例2にあっては、1方向のみで輝度勾配を算出したが、探索方向OPを、後続車の前照灯以外の像が混入しにくい方向に設定できるため、信頼性の高い輝度勾配を算出することができ、白濁度合を正確に診断することができる。さらに、輝度分布の作成が短時間で実行できるため、処理の効率化が図れる。
なお、輝度勾配gを算出するための探索方向は、前記した方向に限定されるものではなく、図17(a)〜図17(e)に示すような設定が可能である。
すなわち、図17(b)に示すように、領域Rの内部において、領域Rの重心位置Gを通る上下方向に延びる直線上の、重心位置Gよりも上部に探索開始点Oを設定して、そこから左方向に延びる水平線分を探索方向Oとしてもよい。また、図17(c)に示すように、領域Rの内部において、領域Rの重心位置Gを通る上下方向の直線上の、重心位置Gよりも上部に探索開始点Oを設定して、そこから上方向に延びる垂直線分を探索方向Oとしてもよい。
また、実施例1で説明したように、探索方向を複数設定してもよい。その際、実施例1で説明した左右方向に延びる探索方向のみならず、図17(a)に示すように、領域Rの内部に、領域Rの重心位置Gから、上下方向に延びる直線に対して、それぞれ角度θをもって左右上方に延びる探索方向O,Oを設定してもよい。なお、この場合も、探索開始点O,Oは、領域Rの重心位置Gより上方に設定する。
そして、このように複数の探索方向を設定した場合は、実施例1で説明したように、複数の探索方向でそれぞれ算出された輝度勾配gを平均化して白濁度合Uとすればよい。さらに、複数の探索方向を設定した場合は、実施例1で説明した輝度勾配のギャップGを算出して、この輝度勾配のギャップGに基づいて、検出された領域Rの妥当性を判定するようにしてもよい。
さらに、探索方向は、図17(d)に示すように、さらに多くの方向を設定することも可能である。図17(d)は、図17(a)に従って設定した探索方向O,Oの他に、左方向に延びる探索方向O,および、右方向に延びる探索方向Oを設定した例である。
そして、このようにして設定された複数の探索方向でそれぞれ算出された輝度勾配gは、平均化されて白濁度合Uとされるとともに、各々の輝度勾配gのギャップGが算出されて、検出された領域Rの妥当性が判定される。
なお、図17(a),(d)は、いずれも、領域Rの重心位置Gを通る上下方向の直線に関して左右対称になるように複数の探索方向を設定したが、左右対称な設定に限定されるものではない。すなわち、領域Rの重心位置Gを通る上下方向の直線に関して左右対称でない複数の探索方向を設定してもよい。
特に、レンズ12の表面の白濁が略円形状である場合、すなわち、領域Rの重心位置Gから見て、白濁に等方性がある場合には、領域Rの重心位置Gから領域Rの周縁に向かう探索方向に沿う輝度勾配gは、探索方向によらずにほぼ同じ形状になるため、探索方向の左右対称性を考慮せずに複数の探索方向を設定することができる。
そして、このようにして設定された複数の探索方向でそれぞれ算出された輝度勾配gは、平均化されて白濁度合Uとされるとともに、各々の輝度勾配gのギャップGが算出されて、検出された領域Rの妥当性が判定される。
なお、こうしてより多くの方向に探索方向を設定したときに、各々の探索方向で輝度勾配gを算出した後で、異常値を示した輝度勾配gが算出された探索方向を棄却して、それ以外の探索方向の輝度勾配gを平均化して白濁度合Uを算出してもよい。このようにすることによって、特定の探索方向に突発的にノイズが混入した場合には、その探索方向以外の探索方向で輝度分布を読み取って輝度勾配gを算出することができるため、ノイズの影響が緩和されることによって、信頼性の高い輝度勾配gを算出することができ、これによって、信頼性の高い白濁度合Uを算出することができる。
また、探索方向は、ラインでなく、図17(e)に示すように、細長い領域として設定することも可能である。図17(e)は、領域Rの内部に、領域Rの重心位置Gを通る上下方向の直線上に探索開始点Oを設定し、探索開始点Oから左方向に延びる探索方向Oと、右方向に延びる探索方向Oを設定した後、探索方向Oと探索方向Oにそれぞれ直交する方向に厚さtを有する領域を設定したものである。
そして、輝度勾配算出部32において、探索方向Oに亘って、設定した領域内部において、探索方向Oに直交する方向(厚さt方向)の輝度値の総和値を求めて、探索方向Oに沿って、その総和値の分布を算出する。
さらに、その総和値の分布から、先の説明と同様にして、輝度勾配gを算出する。なお、輝度勾配gを算出するときに設定した第1のしきい値Aと第2のしきい値Bは、それぞれ、設定した領域の厚さtに応じた別のしきい値として設定される。
探索方向Oについても、同様にして、輝度値の総和値の分布を算出し、その後、輝度勾配gを算出する。
その後、先の説明と同様にして白濁度合Uが算出されて、白濁度合Uの診断が行われる。
このように、探索方向に向かって延びる領域を設定することによって、探索方向としてラインを設定した場合と比べて、突発的なノイズが混入しても、そのノイズの影響が緩和されるため、安定した輝度勾配gを算出することができ、これによって、信頼性の高い白濁度合Uの診断を行うことができる。
以上説明したように、このように構成された本発明のレンズ白濁状態診断装置11によれば、輝度勾配gを算出する探索方向(ライン)を、探索開始点Oの左右方向位置を、領域Rの重心位置Gの左右方向位置Gxとして、探索開始点Oの上下方向位置を、領域Rの重心位置Gを通る水平ラインと領域Rの最上部を通る水平ラインの間の位置として、探索開始点Oから、水平方向左に向かう探索方向OPとして設定するため、領域Rの重心位置Gよりも画像の下部に出現する、車両5が巻き上げるスプラッシュや、後続車両の前照灯の路面反射や、隣接車線を走行している車両の前照灯等の混入を防止することができ、これによって、信頼性の高い輝度勾配gを算出することができるため、信頼性の高い白濁度合Uの診断を行うことができる。さらに、探索方向OPを1方向であるため、輝度分布の作成が短時間で実行でき、これによって処理の効率化を図ることができる。
また、本発明のレンズ白濁状態診断装置11によれば、輝度勾配gを算出する探索方向(ライン)を、領域Rの重心位置Gから領域Rの周縁に向けて延びるものとして、その探索開始点Oの上下方向位置を、領域Rの重心位置Gを通る水平ラインと領域の最上部を通る水平ラインの間としたため、設定された探索方向(ライン)の中には、車両5が巻き上げるスプラッシュや、後続車両の前照灯の路面反射や、隣接車線を走行している車両の前照灯による像が混入しにくい。したがって、それらの像に影響されずに、正確な輝度勾配gを算出することができる。
また、本発明のレンズ白濁状態診断装置11によれば、複数の探索方向(ライン)を組み合わせて探索方向を設定したため、いずれかの探索方向に突発的にノイズが混入した場合であっても、そのノイズによる影響を緩和することができるため、信頼性の高い輝度勾配gを算出することができ、これによって、信頼性の高い白濁度合Uを算出することができる。
また、本発明のレンズ白濁状態診断装置11によれば、輝度勾配算出部32は、ゲイン調整部16によって調整された撮像部10のゲインの値に基づいて、輝度勾配gを補正して新たな輝度勾配gとするため、より正確な輝度勾配gを算出することができ、これによって、白濁度合Uをより正確に診断することができる。
また、本発明のレンズ白濁状態診断装置11によれば、輝度勾配算出部32は、ゲイン調整部16によって調整された撮像部10のゲインの値が所定値Kに満たないときには、輝度勾配gに、ゲイン調整部16によって調整されたゲインの値の自然対数を乗じる補正を行い、ゲイン調整部16によって調整されたゲインの値が所定値K以上のときには、輝度勾配gに、所定値Kの自然対数を乗じる補正を行うため、より一層正確な輝度勾配gを算出することができ、これによって、白濁度合Uをより正確に診断することができる。
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
8 レンズ白濁状態診断装置
9 BSWシステム
10 撮像部
12 レンズ
14 光電変換部
16 ゲイン調整部
20 領域検出部
30 輝度勾配算出部
40 白濁度合算出部
42 輝度勾配平均値算出部
44 類似性算出部
46 確信度決定部
50 白濁度合引き渡し部
60 接近車両検出部
70 警報出力部

Claims (12)

  1. 車両に設置され、レンズを通して前記車両の周囲を観測して、観測された前記車両の周囲の光信号を、画像信号に変換する光電変換部を有する撮像部と、
    前記画像信号の中から、所定の明るさを越える輝度値を有する画素で構成されて、所定以上の面積を有する略円形状の領域を検出する領域検出部と、
    前記領域の中で、所定の位置から所定の方向に向かうライン上の画素が有する輝度値に基づいて、前記ライン上の輝度勾配を算出する輝度勾配算出部と、
    前記輝度勾配に基づいて前記レンズの白濁度合を算出する白濁度合算出部と、を有し、
    前記領域は、前記撮像部によって撮像される、別の車両の、点灯した前照灯によって形成される領域であることを特徴とするレンズ白濁状態診断装置。
  2. 前記撮像部は、前記車両の周囲の明るさに応じて、光信号を画像信号に変換する際のゲインを調整するゲイン調整部を有し、前記ゲインが所定値よりも大きいときに、前記白濁度合算出部が白濁度合を算出することを特徴とする請求項1に記載のレンズ白濁状態診断装置。
  3. 前記ラインは、前記画像信号の中で、
    その始点の左右方向位置を、前記領域の重心位置の左右方向位置として、
    その始点の上下方向位置を、前記領域の重心位置を通る水平ラインと前記領域の最上部を通る水平ラインの間の位置として、
    前記始点から、左方向、もしくは右方向に向かって延びるものであることを特徴とする請求項1または請求項2に記載のレンズ白濁状態診断装置。
  4. 前記ラインは、
    前記領域の重心位置から前記領域の周縁に向けて延びるものであって、その始点の上下方向位置を、前記領域の重心位置を通る水平ラインと前記領域の最上部を通る水平ラインの間とするものであることを特徴とする請求項1または請求項2に記載のレンズ白濁状態診断装置。
  5. 前記ラインを複数組み合わせて、ラインを構成することを特徴とする請求項3または請求項4に記載のレンズ白濁状態診断装置。
  6. 前記領域の重心位置を通って前記画像信号の中を上下方向に延びる直線に関して左右対称な複数のラインによって、ラインを構成することを特徴とする請求項5に記載のレンズ白濁状態診断装置。
  7. 前記別の車両は、前記車両の後方にあって、前記車両と同一車線を走行していることを
    特徴とする請求項1から請求項6のいずれか1項に記載のレンズ白濁状態診断装置。
  8. 前記輝度勾配は、前記画像信号の中に設定された各ラインの各始点から、前記各ラインが延びる方向に向かって、前記各ライン上の輝度値が第1のしきい値を下回ってから、前記第1のしきい値よりも小さい第2のしきい値を下回るまでの間の、前記各ライン上の画素数として算出されることを特徴とする請求項1から請求項7のいずれか1項に記載のレンズ白濁状態診断装置。
  9. 前記白濁度合算出部は、
    前記各ライン上で算出された各輝度勾配の平均値を算出して白濁度合とする輝度勾配平均値算出部と、
    異なるタイミングで撮像された各画像信号の中から検出された各領域の類似性を算出する類似性算出部と、
    前記類似性が高い状態で連続して算出された期間に応じて、前記白濁度合の確信度を決定する確信度決定部と、を有することを特徴とする請求項1から請求項8のいずれか1項に記載のレンズ白濁状態診断装置。
  10. 前記類似性算出部は、過去の複数の白濁度合の平均値と、最新の白濁度合との比率が所定の範囲内にあるときに、類似性が高いと判断するものであることを特徴とする請求項9に記載のレンズ白濁状態診断装置。
  11. 前記輝度勾配算出部は、前記ゲイン調整部によって調整されたゲインに基づいて、前記輝度勾配を補正することを特徴とする請求項2から請求項10のいずれか1項に記載のレンズ白濁状態診断装置。
  12. 前記輝度勾配算出部は、
    前記ゲイン調整部によって調整されたゲインが所定のゲインに満たないときには、前記輝度勾配に、前記ゲイン調整部によって調整されたゲインの自然対数を乗じる補正を行い、
    前記ゲイン調整部によって調整されたゲインが前記所定のゲイン以上であるときには、前記輝度勾配に、前記所定のゲインの自然対数を乗じる補正を行うことを特徴とする請求項11に記載のレンズ白濁状態診断装置。


JP2012143739A 2012-06-27 2012-06-27 レンズ白濁状態診断装置 Expired - Fee Related JP5902049B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012143739A JP5902049B2 (ja) 2012-06-27 2012-06-27 レンズ白濁状態診断装置
EP13173727.2A EP2680227B1 (en) 2012-06-27 2013-06-26 Water and drying mark detection
US13/928,001 US9286519B2 (en) 2012-06-27 2013-06-26 White turbid state diagnostic apparatus
CN201310263150.7A CN103516968B (zh) 2012-06-27 2013-06-27 镜头白浊状态诊断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012143739A JP5902049B2 (ja) 2012-06-27 2012-06-27 レンズ白濁状態診断装置

Publications (2)

Publication Number Publication Date
JP2014007686A JP2014007686A (ja) 2014-01-16
JP5902049B2 true JP5902049B2 (ja) 2016-04-13

Family

ID=48771280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012143739A Expired - Fee Related JP5902049B2 (ja) 2012-06-27 2012-06-27 レンズ白濁状態診断装置

Country Status (3)

Country Link
US (1) US9286519B2 (ja)
EP (1) EP2680227B1 (ja)
JP (1) JP5902049B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5883732B2 (ja) * 2012-07-03 2016-03-15 クラリオン株式会社 環境認識装置
WO2015114654A1 (en) * 2014-01-17 2015-08-06 Kpit Technologies Ltd. Vehicle detection system and method thereof
US9875650B2 (en) * 2014-04-18 2018-01-23 Gentex Corporation Trainable transceiver and mobile communications device diagnostic systems and methods
DE102015112682A1 (de) * 2015-08-03 2017-02-09 Connaught Electronics Ltd. Verfahren zum Betreiben eines Kamerasystems mit einer plenoptischen Kamera, Kamerasystem und Kraftfahrzeug
JP6644509B2 (ja) * 2015-10-01 2020-02-12 アルパイン株式会社 車両検知警報装置および車両検知警報方法
US10789502B2 (en) 2018-01-24 2020-09-29 Denso Ten Limited Extraneous-matter detecting apparatus and extraneous-matter detecting method
US10832476B1 (en) * 2018-04-30 2020-11-10 State Farm Mutual Automobile Insurance Company Method and system for remote virtual visualization of physical locations
JP7259676B2 (ja) 2019-09-20 2023-04-18 株式会社デンソーテン 付着物検出装置および付着物検出方法
CN112862832B (zh) * 2020-12-31 2022-07-12 盛泰光电科技股份有限公司 一种基于同心圆分割定位的脏污检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6120446A (en) * 1998-12-17 2000-09-19 Acuson Corporation Diagnostic medical ultrasonic imaging system and method with adaptive gain
JP2001111989A (ja) * 1999-10-07 2001-04-20 Sumitomo Electric Ind Ltd 車載用撮像装置
JP3807331B2 (ja) 2002-03-06 2006-08-09 日産自動車株式会社 カメラの汚れ検出装置およびカメラの汚れ検出方法
DE10322087A1 (de) * 2003-05-15 2004-12-02 Daimlerchrysler Ag Verfahren zur Erkennung und Lokalisierung von Verschmutzungen auf der Optik eines Kamerasystems
JP4130434B2 (ja) 2004-11-30 2008-08-06 本田技研工業株式会社 撮像装置の異常検知装置
JP4744187B2 (ja) * 2005-05-10 2011-08-10 オリンパス株式会社 細胞観察装置
US8553088B2 (en) * 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
ATE517333T1 (de) * 2007-05-04 2011-08-15 Sick Ag Überwachung eines raumbereichs mit bestimmung des verschmutzungsgrads einer transparenter grenzfläche anhand des bildkontrasts
JP2009130700A (ja) * 2007-11-26 2009-06-11 Panasonic Corp 撮像装置
US8208022B2 (en) * 2008-06-05 2012-06-26 Lg Electronics Inc. Apparatus and method for removing blooming of camera image
EP2351351B1 (en) * 2008-10-01 2015-09-16 Connaught Electronics Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
US20120177262A1 (en) * 2009-08-28 2012-07-12 Centre For Eye Research Australia Feature Detection And Measurement In Retinal Images
KR101729924B1 (ko) * 2010-08-03 2017-04-26 삼성전자주식회사 영상 크기 조절에 기반한 외삽 뷰 생성 장치 및 방법

Also Published As

Publication number Publication date
US9286519B2 (en) 2016-03-15
JP2014007686A (ja) 2014-01-16
US20140002654A1 (en) 2014-01-02
CN103516968A (zh) 2014-01-15
EP2680227B1 (en) 2015-09-16
EP2680227A1 (en) 2014-01-01

Similar Documents

Publication Publication Date Title
JP5902049B2 (ja) レンズ白濁状態診断装置
JP6126094B2 (ja) 車載用画像認識装置
JP6055224B2 (ja) レンズ洗浄装置
JP6117634B2 (ja) レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
JP6120395B2 (ja) 車載装置
JP4603970B2 (ja) 道路区画線検出装置
US9956941B2 (en) On-board device controlling accumulation removing units
WO2016017340A1 (ja) 周囲環境認識装置
JP6755161B2 (ja) 付着物検出装置および付着物検出方法
US20130039544A1 (en) Method of fog and raindrop detection on a windscreen and driving assistance device
JP5759950B2 (ja) 車載カメラ装置
JP2010088045A (ja) ナイトビューシステム、夜間歩行者表示方法
JPWO2012140976A1 (ja) 走行支援装置及びその雨滴検出方法
JP2013025568A (ja) 接近障害物検出装置及びプログラム
US20150310304A1 (en) Method of raindrop detection on a vehicle windscreen and driving assistance device
JP2020109595A (ja) 付着物検出装置および付着物検出方法
JP4598011B2 (ja) 車両用表示装置
JP6644509B2 (ja) 車両検知警報装置および車両検知警報方法
JP2014013451A (ja) 車載用車線認識装置
US11182626B2 (en) Attached object detection apparatus
TWI510388B (zh) 環境資訊偵測系統及其方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151211

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160309

R150 Certificate of patent or registration of utility model

Ref document number: 5902049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees