JP7156224B2 - 付着物検出装置および付着物検出方法 - Google Patents

付着物検出装置および付着物検出方法 Download PDF

Info

Publication number
JP7156224B2
JP7156224B2 JP2019172201A JP2019172201A JP7156224B2 JP 7156224 B2 JP7156224 B2 JP 7156224B2 JP 2019172201 A JP2019172201 A JP 2019172201A JP 2019172201 A JP2019172201 A JP 2019172201A JP 7156224 B2 JP7156224 B2 JP 7156224B2
Authority
JP
Japan
Prior art keywords
adhering matter
detection
area
region
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019172201A
Other languages
English (en)
Other versions
JP2021052233A (ja
Inventor
修久 池田
信徳 朝山
貴 河野
泰司 谷
大輔 山本
朋和 沖
輝彦 上林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2019172201A priority Critical patent/JP7156224B2/ja
Priority to US17/016,876 priority patent/US11308709B2/en
Publication of JP2021052233A publication Critical patent/JP2021052233A/ja
Application granted granted Critical
Publication of JP7156224B2 publication Critical patent/JP7156224B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本発明は、付着物検出装置および付着物検出方法に関する。
従来、車両等に搭載されたカメラによって撮像された撮像画像に基づいて、カメラレンズに付着した付着物を示す付着物領域を検出する付着物検出装置がある。かかる付着物検出装置は、検出した付着物領域の連続性に基づいて、付着物領域を確定させる(たとえば、特許文献1参照)。
特開2019-128797号公報
しかしながら、従来技術では、検出した付着物領域を早期に確定させるうえで、改善の余地があった。具体的には、付着物が検出されている状態で、カメラが付着物領域の検出精度が低下する環境下に移動した場合、付着物を検出できず、連続性を判定することができない。
本発明は、上記に鑑みてなされたものであって、検出した付着物を早期に確定させることができる付着物検出装置および付着物検出方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、実施形態に係る付着物検出装置は、検出部と、判定部とを備える。前記検出部は、撮像装置によって撮像された撮像画像から前記撮像装置のレンズに付着物が付着した付着物領域を検出する。前記判定部は、前記撮像画像の輝度情報に基づいて、前記検出部による検出履歴を維持するか否かの維持判定を行う。
本発明によれば、検出した付着物を早期に確定させることができる。
図1Aは、付着物検出装置の搭載例を示す図である。 図1Bは、付着物検出方法の概要を示す図(その1)である。 図1Cは、付着物検出方法の概要を示す図(その2)である。 図2は、付着物検出装置のブロック図である。 図3は、得点情報の模式図である。 図4Aは、維持判定の対象領域の一例を示す図(その1)である。 図4Bは、維持判定の対象領域の一例を示す図(その2)である。 図5は、スキップ領域の一例を示す図である。 図6は、付着物検出装置が実行する処理手順を示すフローチャート(その1)である。 図7は、付着物検出装置が実行する処理手順を示すフローチャート(その2)である。
以下、添付図面を参照して、実施形態に係る付着物検出装置および付着物検出方法について説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
まず、図1A~図1Cを用いて、実施形態に係る付着物検出装置および付着物検出方法の概要について説明する。図1Aは、付着物検出装置の搭載例を示す図である。図1Bおよび図1Cは、付着物検出方法の概要を示す図である。
図1Aに示すように、付着物検出装置1は、車両100に搭載される。車両100は、例えば、互いに異なる方向を撮像する4つのカメラ10を有する。カメラ10によって撮像された撮像画像Lは、例えば、車両100の白線検知や自動運転のための各種センシングに用いられる。
ここで、カメラ10は、車両100の外に配置されるため、カメラ10のレンズ(不図示)には、水滴やごみなどの付着物が付着するおそれがある。このため、付着物検出装置1は、車両100に搭載された撮像装置であるカメラ10によって撮像された撮像画像Lを取得し、撮像画像Lからレンズに付着物が付着している付着物領域を検出する。
付着物検出装置1は、例えば、撮像画像Lから付着物の特徴を示す輝度パターンを抽出することで、付着物領域を検出する。また、付着物検出装置1は、付着物領域の検出履歴に基づいて付着物領域の連続性を判定し、付着物領域を確定させることで、付着物領域の誤検出を抑制することができる。
例えば、図1Bに示すように、付着物検出装置1は、時系列の撮像画像Lそれぞれから付着物領域を検出し、付着物領域として検出した領域に対して得点を加点して行く。そして、付着物検出装置1は、得点の累積値が閾値を超えた場合に、付着物領域として確定させる。
図1Bに示す例では、前回の撮像画像L1において付着物領域A1-1、A2-1を検出し、今回の撮像画像L2において、付着物領域A1-1に対応する付着物領域A1-2を検出し、付着物領域A2-1に対応する付着物領域A2-2を検出しなかった場合を示す。
この場合、付着物領域A1については、撮像画像L1および撮像画像L2で共に検出されているので、得点が2回加点される。また、付着物領域A2については、撮像画像L1で検出されたものの、撮像画像L2で検出されていないので、前回の撮像画像L1において得点が加点されたのちに、今回の撮像画像L2において減点される。
ところで、上述のように、付着物検出装置1は、撮像画像Lから付着物の特徴を示す輝度パターンを抽出することで、付着物領域Aを検出する。このため、例えば、車両100が明るい場所から暗い場所(以下、低照度環境と記載する)へ移動した場合等に、撮像画像Lの輝度が全体的に小さくなり、付着物領域の検出が困難となる場合がある。
そこで、実施形態に係る付着物検出装置1は、撮像画像Lの輝度情報に基づいて、付着物領域の検出履歴を維持させることとした。具体的には、図1Cに示すように、付着物検出装置1は、例えば、低照度環境において付着物領域における得点の累積値を維持する。
そして、付着物検出装置1は、低照度環境から低照度環境外へ移動した場合、再度、低照度環境へ移動前の累積値を引き継ぐ。そして、付着物検出装置1は、例えば、累積値が閾値Thに到達した時点で、付着物領域を確定させることになる。なお、後述するように、付着物検出装置1は、撮像画像Lの輝度情報に基づいて、低照度環境か否かを判定することが可能である。
これに対して、図1Cに一点鎖線で示すように、低照度環境において、低照度環境以外と同様の処理を行った場合、低照度環境で付着物領域が検出されずに、累積値が減点される場合がある。
この場合、低照度環境から低照度環境外へ移動した場合、検出した付着物領域に対して累積値がゼロの状態(検出履歴がリセットされた状態)から得点が加点されていくので、累積値の総和が閾値Thに到達するまでに時間が掛かり、付着物領域を確定するまでに時間を要することになる。
このように、実施形態に係る付着物検出装置1は、撮像画像Lの輝度情報に応じて、付着物領域の検出履歴を維持する。これにより、付着物検出装置1では、付着物領域の検出が不安定となる低照度環境下で、付着物領域の累積値が減点されないので、検出した付着物領域を早期に確定することが可能となる。
なお、上記の例では、今回の撮像画像の輝度情報に基づいて、維持判定を行う場合について説明したが、過去フレーム(例えば前回フレーム)の輝度情報に基づいて、今回の維持判定を行うことにしてもよいし、あるいは、複数フレームの輝度情報に基づいて今回の維持判定を行うことにしてもよい。
次に、図2を用いて、実施形態に係る付着物検出装置1の構成例について説明する。図2は、付着物検出装置1の具体例を示す図である。なお、図2には、カメラ10および車両制御装置15を併せて示す。
カメラ10は、たとえば、魚眼レンズ等のレンズと、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子とを備えた車載カメラである。カメラ10は、たとえば、車両100の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Lを付着物検出装置1へ出力する。
車両制御装置15は、車両100の自動運転を制御する制御装置である。車両100の自動運転、自動駐車制御や運転アシスト(例えば、PCS(Pre-crash Safety System)やAEB(Advanced Emergency Braking System)など)の車両制御を行う。なお、車両制御装置15は、自動駐車制御を行う自動駐車制御部と別体であってもよい。
車両制御装置15は、付着物検出装置1を介して入力される撮像画像Lから障害物や白線を検出し、検出結果に基づいて上記の車両制御を行うことができる。
付着物検出装置1は、記憶部2および制御部3を備える。記憶部2は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図2の例では、得点情報21を記憶する。
得点情報21は、付着物領域の検出履歴に対応する。図3は、得点情報21の模式図である。図3に示すように、得点情報21は、撮像画像Lを複数に分割した分割領域Daごとの累積値に関する情報である。
図3に示す例において、累積値が大きいほど、付着物領域Aである可能性が高いことを示す。また、累積値の下限は、「0」であるものとし、分割領域の累積値が「0」になった時点で、かかる分割領域Daの付着物領域に関する検出履歴がリセットされたことを示す。
後述の検出部33によって付着物領域Aとして検出された場合に、対応する分割領域Daに得点が加点され、付着物領域Aとして検出されなかった分割領域Daについては、得点が減点される。これらの累積値が得点情報21として記憶部2に記憶されることになる。
なお、分割領域Daは、例えば、1画素単位であってもよいし、1画素よりも大きい所定の画素単位であってもよい。また、後述するように、検出部33は、付着物として、水滴などの透光性の付着物や、泥などの遮光性の付着物などを検出することができる。このため、得点情報21を付着物の種別ごとに記憶部2に記憶しておくことにしてもよい。
図2の説明に戻り、制御部3について説明する。制御部3は、コントローラであり、例えば、CPUやMPU等によって、記憶部2に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部3は、例えば、ASICやFPGA等の集積回路により実現することができる。
図2に示すように、制御部3は、取得部31と、判定部32と、検出部33と、確定部34とを備える。取得部31は、カメラ10から入力される画像を取得する。取得部31は、取得した画像に基づいて、現在フレームを生成する。具体的には、取得部31は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。
また、取得部31は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、取得部31は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。
このように、付着物検出装置1は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できる。これにより、付着物を検出するための処理時間を短くすることができる。
なお、取得部31は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、取得部31は、間引き処理を行わず、取得した画像と同じサイズの現在フレームを生成してもよい。また、以下では、現在フレームを撮像画像Lと記載する場合がある。
判定部32は、撮像画像Lの輝度情報に基づいて、検出部33による前回までの検出履歴を維持させるか否かの維持判定を行う。ここで、上述のように、検出部33による付着物領域Aの検出精度は、カメラ10の撮像領域の照度が低い場合、すなわち、撮像画像Lの輝度が低い場合において低下する。
このため、判定部32は、撮像画像Lの所定の対象領域における輝度平均を算出し、算出した輝度平均が閾値以下である場合に、低照度環境にあると判定し、検出部33による検出履歴を維持させると判定する。
図4Aおよび図4Bは、維持判定の対象領域の一例を示す図である。図4Aに示す例において、維持判定の対象領域は、着目領域Rであり、着目領域Rは、撮像画像Lの外周にほぼ沿った端部を除いた領域である。
着目領域Rは、車両100の制御上、特に必要となる領域である。これに対して、着目領域R以外の領域には、車両100から比較的遠い路面等が写る領域となるので、着目領域Rに比べて重要度が低い領域と言える。
つまり、判定部32は、車両100の制御に直結する領域のみを維持判定の対象とする。これにより、撮像画像Lの全ての領域の輝度平均から維持判定を行う場合に比べて、着目領域Rの輝度値をより反映させて維持判定を行うことができる。
この際、判定部32は、着目領域Rにおいて車両100のボディが写る領域を除いて平均輝度を算出することが好ましい。なお、ボディが写る領域については、初期設定時にディーラで設定することにしてもよいし、撮像画像Lに対する画像処理によって付着物検出装置1側で検出することにしてもよい。また、図4Aに示す着目領域Rは、一例であり、任意に設定することができる。
また、後述するように、検出部33は、遮光性の付着物が付着している領域(以下、遮光領域と記載する)を検出することも可能である。この場合、判定部32は、遮光領域を着目領域Rから除いて、輝度平均を算出することにしてもよい。これは、遮光領域は、輝度値が低いため、遮光領域を含めて輝度平均を算出すると、輝度平均が低く算出され、維持判定の精度低下を招くおそれがあるためである。
また、図4Bに示すように、判定部32は、着目領域Rに代えて、各付着物領域Aを対象領域として維持判定を行うことも可能である。具体的には、まず、判定部32は、得点情報21を参照し、付着物領域Aを抽出する。例えば、判定部32は、得点の累積値が「0」以外で連続する分割領域Daを1つの付着物領域Aとして抽出する。図4Bに示す例では、付着物領域A1と、付着物領域A2とを抽出した場合を示す。
続いて、判定部32は、抽出した付着物領域Aごとの輝度平均を算出し、付着物領域Aごとに維持判定を行う。このように、判定部32は、各付着物領域Aに対して個別に維持判定を行うことで、各付着物領域Aに対する維持判定の精度を向上させることができる。
なお、判定部32は、確定した付着物領域Aを対象領域として、維持判定を行うことにしてもよい。また、判定部32は、着目領域Rおよび付着物領域Aの双方を維持判定の対象領域とすることにしてもよい。この場合、判定部32は、着目領域Rおよび各付着物領域Aについてそれぞれ維持判定を行い、それぞれの維持判定の結果から最終的な維持判定を行うことにすればよい。
その後、判定部32は、維持判定の結果、検出履歴を維持すると判定した場合に、スキップ領域を設定する。ここで、スキップ領域とは、後述する検出部33によって付着物領域Aの検出処理がスキップされる領域である。図5は、スキップ領域の一例を示す図である。
図5に示す例では、スキップ領域にハッチングを施して示し、付着物領域A1、A2をスキップ領域として設定した場合を示す。すなわち、判定部32は、着目領域Rの輝度平均が閾値以下である場合には、着目領域Rに含まれる付着物領域Aをスキップ領域として設定する。
なお、撮像画像Lの外周にほぼ沿った領域(着目領域R以外の領域)は、上述のように車両100の制御上、特に必要としない領域であることから、デフォルトでスキップ領域として設定される。
このように、判定部32は、付着物領域A1、A2をスキップ領域として設定し、付着物領域A1、A2以外の着目領域Rについてはスキップ領域として設定しない。したがって、付着物領域A1、A2に対する付着物領域の検出処理がスキップされる一方、付着物領域A1、A2以外の着目領域Rについては、検出部33による付着物領域Aの検出が継続して実行されることになる。
これは、付着物領域A1、A2以外の着目領域Rは、得点が既に「0」の状態であるので、減点されないためである。そして、仮に、付着物が実際に付着していた場合に、付着物領域Aとして検出できれば、かかる付着物領域Aに対して新たに点数が加点されるので、付着物領域Aを早期に確定することが可能となる。
つまり、付着物検出装置1は、付着物領域Aをスキップ領域として設定することで、付着物領域Aの得点の累積値を維持しつつ、スキップ領域以外の領域ついて、新規の付着物領域Aを継続して検出する。
これにより、撮像画像L全体(スキップ領域およびスキップ領域以外の領域)で付着物領域Aを早期に確定させることが可能となる。
図2の説明に戻り、検出部33について説明する。検出部33は、撮像装置(カメラ10)によって撮像された撮像画像Lからレンズに付着物が付着した付着物領域Aを検出する。
本実施形態において、検出部33は、判定部32によって設定されたスキップ領域を除いて、付着物領域Aの検出処理を実行する。これにより、撮像画像L全体から付着物領域Aを検出する場合に比べて、処理負荷を軽減することができる。なお、検出部33は、スキップ領域についても付着物領域Aの検出を行うことにしてもよい。この場合、確定部34が、スキップ領域の検出結果を得点情報21に反映しないこととすればよい。
検出部33は、上記の画素値に基づき、付着物として、水滴などの透光性の付着物や、泥などの遮光性の付着物をそれぞれ異なるアルゴリズムを用いて検出する。
まず、水滴の検出アルゴリズムの一例について説明する。水滴は、丸みを帯びた形状を有するとともに、水滴とその他の領域との境界のエッジ強度が強くなる特徴を有する。なお、エッジ強度とは、撮像画像Lにおけるエッジ勾配の強度を示す。
このため、検出部33は、例えば、水滴の縁に対応する帯状のテンプレートを用いたテンプレートマッチングによって水滴を検出する。例えば、検出部33は、検出部33は、エッジ強度がそれぞれ所定閾値を超える分割領域Daを抽出する。続いて、検出部33は、抽出した分割領域Daのうち、連続する分割領域Daを繋いだ形状が、テンプレートと類似する場合に、連続する分割領域Daを水滴の縁として検出する。
検出部33は、水滴の縁を検出すると、かかる縁で囲まれた分割領域Daを付着物領域Aとして検出する。なお、水滴は、さまざまな形状や大きさが考えられるので、複数のテンプレートを容易しておくことが好ましい。
続いて、遮光性の付着物の検出アルゴリズムの一例について説明する。例えば、検出部33は、分割領域Daごとに輝度値が所定値以下である画素の割合を算出する。そして、検出部33は、上記の割合が所定の閾値を超える分割領域Daを遮光性の付着物が付着している遮光領域として検出する。
確定部34は、付着物領域Aの検出履歴に基づいて、付着物領域Aを確定させる。言い換えれば、確定部34は、各付着物領域Aの連続性を捉えることで、付着物領域Aを確定させることになる。
具体的には、確定部34は、検出部33による検出結果に基づいて、得点情報21を更新し、得点の累積値が閾値Thを超える分割領域Daについて付着物領域Aとして確定させる。
また、確定部34は、付着物領域Aとして確定させた分割領域Daについて、次回以降に、付着物領域Aとして検出されなかった場合は減点を行う。これにより、確定部34は、レンズに付着していた付着物がレンズから外れた場合、付着物領域Aの確定を解除することになる。
ここで、本実施形態において、確定部34は、前回までに付着物領域Aとして検出された分割領域Da(累積値が「0」以外である領域)が今回スキップ領域として設定された場合、かかる分割領域Daの得点情報21を更新せずに、前回までの累積値を維持する。
なお、確定部34は、同じ分割領域Daが連続してスキップ領域として設定された場合、かかる分割領域Daについては、スキップ領域に対する処理を繰り返し実行することで、スキップ領域に設定される前の累積値を維持することになる。
次に、図6を用いて、実施形態に係る付着物検出装置1が実行する処理手順について説明する。図6は、付着物検出装置1が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、撮像画像Lの取得毎に制御部3によって繰り返し実行される。
図6に示すように、付着物検出装置1は、まず、撮像画像Lを取得すると(ステップS101)、着目領域Rの輝度平均を算出する(ステップS102)。続いて、付着物検出装置1は、算出した輝度平均が閾値よりも小さいか否かを判定する(ステップS103)。
付着物検出装置1は、ステップS103の判定処理において、輝度平均が閾値よりも小さい場合(ステップS103,Yes)、低照度環境にあると判定して、スキップ領域を設定し(ステップS104)、付着物領域Aを検出する(ステップS105)。
続いて、付着物検出装置1は、ステップS105の判定結果に応じて、得点情報21を更新し(ステップS106)、分割領域Daごとに得点の累積値が閾値よりも大きいか否かを判定する(ステップS107)。
そして、付着物検出装置1は、累積値が閾値よりも大きい場合(ステップS107,Yes)、かかる分割領域Daを付着物領域Aとして確定し(ステップS108)、処理を終了する。また、付着物検出装置1は、ステップS107の判定処理において、累積値が閾値以下である分割領域Daについて(ステップS107,No)、処理を終了する。
また、付着物検出装置1は、ステップS103の判定において、輝度平均が閾値以上だった場合(ステップS103,No)、ステップS105の処理へ移行する。
上述したように、実施形態に係る付着物検出装置1は、検出部33と、判定部32とを備える。検出部33は、カメラ10(撮像装置)によって撮像された撮像画像Lからカメラ10のレンズに付着物が付着した付着物領域Aを検出する。判定部32は、撮像画像Lの輝度情報に基づいて、検出部33による検出履歴を維持させるか否かの維持判定を行う。したがって、実施形態に係る付着物検出装置1によれば、検出した付着物を早期に確定させることができる。
上記の実施形態では、低照度環境にあると判定した場合、スキップ領域を設定し、スキップ領域以外の領域に対して得点情報を更新した。変形例として、付着物領域として確定した後に低照度環境にあると判定した場合は、撮像画像L全体について付着物検出処理を禁止するようにしてもよい。換言すれば、付着物領域Aとして確定した後に低照度環境にあると判定した場合、全分割領域Daの得点情報を更新せずに、前回までの累積値を維持するようにしてもよい。
図7は、付着物検出装置1が実行する処理手順を示すフローチャートである。なお、図7に示すステップS101およびステップS102の処理は、図6に示すステップS101およびステップS102と同じであるため、ステップS201から説明する。
図7に示すように、付着物検出装置1は、輝度平均が閾値よりも小さいか否かを判定し(ステップS201)、輝度平均が閾値よりも小さい場合(ステップS201,Yes)、すなわち、低照度環境にあると判定される場合、いずれかの分割領域Daにおいて付着物領域Aが確定した場合にオンとなる付着物フラグがオンであるか否かを判定する(ステップS202)。
付着物検出装置1は、全ての分割領域Daの付着物フラグがオフである場合(ステップS202,No)、付着物領域の検出し(ステップS203)、得点情報を更新する(ステップS204)。そして、付着物検出装置1は、いずれかの分割領域Daの累積値が閾値よりも大きいか否かを判定し(ステップS205)、累積値が閾値よりも大きい場合(ステップS205,Yes)、付着物領域Aを確定させるとともに付着物フラグをオンにして(ステップS206)、処理を終了する。
一方、付着物検出装置1は、ステップS202の判定において、付着物フラグがオンである場合(ステップS202,Yes)、ステップS203以降の処理をスキップし、処理を終了する。
また、付着物検出装置1は、ステップS201の判定において、輝度平均が閾値よりも大きい場合(ステップS201,No)、すなわち、低照度環境でないと判定した場合、ステップS203の処理へ移行する。
このように、付着物領域が確定した後に、低照度環境によって付着物領域の確定が取り消されるような事態を防止でき、また低照度環境にあるときの処理を簡素化できる。
ところで、上述した実施形態では、撮像画像Lの輝度情報に基づいて、維持判定を行う場合について説明したが、これに限定されるものではない。すなわち、例えば、カメラ10の撮像領域の照度を計測する照度センサの検出結果に基づいて、維持判定を行うことにしてもよい。
また、上記した実施形態では、付着物検出装置1をいずれも車載用のカメラ10に適用する場合について示したが、例えば、建物の内外や路地等に設定される監視/防犯カメラなどのその他の種類のカメラに適用してもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
1 付着物検出装置
10 カメラ(撮像装置)
21 得点情報(検出履歴に対応)
31 取得部
32 判定部
33 検出部
34 確定部
100 車両
A 付着物領域
L 撮像画像

Claims (6)

  1. 撮像装置によって撮像された撮像画像から前記撮像装置のレンズに付着物が付着した付着物領域を検出する検出部と、
    前記撮像画像の輝度情報に基づいて、前記検出部による検出履歴を維持するか否かの維持判定を行う判定部と
    を備えることを特徴とする付着物検出装置。
  2. 前記判定部は、
    前記撮像画像に対して設定された着目領域の前記輝度情報に基づいて、前記維持判定を行うこと
    を特徴とする請求項1に記載の付着物検出装置。
  3. 前記判定部は、
    前記付着物領域毎の前記輝度情報に基づいて、前記付着物領域毎に前記維持判定を行うこと
    を特徴とする請求項1または2に記載の付着物検出装置。
  4. 前記検出部は、
    前記判定部によって前記検出履歴を維持すると判定された場合に、前回までに検出された前記付着物領域について検出処理をスキップすること
    を特徴とする請求項1~3のいずれか一つに記載の付着物検出装置。
  5. 前記検出部は、
    前記判定部によって前記検出履歴を維持すると判定された場合に、新規の前記付着物領域について検出処理を継続して行うこと
    を特徴とする請求項4に記載の付着物検出装置。
  6. 撮像装置によって撮像された撮像画像から前記撮像装置のレンズに付着物が付着した付着物領域を検出する検出工程と、
    前記撮像画像の輝度情報に基づいて、前記検出工程による検出履歴を維持するか否かの維持判定を行う判定工程と
    を含むことを特徴とする付着物検出方法。
JP2019172201A 2019-09-20 2019-09-20 付着物検出装置および付着物検出方法 Active JP7156224B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019172201A JP7156224B2 (ja) 2019-09-20 2019-09-20 付着物検出装置および付着物検出方法
US17/016,876 US11308709B2 (en) 2019-09-20 2020-09-10 Deposit detection device and deposit detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019172201A JP7156224B2 (ja) 2019-09-20 2019-09-20 付着物検出装置および付着物検出方法

Publications (2)

Publication Number Publication Date
JP2021052233A JP2021052233A (ja) 2021-04-01
JP7156224B2 true JP7156224B2 (ja) 2022-10-19

Family

ID=74880961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019172201A Active JP7156224B2 (ja) 2019-09-20 2019-09-20 付着物検出装置および付着物検出方法

Country Status (2)

Country Link
US (1) US11308709B2 (ja)
JP (1) JP7156224B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11993274B2 (en) * 2020-09-16 2024-05-28 Zenuity Ab Monitoring of on-board vehicle image capturing device functionality compliance

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007141858A1 (ja) 2006-06-08 2007-12-13 Fujitsu Limited 汚れ検出方式

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5863968B2 (ja) * 2012-07-03 2016-02-17 クラリオン株式会社 車載環境認識装置
JP5879219B2 (ja) 2012-07-03 2016-03-08 クラリオン株式会社 車載用環境認識装置
JP6245875B2 (ja) * 2013-07-26 2017-12-13 クラリオン株式会社 レンズ汚れ検出装置およびレンズ汚れ検出方法
JP6174975B2 (ja) * 2013-11-14 2017-08-02 クラリオン株式会社 周囲環境認識装置
JP6585995B2 (ja) * 2015-11-06 2019-10-02 クラリオン株式会社 画像処理システム
JP6832224B2 (ja) 2017-04-28 2021-02-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP2019128797A (ja) 2018-01-24 2019-08-01 株式会社デンソーテン 付着物検出装置および付着物検出方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007141858A1 (ja) 2006-06-08 2007-12-13 Fujitsu Limited 汚れ検出方式

Also Published As

Publication number Publication date
JP2021052233A (ja) 2021-04-01
US20210089802A1 (en) 2021-03-25
US11308709B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
JP6755161B2 (ja) 付着物検出装置および付着物検出方法
JP3651387B2 (ja) 白線検出装置
JP2006292543A (ja) レインセンサ
WO2007111220A1 (ja) 道路区画線検出装置
JP2009110173A (ja) 物体検出装置
US20200084356A1 (en) Image monitoring device, image monitoring method, and recording medium
JP7449507B2 (ja) カメラストリームのためのマスクを生成する方法、コンピュータープログラム製品およびコンピューター可読媒体
CN110520898B (zh) 用于消除明亮区域的图像处理方法
WO2019013252A1 (ja) 車両周囲認識装置
KR20130139788A (ko) 장치의 화상 센서에 의해서 생성된 고정형 패턴 노이즈를 억제하는 촬상 장치
JP7156224B2 (ja) 付着物検出装置および付着物検出方法
JP7206909B2 (ja) 付着物検出装置および付着物検出方法
JP2019061303A (ja) 車両の周辺監視装置と周辺監視方法
US11250553B2 (en) Deposit detection device and deposit detection method
JP7251425B2 (ja) 付着物検出装置および付着物検出方法
JP2018147329A (ja) 画像処理装置、画像処理システム、及び画像処理方法
JP7200893B2 (ja) 付着物検出装置および付着物検出方法
JP6701327B2 (ja) グレア検出方法及び装置
JP7196781B2 (ja) 情報処理装置及び運転支援システム
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
US8310546B2 (en) Image processing apparatus adapted to recognize object in acquired image
JP2020201876A (ja) 情報処理装置及び運転支援システム
US11393128B2 (en) Adhered substance detection apparatus
JP7265693B2 (ja) 付着物検出装置、および付着物検出方法
JP7151479B2 (ja) 付着物検出装置、および付着物検出方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220919

R150 Certificate of patent or registration of utility model

Ref document number: 7156224

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150