JP7200894B2 - 付着物検出装置および付着物検出方法 - Google Patents

付着物検出装置および付着物検出方法 Download PDF

Info

Publication number
JP7200894B2
JP7200894B2 JP2019172215A JP2019172215A JP7200894B2 JP 7200894 B2 JP7200894 B2 JP 7200894B2 JP 2019172215 A JP2019172215 A JP 2019172215A JP 2019172215 A JP2019172215 A JP 2019172215A JP 7200894 B2 JP7200894 B2 JP 7200894B2
Authority
JP
Japan
Prior art keywords
area
brightness
unit
luminance
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019172215A
Other languages
English (en)
Other versions
JP2021051382A (ja
Inventor
信徳 朝山
修久 池田
貴 河野
泰司 谷
大輔 山本
朋和 沖
輝彦 上林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2019172215A priority Critical patent/JP7200894B2/ja
Priority to US17/019,853 priority patent/US11250553B2/en
Publication of JP2021051382A publication Critical patent/JP2021051382A/ja
Application granted granted Critical
Publication of JP7200894B2 publication Critical patent/JP7200894B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本発明は、付着物検出装置および付着物検出方法に関する。
従来、撮像装置で撮像された画像の輝度値に基づいて撮像装置のレンズに付着した付着物に対応する領域(以下、付着物領域)を検出する付着物検出装置が知られている(例えば、特許文献1参照)。
特開2006-157740号公報
ところで、レンズの大部分に付着物が付着した場合、撮像装置側で画像全体の輝度を持ち上げるゲイン補正が行われることがある。そして、このゲイン補正に伴い付着物領域の輝度も高くなるため、従来は、画像全体の輝度に応じて、付着物領域を検出するための閾値を変更していた。
しかしながら、従来は、付着物が付着していない状態でゲイン補正が行われた場合、輝度が低い領域を付着物領域として誤検知するおそれがあった。
本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、算出部と、抽出部と、決定部とを備える。前記算出部は、撮像装置で撮像された画像の所定領域を分割した小領域毎に輝度平均を算出する。前記抽出部は、前記算出部によって算出された前記輝度平均が所定値以上である前記小領域を高輝度領域として抽出する。前記決定部は、前記抽出部によって抽出された前記高輝度領域の面積に基づいて、前記撮像装置に付着した付着物に対応する付着物領域を検出するための輝度閾値を決定する。
本発明によれば、付着物を高精度に検出することができる。
図1Aは、実施形態に係る付着物検出方法の概要を示す図である。 図1Bは、実施形態に係る付着物検出方法の概要を示す図である。 図2は、実施形態に係る付着物検出装置の構成を示すブロック図である。 図3は、算出部の処理内容を示す図である。 図4は、閾値情報の一例を示す図である。 図5は、実施形態に係る付着物検出装置が実行する全体処理の処理手順を示すフローチャートである。 図6は、実施形態に係る付着物検出装置が実行する検出処理の処理手順を示すフローチャートである。
以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
まず、図1Aおよび図1Bを用いて、実施形態に係る付着物検出方法の概要について説明する。図1Aおよび図1Bは、実施形態に係る付着物検出方法の概要を示す図である。なお、図1Bの上段には、例えば、車両に搭載されたカメラ(撮像装置の一例)のレンズに泥等の遮光性の付着物が付着した状態で撮像された画像I(以下、撮像画像I)を示している。このような遮光性の付着物が付着した場合、撮像画像Iにおける付着物領域は、黒つぶれの状態となる。
図1Aに示すように、実施形態に係る付着物検出装置1は、例えば、車両に搭載されたカメラ10で撮像された撮像画像Iを取得し、撮像画像Iに基づいてカメラ10のレンズに付着した遮光性の付着物を検出する。なお、遮光性の付着物とは、例えば、泥や虫等の領域であり、換言すれば、付着物領域が黒つぶれとなる領域である。
ここで、カメラ10は、撮像画像Iの画像全体の輝度が低い場合等に、画像全体の輝度を持ち上げる(高くする)自動ゲイン補正(Automatic Gain Control)を行う場合がある。この場合、図1Aに示すように、ゲイン補正を行った撮像画像Iは、付着物領域の輝度が高くなるとともに、付着物以外の領域の輝度も高くなる。
従来は、ゲイン補正に伴い付着物領域の輝度が高くなる特性を利用して、画像全体の輝度に応じて、付着物領域を検出するための閾値を変更していた。しかしながら、従来は、付着物が付着していない状態で輝度を持ち上げるゲイン補正が行われた場合、輝度の閾値が高くなるように変更されるため、例えば、輝度が低い領域等を付着物領域として誤検知するおそれがあった。
そこで、実施形態に係る付着物検出方法では、ゲイン補正後の撮像画像Iにおいて、輝度が高い高輝度領域の面積に基づいて、輝度の閾値(以下、輝度閾値)を決定する。ここで、図1Bを用いて、実施形態に係る付着物検出方法の概要について説明する。
図1Bに示すように、実施形態に係る付着物検出方法では、まず、撮像画像Iの所定領域ROIを分割した小領域100毎に輝度の平均値(輝度平均)を算出する(ステップS1)。なお、所定領域ROIや小領域100の設定方法については、図3で後述する。
つづいて、実施形態に係る付着物検出方法では、算出した輝度平均が所定値以上である小領域100を高輝度領域200として抽出する(ステップS2)。高輝度領域とは、例えば、白飛び領域である。
つづいて、実施形態に係る付着物検出方法では、抽出した高輝度領域200の面積に基づいて、付着物領域500を検出するための輝度閾値を決定する(ステップS3)。なお、高輝度領域200の面積とは、例えば、高輝度領域200の数に相当する。
そして、実施形態に係る付着物検出方法では、決定した輝度閾値を用いて、付着物領域500を検出する(ステップS4)。具体的には、実施形態に係る付着物検出方法では、小領域100が以下の(1)~(3)の条件をすべて満たす場合に、当該小領域100を付着物領域500として検出する。なお、小領域100が少なくとも(1)~(3)のいずれか一つの条件を満たさない場合には、当該小領域100を付着物が付着していない非付着物領域として検出する。
(1)過去の撮像画像Iとの輝度平均の差分が所定値以下
(2)過去の撮像画像Iとの輝度の標準偏差の差分が所定値以下
(3)現在の撮像画像Iにおける小領域100の輝度平均が輝度閾値以下
このように、実施形態に係る付着物検出方法では、カメラ10によりゲイン補正が行われて画像全体の輝度が持ち上げられた場合、ゲイン補正の程度に応じた面積の高輝度領域200が発生する特性を利用して輝度閾値を決定する。
従って、実施形態に係る付着物検出方法では、高輝度領域200の面積によりゲイン補正の程度を把握できるため、輝度閾値を高精度に決定することができる。すなわち、実施形態に係る付着物検出方法によれば、付着物を高精度に検出することができる。
なお、実施形態に係る付着物検出方法では、高輝度領域200の面積と、画像全体の輝度に基づいて輝度閾値を決定するが、かかる点の詳細については図4で後述する。
次に、図2を用いて、実施形態に係る付着物検出装置1の構成について説明する。図2は、実施形態に係る付着物検出装置1の構成を示すブロック図である。図2に示すように、実施形態に係る付着物検出装置1は、カメラ10と、車速センサ11と、各種機器50とに接続される。なお、図2では、付着物検出装置1は、カメラ10と、各種機器50とは別体で構成される場合を示したが、これに限らず、カメラ10および各種機器50の少なくとも一方と一体で構成されてもよい。
カメラ10は、たとえば、魚眼レンズ等のレンズと、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子とを備えた車載カメラである。カメラ10は、例えば、車両の前方、後方、左側方および右側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Iを付着物検出装置1へ出力する。また、カメラ10は、必要に応じて、撮像画像Iに対してゲイン補正を行ってから付着物検出装置1へ撮像画像Iを出力する。
車速センサ11は、車両の速度を検出するセンサである。車速センサ11は、検出した車速情報を付着物検出装置1へ出力する。
各種機器50は、付着物検出装置1の検出結果を取得して、車両の各種制御を行う機器である。各種機器50は、例えば、カメラ10のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。
図2に示すように、実施形態に係る付着物検出装置1は、制御部2と、揮発性記憶部3と、不揮発性記憶部4とを備える。制御部2は、前処理部21と、算出部22と、抽出部23と、決定部24と、検出部25と、フラグ出力部26とを備える。記憶部3は、閾値情報31を記憶する。
ここで、付着物検出装置1は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ、入出力ポートなどを有するコンピュータや各種の回路を含む。
コンピュータのCPUは、たとえば、ROMに記憶されたプログラムを読み出して実行することによって、制御部2の前処理部21、算出部22、抽出部23、決定部24、検出部25およびフラグ出力部26として機能する。
また、制御部2の前処理部21、算出部22、抽出部23、決定部24、検出部25およびフラグ出力部26の少なくともいずれか一つまたは全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。
また、記憶部3は、たとえば、RAMや、ROM、フラッシュメモリに対応する。RAMや、ROM、フラッシュメモリは、閾値情報31や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置1は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
記憶部3に記憶された閾値情報31は、後述する検出部25による付着物領域500を検出するための閾値を含んだ情報であり、これらの閾値の中から検出部25の検出処理に用いられる閾値が後述する決定部24によって決定される。なお、閾値情報31の詳細については、図4で後述する。
前処理部21は、カメラ10で撮像された撮像画像Iに対して所定の前処理を施す。なお、前処理部21が取得する撮像画像Iは、自動ゲイン補正が行われた後の画像である。
前処理の具体例として、前処理部21は、取得した撮像画像Iに画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、前処理部21は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像を生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。
このように、付着物検出装置1は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。
なお、前処理部21は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、前処理部21は、間引き処理を行わず、取得した画像と同じサイズの撮像画像Iの積分画像を生成してもよい。
前処理部21は、積分画像である撮像画像Iを算出部22へ出力する。
算出部22は、撮像画像Iの所定領域ROIを分割した小領域100毎に輝度の特徴量を示す輝度情報を算出する。ここで、図3を用いて、算出部22の処理内容について説明する。図3は、算出部22の処理内容を示す図である。
図3に示すように、まず、算出部22は、撮像画像Iに対して所定領域ROIおよび小領域100を設定する。所定領域ROIは、カメラ10の特性に応じて予め設定される矩形状の領域であり、例えば、車体領域やカメラ10の筐体領域を除いた領域である。小領域100は、所定領域R0Iを水平方向、および垂直方向に分割することで形成される矩形状の領域である。例えば、各小領域100は、40×40の画素を含む領域であるが、小領域100に含まれる画素の数は、任意に設定可能である。
つづいて、算出部22は、小領域100毎に輝度の特徴量を示す輝度情報を算出する。具体的には、算出部22は、小領域100毎に輝度の平均値(輝度平均)および輝度の標準偏差(輝度標準偏差)を特徴量として算出する。また、算出部22は、所定領域ROI全体における輝度の特徴量(輝度の平均値および輝度の標準偏差)を算出する。
つづいて、算出部22は、過去から現在までの撮像画像Iにおける輝度の特徴量の変動を算出する。具体的には、算出部22は、過去および現在の撮像画像Iの同じ位置にある小領域100における輝度の平均値の差分である第1差分を変動として算出する。すなわち、算出部22は、対応する小領域100における過去の輝度の平均値と、現在の輝度の平均値との第1差分を変動として算出する。
また、算出部22は、過去および現在の撮像画像Iの同じ位置にある小領域100における輝度の標準偏差の差分である第2差分を算出する。すなわち、算出部22は、対応する小領域100における過去の輝度の標準偏差と、現在の輝度の標準偏差との第2差分を変動として算出する。
算出部22は、算出した輝度情報を抽出部23および検出部25へ出力する。
抽出部23は、算出部22によって算出された輝度平均が所定値以上である小領域100を高輝度領域200として抽出する。例えば、抽出部23は、車体に対応する車体領域(ボディ領域)を除いた所定領域ROIに含まれる小領域100の中から高輝度領域200を抽出する。これにより、ゲイン補正により高輝度領域200を高精度に抽出することができる。抽出部23は、抽出した高輝度領域200の情報を決定部24へ出力する。
決定部24は、抽出部23によって抽出された高輝度領域200の面積に基づいて、カメラ10のレンズに付着した遮光性の付着物に対応する付着物領域500を検出するための輝度閾値を決定する。
ここで、決定部24による輝度閾値の決定処理について、図4を用いて説明する。図4は、閾値情報31の一例を示す図である。図4に示すグラフは、横軸に画像全体の輝度平均を示し、縦軸に輝度閾値を示す。
決定部24は、閾値情報31に基づいて、検出部25の検出処理に用いる輝度閾値を決定する。具体的には、決定部24は、抽出部23によって抽出された高輝度領域200の数に基づいて輝度閾値を決定する。より具体的には、決定部24は、高輝度領域200の数に応じて輝度閾値の上限値を決定する。例えば、決定部24は、高輝度領域200の数が多いほど、上限値が高くなるように決定する。
そして、決定部24は、画像全体の輝度平均に基づいて、決定した上限値の範囲内で輝度閾値を決定する。例えば、決定部24は、画像全体の輝度平均が「A」の場合において、高輝度領域200の数が所定の多数閾値以上の場合(高輝度領域:多)、輝度閾値として閾値TH1を決定する。
また、決定部24は、画像全体の輝度平均が「A」の場合において、高輝度領域200の数が所定の中間閾値以上の場合(高輝度領域:中)、輝度閾値として閾値TH2を決定する。
また、決定部24は、画像全体の輝度平均が「A」の場合において、高輝度領域200の数が所定の少数閾値未満、もしくは、ゼロの場合(高輝度領域:少)、輝度閾値として閾値TH3を決定する。
このように、決定部24は、画像全体(撮像画像Iの領域全体)の輝度平均および高輝度領域200の数(面積)に基づいて、輝度閾値を決定することで、輝度閾値を高精度に決定することができる。また、高輝度領域200の数を面積として扱うため、面積を算出するための演算処理が必要ない。すなわち、高輝度領域200の数に基づいて輝度閾値を決定することで、制御部2の処理負荷を抑えることができる。
なお、図4では、輝度閾値の上限値を3段階(閾値TH1、TH2、TH3)で決定したが、上限値は、2段以下であってもよく、4段以上であってもよい。
決定部24は、決定した輝度閾値を検出部25へ出力する。
検出部25は、決定部24によって決定された輝度閾値に基づいて付着物領域500を検出する。具体的には、検出部25は、小領域100が以下の(1)~(3)の条件をすべて満たすか否かを判定する。なお、小領域100が少なくとも(1)~(3)のいずれか一つの条件を満たさない場合には、当該小領域100を付着物が付着していない非付着物領域として検出する。
(1)小領域100の第1差分が所定値以下
(2)小領域100の第2差分が所定値以下
(3)小領域100の輝度平均が輝度閾値以下
つづいて、検出部25は、上記(1)~(3)の条件をすべて満たす回数を示すカウント数が所定数以上となった小領域100の数が所定数以上の場合に、当該所定数の小領域100を付着物領域500として検出する。つまり、検出部25は、(1)~(3)の条件をすべて満たす状態が所定回数以上継続した所定数の小領域100のまとまりを付着物領域500として検出する。
検出部25は、検出した付着物領域500の情報をフラグ出力部26へ出力する。
フラグ出力部26は、検出部25によって付着物領域500が検出された場合、付着物フラグONを各種機器50に対して出力する。一方、フラグ出力部26は、検出部25によって付着物領域500が検出されていない場合、すなわち、未付着物領域が検出された場合、付着物フラグOFFを各種機器50に対して出力する。
次に、図5および図6を用いて、実施形態に係る付着物検出装置1が実行する処理の処理手順について説明する。図5は、実施形態に係る付着物検出装置1が実行する全体処理の処理手順を示すフローチャートである。図6は、実施形態に係る付着物検出装置1が実行する検出処理の処理手順を示すフローチャートである。
まず、図5を用いて、実施形態に係る付着物検出装置1が実行する全体処理について説明する。
図5に示すように、前処理部21は、撮像画像Iに対して前処理を施す(ステップS101)。ここでいう、前処理とは、例えば、グレースケール化処理および間引き処理した後、縮小した画像の画素値に基づいて積分画像を生成する処理である。
つづいて、算出部22は、撮像画像Iにおける所定領域ROIを小領域100毎に分割する(ステップS102)。
つづいて、算出部22は、小領域100毎に輝度の特徴量を示す輝度情報を算出する(ステップS103)。輝度の特徴量は、例えば、輝度の平均値および輝度の標準偏差である。
つづいて、算出部22は、画像全体の輝度の特徴量を示す輝度情報を算出する(ステップS104)。
つづいて、抽出部23は、算出部22によって算出された小領域100の輝度平均が所定値以上である小領域100を高輝度領域200として抽出する(ステップS105)。
つづいて、決定部24は、抽出部23によって抽出された高輝度領域200の面積に基づいて、検出部25における検出処理の輝度閾値を決定する(ステップS106)。
つづいて、検出部25は、決定部24によって決定された輝度閾値を用いて、付着物領域500を検出する検出処理を行う(ステップS107)。
つづいて、フラグ出力部26は、検出部25の検出結果に応じた付着物フラグを各種機器50へ出力し(ステップS108)、処理を終了する。
次に、図6を用いて、実施形態に係る付着物検出装置1が実行する検出処理について説明する。
まず、検出部25は、小領域100の第1差分が所定値以下である否かを判定する(ステップS201)。
検出部25は、第1差分が所定値以下である場合(ステップS201:Yes)、小領域100の第2差分が所定値以下であるか否かを判定する(ステップS202)。
検出部25は、第2差分が所定値以下である場合(ステップS202:Yes)、小領域100の輝度平均が輝度値以下であるか否かを判定する(ステップS203)。
検出部25は、小領域100の輝度平均が輝度値以下である場合(ステップS203:Yes)、ステップS201~ステップS203の満たす回数を示すカウント数をアップするとともに、アップ後のカウント数が所定数以上であるか否かを判定する(ステップS204)。
検出部25は、カウント数が所定数以上である場合(ステップS204:Yes)、条件を満たす領域(小領域100)として検出する(ステップS205)。
つづいて、検出部25は、条件を満たす領域数が所定数以上であるか否かを判定する(ステップS206)。
検出部25は、条件を満たす領域数が所定数以上である場合(ステップS206:Yes)、当該所定数の小領域100を付着物領域500として検出する(ステップS207)。
つづいて、フラグ出力部26は、付着物領域500が検出された場合、付着物フラグONを出力し(ステップS208)、処理を終了する。
一方、ステップS201において、検出部25は、第1差分が所定値を超える場合(ステップS201:No)、当該小領域100について、条件を満たさない領域として検出する(ステップS209)。
また、ステップS202において、検出部25は、第2差分が所定値を超える場合(ステップS202:No)、ステップS209へ移行する。
また、ステップS203において、検出部25は、輝度平均が輝度閾値を超える場合(ステップS203:No)、ステップS209へ移行する。
また、ステップS204において、検出部25は、カウント数が所定数未満である場合(ステップS204:No)、ステップS209へ移行する。
また、ステップS206において、検出部25は、条件満たす領域数が所定数未満である場合(ステップS206:No)、所定領域ROIを非付着物領域として検出する(ステップS210)。
つづいて、フラグ出力部26は、非付着物領域として検出された場合、付着物フラグOFFを出力し(ステップS211)、処理を終了する。
上述してきたように、実施形態に係る付着物検出装置1は、算出部22と、抽出部23と、決定部24とを備える。算出部22は、撮像装置(カメラ10)で撮像された撮像画像Iの所定領域ROIを分割した小領域100毎に輝度平均を算出する。抽出部23は、算出部22によって算出された輝度平均が所定値以上である小領域100を高輝度領域200として抽出する。決定部24は、抽出部23によって抽出された高輝度領域200の面積に基づいて、撮像装置に付着した遮光性の付着物に対応する付着物領域500を検出するための輝度閾値を決定する。これにより、付着物を高精度に検出することができる。
また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Iを用いたが、撮像画像Iは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Iであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Iであればよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
1 付着物検出装置
2 制御部
3 記憶部
10 カメラ
11 車速センサ
21 前処理部
22 算出部
23 抽出部
24 決定部
25 検出部
26 フラグ出力部
31 閾値情報
50 各種機器
100 小領域
200 高輝度領域
500 付着物領域
ROI 所定領域
I 撮像画像

Claims (5)

  1. 撮像装置で撮像された画像の所定領域を分割した小領域毎に輝度平均を算出する算出部と、
    前記算出部によって算出された前記輝度平均が所定値以上である前記小領域を高輝度領域として抽出する抽出部と、
    前記抽出部によって抽出された前記高輝度領域の面積に基づいて、前記撮像装置に付着した付着物に対応する付着物領域を検出するための輝度閾値を決定する決定部と
    を備えることを特徴とする付着物検出装置。
  2. 前記決定部は、
    前記抽出部によって抽出された前記高輝度領域の数に基づいて前記輝度閾値を決定すること
    を特徴とする請求項1に記載の付着物検出装置。
  3. 前記算出部は、
    前記所定領域全体の輝度平均を算出し、
    前記決定部は、
    前記画像の領域全体の輝度平均および前記高輝度領域の面積に基づいて、前記輝度閾値を決定すること
    を特徴とする請求項1または2に記載の付着物検出装置。
  4. 前記抽出部は、
    前記所定領域のうち、車体に対応するボディ領域を除いた小領域の中から前記高輝度領域を抽出すること
    を特徴とする請求項1~3のいずれか1つに記載の付着物検出装置。
  5. 撮像装置で撮像された画像の所定領域を分割した小領域毎に輝度平均を算出する算出工程と、
    前記算出工程によって算出された前記輝度平均が所定値以上である前記小領域を高輝度領域として抽出する抽出工程と、
    前記抽出工程によって抽出された前記高輝度領域の面積に基づいて、前記撮像装置に付着した付着物に対応する付着物領域を検出するための輝度閾値を決定する決定工程と
    を含むことを特徴とする付着物検出方法。
JP2019172215A 2019-09-20 2019-09-20 付着物検出装置および付着物検出方法 Active JP7200894B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019172215A JP7200894B2 (ja) 2019-09-20 2019-09-20 付着物検出装置および付着物検出方法
US17/019,853 US11250553B2 (en) 2019-09-20 2020-09-14 Deposit detection device and deposit detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019172215A JP7200894B2 (ja) 2019-09-20 2019-09-20 付着物検出装置および付着物検出方法

Publications (2)

Publication Number Publication Date
JP2021051382A JP2021051382A (ja) 2021-04-01
JP7200894B2 true JP7200894B2 (ja) 2023-01-10

Family

ID=74879964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019172215A Active JP7200894B2 (ja) 2019-09-20 2019-09-20 付着物検出装置および付着物検出方法

Country Status (2)

Country Link
US (1) US11250553B2 (ja)
JP (1) JP7200894B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126195B2 (en) * 2017-06-12 2021-09-21 Faraday & Future Inc. System and method for detecting occluded objects based on image processing
JP7251426B2 (ja) * 2019-09-20 2023-04-04 株式会社デンソーテン 付着物検出装置および付着物検出方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216928A (ja) 2002-01-21 2003-07-31 Takigawa Kogyo Co Ltd 菓子用良否判定システム
JP2014030188A (ja) 2012-07-03 2014-02-13 Clarion Co Ltd レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436979A (en) * 1992-08-21 1995-07-25 Eastman Kodak Company Process for detecting and mapping dirt on the surface of a photographic element
JPH07128200A (ja) * 1993-10-31 1995-05-19 Babcock Hitachi Kk 監視方法および装置
US6233364B1 (en) * 1998-09-18 2001-05-15 Dainippon Screen Engineering Of America Incorporated Method and system for detecting and tagging dust and scratches in a digital image
JP4130435B2 (ja) 2004-11-30 2008-08-06 本田技研工業株式会社 撮像装置の異常検知装置
MY184347A (en) * 2012-07-27 2021-04-01 Nissan Motor In-vehicle image recognizer
EP3164831A4 (en) * 2014-07-04 2018-02-14 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
JP6516439B2 (ja) * 2014-10-30 2019-05-22 キヤノン株式会社 印刷制御装置、印刷制御方法及びプログラム
JP2019029897A (ja) * 2017-08-01 2019-02-21 パナソニックIpマネジメント株式会社 画像監視装置、画像監視方法および画像監視プログラム
JP2020043398A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216928A (ja) 2002-01-21 2003-07-31 Takigawa Kogyo Co Ltd 菓子用良否判定システム
JP2014030188A (ja) 2012-07-03 2014-02-13 Clarion Co Ltd レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム

Also Published As

Publication number Publication date
JP2021051382A (ja) 2021-04-01
US20210090237A1 (en) 2021-03-25
US11250553B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
US9275464B2 (en) Method for determining the extent of a foreground object in an image
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
KR101051459B1 (ko) 영상의 에지를 추출하는 장치 및 방법
JP2008286725A (ja) 人物検出装置および方法
JP7200894B2 (ja) 付着物検出装置および付着物検出方法
US11301974B2 (en) Image processing apparatus, image processing method, image capturing apparatus, and storage medium
JP7230507B2 (ja) 付着物検出装置
JP7251426B2 (ja) 付着物検出装置および付着物検出方法
EP4000040A1 (en) Method, computer program product and computer readable medium for generating a mask for a camera stream
JP7200893B2 (ja) 付着物検出装置および付着物検出方法
WO2018058573A1 (zh) 对象检测方法、对象检测装置以及电子设备
JP7251425B2 (ja) 付着物検出装置および付着物検出方法
JP7163766B2 (ja) 付着物検出装置および付着物検出方法
US10997743B2 (en) Attachable matter detection apparatus
JP7151675B2 (ja) 付着物検出装置および付着物検出方法
JP7283081B2 (ja) 付着物検出装置および付着物検出方法
WO2017128646A1 (zh) 一种图像处理的方法及装置
JP7234630B2 (ja) 付着物検出装置
JP7172931B2 (ja) 付着物検出装置および付着物検出方法
JP2009088884A (ja) 撮像データにおける動きベクトル検出方法と装置
JP7234884B2 (ja) 付着物検出装置および付着物検出方法
JP7243546B2 (ja) 付着物検出装置および付着物検出方法
JP7274867B2 (ja) 付着物検出装置および付着物検出方法
JP2020108060A (ja) 付着物検出装置および付着物検出方法
CN114359575A (zh) 摄像机污点检测方法及相关装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R150 Certificate of patent or registration of utility model

Ref document number: 7200894

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150