JP7163767B2 - 画像処理装置、および画像処理方法 - Google Patents

画像処理装置、および画像処理方法 Download PDF

Info

Publication number
JP7163767B2
JP7163767B2 JP2018246917A JP2018246917A JP7163767B2 JP 7163767 B2 JP7163767 B2 JP 7163767B2 JP 2018246917 A JP2018246917 A JP 2018246917A JP 2018246917 A JP2018246917 A JP 2018246917A JP 7163767 B2 JP7163767 B2 JP 7163767B2
Authority
JP
Japan
Prior art keywords
luminance
image
divided
image processing
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018246917A
Other languages
English (en)
Other versions
JP2020108059A (ja
Inventor
修久 池田
信徳 朝山
貴 河野
泰司 谷
大輔 山本
朋和 沖
輝彦 上林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2018246917A priority Critical patent/JP7163767B2/ja
Publication of JP2020108059A publication Critical patent/JP2020108059A/ja
Application granted granted Critical
Publication of JP7163767B2 publication Critical patent/JP7163767B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、および画像処理方法に関する。
従来、映像中の被写体を含む領域が黒つぶれや、白とびなど、露出条件が適していない露出アウト領域が映像中で発生することがあった。このような場合、被写体を検知することができず、その対策として、画像の信号レベルを補正する画像処理装置が知られている(例えば、特許文献1参照)。
特開2016-173777号公報
上記技術を用いた補正後の画像における或る領域の輝度と、閾値とを比較することで、或る領域が、露出条件が適しており背景などの被写体を検知することができる露出セーフ領域であるか、露出アウト領域であるかを判定することが考えられる。
しかしながら、画像が全体的に暗い、いわゆる全面黒つぶれが生じている場合と、画像の一部が暗い、いわゆる部分黒つぶれが生じている場合とでは、画像の信号レベルの補正量が異なるため、信号レベルの補正量に応じて検出される露出アウト領域が変更されるおそれがある。すなわち、補正後の画像から、露出アウト領域を検出することが困難となるおそれがある。
本発明は、上記に鑑みてなされたものであって、検知不能領域を正確に検出する画像処理装置、および画像処理方法を提供することを目的とする。
実施形態の一態様に係る画像処理装置は、領域設定部と、算出部と、閾値設定部と、検出部とを備える。領域設定部は、撮像装置によって撮像された撮像画像に複数の分割領域を設定する。算出部は、分割領域における輝度の代表値、および複数の分割領域を含む対象領域における輝度のばらつき量を算出する。閾値設定部は、対象領域における輝度のばらつき量に基づいて代表値判定閾値を設定する。検出部は、分割領域における輝度の代表値と代表値判定閾値とに基づいて、複数の分割領域の中から露出アウト領域を検出する。
実施形態の一態様によれば、露出アウト領域を正確に検出することができる。
図1は、画像処理方法の概要を示す図である。 図2は、画像処理装置の構成を示すブロック図である。 図3は、高輝度分割領域と低輝度分割領域とが混在する撮像画像の一例である。 図4は、対象領域における輝度の標準偏差、および対象領域における輝度の平均値に対する低輝度判定平均値の関係を示すマップである。 図5は、撮像画像判定処理を説明するフローチャートである。 図6は、高輝度判定処理を説明するフローチャートである。 図7は、低輝度判定処理を説明するフローチャートである。
以下、添付図面を参照して、実施形態に係る画像処理装置、および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。
まず、図1を用いて実施形態に係る画像処理方法の概要について説明する。図1は、画像処理方法の概要を示す図である。実施形態に係る画像処理方法は、画像処理装置1によって実行される。
画像処理装置1は、例えば、車両Cに搭載された車載カメラ10(撮像装置)によって車両Cの周囲を撮像する。
車載カメラ10は、車両Cの周囲を撮像する。車載カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を備える。車載カメラ10には、例えば、車両Cの前方を撮像するフロントカメラ10a、車両Cの後方を撮像するリアカメラ10b、車両Cの左側方を撮影するレフトカメラ10c、車両Cの右側方を撮影するライトカメラ10dが含まれる。
そして、画像処理装置1は、撮像された撮像画像Iに対して、露出条件が適した露出セーフ画像であるか、露出条件が適さない領域を有する露出アウト画像であるかを判定し、露出アウト画像を検出する。
露出アウト画像は、例えば、太陽光や、照明装置の光が直接、または反射して入射する場合、いわゆる、白とびが生じた場合に発生する。つまり、高輝度側において露出条件が適さない場合において発生する場合がある。この場合、主に階調の欠落により映像に写っているはずの被写体の情報が欠落し、本来検出できるはずの被写体を検出できなくなる。また、露出アウト画像は、例えば、夜間など車両Cの周囲が暗い場合や、光を通さない付着物が車載カメラ10のレンズに付着する場合など、いわゆる、黒つぶれが生じた場合に発生する。つまり、低輝度側において露出条件が適さない場合においても発生する場合がある。この場合、高輝度側と同様の階調の欠落や、シグナル/ノイズ比の悪化により、映像に写っているはずの被写体の情報が欠落し、本来検出できるはずの被写体を検出できなくなる。この場合、付着物は、泥や、埃などである。
以下では、黒つぶれが生じる場合の露出アウト画像を「低輝度画像」と称することがある。
低輝度画像における黒つぶれには、撮像画像Iの全体に黒つぶれが生じる全面黒つぶれと、撮像画像Iの一部に黒つぶれが生じる部分黒つぶれとが含まれる。
ところで、車載カメラ10によって撮像された撮像画像Iには、車載カメラ10によるゲイン補正が行われていることがあり、低輝度画像では輝度が高くなるように補正が行われる。
ゲイン補正が行われた場合には、全面黒つぶれが生じた撮像画像Iと、部分黒つぶれが生じた撮像画像Iとでは、ゲイン補正による輝度の補正量が異なる。そのため、全面黒つぶれが生じた撮像画像Iと、部分黒つぶれが生じた撮像画像Iとで、実際には同じ輝度の代表値を有する領域であっても、ゲイン補正後では輝度の代表値が異なる。代表値とは、具体的には平均値である。
そのため、領域の輝度の代表値と、所定の閾値とを比較することで露出アウト領域を検出すると、ゲイン補正による輝度の補正量に応じて、検出される露出アウト領域が変更されるおそれがある。すなわち、画像処理装置1は、露出アウト領域を正確に検知することができないおそれがある。
そこで、画像処理装置1は、車載カメラ10によってゲイン補正が行われた場合であっても、露出アウト領域を正確に検出することを目的とする。
画像処理装置1は、車載カメラ10によって撮像された撮像画像Iを取得する(S10)。図1の撮像画像Iでは、低輝度の領域をドットで示す。
画像処理装置1は、撮像画像Iが露出アウトか否かを判定するための検知領域である対象領域R0に複数の分割領域R1を設定する(S11)。対象領域R0は、撮像画像Iに対して予め設定された領域であり、例えば、黒つぶれが発生した場合に、撮像画像Iを用いた処理、例えば、駐車枠LCの検出処理や、自動駐車処理などを正確に実行することができなくなる領域である。対象領域R0は、例えば矩形領域である。
分割領域R1は、対象領域R0を縦方向、および横方向に分割することで形成される領域である。分割領域R1には、複数の画素が含まれる。例えば、分割領域R1は、40×40の画素を含む矩形領域である。
なお、図1の撮像画像Iには、一例として、対象領域R0を縦方向に5つ、および横方向に8つに分割した40個の分割領域R1を示すが、これに限られることはない。
画像処理装置1は、分割領域R1における輝度の代表値、および対象領域R0における輝度のばらつき量を算出する(S12)。ばらつき量とは、具体的には標準偏差である。
画像処理装置1は、対象領域R0におけるばらつき量に基づいて低輝度判定代表値(代表値判定閾値)を設定する(S13)。低輝度判定代表値は、分割領域R1が、露出アウトであるか否かを判定する閾値である。
画像処理装置1は、分割領域R1における輝度の代表値が低輝度判定代表値以下である場合に、分割領域R1を輝度が低く、分割領域R1において露出アウト領域として検出する(S14)。なお、以下においては、輝度が低く露出条件が滴さない分割領域R1を露出アウト領域である「低輝度分割領域」と称する場合がある。
全面黒つぶれが生じた対象領域R0(撮像画像I)と、部分黒つぶれが生じた対象領域R0(撮像画像I)とでは、対象領域R0における輝度のばらつき量が異なる。具体的には、全面黒つぶれが生じた対象領域R0における輝度のばらつき量は、部分黒つぶれが生じた対象領域R0における輝度のばらつき量よりも小さい。
画像処理装置1は、対象領域R0における輝度のばらつき量に基づいて低輝度判定代表値を設定し、分割領域R1における輝度の代表値が低輝度判定代表値以下である場合に、分割領域R1を低輝度分割領域として検出する。これにより、画像処理装置1は、低輝度分割領域を正確に検出することができる。
次に、画像処理装置1について図2を参照し、説明する。図2は、画像処理装置1の構成を示すブロック図である。画像処理装置1は、低輝度判定処理、および高輝度判定処理を行うことで、分割領域R1の中から、低輝度分割領域、または輝度が高く露出条件が適さない高輝度分割領域を検出する。そして、画像処理装置1は、露出アウト領域(低輝度分割領域、および高輝度分割領域)の検出結果に基づいて撮像画像Iが露出アウト画像であるか否かを判定し、露出アウト画像を検出する。
画像処理装置1は、車載カメラ10と、各種機器50とに接続される。なお、図2では、画像処理装置1は、車載カメラ10と、各種機器50とは別体で構成される場合を示したが、これに限らず、車載カメラ10、および各種機器50の少なくとも一方と一体で構成されてもよい。
各種機器50は、画像処理装置1の検出結果を取得して、車両Cの各種制御を行う機器である。各種機器50は、例えば、露出条件が適さないことや、車載カメラ10のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。
画像処理装置1は、制御部2と、記憶部3とを備える。制御部2は、取得部20と、領域設定部21と、選択部22と、算出部23と、閾値設定部24と、判定部25と、更新部26と、検出部27とを備える。
ここで、画像処理装置1は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。
コンピュータのCPUは、たとえば、ROMに記憶されたプログラムを読み出して実行することによって、制御部2の取得部20と、領域設定部21と、選択部22と、算出部23と、閾値設定部24と、判定部25と、更新部26と、検出部27として機能する。
また、制御部2の取得部20と、領域設定部21と、選択部22と、算出部23と、閾値設定部24と、判定部25と、更新部26と、検出部27の少なくともいずれか一つまたは全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。また、取得部20と、領域設定部21と、選択部22と、算出部23と、閾値設定部24と、判定部25と、更新部26と、検出部27は、統合されてもよく、複数に分けられてもよい。
取得部20は、車載カメラ10で撮像された画像を取得し、撮像画像Iを生成する。具体的には、取得部20は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。また、取得部20は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。
また、取得部20は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である撮像画像Iを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。このように、画像処理装置1は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、検知不能領域を検出するための処理時間を短くすることができる。
なお、取得部20は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、取得部20は、間引き処理を行わず、取得した画像と同じサイズの撮像画像Iを生成(取得)してもよい。
領域設定部21は、撮像画像Iに対して対象領域R0、および分割領域R1を設定する。領域設定部21は、各撮像画像Iに対して、対象領域R0、および分割領域R1を予め設定された位置に設定する。
選択部22は、露出セーフ領域であるか否かを判定していない分割領域R1を選択する。具体的には、選択部22は、高輝度判定処理において、分割領域R1の中から、第1所定条件を満たすか否かが判定されていない分割領域R1を選択する。また、選択部22は、低輝度判定処理において、分割領域R1の中から、第2所定条件を満たすか否かが判定されていない分割領域R1を選択する。第1所定条件、および第2所定条件については後述する。
算出部23は、対象領域R0に含まれる各画素の輝度を検出し、対象領域R0における輝度の代表値、および輝度のばらつき量を算出する。また、算出部23は、各分割領域R1における輝度の代表値、および輝度のばらつき量を算出する。代表値とは、対象領域R0における輝度の分布における代表的な輝度を示す値であり、具体的には平均値を用いる。平均値の他に、刈込平均、中央値、最頻値などを用いてもよい。ばらつき量とは、対象領域R0における輝度の分布の広がりを表す値であり、具体的には標準偏差を用いる。標準偏差の他に、分散、最大最小幅、四分位幅、任意のパーセンタイル幅を用いてもよい。以降は、代表値として平均値を、ばらつき量として標準偏差を用いる場合について例として説明する。
また、算出部23は、対象領域R0に対する露出アウト領域の割合である占有率を算出する。露出アウト領域は、高輝度分割領域と低輝度分割領域との合計である。例えば、図3に示すように、高輝度分割領域、および低輝度分割領域が混在する場合には、高輝度分割領域と低輝度分割領域との合計が露出アウト領域となる。図3は、高輝度分割領域と低輝度分割領域とが混在する撮像画像Iの一例である。図3では、低輝度の領域をドットで示し、高輝度の領域をハッチングで示す。
占有率は、露出アウト領域の面積を対象領域R0の面積で除算することで算出される。なお、占有率は、露出アウト領域の数を対象領域R0に含まれる分割領域R1の数で除算して算出されてもよい。占有率は、例えば、百分率で表される。なお、算出部23は、自車両Cが写る撮像画像Iでは、自車両Cが写る分割領域R1を除外して占有率を算出する。
閾値設定部24は、低輝度判定処理を行う場合に、対象領域R0における輝度の標準偏差、および対象領域R0における輝度の平均値に基づいて閾値である低輝度判定平均値(低輝度判定代表値)を設定する。閾値設定部24は、例えば、図4に示すマップに基づいて、低輝度判定平均値を設定する。図4は、対象領域R0における輝度の標準偏差、および対象領域R0における輝度の平均値に対する低輝度判定平均値の関係を示すマップである。
閾値設定部24は、対象領域R0における輝度の標準偏差が所定標準偏差以下の場合には、第1閾値線に基づいて低輝度判定平均値を設定する。また、閾値設定部24は、対象領域R0における輝度の標準偏差が所定標準偏差よりも大きい場合には、第2閾値線に基づいて低輝度判定平均値を設定する。すなわち、閾値設定部24は、対象領域R0における輝度の標準偏差に基づいて低輝度判定平均値を設定するための閾値線(第1閾値線、および第2閾値線)を切り替える。
なお、閾値設定部24は、対象領域R0における輝度の平均値が所定平均値よりも大きい場合には、第2閾値線に基づいて低輝度判定平均値を設定する。すなわち、閾値設定部24は、対象領域R0における輝度の平均値が所定平均値以下であり、かつ対象領域R0における輝度の標準偏差が所定標準偏差以下である場合には、第1閾値線に基づいて低輝度判定平均値を設定する。
対象領域R0における輝度の平均値が所定平均値以下であり、かつ対象領域R0における輝度の標準偏差が所定標準偏差以下である場合は、撮像画像Iが全体的に暗く、対象領域R0が全体黒つぶれ状態であり、車載カメラ10によるゲイン補正が行われることがある。そのため、閾値設定部24は、比較的大きい第1閾値線に基づいて低輝度判定平均値を設定する。
所定平均値は、予め設定された値であり、対象領域R0が全体的に暗い(黒い)か否かを判定可能な値であり、例えば、「85」である。所定標準偏差は、予め設定された値であり、対象領域R0における輝度のばらつきが多いか否かを判定可能な値であり、例えば、「20」である。
また、閾値設定部24は、対象領域R0における輝度の平均値が所定平均値よりも大きい場合には、第2閾値線に基づいて低輝度判定平均値を設定する。
対象領域R0における輝度の平均値が所定平均値よりも大きい場合には、対象領域R0が全体的に明るく、黒つぶれがある場合であっても、部分黒つぶれ状態であると推定される。そのため、車載カメラ10によるゲイン補正が行われた場合であっても、全体黒つぶれの場合よりも補正量が小さいと推定される。そのため、閾値設定部24は、第2閾値線基づいて低輝度判定平均値を設定する。
また、閾値設定部24は、対象領域R0における輝度の平均値が所定平均値以下であり、かつ対象領域R0における輝度の標準偏差が所定標準偏差よりも大きい場合には、第2閾値線に基づいて低輝度判定平均値を設定する。
対象領域R0における輝度の平均値が所定平均値以下であり、かつ対象領域R0における輝度の標準偏差が所定標準偏差よりも大きい場合には、対象領域R0が全体的に暗いが、或る領域では輝度が高い状態であると推定される。そのため、車載カメラ10によるゲイン補正が行われた場合であっても、全体黒つぶれの場合よりも補正量が小さいと推定される。そのため、閾値設定部24は、第2閾値線基づいて低輝度判定平均値を設定する。
第1閾値線は、対象領域R0における輝度の平均値が同じである場合に、第2閾値線よりも低輝度判定平均値が大きくなるように設定される。すなわち、閾値設定部24は、対象領域R0における輝度の標準偏差が所定標準偏差以下である場合には、対象領域R0における輝度の標準偏差が所定標準偏差よりも大きい場合よりも、対象領域における同一の輝度の平均値に対し、低輝度判定平均値を大きくする。
これは、対象領域R0における輝度の平均値が所定平均値以下であり、かつ対象領域R0における輝度の標準偏差が所定標準偏差以下である場合には、車載カメラ10によるゲイン補正によって他の場合よりも輝度が高く補正されるためである。
また、第2閾値線には、上限値が設定されており、対象領域R0における輝度の平均値が上限平均値以上の場合には、低輝度判定平均値は、低輝度判定上限平均値に設定される。
なお、閾値設定部24は、対象領域R0における輝度の標準偏差、および対象領域R0における輝度の平均値に基づいた表や、計算式に基づいて低輝度判定平均値を設定してもよい。
図2に戻り、判定部25は、高輝度判定処理において、分割領域R1が第1所定条件を満たすか否かを判定する。判定部25は、(1)分割領域R1における輝度の平均値が高輝度判定平均値以上であり、かつ(2)分割領域R1における輝度の標準偏差が高輝度判定標準偏差以下である場合に、第1所定条件を満たすと判定する。高輝度判定平均値は、予め設定された値であり、例えば、「240」である。高輝度判定標準偏差は、予め設定された値であり、例えば、「15」である。
判定部25は、高輝度判定処理において、上記(1)または(2)を満たさない場合には、第1所定条件を満たさないと判定する。
また、判定部25は、低輝度判定処理において、分割領域R1が第2所定条件を満たすか否かを判定する。判定部25は、(3)分割領域R1における輝度の平均値が、設定された低輝度判定平均値以下であり、かつ(4)分割領域R1における輝度の標準偏差が低輝度判定標準偏差(標準偏差判定閾値)以下である場合に、第2所定条件を満たすと判定する。低輝度判定標準偏差は、予め設定された値であり、例えば、「15」である。なお、高輝度判定標準偏差と低輝度判定標準偏差とは、異なる値であってもよい。
判定部25は、低輝度判定処理において、上記(3)または(4)を満たさない場合には、第2所定条件を満たさないと判定する。
また、判定部25は、高輝度判定処理において、分割領域R1が高輝度分割領域であるか否かを判定する。具体的には、判定部25は、第1カウンタ値が第1所定カウンタ値以上であるか否かを判定する。
第1カウンタ値は、分割領域R1が第1所定条件を継続的に満たすことを示す値である。第1カウンタ値は、分割領域R1毎にカウントされる。第1所定カウンタ値は、予め設定された値であり、例えば、「3」である。なお、第1所定カウンタ値には、予め設定された下限値、および上限値が設定されている。
判定部25は、第1カウンタ値が第1所定カウンタ値以上である場合には、分割領域R1が高輝度分割領域であると判定する。すなわち、判定部25は、分割領域R1が継続的に第1所定条件を満たす場合に、分割領域R1が高輝度分割領域であると判定する。
判定部25は、第1カウンタ値が第1所定カウンタ値よりも小さい場合には、分割領域R1が通常領域であると判定する。通常領域は、高輝度分割領域、または低輝度分割領域として検出されていない分割領域R1である。通常領域には、高輝度分割領域、または低輝度分割領域として判定が確定していない分割領域R1、および露出条件が適している露出セーフな分割領域R1が含まれる。
また、判定部25は、低輝度判定処理において、分割領域R1が低輝度分割領域であるか否かを判定する。具体的には、判定部25は、第2カウンタ値が第2所定カウンタ値以上であるか否かを判定する。
第2カウンタ値は、分割領域R1が第2所定条件を継続的に満たすことを示す値である。第2カウンタ値は、分割領域R1毎にカウントされる。第2所定カウンタ値は、予め設定された値であり、例えば、「3」である。なお、第2所定カウンタ値は、予め設定された下限値、および上限値が設定されている。また、第2所定カウンタ値と第1所定カウンタ値とは異なる値であってもよい。
判定部25は、第2カウンタ値が第2所定カウンタ値以上である場合には、分割領域R1が低輝度分割領域であると判定する。すなわち、判定部25は、分割領域R1が継続的に第2所定条件を満たす場合に、分割領域R1が低輝度分割領域であると判定する。
判定部25は、第2カウンタ値が第2所定カウンタ値よりも小さい場合には、分割領域R1が通常領域であると判定する。具体的には、判定部25は、分割領域R1が高輝度分割領域、および低輝度分割領域ではない場合に、分割領域R1が露出セーフ領域であると判定する。
また、判定部25、高輝度判定処理において、全ての分割領域R1に対して第1所定条件を満たすか否かの判定を行ったか否かを判定する。また、低輝度判定処理において、全ての分割領域R1に対して第2所定条件を満たすか否かの判定を行ったか否かを判定する。
また、判定部25は、撮像画像Iが露出アウト画像であるか否かを判定する。具体的には、判定部25は、占有率が所定占有率(所定割合)以上であるか否かを判定する。所定占有率は、予め設定された値であり、例えば、「40%」である。判定部25は、占有率が所定占有率以上である場合には、撮像画像Iが露出アウト画像であると判定する。判定部25は、占有率が所定占有率よりも大きい場合には、撮像画像Iが露出セーフ画像であると判定する。
更新部26は、高輝度判定処理において、分割領域R1が第1所定条件を満たす場合には、第1カウンタ値をインクリメントし、第1カウンタ値を更新する。更新部26は、高輝度判定処理において、分割領域R1が第1所定条件を満たさない場合には、第1カウンタ値をデクリメントし、第1カウンタ値を更新する。
また、更新部26は、低輝度判定処理において、分割領域R1が第2所定条件を満たす場合には、第2カウンタ値をインクリメントし、第2カウンタ値を更新する。更新部26は、低輝度判定処理において、分割領域R1が第2所定条件を満たさない場合には、第2カウンタ値をデクリメントし、第2カウンタ値を更新する。
検出部27は、高輝度判定処理において、第1カウンタ値が第1所定カウンタ値以上であると判定された分割領域R1を高輝度分割領域として検出する。また、検出部27は、低輝度判定処理において、第2カウンタ値が第2所定カウンタ値以上であると判定された分割領域R1を低輝度分割領域として検出する。また、検出部27は、高輝度判定処理において、第1カウンタ値が第1所定カウンタ値よりも小さいと判定され、かつ低輝度判定処理において、第2カウンタ値が第2所定カウンタ値よりも小さいと判定された分割領域R1を露出セーフ領域として検出する。
また、検出部27は、撮像画像Iが露出アウト画像であると判定された場合、具体的には、占有率が所定占有率以上であると判定された場合には、撮像画像Iを露出アウト画像として検出する。検出部27は、撮像画像Iが露出アウト画像であると判定された場合には、検知不能フラグを「ON」にする。
また、検出部27は、撮像画像Iが露出セーフ画像であると判定された場合、具体的には、占有率が所定占有率よりも小さいと判定された場合には、撮像画像Iを露出セーフ画像として検出する。検出部27は、撮像画像Iを露出セーフ画像であると判定された場合には、検知不能フラグを「OFF」にする。
記憶部3は、たとえば、RAMやデータフラッシュに対応する。RAMやデータフラッシュは、分割領域R1における輝度の平均値や、分割領域R1における輝度の標準偏差や、第1カウンタ値や、第2カウンタ値や、低輝度判定平均値などの情報や、各種プログラムの情報などを記憶することができる。なお、画像処理装置1は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
次に、実施形態に係る撮像画像判定処理について図5を参照し説明する。図5は、撮像画像判定処理を説明するフローチャートである。なお、撮像画像判定処理は、各車載カメラ10で行われる。
画像処理装置1は、車載カメラ10によって撮像した画像から撮像画像Iを生成し、分割領域R1、および対象領域R0を設定する(S100)。
画像処理装置1は、対象領域R0における輝度の平均値と、対象領域R0における輝度の標準偏差と、各分割領域R1における輝度の平均値と、各分割領域R1における輝度の標準偏差とを算出する(S101)。
画像処理装置1は、高輝度判定処理を行い(S102)、低輝度判定処理を行う(S103)。高輝度判定処理、および低輝度判定処理については、後述する。
画像処理装置1は、占有率を算出する(S104)。画像処理装置1は、占有率が所定占有率以上であるか否かを判定する(S105)。
画像処理装置1は、占有率が所定占有率以上である場合には(S105:Yes)、撮像画像Iが露出アウト画像であると判定し、露出アウトフラグを「ON」にする(S106)。また、画像処理装置1は、占有率が所定面積よりも小さい場合には(S105:No)、撮像画像Iが露出セーフ画像であると判定し、露出アウトフラグを「OFF」にする(S107)。
次に、高輝度判定処理について図6を参照し説明する。図6は、高輝度判定処理を説明するフローチャートである。
画像処理装置1は、分割領域R1を選択する(S200)。具体的には、画像処理装置1は、分割領域R1の中から、第1所定条件を満たすか否かの判定を行っていない分割領域R1を選択する。
画像処理装置1は、分割領域R1が第1所定条件を満たすか否かを判定する(S201)。画像処理装置1は、分割領域R1が第1所定条件を満たす場合には(S201:Yes)、第1カウンタ値をインクリメントする(S202)。また、画像処理装置1は、分割領域R1が第1所定条件を満たさない場合には(S201:No)、第1カウンタ値をデクリメントする(S203)。
画像処理装置1は、第1カウンタ値が第1所定カウンタ値以上であるか否かを判定する(S204)。画像処理装置1は、第1カウンタ値が第1所定カウンタ値以上である場合には(S204:Yes)、分割領域R1を高輝度分割領域として検出する(S205)。
また、画像処理装置1は、第1カウンタ値が第1所定カウンタ値よりも小さい場合には(S204:No)、分割領域R1を通常領域として検出する(S206)。
画像処理装置1は、全ての分割領域R1に対して第1所定条件を満たすか否かの判定を行った場合には(S207:Yes)、高輝度判定処理を終了する。画像処理装置1は、第1所定条件を満たすか否かの判定を行っていない分割領域R1が有る場合には(S207:No)、新たに分割領域R1を選択し(S200)、上記処理を繰り返す。
次に、低輝度判定処理について図7を参照し説明する。図7は、低輝度判定処理を説明するフローチャートである。
画像処理装置1は、対象領域R0における輝度の標準偏差、および対象領域R0における輝度の平均値に基づいて低輝度判定平均値を設定する(S300)。
画像処理装置1は、分割領域R1を選択する(S301)。具体的には、画像処理装置1は、分割領域R1の中から、第2所定条件を満たすか否かの判定を行っていない分割領域R1を選択する。
画像処理装置1は、分割領域R1が第2所定条件を満たすか否かを判定する(S302)。具体的には、画像処理装置1は、分割領域R1における輝度の平均値が、設定された低輝度判定平均値以下であり、かつ分割領域R1における輝度の標準偏差が低輝度判定標準偏差以下であるか否かを判定する。
画像処理装置1は、分割領域R1が第2所定条件を満たす場合には(S302:Yes)、第2カウンタ値をインクリメントする(S303)。また、画像処理装置1は、分割領域R1が第2所定条件を満たさない場合には(S302:No)、第2カウンタ値をデクリメントする(S304)。
画像処理装置1は、第2カウンタ値が第2所定カウンタ値以上であるか否かを判定する(S305)。画像処理装置1は、第2カウンタ値が第2所定カウンタ値以上である場合には(S305:Yes)、分割領域R1を低輝度分割領域として検出する(S306)。
また、画像処理装置1は、第2カウンタ値が第2所定カウンタ値よりも小さい場合には(S305:No)、分割領域R1を露出セーフ領域として検出する(S307)。すなわち、画像処理装置1は、高輝度分割領域、および低輝度分割領域ではないと判定された分割領域R1を露出セーフ領域として検出する。
画像処理装置1は、全ての分割領域R1に対して第2所定条件を満たすか否かの判定を行った場合には(S308:Yes)、低輝度判定処理を終了する。画像処理装置1は、第2所定条件を満たすか否かの判定を行っていない分割領域R1が有る場合には(S308:No)、新たに分割領域R1を選択し(S301)、上記処理を繰り返す。
画像処理装置1は、対象領域R0における輝度の標準偏差に基づいて低輝度判定平均値を設定する。画像処理装置1は、分割領域R1における輝度の平均値と低輝度判定平均値とに基づいて露出条件が適切でない露出アウト領域である低輝度分割領域を検出する。
これにより、画像処理装置1は、車載カメラ10によるゲイン補正が行われた場合であっても、低輝度分割領域を正確に検出することができる。
画像処理装置1は、対象領域R0における輝度の平均値、および対象領域R0における輝度の標準偏差に基づいて低輝度判定平均値を設定する。
これにより、画像処理装置1は、車載カメラ10によるゲイン補正が行われた場合に、ゲイン補正量に応じて変化した対象領域R0の輝度の平均値に基づいて、低輝度判定平均値を設定することができる。そのため、画像処理装置1は、低輝度分割領域を精度よく検出することができる。
画像処理装置1は、対象領域R0における輝度の標準偏差が所定標準偏差以下である場合には、対象領域R0における輝度の標準偏差が所定標準偏差よりも大きい場合よりも、対象領域における同一の輝度の平均値に対し、低輝度判定平均値を大きくする。
これにより、画像処理装置1は、対象領域R0が全体黒つぶれであり、ゲイン補正による対象領域R0の輝度が大きく補正された場合であっても、低輝度分割領域を正確に検出することができる。
画像処理装置1は、分割領域R1における輝度の平均値が低輝度判定平均値以下であり、かつ分割領域R1における輝度の標準偏差が低輝度判定標準偏差以下である場合に、分割領域R1を低輝度分割領域として検出する。
これにより、画像処理装置1は、分割領域R1における輝度の平均値、および分割領域R1における輝度の標準偏差に基づき、低輝度分割領域を正確に検出することができる。
画像処理装置1は、分割領域R1における輝度の平均値が低輝度判定平均値以下であり、かつ分割領域R1における輝度の標準偏差が低輝度判定標準偏差以下である状態が継続する場合、具体的には、第2カウンタ値が第2所定カウンタ値以上である場合に、分割領域R1を低輝度分割領域として検出する。
これにより、画像処理装置1は、第2所定条件が継続して満たされる分割領域R1を低輝度分割領域として検出することで、低輝度分割領域を正確に検出することができる。
画像処理装置1は、対象領域R0に対する露出アウト領域の割合である占有率が所定占有率以上である場合に、撮像画像Iを露出アウト画像として検出する。
これにより、画像処理装置1は、露出アウト画像を正確に検出することができる。
変形例に係る画像処理装置1は、撮像画像Iが露出アウト画像であるか否かの判定を第3カウンタ値に基づいて判定してもよい。変形例に係る画像処理装置1は、占有率が所定占有率以上となる場合に第3カウンタ値をインクリメントし、占有率が所定占有率よりも小さい場合に第3カウンタ値をデクリメントする。そして、変形例に係る画像処理装置1は、第3カウンタ値が、予め設定された第3所定カウンタ値(例えば、「3」)以上の場合に、撮像画像Iが露出アウト画像であると判定する。また、変形例に係る画像処理装置1は、第3カウンタ値が第3所定カウンタ値よりも小さい場合に、撮像画像Iが露出セーフ画像であると判定する。すなわち、変形例に係る画像処理装置1は、占有率が所定占有率以上となる状態が継続する場合に、撮像画像Iを露出アウト画像として検出する。
これにより、変形例に係る画像処理装置1は、露出アウト画像を正確に判定することができる。
また、変形例に係る画像処理装置1は、所定占有率にヒステリシスを設けてもよい。変形例に係る画像処理装置1は、撮像画像Iの判定を露出セーフ画像から露出アウト画像に変更する場合の第1所定占有率(例えば、「40%」)と、撮像画像Iの判定を露出アウト画像から露出セーフ画像に変更する場合の第2所定占有率(例えば、「30%」)とを異なる値にしてもよい。すなわち、変形例に係る画像処理装置1は、占有率が第1所定占有率以上になると、撮像画像Iを露出アウト画像として検出し、撮像画像Iが露出アウト画像として検出された状態で、占有率が第1所定占有率よりも小さい第2所定占有率以下になると、撮像画像Iを露出セーフ画像として検出する。
これにより、変形例に係る画像処理装置1は、撮像画像Iが露出セーフ画像であるか、露出アウト画像であるかの判定でハンチングが生じることを抑制し、露出アウトフラグの出力を安定させることができる。
また、変形例に係る画像処理装置1は、高輝度判定処理によって通常領域であると判定された分割領域R1にのみ低輝度判定処理を行ってもよい。なお、低輝度判定処理が高輝度判定処理よりも先に行われる場合には、低輝度判定処理によって通常領域であると判定された分割領域R1にのみ高輝度判定処理を行ってもよい。
これにより、変形例に係る画像処理装置1は、検知不能領域を検出する際の処理負荷を小さくすることができる。
また、変形例に係る画像処理装置1では、車載カメラ10のゲイン補正の他にも、輝度や、色、明るさを補正する処理に対応して、低輝度判定平均値などが設定されてもよい。
また、変形例に係る画像処理装置1では、車載カメラ10毎に低輝度判定平均値などが設定されてもよい。
また、変形例に係る画像処理装置1は、対象領域R0における輝度の平均値のみに基づいて低輝度判定平均値を設定してもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
1 画像処理装置
2 制御部
3 記憶部
10 車載カメラ(撮像装置)
20 取得部
21 領域設定部
23 算出部
24 閾値設定部
25 判定部
26 更新部
27 検出部

Claims (9)

  1. 撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定部と、
    前記分割領域における輝度の代表値、および前記複数の分割領域を含む対象領域における輝度のばらつき量を算出する算出部と、
    前記対象領域における輝度のばらつき量に基づいて代表値判定閾値を設定する閾値設定部と、
    前記分割領域における輝度の代表値と前記代表値判定閾値とに基づいて、前記複数の分割領域の中から露出アウト領域を検出する検出部と
    を備えることを特徴とする画像処理装置。
  2. 前記算出部は、
    前記対象領域における輝度の代表値を算出し、
    前記閾値設定部は、
    前記対象領域における輝度のばらつき量、および前記対象領域における輝度の代表値に基づいて前記代表値判定閾値を設定する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記閾値設定部は、
    前記対象領域における輝度のばらつき量が所定ばらつき量以下である場合には、前記対象領域における輝度のばらつき量が前記所定ばらつき量よりも大きい場合よりも、前記対象領域における同一の輝度の代表値に対し、前記代表値判定閾値を大きくする
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記算出部は、
    前記分割領域における輝度のばらつき量を算出し、
    前記検出部は、
    前記分割領域における輝度の代表値が前記代表値判定閾値以下であり、かつ前記分割領域における輝度のばらつき量がばらつき量判定閾値以下である場合に、前記分割領域を、露出アウトである低輝度領域として検出する
    ことを特徴とする請求項1~3のいずれか一つに記載の画像処理装置。
  5. 前記検出部は、
    前記分割領域における輝度の代表値が前記代表値判定閾値以下であり、かつ前記分割領域における輝度のばらつき量が前記ばらつき量判定閾値以下である状態が継続する場合に、前記分割領域を前記低輝度領域として検出する
    ことを特徴とする請求項4に記載の画像処理装置。
  6. 前記算出部は、
    前記対象領域に対する前記露出アウト領域の割合を算出し、
    前記検出部は、
    前記割合が所定割合以上である場合に、前記撮像画像を、露出アウト画像として検出する
    ことを特徴とする請求項1~5のいずれか一つに記載の画像処理装置。
  7. 前記検出部は、
    前記割合が前記所定割合以上となる状態が継続する場合に、前記撮像画像を前記露出アウト画像として検出する
    ことを特徴とする請求項6に記載の画像処理装置。
  8. 前記検出部は、
    前記割合が第1所定割合以上になると、前記撮像画像を前記露出アウト画像として検出し、
    前記撮像画像が前記露出アウト画像として検出された状態で、前記割合が前記第1所定割合よりも小さい第2所定割合以下になると、前記撮像画像を、露出セーフ画像として検出する
    ことを特徴とする請求項6または7に記載の画像処理装置。
  9. 撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定工程と、
    前記分割領域における輝度の代表値、および前記複数の分割領域を含む対象領域における輝度のばらつき量を算出する算出工程と、
    前記対象領域における輝度のばらつき量に基づいて代表値判定閾値を設定する閾値設定工程と、
    前記分割領域における輝度の代表値と前記代表値判定閾値とに基づいて、前記複数の分割領域の中から露出アウト領域を検出する検出工程と
    を含むことを特徴とする画像処理方法。
JP2018246917A 2018-12-28 2018-12-28 画像処理装置、および画像処理方法 Active JP7163767B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018246917A JP7163767B2 (ja) 2018-12-28 2018-12-28 画像処理装置、および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018246917A JP7163767B2 (ja) 2018-12-28 2018-12-28 画像処理装置、および画像処理方法

Publications (2)

Publication Number Publication Date
JP2020108059A JP2020108059A (ja) 2020-07-09
JP7163767B2 true JP7163767B2 (ja) 2022-11-01

Family

ID=71449550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018246917A Active JP7163767B2 (ja) 2018-12-28 2018-12-28 画像処理装置、および画像処理方法

Country Status (1)

Country Link
JP (1) JP7163767B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018191087A (ja) 2017-04-28 2018-11-29 株式会社デンソーテン 付着物検出装置および付着物検出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63220375A (ja) * 1987-03-09 1988-09-13 Toray Ind Inc 画像2値化処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018191087A (ja) 2017-04-28 2018-11-29 株式会社デンソーテン 付着物検出装置および付着物検出方法

Also Published As

Publication number Publication date
JP2020108059A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
CN109712102B (zh) 一种图像融合方法、装置及图像采集设备
JP6160004B2 (ja) シーン認識方法および装置
US10419685B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
KR20200041382A (ko) 듀얼 카메라 기반 이미징 방법, 이동 단말기 및 저장 매체
KR101812807B1 (ko) 영역별 가중치를 기반으로 한 적응형 자동 노출 제어 방법
KR101374971B1 (ko) 디지털 이미지 내의 노이즈 감소 방법, 디지털 이미지 내의 노이즈 감소 장치 및 디지털 이미지 내의 노이즈 감소 시스템
CN103297789B (zh) 白平衡校正方法及其装置
KR100791391B1 (ko) 노이즈 저감 방법 및 장치
US20120127336A1 (en) Imaging apparatus, imaging method and computer program
US9491381B2 (en) Image processing apparatus and control method for image processing apparatus
TW201419853A (zh) 影像處理器及其影像壞點偵測方法
CN112218065B (zh) 图像白平衡方法、系统、终端设备及存储介质
CN100401749C (zh) 图像处理装置和方法
JP2012199774A (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP7251426B2 (ja) 付着物検出装置および付着物検出方法
JP2007166028A (ja) 露出量制御装置および露出量制御方法
JP7251425B2 (ja) 付着物検出装置および付着物検出方法
JP7163767B2 (ja) 画像処理装置、および画像処理方法
JP7163766B2 (ja) 付着物検出装置および付着物検出方法
JP6315239B2 (ja) 撮像装置、撮像方法、画像処理装置、撮像プログラム
KR20110067700A (ko) 이미지 획득 방법 및 디지털 카메라 시스템
CN111479064B (zh) 一种应用于透雾摄像机的日夜模式切换控制方法及装置
US10791289B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
CN108989696B (zh) 基于热度图的自动曝光方法
JP2020108130A (ja) 付着物検出装置、および付着物検出方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221003

R150 Certificate of patent or registration of utility model

Ref document number: 7163767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150