以下、添付図面を参照して、実施形態に係る画像処理装置、および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。
まず、図1を用いて実施形態に係る画像処理方法の概要について説明する。図1は、画像処理方法の概要を示す図である。実施形態に係る画像処理方法は、画像処理装置1によって実行される。
画像処理装置1は、例えば、車両Cに搭載された車載カメラ10(撮像装置)によって車両Cの周囲を撮像する。
車載カメラ10は、車両Cの周囲を撮像する。車載カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を備える。車載カメラ10には、例えば、車両Cの前方を撮像するフロントカメラ10a、車両Cの後方を撮像するリアカメラ10b、車両Cの左側方を撮影するレフトカメラ10c、車両Cの右側方を撮影するライトカメラ10dが含まれる。
そして、画像処理装置1は、撮像された撮像画像Iに対して、露出条件が適した露出セーフ画像であるか、露出条件が適さない領域を有する露出アウト画像であるかを判定し、露出アウト画像を検出する。
露出アウト画像は、例えば、太陽光や、照明装置の光が直接、または反射して入射する場合、いわゆる、白とびが生じた場合に発生する。つまり、高輝度側において露出条件が適さない場合において発生する場合がある。この場合、主に階調の欠落により映像に写っているはずの被写体の情報が欠落し、本来検出できるはずの被写体を検出できなくなる。また、露出アウト画像は、例えば、夜間など車両Cの周囲が暗い場合や、光を通さない付着物が車載カメラ10のレンズに付着する場合など、いわゆる、黒つぶれが生じた場合に発生する。つまり、低輝度側において露出条件が適さない場合においても発生する場合がある。この場合、高輝度側と同様の階調の欠落や、シグナル/ノイズ比の悪化により、映像に写っているはずの被写体の情報が欠落し、本来検出できるはずの被写体を検出できなくなる。この場合、付着物は、泥や、埃などである。
以下では、黒つぶれが生じる場合の露出アウト画像を「低輝度画像」と称することがある。
低輝度画像における黒つぶれには、撮像画像Iの全体に黒つぶれが生じる全面黒つぶれと、撮像画像Iの一部に黒つぶれが生じる部分黒つぶれとが含まれる。
ところで、車載カメラ10によって撮像された撮像画像Iには、車載カメラ10によるゲイン補正が行われていることがあり、低輝度画像では輝度が高くなるように補正が行われる。
ゲイン補正が行われた場合には、全面黒つぶれが生じた撮像画像Iと、部分黒つぶれが生じた撮像画像Iとでは、ゲイン補正による輝度の補正量が異なる。そのため、全面黒つぶれが生じた撮像画像Iと、部分黒つぶれが生じた撮像画像Iとで、実際には同じ輝度の代表値を有する領域であっても、ゲイン補正後では輝度の代表値が異なる。代表値とは、具体的には平均値である。
そのため、領域の輝度の代表値と、所定の閾値とを比較することで露出アウト領域を検出すると、ゲイン補正による輝度の補正量に応じて、検出される露出アウト領域が変更されるおそれがある。すなわち、画像処理装置1は、露出アウト領域を正確に検知することができないおそれがある。
そこで、画像処理装置1は、車載カメラ10によってゲイン補正が行われた場合であっても、露出アウト領域を正確に検出することを目的とする。
画像処理装置1は、車載カメラ10によって撮像された撮像画像Iを取得する(S10)。図1の撮像画像Iでは、低輝度の領域をドットで示す。
画像処理装置1は、撮像画像Iが露出アウトか否かを判定するための検知領域である対象領域R0に複数の分割領域R1を設定する(S11)。対象領域R0は、撮像画像Iに対して予め設定された領域であり、例えば、黒つぶれが発生した場合に、撮像画像Iを用いた処理、例えば、駐車枠LCの検出処理や、自動駐車処理などを正確に実行することができなくなる領域である。対象領域R0は、例えば矩形領域である。
分割領域R1は、対象領域R0を縦方向、および横方向に分割することで形成される領域である。分割領域R1には、複数の画素が含まれる。例えば、分割領域R1は、40×40の画素を含む矩形領域である。
なお、図1の撮像画像Iには、一例として、対象領域R0を縦方向に5つ、および横方向に8つに分割した40個の分割領域R1を示すが、これに限られることはない。
画像処理装置1は、分割領域R1における輝度の代表値、および対象領域R0における輝度のばらつき量を算出する(S12)。ばらつき量とは、具体的には標準偏差である。
画像処理装置1は、対象領域R0におけるばらつき量に基づいて低輝度判定代表値(代表値判定閾値)を設定する(S13)。低輝度判定代表値は、分割領域R1が、露出アウトであるか否かを判定する閾値である。
画像処理装置1は、分割領域R1における輝度の代表値が低輝度判定代表値以下である場合に、分割領域R1を輝度が低く、分割領域R1において露出アウト領域として検出する(S14)。なお、以下においては、輝度が低く露出条件が滴さない分割領域R1を露出アウト領域である「低輝度分割領域」と称する場合がある。
全面黒つぶれが生じた対象領域R0(撮像画像I)と、部分黒つぶれが生じた対象領域R0(撮像画像I)とでは、対象領域R0における輝度のばらつき量が異なる。具体的には、全面黒つぶれが生じた対象領域R0における輝度のばらつき量は、部分黒つぶれが生じた対象領域R0における輝度のばらつき量よりも小さい。
画像処理装置1は、対象領域R0における輝度のばらつき量に基づいて低輝度判定代表値を設定し、分割領域R1における輝度の代表値が低輝度判定代表値以下である場合に、分割領域R1を低輝度分割領域として検出する。これにより、画像処理装置1は、低輝度分割領域を正確に検出することができる。
次に、画像処理装置1について図2を参照し、説明する。図2は、画像処理装置1の構成を示すブロック図である。画像処理装置1は、低輝度判定処理、および高輝度判定処理を行うことで、分割領域R1の中から、低輝度分割領域、または輝度が高く露出条件が適さない高輝度分割領域を検出する。そして、画像処理装置1は、露出アウト領域(低輝度分割領域、および高輝度分割領域)の検出結果に基づいて撮像画像Iが露出アウト画像であるか否かを判定し、露出アウト画像を検出する。
画像処理装置1は、車載カメラ10と、各種機器50とに接続される。なお、図2では、画像処理装置1は、車載カメラ10と、各種機器50とは別体で構成される場合を示したが、これに限らず、車載カメラ10、および各種機器50の少なくとも一方と一体で構成されてもよい。
各種機器50は、画像処理装置1の検出結果を取得して、車両Cの各種制御を行う機器である。各種機器50は、例えば、露出条件が適さないことや、車載カメラ10のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。
画像処理装置1は、制御部2と、記憶部3とを備える。制御部2は、取得部20と、領域設定部21と、選択部22と、算出部23と、閾値設定部24と、判定部25と、更新部26と、検出部27とを備える。
ここで、画像処理装置1は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。
コンピュータのCPUは、たとえば、ROMに記憶されたプログラムを読み出して実行することによって、制御部2の取得部20と、領域設定部21と、選択部22と、算出部23と、閾値設定部24と、判定部25と、更新部26と、検出部27として機能する。
また、制御部2の取得部20と、領域設定部21と、選択部22と、算出部23と、閾値設定部24と、判定部25と、更新部26と、検出部27の少なくともいずれか一つまたは全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。また、取得部20と、領域設定部21と、選択部22と、算出部23と、閾値設定部24と、判定部25と、更新部26と、検出部27は、統合されてもよく、複数に分けられてもよい。
取得部20は、車載カメラ10で撮像された画像を取得し、撮像画像Iを生成する。具体的には、取得部20は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。また、取得部20は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。
また、取得部20は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である撮像画像Iを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。このように、画像処理装置1は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、検知不能領域を検出するための処理時間を短くすることができる。
なお、取得部20は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、取得部20は、間引き処理を行わず、取得した画像と同じサイズの撮像画像Iを生成(取得)してもよい。
領域設定部21は、撮像画像Iに対して対象領域R0、および分割領域R1を設定する。領域設定部21は、各撮像画像Iに対して、対象領域R0、および分割領域R1を予め設定された位置に設定する。
選択部22は、露出セーフ領域であるか否かを判定していない分割領域R1を選択する。具体的には、選択部22は、高輝度判定処理において、分割領域R1の中から、第1所定条件を満たすか否かが判定されていない分割領域R1を選択する。また、選択部22は、低輝度判定処理において、分割領域R1の中から、第2所定条件を満たすか否かが判定されていない分割領域R1を選択する。第1所定条件、および第2所定条件については後述する。
算出部23は、対象領域R0に含まれる各画素の輝度を検出し、対象領域R0における輝度の代表値、および輝度のばらつき量を算出する。また、算出部23は、各分割領域R1における輝度の代表値、および輝度のばらつき量を算出する。代表値とは、対象領域R0における輝度の分布における代表的な輝度を示す値であり、具体的には平均値を用いる。平均値の他に、刈込平均、中央値、最頻値などを用いてもよい。ばらつき量とは、対象領域R0における輝度の分布の広がりを表す値であり、具体的には標準偏差を用いる。標準偏差の他に、分散、最大最小幅、四分位幅、任意のパーセンタイル幅を用いてもよい。以降は、代表値として平均値を、ばらつき量として標準偏差を用いる場合について例として説明する。
また、算出部23は、対象領域R0に対する露出アウト領域の割合である占有率を算出する。露出アウト領域は、高輝度分割領域と低輝度分割領域との合計である。例えば、図3に示すように、高輝度分割領域、および低輝度分割領域が混在する場合には、高輝度分割領域と低輝度分割領域との合計が露出アウト領域となる。図3は、高輝度分割領域と低輝度分割領域とが混在する撮像画像Iの一例である。図3では、低輝度の領域をドットで示し、高輝度の領域をハッチングで示す。
占有率は、露出アウト領域の面積を対象領域R0の面積で除算することで算出される。なお、占有率は、露出アウト領域の数を対象領域R0に含まれる分割領域R1の数で除算して算出されてもよい。占有率は、例えば、百分率で表される。なお、算出部23は、自車両Cが写る撮像画像Iでは、自車両Cが写る分割領域R1を除外して占有率を算出する。
閾値設定部24は、低輝度判定処理を行う場合に、対象領域R0における輝度の標準偏差、および対象領域R0における輝度の平均値に基づいて閾値である低輝度判定平均値(低輝度判定代表値)を設定する。閾値設定部24は、例えば、図4に示すマップに基づいて、低輝度判定平均値を設定する。図4は、対象領域R0における輝度の標準偏差、および対象領域R0における輝度の平均値に対する低輝度判定平均値の関係を示すマップである。
閾値設定部24は、対象領域R0における輝度の標準偏差が所定標準偏差以下の場合には、第1閾値線に基づいて低輝度判定平均値を設定する。また、閾値設定部24は、対象領域R0における輝度の標準偏差が所定標準偏差よりも大きい場合には、第2閾値線に基づいて低輝度判定平均値を設定する。すなわち、閾値設定部24は、対象領域R0における輝度の標準偏差に基づいて低輝度判定平均値を設定するための閾値線(第1閾値線、および第2閾値線)を切り替える。
なお、閾値設定部24は、対象領域R0における輝度の平均値が所定平均値よりも大きい場合には、第2閾値線に基づいて低輝度判定平均値を設定する。すなわち、閾値設定部24は、対象領域R0における輝度の平均値が所定平均値以下であり、かつ対象領域R0における輝度の標準偏差が所定標準偏差以下である場合には、第1閾値線に基づいて低輝度判定平均値を設定する。
対象領域R0における輝度の平均値が所定平均値以下であり、かつ対象領域R0における輝度の標準偏差が所定標準偏差以下である場合は、撮像画像Iが全体的に暗く、対象領域R0が全体黒つぶれ状態であり、車載カメラ10によるゲイン補正が行われることがある。そのため、閾値設定部24は、比較的大きい第1閾値線に基づいて低輝度判定平均値を設定する。
所定平均値は、予め設定された値であり、対象領域R0が全体的に暗い(黒い)か否かを判定可能な値であり、例えば、「85」である。所定標準偏差は、予め設定された値であり、対象領域R0における輝度のばらつきが多いか否かを判定可能な値であり、例えば、「20」である。
また、閾値設定部24は、対象領域R0における輝度の平均値が所定平均値よりも大きい場合には、第2閾値線に基づいて低輝度判定平均値を設定する。
対象領域R0における輝度の平均値が所定平均値よりも大きい場合には、対象領域R0が全体的に明るく、黒つぶれがある場合であっても、部分黒つぶれ状態であると推定される。そのため、車載カメラ10によるゲイン補正が行われた場合であっても、全体黒つぶれの場合よりも補正量が小さいと推定される。そのため、閾値設定部24は、第2閾値線基づいて低輝度判定平均値を設定する。
また、閾値設定部24は、対象領域R0における輝度の平均値が所定平均値以下であり、かつ対象領域R0における輝度の標準偏差が所定標準偏差よりも大きい場合には、第2閾値線に基づいて低輝度判定平均値を設定する。
対象領域R0における輝度の平均値が所定平均値以下であり、かつ対象領域R0における輝度の標準偏差が所定標準偏差よりも大きい場合には、対象領域R0が全体的に暗いが、或る領域では輝度が高い状態であると推定される。そのため、車載カメラ10によるゲイン補正が行われた場合であっても、全体黒つぶれの場合よりも補正量が小さいと推定される。そのため、閾値設定部24は、第2閾値線基づいて低輝度判定平均値を設定する。
第1閾値線は、対象領域R0における輝度の平均値が同じである場合に、第2閾値線よりも低輝度判定平均値が大きくなるように設定される。すなわち、閾値設定部24は、対象領域R0における輝度の標準偏差が所定標準偏差以下である場合には、対象領域R0における輝度の標準偏差が所定標準偏差よりも大きい場合よりも、対象領域における同一の輝度の平均値に対し、低輝度判定平均値を大きくする。
これは、対象領域R0における輝度の平均値が所定平均値以下であり、かつ対象領域R0における輝度の標準偏差が所定標準偏差以下である場合には、車載カメラ10によるゲイン補正によって他の場合よりも輝度が高く補正されるためである。
また、第2閾値線には、上限値が設定されており、対象領域R0における輝度の平均値が上限平均値以上の場合には、低輝度判定平均値は、低輝度判定上限平均値に設定される。
なお、閾値設定部24は、対象領域R0における輝度の標準偏差、および対象領域R0における輝度の平均値に基づいた表や、計算式に基づいて低輝度判定平均値を設定してもよい。
図2に戻り、判定部25は、高輝度判定処理において、分割領域R1が第1所定条件を満たすか否かを判定する。判定部25は、(1)分割領域R1における輝度の平均値が高輝度判定平均値以上であり、かつ(2)分割領域R1における輝度の標準偏差が高輝度判定標準偏差以下である場合に、第1所定条件を満たすと判定する。高輝度判定平均値は、予め設定された値であり、例えば、「240」である。高輝度判定標準偏差は、予め設定された値であり、例えば、「15」である。
判定部25は、高輝度判定処理において、上記(1)または(2)を満たさない場合には、第1所定条件を満たさないと判定する。
また、判定部25は、低輝度判定処理において、分割領域R1が第2所定条件を満たすか否かを判定する。判定部25は、(3)分割領域R1における輝度の平均値が、設定された低輝度判定平均値以下であり、かつ(4)分割領域R1における輝度の標準偏差が低輝度判定標準偏差(標準偏差判定閾値)以下である場合に、第2所定条件を満たすと判定する。低輝度判定標準偏差は、予め設定された値であり、例えば、「15」である。なお、高輝度判定標準偏差と低輝度判定標準偏差とは、異なる値であってもよい。
判定部25は、低輝度判定処理において、上記(3)または(4)を満たさない場合には、第2所定条件を満たさないと判定する。
また、判定部25は、高輝度判定処理において、分割領域R1が高輝度分割領域であるか否かを判定する。具体的には、判定部25は、第1カウンタ値が第1所定カウンタ値以上であるか否かを判定する。
第1カウンタ値は、分割領域R1が第1所定条件を継続的に満たすことを示す値である。第1カウンタ値は、分割領域R1毎にカウントされる。第1所定カウンタ値は、予め設定された値であり、例えば、「3」である。なお、第1所定カウンタ値には、予め設定された下限値、および上限値が設定されている。
判定部25は、第1カウンタ値が第1所定カウンタ値以上である場合には、分割領域R1が高輝度分割領域であると判定する。すなわち、判定部25は、分割領域R1が継続的に第1所定条件を満たす場合に、分割領域R1が高輝度分割領域であると判定する。
判定部25は、第1カウンタ値が第1所定カウンタ値よりも小さい場合には、分割領域R1が通常領域であると判定する。通常領域は、高輝度分割領域、または低輝度分割領域として検出されていない分割領域R1である。通常領域には、高輝度分割領域、または低輝度分割領域として判定が確定していない分割領域R1、および露出条件が適している露出セーフな分割領域R1が含まれる。
また、判定部25は、低輝度判定処理において、分割領域R1が低輝度分割領域であるか否かを判定する。具体的には、判定部25は、第2カウンタ値が第2所定カウンタ値以上であるか否かを判定する。
第2カウンタ値は、分割領域R1が第2所定条件を継続的に満たすことを示す値である。第2カウンタ値は、分割領域R1毎にカウントされる。第2所定カウンタ値は、予め設定された値であり、例えば、「3」である。なお、第2所定カウンタ値は、予め設定された下限値、および上限値が設定されている。また、第2所定カウンタ値と第1所定カウンタ値とは異なる値であってもよい。
判定部25は、第2カウンタ値が第2所定カウンタ値以上である場合には、分割領域R1が低輝度分割領域であると判定する。すなわち、判定部25は、分割領域R1が継続的に第2所定条件を満たす場合に、分割領域R1が低輝度分割領域であると判定する。
判定部25は、第2カウンタ値が第2所定カウンタ値よりも小さい場合には、分割領域R1が通常領域であると判定する。具体的には、判定部25は、分割領域R1が高輝度分割領域、および低輝度分割領域ではない場合に、分割領域R1が露出セーフ領域であると判定する。
また、判定部25、高輝度判定処理において、全ての分割領域R1に対して第1所定条件を満たすか否かの判定を行ったか否かを判定する。また、低輝度判定処理において、全ての分割領域R1に対して第2所定条件を満たすか否かの判定を行ったか否かを判定する。
また、判定部25は、撮像画像Iが露出アウト画像であるか否かを判定する。具体的には、判定部25は、占有率が所定占有率(所定割合)以上であるか否かを判定する。所定占有率は、予め設定された値であり、例えば、「40%」である。判定部25は、占有率が所定占有率以上である場合には、撮像画像Iが露出アウト画像であると判定する。判定部25は、占有率が所定占有率よりも大きい場合には、撮像画像Iが露出セーフ画像であると判定する。
更新部26は、高輝度判定処理において、分割領域R1が第1所定条件を満たす場合には、第1カウンタ値をインクリメントし、第1カウンタ値を更新する。更新部26は、高輝度判定処理において、分割領域R1が第1所定条件を満たさない場合には、第1カウンタ値をデクリメントし、第1カウンタ値を更新する。
また、更新部26は、低輝度判定処理において、分割領域R1が第2所定条件を満たす場合には、第2カウンタ値をインクリメントし、第2カウンタ値を更新する。更新部26は、低輝度判定処理において、分割領域R1が第2所定条件を満たさない場合には、第2カウンタ値をデクリメントし、第2カウンタ値を更新する。
検出部27は、高輝度判定処理において、第1カウンタ値が第1所定カウンタ値以上であると判定された分割領域R1を高輝度分割領域として検出する。また、検出部27は、低輝度判定処理において、第2カウンタ値が第2所定カウンタ値以上であると判定された分割領域R1を低輝度分割領域として検出する。また、検出部27は、高輝度判定処理において、第1カウンタ値が第1所定カウンタ値よりも小さいと判定され、かつ低輝度判定処理において、第2カウンタ値が第2所定カウンタ値よりも小さいと判定された分割領域R1を露出セーフ領域として検出する。
また、検出部27は、撮像画像Iが露出アウト画像であると判定された場合、具体的には、占有率が所定占有率以上であると判定された場合には、撮像画像Iを露出アウト画像として検出する。検出部27は、撮像画像Iが露出アウト画像であると判定された場合には、検知不能フラグを「ON」にする。
また、検出部27は、撮像画像Iが露出セーフ画像であると判定された場合、具体的には、占有率が所定占有率よりも小さいと判定された場合には、撮像画像Iを露出セーフ画像として検出する。検出部27は、撮像画像Iを露出セーフ画像であると判定された場合には、検知不能フラグを「OFF」にする。
記憶部3は、たとえば、RAMやデータフラッシュに対応する。RAMやデータフラッシュは、分割領域R1における輝度の平均値や、分割領域R1における輝度の標準偏差や、第1カウンタ値や、第2カウンタ値や、低輝度判定平均値などの情報や、各種プログラムの情報などを記憶することができる。なお、画像処理装置1は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
次に、実施形態に係る撮像画像判定処理について図5を参照し説明する。図5は、撮像画像判定処理を説明するフローチャートである。なお、撮像画像判定処理は、各車載カメラ10で行われる。
画像処理装置1は、車載カメラ10によって撮像した画像から撮像画像Iを生成し、分割領域R1、および対象領域R0を設定する(S100)。
画像処理装置1は、対象領域R0における輝度の平均値と、対象領域R0における輝度の標準偏差と、各分割領域R1における輝度の平均値と、各分割領域R1における輝度の標準偏差とを算出する(S101)。
画像処理装置1は、高輝度判定処理を行い(S102)、低輝度判定処理を行う(S103)。高輝度判定処理、および低輝度判定処理については、後述する。
画像処理装置1は、占有率を算出する(S104)。画像処理装置1は、占有率が所定占有率以上であるか否かを判定する(S105)。
画像処理装置1は、占有率が所定占有率以上である場合には(S105:Yes)、撮像画像Iが露出アウト画像であると判定し、露出アウトフラグを「ON」にする(S106)。また、画像処理装置1は、占有率が所定面積よりも小さい場合には(S105:No)、撮像画像Iが露出セーフ画像であると判定し、露出アウトフラグを「OFF」にする(S107)。
次に、高輝度判定処理について図6を参照し説明する。図6は、高輝度判定処理を説明するフローチャートである。
画像処理装置1は、分割領域R1を選択する(S200)。具体的には、画像処理装置1は、分割領域R1の中から、第1所定条件を満たすか否かの判定を行っていない分割領域R1を選択する。
画像処理装置1は、分割領域R1が第1所定条件を満たすか否かを判定する(S201)。画像処理装置1は、分割領域R1が第1所定条件を満たす場合には(S201:Yes)、第1カウンタ値をインクリメントする(S202)。また、画像処理装置1は、分割領域R1が第1所定条件を満たさない場合には(S201:No)、第1カウンタ値をデクリメントする(S203)。
画像処理装置1は、第1カウンタ値が第1所定カウンタ値以上であるか否かを判定する(S204)。画像処理装置1は、第1カウンタ値が第1所定カウンタ値以上である場合には(S204:Yes)、分割領域R1を高輝度分割領域として検出する(S205)。
また、画像処理装置1は、第1カウンタ値が第1所定カウンタ値よりも小さい場合には(S204:No)、分割領域R1を通常領域として検出する(S206)。
画像処理装置1は、全ての分割領域R1に対して第1所定条件を満たすか否かの判定を行った場合には(S207:Yes)、高輝度判定処理を終了する。画像処理装置1は、第1所定条件を満たすか否かの判定を行っていない分割領域R1が有る場合には(S207:No)、新たに分割領域R1を選択し(S200)、上記処理を繰り返す。
次に、低輝度判定処理について図7を参照し説明する。図7は、低輝度判定処理を説明するフローチャートである。
画像処理装置1は、対象領域R0における輝度の標準偏差、および対象領域R0における輝度の平均値に基づいて低輝度判定平均値を設定する(S300)。
画像処理装置1は、分割領域R1を選択する(S301)。具体的には、画像処理装置1は、分割領域R1の中から、第2所定条件を満たすか否かの判定を行っていない分割領域R1を選択する。
画像処理装置1は、分割領域R1が第2所定条件を満たすか否かを判定する(S302)。具体的には、画像処理装置1は、分割領域R1における輝度の平均値が、設定された低輝度判定平均値以下であり、かつ分割領域R1における輝度の標準偏差が低輝度判定標準偏差以下であるか否かを判定する。
画像処理装置1は、分割領域R1が第2所定条件を満たす場合には(S302:Yes)、第2カウンタ値をインクリメントする(S303)。また、画像処理装置1は、分割領域R1が第2所定条件を満たさない場合には(S302:No)、第2カウンタ値をデクリメントする(S304)。
画像処理装置1は、第2カウンタ値が第2所定カウンタ値以上であるか否かを判定する(S305)。画像処理装置1は、第2カウンタ値が第2所定カウンタ値以上である場合には(S305:Yes)、分割領域R1を低輝度分割領域として検出する(S306)。
また、画像処理装置1は、第2カウンタ値が第2所定カウンタ値よりも小さい場合には(S305:No)、分割領域R1を露出セーフ領域として検出する(S307)。すなわち、画像処理装置1は、高輝度分割領域、および低輝度分割領域ではないと判定された分割領域R1を露出セーフ領域として検出する。
画像処理装置1は、全ての分割領域R1に対して第2所定条件を満たすか否かの判定を行った場合には(S308:Yes)、低輝度判定処理を終了する。画像処理装置1は、第2所定条件を満たすか否かの判定を行っていない分割領域R1が有る場合には(S308:No)、新たに分割領域R1を選択し(S301)、上記処理を繰り返す。
画像処理装置1は、対象領域R0における輝度の標準偏差に基づいて低輝度判定平均値を設定する。画像処理装置1は、分割領域R1における輝度の平均値と低輝度判定平均値とに基づいて露出条件が適切でない露出アウト領域である低輝度分割領域を検出する。
これにより、画像処理装置1は、車載カメラ10によるゲイン補正が行われた場合であっても、低輝度分割領域を正確に検出することができる。
画像処理装置1は、対象領域R0における輝度の平均値、および対象領域R0における輝度の標準偏差に基づいて低輝度判定平均値を設定する。
これにより、画像処理装置1は、車載カメラ10によるゲイン補正が行われた場合に、ゲイン補正量に応じて変化した対象領域R0の輝度の平均値に基づいて、低輝度判定平均値を設定することができる。そのため、画像処理装置1は、低輝度分割領域を精度よく検出することができる。
画像処理装置1は、対象領域R0における輝度の標準偏差が所定標準偏差以下である場合には、対象領域R0における輝度の標準偏差が所定標準偏差よりも大きい場合よりも、対象領域における同一の輝度の平均値に対し、低輝度判定平均値を大きくする。
これにより、画像処理装置1は、対象領域R0が全体黒つぶれであり、ゲイン補正による対象領域R0の輝度が大きく補正された場合であっても、低輝度分割領域を正確に検出することができる。
画像処理装置1は、分割領域R1における輝度の平均値が低輝度判定平均値以下であり、かつ分割領域R1における輝度の標準偏差が低輝度判定標準偏差以下である場合に、分割領域R1を低輝度分割領域として検出する。
これにより、画像処理装置1は、分割領域R1における輝度の平均値、および分割領域R1における輝度の標準偏差に基づき、低輝度分割領域を正確に検出することができる。
画像処理装置1は、分割領域R1における輝度の平均値が低輝度判定平均値以下であり、かつ分割領域R1における輝度の標準偏差が低輝度判定標準偏差以下である状態が継続する場合、具体的には、第2カウンタ値が第2所定カウンタ値以上である場合に、分割領域R1を低輝度分割領域として検出する。
これにより、画像処理装置1は、第2所定条件が継続して満たされる分割領域R1を低輝度分割領域として検出することで、低輝度分割領域を正確に検出することができる。
画像処理装置1は、対象領域R0に対する露出アウト領域の割合である占有率が所定占有率以上である場合に、撮像画像Iを露出アウト画像として検出する。
これにより、画像処理装置1は、露出アウト画像を正確に検出することができる。
変形例に係る画像処理装置1は、撮像画像Iが露出アウト画像であるか否かの判定を第3カウンタ値に基づいて判定してもよい。変形例に係る画像処理装置1は、占有率が所定占有率以上となる場合に第3カウンタ値をインクリメントし、占有率が所定占有率よりも小さい場合に第3カウンタ値をデクリメントする。そして、変形例に係る画像処理装置1は、第3カウンタ値が、予め設定された第3所定カウンタ値(例えば、「3」)以上の場合に、撮像画像Iが露出アウト画像であると判定する。また、変形例に係る画像処理装置1は、第3カウンタ値が第3所定カウンタ値よりも小さい場合に、撮像画像Iが露出セーフ画像であると判定する。すなわち、変形例に係る画像処理装置1は、占有率が所定占有率以上となる状態が継続する場合に、撮像画像Iを露出アウト画像として検出する。
これにより、変形例に係る画像処理装置1は、露出アウト画像を正確に判定することができる。
また、変形例に係る画像処理装置1は、所定占有率にヒステリシスを設けてもよい。変形例に係る画像処理装置1は、撮像画像Iの判定を露出セーフ画像から露出アウト画像に変更する場合の第1所定占有率(例えば、「40%」)と、撮像画像Iの判定を露出アウト画像から露出セーフ画像に変更する場合の第2所定占有率(例えば、「30%」)とを異なる値にしてもよい。すなわち、変形例に係る画像処理装置1は、占有率が第1所定占有率以上になると、撮像画像Iを露出アウト画像として検出し、撮像画像Iが露出アウト画像として検出された状態で、占有率が第1所定占有率よりも小さい第2所定占有率以下になると、撮像画像Iを露出セーフ画像として検出する。
これにより、変形例に係る画像処理装置1は、撮像画像Iが露出セーフ画像であるか、露出アウト画像であるかの判定でハンチングが生じることを抑制し、露出アウトフラグの出力を安定させることができる。
また、変形例に係る画像処理装置1は、高輝度判定処理によって通常領域であると判定された分割領域R1にのみ低輝度判定処理を行ってもよい。なお、低輝度判定処理が高輝度判定処理よりも先に行われる場合には、低輝度判定処理によって通常領域であると判定された分割領域R1にのみ高輝度判定処理を行ってもよい。
これにより、変形例に係る画像処理装置1は、検知不能領域を検出する際の処理負荷を小さくすることができる。
また、変形例に係る画像処理装置1では、車載カメラ10のゲイン補正の他にも、輝度や、色、明るさを補正する処理に対応して、低輝度判定平均値などが設定されてもよい。
また、変形例に係る画像処理装置1では、車載カメラ10毎に低輝度判定平均値などが設定されてもよい。
また、変形例に係る画像処理装置1は、対象領域R0における輝度の平均値のみに基づいて低輝度判定平均値を設定してもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。