JP7163767B2 - 画像処理装置、および画像処理方法 - Google Patents

Description

本発明は、画像処理装置、および画像処理方法に関する。

従来、映像中の被写体を含む領域が黒つぶれや、白とびなど、露出条件が適していない露出アウト領域が映像中で発生することがあった。このような場合、被写体を検知することができず、その対策として、画像の信号レベルを補正する画像処理装置が知られている（例えば、特許文献１参照）。

特開２０１６－１７３７７７号公報

上記技術を用いた補正後の画像における或る領域の輝度と、閾値とを比較することで、或る領域が、露出条件が適しており背景などの被写体を検知することができる露出セーフ領域であるか、露出アウト領域であるかを判定することが考えられる。

しかしながら、画像が全体的に暗い、いわゆる全面黒つぶれが生じている場合と、画像の一部が暗い、いわゆる部分黒つぶれが生じている場合とでは、画像の信号レベルの補正量が異なるため、信号レベルの補正量に応じて検出される露出アウト領域が変更されるおそれがある。すなわち、補正後の画像から、露出アウト領域を検出することが困難となるおそれがある。

本発明は、上記に鑑みてなされたものであって、検知不能領域を正確に検出する画像処理装置、および画像処理方法を提供することを目的とする。

実施形態の一態様に係る画像処理装置は、領域設定部と、算出部と、閾値設定部と、検出部とを備える。領域設定部は、撮像装置によって撮像された撮像画像に複数の分割領域を設定する。算出部は、分割領域における輝度の代表値、および複数の分割領域を含む対象領域における輝度のばらつき量を算出する。閾値設定部は、対象領域における輝度のばらつき量に基づいて代表値判定閾値を設定する。検出部は、分割領域における輝度の代表値と代表値判定閾値とに基づいて、複数の分割領域の中から露出アウト領域を検出する。

実施形態の一態様によれば、露出アウト領域を正確に検出することができる。

図１は、画像処理方法の概要を示す図である。 図２は、画像処理装置の構成を示すブロック図である。 図３は、高輝度分割領域と低輝度分割領域とが混在する撮像画像の一例である。 図４は、対象領域における輝度の標準偏差、および対象領域における輝度の平均値に対する低輝度判定平均値の関係を示すマップである。 図５は、撮像画像判定処理を説明するフローチャートである。 図６は、高輝度判定処理を説明するフローチャートである。 図７は、低輝度判定処理を説明するフローチャートである。

以下、添付図面を参照して、実施形態に係る画像処理装置、および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

まず、図１を用いて実施形態に係る画像処理方法の概要について説明する。図１は、画像処理方法の概要を示す図である。実施形態に係る画像処理方法は、画像処理装置１によって実行される。

画像処理装置１は、例えば、車両Ｃに搭載された車載カメラ１０（撮像装置）によって車両Ｃの周囲を撮像する。

車載カメラ１０は、車両Ｃの周囲を撮像する。車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備える。車載カメラ１０には、例えば、車両Ｃの前方を撮像するフロントカメラ１０ａ、車両Ｃの後方を撮像するリアカメラ１０ｂ、車両Ｃの左側方を撮影するレフトカメラ１０ｃ、車両Ｃの右側方を撮影するライトカメラ１０ｄが含まれる。

そして、画像処理装置１は、撮像された撮像画像Ｉに対して、露出条件が適した露出セーフ画像であるか、露出条件が適さない領域を有する露出アウト画像であるかを判定し、露出アウト画像を検出する。

露出アウト画像は、例えば、太陽光や、照明装置の光が直接、または反射して入射する場合、いわゆる、白とびが生じた場合に発生する。つまり、高輝度側において露出条件が適さない場合において発生する場合がある。この場合、主に階調の欠落により映像に写っているはずの被写体の情報が欠落し、本来検出できるはずの被写体を検出できなくなる。また、露出アウト画像は、例えば、夜間など車両Ｃの周囲が暗い場合や、光を通さない付着物が車載カメラ１０のレンズに付着する場合など、いわゆる、黒つぶれが生じた場合に発生する。つまり、低輝度側において露出条件が適さない場合においても発生する場合がある。この場合、高輝度側と同様の階調の欠落や、シグナル／ノイズ比の悪化により、映像に写っているはずの被写体の情報が欠落し、本来検出できるはずの被写体を検出できなくなる。この場合、付着物は、泥や、埃などである。

以下では、黒つぶれが生じる場合の露出アウト画像を「低輝度画像」と称することがある。

低輝度画像における黒つぶれには、撮像画像Ｉの全体に黒つぶれが生じる全面黒つぶれと、撮像画像Ｉの一部に黒つぶれが生じる部分黒つぶれとが含まれる。

ところで、車載カメラ１０によって撮像された撮像画像Ｉには、車載カメラ１０によるゲイン補正が行われていることがあり、低輝度画像では輝度が高くなるように補正が行われる。

ゲイン補正が行われた場合には、全面黒つぶれが生じた撮像画像Ｉと、部分黒つぶれが生じた撮像画像Ｉとでは、ゲイン補正による輝度の補正量が異なる。そのため、全面黒つぶれが生じた撮像画像Ｉと、部分黒つぶれが生じた撮像画像Ｉとで、実際には同じ輝度の代表値を有する領域であっても、ゲイン補正後では輝度の代表値が異なる。代表値とは、具体的には平均値である。

そのため、領域の輝度の代表値と、所定の閾値とを比較することで露出アウト領域を検出すると、ゲイン補正による輝度の補正量に応じて、検出される露出アウト領域が変更されるおそれがある。すなわち、画像処理装置１は、露出アウト領域を正確に検知することができないおそれがある。

そこで、画像処理装置１は、車載カメラ１０によってゲイン補正が行われた場合であっても、露出アウト領域を正確に検出することを目的とする。

画像処理装置１は、車載カメラ１０によって撮像された撮像画像Ｉを取得する（Ｓ１０）。図１の撮像画像Ｉでは、低輝度の領域をドットで示す。

画像処理装置１は、撮像画像Ｉが露出アウトか否かを判定するための検知領域である対象領域Ｒ０に複数の分割領域Ｒ１を設定する（Ｓ１１）。対象領域Ｒ０は、撮像画像Ｉに対して予め設定された領域であり、例えば、黒つぶれが発生した場合に、撮像画像Ｉを用いた処理、例えば、駐車枠ＬＣの検出処理や、自動駐車処理などを正確に実行することができなくなる領域である。対象領域Ｒ０は、例えば矩形領域である。

分割領域Ｒ１は、対象領域Ｒ０を縦方向、および横方向に分割することで形成される領域である。分割領域Ｒ１には、複数の画素が含まれる。例えば、分割領域Ｒ１は、４０×４０の画素を含む矩形領域である。

なお、図１の撮像画像Ｉには、一例として、対象領域Ｒ０を縦方向に５つ、および横方向に８つに分割した４０個の分割領域Ｒ１を示すが、これに限られることはない。

画像処理装置１は、分割領域Ｒ１における輝度の代表値、および対象領域Ｒ０における輝度のばらつき量を算出する（Ｓ１２）。ばらつき量とは、具体的には標準偏差である。

画像処理装置１は、対象領域Ｒ０におけるばらつき量に基づいて低輝度判定代表値（代表値判定閾値）を設定する（Ｓ１３）。低輝度判定代表値は、分割領域Ｒ１が、露出アウトであるか否かを判定する閾値である。

画像処理装置１は、分割領域Ｒ１における輝度の代表値が低輝度判定代表値以下である場合に、分割領域Ｒ１を輝度が低く、分割領域Ｒ１において露出アウト領域として検出する（Ｓ１４）。なお、以下においては、輝度が低く露出条件が滴さない分割領域Ｒ１を露出アウト領域である「低輝度分割領域」と称する場合がある。

全面黒つぶれが生じた対象領域Ｒ０（撮像画像Ｉ）と、部分黒つぶれが生じた対象領域Ｒ０（撮像画像Ｉ）とでは、対象領域Ｒ０における輝度のばらつき量が異なる。具体的には、全面黒つぶれが生じた対象領域Ｒ０における輝度のばらつき量は、部分黒つぶれが生じた対象領域Ｒ０における輝度のばらつき量よりも小さい。

画像処理装置１は、対象領域Ｒ０における輝度のばらつき量に基づいて低輝度判定代表値を設定し、分割領域Ｒ１における輝度の代表値が低輝度判定代表値以下である場合に、分割領域Ｒ１を低輝度分割領域として検出する。これにより、画像処理装置１は、低輝度分割領域を正確に検出することができる。

次に、画像処理装置１について図２を参照し、説明する。図２は、画像処理装置１の構成を示すブロック図である。画像処理装置１は、低輝度判定処理、および高輝度判定処理を行うことで、分割領域Ｒ１の中から、低輝度分割領域、または輝度が高く露出条件が適さない高輝度分割領域を検出する。そして、画像処理装置１は、露出アウト領域（低輝度分割領域、および高輝度分割領域）の検出結果に基づいて撮像画像Ｉが露出アウト画像であるか否かを判定し、露出アウト画像を検出する。

画像処理装置１は、車載カメラ１０と、各種機器５０とに接続される。なお、図２では、画像処理装置１は、車載カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、車載カメラ１０、および各種機器５０の少なくとも一方と一体で構成されてもよい。

各種機器５０は、画像処理装置１の検出結果を取得して、車両Ｃの各種制御を行う機器である。各種機器５０は、例えば、露出条件が適さないことや、車載カメラ１０のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。

画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２０と、領域設定部２１と、選択部２２と、算出部２３と、閾値設定部２４と、判定部２５と、更新部２６と、検出部２７とを備える。

ここで、画像処理装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２０と、領域設定部２１と、選択部２２と、算出部２３と、閾値設定部２４と、判定部２５と、更新部２６と、検出部２７として機能する。

また、制御部２の取得部２０と、領域設定部２１と、選択部２２と、算出部２３と、閾値設定部２４と、判定部２５と、更新部２６と、検出部２７の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。また、取得部２０と、領域設定部２１と、選択部２２と、算出部２３と、閾値設定部２４と、判定部２５と、更新部２６と、検出部２７は、統合されてもよく、複数に分けられてもよい。

取得部２０は、車載カメラ１０で撮像された画像を取得し、撮像画像Ｉを生成する。具体的には、取得部２０は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。また、取得部２０は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。

また、取得部２０は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である撮像画像Ｉを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。このように、画像処理装置１は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、検知不能領域を検出するための処理時間を短くすることができる。

なお、取得部２０は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、取得部２０は、間引き処理を行わず、取得した画像と同じサイズの撮像画像Ｉを生成（取得）してもよい。

領域設定部２１は、撮像画像Ｉに対して対象領域Ｒ０、および分割領域Ｒ１を設定する。領域設定部２１は、各撮像画像Ｉに対して、対象領域Ｒ０、および分割領域Ｒ１を予め設定された位置に設定する。

選択部２２は、露出セーフ領域であるか否かを判定していない分割領域Ｒ１を選択する。具体的には、選択部２２は、高輝度判定処理において、分割領域Ｒ１の中から、第１所定条件を満たすか否かが判定されていない分割領域Ｒ１を選択する。また、選択部２２は、低輝度判定処理において、分割領域Ｒ１の中から、第２所定条件を満たすか否かが判定されていない分割領域Ｒ１を選択する。第１所定条件、および第２所定条件については後述する。

算出部２３は、対象領域Ｒ０に含まれる各画素の輝度を検出し、対象領域Ｒ０における輝度の代表値、および輝度のばらつき量を算出する。また、算出部２３は、各分割領域Ｒ１における輝度の代表値、および輝度のばらつき量を算出する。代表値とは、対象領域Ｒ０における輝度の分布における代表的な輝度を示す値であり、具体的には平均値を用いる。平均値の他に、刈込平均、中央値、最頻値などを用いてもよい。ばらつき量とは、対象領域Ｒ０における輝度の分布の広がりを表す値であり、具体的には標準偏差を用いる。標準偏差の他に、分散、最大最小幅、四分位幅、任意のパーセンタイル幅を用いてもよい。以降は、代表値として平均値を、ばらつき量として標準偏差を用いる場合について例として説明する。

また、算出部２３は、対象領域Ｒ０に対する露出アウト領域の割合である占有率を算出する。露出アウト領域は、高輝度分割領域と低輝度分割領域との合計である。例えば、図３に示すように、高輝度分割領域、および低輝度分割領域が混在する場合には、高輝度分割領域と低輝度分割領域との合計が露出アウト領域となる。図３は、高輝度分割領域と低輝度分割領域とが混在する撮像画像Ｉの一例である。図３では、低輝度の領域をドットで示し、高輝度の領域をハッチングで示す。

占有率は、露出アウト領域の面積を対象領域Ｒ０の面積で除算することで算出される。なお、占有率は、露出アウト領域の数を対象領域Ｒ０に含まれる分割領域Ｒ１の数で除算して算出されてもよい。占有率は、例えば、百分率で表される。なお、算出部２３は、自車両Ｃが写る撮像画像Ｉでは、自車両Ｃが写る分割領域Ｒ１を除外して占有率を算出する。

閾値設定部２４は、低輝度判定処理を行う場合に、対象領域Ｒ０における輝度の標準偏差、および対象領域Ｒ０における輝度の平均値に基づいて閾値である低輝度判定平均値（低輝度判定代表値）を設定する。閾値設定部２４は、例えば、図４に示すマップに基づいて、低輝度判定平均値を設定する。図４は、対象領域Ｒ０における輝度の標準偏差、および対象領域Ｒ０における輝度の平均値に対する低輝度判定平均値の関係を示すマップである。

閾値設定部２４は、対象領域Ｒ０における輝度の標準偏差が所定標準偏差以下の場合には、第１閾値線に基づいて低輝度判定平均値を設定する。また、閾値設定部２４は、対象領域Ｒ０における輝度の標準偏差が所定標準偏差よりも大きい場合には、第２閾値線に基づいて低輝度判定平均値を設定する。すなわち、閾値設定部２４は、対象領域Ｒ０における輝度の標準偏差に基づいて低輝度判定平均値を設定するための閾値線（第１閾値線、および第２閾値線）を切り替える。

なお、閾値設定部２４は、対象領域Ｒ０における輝度の平均値が所定平均値よりも大きい場合には、第２閾値線に基づいて低輝度判定平均値を設定する。すなわち、閾値設定部２４は、対象領域Ｒ０における輝度の平均値が所定平均値以下であり、かつ対象領域Ｒ０における輝度の標準偏差が所定標準偏差以下である場合には、第１閾値線に基づいて低輝度判定平均値を設定する。

対象領域Ｒ０における輝度の平均値が所定平均値以下であり、かつ対象領域Ｒ０における輝度の標準偏差が所定標準偏差以下である場合は、撮像画像Ｉが全体的に暗く、対象領域Ｒ０が全体黒つぶれ状態であり、車載カメラ１０によるゲイン補正が行われることがある。そのため、閾値設定部２４は、比較的大きい第１閾値線に基づいて低輝度判定平均値を設定する。

所定平均値は、予め設定された値であり、対象領域Ｒ０が全体的に暗い（黒い）か否かを判定可能な値であり、例えば、「８５」である。所定標準偏差は、予め設定された値であり、対象領域Ｒ０における輝度のばらつきが多いか否かを判定可能な値であり、例えば、「２０」である。

また、閾値設定部２４は、対象領域Ｒ０における輝度の平均値が所定平均値よりも大きい場合には、第２閾値線に基づいて低輝度判定平均値を設定する。

対象領域Ｒ０における輝度の平均値が所定平均値よりも大きい場合には、対象領域Ｒ０が全体的に明るく、黒つぶれがある場合であっても、部分黒つぶれ状態であると推定される。そのため、車載カメラ１０によるゲイン補正が行われた場合であっても、全体黒つぶれの場合よりも補正量が小さいと推定される。そのため、閾値設定部２４は、第２閾値線基づいて低輝度判定平均値を設定する。

また、閾値設定部２４は、対象領域Ｒ０における輝度の平均値が所定平均値以下であり、かつ対象領域Ｒ０における輝度の標準偏差が所定標準偏差よりも大きい場合には、第２閾値線に基づいて低輝度判定平均値を設定する。

対象領域Ｒ０における輝度の平均値が所定平均値以下であり、かつ対象領域Ｒ０における輝度の標準偏差が所定標準偏差よりも大きい場合には、対象領域Ｒ０が全体的に暗いが、或る領域では輝度が高い状態であると推定される。そのため、車載カメラ１０によるゲイン補正が行われた場合であっても、全体黒つぶれの場合よりも補正量が小さいと推定される。そのため、閾値設定部２４は、第２閾値線基づいて低輝度判定平均値を設定する。

第１閾値線は、対象領域Ｒ０における輝度の平均値が同じである場合に、第２閾値線よりも低輝度判定平均値が大きくなるように設定される。すなわち、閾値設定部２４は、対象領域Ｒ０における輝度の標準偏差が所定標準偏差以下である場合には、対象領域Ｒ０における輝度の標準偏差が所定標準偏差よりも大きい場合よりも、対象領域における同一の輝度の平均値に対し、低輝度判定平均値を大きくする。

これは、対象領域Ｒ０における輝度の平均値が所定平均値以下であり、かつ対象領域Ｒ０における輝度の標準偏差が所定標準偏差以下である場合には、車載カメラ１０によるゲイン補正によって他の場合よりも輝度が高く補正されるためである。

また、第２閾値線には、上限値が設定されており、対象領域Ｒ０における輝度の平均値が上限平均値以上の場合には、低輝度判定平均値は、低輝度判定上限平均値に設定される。

なお、閾値設定部２４は、対象領域Ｒ０における輝度の標準偏差、および対象領域Ｒ０における輝度の平均値に基づいた表や、計算式に基づいて低輝度判定平均値を設定してもよい。

図２に戻り、判定部２５は、高輝度判定処理において、分割領域Ｒ１が第１所定条件を満たすか否かを判定する。判定部２５は、（１）分割領域Ｒ１における輝度の平均値が高輝度判定平均値以上であり、かつ（２）分割領域Ｒ１における輝度の標準偏差が高輝度判定標準偏差以下である場合に、第１所定条件を満たすと判定する。高輝度判定平均値は、予め設定された値であり、例えば、「２４０」である。高輝度判定標準偏差は、予め設定された値であり、例えば、「１５」である。

判定部２５は、高輝度判定処理において、上記（１）または（２）を満たさない場合には、第１所定条件を満たさないと判定する。

また、判定部２５は、低輝度判定処理において、分割領域Ｒ１が第２所定条件を満たすか否かを判定する。判定部２５は、（３）分割領域Ｒ１における輝度の平均値が、設定された低輝度判定平均値以下であり、かつ（４）分割領域Ｒ１における輝度の標準偏差が低輝度判定標準偏差（標準偏差判定閾値）以下である場合に、第２所定条件を満たすと判定する。低輝度判定標準偏差は、予め設定された値であり、例えば、「１５」である。なお、高輝度判定標準偏差と低輝度判定標準偏差とは、異なる値であってもよい。

判定部２５は、低輝度判定処理において、上記（３）または（４）を満たさない場合には、第２所定条件を満たさないと判定する。

また、判定部２５は、高輝度判定処理において、分割領域Ｒ１が高輝度分割領域であるか否かを判定する。具体的には、判定部２５は、第１カウンタ値が第１所定カウンタ値以上であるか否かを判定する。

第１カウンタ値は、分割領域Ｒ１が第１所定条件を継続的に満たすことを示す値である。第１カウンタ値は、分割領域Ｒ１毎にカウントされる。第１所定カウンタ値は、予め設定された値であり、例えば、「３」である。なお、第１所定カウンタ値には、予め設定された下限値、および上限値が設定されている。

判定部２５は、第１カウンタ値が第１所定カウンタ値以上である場合には、分割領域Ｒ１が高輝度分割領域であると判定する。すなわち、判定部２５は、分割領域Ｒ１が継続的に第１所定条件を満たす場合に、分割領域Ｒ１が高輝度分割領域であると判定する。

判定部２５は、第１カウンタ値が第１所定カウンタ値よりも小さい場合には、分割領域Ｒ１が通常領域であると判定する。通常領域は、高輝度分割領域、または低輝度分割領域として検出されていない分割領域Ｒ１である。通常領域には、高輝度分割領域、または低輝度分割領域として判定が確定していない分割領域Ｒ１、および露出条件が適している露出セーフな分割領域Ｒ１が含まれる。

また、判定部２５は、低輝度判定処理において、分割領域Ｒ１が低輝度分割領域であるか否かを判定する。具体的には、判定部２５は、第２カウンタ値が第２所定カウンタ値以上であるか否かを判定する。

第２カウンタ値は、分割領域Ｒ１が第２所定条件を継続的に満たすことを示す値である。第２カウンタ値は、分割領域Ｒ１毎にカウントされる。第２所定カウンタ値は、予め設定された値であり、例えば、「３」である。なお、第２所定カウンタ値は、予め設定された下限値、および上限値が設定されている。また、第２所定カウンタ値と第１所定カウンタ値とは異なる値であってもよい。

判定部２５は、第２カウンタ値が第２所定カウンタ値以上である場合には、分割領域Ｒ１が低輝度分割領域であると判定する。すなわち、判定部２５は、分割領域Ｒ１が継続的に第２所定条件を満たす場合に、分割領域Ｒ１が低輝度分割領域であると判定する。

判定部２５は、第２カウンタ値が第２所定カウンタ値よりも小さい場合には、分割領域Ｒ１が通常領域であると判定する。具体的には、判定部２５は、分割領域Ｒ１が高輝度分割領域、および低輝度分割領域ではない場合に、分割領域Ｒ１が露出セーフ領域であると判定する。

また、判定部２５、高輝度判定処理において、全ての分割領域Ｒ１に対して第１所定条件を満たすか否かの判定を行ったか否かを判定する。また、低輝度判定処理において、全ての分割領域Ｒ１に対して第２所定条件を満たすか否かの判定を行ったか否かを判定する。

また、判定部２５は、撮像画像Ｉが露出アウト画像であるか否かを判定する。具体的には、判定部２５は、占有率が所定占有率（所定割合）以上であるか否かを判定する。所定占有率は、予め設定された値であり、例えば、「４０％」である。判定部２５は、占有率が所定占有率以上である場合には、撮像画像Ｉが露出アウト画像であると判定する。判定部２５は、占有率が所定占有率よりも大きい場合には、撮像画像Ｉが露出セーフ画像であると判定する。

更新部２６は、高輝度判定処理において、分割領域Ｒ１が第１所定条件を満たす場合には、第１カウンタ値をインクリメントし、第１カウンタ値を更新する。更新部２６は、高輝度判定処理において、分割領域Ｒ１が第１所定条件を満たさない場合には、第１カウンタ値をデクリメントし、第１カウンタ値を更新する。

また、更新部２６は、低輝度判定処理において、分割領域Ｒ１が第２所定条件を満たす場合には、第２カウンタ値をインクリメントし、第２カウンタ値を更新する。更新部２６は、低輝度判定処理において、分割領域Ｒ１が第２所定条件を満たさない場合には、第２カウンタ値をデクリメントし、第２カウンタ値を更新する。

検出部２７は、高輝度判定処理において、第１カウンタ値が第１所定カウンタ値以上であると判定された分割領域Ｒ１を高輝度分割領域として検出する。また、検出部２７は、低輝度判定処理において、第２カウンタ値が第２所定カウンタ値以上であると判定された分割領域Ｒ１を低輝度分割領域として検出する。また、検出部２７は、高輝度判定処理において、第１カウンタ値が第１所定カウンタ値よりも小さいと判定され、かつ低輝度判定処理において、第２カウンタ値が第２所定カウンタ値よりも小さいと判定された分割領域Ｒ１を露出セーフ領域として検出する。

また、検出部２７は、撮像画像Ｉが露出アウト画像であると判定された場合、具体的には、占有率が所定占有率以上であると判定された場合には、撮像画像Ｉを露出アウト画像として検出する。検出部２７は、撮像画像Ｉが露出アウト画像であると判定された場合には、検知不能フラグを「ＯＮ」にする。

また、検出部２７は、撮像画像Ｉが露出セーフ画像であると判定された場合、具体的には、占有率が所定占有率よりも小さいと判定された場合には、撮像画像Ｉを露出セーフ画像として検出する。検出部２７は、撮像画像Ｉを露出セーフ画像であると判定された場合には、検知不能フラグを「ＯＦＦ」にする。

記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、分割領域Ｒ１における輝度の平均値や、分割領域Ｒ１における輝度の標準偏差や、第１カウンタ値や、第２カウンタ値や、低輝度判定平均値などの情報や、各種プログラムの情報などを記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

次に、実施形態に係る撮像画像判定処理について図５を参照し説明する。図５は、撮像画像判定処理を説明するフローチャートである。なお、撮像画像判定処理は、各車載カメラ１０で行われる。

画像処理装置１は、車載カメラ１０によって撮像した画像から撮像画像Ｉを生成し、分割領域Ｒ１、および対象領域Ｒ０を設定する（Ｓ１００）。

画像処理装置１は、対象領域Ｒ０における輝度の平均値と、対象領域Ｒ０における輝度の標準偏差と、各分割領域Ｒ１における輝度の平均値と、各分割領域Ｒ１における輝度の標準偏差とを算出する（Ｓ１０１）。

画像処理装置１は、高輝度判定処理を行い（Ｓ１０２）、低輝度判定処理を行う（Ｓ１０３）。高輝度判定処理、および低輝度判定処理については、後述する。

画像処理装置１は、占有率を算出する（Ｓ１０４）。画像処理装置１は、占有率が所定占有率以上であるか否かを判定する（Ｓ１０５）。

画像処理装置１は、占有率が所定占有率以上である場合には（Ｓ１０５：Ｙｅｓ）、撮像画像Ｉが露出アウト画像であると判定し、露出アウトフラグを「ＯＮ」にする（Ｓ１０６）。また、画像処理装置１は、占有率が所定面積よりも小さい場合には（Ｓ１０５：Ｎｏ）、撮像画像Ｉが露出セーフ画像であると判定し、露出アウトフラグを「ＯＦＦ」にする（Ｓ１０７）。

次に、高輝度判定処理について図６を参照し説明する。図６は、高輝度判定処理を説明するフローチャートである。

画像処理装置１は、分割領域Ｒ１を選択する（Ｓ２００）。具体的には、画像処理装置１は、分割領域Ｒ１の中から、第１所定条件を満たすか否かの判定を行っていない分割領域Ｒ１を選択する。

画像処理装置１は、分割領域Ｒ１が第１所定条件を満たすか否かを判定する（Ｓ２０１）。画像処理装置１は、分割領域Ｒ１が第１所定条件を満たす場合には（Ｓ２０１：Ｙｅｓ）、第１カウンタ値をインクリメントする（Ｓ２０２）。また、画像処理装置１は、分割領域Ｒ１が第１所定条件を満たさない場合には（Ｓ２０１：Ｎｏ）、第１カウンタ値をデクリメントする（Ｓ２０３）。

画像処理装置１は、第１カウンタ値が第１所定カウンタ値以上であるか否かを判定する（Ｓ２０４）。画像処理装置１は、第１カウンタ値が第１所定カウンタ値以上である場合には（Ｓ２０４：Ｙｅｓ）、分割領域Ｒ１を高輝度分割領域として検出する（Ｓ２０５）。

また、画像処理装置１は、第１カウンタ値が第１所定カウンタ値よりも小さい場合には（Ｓ２０４：Ｎｏ）、分割領域Ｒ１を通常領域として検出する（Ｓ２０６）。

画像処理装置１は、全ての分割領域Ｒ１に対して第１所定条件を満たすか否かの判定を行った場合には（Ｓ２０７：Ｙｅｓ）、高輝度判定処理を終了する。画像処理装置１は、第１所定条件を満たすか否かの判定を行っていない分割領域Ｒ１が有る場合には（Ｓ２０７：Ｎｏ）、新たに分割領域Ｒ１を選択し（Ｓ２００）、上記処理を繰り返す。

次に、低輝度判定処理について図７を参照し説明する。図７は、低輝度判定処理を説明するフローチャートである。

画像処理装置１は、対象領域Ｒ０における輝度の標準偏差、および対象領域Ｒ０における輝度の平均値に基づいて低輝度判定平均値を設定する（Ｓ３００）。

画像処理装置１は、分割領域Ｒ１を選択する（Ｓ３０１）。具体的には、画像処理装置１は、分割領域Ｒ１の中から、第２所定条件を満たすか否かの判定を行っていない分割領域Ｒ１を選択する。

画像処理装置１は、分割領域Ｒ１が第２所定条件を満たすか否かを判定する（Ｓ３０２）。具体的には、画像処理装置１は、分割領域Ｒ１における輝度の平均値が、設定された低輝度判定平均値以下であり、かつ分割領域Ｒ１における輝度の標準偏差が低輝度判定標準偏差以下であるか否かを判定する。

画像処理装置１は、分割領域Ｒ１が第２所定条件を満たす場合には（Ｓ３０２：Ｙｅｓ）、第２カウンタ値をインクリメントする（Ｓ３０３）。また、画像処理装置１は、分割領域Ｒ１が第２所定条件を満たさない場合には（Ｓ３０２：Ｎｏ）、第２カウンタ値をデクリメントする（Ｓ３０４）。

画像処理装置１は、第２カウンタ値が第２所定カウンタ値以上であるか否かを判定する（Ｓ３０５）。画像処理装置１は、第２カウンタ値が第２所定カウンタ値以上である場合には（Ｓ３０５：Ｙｅｓ）、分割領域Ｒ１を低輝度分割領域として検出する（Ｓ３０６）。

また、画像処理装置１は、第２カウンタ値が第２所定カウンタ値よりも小さい場合には（Ｓ３０５：Ｎｏ）、分割領域Ｒ１を露出セーフ領域として検出する（Ｓ３０７）。すなわち、画像処理装置１は、高輝度分割領域、および低輝度分割領域ではないと判定された分割領域Ｒ１を露出セーフ領域として検出する。

画像処理装置１は、全ての分割領域Ｒ１に対して第２所定条件を満たすか否かの判定を行った場合には（Ｓ３０８：Ｙｅｓ）、低輝度判定処理を終了する。画像処理装置１は、第２所定条件を満たすか否かの判定を行っていない分割領域Ｒ１が有る場合には（Ｓ３０８：Ｎｏ）、新たに分割領域Ｒ１を選択し（Ｓ３０１）、上記処理を繰り返す。

画像処理装置１は、対象領域Ｒ０における輝度の標準偏差に基づいて低輝度判定平均値を設定する。画像処理装置１は、分割領域Ｒ１における輝度の平均値と低輝度判定平均値とに基づいて露出条件が適切でない露出アウト領域である低輝度分割領域を検出する。

これにより、画像処理装置１は、車載カメラ１０によるゲイン補正が行われた場合であっても、低輝度分割領域を正確に検出することができる。

画像処理装置１は、対象領域Ｒ０における輝度の平均値、および対象領域Ｒ０における輝度の標準偏差に基づいて低輝度判定平均値を設定する。

これにより、画像処理装置１は、車載カメラ１０によるゲイン補正が行われた場合に、ゲイン補正量に応じて変化した対象領域Ｒ０の輝度の平均値に基づいて、低輝度判定平均値を設定することができる。そのため、画像処理装置１は、低輝度分割領域を精度よく検出することができる。

画像処理装置１は、対象領域Ｒ０における輝度の標準偏差が所定標準偏差以下である場合には、対象領域Ｒ０における輝度の標準偏差が所定標準偏差よりも大きい場合よりも、対象領域における同一の輝度の平均値に対し、低輝度判定平均値を大きくする。

これにより、画像処理装置１は、対象領域Ｒ０が全体黒つぶれであり、ゲイン補正による対象領域Ｒ０の輝度が大きく補正された場合であっても、低輝度分割領域を正確に検出することができる。

画像処理装置１は、分割領域Ｒ１における輝度の平均値が低輝度判定平均値以下であり、かつ分割領域Ｒ１における輝度の標準偏差が低輝度判定標準偏差以下である場合に、分割領域Ｒ１を低輝度分割領域として検出する。

これにより、画像処理装置１は、分割領域Ｒ１における輝度の平均値、および分割領域Ｒ１における輝度の標準偏差に基づき、低輝度分割領域を正確に検出することができる。

画像処理装置１は、分割領域Ｒ１における輝度の平均値が低輝度判定平均値以下であり、かつ分割領域Ｒ１における輝度の標準偏差が低輝度判定標準偏差以下である状態が継続する場合、具体的には、第２カウンタ値が第２所定カウンタ値以上である場合に、分割領域Ｒ１を低輝度分割領域として検出する。

これにより、画像処理装置１は、第２所定条件が継続して満たされる分割領域Ｒ１を低輝度分割領域として検出することで、低輝度分割領域を正確に検出することができる。

画像処理装置１は、対象領域Ｒ０に対する露出アウト領域の割合である占有率が所定占有率以上である場合に、撮像画像Ｉを露出アウト画像として検出する。

これにより、画像処理装置１は、露出アウト画像を正確に検出することができる。

変形例に係る画像処理装置１は、撮像画像Ｉが露出アウト画像であるか否かの判定を第３カウンタ値に基づいて判定してもよい。変形例に係る画像処理装置１は、占有率が所定占有率以上となる場合に第３カウンタ値をインクリメントし、占有率が所定占有率よりも小さい場合に第３カウンタ値をデクリメントする。そして、変形例に係る画像処理装置１は、第３カウンタ値が、予め設定された第３所定カウンタ値（例えば、「３」）以上の場合に、撮像画像Ｉが露出アウト画像であると判定する。また、変形例に係る画像処理装置１は、第３カウンタ値が第３所定カウンタ値よりも小さい場合に、撮像画像Ｉが露出セーフ画像であると判定する。すなわち、変形例に係る画像処理装置１は、占有率が所定占有率以上となる状態が継続する場合に、撮像画像Ｉを露出アウト画像として検出する。

これにより、変形例に係る画像処理装置１は、露出アウト画像を正確に判定することができる。

また、変形例に係る画像処理装置１は、所定占有率にヒステリシスを設けてもよい。変形例に係る画像処理装置１は、撮像画像Ｉの判定を露出セーフ画像から露出アウト画像に変更する場合の第１所定占有率（例えば、「４０％」）と、撮像画像Ｉの判定を露出アウト画像から露出セーフ画像に変更する場合の第２所定占有率（例えば、「３０％」）とを異なる値にしてもよい。すなわち、変形例に係る画像処理装置１は、占有率が第１所定占有率以上になると、撮像画像Ｉを露出アウト画像として検出し、撮像画像Ｉが露出アウト画像として検出された状態で、占有率が第１所定占有率よりも小さい第２所定占有率以下になると、撮像画像Ｉを露出セーフ画像として検出する。

これにより、変形例に係る画像処理装置１は、撮像画像Ｉが露出セーフ画像であるか、露出アウト画像であるかの判定でハンチングが生じることを抑制し、露出アウトフラグの出力を安定させることができる。

また、変形例に係る画像処理装置１は、高輝度判定処理によって通常領域であると判定された分割領域Ｒ１にのみ低輝度判定処理を行ってもよい。なお、低輝度判定処理が高輝度判定処理よりも先に行われる場合には、低輝度判定処理によって通常領域であると判定された分割領域Ｒ１にのみ高輝度判定処理を行ってもよい。

これにより、変形例に係る画像処理装置１は、検知不能領域を検出する際の処理負荷を小さくすることができる。

また、変形例に係る画像処理装置１では、車載カメラ１０のゲイン補正の他にも、輝度や、色、明るさを補正する処理に対応して、低輝度判定平均値などが設定されてもよい。

また、変形例に係る画像処理装置１では、車載カメラ１０毎に低輝度判定平均値などが設定されてもよい。

また、変形例に係る画像処理装置１は、対象領域Ｒ０における輝度の平均値のみに基づいて低輝度判定平均値を設定してもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 画像処理装置
２ 制御部
３ 記憶部
１０ 車載カメラ（撮像装置）
２０ 取得部
２１ 領域設定部
２３ 算出部
２４ 閾値設定部
２５ 判定部
２６ 更新部
２７ 検出部

Claims (9)

1. 撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定部と、
   前記分割領域における輝度の代表値、および前記複数の分割領域を含む対象領域における輝度のばらつき量を算出する算出部と、
   前記対象領域における輝度のばらつき量に基づいて代表値判定閾値を設定する閾値設定部と、
   前記分割領域における輝度の代表値と前記代表値判定閾値とに基づいて、前記複数の分割領域の中から露出アウト領域を検出する検出部と
   を備えることを特徴とする画像処理装置。
2. 前記算出部は、
   前記対象領域における輝度の代表値を算出し、
   前記閾値設定部は、
   前記対象領域における輝度のばらつき量、および前記対象領域における輝度の代表値に基づいて前記代表値判定閾値を設定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記閾値設定部は、
   前記対象領域における輝度のばらつき量が所定ばらつき量以下である場合には、前記対象領域における輝度のばらつき量が前記所定ばらつき量よりも大きい場合よりも、前記対象領域における同一の輝度の代表値に対し、前記代表値判定閾値を大きくする
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記算出部は、
   前記分割領域における輝度のばらつき量を算出し、
   前記検出部は、
   前記分割領域における輝度の代表値が前記代表値判定閾値以下であり、かつ前記分割領域における輝度のばらつき量がばらつき量判定閾値以下である場合に、前記分割領域を、露出アウトである低輝度領域として検出する
   ことを特徴とする請求項１～３のいずれか一つに記載の画像処理装置。
5. 前記検出部は、
   前記分割領域における輝度の代表値が前記代表値判定閾値以下であり、かつ前記分割領域における輝度のばらつき量が前記ばらつき量判定閾値以下である状態が継続する場合に、前記分割領域を前記低輝度領域として検出する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記算出部は、
   前記対象領域に対する前記露出アウト領域の割合を算出し、
   前記検出部は、
   前記割合が所定割合以上である場合に、前記撮像画像を、露出アウト画像として検出する
   ことを特徴とする請求項１～５のいずれか一つに記載の画像処理装置。
7. 前記検出部は、
   前記割合が前記所定割合以上となる状態が継続する場合に、前記撮像画像を前記露出アウト画像として検出する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記検出部は、
   前記割合が第１所定割合以上になると、前記撮像画像を前記露出アウト画像として検出し、
   前記撮像画像が前記露出アウト画像として検出された状態で、前記割合が前記第１所定割合よりも小さい第２所定割合以下になると、前記撮像画像を、露出セーフ画像として検出する
   ことを特徴とする請求項６または７に記載の画像処理装置。
9. 撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定工程と、
   前記分割領域における輝度の代表値、および前記複数の分割領域を含む対象領域における輝度のばらつき量を算出する算出工程と、
   前記対象領域における輝度のばらつき量に基づいて代表値判定閾値を設定する閾値設定工程と、
   前記分割領域における輝度の代表値と前記代表値判定閾値とに基づいて、前記複数の分割領域の中から露出アウト領域を検出する検出工程と
   を含むことを特徴とする画像処理方法。

Images