JP7458752B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮像された画像を処理する技術に関する。

従来から、防犯手段の一つとしてネットワークカメラが利用されている。ネットワークカメラは、様々な環境下に設置され、視認性の高い画像を提供することが望まれている。しかし、ネットワークカメラの撮影環境において、霧や霞が発生すると、被写体のコントラストが低下し、視認性が低下した画像となってしまう。この霧や霞が発生している撮影環境においても視認性の高い画像を取得するために、霧や霞が発生している場合にコントラスト強調を行うという手法がある。ただし、霧や霞は、常に一定ではなく、時間経過に伴い、濃度が変化し、したがって画像のコントラスト低下度合いが常に変化する。そのため、ネットワークカメラを設置している撮影環境において、霧や霞の発生有無を判定し、霧や霞が発生している場合のみ、コントラスト強調を行う手法が有効である。特許文献１には、撮像画像中のヒストグラムから霧や霞が発生しているかを推定する事が可能な手法が開示されている。

特開２０１８－９３４７４号公報

しかしながら、上述の特許文献１に開示された従来技術では、ヒストグラムからのみ霧・霞が発生しているかを推定している。このため、例えば霧・霞は生じていないが建物などの人工物によりコントラストが低下している場合などにおいて、霧・霞が発生していると誤認識し、誤補正してしまうことがある。

そこで、本発明は、誤認識を低減して適切な補正を実現可能にすることを目的とする。

本発明の画像処理装置は、被写体を撮像した画像を基に、画像のコントラストに影響を及ぼす現象による影響の度合いを表す影響度を取得する取得手段と、前記画像を複数の領域に分割する分割手段と、前記被写体を撮像した撮像装置から前記被写体までの距離を前記領域ごとに検出する距離検出手段と、前記分割された複数の領域の前記距離を基に、前記画像が、前記コントラストに影響を及ぼす現象により生ずるコントラストの低下が視認性に影響する画像かどうかを判定する影響判定手段と、前記影響度を基に、画像のコントラストを強調するコントラスト補正係数を取得する係数取得手段と、前記領域ごとの前記距離を基に、前記コントラスト補正係数を補正する係数補正手段と、前記画像のコントラストを、前記コントラスト補正係数を基に補正する補正手段と、を有し、前記影響判定手段は、前記距離が所定の距離閾値以下の領域が所定の領域数以上である場合、前記コントラストの低下が視認性に影響する画像でないと判定し、前記係数補正手段は、前記影響判定手段によって前記コントラストの低下が視認性に影響する画像でないと判定された場合、前記コントラスト補正係数の値が所定の値以上であれば、前記コントラスト補正係数の値を設定値だけ低くする補正を行うことを特徴とする。

本発明によれば、誤認識を低減して適切な補正を実現することが可能となる。

第１の実施形態に係る撮像装置の構成例を示す図である。 第１の実施形態の撮像装置における処理のフローチャートである。 霧霞度算出手法で用いるヒストグラムの一例を示す図である。 コントラスト補正係数のグラフの一例を示す図である。 被写体距離とコントラストの関係の一例を示す図である。 ノイズ量を基に係数補正を行う構成例を示す図である。 第２の実施形態に係る撮像装置の構成例を示す図である。 第２の実施形態の撮像装置における処理のフローチャートである。 画像を領域分割する一例を示す図である。 霧霞判定部の処理を説明するイメージ図である。 霧霞判定部の構成の一例を示す図である。 動き検出、領域指定を基に係数補正を行う構成例を示す図である。

本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
図１は、第１の実施形態に係る撮像装置の構成例を示したブロック図である。本実施形態の撮像装置は、撮像部１０１、画像処理部１０２、霧霞度算出部１０３、係数算出部１０４、補正強度判定部１０５、距離推定部１０６、係数補正部１０７、補正部１０８、および表示部１０９等を有して構成されている。本実施形態の撮像装置は、撮像にて取得された画像に生じたコントラストの低下が、霧や霞などによるものなのか、それ以外によるものなのかを推定し、その推定結果を基に、撮像画像に対して適切な霧霞補正処理を行う画像処理装置の機能を有している。本実施形態の場合、画像処理装置の機能は、霧霞度算出部１０３、係数算出部１０４、補正強度判定部１０５、距離推定部、係数補正部１０７、及び補正部１０８によって実現されている。また第１の実施形態の場合、撮像画像のコントラスト低下が、霧霞によるものなのか、それ以外によるものなのかを、撮像装置から被写体までの距離を基に推定している。なお、本実施形態の撮像装置は例えばネットワークカメラなどに適用可能である。また、本実施形態に係る画像処理装置は、ネットワークカメラの内部に搭載されていても良いし、ネットワークカメラとは別の構成となされて通信回線等を介してネットワークカメラに接続されているものでもよい。

以下、図１に示した各機能について説明する。
撮像部１０１は、複数枚のレンズ、絞り機構、及びＣＣＤまたはＣＭＯＳセンサなどの撮像素子等を有して構成され、不図示の被写体からの光像を撮像してデジタル画像信号に変換して出力する。撮像部１０１から出力された画像信号は、画像処理部１０２に入力される。
画像処理部１０２は、入力された画像信号に対し、ホワイトバランス調整やガンマ補正などの、画像を現像するための種々の処理を施す。画像処理部１０２による処理後の画像信号（以下適宜、画像とのみ表記する）は、霧霞度算出部１０３と補正部１０８に送られる。

霧霞度算出部１０３は、霧霞度取得処理として、画像処理部１０２による処理後の画像から、被写体等の撮像時に霧や霞など画像のコントラストに影響を及ぼす現象による影響の度合いを表す影響度（以下、霧霞度とする）を取得する。本実施形態では、霧霞度（影響度）を算出によって取得するようになされており、当該霧霞度の算出についての具体的な例は後述する。霧霞度算出部１０３により取得された霧霞度の情報は係数算出部１０４に送られる。なお、コントラストの低下に影響を及ぼす現象は、霧や霞に限定されず、例えば煙、ガス、粉塵、黄砂、雨、雪など、他の現象であってもよい。

係数算出部１０４は、係数取得処理として、霧霞度算出部１０３にて取得された霧霞度に応じて、画像のコントラストを強調するコントラスト補正をどの程度かけるかを決定するコントラスト補正係数を算出する。係数算出部１０４にて算出されたコントラスト補正係数の情報は、係数補正部１０７と補正強度判定部１０５とに送られる。

補正強度判定部１０５は、係数判定処理として、係数算出部１０４にて算出されたコントラスト補正係数の値が所定の値以上、言い換えるとコントラスト補正係数に基づくコントラスト補正の強度が所定の強度以上になるかどうかを判定する。すなわちコントラスト補正係数の値は、画像に対して行われるコントラスト補正の強度に対応しており、例えばコントラスト補正係数の値が大きくにつれてコントラスト補正の強度が大きくなる。補正強度判定部１０５による判定結果の情報は、係数補正部１０７に送られる。

距離推定部１０６は、被写体距離検出処理として、撮像装置から被写体までの距離（被写体距離とする）を推定する。被写体距離は、アクティブ方式やパッシブ方式などの複数の方式の少なくとも何れかの方式に基づく情報を用いて推定することができる。アクティブ方式としては、例えば、発光した光が被写体にて反射された反射光を受光するような計測センサを用い、当該発光から受光までの時間差を基に距離を計測するような手法を挙げることができる。またパッシブ方式としては、例えば、画像の位相差を検出可能な撮像装置にて検出される当該位相差を基に被写体距離を推定する手法を挙げることができる。さらにパッシブ方式の他の例としては、画像のコントラストを基に合焦制御が行われる撮像装置において当該合焦時のフォーカスレンズの位置を基に被写体距離を推定する手法などを挙げることができる。その他にも、画像から距離を推定するような手法も各種考案されており、距離推定部１０６における被写体距離の推定手法は、距離を推定するという目的を達成できるのであれば、それらどのような手法が用いられてもよい。距離推定部１０６にて推定された被写体距離の情報は、係数補正部１０７に送られる。

係数補正部１０７は、補正強度判定部１０５でコントラスト補正係数の値が所定の値以上と判定された場合に、被写体距離が所定の距離閾値以下であれば、コントラスト補正係数の値を低くするように補正して補正部１０８に出力する。つまり、係数補正部１０７は、コントラスト補正係数がコントラスト補正の強度を所定の強度以上にする値である場合に、被写体距離が所定の距離閾値以下であれば、コントラスト補正の強度を弱めるようにコントラスト補正係数の値を低くする。コントラスト補正係数の値を低くように補正する場合には、一例として、予め決められた設定値分だけ値を低くするような係数補正処理が行われる。なお、コントラスト補正係数を低くする際の設定値は、ユーザが任意に変更することも可能である。

一方、係数補正部１０７は、補正強度判定部１０５でコントラスト補正係数が所定の値未満と判定された場合には、係数算出部１０４からのコントラスト補正係数の補正を行わずにそのまま補正部１０８に出力する。つまり、係数補正部１０７は、コントラスト補正の強度が所定の強度以上にならない場合には、被写体距離が所定の距離閾値以下であっても、係数算出部１０４からのコントラスト補正係数を補正せずにそのまま補正部１０８に出力する。

また、係数補正部１０７は、補正強度判定部１０５でコントラスト補正係数が所定の値以上と判定された場合であっても、被写体距離が所定の距離閾値より大きければ、係数算出部１０４からのコントラスト補正係数の補正を行わずに補正部１０８に出力する。つまり、係数補正部１０７は、コントラスト補正の強度が所定の強度以上になる場合であっても、被写体距離が所定の距離閾値より大きければ、係数算出部１０４からのコントラスト補正係数を補正せずにそのまま補正部１０８に出力する。

補正部１０８は、画像処理部１０２による処理後の画像に対し、係数補正部１０７から出力されてきたコントラスト補正係数を用いたコントラスト補正を行う。ここで、画像に対するコントラスト補正には、入力画像の階調のうち、出力画像に反映する階調の下限値と上限値を設定して、その範囲を理論的な最大階調まで拡張する補正処理が一般的に含まれる。本実施形態に係るコントラスト補正でも、同じようなコントラスト補正に加えて、入力画像の一部または全部について、階調が拡張されたり縮小されたりするような補正処理も対象としている。補正部１０８によるコントラスト補正処理後の画像信号は、表示部１０９に送られる。

表示部１０９は、ディスプレイ装置などの表示装置に出力画像を表示する。表示部１０９によって画像が表示される表示装置は、撮像装置と一体型の表示装置でもよいし、撮像装置とは別の外部表示装置となされて通信回線等を介して接続されたものでもよい。

図２は、本実施形態の撮像装置における画像取得からコントラスト補正までの処理の流れを示したフローチャートである。
まずステップＳ２０１において、撮像部１０１は、被写体等を撮像することで画像を取得する。

次にステップＳ２０２において、画像処理部１０２は、撮像部１０１で取得された画像信号に対し、ホワイトバランス調整、デモザイキングやガンマ処理などの現像処理を実施する。

次にステップＳ２０３において、霧霞度算出部１０３は、画像の霧霞度を算出する。本実施形態では、画像の霧霞度を算出する手法として、画像の輝度分布（輝度のヒストグラム）を基に算出する手法や、画像の環境光成分を推定する手法などを用いる。

ここでは、画像の輝度分布（輝度のヒストグラム）を用いた霧霞度の算出に関して具体例を説明する。本実施形態の場合、霧霞度算出部１０３の機能は、大まかに、輝度分布取得機能と霧霞度算出機能とからなる。輝度分布取得機能は、画像処理部１０２から送られてきた画像の輝度分布を取得（輝度のヒストグラムを計測）する機能である。霧霞度算出機能は、輝度分布取得機能によって取得された輝度分布の中で、第１の輝度閾値以下の分布個数と、第１の輝度閾値よりも大きい第２の輝度閾値以上の分布個数とを基に、霧霞度を算出する機能である。

図３は、画像処理部１０２から霧霞度算出部１０３に送られる画像の、輝度のヒストグラム（輝度分布）の例を示した図である。図３中に実線で示されたグラフ３００は画像の輝度のヒストグラム例を示しており、横軸は画像の輝度、縦軸は当該輝度の度数を示している。また、図中の左側の破線部は第１の輝度閾値としての黒側の閾値３０１を示し、右側の破線部は第２の輝度閾値としての白側の閾値３０２を示している。ここで、黒側の閾値３０１以下の輝度の画素数が多ければ、画像は黒側に十分な階調を持っていると考えられる。一方、白側の閾値以上の輝度の画素数が多ければ、画像は白側に十分な階調を持っていると考えられる。
このため、本実施形態においては、下記式（１）のように輝度が黒側となる画素数と白側となる画素数の分布個数を基に黒側と白側の両霧霞度を定義する。

黒側霧霞度＝黒側閾値以下の画素数／全画素数
白側霧霞度＝白側閾値以上の画素数／全画素数 式（１）

そして本実施形態において、全体画像の霧霞度は、下記式（２）のように定義する。

霧霞度＝α・黒側霧霞度＋（１－α）・白側霧霞度 式（２）

ここで、式（２）中のαは任意の係数であり、黒側霧霞度と白側霧霞度のどちらを重視するかを調整する項目になる。また同様に、黒側閾値と白側閾値も任意で設定できる値である。なお本実施形態では、ヒストグラムを使った霧霞度の算出手法の例を挙げたが、この例に限定されるものではなく、画像の霧霞の度合いが算出できれば、どのような手法が用いられてもよい。そして、霧霞度算出部１０３は、算出した霧霞度の情報を係数算出部１０４に送る。なお、霧霞度算出部１０３は、霧霞度に付随する情報である、黒側閾値、白側閾値、黒側霧霞度、及び白側霧霞度などの情報も、係数算出部１０４に出力してもよい。

図２のフローチャートに説明を戻す。ステップＳ２０４において、係数算出部１０４は、画像のコントラスト補正処理に用いられるコントラスト補正係数を算出する。この時、係数算出部１０４は、霧霞度算出部１０３で算出された霧霞度に応じて、コントラスト補正係数を算出する。なお、係数算出部１０４は、霧霞度に付随する情報である、黒側閾値、白側閾値、黒側霧霞度、及び白側霧霞度なども用いて、コントラスト補正係数を算出してもよい。

図４（Ａ）と図４（Ｂ）は、コントラスト補正係数の２つの具体例を示した図である。図４（Ａ）及び図４（Ｂ）は共に、横軸が入力輝度、縦軸が出力輝度を表している。ここで本実施形態では、輝度値を便宜上８ｂｉｔで表される値として考えているので、入力輝度及び出力輝度は０～２５５の値となるが、例えば輝度値が１０ｂｉｔで表されるのであれば入力輝度及び出力輝度は０～１０２３の値となる。また、図４（Ａ）及び図４（Ｂ）中の破線部は、入力輝度と出力輝度を１：１で設定した時の入出力特性を示している。一方、図４（Ａ）中の実線部４００、及び図４（Ｂ）中の実線部４２０は、コントラスト補正係数を基にコントラスト補正処理が行われる場合の入出力特性を示している。

図４（Ａ）は、コントラスト補正係数として、入力画素の輝度値の上限値４０１と下限値４０２とを設定し、その間を直線で結んだ実線部４００の入出力特性となるようにコントラスト補正を行う方式を表している。ここで、下限値４０２をより小さく、上限値４０１をより大きくして破線部に示した１：１の入出力特性に近づけることで、コントラスト補正の効果は弱まっていくことになる。

一方、図４（Ｂ）は、図４（Ａ）の例よりも、より細かくコントラスト補正をかけたい場合に適用される、実線部４２０のようなトーンカーブ方式の入出力特性となるようにコントラスト補正を行う方式を表している。トーンカーブ方式の場合、予め設定された複数の入力輝度値にそれぞれ対応する複数の出力輝度値がコントラスト補正係数４１０として設定される。各コントラスト補正係数４１０の間の輝度値は、スプライン補間や直線補間などにより求められる。この図４（Ｂ）の場合も、コントラスト補正係数４１０を破線部に示した１：１の入出力特性に近づけることで、コントラスト補正の効果を弱めることができる。

前述したように、本実施形態では、２つのコントラスト補正係数の例を挙げたが、コントラスト補正に用いられるパラメータであればよく、これら２つのコントラスト補正係数に限定されるものではない。

図２のフローチャートに説明を戻す。ステップＳ２０５において、補正強度判定部１０５は、係数算出部１０４にて算出されたコントラスト補正係数の値が所定の値以上（コントラスト補正の強度が所定の強度以上になる）かどうかを判定する。例えば前述した図４（Ａ）の場合は、コントラスト補正の強度が所定の強度以上かどうかの判定は、上限値４０１と下限値４０２を基に行うことができる。つまり図４（Ａ）の場合、上限値４０１と下限値４０２が破線部から横軸方向に離れるにしたがってコントラスト補正の強度が大きくなる。このため図４（Ａ）の場合、補正強度判定部１０５は、上限値４０１と下限値４０２が破線部から横軸方向に所定値以上離れるかどうかにより、コントラスト補正の強度が所定の強度以上になるかどうかを判定することができる。また例えば図４（Ｂ）の場合、コントラスト補正の強度が所定の強度以上になるかどうかの判定は、破線部の１：１の入出力特性からの距離を最小二乗法などで求め、その距離の値を基に行ってもよい。つまり図４（Ｂ）の場合、コントラスト補正係数４１０が破線部から離れるにしたがってコントラスト補正の強度が大きくなる。このため図４（Ｂ）の場合、補正強度判定部１０５は、コントラスト補正係数４１０の破線部からの距離の値が所定の値以上になるかどうかにより、コントラスト補正の強度が所定の強度以上になるかどうかを判定することができる。

そして、コントラスト補正係数が所定値以上である場合、補正強度判定部１０５は、取得された画像は霧霞が発生しているシーンを撮像した画像であると判断し、コントラスト補正係数の補正を行うためのステップＳ２０６以降に処理を進める。一方、コントラスト補正係数が所定値以上でない（所定値未満）である場合、補正強度判定部１０５は、取得された画像は霧霞が発生していない（或いは霧霞が少ない）シーンを撮影した画像であると判断して、ステップＳ２０９に処理を進める。つまり、コントラスト補正係数が所定値未満である場合、補正強度判定部１０５は、コントラスト補正係数の補正を行うためのステップＳ２０６以降の処理には進めず、ステップＳ２０９に処理を進める。

ステップＳ２０６に進むと、距離推定部１０６は、被写体距離を推定する。被写体距離の推定には、前述したように様々な手法があるが、ここでは、前述した画像のコントラストに基づく合焦時のフォーカスレンズ位置を用いた被写体距離推定についての具体例を、図５を用いて説明する。

図５において、横軸は被写体距離、縦軸は画像のコントラストを示している。図５中に実線部で示したグラフ５００は、フォーカスレンズを至近から無限遠に動作させた場合において、被写体が撮像装置の近傍に位置している場合の画像のコントラストの値の変化をプロットしたものである。また図５中に一点鎖線部で示したグラフ５０１は、フォーカスレンズを至近から無限遠に動作させた場合において、被写体が撮像装置の近傍から無限遠の中間程度の位置にある場合の画像のコントラストの値の変化をプロットしたものである。図５のグラフ５００において、画像のコントラストのピークは被写体に対応しており、したがってこのグラフ５００からは、被写体距離は撮像装置に近い距離であることが推定される。同様に、図５のグラフ５０１においても画像のコントラストのピークは被写体に対応しており、したがってこのグラフ５０１からは、被写体距離は撮像装置の至近から無限遠の中間程度の距離であることが推定される。

ここで濃霧状態で撮像が行われたことで画像のコントラストのピークを判別できない場合には、ピーク判別ができるようになるまで、係数算出部１０４で算出したコントラスト補正係数を所定係数倍（０～１倍）して、ピークを判別し易くすることが考えられる。これにより、濃霧状態で撮像がなされた場合でも被写体距離の推定が可能になる。

図２のフローチャートに説明を戻す。ステップＳ２０６の後、ステップＳ２０７に進むと、係数補正部１０７は、距離推定部１０６で推定された被写体距離が所定の距離閾値以下かどうかを判定する。そして係数補正部１０７は、被写体距離が所定の距離閾値以下である場合には、ステップＳ２０８に処理を進め、コントラスト補正係数の値を低くするように補正（コントラスト補正の強度が弱くなるようにコントラスト補正係数を補正）して出力する。一方、係数補正部１０７は、推定された被写体距離が所定の距離閾値以下でない場合には、ステップＳ２０９に進め、ステップＳ２０８でのコントラスト補正係数の補正を行わずに、係数算出部１０４で算出されたコントラスト補正係数をそのまま出力する。

ステップＳ２０９に進むと、補正部１０８は、係数補正部１０７から出力されたコントラスト補正係数を基に、画像処理部１０２から出力された画像に対してコントラスト補正処理を行う。

なお前述の例では、被写体距離に基づいて、コントラスト補正係数の補正を行ったが、被写体距離に限定されるものではない。例えば、被写体距離ではなく、画像のノイズ量などに基づいてコントラスト補正係数の補正を行うようにしてもよい。
図６は、画像のノイズ量に基づいてコントラスト補正係数の補正を行う場合の構成例を示したブロック図である。なお、図６の構成において、図１と同様の各部には図１と同じ参照符号を付してそれらの説明は省略する。図６に示した構成の場合、図１の距離推定部１０６に代えて、ノイズ量推定部６０１が設けられている。また図６の構成例の場合、撮像部１０１は画像を撮像した際の撮像パラメータを出力し、画像処理部１０２は画像の分散を求める。

ノイズ量推定部６０１は、撮像パラメータや画像の分散を取得し、それらを基に画像のノイズ量を取得する。本実施形態の場合、ノイズ量推定部６０１は、ノイズ量取得の手法として、撮像パラメータや画像の分散からノイズ量を推定する手法を用いる。これら撮像パラメータと画像の分散からノイズ量を推定する手法ついては、既知の種々の手法のいずれを用いてもよい。ノイズ量推定部６０１によって推定されたノイズ量の情報は、係数補正部１０７に送られる。

係数補正部１０７は、ノイズ量を基にコントラスト補正係数の補正を行う。ここで例えばノイズ量が多い場合に、コントラストを高めるようなコントラスト補正処理を行うと、ますますノイズが多く発生するようになってしまう。このため、係数補正部１０７は、ノイズ量が大きくなるにつれて、コントラスト補正係数の値を低くするように補正する。

図６の構成では、通常の撮影時の画像増幅処理などによるノイズ量とコントラスト補正処理によるノイズ量の総量をコントロールすることにより、より認識しやすい画像を得ることが可能になる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図７は、第２の実施形態に係る画像処理装置の機能を備えた撮像装置の構成例を示したブロック図である。図７の構成において、図１と同様の各部には図１と同じ参照符号を付してそれらの説明は省略する。図７に示した第２の実施形態の構成の場合、図１の距離推定部１０６に代えて複数距離推定部７０２が設けられ、さらに領域分割部７０１と霧霞判定部７０３とが設けられている。

領域分割部７０１は、撮像部１０１から入力された画像を複数の領域に分割する。第２の実施形態の場合、画像を複数の領域に分割することで、ぞれぞれの領域ごとに種々の処理を適用することができる。領域分割部７０１によって複数に分割された各領域の画像は、複数距離推定部７０２に送られる。

複数距離推定部７０２は、領域分割部７０１で分割された複数の領域それぞれについて、被写体距離を推定する。被写体距離を推定する方法は、第１の実施形態の距離推定部１０６で用いられた距離推定方法と同様の方法を用いて行えばよい。例えば、第１の実施形態で説明した画像のコントラストに基づく合焦時のフォーカスレンズ位置を用いた距離推定手法を、それぞれの領域ごとに適用することで、領域ごとの被写体距離の推定が可能である。また、撮像部１０１の撮像素子が例えば撮像面上で画素ごとに位相差を検出可能なものである場合、それぞれの領域における各画素の位相差検出信号を基に、領域ごとの被写体距離の推定が行われてもよい。複数距離推定部７０２にて領域ごとに推定された被写体距離の情報は、霧霞判定部７０３に送られる。

霧霞判定部７０３は、影響判定処理として、複数距離推定部７０２で推定された領域ごとの被写体距離と、画像処理部１０２からの画像とを基に、当該画像が、霧や霞などによるコントラストの低下が視認性に影響する画像であるかどうかを判定する。そして、霧霞判定部７０３は、当該画像が、霧や霞などによるコントラストの低下が視認性に影響する画像（以下、霧霞画像とする）であるかどうかの判定結果を、係数補正部１０７に送る。霧霞判定部７０３における影響判定処理等の具体的な手法については後述する。

係数補正部１０７は、霧霞判定部７０３において霧霞画像でない（霧霞画像以外である）と判定された場合、コントラスト補正係数の値が所定の値以上であれば、コントラスト補正係数の値を設定値だけ低くするように補正して出力する。一方、係数補正部１０７は、霧霞判定部７０３で霧霞画像であると判定された場合、コントラスト補正係数の値が所定の値以上であっても、コントラスト補正係数を補正せずにそのまま出力する。

図８は、第２の実施形態の撮像装置における画像取得からコントラスト補正までの処理の流れを示したフローチャートである。なお図８のステップＳ２０１～ステップＳ２０５、ステップＳ２０８、及びステップＳ２０９は、前述の図２においてそれぞれ同一の参照符号が付された各ステップと同じ処理が行われるため、それらの説明は省略する。図８のフローチャートの場合、ステップＳ２０５でコントラスト補正係数が所定値以上と判定されると、ステップＳ８０１の処理に進む。

ステップＳ８０１に進むと、領域分割部７０１は、撮像部１０１から取得した画像を複数の領域に分割する。本実施形態では、処理のしやすさから、例えば図９のように画像を格子状に分割する。各領域の大きさに関しては一定であるとする。なお、画像の分割は、格子状の分割に限定されるものではなく、様々な大きさ・形状への分割であってもよい。また、第２の実施形態では、画像を分割する例を挙げているが、必ずしも実際に画像を分割する必要はない。例えば、撮像部１０１から取得された画像はそのままで、被写体距離の推定や霧霞判定の評価が行われる領域のみを指定領域として限定するというような手法が用いられてもよい。

次にステップＳ８０２において、複数距離推定部７０２は、領域分割部７０１にて複数に分割された各領域のそれぞれに対して、被写体距離を推定する。
次にステップＳ８０３に進むと、霧霞判定部７０３は、画像処理部１０２による処理後の画像について、霧や霞などによるコントラストの低下が視認性に影響する霧霞画像であるかどうかを判定する影響判定処理を行う。本実施形態の場合、霧霞判定部７０３は、画像処理部１０２による処理後の画像について、被写体距離が所定の距離閾値以下になる領域の数が所定の領域数未満であれば霧霞画像であると判定する。一方、霧霞判定部７０３は、画像処理部１０２による処理後の画像について、被写体距離が所定の距離閾値以下になる領域の数が所定の領域数以上である場合には霧霞画像以外であると判定する。

以下、図１０（Ａ）及び図１０（Ｂ）を用いて、霧霞判定部７０３における影響判定処理の具体例を説明する。
図１０（Ａ）は、第２の実施形態における霧霞判定処理のイメージを示した図である。
図１０（Ａ）に示したイメージ例では、実際には霧霞は出ていないが、ビルなどの建物１００１やドア１００２の部分では画像の差が少なく全体的にコントラストが低いため、霧霞度が高い状態と誤認され易い画像になっているとする。
図１０（Ｂ）は、図１０（Ａ）の画像を複数の領域に分割し、領域ごとに被写体距離の推定を行った状態の画像のイメージを示している。図１０（Ｂ）中の格子状の破線部は、画像を複数領域に分割した際の各領域の境界を示しているとする。図１０（Ｂ）の例では、建物１００１とドア１００２がほぼ同じ被写体距離になっているのに対し、建物１００１でない部分では建物１００１及びドア１００２とは異なる被写体距離になっている。

また図１１は、霧霞判定部７０３の構成例を示したブロック図である。霧霞判定部７０３は、距離判定部１１０１、領域計測部１１０２、及び割合算出部１１０３を有して構成されている。

距離判定部１１０１は、複数距離推定部７０２にて算出された距離情報を基に、領域ごとに所定の距離閾値以下かどうかを判定する。ここで、図１０（Ｂ）の例において、所定の距離閾値以下と判定された各領域をプロットすると、図中に網目模様で示した各領域ではほぼ同じ距離で所定の距離閾値以下になっているとする。なお本実施形態において、所定の距離閾値は、数ｍから１０ｍ程度を想定しているが、撮像部１０１のレンズの開口Ｆ値や絞り値などに応じて任意の閾値に設定してもよい。

領域計測部１１０２は、距離判定部１１０１にて所定の距離閾値以下と判定された各領域からなる範囲を計測する。本実施形態では、領域分割としてすべて同一の大きさを持つ矩形に分割しているので、領域計測部１１０２は、所定の距離閾値以下と判定された各領域の数を計測して領域範囲とする。図１０（Ｂ）の例の場合、図中の網目模様部分で示されている各領域が所定の距離閾値以下の領域であり、当該領域範囲を構成している領域の数は４２個になっている。なお、領域分割が、矩形や大きさにこだわらずに任意の形状に分割するようになされた場合、領域計測部１１０２は、例えば所定の距離閾値以下の各領域からなる領域範囲の面積を計測してもよい。

割合算出部１１０３は、画像の全画面範囲（つまり領域分割された全領域の範囲）に対する、領域計測部１１０２で所定の距離閾値以下とされた近距離被写体の領域範囲の割合を算出する。近距離被写体の領域範囲の割合は、例えば下記の式（３）により算出することができる。

近距離被写体の領域範囲の割合＝近距離被写体の領域範囲／全画面領域 式（３）

図１０（Ｂ）に示した例の場合、画像の全画面範囲を構成している全ての領域数は５４個であり、近距離被写体の領域範囲における領域数は４２個であるため、近距離被写体の領域範囲の割合は約０．７８となる。霧霞判定部７０３は、この近距離被写体の領域範囲の割合が、所定の割合閾値未満であれば、霧霞が生じた場合にコントラストが低下する霧霞画像である判定する。一方、霧霞判定部７０３は、近距離被写体の領域範囲の割合が、所定の割合閾値以上であれば、霧霞が生じてもコントラストの低下の影響が少ない画像である（霧霞画像以外である）と判定する。本実施形態において、所定の割合閾値を０．５とした場合、図１０（Ｂ）の例では近距離被写体の領域範囲の割合が約０．７８であるため、霧霞判定部７０３は、霧霞の影響を受け難いと判定する。なお、本実施形態では、所定の割合閾値を０．５としたが、この例に限定されず、例えば０～１の間の任意の値をとることができる。

図８のフローチャートに説明を戻す。ステップＳ８０３において、霧霞判定部７０３が霧霞画像ではない（霧霞画像以外である）と判定した場合、ステップＳ２０８において、係数補正部１０７は、コントラスト補正係数の値を低くするように補正して出力する。一方、ステップＳ８０３において霧霞画像であると判定された場合、係数補正部１０７は、コントラスト補正係数の補正を行わず、そのままコントラスト補正係数を出力する。
その後、ステップＳ２０９において、補正部１０８は、前述同様にコントラスト係数係数に基づいて画像のコントラスト補正を行う。

また第２の実施形態では、霧霞判定部７０３で霧霞画像かどうかを判定し、コントラスト補正係数の補正を行うかどうかを判定したが、例えば動き被写体又は特定領域における被写体距離を基に、コントラスト補正係数の補正を行うかどうかを判定してもよい。

図１２は、動き被写体や特定領域における物体との距離を基にコントラスト補正係数の補正を行うかどうかを判定可能な構成例を示した図である。図１２の構成において、図１や図７と同様の各部には図１や図７と同じ参照符号を付してそれらの説明は省略する。図１２に示した構成例の場合、動き検出部１２０１と領域指定部１２０２とが設けられている。なお、図１２には、動き検出部１２０１と領域指定部１２０２の両方が設けられているが、それらのいずれか一方のみが設けられていてもよい。

動き検出部１２０１は、領域分割部７０１で分割されて複数距離推定部７０２を介して送られてきた画像を基に、動きベクトルなどから被写体の動きを検出する。さらに、動き検出部１２０１は、検出した動き被写体における被写体距離を取得する。図１２の構成例の場合、動き検出部１２０１は、複数距離推定部７０２で領域ごとに推定された被写体距離から、動き被写体における被写体距離を取得する。ここで、被写体距離が所定の距離閾値以下である場合には、その近距離被写体に対する霧霞による認識への影響は少ないと考えられる。

また領域指定部１２０２は、画像の中の特定の領域を選択する。図１２の構成例の場合、領域指定部１２０２は、領域分割部７０１で分割されて複数距離推定部７０２を介して送られてきた画像を基に、特定の領域を選択することにより領域指定を行う。さらに領域指定部１２０２は、その特定の領域における被写体距離を取得する。図１２の構成例の場合、領域指定部１２０２は、複数距離推定部７０２で領域ごとに推定された被写体距離から、特定の領域における被写体距離を取得する。ここで、特定の領域の被写体距離が所定の距離閾値以下である場合には、動き被写体の場合と同様、その近距離被写体に対する霧霞による認識への影響は少ないと考える。

このため、図１２の構成例において、係数補正部１０７は、動き検出部１２０１による動き被写体の被写体距離が所定の距離閾値以下である場合には、コントラスト補正係数の値を低くするように補正する。
また係数補正部１０７は、領域指定部１２０２による特定の領域の被写体距離が所定の距離閾値以下である場合には、コントラスト補正係数の値を低くするように補正する。

監視カメラなどにより撮影された画像の場合、動いている被写体や、注目する特定の領域の被写体が、一番認識したい被写体であることが多い。このため、図１２の構成例のように、それら動き被写体や特定領域の被写体における被写体距離が近い場合に、余計な霧霞補正の影響を少なくすることで、画像の劣化が最小限に抑えられることになる。

なお、第２の実施形態で説明した動き被写体や特定の領域に関する各処理は、前述した第１の実施形態のように領域分割を行わない場合にも適用可能である。第１の実施形態のように領域分割されていない画像から、動き被写体の部分や特定の領域を取得し、それら動き被写体や特定領域の被写体の被写体距離が近い場合、余計な霧霞補正の影響を少なくすることで、画像の劣化を最小限に抑えられる。

以上説明したように、本発明の前述した各実施形態によれば、画像のコントラストの低下が霧霞によるものなのか、それ以外によるものなのかを判定することができ、画像に対して適切な霧霞補正を行うことが可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明に係る制御処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：撮像部、１０２：画像処理部、１０３：霧霞度算出部、１０４：係数算出部、１０５：補正強度判定部、１０６：距離推定部、１０７：係数補正部、１０８：補正部

Claims (8)

1. 被写体を撮像した画像を基に、画像のコントラストに影響を及ぼす現象による影響の度合いを表す影響度を取得する取得手段と、
   前記画像を複数の領域に分割する分割手段と、
   前記被写体を撮像した撮像装置から前記被写体までの距離を前記領域ごとに検出する距離検出手段と、
   前記分割された複数の領域の前記距離を基に、前記画像が、前記コントラストに影響を及ぼす現象により生ずるコントラストの低下が視認性に影響する画像かどうかを判定する影響判定手段と、
   前記影響度を基に、画像のコントラストを強調するコントラスト補正係数を取得する係数取得手段と、
   前記領域ごとの前記距離を基に、前記コントラスト補正係数を補正する係数補正手段と、
   前記画像のコントラストを、前記コントラスト補正係数を基に補正する補正手段と、
   を有し、
   前記影響判定手段は、前記距離が所定の距離閾値以下の領域が所定の領域数以上である場合、前記コントラストの低下が視認性に影響する画像でないと判定し、
   前記係数補正手段は、前記影響判定手段によって前記コントラストの低下が視認性に影響する画像でないと判定された場合、前記コントラスト補正係数の値が所定の値以上であれば、前記コントラスト補正係数の値を設定値だけ低くする補正を行うことを特徴とする画像処理装置。
2. 前記影響判定手段によって前記コントラストの低下が視認性に影響する画像であると判定された場合、前記係数補正手段は、前記コントラスト補正係数の補正を行わないことを特徴とする請求項１に記載の画像処理装置。
3. 前記影響判定手段は、前記画像の全ての領域からなる範囲に対する、前記距離が所定の距離閾値以下の各領域からなる範囲の割合が、所定の割合閾値以上である場合に、前記コントラストの低下が視認性に影響する画像でないと判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像の中の特定の領域を選択する選択手段を有し、
   前記コントラスト補正係数の値が所定の値以上である場合、前記係数補正手段は、前記特定の領域の前記距離が所定の距離閾値以下であれば前記コントラスト補正係数の値を設定値だけ低くすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像から動き被写体を検出する動き検出手段を有し、
   前記コントラスト補正係数の値が所定の値以上である場合、前記係数補正手段は、前記動き被写体の前記距離が所定の距離閾値以下であれば前記コントラスト補正係数の値を設定値だけ低くすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記コントラスト補正係数の値が所定の値以上でない場合、前記係数補正手段は、前記コントラスト補正係数の補正を行わないことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 画像処理装置が実行する画像処理方法であって、
   被写体を撮像した画像を基に、画像のコントラストに影響を及ぼす現象による影響の度合いを表す影響度を取得する取得工程と、
   前記画像を複数の領域に分割する分割工程と、
   前記被写体を撮像した撮像装置から前記被写体までの距離を前記領域ごとに検出する距離検出工程と、
   前記分割された複数の領域の前記距離を基に、前記画像が、前記コントラストに影響を及ぼす現象により生ずるコントラストの低下が視認性に影響する画像かどうかを判定する影響判定工程と、
   前記影響度を基に、画像のコントラストを強調するコントラスト補正係数を取得する係数取得工程と、
   前記領域ごとの前記距離を基に、前記コントラスト補正係数を補正する係数補正工程と、
   前記画像のコントラストを、前記コントラスト補正係数を基に補正する補正工程と、
   を有し、
   前記影響判定工程では、前記距離が所定の距離閾値以下の領域が所定の領域数以上である場合、前記コントラストの低下が視認性に影響する画像でないと判定し、
   前記係数補正工程では、前記影響判定工程によって前記コントラストの低下が視認性に影響する画像でないと判定された場合、前記コントラスト補正係数の値が所定の値以上であれば、前記コントラスト補正係数の値を設定値だけ低くする補正を行うことを特徴とする画像処理方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images