JP2024085780A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 ハローや黒沈みを抑制するための技術を提供すること。【解決手段】 入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を、該入力画像に基づいて複数生成する。生成したダークチャンネル画像に基づいて特徴量を求め、該特徴量に基づいて、生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成する。合成ダークチャンネル画像に基づいて環境光を算出する。入力画像と環境光とに基づいて大気の透過率分布を生成する。入力画像を用いて透過率分布を整形する。整形された整形済み透過率分布と、環境光と、に基づいて、入力画像のコントラストを補正した補正画像を生成する。【選択図】 図３

Description

本発明は、入力画像におけるコントラストを補正するための技術に関する。

監視カメラや車載カメラの分野において、カメラから被写体までの間に存在する霧などの影響により、撮影画像の視認性低下が問題となっている。これは光が大気を通過する際に微小粒子成分によって光散乱することで、撮影画像のコントラストの低下が発生するためである。この現象は被写体までの距離によって散乱度合いが変化するため、被写体までの距離が混在するシーンの画像は、画像領域ごとにコントラストの低下の度合いが異なる画像となる。このようなコントラストの低下を補正する手法として、特許文献１のような手法がある。特許文献１では、霧などの影響によって黒浮きが発生すると仮定し、領域におけるカラーチャンネル最小画素値（以下、ダークチャンネル）から、大気の透過率分布を算出し、大気モデルに基づき、霧の影響を除去する（以下、霧除去）。また、非特許文献１では、透過率分布を階層的に合成することで、補正不足によって被写体が白くなってしまう画質弊害（以下、ハロー）や過補正によって被写体が黒くなってしまう画質弊害（以下、黒沈み）を低減し、視認性の向上を行う。

米国特許第8340461号明細書

Qiyuan Liang, City University of Hong Kong、"PYRAMID FUSION DARK CHANNEL PRIOR FOR SINGLE IMAGE DEHAZING"、Computer Vision and Pattern Recognition, arXiv:2105.10192

しかしながら、特許文献１の手法では、ダークチャンネルによる霧量推定結果にて、実際より少ないと判定された領域ではハローが、実際より多いと判定された領域では黒沈みが、といった画質弊害が発生してしまっていた。一方、非特許文献１の手法では、画素ごとにハロー・黒沈みが発生しやすい領域が異なるのに対し、全ての画素で一定の比率で透過率マップの合成を行うため、ハロー・黒沈みの低減効果が低くなってしまっていた。本発明では、ハローや黒沈みを抑制するための技術を提供する。

本発明の一様態は、入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を、該入力画像に基づいて複数生成する第１生成手段と、前記第１生成手段が生成したダークチャンネル画像に基づいて特徴量を求め、該特徴量に基づいて、前記第１生成手段が生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成する合成手段と、前記合成ダークチャンネル画像に基づいて環境光を算出する算出手段と、前記入力画像と前記環境光とに基づいて大気の透過率分布を生成する第２生成手段と、前記入力画像を用いて前記透過率分布を整形する整形手段と、前記整形手段により整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第３生成手段とを備えることを特徴とする。

本発明によれば、ハローや黒沈みを抑制するための技術を提供することができる。

システムの構成例を示す図。 カメラ１００に適用可能なハードウェア構成例を示すブロック図。 画像処理部２０８の機能構成例を示すブロック図。 ＲＡＷ画像に基づいて、コントラストが補正された画像（霧除去処理が施された画像）を生成するためにカメラ１００が行う処理のフローチャート。 合成ダークチャンネル画像を生成するための処理の構成例を示すブロック図。 現像画像Ｉ’からダークチャンネル画像ｄａｒｋ_１を生成するための処理を示す図。 透過率分布の整形処理を説明するための図。 ｔｈの設定例を示す図。 推定部３０３の機能構成例を示すブロック図。 ステップＳ４０５における処理の詳細を示すフローチャート。 ラプラシアンフィルタを用いた距離境界推定画像の生成処理を説明するための図。 最大値フィルタによる距離境界推定画像の補正を説明するための図。 画像処理部２０８の機能構成例を示すブロック図。 ＲＡＷ画像に基づいて、コントラストが補正された画像（霧除去処理が施された画像）を生成するためにカメラ１００が行う処理のフローチャート。 合成ダークチャンネル画像を生成するための処理の構成例を示す図。 画像処理部２０８の機能構成例を示すブロック図。 ＲＡＷ画像に基づいて、コントラストが補正された画像（霧除去処理が施された画像）を生成するためにカメラ１００が行う処理のフローチャート。 黒沈みマップＢＣＭを生成するための処理の構成例を示すブロック図。 ステップＳ１７０５における処理の詳細を示すフローチャート。 現像画像Ｉ’、該現像画像Ｉ’に対応する黒沈みマップ算出用霧除去画像Ｊ”、の一例を示す図。 図２０に示した現像画像Ｉ’に対応する黒沈みマップＢＣＭの一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を、該入力画像に基づいて複数生成する。そして、該生成した複数のダークチャンネル画像のうち１つダークチャンネル画像の特徴量に基づいて、該複数のダークチャンネル画像のうち該１つのダークチャンネル画像を除く他のダークチャンネル画像を合成した合成ダークチャンネル画像を生成する。本実施形態では、ダークチャンネル画像の特徴量として、被写体距離が異なる被写体が隣接している境界（距離境界）を表す距離境界推定画像を生成する。そして、該合成ダークチャンネル画像に基づいて環境光を算出し、該入力画像と該環境光とに基づいて大気の透過率分布を生成し、該入力画像を用いて該透過率分布を整形する。そして、該整形された整形済み透過率分布と、該環境光と、に基づいて、該入力画像のコントラストを補正した補正画像を生成する。このような処理を行うことで、距離境界がある領域の周辺で発生していたダークチャンネルの霧量の誤推定を軽減するので、画質弊害を低減することができる。

先ず、本実施形態に係るシステムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係るシステムは、画像処理装置としてのカメラ１００と、コンピュータ装置１０２と、ディスプレイ１０３と、を有する。そして、カメラ１００とコンピュータ装置１０２との間、コンピュータ装置１０２とディスプレイ１０３との間、は、ＨＤＭＩ（登録商標）やＳＤＩ（シリアルデジタルインターフェース）ケーブルなどの映像伝送ケーブル１０１を介して互いに通信可能に接続されている。なお、カメラ１００とコンピュータ装置１０２との間、コンピュータ装置１０２とディスプレイ１０３との間、の接続方法については特定の接続方法に限らず、たとえば、有線や無線のＬＡＮで装置間を接続しても良い。

先ず、カメラ１００について説明する。カメラ１００は、コンピュータ装置１０２からの指示に応じて、もしくは自立的に自身のパン、チルト、ズームを制御可能な撮像装置の一例であり、動画像もしくは静止画像を撮像する。カメラ１００は、動画像を撮像する場合には、該動画像における各フレームの画像に対して後述の霧除去処理を行った画像を撮像画像として出力する。また、カメラ１００は、静止画像を撮像する場合には、定期的もしくは不定期的に撮像した静止画像に対して後述の霧除去処理を行った画像を撮像画像として出力する。カメラ１００から出力された撮像画像は、映像伝送ケーブル１０１を介してコンピュータ装置１０２に入力される。なお、カメラ１００から出力された撮像画像は、不図示の通信路を介してディスプレイ１０３に出力して該ディスプレイ１０３に該撮像画像を表示しても良い。

次に、ディスプレイ１０３について説明する。ディスプレイ１０３は、液晶画面やタッチパネル画面を有し、コンピュータ装置１０２やカメラ１００から出力された画像や文字を表示する。また、ディスプレイ１０３がタッチパネル画面を有している場合には、該タッチパネル画面に対するユーザからの操作入力は、不図示の通信路を介してコンピュータ装置１０２に通知される。

次に、コンピュータ装置１０２について説明する。コンピュータ装置１０２は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末装置、などのコンピュータ装置である。コンピュータ装置１０２は、カメラ１００に対して撮像指示を送信したり、カメラ１００のパラメータをセットしたり、また、カメラ１００から出力された撮像画像を保持したり他の装置に対して転送したりする。

つぎに、上記のカメラ１００に適用可能なハードウェア構成例について、図２のブロック図を用いて説明する。ＣＰＵ２０１は、ＲＡＭ２０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ２０１は、カメラ１００全体の動作制御を行うと共に、カメラ１００が行う処理として説明する各種の処理を実行もしくは制御する。

ＲＡＭ２０２は、ＲＯＭ２０３や記録媒体２０４からロードされたコンピュータプログラムやデータを格納するためのエリア、通信Ｉ／Ｆ２０５を介してコンピュータ装置１０２から受信したコンピュータプログラムやデータを格納するためのエリア、を有する。さらにＲＡＭ２０２は、画像入力部２０６が撮像センサ２１２から取得したＲＡＷ画像を格納するためのエリア、を有する。さらにＲＡＭ２０２は、ＣＰＵ２０１や画像処理部２０８が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０２は、各種のエリアを適宜提供することができる。

ＲＯＭ２０３には、カメラ１００の設定データ、カメラ１００の起動に係るコンピュータプログラムやデータ、カメラ１００の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

記録媒体２０４は、ＳＳＤ、ＳＤカード、ＵＳＢメモリなどのメモリ装置であり、カメラ１００による処理結果や通信Ｉ／Ｆ２０５を介してコンピュータ装置１０２から受信したコンピュータプログラムやデータを格納することができる。記録媒体２０４に格納されているコンピュータプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０２にロードされ、ＣＰＵ２０１による処理対象となる。

通信Ｉ／Ｆ２０５は、ＨＤＭＩ（登録商標）やＳＤＩといったインターフェースであり、映像伝送ケーブル１０１を介してコンピュータ装置１０２やディスプレイ１０３との間のデータ通信を行うためのインターフェースである。

外界からの光はレンズ２１１を介して撮像センサ２１２に入光する。撮像センサ２１２は該入光した光を光電変換してＲＡＷ画像を生成し、該生成したＲＡＷ画像を出力する。画像入力部２０６は、撮像センサ２１２から出力されたＲＡＷ画像を取得する。撮像制御部２０７は、ＣＰＵ２０１による制御の元、レンズ２１１の駆動制御や撮像センサ２１２の動作制御を行う。

画像処理部２０８は、ＣＰＵ２０１による制御の元、画像入力部２０６が取得したＲＡＷ画像に基づいて、コントラストが補正された画像（霧除去処理が施された画像）を生成するための各種の処理を行うハードウェア回路である。

操作部２１０は、ボタン、スイッチ、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ２０１に対して入力することができる。

画像出力部２１３は、画像処理部２０８によって生成された「霧除去処理が施された画像」を通信Ｉ／Ｆ２０５を介してコンピュータ装置１０２やディスプレイ１０３に対して出力する。

ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、記録媒体２０４、通信Ｉ／Ｆ２０５、画像入力部２０６、撮像制御部２０７、画像処理部２０８、操作部２１０、画像出力部２１３、はいずれもシステムバス２１４に接続されている。

つぎに、画像処理部２０８の機能構成例を図３のブロック図に示す。以下では図３に示した機能部はいずれもハードウェアで実装されているものとして説明する。しかし、図３に示した機能部のうち１以上の機能部をソフトウェア（コンピュータプログラム）で実装しても良く、その場合、該１以上の機能部に対応するコンピュータプログラムをＣＰＵ２０１が実行することで、該１以上の機能部の機能が実現される。

画像入力部２０６が撮像センサ２１２から取得したＲＡＷ画像に基づいて、コントラストが補正された画像（霧除去処理が施された画像）を生成するためにカメラ１００が行う処理について、図４のフローチャートに従って説明する。

ステップＳ４０１では、ＣＰＵ２０１は、ＲＯＭ２０３や記録媒体２０４に格納されている「以降の処理において用いる各種のパラメータ」をＲＡＭ２０２にロードして設定する。

撮像制御部２０７により駆動制御されたレンズ２１１を介して入光した光を受光した撮像センサ２１２は、撮像制御部２０７による制御の元、該受光した光に基づくＲＡＷ画像を生成し、該生成したＲＡＷ画像を出力する。然るにステップＳ４０２では、画像入力部２０６は、撮像センサ２１２から出力されたＲＡＷ画像Ｉを取得し、該取得したＲＡＷ画像Ｉを画像処理部２０８に入力する。ここで、Ｉ（ｘ，ｙ，ｃ）は、ＲＡＷ画像Ｉにおける画素位置（ｘ、ｙ）の画素の、カラーチャンネルｃの画素値を表す。ここで、ｃ＝Ｒ、Ｇ、Ｂとする。ＲＡＷ画像Ｉでは、各画素にＲ，Ｇ，Ｂのいずれかの色がベイヤ配置となっている。

ステップＳ４０３では、処理部３０１は、ＲＡＷ画像Ｉに対して現像処理を行うことで現像画像（入力画像）Ｉ’を生成する。ここで、Ｉ’（ｘ，ｙ，ｃ）は、現像画像Ｉ’における画素位置（ｘ、ｙ）の画素の、カラーチャンネルｃの画素値を表す。処理部３０１は、このようなＲＡＷ画像Ｉに対してホワイトバランス、ディベイヤ、ノイズリダクション、シャープネス、色変換などの画像処理を行う。

そして、ステップＳ４０４～Ｓ４０６の処理によって合成ダークチャンネル画像を生成する。合成ダークチャンネル画像を生成するための処理の構成例を図５のブロック図に示す。

ステップＳ４０４では、算出部３０２は、現像画像Ｉ’から４枚のダークチャンネル画像（ｄａｒｋ_１、ｄａｒｋ_２、ｄａｒｋ_３、ｄａｒｋ_４）を生成する。ここでは、ダークチャンネル画像の探索範囲のサイズをｄａｒｋ_１＜ｄａｒｋ_２＜ｄａｒｋ_４＜ｄａｒｋ_３とする。本実施形態では、ｄａｒｋ_１、ｄａｒｋ_２、ｄａｒｋ_３、ｄａｒｋ_４のそれぞれのダークチャンネル画像の探索範囲のサイズを３×３，７×７、２５×２５、１３×１３とする。ここで、ｄａｒｋ_１（ｘ，ｙ）は、ダークチャンネル画像ｄａｒｋ_１における画素位置（ｘ、ｙ）の画素の画素値を表す。また、ｄａｒｋ_２（ｘ，ｙ）は、ダークチャンネル画像ｄａｒｋ_２における画素位置（ｘ、ｙ）の画素の画素値を表す。また、ｄａｒｋ_３（ｘ，ｙ）は、ダークチャンネル画像ｄａｒｋ_３における画素位置（ｘ、ｙ）の画素の画素値を表す。また、ｄａｒｋ_４（ｘ，ｙ）は、ダークチャンネル画像ｄａｒｋ_４における画素位置（ｘ、ｙ）の画素の画素値を表す。

ここで、現像画像Ｉ’からダークチャンネル画像ｄａｒｋ_１を生成するための処理について、図６を用いて説明する。算出部３０２は、現像画像Ｉ’からダークチャンネル画像ｄａｒｋ_１を生成するためには、現像画像Ｉ’における着目画素を中心とする３画素×３画素の画像領域を探索範囲として設定する。図６（ａ）は、探索範囲に含まれるそれぞれの画素のＲ（赤）の画素値を示しており、図６（ｂ）は、探索範囲に含まれるそれぞれの画素のＧ（緑）の画素値を示しており、図６（ｃ）は、探索範囲に含まれるそれぞれの画素のＢ（青）の画素値を示している。算出部３０２は、探索範囲に含まれるそれぞれの画素のＲの画素値、Ｇの画素値、Ｂの画素値のうち最小の画素値を特定し、該特定した画素値を、ダークチャンネル画像ｄａｒｋ_１において該注目画素に対応する画素の画素値に設定する。図６の場合、探索範囲に含まれるそれぞれの画素のＲの画素値、Ｇの画素値、Ｂの画素値のうち最小の画素値は「１１５」であるから、算出部３０２は、図６（ｄ）に示す如く、画素値「１１５」を、ダークチャンネル画像ｄａｒｋ_１において該注目画素に対応する画素の画素値に設定する。現像画像Ｉ’における各画素を着目画素として上記の処理を行うことで、ダークチャンネル画像ｄａｒｋ_１における各画素の画素値を確定することができる。また、探索範囲のサイズを７×７として上記の処理を行うことで、ダークチャンネル画像ｄａｒｋ_２を生成することができる。同様に、探索範囲のサイズを２５×２５として上記の処理を行うことで、ダークチャンネル画像ｄａｒｋ_３を生成することができる。同様に、探索範囲のサイズを１３×１３として上記の処理を行うことで、ダークチャンネル画像ｄａｒｋ_４を生成することができる。現像画像Ｉ’からダークチャンネル画像ｄａｒｋを生成するための（式１）を以下に示す。

…（式１）
ここで、Ω（ｈ，ｖ）は探索範囲（ダークチャンネル画像を算出するための矩形の局所領域）である。また、この（式１）では、現像画像Ｉ’（ｘ、ｙ、ｃ）をＩ^Ｃ（ｘ，ｙ）と表記している。

ステップＳ４０５では、推定部３０３は、ダークチャンネル画像ｄａｒｋ_４における距離境界（被写体距離が異なる被写体が隣接している境界）の推定結果である距離境界推定画像ＤＢを生成する。ここで、ＤＢ（ｘ，ｙ）は、距離境界推定画像ＤＢにおける画素位置（ｘ、ｙ）の画素の画素値を表す。距離境界推定画像ＤＢの生成方法については後述する。

ステップＳ４０６では、合成部３０４は、ダークチャンネル画像ｄａｒｋ_１、ｄａｒｋ_２、ｄａｒｋ_３を距離境界推定画像ＤＢを用いて合成した合成ダークチャンネル画像ｄａｒｋ_{ｍｕｌｔｉ}を生成する。本実施形態では、以下の（式２）に示す如く、距離境界推定画像ＤＢに基づくダークチャンネル画像の加重平均を計算して合成ダークチャンネル画像ｄａｒｋ_{ｍｕｌｔｉ}を生成する。

…（式２）
ここで、ｄａｒｋ_{ｍｕｌｔｉ}（ｘ、ｙ）は、合成ダークチャンネル画像ｄａｒｋ_{ｍｕｌｔｉ}における画素位置（ｘ、ｙ）の画素の画素値を表す。また、ｔｈは、ダークチャンネル画像合成比率を制御する閾値であり、ｔｈは０～１の実数である。ｔｈが高いほど探索範囲のサイズが小さいｄａｒｋ_１を優先するように合成するため、ハローを低減することができる。本実施形態では、ハローと黒潰れのどちらを重視するかに応じて、図８に示すようにｔｈを設定している。なお、ｔｈは、ステップＳ４０１にて設定されるパラメータに含まれていても良いし、ユーザが操作部２１０を操作して設定しても良い。

ステップＳ４０７では、算出部３０５は、合成ダークチャンネル画像ｄａｒｋ_{ｍｕｌｔｉ}を用いてカラーチャンネルｃの環境光Ａ（ｃ）を算出（推定）する。環境光とは、太陽や空などからの光が霧によって散乱された光の成分である。ここで、Ａ（ｃ）は、カラーチャンネルｃに対応する光の成分である。画像から環境光を算出する方法は周知であり、例えば、特許文献１に記載の方法を用いて環境光を算出することが可能である。具体的には、ダークチャンネル画像のうち画素値の大きさが上位０．１％となる領域を抽出し、その領域に対して、ステップＳ４０３にて現像した現像画像Ｉ’の平均ＲＧＢから環境光Ａ（ｃ）を得る。

ステップＳ４０８では、算出部３０６は、現像画像Ｉ’と環境光Ａ（ｃ）とを用いて、以下の（式３）に従って大気の透過率分布ｔを算出する。ここで、ｔ（ｘ，ｙ）は、現像画像Ｉ’における画素位置（ｘ、ｙ）に対応する大気の透過率を表す。

…（式３）
ここで、Ｄ（・）は合成ダークチャンネル画像を算出するための関数で、ステップＳ４０６における合成ダークチャンネル画像の生成を行う関数である。また、ωは０～１の範囲内で設定される実数のパラメータ（遠方にある被写体の透過率が大きくなりすぎるのを制御するためのパラメータ）であり、ステップＳ４０１にて設定される。ωは値が低いほど、遠方の被写体の透過率が大きくなることを強く制御し、補正量が低下する。本実施形態ではω＝０．９５とする。

ステップＳ４０９では、処理部３０７は、透過率分布ｔに対して、現像画像Ｉ’を用いて整形処理を行って、整形済み透過率分布ｔ’を生成する。ここで、ｔ’（ｘ，ｙ）は、現像画像Ｉ’における画素位置（ｘ、ｙ）に対応する大気の透過率を表す。ここで、透過率分布の整形処理について、図７を用いて説明する。透過率分布ｔでは、矩形の領域ごとに算出するため領域のブロック形状が残ってしまう。そこで、整形処理では、現像画像Ｉ’をガイド画像として、透過率分布ｔのブロック形状を軽減した整形済み透過率分布ｔ’を生成する。この整形処理では、ガイデットフィルタを用いて、ブロック形状の軽減を行うが、クロスバイラテラルフィルタなどを用いても構わず、整形処理は特定の手法に限らない。

ステップＳ４１０では、生成部３０８は、現像画像Ｉ’に対して、環境光Ａ（ｃ）と整形済み透過率分布ｔ’とを用いて、以下の（式４）に従った処理（大気モデルを用いた計算処理）を行うことで霧除去処理を行い、霧除去画像Ｊを生成する。

…（式４）
ここで、Ｊ（ｘ，ｙ，ｃ）は、霧除去画像Ｊにおける画素位置（ｘ、ｙ）の画素の、カラーチャンネルｃの画素値を表す。また、t_minはゼロ割を防ぐための規定の係数であり、本実施形態ではt_min＝０．１とする。

ステップＳ４１１では、処理部３０９は、ステップＳ４１０で生成された霧除去画像Ｊに対してガンマ補正を行って、出力画像Ｊ’を生成する。ステップＳ４１２では、画像出力部２１３は、ステップＳ４１１で生成された出力画像Ｊ’を、通信Ｉ／Ｆ２０５を介してコンピュータ装置１０２に対して出力する。

ステップＳ４１３では、ＣＰＵ２０１は、処理の終了条件が満たされたか否かを判断する。処理の終了条件には様々な条件が適用可能である。たとえば、「カメラ１００の電源がオフになったことを検知した」、「画像入力部２０６がＲＡＷ画像を取得していない期間の長さが一定期間長以上となった」、「ユーザが操作部２１０を操作して処理の終了指示を入力したことを検知した」、などがある。

このような判断の結果、処理の終了条件が満たされた場合には、図４のフローチャートに従った処理は終了し、処理の終了条件が満たされていない場合には、処理はステップＳ４０１に進む。

次に、上記のステップＳ４０５における処理の詳細について、図１０のフローチャートに従って説明する。また、推定部３０３の機能構成例を図９のブロック図に示す。

ステップＳ１００１では、算出部９０１は、ダークチャンネル画像ｄａｒｋ_４に対してエッジ検出を行うことで得られる画像を距離境界推定画像として生成する。本実施形態では、エッジ検出にラプラシアンフィルタを用いる。ここで、図１１を用いてラプラシアンフィルタを用いた距離境界推定画像の生成処理について説明する。図１１では、一例としてダークチャンネル画像に対してラプラシアンフィルタを適用し、算出した距離境界推定結果（距離境界推定画像）を示す。なお、距離境界推定画像の生成処理のための手法は上記の手法に限定されず、例えば、ソーベルフィルタなどを用いた手法であっても構わない。

ステップＳ１００２では、補正部９０２は、ステップＳ１００１で生成された距離境界推定画像を補正する。本実施形態では、補正部９０２は、最大値フィルタを用いて距離境界推定画像の補正を行う。ここで、図１２を用いて最大値フィルタによる距離境界推定画像の補正について説明する。図１２では、一例として距離境界推定画像に対して７×７の最大値フィルタを適用し、算出した補正後距離境界推定画像を示す。なお、距離境界推定画像の補正処理のための手法は上記の手法に限定されず、例えば、ガウシアンフィルタなどを用いた手法であっても構わない。

このように、本実施形態によれば、ダークチャンネル画像のエッジから算出した距離境界推定画像を加重平均の重みとして用いてダークチャンネル画像を合成するので、霧霞除去画像で発生するハローと黒沈みを低減することができる。特に、建造物と大気のように距離が大きく異なる被写体間において霧量の誤推定が発生しにくくなるので、ハローを低減することができる。

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。第１の実施形態では、現像画像Ｉ’から探索範囲のサイズを変えて複数のダークチャンネル画像を生成した。これに対し、本実施形態では、現像画像からそれぞれ解像度が異なる複数の縮小画像を生成し、該複数の縮小画像のダークチャンネル画像を生成する。このような処理によって、第１の実施形態と比較して、より高速に処理を行うことができる。

本実施形態に係る画像処理部２０８の機能構成例を図１３のブロック図に示す。ＲＡＷ画像に基づいて、コントラストが補正された画像（霧除去処理が施された画像）を生成するためにカメラ１００が行う処理について、図１４のフローチャートに従って説明する。なお、図１４において図４に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ１４０４～Ｓ１４０８の処理によって合成ダークチャンネル画像を生成する。合成ダークチャンネル画像を生成するための処理の構成例を図１５のブロック図に示す。

ステップＳ１４０４では、縮小部１３０２は、現像画像Ｉ’の縦横サイズを１／２に縮小した縮小画像Ｉ２、現像画像Ｉ’の縦横サイズを１／４に縮小した縮小画像Ｉ４、現像画像Ｉ’の縦横サイズを１／８に縮小した縮小画像Ｉ８、を生成する。つまりステップＳ１４０４では、縮小部１３０２は、現像画像Ｉ’から、それぞれ解像度が異なる複数の縮小画像を生成する。本実施形態では、現像画像Ｉ’の縮小画像は、ニアレストネイバー法を用いて生成するが、縮小画像の生成方法は特定の生成方法に限らず、例えば、バイリニア法などを用いても良い。

ステップＳ１４０５では、生成部１３０３は、現像画像Ｉ’、ステップＳ１４０４で生成した縮小画像Ｉ２，Ｉ４，Ｉ８、の合計４枚の画像のそれぞれについて、図６を用いて説明した方法を用いてダークチャンネル画像を生成する。その際、探索範囲のサイズはいずれの画像についても同じ（たとえば３画素ｘ３画素）であるものとする。

このような処理により、現像画像Ｉ’に対応するダークチャンネル画像ｄａｒｋ_１、縮小画像Ｉ２に対応するダークチャンネル画像ｄａｒｋ’_２（縦横サイズはｄａｒｋ_１の縦横サイズの１／２）、縮小画像Ｉ８に対応するダークチャンネル画像ｄａｒｋ’_３（縦横サイズはｄａｒｋ_１の縦横サイズの１／８）、縮小画像Ｉ４に対応するダークチャンネル画像ｄａｒｋ’_４（縦横サイズはｄａｒｋ_１の縦横サイズの１／４）、が生成される。

ステップＳ１４０６では、推定部１３０４は、ステップＳ１４０５で生成したダークチャンネル画像のうちダークチャンネル画像ｄａｒｋ’_４から第１の実施形態と同様にして距離境界推定画像ＤＢ’を生成する。

ステップＳ１４０７では、拡大部１３０５は、ステップＳ１４０５で生成したダークチャンネル画像ｄａｒｋ’_２、ｄａｒｋ’_３と、ステップＳ１４０６で生成した距離境界推定画像ＤＢ’と、を現像画像Ｉ’のサイズに拡大する。ダークチャンネル画像ｄａｒｋ’_２を現像画像Ｉ’のサイズに拡大したダークチャンネル画像はｄａｒｋ_２となる。また、ダークチャンネル画像ｄａｒｋ’_３を現像画像Ｉ’のサイズに拡大したダークチャンネル画像はｄａｒｋ_３となる。また、距離境界推定画像ＤＢ’を現像画像Ｉ’のサイズに拡大した距離境界推定画像はＤＢとなる。本実施形態では、画像の拡大にはニアレストネイバー法を用いるが、これに限らず、バイリニア法などを用いても良い。

ステップＳ１４０８では、合成部１３０６は、ダークチャンネル画像ｄａｒｋ_１、ｄａｒｋ_２、ｄａｒｋ_３を距離境界推定画像ＤＢを用いて合成した合成ダークチャンネル画像ｄａｒｋ_{ｍｕｌｔｉ}を、第１の実施形態と同様にして生成する。

このように、本実施形態によれば、現像画像を縮小した縮小画像からダークチャンネル画像を生成するので、探索範囲を減らすことができる。これにより、探索範囲を変えながらダークチャンネル画像を生成する第１の実施形態と比較して、ダークチャンネル画像の生成時の探索画素数と探索範囲を低減することができる。例えば、現像画像を縦に１／Ａ倍に、横に１／Ｂ倍した場合、縮小せずに算出したダークチャンネル画像と同等のダークチャンネル画像を生成する場合、探索画素数をそれぞれ１／Ａ、１／Ｂに、探索範囲をそれぞれ１／Ａ、１／Ｂで算出することになる。その結果、（Ａ^２×Ｂ^２）倍高速にダークチャンネル画像を生成することが可能となる。

［第３の実施形態］
第１の実施形態および第２の実施形態では、ダークチャンネル画像の特徴量として距離境界推定画像を生成し、該距離境界推定画像に基づいてダークチャンネル画像を合成していた。これに対し、本実施形態では、霧除去画像に黒沈みが発生しているかを判定するための（霧除去によって黒沈みが発生しやすいかを推定する）黒沈みマップを生成し、該黒沈みマップに基づいて合成ダークチャンネル画像を生成する。この処理によって、霧除去画像で黒沈みが発生している領域に対して大きい探索範囲を適用することができる。その結果、ダークチャンネル画像の霧量の誤推定を軽減することができ、画質弊害を低減する。

本実施形態に係る画像処理部２０８の機能構成例を図１６のブロック図に示す。ＲＡＷ画像に基づいて、コントラストが補正された画像（霧除去処理が施された画像）を生成するためにカメラ１００が行う処理について、図１７のフローチャートに従って説明する。なお、図１７において図４に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ１７０４では、算出部１６０２は、現像画像Ｉ’から第１の実施形態と同様にしてダークチャンネル画像ｄａｒｋ_１、ｄａｒｋ_２、ｄａｒｋ_３を生成する。

ステップＳ１７０５では、算出部１６０３は、現像画像Ｉ’について黒沈みマップＢＣＭを生成する。ここで、ＢＣＭ（ｘ，ｙ）は、黒沈みマップＢＣＭ中の位置（ｘ、ｙ）に対応するマップ値を表す。ステップＳ１７０５における処理の詳細については後述する。

ステップＳ１７０６では、合成部１６０４は、ステップＳ１７０４で生成したダークチャンネル画像ｄａｒｋ_１、ｄａｒｋ_２、ｄａｒｋ_３を、黒沈みマップＢＣＭを用いて合成した合成ダークチャンネル画像ｄａｒｋ_{ｍｕｌｔｉ}を生成する。本実施形態では、以下の（式５）に示す如く、ダークチャンネル画像ｄａｒｋ_１、ｄａｒｋ_２、ｄａｒｋ_３の黒沈みマップＢＣＭに基づく加重平均を計算して合成ダークチャンネル画像ｄａｒｋ_{ｍｕｌｔｉ}を生成する。

…（式５）
次に、上記のステップＳ１７０５における処理の詳細について、図１９のフローチャートに従って説明する。黒沈みマップＢＣＭを生成するための処理の構成例を図１８のブロック図に示す。

ステップＳ１９０１では、算出部１８０１は算出部３０２と同様の処理により、現像画像Ｉ’から、探索範囲のサイズ＝１×１に対応するダークチャンネル画像を、黒沈みマップ算出用ダークチャンネル画像として生成する。

ステップＳ１９０２では、算出部１８０２は算出部３０５と同様の処理により、黒沈みマップ算出用ダークチャンネル画像を用いて環境光（黒沈みマップ算出用環境光）を算出する。

ステップＳ１９０３では、算出部１８０３は算出部３０６と同様の処理により、現像画像Ｉ’と黒沈みマップ算出用環境光とを用いて大気の透過率分布（黒沈みマップ算出用透過率分布）を算出する。黒沈みマップ算出用ダークチャンネル画像から透過率分布を算出するため、ブロック形状は発生しないので、黒沈みマップ算出用透過率分布の整形は行わない。

ステップＳ１９０４では、算出部１８０４は生成部３０８と同様にして、現像画像Ｉ’に対して、黒沈みマップ算出用環境光と黒沈みマップ算出用透過率分布とを用いて霧除去処理を行い、黒沈みマップ算出用霧除去画像Ｊ”を生成する。ここで、図２０に、現像画像Ｉ’、該現像画像Ｉ’に対応する黒沈みマップ算出用霧除去画像Ｊ”、の一例を示す。

ステップＳ１９０５では、算出部１８０５は、現像画像Ｉ’と、ステップＳ１９０４で生成した黒沈みマップ算出用霧除去画像Ｊ”と、を用いて、以下の（式６）に従った計算を行うことで、黒沈みマップＢＣＭを生成する。

…（式６）
ここで、Ｙ｛Ｉｍ（ｘ，ｙ，ｃ）｝は、画像Ｉｍにおける画素位置（ｘ、ｙ）の画素のチャンネルｃの輝度値を求めるための関数である。図２０に示した現像画像Ｉ’に対応する黒沈みマップＢＣＭの一例を図２１に示す。図２１の黒沈みマップＢＣＭでは、白い領域ほど黒沈みが発生しやすい領域となっている。

このように、本実施形態では、現像画像と霧除去画像の差分から算出した黒沈みマップを加重平均の重みとして用いてダークチャンネル画像を合成する。これにより、霧霞除去画像で発生するハローと黒沈みを低減することができる。特に、白い看板や白い建物の壁のように、霧と似た輝度で広範囲に存在する被写体において霧量の誤推定が発生しにくくなるので、黒沈みを低減することができる。

［第４の実施形態］
上記の各実施形態では、カメラ１００とコンピュータ装置１０２とを別個の装置としていたが、カメラ１００とコンピュータ装置１０２とを一体化させて、カメラ１００の機能とコンピュータ装置１０２の機能とを有する１台の画像処理装置を構成しても良い。また、１台の装置を複数台の装置で実装し、該複数台の装置による分散処理でもって、該１台の装置が行う処理として説明した処理を実行するようにしても良い。

また、上記の各実施形態では、出力画像Ｊ’の出力先はディスプレイ１０３としたが、出力画像Ｊ’の出力先はディスプレイ１０３に限らない。例えば、出力画像Ｊ’はＬＡＮやインターネットなどのネットワーク回線を介して外部装置に対して送信しても良いし、コンピュータ装置１０２や他の装置におけるメモリに格納しても良い。

また、上記の各実施形態では、画像処理部２０８は、撮像センサ２１２から出力されたＲＡＷ画像に対して現像処理を行うことで得られる現像画像を、霧除去処理の対象（入力画像）として取得していたが、入力画像の取得方法は特定の取得方法に限らない。例えば、画像処理部２０８は、記録媒体２０４に格納されている画像や、通信Ｉ／Ｆ２０５を介してコンピュータ装置１０２などから受信した画像を入力画像として取得しても良い。

また、上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の取得方法／送信先／送信元／格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の発明は、以下の画像処理装置、画像処理方法、コンピュータプログラムを含む。

（項目１）
入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を、該入力画像に基づいて複数生成する第１生成手段と、
前記第１生成手段が生成したダークチャンネル画像に基づいて特徴量を求め、該特徴量に基づいて、前記第１生成手段が生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成する合成手段と、
前記合成ダークチャンネル画像に基づいて環境光を算出する算出手段と、
前記入力画像と前記環境光とに基づいて大気の透過率分布を生成する第２生成手段と、
前記入力画像を用いて前記透過率分布を整形する整形手段と、
前記整形手段により整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第３生成手段と
を備えることを特徴とする画像処理装置。

（項目２）
前記第１生成手段は、それぞれサイズが異なる局所領域に対応するダークチャンネル画像を生成することを特徴とする項目１に記載の画像処理装置。

（項目３）
前記第１生成手段は、前記入力画像から、それぞれ解像度が異なる複数の縮小画像を生成し、該縮小画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を生成することを特徴とする項目１に記載の画像処理装置。

（項目４）
前記合成手段は、前記第１生成手段が生成した複数のダークチャンネル画像のうち１つのダークチャンネル画像において被写体距離が異なる被写体が隣接している境界の推定結果に基づいて、該１つのダークチャンネル画像を除く他のダークチャンネル画像に基づく合成ダークチャンネル画像を生成することを特徴とする項目１ないし３のいずれか１項目に記載の画像処理装置。

（項目５）
前記合成手段は、前記１つのダークチャンネル画像に対してエッジ検出を行うことで得られる画像を前記推定結果として取得することを特徴とする項目４に記載の画像処理装置。

（項目６）
前記合成手段は、前記入力画像のダークチャンネル画像に基づいて環境光を算出し、前記入力画像と該環境光とに基づいて大気の透過率分布を生成し、該透過率分布と該環境光とに基づいて、前記入力画像のコントラストを補正した画像を生成し、該画像と前記入力画像とに基づいてマップを生成し、該マップに基づいて、前記第１生成手段が生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成することを特徴とする項目１ないし３のいずれか１項目に記載の画像処理装置。

（項目７）
前記第３生成手段は、前記補正画像に対してガンマ補正を行うことを特徴とする項目１ないし６のいずれか１項目に記載の画像処理装置。

（項目８）
さらに、
撮像手段と、
前記撮像手段による撮像で得られるＲＡＷ画像に対して現像処理を行って前記入力画像を生成する現像手段と
を備えることを特徴とする項目１ないし７のいずれか１項目に記載の画像処理装置。

（項目９）
画像処理装置が行う画像処理方法であって、
前記画像処理装置の第１生成手段が、入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を、該入力画像に基づいて複数生成する第１生成工程と、
前記画像処理装置の合成手段が、前記第１生成工程で生成したダークチャンネル画像に基づいて特徴量を求め、該特徴量に基づいて、前記第１生成工程で生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成する合成工程と、
前記画像処理装置の算出手段が、前記合成ダークチャンネル画像に基づいて環境光を算出する算出工程と、
前記画像処理装置の第２生成手段が、前記入力画像と前記環境光とに基づいて大気の透過率分布を生成する第２生成工程と、
前記画像処理装置の整形手段が、前記入力画像を用いて前記透過率分布を整形する整形工程と、
前記画像処理装置の第３生成手段が、前記整形工程で整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第３生成工程と
を備えることを特徴とする画像処理方法。

（項目１０）
コンピュータを、項目１ないし７のいずれか１項目に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

３０１：処理部 ３０２：算出部 ３０３：推定部 ３０４：合成部 ３０５：算出部 ３０６：算出部 ３０７：処理部 ３０８：生成部 ３０９：処理部

Claims (10)

1. 入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を、該入力画像に基づいて複数生成する第１生成手段と、
   前記第１生成手段が生成したダークチャンネル画像に基づいて特徴量を求め、該特徴量に基づいて、前記第１生成手段が生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成する合成手段と、
   前記合成ダークチャンネル画像に基づいて環境光を算出する算出手段と、
   前記入力画像と前記環境光とに基づいて大気の透過率分布を生成する第２生成手段と、
   前記入力画像を用いて前記透過率分布を整形する整形手段と、
   前記整形手段により整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第３生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１生成手段は、それぞれサイズが異なる局所領域に対応するダークチャンネル画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１生成手段は、前記入力画像から、それぞれ解像度が異なる複数の縮小画像を生成し、該縮小画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記合成手段は、前記第１生成手段が生成した複数のダークチャンネル画像のうち１つのダークチャンネル画像において被写体距離が異なる被写体が隣接している境界の推定結果に基づいて、該１つのダークチャンネル画像を除く他のダークチャンネル画像に基づく合成ダークチャンネル画像を生成することを特徴とする請求項１に記載の画像処理装置。
5. 前記合成手段は、前記１つのダークチャンネル画像に対してエッジ検出を行うことで得られる画像を前記推定結果として取得することを特徴とする請求項４に記載の画像処理装置。
6. 前記合成手段は、前記入力画像のダークチャンネル画像に基づいて環境光を算出し、前記入力画像と該環境光とに基づいて大気の透過率分布を生成し、該透過率分布と該環境光とに基づいて、前記入力画像のコントラストを補正した画像を生成し、該画像と前記入力画像とに基づいてマップを生成し、該マップに基づいて、前記第１生成手段が生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成することを特徴とする請求項１に記載の画像処理装置。
7. 前記第３生成手段は、前記補正画像に対してガンマ補正を行うことを特徴とする請求項１に記載の画像処理装置。
8. さらに、
   撮像手段と、
   前記撮像手段による撮像で得られるＲＡＷ画像に対して現像処理を行って前記入力画像を生成する現像手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
9. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の第１生成手段が、入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を、該入力画像に基づいて複数生成する第１生成工程と、
   前記画像処理装置の合成手段が、前記第１生成工程で生成したダークチャンネル画像に基づいて特徴量を求め、該特徴量に基づいて、前記第１生成工程で生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成する合成工程と、
   前記画像処理装置の算出手段が、前記合成ダークチャンネル画像に基づいて環境光を算出する算出工程と、
   前記画像処理装置の第２生成手段が、前記入力画像と前記環境光とに基づいて大気の透過率分布を生成する第２生成工程と、
   前記画像処理装置の整形手段が、前記入力画像を用いて前記透過率分布を整形する整形工程と、
   前記画像処理装置の第３生成手段が、前記整形工程で整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第３生成工程と
   を備えることを特徴とする画像処理方法。
10. コンピュータを、請求項１ないし７のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images