JP2024076886A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 ハローを低減するための技術を提供すること。【解決手段】 入力画像に基づいて環境光を算出する。入力画像と環境光とに基づき、該入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を生成し、該ダークチャンネル画像に基づいて大気の透過率分布を生成する。透過率分布を整形する処理を複数回行う。整形された整形済み透過率分布と、環境光と、に基づいて、入力画像のコントラストを補正した補正画像を生成する。【選択図】 図３

Description

本発明は、入力画像におけるコントラストを補正するための技術に関する。

監視カメラや車載カメラの分野において、カメラから被写体までの間に存在する霧などの影響により、撮像画像の視認性低下が問題となっている。これは、光が大気を通過する際に微小粒子成分によって光散乱することで、撮像画像のコントラストの低下が発生するためである。この現象は被写体までの距離によって散乱度合いが変化するため、被写体までの距離が混在するシーンの場合には、画像の局所領域ごとにコントラストの低下度合いの異なる画像となる。このようなコントラスト低下を補正する手法として、非特許文献１のような手法がある。非特許文献１では、霧などの影響によって黒浮きが発生すると仮定し、領域におけるカラーチャンネル最小画素値（以下、ダークチャンネル）から、大気の透過率分布を推定し、大気モデルに基づき、霧の影響を除去する（以下、霧除去）。また、非特許文献２では、透過率分布を階層的に合成することで、補正不足によって被写体の周辺が白くなる画質弊害（以下、ハロー）を低減し、視認性の向上を行う。

He et al. , Single Image Haze Removal Using Dark Channel Prior, IEEE Transactions on Pattern Analysis and Machine Intelligence, Sep. 9, 2010, pp. 2341-2353, vol. 33, Issue: 12, IEEE. Qiyuan Liang, City University of Hong Kong、"PYRAMID FUSION DARK CHANNEL PRIOR FOR SINGLE IMAGE DEHAZING"、Computer Vision and Pattern Recognition, arXiv:2105.10192

しかしながら、非特許文献１の手法では、ダークチャンネルによる透過率分布の推定結果が実際より低いと判定された領域ではハローが発生する。また、非特許文献２の手法では、画素ごとにハローが発生しやすい領域が異なるのに対し、全ての画素で一定の比率で透過率分布の合成を行うため、ハローの低減効果が低くなる。本発明では、ハローを低減するための技術を提供する。

本発明の一様態は、入力画像に基づいて環境光を算出する算出手段と、前記入力画像と前記環境光とに基づき、該入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を生成し、該ダークチャンネル画像に基づいて大気の透過率分布を生成する第１生成手段と、前記透過率分布を整形する処理を複数回行う整形手段と、前記整形手段により整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第２生成手段とを備えることを特徴とする。

本発明によれば、ハローを低減することができる。

システムの構成例を示す図。 画像処理装置１００のハードウェア構成例を示すブロック図。 画像処理部２０７の機能構成例を示すブロック図。 画像処理装置１００が行う処理のフローチャート。 算出部３０３の機能構成例を示すブロック図。 算出部３０３が行う処理のフローチャート。 エッジ強度と距離境界との関係を示す図。 画像処理部２０７の機能構成例を示すブロック図。 画像処理装置１００が行う処理のフローチャート。 距離境界とフィルタ適用回数との関係を示す図。 画像処理部２０７の機能構成例を示すブロック図。 画像処理装置１００が行う処理のフローチャート。 解析部１１０４が行う処理のフローチャート。 解析部１１０４の機能構成例を示すブロック図。 分散ｖとフィルタ適用回数Ｎとの関係を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、入力画像に基づいて生成した「それぞれ異なる解像度のダークチャンネル画像（該入力画像における局所領域のカラーチャンネルの最小値を画素値とする画像）」を、該ダークチャンネル画像に基づいて推定した距離境界に基づいて合成し、該合成の結果に基づいて大気の透過率分布を求める。そして、該透過率分布に対してジョイントバイラテラルフィルタを反復適用して該透過率分布を整形し、該整形した透過率分布を用いて、入力画像のコントラストを補正した補正画像（距離境界において発生するハローを低減した補正画像）を生成する。

先ず、本実施形態に係るシステムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係るシステムは、カメラ１０１と、画像処理装置１００と、ディスプレイ１０３と、を有する。そして、カメラ１０１と画像処理装置１００との間、画像処理装置１００とディスプレイ１０３との間、は、ＨＤＭＩ（登録商標）やＳＤＩ（シリアルデジタルインターフェース）ケーブルなどの映像伝送ケーブル１０２を介して互いに通信可能に接続されている。なお、カメラ１０１と画像処理装置１００との間、画像処理装置１００とディスプレイ１０３との間、の接続方法については特定の接続方法に限らない。

先ず、カメラ１０１について説明する。カメラ１０１は、画像処理装置１００からの指示に応じて、もしくは自立的に自身のパン、チルト、ズームを制御可能な撮像装置の一例であり、動画像もしくは静止画像を撮像する。カメラ１０１は、動画像を撮像する場合には、該動画像における各フレームの画像を撮像画像として出力し、静止画像を撮像する場合には、定期的もしくは不定期的に撮像した静止画像を撮像画像として出力する。カメラ１０１から出力された撮像画像は、映像伝送ケーブル１０２を介して画像処理装置１００に入力画像として入力される。なお、カメラ１０１から出力された撮像画像は、不図示の通信路を介してディスプレイ１０３に出力して該ディスプレイ１０３に該撮像画像を表示しても良い。

次に、ディスプレイ１０３について説明する。ディスプレイ１０３は、液晶画面やタッチパネル画面を有し、画像処理装置１００から出力された画像や文字を表示する。また、ディスプレイ１０３がタッチパネル画面を有している場合には、該タッチパネル画面に対するユーザからの操作入力は、不図示の通信路を介して画像処理装置１００に通知される。

次に、画像処理装置１００について説明する。画像処理装置１００は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末装置、などのコンピュータ装置である。画像処理装置１００のハードウェア構成例について、図２のブロック図を用いて説明する。

ＣＰＵ２０１は、ＲＡＭ２０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ２０１は、画像処理装置１００全体の動作制御を行うと共に、画像処理装置１００が行う処理として説明する各種の処理を実行もしくは制御する。

ＲＡＭ２０２は、ＲＯＭ２０３や外部記憶装置２０４からロードされたコンピュータプログラムやデータを格納するためのエリア、画像入力部２０６が通信Ｉ／Ｆ２０５を介してカメラ１０１から取得した入力画像を格納するためのエリア、を有する。さらにＲＡＭ２０２は、ＣＰＵ２０１や画像処理部２０７が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０２は、各種のエリアを適宜提供することができる。

ＲＯＭ２０３には、画像処理装置１００の設定データ、画像処理装置１００の起動に係るコンピュータプログラムやデータ、画像処理装置１００の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

外部記憶装置２０４は、ハーディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置２０４には、ＯＳ（オペレーティングシステム）、画像処理装置１００が行う処理として説明する各種の処理をＣＰＵ２０１や画像処理部２０７に実行もしくは制御させるためのコンピュータプログラムやデータ、などが保存されている。外部記憶装置２０４に保存されているコンピュータプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０２にロードされ、ＣＰＵ２０１や画像処理部２０７による処理対象となる。

なお、画像処理装置１００は、外部記憶装置２０４に加えて、ＳＳＤ、ＳＤカード、ＵＳＢメモリなどの記憶媒体に対するコンピュータプログラムやデータの読み書きを行う装置を有しても良い。

通信Ｉ／Ｆ２０５は、ＨＤＭＩやＳＤＩといったインターフェースであり、映像伝送ケーブル１０２を介してカメラ１０１やディスプレイ１０３との間のデータ通信を行うためのインターフェースである。

画像入力部２０６は、映像伝送ケーブル１０２を介してカメラ１０１から出力された撮像画像を入力画像として取得し、該取得した入力画像をＲＡＭ２０２や外部記憶装置２０４に格納／保存する。画像処理部２０７は、画像処理用のハードウェア回路である。

操作部２０９は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ２０１に対して入力することができる。画像出力部２１０は、画像処理装置１００にて処理した画像を通信Ｉ／Ｆ２０５を介してディスプレイ１０３に対して出力する。

ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、外部記憶装置２０４、通信Ｉ／Ｆ２０５、画像入力部２０６、画像処理部２０７、操作部２０９、画像出力部２１０、はいずれもシステムバス２１１に接続されている。

画像処理部２０７の機能構成例を図３のブロック図に示す。以下では図３に示した機能部はいずれもハードウェアで実装されているものとして説明する。しかし、図３に示した機能部のうち１以上の機能部をソフトウェア（コンピュータプログラム）で実装しても良く、その場合、該１以上の機能部に対応するコンピュータプログラムをＣＰＵ２０１が実行することで、該１以上の機能部の機能が実現される。

カメラ１０１から取得した入力画像のコントラストを補正した補正画像を生成するために画像処理装置１００が行う処理について、図４のフローチャートに従って説明する。

ステップＳ４０１では、ＣＰＵ２０１は、ＲＯＭ２０３や外部記憶装置２０４に格納／保存されている「以降の処理において用いる各種のパラメータ」をＲＡＭ２０２にロードする。

ステップＳ４０２では、画像入力部２０６は、カメラ１０１から映像伝送ケーブル１０２を介して出力された撮像画像を入力画像Ｉとして、通信Ｉ／Ｆ２０５を介して取得し、該取得した入力画像Ｉを画像処理部２０７に入力する。ここで、Ｉ（ｘ，ｙ，ｃ）は、入力画像Ｉにおける画素位置（ｘ、ｙ）の画素の、カラーチャンネルｃの画素値を表す。ここで、ｃ＝Ｒ、Ｇ、Ｂとする。

ステップＳ４０３では、変換部３０１は、入力画像Ｉを、輝度に対してリニア特性を示すリニアＲＧＢ画像Ｉ’に変換する。ここで、Ｉ’（ｘ，ｙ，ｃ）は、リニアＲＧＢ画像Ｉ’における画素位置（ｘ、ｙ）の画素の、カラーチャンネルｃの画素値を表す。

ステップＳ４０４では、算出部３０２は、リニアＲＧＢ画像Ｉ’を用いてカラーチャンネルｃの環境光Ａ（ｃ）を算出する。環境光とは、太陽や空などからの光が霧によって散乱された光の成分である。ここで、Ａ（ｃ）は、カラーチャンネルｃに対応する光の成分である。画像から環境光を算出する方法は周知であり、例えば、非特許文献１に記載の方法を用いて環境光を算出することが可能である。

ステップＳ４０５では、算出部３０３は、リニアＲＧＢ画像Ｉ’と環境光Ａ（ｃ）とを用いて、大気の透過率分布Ｔを算出する。ここで、Ｔ（ｘ，ｙ）は、入力画像Ｉ（リニアＲＧＢ画像Ｉ’）における画素位置（ｘ、ｙ）に対応する大気の透過率を表す。ステップＳ４０５における処理の詳細については後述する。

ステップＳ４０６では、整形部３０４は、ステップＳ４０５で算出された透過率分布Ｔに対して、探索範囲形状軽減のための整形処理を行って、整形済み透過率分布Ｔ’を生成する。ここで、Ｔ’（ｘ，ｙ）は、入力画像Ｉ（リニアＲＧＢ画像Ｉ’）における画素位置（ｘ、ｙ）に対応する大気の透過率を表す。ステップＳ４０６における処理の詳細については後述する。

ステップＳ４０７では、処理部３０５は、リニアＲＧＢ画像Ｉ’に対して、環境光Ａ（ｃ）と整形済み透過率分布Ｔ’とを用いて、以下の（式１）に従った処理を行うことで霧除去処理を行い、霧除去画像Ｊを生成する。

ここで、Ｊ（ｘ，ｙ，ｃ）は、霧除去画像Ｊにおける画素位置（ｘ、ｙ）の画素の、カラーチャンネルｃの画素値を表す。また、t_minはゼロ割を防ぐための規定の係数であり、本実施形態ではt_min＝０．１とする。

ステップＳ４０８では、処理部３０６は、ステップＳ４０７で生成された霧除去画像Ｊに対してガンマ補正を行って、出力画像Ｊ’を生成する。ステップＳ４０９では、画像出力部２１０は、ステップＳ４０８で生成された出力画像Ｊ’を、通信Ｉ／Ｆ２０５を介してディスプレイ１０３に対して出力する。

ステップＳ４１０では、ＣＰＵ２０１は、処理の終了条件が満たされたか否かを判断する。処理の終了条件には様々な条件が適用可能である。たとえば、「カメラ１０１の電源がオフになったことを検知した」、「カメラ１０１から入力画像を取得していない期間の長さが一定期間長以上となった」、「ユーザが操作部２０９を操作して処理の終了指示を入力したことを検知した」、などがある。

このような判断の結果、処理の終了条件が満たされた場合には、図４のフローチャートに従った処理は終了し、処理の終了条件が満たされていない場合には、処理はステップＳ４０２に進む。

次に、上記のステップＳ４０５における処理の詳細について説明する。算出部３０３の機能構成例を図５のブロック図に示す。図５に示す機能構成例を有する算出部３０３が行う処理（ステップＳ４０５の処理）について、図６のフローチャートに従って説明する。

ステップＳ６０１では、縮小処理部５０１は、リニアＲＧＢ画像Ｉ’の縦横サイズを１／２に縮小した縮小画像Ｉ２を生成する。ここで、Ｉ２（ｘ，ｙ，ｃ）は、縮小画像Ｉ２における画素位置（ｘ、ｙ）の画素の、カラーチャンネルｃの画素値を表す。

また、縮小処理部５０２は、リニアＲＧＢ画像Ｉ’の縦横サイズを１／４に縮小した縮小画像Ｉ３を生成する。ここで、Ｉ３（ｘ，ｙ，ｃ）は、縮小画像Ｉ３における画素位置（ｘ、ｙ）の画素の、カラーチャンネルｃの画素値を表す。

また、縮小処理部５０３は、リニアＲＧＢ画像Ｉ’の縦横サイズを１／８に縮小した縮小画像Ｉ４を生成する。ここで、Ｉ４（ｘ，ｙ，ｃ）は、縮小画像Ｉ４における画素位置（ｘ、ｙ）の画素の、カラーチャンネルｃの画素値を表す。

なお、縮小処理部５０１，５０２，５０３がリニアＲＧＢ画像Ｉ’から縮小画像を生成するために採用する方法は特定の方法に限らず、例えば、ニアネストネイバー法やバイリニア法を用いる。

算出部５０４は、リニアＲＧＢ画像Ｉ’と環境光Ａ（ｃ）とを用いて以下の（式２）に従った演算処理を行うことで、ダークチャンネル画像ｄ１を生成する。ここで、ｄ１（ｘ，ｙ）は、ダークチャンネル画像ｄ１における画素位置（ｘ、ｙ）の画素の画素値を表す。

算出部５０５は、縮小画像Ｉ２と環境光Ａ（ｃ）とを用いて以下の（式２）に従った演算処理を行うことで、ダークチャンネル画像ｄ２を生成する。ここで、ｄ２（ｘ，ｙ）は、ダークチャンネル画像ｄ２における画素位置（ｘ、ｙ）の画素の画素値を表す。

算出部５０６は、縮小画像Ｉ３と環境光Ａ（ｃ）とを用いて以下の（式２）に従った演算処理を行うことで、ダークチャンネル画像ｄ３を生成する。ここで、ｄ３（ｘ，ｙ）は、ダークチャンネル画像ｄ３における画素位置（ｘ、ｙ）の画素の画素値を表す。

算出部５０７は、縮小画像Ｉ４と環境光Ａ（ｃ）とを用いて以下の（式２）に従った演算処理を行うことで、ダークチャンネル画像ｄ４を生成する。ここで、ｄ４（ｘ，ｙ）は、ダークチャンネル画像ｄ４における画素位置（ｘ、ｙ）の画素の画素値を表す。

ここで、Ω（ｈ，ｖ）は、ダークチャンネル画像を算出する矩形の局所領域であり、ｈ、ｖは矩形範囲である。本実施形態では、着目画素周囲のｈ＝３，ｖ＝３の領域に対してＲ，Ｇ，Ｂの最小値を算出し、着目画素位置の画素値を置き換える。

ステップＳ６０３では、拡大処理部５０８は、ダークチャンネル画像ｄ２の縦横サイズを２倍に拡大した拡大画像ｄ２’を求める。以下では、該拡大画像ｄ２’をダークチャンネル画像ｄ２と表記する。

また、拡大処理部５０９は、ダークチャンネル画像ｄ３の縦横サイズを４倍に拡大した拡大画像ｄ３’を求める。以下では、該拡大画像ｄ３’をダークチャンネル画像ｄ３と表記する。

また、拡大処理部５１０は、ダークチャンネル画像ｄ４の縦横サイズを８倍に拡大した拡大画像ｄ４’を求める。以下では、該拡大画像ｄ４’をダークチャンネル画像ｄ４と表記する。

拡大処理部５０８、５０９，５１０がダークチャンネル画像を拡大する方法ために採用する方法は特定の方法に限らず、例えば、ニアネストネイバー法やバイリニア法を用いる。

ステップＳ６０４では、推定部５１１は距離境界を推定する。距離境界とは、距離の異なる被写体の境界面のことである。一般的に、距離境界は被写体までの距離がわかっていなければ算出することはできない。しかしながら、非特許文献１において、霧が発生しているシーンにおいては被写体までの距離とダークチャンネルには相関があることが示されている。すなわち、ダークチャンネル画像のエッジ強度を抽出することで、距離境界を推定することができる。

そこで、推定部５１１は、ダークチャンネル画像ｄ１における各画素について、該画素の８近傍に対してラプラシアンフィルタを適用して絶対値をとることで得た「該画素に対応するエッジ強度」を該画素の画素値として有するエッジ強度画像ｅを生成する。ここで、ｅ（ｘ，ｙ）は、エッジ強度画像ｅにおける画素位置（ｘ、ｙ）の画素の画素値（エッジ強度）を表す。なお、エッジ強度画像を生成するために用いるフィルタはラプラシアンフィルタに限らず、例えば、ソーベルフィルタなどを用いても構わない。

さらに、推定部５１１は、エッジ強度画像ｅに対して最大値フィルタを適用することでエッジ領域を拡大させてエッジ強度画像ｅ’を生成する。ここで、ｅ’（ｘ，ｙ）は、エッジ強度画像ｅ’における画素位置（ｘ、ｙ）の画素の画素値（エッジ強度）を表す。

そして推定部５１１は、図７に示す、エッジ強度と距離境界との関係に基づいて、エッジ強度画像ｅ’に対応する距離境界マップＢを生成する。推定部５１１は、図７に示す如く、エッジ強度ｅ’（ｘ，ｙ）＜閾値Ｓｅｔｕｐの場合には、Ｂ（ｘ、ｙ）＝０．０とし、エッジ強度ｅ’（ｘ，ｙ）≧閾値Ｓｅｔｕｐの場合には、Ｂ（ｘ、ｙ）＝ｅ’（ｘ，ｙ）ｘＳｌｏｐｅ（傾き）とする。また、推定部５１１は、Ｂ（ｘ、ｙ）＞１．０となった場合には、Ｂ（ｘ、ｙ）＝１．０に補正する。ここで、Ｂ（ｘ、ｙ）は、距離境界マップＢの位置（ｘ、ｙ）における値（距離境界）を表す。なお、閾値ＳｅｔｕｐやＳｌｏｐｅは変換制御のパラメータであり、ステップＳ４０１にて設定される。

ステップＳ６０５では、合成部５１２は、ステップＳ６０４で生成された距離境界マップＢを用いて以下の（式３）に従った演算を行う。これにより合成部５１２は、ダークチャンネル画像ｄ１、ｄ２、ｄ３、ｄ４（ｄ２、ｄ３、ｄ４はステップＳ６０３で拡大されたダークチャンネル画像）を合成した合成ダークチャンネル画像Ｄを生成する。

ここで、Ｄ（ｘ，ｙ）は、合成ダークチャンネル画像Ｄにおける画素位置（ｘ、ｙ）の画素の画素値を表す。また、ｔｈ１，ｔｈ２は０＜ｔｈ１＜ｔｈ２＜１となる合成度合いを制御するためのパラメータであり、ステップＳ４０１にて設定される。

（式３）に示す如く、距離境界Ｂ（ｘ，ｙ）が大きくなるにつれて、小さい範囲から算出したダークチャンネル画像を用いる。一方、Ｂ（ｘ，ｙ）が小さくなるにつれて、大きい範囲から算出したダークチャンネル画像を用いる。これにより、距離境界において適切な探索範囲のダークチャンネル画像を設定することができる。

ステップＳ６０６では、処理部５１３は、ステップＳ６０５で生成された合成ダークチャンネル画像Ｄを用いて以下の（式４）に従った演算処理を行うことで、透過率分布Ｔを生成する。

ここで、ωは０．０～１．０の範囲内で設定されるパラメータ（遠方にある被写体の透過率が大きくなりすぎるのを制御するためのパラメータ）であり、ステップＳ４０１にて設定される。

次に、上記のステップＳ４０６における処理の詳細について説明する。透過率分布Ｔには探索範囲形状が残留するため、このような透過率分布Ｔを用いてステップＳ４０７の霧除去処理を行うと、探索範囲形状のハローが発生する。そこで、整形部３０４は先ず、以下の（式５）を用いて、リニアＲＧＢ画像Ｉ’の輝度画像Ｙを生成する。

ここで、Ｙ（ｘ，ｙ）は、輝度画像Ｙにおける画素位置（ｘ、ｙ）の画素の画素値（輝度値）を表す。次に整形部３０４は、輝度画像Ｙを用いて以下の（式６）に従った処理、すなわち「透過率分布Ｔに対してジョイントバイラテラルフィルタをＮ（Ｎは２以上の整数）回反復適用して透過率分布Ｔを整形する処理」を行って、整形済み透過率分布Ｔ’を生成する。

ここで、Ｔ_０＝Ｔとする。また、ｈ、ｖは処理対象画素を中心とした処理範囲であり、本実施形態ではｈ＝ｖ＝５を設定する。また、Ｎはジョイントバイラテラルフィルタの繰り返し適用回数（フィルタ適用回数）でＮ≧２とする。フィルタ適用回数Ｎを多く設定することで、ハロー低減効果を向上することができる。このように、輝度画像をガイド画像として探索範囲形状軽減のための整形処理を行うことで、整形済み透過率分布Ｔ’を生成する。

なお、本実施形態では、ハローを低減する手法として、ジョイントバイラテラルフィルタを用いた処理を例に説明した。しかし、繰り返し適用することでエッジと平坦部を分離可能なフィルタ処理であれば、特定のフィルタ処理に限らず、例えば、ガイデットフィルタなどのフィルタを用いたフィルタ処理でも構わない。

このように本実施形態によれば、被写体の距離境界を推定した上で最適な解像度で合成された透過率分布に対し、複数回のフィルタ処理を反復適用する（透過率分布を整形する処理を複数回行う）ことで、距離境界に発生するハローを低減することが可能となる。

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。第１の実施形態では、それぞれ異なるサイズの縮小画像に対応するダークチャンネル画像を距離境界に基づいて合成した合成ダークチャンネル画像に基づいて透過率分布を算出し、フィルタを複数回反復適用する方法について説明した。本実施形態では、リニアＲＧＢ画像Ｉ’に基づく１枚のダークチャンネル画像と距離境界とに基づき、領域ごとに異なる回数のフィルタを適用する方法について説明する。

本実施形態に係る画像処理部２０７の機能構成例を図８のブロック図に示す。以下では図８に示した機能部はいずれもハードウェアで実装されているものとして説明する。しかし、図８に示した機能部のうち１以上の機能部をソフトウェア（コンピュータプログラム）で実装しても良く、その場合、該１以上の機能部に対応するコンピュータプログラムをＣＰＵ２０１が実行することで、該１以上の機能部の機能が実現される。

カメラ１０１から取得した入力画像のコントラストを補正した補正画像を生成するために画像処理装置１００が行う処理について、図９のフローチャートに従って説明する。図９において、図４に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ９０３では、変換部８０１は上記のステップＳ４０３と同様にして、入力画像ＩをリニアＲＧＢ画像Ｉ’に変換する。ステップＳ９０４では、算出部８０３は上記のステップＳ４０４と同様にして、リニアＲＧＢ画像Ｉ’を用いてカラーチャンネルｃの環境光Ａ（ｃ）を算出する。

ステップＳ９０５では、算出部８０２は上記のステップＳ６０２と同様にして、リニアＲＧＢ画像Ｉ’と環境光Ａ（ｃ）とを用いて上記の（式２）に従った演算処理を行うことで、ダークチャンネル画像ｄを生成する。

ステップＳ９０６では、推定部８０４は上記のステップＳ６０４と同様にして、ダークチャンネル画像ｄから距離境界マップＢを生成する。ステップＳ９０７では、算出部８０５は上記のステップＳ６０６と同様にして、ダークチャンネル画像ｄを、（式４）のＤとして用いて（式４）に従った演算処理を行うことで、透過率分布Ｔを生成する。

ステップＳ９０８では、整形部８０６は、リニアＲＧＢ画像Ｉ’と距離境界マップＢとを用いて透過率分布Ｔを整形し、ブロック形状を軽減した整形済み透過率分布Ｔ’を生成する。本実施形態においても、整形部８０６は第１の実施形態と同様に、（式５）に従ってリニアＲＧＢ画像Ｉ’の輝度画像Ｙを生成し、該輝度画像Ｙを用いて上記の（式６）に従った処理を行って、整形済み透過率分布Ｔ’を生成する。しかし、本実施形態では、整形部８０６は、フィルタ適用回数Ｎを、図１０に例示した、距離境界とフィルタ適用回数との関係に基づいて決定する。

図１０の場合、整形部８０６は、距離境界が０．０以上０．２５未満であれば、フィルタ適用回数Ｎ＝０とし、距離境界が０．２５以上０．５未満であれば、フィルタ適用回数Ｎ＝１とする。また、整形部８０６は、距離境界が０．５以上０．７５未満であれば、フィルタ適用回数Ｎ＝３とし、距離境界が０．７５以上１．０未満であれば、フィルタ適用回数Ｎ＝５とする。このように、本実施形態では、距離境界に応じたフィルタ適用回数Ｎを用いて上記の（式６）に従った処理を行って整形済み透過率分布Ｔ’を生成する。

ステップＳ９０９では、処理部８０７は上記のステップＳ４０７と同様、リニアＲＧＢ画像Ｉ’に対して、環境光Ａ（ｃ）と整形済み透過率分布Ｔ’とを用いて霧除去処理を行い、霧除去画像Ｊを生成する。

ステップＳ９１０では、処理部８０８は上記のステップＳ４０８と同様、ステップＳ９０９で生成された霧除去画像Ｊに対してガンマ補正を行って、出力画像Ｊ’を生成する。ステップＳ９１１では、画像出力部２１０は、ステップＳ９１０で生成された出力画像Ｊ’を、通信Ｉ／Ｆ２０５を介してディスプレイ１０３に対して出力する。

ステップＳ９１２では、ＣＰＵ２０１は上記のステップＳ４１０と同様、処理の終了条件が満たされたか否かを判断する。このような判断の結果、処理の終了条件が満たされた場合には、図９のフローチャートに従った処理は終了し、処理の終了条件が満たされていない場合には、処理はステップＳ４０２に進む。

このように、本実施形態によれば、距離境界の大きさに応じてフィルタ適用回数を変化させるので、領域ごとに最適なフィルタ適用回数を設定することができる。これにより、被写体までの距離が一定で距離境界のない領域において、高速な処理が可能となる。

［第３の実施形態］
第２の実施形態では、距離境界マップに基づいて領域ごとにフィルタ適用回数を設定したが、本実施形態では、カメラ１０１により撮像するシーンの被写体までの距離や霧などのシーン特性に応じて、全体の最適なフィルタ適用回数を設定する。

本実施形態に係る画像処理部２０７の機能構成例を図１１のブロック図に示す。以下では図１１に示した機能部はいずれもハードウェアで実装されているものとして説明する。しかし、図１１に示した機能部のうち１以上の機能部をソフトウェア（コンピュータプログラム）で実装しても良く、その場合、該１以上の機能部に対応するコンピュータプログラムをＣＰＵ２０１が実行することで、該１以上の機能部の機能が実現される。

カメラ１０１から取得した入力画像のコントラストを補正した補正画像を生成するために画像処理装置１００が行う処理について、図１２のフローチャートに従って説明する。図１２において、図４に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ１２０３では、変換部１１０１は上記のステップＳ４０３と同様にして、入力画像ＩをリニアＲＧＢ画像Ｉ’に変換する。ステップＳ１２０４では、算出部１１０３は上記のステップＳ４０４と同様にして、リニアＲＧＢ画像Ｉ’を用いてカラーチャンネルｃの環境光Ａ（ｃ）を算出する。

ステップＳ１２０５では、算出部１１０２は上記のステップＳ６０２と同様にして、リニアＲＧＢ画像Ｉ’と環境光Ａ（ｃ）とを用いて上記の（式２）に従った演算処理を行うことで、ダークチャンネル画像ｄを生成する。

ステップＳ１２０６では、解析部１１０４は、ステップＳ１２０５で生成したダークチャンネル画像ｄを用いてシーンの特性を解析し、該解析の結果に応じてフィルタ適用回数Ｎを算出する。ステップＳ１２０６における処理の詳細については後述する。

ステップＳ１２０７では、算出部１１０５は上記のステップＳ６０６と同様にして、合成ダークチャンネル画像ｄを、（式４）のＤとして用いて（式４）に従った演算処理を行うことで、透過率分布Ｔを生成する。

ステップＳ１２０８では、整形部１１０６は、リニアＲＧＢ画像Ｉ’を用いて透過率分布Ｔを整形し、ブロック形状を軽減した整形済み透過率分布Ｔ’を生成する。本実施形態においても、整形部部１１０６は第１の実施形態と同様にして整形済み透過率分布Ｔ’を生成するが、フィルタ適用回数Ｎとして、ステップＳ１２０６にて算出されたフィルタ適用回数Ｎを適用する。

ステップＳ１２０９では、処理部１１０７は上記のステップＳ４０７と同様、リニアＲＧＢ画像Ｉ’に対して、環境光Ａ（ｃ）と整形済み透過率分布Ｔ’とを用いて霧除去処理を行い、霧除去画像Ｊを生成する。

ステップＳ１２１０では、処理部１１０８は上記のステップＳ４０８と同様、ステップＳ１２０９で生成された霧除去画像Ｊに対してガンマ補正を行って、出力画像Ｊ’を生成する。ステップＳ１２１１では、画像出力部２１０は、ステップＳ１２１０で生成された出力画像Ｊ’を、通信Ｉ／Ｆ２０５を介してディスプレイ１０３に対して出力する。

ステップＳ１２１２では、ＣＰＵ２０１は上記のステップＳ４１０と同様、処理の終了条件が満たされたか否かを判断する。このような判断の結果、処理の終了条件が満たされた場合には、図１２のフローチャートに従った処理は終了し、処理の終了条件が満たされていない場合には、処理はステップＳ４０２に進む。

ここで、解析部１１０４の機能構成例を図１４のブロック図に示す。図１４に示す機能構成例を有する解析部１１０４が行う処理（上記のステップＳ１２０６における処理）について、図１３のフローチャートに従って説明する。

ステップＳ１３０１では、抽出部１４０１は、ダークチャンネル画像ｄのエッジ強度画像ｅを算出する。ここで、エッジ強度画像は上記のステップＳ６０４と同様に、ダークチャンネル画像ｄにおける各画素について、該画素の８近傍に対してラプラシアンフィルタを適用して絶対値をとることで得た「該画素に対応するエッジ強度」を該画素の画素値として有するエッジ強度画像ｅを生成する。

ステップＳ１３０２では、算出部１４０２は、ステップＳ１３０１で生成したエッジ強度画像ｅにおける画素値のヒストグラム分布Ｈ（ｉ）（つまりエッジ強度の分布）を算出する。ここで、ｉは画素値を示し、Ｈ（ｉ）はエッジ強度画像ｅにおいて画素値ｉを有する画素の数を表す。

ステップＳ１３０３では、算出部１４０３は、ステップＳ１３０２で算出したヒストグラム分布Ｈ（ｉ）を用いて以下の（式７）に従った演算を行うことで、該ヒストグラム分布Ｈ（ｉ）の分散ｖを算出する。

ここで、右辺の括弧内の２項目は、Ｈ（１）～Ｈ（Ｚ）（Ｚは画素値の数）の平均を表す。ステップＳ１３０４では、変換部１４０４は、ステップＳ１３０３で求めた分散ｖからフィルタ適用回数Ｎを決定する。

分散ｖが大きい場合は、ダークチャンネル画像のエッジが多いことを意味する。つまり、ハローが発生しやすいため、分散ｖとフィルタ適用回数Ｎとの関係を示す図１５に示すように、フィルタ適用回数Ｎを多く設定することでハローの低減効果を強く設定する。一方、分散ｖが小さい場合には、ダークチャンネル画像のエッジが少ないことを意味する。つまり、ハローが発生しづらいため、図１５に示すように、フィルタ適用回数Ｎを少なく設定する。

つまり変換部１４０４は、分散ｖ＝ｖ１の場合には、フィルタ適用回数ＮをＮ１と決定し、分散ｖ＝ｖ２（＞ｖ１）の場合には、フィルタ適用回数ＮをＮ２（＞Ｎ１）と決定する。なお、分散ｖが大きいほどより大きいフィルタ適用回数Ｎを決定し、分散ｖが小さいほどより小さいフィルタ適用回数Ｎを決定するのであれば、分散ｖに基づくフィルタ適用回数Ｎの決定方法は特定の決定方法に限らない。

このように、本実施形態によれば、シーンの特性に応じてフィルタ適用回数を変化させることで、シーンに最適なフィルタ適用回数を設定することができる。これにより、シーンの特性として、被写体までの距離が近い場合や、被写体までの距離差が小さい場合には高速な処理を行うことが可能となる。

［第４の実施形態］
上記の各実施形態では、画像処理装置１００とカメラ１０１とを別個の装置としていたが、画像処理装置１００とカメラ１０１とを一体化させて、画像処理装置１００の機能とカメラ１０１の機能とを有する１台の装置を構成しても良い。

また、画像処理装置１００を複数台のコンピュータ装置で実装し、該複数台のコンピュータ装置による分散処理でもって、画像処理装置１００が行う処理として説明した処理を実行するようにしても良い。

また、カメラ１０１が行う処理として説明した処理の一部を画像処理装置１００が行っても良いし、画像処理装置１００が行う処理として説明した処理の一部をカメラ１０１が行っても良い。

また、上記の各実施形態では、出力画像Ｊ’の出力先はディスプレイ１０３としたが、出力画像Ｊ’の出力先はディスプレイ１０３に限らない。例えば、出力画像Ｊ’はＬＡＮやインターネットなどのネットワーク回線を介して外部装置に対して送信しても良いし、画像処理装置１００や他の装置におけるメモリに格納しても良い。

また、上記の各実施形態では、画像処理装置１００は、入力画像Ｉを取得した後、該入力画像ＩをリニアＲＧＢ画像Ｉ’に変換していたが、画像処理装置１００は、入力画像ＩではなくリニアＲＧＢ画像Ｉ’を取得するようにしても良い。この場合、上記の変換部３０１、８０１、１１０１は不要となり、よって、上記のステップＳ４０３、Ｓ９０３、Ｓ１２０３の処理は不要となる。

また、上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の取得方法／送信先／送信元／格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の発明は、以下の画像処理装置、画像処理方法、コンピュータプログラムを含む。

（項目１）
入力画像に基づいて環境光を算出する算出手段と、
前記入力画像と前記環境光とに基づき、該入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を生成し、該ダークチャンネル画像に基づいて大気の透過率分布を生成する第１生成手段と、
前記透過率分布を整形する処理を複数回行う整形手段と、
前記整形手段により整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第２生成手段と
を備えることを特徴とする画像処理装置。

（項目２）
前記第１生成手段は、前記入力画像と、該入力画像の複数の縮小画像と、前記環境光と、を用いて、該入力画像および該複数の縮小画像のそれぞれに対応するダークチャンネル画像を生成し、該入力画像に対応するダークチャンネル画像のエッジ強度に基づいて、距離の異なる被写体の境界面を表す距離境界のマップを生成し、該入力画像および該複数の縮小画像のそれぞれに対応するダークチャンネル画像を該マップに基づいて合成した合成ダークチャンネル画像を生成し、該合成ダークチャンネル画像に基づいて前記透過率分布を生成することを特徴とする項目１に記載の画像処理装置。

（項目３）
前記整形手段は、前記入力画像に基づく輝度画像を用いて、前記透過率分布に対して、エッジと平坦部を分離可能なフィルタ処理を複数回行うことで、該透過率分布を整形することを特徴とする項目１または２に記載の画像処理装置。

（項目４）
前記第１生成手段は、前記入力画像と前記環境光とを用いて、該入力画像に対応するダークチャンネル画像を生成し、該入力画像に対応するダークチャンネル画像のエッジ強度に基づいて、距離の異なる被写体の境界面を表す距離境界のマップを生成し、該生成したダークチャンネル画像に基づいて、大気の透過率分布を生成し、
前記整形手段は、前記入力画像に基づく輝度画像を用いて、前記透過率分布に対して、エッジと平坦部を分離可能なフィルタ処理を、前記マップに応じた回数だけ行う
ことを特徴とする項目１に記載の画像処理装置。

（項目５）
前記第１生成手段は、前記入力画像と前記環境光とを用いて、該入力画像に対応するダークチャンネル画像を生成し、該入力画像に対応するダークチャンネル画像のエッジ強度の分布を求め、該生成したダークチャンネル画像に基づいて、大気の透過率分布を生成し、
前記整形手段は、前記入力画像に基づく輝度画像を用いて、前記透過率分布に対して、エッジと平坦部を分離可能なフィルタ処理を、前記分布における分散に応じた回数だけ行う
ことを特徴とする項目１に記載の画像処理装置。

（項目６）
前記第２生成手段は、前記補正画像に対してガンマ補正を行うことを特徴とする項目１ないし５のいずれか１項目に記載の画像処理装置。

（項目７）
前記入力画像は、輝度に対してリニア特性を示す画像であることを特徴とする項目１ないし６のいずれか１項目に記載の画像処理装置。

（項目８）
画像処理装置が行う画像処理方法であって、
前記画像処理装置の算出手段が、入力画像に基づいて環境光を算出する算出工程と、
前記画像処理装置の第１生成手段が、前記入力画像と前記環境光とに基づき、該入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を生成し、該ダークチャンネル画像に基づいて大気の透過率分布を生成する第１生成工程と、
前記画像処理装置の整形手段が、前記透過率分布を整形する処理を複数回行う整形工程と、
前記画像処理装置の第２生成手段が、前記整形工程で整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第２生成工程と
を備えることを特徴とする画像処理方法。

（項目９）
コンピュータを、項目１ないし７のいずれか１項目に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

３０１：変換部 ３０２：算出部 ３０３：算出部 ３０４：整形部 ３０５：処理部 ３０６：処理部

Claims (9)

1. 入力画像に基づいて環境光を算出する算出手段と、
   前記入力画像と前記環境光とに基づき、該入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を生成し、該ダークチャンネル画像に基づいて大気の透過率分布を生成する第１生成手段と、
   前記透過率分布を整形する処理を複数回行う整形手段と、
   前記整形手段により整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第２生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１生成手段は、前記入力画像と、該入力画像の複数の縮小画像と、前記環境光と、を用いて、該入力画像および該複数の縮小画像のそれぞれに対応するダークチャンネル画像を生成し、該入力画像に対応するダークチャンネル画像のエッジ強度に基づいて、距離の異なる被写体の境界面を表す距離境界のマップを生成し、該入力画像および該複数の縮小画像のそれぞれに対応するダークチャンネル画像を該マップに基づいて合成した合成ダークチャンネル画像を生成し、該合成ダークチャンネル画像に基づいて前記透過率分布を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記整形手段は、前記入力画像に基づく輝度画像を用いて、前記透過率分布に対して、エッジと平坦部を分離可能なフィルタ処理を複数回行うことで、該透過率分布を整形することを特徴とする請求項１に記載の画像処理装置。
4. 前記第１生成手段は、前記入力画像と前記環境光とを用いて、該入力画像に対応するダークチャンネル画像を生成し、該入力画像に対応するダークチャンネル画像のエッジ強度に基づいて、距離の異なる被写体の境界面を表す距離境界のマップを生成し、該生成したダークチャンネル画像に基づいて、大気の透過率分布を生成し、
   前記整形手段は、前記入力画像に基づく輝度画像を用いて、前記透過率分布に対して、エッジと平坦部を分離可能なフィルタ処理を、前記マップに応じた回数だけ行う
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記第１生成手段は、前記入力画像と前記環境光とを用いて、該入力画像に対応するダークチャンネル画像を生成し、該入力画像に対応するダークチャンネル画像のエッジ強度の分布を求め、該生成したダークチャンネル画像に基づいて、大気の透過率分布を生成し、
   前記整形手段は、前記入力画像に基づく輝度画像を用いて、前記透過率分布に対して、エッジと平坦部を分離可能なフィルタ処理を、前記分布における分散に応じた回数だけ行う
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記第２生成手段は、前記補正画像に対してガンマ補正を行うことを特徴とする請求項１に記載の画像処理装置。
7. 前記入力画像は、輝度に対してリニア特性を示す画像であることを特徴とする請求項１に記載の画像処理装置。
8. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の算出手段が、入力画像に基づいて環境光を算出する算出工程と、
   前記画像処理装置の第１生成手段が、前記入力画像と前記環境光とに基づき、該入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を生成し、該ダークチャンネル画像に基づいて大気の透過率分布を生成する第１生成工程と、
   前記画像処理装置の整形手段が、前記透過率分布を整形する処理を複数回行う整形工程と、
   前記画像処理装置の第２生成手段が、前記整形工程で整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第２生成工程と
   を備えることを特徴とする画像処理方法。
9. コンピュータを、請求項１ないし７のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images