JP6579868B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、微粒子による散乱光の影響を低減する画像処理に関する。

監視カメラなどの分野において、カメラから被写体までの間に存在する微小粒子（例えば、塵、埃、霧）による撮影画像の画質低下が問題になっている。これは、光が大気を通過する際に微小粒子によって散乱し、その結果、撮影画像のコントラストが低下するためである。光散乱は、被写体までの距離によって散乱度合いが変化する。そのため、被写体までの距離が混在したシーンを撮影した場合、画像領域ごとにコントラストの低下度合いが異なる画像が取得される可能性がある。このようにコントラストが低下した画像に対する、一般的なコントラスト補正技術として、撮影画像からヒストグラムを算出し、ヒストグラムに基づき画像を補正する技術がある（特許文献１参照）。しかし、特許文献１に記載された方法では、領域ごとにコントラスト低下度合いが異なる画像を十分に補正することができない。そこで、領域ごとのコントラスト低下を補正する技術として、ダーク・チャンネル・プライアを用いた技術がある（特許文献２参照）。この技術では、撮影画像の局所領域におけるＲＧＢ最小値（ダークチャンネル）から、微小粒子による光の散乱度合いを推定し、局所領域ごとのコントラスト補正を行う。

特許第３６１４６９２号公報 米国特許第８３４０４６１号明細書

しかし、特許文献２に記載された方法を用いて局所領域ごとのコントラスト補正を行った場合、画像全体の明るさを保障することができず、画像全体の明るさが適正な明るさに比べ、明るくなったり、暗くなったりする可能性がある。そこで本発明は、局所領域ごとにコントラスト補正を行った画像の明るさを適正にすることを目的とする。

本発明による画像処理装置は、散乱光の影響を低減するためのコントラスト補正がなされた処理画像の、明るさを調整する画像処理装置であって、コントラスト補正がなされる前の入力画像の輝度の平均値を取得する取得手段と、入力画像の輝度に基づいて、処理画像の輝度の平均値を推測する推測手段と、入力画像の輝度の平均値と、推測手段で推測された処理画像の輝度の平均値とに基づいて、露出補正パラメータを算出するパラメータ算出手段と、処理画像に対して、露出補正パラメータを用いて露出補正を行う露出補正手段とを備えることを特徴とする。

本発明によれば、局所領域ごとにコントラスト補正を行った画像の明るさを適正にすることができる。

実施例１における画像処理装置のハードウェア構成を示すブロック図である。 実施例１における画像処理装置のソフトウェア構成を示すブロック図である 実施例１における画像処理装置の処理を示すフローチャートである。 散乱光除去処理部の内部構成を示すブロック図である。 散乱光除去処理部の処理を示すフローチャートである。 ダークチャンネル抽出部が、ある注目画素に対応するダークチャンネルを導出する過程を示す模式図である。 基準強度算出部の処理を示すフローチャートである。 参照画素値の抽出方法を説明するための説明図である。 実施例１における露出補正パラメータ算出部の内部構成を示すブロック図である。 実施例１における露出補正パラメータ算出部の処理を示すフローチャートである。 平均輝度に対応する透過率の探索処理を説明するための説明図である。 実施例１の効果を説明するための説明図である。 実施例２における露出補正パラメータ算出部の内部構成を示すブロック図である。 実施例２における露出補正パラメータ算出部の処理を示すフローチャートである。

［実施例１］
図１は、実施例１における画像処理装置１０１のハードウェア構成を示すブロック図である。図１には、本実施例における画像処理装置１０１を備える、撮像装置が示されている。図１に示す撮像装置は、画像処理装置１０１の他に、外部メモリ１１０と、撮像部１１１と、表示部１１２とを備える。なお、外部メモリ１１０は撮像装置から取り外し可能に構成されていてもよい。すなわち、撮像装置は、外部メモリ１１０を備えていなくてもよい。

画像処理装置１０１は、ＣＰＵ１０２と、ＲＡＭ１０３と、ＲＯＭ１０４と、ＨＤＤ Ｉ／Ｆ１０５と、ＨＤＤ１０６と、入力Ｉ／Ｆ１０７と、出力Ｉ／Ｆ１０８と、システムバス１０９とを備える。

ＣＰＵ１０２は、画像処理装置１０１の各構成要素を統括的に制御するプロセッサである。

ＲＡＭ１０３は、ＣＰＵ１０２の主メモリ、ワークエリアとして機能するメモリである。

ＲＯＭ１０４は、画像処理装置１０１で実行される処理を司るプログラムを格納するメモリである。

ＨＤＤ Ｉ／Ｆ１０５は、シリアルＡＴＡ（ＳＡＴＡ）等のインタフェースである。ＨＤＤ Ｉ／Ｆ１０５は、二次記憶装置であるＨＤＤ１０６をシステムバス１０９に接続する。ＣＰＵ１０２は、ＨＤＤ Ｉ／Ｆ１０５を介して、ＨＤＤ１０６からのデータ読み出し、およびＨＤＤ１０６へのデータ書き込みが可能である。さらにＣＰＵ１０２は、ＨＤＤ１０６に格納されたデータをＲＡＭ１０３に展開したり、ＲＡＭ１０３に展開されたデータをＨＤＤ１０６に保存したりすることが可能である。本実施例では、ＣＰＵ１０２は、ＲＯＭ１０４やＨＤＤ１０６に格納されたプログラム、例えば各構成要素を統括的に制御するためのプログラムをＲＡＭ１０３に展開し、実行する。

ＨＤＤ１０６は、ハードディスクドライブ（ＨＤＤ）等の二次記憶装置である。なお、ＨＤＤ１０６は、ＨＤＤの他、光ディスクドライブ等の記憶装置でもよい。

入力Ｉ／Ｆ１０７は、ＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェースである。画像処理装置１０１は、入力Ｉ／Ｆ１０７を介して、外部メモリ１１０および撮像部１１１に接続される。ＣＰＵ１０２は、入力Ｉ／Ｆ１０７を介して、外部メモリ１１０および撮像部１１１からデータを取得することができる。

出力Ｉ／Ｆ１０８は、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の映像出力インタフェースである。画像処理装置１０１は、出力Ｉ／Ｆ１０８を介して表示部１１２に接続される。

システムバス１０９は、各種データの転送経路である。画像処理装置１０１の各構成要素は、システムバス１０９を介して相互に接続される。

外部メモリ１１０は、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体である。外部メモリ１１０は、画像処理装置１０１で処理された画像データなどを保存する。

撮像部１１１は、被写体の光情報をセンサで受光し、画像を取得する。撮像部１１１は、取得した画像をデジタルデータとして出力する。以下、撮像部１１１が出力するデジタルデータを画像データという。

表示部１１２は、ディスプレイなどの表示装置である。本実施例では、ＣＰＵ１０２が、出力Ｉ／Ｆ１０８を介して表示部１１２に画像データを出力し、表示部１１２が、入力した画像データによって示される画像を表示する。

上述したように、撮像部１１１から被写体までの間に塵などの微小粒子が存在する場合には、撮像部１１１が取得する画像は、光散乱によりコントラストが低下する。そこで、本実施例では、画像処理装置１０１が、撮像部１１１が出力する画像データに処理を施すことで、散乱光の影響が低減された画像データを生成する。

［全体処理の流れ］
図２は、実施例１における画像処理装置１０１のソフトウェア構成を示すブロック図である。図２に示すように、画像処理装置１０１は、撮影実行部１０１１と、現像処理部１０１２と、散乱光除去処理部１０１３と、露出補正パラメータ算出部１０１４と、露出補正部１０１５と、ガンマ補正部１０１６と、画像出力部１０１７とを備える。

以下、図３を用いて、本実施例の画像処理装置１０１における処理の流れを説明する。

図３は、実施例１における画像処理装置１０１の処理を示すフローチャートである。本実施例では、ＲＯＭ１０４やＨＤＤ１０６に、図３に示される処理を司るプログラムが格納されていて、ＣＰＵ１０２が、当該プログラムをロードして実行することにより、図２に示される各構成要素が機能する。

まず、ステップＳ２０１では、撮影実行部１０１１が、被写体を撮影するのに最適な撮影条件を撮像部１１１に設定する。なお、撮影実行部１０１１は、一般的な自動露出制御などを実行することにより、最適な撮影条件を設定する。

ステップＳ２０２では、撮影実行部１０１１が、ステップＳ２０１の処理で設定した撮影条件に基づき撮像部１１１を駆動させ、撮影を行う。

ステップＳ２０３では、現像処理部１０１２が、ステップＳ２０２の処理で撮像部１１１から出力された画像データに対して、現像処理を行う。現像処理では、ホワイトバランス、デモザイキング、色変換、ノイズリダクション、エッジ強調処理などの一般的な現像処理が行われる。そして、１画素につきＲ、Ｇ、Ｂの色を有する画像が生成される。

ステップＳ２０４では、散乱光除去処理部１０１３が、ステップＳ２０３の処理で現像処理された画像データに対して、局所領域ごとにコントラスト補正を行う。本実施例では、局所領域ごとのコントラスト補正として、後述する散乱光除去処理を行う。

ステップＳ２０５では、露出補正パラメータ算出部１０１４が、ステップＳ２０４の処理において局所領域ごとにコントラスト補正がなされた画像データから、露出補正パラメータαを算出する。露出補正パラメータαの算出処理については、後述する。

ステップＳ２０６では、露出補正部１０１５が、ステップＳ２０５の処理で算出された露出補正パラメータαを用いて、次式により露出補正を行う。

ここで、Ｏは露出補正後の画像データを表す。ｊ´は散乱光除去処理後の画像データを表す。ｃはカラープレーンを表す。

ステップＳ２０７では、ガンマ補正部１０１６が、ステップＳ２０６の処理で露出補正された画像データ（以下、露出補正後画像データという）に対して、ガンマ補正を行う。

最後に、ステップＳ２０８では、画像出力部１０１７が、ステップＳ２０７の処理でガンマ補正された画像データをＨＤＤ Ｉ／Ｆ１０５を介してＨＤＤ１０６に出力する。なお、画像出力部１０１７は、画像データを他の記録媒体に保存するようにしてもよい。例えば、画像出力部１０１７は、画像データを入力Ｉ／Ｆ１０７を介して外部メモリ１１０に出力するようにしてもよい。

［散乱光除去処理］
以下、ステップＳ２０４の散乱光除去処理について説明する。

図４は、散乱光除去処理部１０１３の内部構成を示すブロック図である。図４に示すように、散乱光除去処理部１０１３は、入力画像取得部３０１と、ダークチャンネル抽出部３０２と、基準強度算出部（基準強度導出部ともいう）３０３と、フィルタ処理部３０４と、透過率算出部３０５と、散乱光除去部３０６と、散乱光除去画像出力部３０７と、透過率画像出力部３０８と、基準強度出力部３０９とを含む。

図５は、散乱光除去処理部１０１３の処理を示すフローチャートである。本実施例では、ＲＯＭ１０４やＨＤＤ１０６に、図５に示す処理を司るプログラムが格納されていて、ＣＰＵ１０２が、当該プログラムをロードして実行することにより、図４に示される各構成要素が機能する。なお、図４に示される全ての構成要素が散乱光除去処理部１０１３に含まれていなくてもよく、各構成要素に対応する処理回路を画像処理装置１０１内に新たに設けるようにしてもよい。

まず、ステップＳ４０１では、入力画像取得部３０１が、ステップＳ２０３の処理で現像された画像データを取得する。以下、この画像データによって示される画像を入力画像または撮像画像という。入力画像取得部３０１は、取得した画像データを、ダークチャンネル抽出部３０２、基準強度算出部３０３および散乱光除去部３０６に出力する。また、入力画像取得部３０１は、入力画像データを、ＨＤＤ Ｉ／Ｆ１０５を介してＨＤＤ１０６に出力する。なお、入力画像取得部３０１は、入力画像データを他の記録媒体に保存するようにしてもよい。例えば入力画像取得部３０１は、入力画像データを入力Ｉ／Ｆ１０７を介して外部メモリ１１０に出力するようにしてもよい。

ステップＳ４０２では、ダークチャンネル抽出部３０２が、入力画像取得部３０１から出力された画像データから、画素位置ごとに、ダークチャンネルを抽出する。ダークチャンネル抽出部３０２は、抽出したダークチャンネルを並べて構成された画像データを基準強度算出部３０３に出力する。以下、この画像データをダークチャンネル画像データという。また、ダークチャンネル画像データによって示される画像をダークチャンネル画像という。

ここで、ダークチャンネルとは、ある画素における、Ｒ，Ｇ，Ｂの各チャンネルの画素値の中で最も小さい画素値を有するチャンネルである。Ｒ，Ｇ，Ｂの各チャンネルの画素値の中で最も小さい画素値は、散乱光に由来する成分が占める割合が大きい。そのため、ダークチャンネル画像は、カラー画像よりも散乱光の成分の強度を反映した画像になる。

図６は、ダークチャンネル抽出部３０２が、ある注目画素に対応するダークチャンネルを導出する過程を示す模式図である。図６の左図に示すように、入力画像の注目画素Ｔの画素値が（Ｒ０，Ｇ０，Ｂ０）であったとする。このとき、画素値の絶対値がＲ０＞Ｇ０＞Ｂ０であったとすると、図６の右図に示すように、注目画素ＴのダークチャンネルはＢ０となる。以後、ダークチャンネル抽出部３０２は、この処理を全ての画素に対して適用することにより、ダークチャンネル画像データを生成する。

ステップＳ４０３では、基準強度算出部３０３が、ダークチャンネル抽出部３０２から出力されたダークチャンネル画像データおよび、入力画像取得部３０１から出力された入力画像データを用いて、散乱光の各色成分の基準強度を算出する。基準強度算出部３０３は、算出した基準強度を、透過率算出部３０５、散乱光除去部３０６および基準強度出力部３０９に出力する。ここで、基準強度は、画像データの各画素位置における散乱光の各色成分の大きさを決定する際に基準とされる値である。基準強度は、散乱光の成分が支配的な、霧などにより白くかすんだ空の画素などの画素値に基づいて決定される。この処理の詳細については後述する。

ステップＳ４０４では、基準強度出力部３０９が、ステップＳ４０３の処理で算出された基準強度を、ＲＡＭ１０３に出力する。

ステップＳ４０５では、フィルタ処理部３０４が、ダークチャンネル抽出部３０２から出力されたダークチャンネル画像データに対して、最小値フィルタ処理を行う。そして、フィルタ処理部３０４は、最小値フィルタ処理を施したダークチャンネル画像データを、透過率算出部３０５に出力する。なお、最小値フィルタ処理は、画像中の局所的な構造やノイズを散乱光由来のものと誤認する可能性を低減させるための処理である。

ステップＳ４０６では、透過率算出部３０５が、フィルタ処理部３０４から出力された、最小値フィルタ処理後のダークチャンネル画像データと、基準強度算出部３０３から出力された、散乱光の基準強度とに基づいて、入力画像の各画素位置における透過率ｔ（ｘ，ｙ）を決定する。ｔ（ｘ，ｙ）は、以下の式で表わされる。

ここで、Ｄは、ステップＳ４０５の処理で出力された、最小値フィルタ処理後のダークチャンネル画像である。Ａは、ステップＳ４０３で算出された散乱光の基準強度である。ωは、散乱光の基準強度の算出に用いた画素における透過率を仮定した係数である。本実施例では、ωを０．９とする。なお、散乱光除去処理後の画像データによって示される画像が好ましい画像になるように、ωの値を調整してもよい。

透過率算出部３０５は、数式２の各変数に取得した値を代入することで、各画素における透過率を算出する。透過率算出部３０５は、算出した透過率を散乱光除去部３０６および透過率画像出力部３０８に出力する。なお、透過率は数式２に基づいて決定しなくてもよく、例えば、ステレオカメラなどを用いて取得した被写体との距離に基づいて決定してもよい。

ステップＳ４０７では、透過率画像出力部３０８が、ステップＳ４０６の処理において算出された透過率ｔ（ｘ，ｙ）を、透過率画像データとして取得し、ＲＡＭ１０３に出力する。以下、透過率画像データによって示される画像を、透過率画像または透過率分布画像という。

ステップＳ４０８では、散乱光除去部３０６が、透過率算出部３０５から出力された透過率と、入力画像取得部３０１から出力された入力画像データと、基準強度算出部３０３から出力された散乱光の基準強度とを用いて、入力画像の散乱光除去処理を行う。散乱光除去処理は、以下の式を用いて行われる。

ここで、Ｊ（ｘ，ｙ，ｃ）は、散乱光除去処理後の画像の画素値を表す。Ｉ（ｘ，ｙ，ｃ）は、入力画像の画素値を表す。ｃは、カラープレーンを表す。また、ｔ₀は、Ｊの値を調整するための係数である。例えば、本実施例では、ｔ₀を０．１とする。ｔ₀は、ｔ（ｘ，ｙ，ｃ）が限りなく０に近い場合に、Ｉの値のわずかな差によってＪの値が大きく変動してしまうのを防ぐために設けられた定数である。なお、より好ましい画像が得られるように、ｔ₀に０．１以外の値を設定してもよい。

散乱光除去部３０６は、数式３の各パラメータに取得した値を代入して、各画素におけるＪを算出する。散乱光除去部３０６は、算出したＪを散乱光除去処理後の画像データとして散乱光除去画像出力部３０７に出力する。以下、散乱光除去処理後の画像データによって示される画像を、散乱光除去画像または処理画像という。

ステップＳ４０９では、散乱光除去画像出力部３０７が、散乱光除去部３０６から出力された散乱光除去処理後の画像データを取得し、ＨＤＤ Ｉ／Ｆ１０５を介してＨＤＤ１０６に出力する。

［基準強度算出］
以下、ステップＳ４０３の基準強度算出処理について説明する。図７は、基準強度算出部３０３の処理を示すフローチャートである。

ステップＳ６０１では、基準強度算出部３０３が、ダークチャンネル抽出部３０２から出力されたダークチャンネル画像データを取得する。

ステップＳ６０２では、基準強度算出部３０３が、ステップＳ６０１で取得したダークチャンネル画像データに基づいて、基準強度算出に用いる画素（以下、参照画素という）を決定する。本実施例では、ダークチャンネル画像の各画素の中で、画素値が大きい画素の上位１％を参照画素とする。ダークチャンネル画像は散乱光の強度が画素値に反映された画像なので、ダークチャンネル画像において画素値が大きい画素は、散乱光の成分が支配的な画素であると考えることができる。

なお、画素値が大きい画素の上位１％を参照画素としているが、この割合は上位１％に限らない。例えば、撮影シーンに応じてこの割合を設定するようにしてもよい。また、ダークチャンネル画像の各画素のうち画素値が閾値以上となる画素を参照画素としてもよい。閾値を用いて参照画素を選択する場合には、撮影シーンに応じて閾値を設定するようにしてもよい。

ステップＳ６０３では、基準強度算出部３０３が、入力画像取得部３０１から出力された入力画像データを取得する。

ステップＳ６０４では、基準強度算出部３０３が、ステップＳ６０３の処理で取得した入力画像データと、ステップＳ６０２で決定された参照画素とに基づいて、基準強度の算出に用いる参照画素値を抽出する。

ここで、図８を用いて参照画素値の抽出方法について説明する。図８は、参照画素値の抽出方法を説明するための説明図である。

図８（ａ）は、ダークチャンネル画像の一例を示す。ここでは、図８（ａ）に示す５×５画素のダークチャンネル画像から、参照画素値を抽出する場合を例にする。図８では、各画素に、左上から右下（図８における左上から右下）に向かって１〜２５の番号が割り当てられている。ダークチャンネル画像の各画素には、入力画像の各画素の画素値（Ｒｋ，Ｇｋ，Ｂｋ）［ｋ＝１〜２５］のうち、画素値が最も小さい色の画素値が割り当てられる。図８に示す円は、当該円が付された画素が、参照画素として選択された画素であることを示している。ステップＳ６０４では、入力画像のＲ画像、Ｇ画像、Ｂ画像の、参照画素に対応する画素の画素値が、参照画素値として抽出される。つまり、図８（ａ）に示すように、ダークチャンネル画像において画素３，１２，１３，１８が参照画素として選択された場合には、図８（ｂ）〜（ｄ）に示すように、Ｒ画像、Ｇ画像、Ｂ画像の画素３，１２，１３，１８の画素値が、それぞれ参照画素値として抽出される。このように、本実施例では、基準強度算出部３０３が、散乱光が支配的であると判定された画素の画素値を色ごとに抽出して基準強度を算出するので、散乱光の波長依存性を反映した基準強度を算出することができる。

ステップＳ６０５では、基準強度算出部３０３が、ステップＳ６０４の処理で抽出した参照画素値に基づいて、Ｒ，Ｇ，Ｂの各チャンネルに対応する、散乱光の基準強度Ａを算出する。ステップＳ６０４の処理でＲ画像、Ｇ画像、Ｂ画像について抽出された参照画素値をそれぞれＲｓ、Ｇｓ、Ｂｓとし、抽出された参照画素値の平均をそれぞれＡＲ，ＡＧ，ＡＢとすると、基準強度Ａは以下の式で表わされる。
ＡＲ＝ΣＲｓ／ｎ
ＡＧ＝ΣＧｓ／ｎ
ＡＢ＝ΣＢｓ／ｎ
Ａ＝（ＡＲ＋ＡＧ＋ＡＢ）／３ ・・・（数式４）

ここで、ｎは各画像における参照画素の数である。基準強度算出部３０３は、ステップＳ６０４の処理で抽出した参照画素値を数式４に代入して、基準強度Ａを算出する。

ステップＳ６０６では、基準強度算出部３０３が、ステップＳ６０５の処理で算出した散乱光の基準強度Ａを、透過率算出部３０５と散乱光除去部３０６と基準強度出力部３０９とに出力する。

以上が本実施例における散乱光の基準強度算出処理である。この処理では、ダークチャンネル画像に基づいて基準強度算出に用いる画素を決定するので、基準強度を正確に求めることができる。

［露出補正パラメータ算出］
以下、ステップＳ２０５の露出補正パラメータ算出処理について説明する。

図９は、実施例１における露出補正パラメータ算出部１０１４の内部構成を示すブロック図である。図９に示すように、露出補正パラメータ算出部１０１４は、入力画像取得部８０１と、透過率画像取得部８０２と、輝度信号算出部８０３と、平均輝度算出部８０４と、平均輝度透過率探索部８０５と、基準強度取得部８０６と、パラメータ算出部８０７と、パラメータ出力部８０８とを含む。

図１０は、実施例１における露出補正パラメータ算出部１０１４の処理を示すフローチャートである。本実施例では、ＲＯＭ１０４やＨＤＤ１０６に、図１０に示す処理を司るプログラムが格納されていて、ＣＰＵ１０２が、当該プログラムをロードして実行することにより、図９に示される各構成要素が機能する。なお、図９に示される全ての構成要素が露出補正パラメータ算出部１０１４に含まれていなくてもよく、各構成要素に対応する処理回路を画像処理装置１０１内に新たに設けるようにしてもよい。

まず、ステップＳ９０１では、入力画像取得部８０１が、ステップＳ４０１の処理においてＨＤＤ１０６に格納された入力画像データを、ＨＤＤ１０６から取得する。

ステップＳ９０２では、輝度信号算出部８０３が、ステップＳ９０１の処理で取得された、入力画像データから輝度信号を生成し、輝度画像データとして、平均輝度算出部８０４および平均輝度透過率探索部８０５に出力する。本実施例では、輝度信号算出部８０３は、次に示すような一般的な輝度信号の生成式を用いて、輝度信号を生成する。

上式は、入力画像データのＲＧＢ値から輝度Ｙを生成する式である。なお、輝度信号の生成式は、これに限定されるものではなく、数式５以外の式であってもよい。

ステップＳ９０３では、平均輝度算出部８０４が、輝度信号算出部８０３から出力された輝度画像データから、画像全体の平均輝度を算出する。そして、平均輝度算出部８０４は、算出した平均輝度を、平均輝度透過率探索部８０５、および、パラメータ算出部８０７に出力する。

ステップＳ９０４では、透過率画像取得部８０２が、図３に示すステップＳ２０４、具体的には図５に示すステップＳ４０７の処理でＲＡＭ１０３に格納された透過率画像データを取得し、平均輝度透過率探索部８０５に出力する。

ステップＳ９０５では、平均輝度透過率探索部８０５が、平均輝度、輝度画像データ、および透過率画像データを用いて、平均輝度に対応する透過率を探索する。そして、平均輝度透過率探索部８０５は、平均輝度に対応する透過率を、パラメータ算出部８０７に出力する。

ここで、図１１を用いて平均輝度に対応する透過率の探索処理について説明する。図１１は、平均輝度に対応する透過率の探索処理を説明するための説明図である。図１１には、三角の物体を撮影した入力画像の、輝度を示す輝度画像（図１１（ａ））と透過率を示す透過率画像（図１１（ｂ））とが示されている。ここで、平均輝度透過率探索部８０５が入力した平均輝度を、Ｙ０とする。すると、平均輝度透過率探索部８０５は、図１１（ａ）に示す輝度画像内において、Ｙ０と同輝度を示す１または複数の画素を含む、領域を探索する。図１１（ａ）において網掛けされた領域は、Ｙ０と同輝度を示す領域を表す。次いで、平均輝度透過率探索部８０５は、透過率画像内において、Ｙ０と同輝度を示す領域に対応する領域（図１１（ｂ）において網掛けされた領域）を探索する。最後に、平均輝度透過率探索部８０５は、図１１（ｂ）において網掛けされた領域の各画素位置における透過率を取得し、その平均値を、平均輝度に対応する透過率ｔ０として算出する。なお、ここでは、平均輝度透過率探索部８０５が、Ｙ０と同輝度を示す領域を探索しているが、平均輝度透過率探索部８０５は、Ｙ０に相当する輝度を示す領域を探索するようにしてもよい。例えば、Ｙ０が小数点付きの値である場合には、平均輝度透過率探索部８０５は、Ｙ０を四捨五入して整数化した値と同じ輝度を示す領域を探索するようにしてもよい。また例えば、平均輝度透過率探索部８０５は、Ｙ０との差があらかじめ定められた閾値以下の輝度を示す領域を探索するようにしてもよい。

ステップＳ９０６では、基準強度取得部８０６が、図３に示すステップＳ２０４、具体的には図５に示すステップＳ４０４の処理でＲＡＭ１０３に格納された基準強度を取得し、パラメータ算出部８０７に出力する。

ステップＳ９０７では、パラメータ算出部８０７が、ステップＳ９０３の処理で算出された平均輝度と、ステップＳ９０５の処理で算出された、平均輝度に対応する透過率と、ステップＳ９０６の処理で取得された基準強度とを用いて、次式によって露出補正パラメータαを算出する。

まず、パラメータ算出部８０７は、数式６を用いて、散乱光除去画像の平均輝度、すなわち散乱光の成分が除去された平均輝度Ｙ´を推測する。Ｙ０は、ステップＳ９０３の処理で算出された平均輝度である。Ａは、ステップＳ６０５の処理で算出された散乱光の基準強度である。次いで、パラメータ算出部８０７は、数式７により、すなわちＹ０をＹ´で除算することにより、露出補正パラメータαを算出する。

以上が本実施例における露出補正パラメータの算出方法である。

ここで、図１２を用いて、本実施例の効果を説明する。図１２は、実施例１の効果を説明するための説明図である。

図１２（ａ），（ｂ）には、入力画像から得られた輝度画像および透過率画像の一例が示されている。図１２（ａ），（ｂ）において、平均輝度Ｙ０（図１２（ａ）に示される各画素位置の輝度から算出された平均値１８２．８８≒１８３）に相当する輝度を有する画素位置が、網かけで示されている。図１２（ｂ）から、平均輝度に対応する透過率ｔ０が、０．２２であることがわかる。

図１２（ｃ）には、散乱光除去画像（上記入力画像に対して散乱光除去処理を行って得られた画像）から得られた輝度画像であって、露出補正前の輝度画像が示されている。図１２（ｃ）における平均輝度は、１５７．９６≒１５８であり、入力画素の平均輝度Ｙ０と差があることが分かる。すなわち、図１２（ｃ）によって示される露出補正前の画像の明るさは適正な明るさとは言えない。

ここで、散乱光の基準強度Ａは、１９０である。この値は、入力画像から得られた、Ｒ画像、Ｇ画像、Ｂ画像（図示せず）に対して、上記のステップＳ４０３の基準強度算出処理を適用することで得られた値である。すると、数式６により、Ｙ´は以下のように推測される。
Ｙ´＝（Ｙ０−Ａ）／ｔ０＋Ａ＝１５７．６４
算出されたＹ´が、図１２（ｃ）における平均輝度（＝１５７．９６）に近い値になっていることから明らかなように、数式６を用いることにより、散乱光除去画像の平均輝度を正確に推測することができる。

そして、推測したＹ´でＹ０を除算することにより、αは以下のように算出される。
α＝Ｙ０／Ｙ´＝１８２．８８／１５７．６４≒１．１６
図１２（ｄ）には、散乱光除去画像（上記入力画像に対して散乱光除去処理を行って得られた画像）から得られた輝度画像であって、算出されたαを用いて露出補正を行った後の輝度画像が示されている。図１２（ｄ）における平均輝度は、１８３．６≒１８４であり、図１２（ａ）における平均輝度Ｙ０≒１８３に近い値になっていることが分かる。すなわち、散乱光除去処理後の画像に、本実施例における露出補正を適用することにより、散乱光除去処理後の画像の明るさを、適正な明るさにすることができることが分かる。

このように、本実施例では、入力画像の適正露出値（本実施例における、平均輝度に相当）とそれに対応する透過率（本実施例における、平均輝度に対応する透過率に相当）とを用いて、数式６により、入力画像の適正露出値がどのように変動するかを推測する。したがって、画像のヒストグラム等を算出し、そこからヒストグラム拡張などを用いて露出補正する、一般的な技術と比べて、本実施例では、ヒストグラムなどを算出する必要がなく、より簡易に露出補正を行うことができる。また、そのような推測にもとづく露出補正を行うことにより、図１２に示されるように、散乱光除去処理後の画像の明るさを適正な明るさにすることができる。

なお、本実施例では、適正露出値を示す指標として、平均輝度を例としているが、平均輝度以外のパラメータ、例えば撮像装置に内蔵される露出計から取得される、撮影シーンのおおよその輝度を、適正露出値として用いるようにしてもよい。そのような形態によれば、入力画像の適正露出値がどのように変動するかをより簡易に推測することができる。

［実施例２］
実施例１では、平均輝度を算出し、算出した平均輝度に対応する透過率を探索することで、露出補正パラメータを算出する場合を例にした。本実施例では、まず、平均透過率を算出し、その後平均透過率に対応する輝度を探索することで、露出補正パラメータを算出する。

本実施例における画像処理装置は、露出補正パラメータ算出部１０１４の代わりに、露出補正パラメータ算出部２０１４を備える。本実施例における、画像処理装置のその他の構成、および、画像処理装置の全体処理の流れは、実施例１と同様である。したがって、以下では、本実施例における露出補正パラメータ算出処理についてのみ説明する。

図１３は、実施例２における露出補正パラメータ算出部２０１４の内部構成を示すブロック図である。図１３に示すように、実施例２における露出補正パラメータ算出部２０１４は、入力画像取得部８０１と、透過率画像取得部８０２と、輝度信号算出部８０３と、平均透過率算出部１１０１と、平均透過率輝度探索部１１０２と、基準強度取得部８０６と、パラメータ算出部８０７と、パラメータ出力部８０８とを含む。

図１４は、実施例２における露出補正パラメータ算出部２０１４の処理を示すフローチャートである。本実施例では、ＲＯＭ１０４やＨＤＤ１０６に、図１４に示す処理を司るプログラムが格納されていて、ＣＰＵ１０２が、当該プログラムをロードして実行することにより、図１３に示される各構成要素が機能する。なお、図１３に示される全ての構成要素が露出補正パラメータ算出部に含まれていなくてもよく、各ブロックに対応する処理回路を画像処理装置内に新たに設けるようにしてもよい。

まず、ステップＳ１２０１では、入力画像取得部８０１が、ステップＳ４０１の処理においてＨＤＤ１０６に格納された入力画像データを、ＨＤＤ１０６から取得する。

ステップＳ１２０２では、輝度信号算出部８０３が、ステップＳ９０１の処理で取得された入力画像データから輝度信号を生成し、輝度画像データとして、平均透過率輝度探索部１１０２に出力する。なお、輝度信号を生成する処理は、ステップＳ９０２の処理と同様である。

ステップＳ１２０３では、透過率画像取得部８０２が、図３に示すステップＳ２０４、具体的には図５に示すステップＳ４０７の処理でＲＡＭ１０３に格納された透過率画像データを取得し、平均透過率算出部１１０１に出力する。

ステップＳ１２０４では、平均透過率算出部１１０１が、ステップＳ１２０３の処理で取得された透過率画像データから、画像全体の平均透過率を算出する。そして、平均透過率算出部１１０１は、算出した平均透過率を、平均透過率輝度探索部１１０２に出力する。

ステップＳ１２０５では、平均透過率輝度探索部１１０２が、平均透過率、輝度画像データ、および透過率画像データを用いて、平均透過率に対応する輝度を探索する。そして、平均透過率輝度探索部１１０２は、平均透過率に対応する輝度を、パラメータ算出部８０７に出力する。なお、平均透過率に対応する輝度の探索処理は、ステップＳ９０５における平均輝度に対応する透過率の探索処理と同様にして行われる。簡単に説明すると、まず、平均透過率輝度探索部１１０２は、透過率画像データを用いて、入力した平均透過率に相当する透過率を示す画素位置を探索する。次いで、平均透過率輝度探索部１１０２は、探索した各画素位置における輝度を、輝度画像データから取得する。そして、平均透過率輝度探索部１１０２は、取得した輝度の平均値を、平均透過率に対応する輝度として算出する。

ステップＳ１２０６では、基準強度取得部８０６が、図３に示すステップＳ２０４、具体的には図５に示すステップＳ４０４の処理でＲＡＭ１０３に格納された基準強度を取得し、パラメータ算出部８０７に出力する。

ステップＳ１２０７では、パラメータ算出部８０７が、ステップＳ１２０４の処理で算出された平均透過率と、ステップＳ１２０５の処理で算出された平均透過率に対応する輝度と、ステップＳ１２０６で取得された基準強度とを用いて、式６，７によって露出補正パラメータαを算出する。なお、このとき、式６のＹ０には、平均輝度の代わりに、ステップＳ１２０５の処理で算出された平均透過率に対応する輝度が設定される。また、式６のｔ０には、平均輝度に対応する透過率の代わりに、ステップＳ１２０４の処理で算出された平均透過率が設定される。

以上が本実施例における露出補正パラメータの算出方法である。

以上に説明したように、本実施例では、入力画像の適正露出値（本実施例における、平均透過率に対応する輝度に相当）とそれに対応する透過率（本実施例における、平均透過率に相当）とを用いて、数式６により、入力画像の適正露出値がどのように変動するかを推測する。そのような形態により、実施例１と同様に、ヒストグラムなどを算出する必要がなく、より簡易に露出補正を行うことができる。また、そのような推測にもとづく露出補正を行うことにより、散乱光除去処理後の画像の明るさを適正な明るさにすることができる。

なお、上記実施例では、基準強度の出力および透過率画像の出力まで行う例について記載しているが、これらは必要に応じてスキップしてよく、少なくとも散乱光除去画像の出力ができればよい。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 画像処理装置
１０１４ 露出補正パラメータ算出部
１０１５ 露出補正部

Claims (14)

1. 散乱光の影響を低減するためのコントラスト補正がなされた処理画像の、明るさを調整する画像処理装置であって、
   前記コントラスト補正がなされる前の入力画像の輝度の平均値を取得する取得手段と、
   前記入力画像の輝度に基づいて、前記処理画像の輝度の平均値を推測する推測手段と、
   前記入力画像の輝度の平均値と、前記推測手段で推測された前記処理画像の輝度の平均値とに基づいて、露出補正パラメータを算出するパラメータ算出手段と、
   前記処理画像に対して、前記露出補正パラメータを用いて露出補正を行う露出補正手段とを備える
   ことを特徴とする画像処理装置。
2. 前記入力画像から前記散乱光の基準強度を導出する基準強度導出手段と、
   前記取得手段が取得した輝度の平均値に相当する輝度を有する１または複数の画素位置の透過率を用いて、透過率の平均値を算出する透過率算出手段とを有し、
   前記推測手段は、前記入力画像の輝度の平均値と前記透過率算出手段で算出された透過率の平均値、および前記基準強度導出手段で導出された前記散乱光の基準強度に基づいて、前記処理画像の輝度の平均値を推測する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記入力画像から前記散乱光の基準強度を導出する基準強度導出手段と、
   前記入力画像の各画素の透過率を算出した後に、透過率の平均値を算出する透過率算出手段と、を更に備え、
   前記推測手段は、前記取得手段で取得された輝度の平均値、前記透過率算出手段で算出された透過率の平均値、および前記基準強度導出手段で導出された前記散乱光の基準強度に基づいて、前記処理画像の輝度の平均値を推測する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記パラメータ算出手段は、前記入力画像の輝度の平均値から、前記処理画像の輝度の平均値を除算して、前記露出補正パラメータを算出する
   請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記取得手段は、前記入力画像の輝度の平均値として、撮像装置に内蔵される露出計から取得される輝度を取得する
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 撮像することで得られた撮像画像を取得する取得手段と、
   取得した撮像画像に対して、画素位置ごとに、画素値に含まれる散乱光の成分を除去するコントラスト補正を行って、処理画像を生成する生成手段と、
   前記撮像画像の輝度の平均値と当該輝度に対応する透過率とに基づいて、前記処理画像の輝度の平均値を推測する推測手段と、
   前記撮像画像の輝度の平均値と、前記推測手段で推測された前記処理画像の輝度の平均値とに基づいて、露出補正パラメータを算出するパラメータ算出手段と、
   前記処理画像に対して、前記露出補正パラメータを用いて露出補正を行う露出補正手段とを備える
   ことを特徴とする画像処理装置。
7. 前記各手段が画像の局所領域ごとになされることを特徴とする請求項１から請求項６のうちのいずれか１項に記載の画像処理装置。
8. 散乱光の影響を低減するためのコントラスト補正がなされた処理画像の、明るさを調整する画像処理装置であって、
   前記コントラスト補正がなされる前の入力画像の輝度の平均値を算出する算出手段と、
   前記入力画像の輝度の平均値に基づいて、露出補正パラメータを算出するパラメータ算出手段と、
   前記処理画像に対して、前記露出補正パラメータを用いて露出補正を行う露出補正手段と、
   前記入力画像から前記散乱光の基準強度を導出する基準強度導出手段と、
   前記入力画像における、輝度の平均値に相当する輝度を有する１または複数の画素位置の透過率について、平均値を算出する透過率算出手段と
   前記入力画像の輝度の平均値、前記透過率算出手段で算出された透過率の平均値、および前記基準強度導出手段で導出された前記散乱光の基準強度に基づいて、前記処理画像の輝度の平均値を推測する推測手段とを備え、
   前記露出補正手段は、前記入力画像の輝度の平均値と前記処理画像の輝度の平均値とに基づいて、前記露出補正パラメータを算出する
   ことを特徴とする画像処理装置。
9. 散乱光の影響を低減するためのコントラスト補正がなされた処理画像の、明るさを調整する画像処理装置であって、
   前記コントラスト補正がなされる前の入力画像の輝度の平均値を算出する算出手段と、
   前記入力画像の輝度の平均値に基づいて、露出補正パラメータを算出するパラメータ算出手段と、
   前記処理画像に対して、前記露出補正パラメータを用いて露出補正を行う露出補正手段と、
   前記入力画像から前記散乱光の基準強度を導出する基準強度導出手段と、
   前記入力画像の透過率の平均値を算出する透過率算出手段と、
   推測手段とを備え、
   前記算出手段は、前記入力画像における、前記透過率算出手段で算出された透過率の平均値に相当する透過率を有する１または複数の画素位置の輝度について、平均値を算出し、
   前記推測手段は、前記算出手段で算出された輝度の平均値、前記透過率算出手段で算出された透過率の平均値、および前記基準強度導出手段で導出された前記散乱光の基準強度に基づいて、前記処理画像の輝度の平均値を推測し、
   前記露出補正手段は、前記入力画像における輝度の平均値と前記処理画像の輝度の平均値とに基づいて、前記露出補正パラメータを算出する
   ことを特徴とする画像処理装置。
10. 請求項１から請求項９のうちのいずれか１項に記載の画像処理装置を備える撮像装置。
11. 散乱光の影響を低減するためのコントラスト補正がなされた処理画像の、明るさを調整する画像処理方法であって、
    前記コントラスト補正がなされる前の入力画像の輝度の平均値を取得する取得ステップと、
    前記入力画像の輝度に基づいて、前記処理画像の輝度の平均値を推測する推測ステップと、
    前記入力画像の輝度の平均値と、前記推測ステップで推測された前記処理画像の輝度の平均値とに基づいて、露出補正パラメータを算出するパラメータ算出ステップと、
    前記処理画像に対して、前記露出補正パラメータを用いて露出補正を行う露出補正ステップとを含む
    ことを特徴とする画像処理方法。
12. 散乱光の影響を低減するためのコントラスト補正がなされた処理画像の、明るさを調整する画像処理方法であって、
    前記コントラスト補正がなされる前の入力画像の輝度の平均値を算出する算出ステップと、
    前記入力画像の輝度の平均値に基づいて、露出補正パラメータを算出するパラメータ算出ステップと、
    前記処理画像に対して、前記露出補正パラメータを用いて露出補正を行う露出補正ステップと、
    前記入力画像から前記散乱光の基準強度を導出する基準強度導出ステップと、
    前記入力画像における、輝度の平均値に相当する輝度を有する１または複数の画素位置の透過率について、平均値を算出する透過率算出ステップと
    前記入力画像の輝度の平均値、前記透過率算出ステップで算出された透過率の平均値、および前記基準強度導出ステップで導出された前記散乱光の基準強度に基づいて、前記処理画像の輝度の平均値を推測する推測ステップとを含み、
    前記露出補正ステップは、前記入力画像の輝度の平均値と前記処理画像の輝度の平均値とに基づいて、前記露出補正パラメータを算出する
    ことを特徴とする画像処理方法。
13. 散乱光の影響を低減するためのコントラスト補正がなされた処理画像の、明るさを調整する画像処理装置であって、
    前記コントラスト補正がなされる前の入力画像の輝度の平均値を算出する算出ステップと、前記入力画像の輝度の平均値に基づいて、露出補正パラメータを算出するパラメータ算出ステップと、
    前記処理画像に対して、前記露出補正パラメータを用いて露出補正を行う露出補正ステップと、
    前記入力画像から前記散乱光の基準強度を導出する基準強度導出ステップと、
    前記入力画像の透過率の平均値を算出する透過率算出ステップと、
    推測ステップとを含み、
    前記算出ステップは、前記入力画像における、前記透過率算出ステップで算出された透過率の平均値に相当する透過率を有する１または複数の画素位置の輝度について、平均値を算出し、
    前記推測ステップは、前記算出ステップで算出された輝度の平均値、前記透過率算出ステップで算出された透過率の平均値、および前記基準強度導出ステップで導出された前記散乱光の基準強度に基づいて、前記処理画像の輝度の平均値を推測し、
    前記露出補正ステップは、前記入力画像における輝度の平均値と前記処理画像の輝度の平均値とに基づいて、前記露出補正パラメータを算出する
    ことを特徴とする画像処理方法。
14. コンピュータを請求項１から請求項９のうちのいずれか１項に記載の画像処理装置として機能させるプログラム。