JP6436158B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法及びプログラムを記憶した記憶媒体に関する。

野外の撮影環境は、霧・靄・霞などの悪天候時における水粒子、煙、砂塵、又は、粉塵などのような、大気中に漂う細かい粒子（以下、まとめて「霞など」とも呼ぶ場合もある）が含まれる場合がある。そのような撮影環境では、図７に示されるように、撮影対象となる物体からの反射光は、撮影装置であるカメラまでの経路を進む間に、大気中の粒子に基づいて拡散される。その結果、物体からの反射光は、減衰して、カメラセンサに到達する。また、同様に、環境光は、大気中の粒子に拡散されて、カメラセンサに到達する。そのため、カメラセンサに照射される光（観測光）は、減衰した物体からの反射光と拡散された環境光との混合光となる。その結果、カメラセンサにおける撮影画像は、白く霞んだような劣化成分が含まれる画像となる。

カメラセンサの画素位置xにおける波長λの観測光I(x,λ)は、同位置における反射光J(x,λ)と環境光A(λ)とを用いて、式（１）で表される。ここで、式（１）における「t(x,λ)」は、反射光の透過率を表す。環境の大気の状態が均一である場合、t(x,λ)は、単位距離当たりの拡散係数（k(λ)）と、カメラセンサから物体までの距離（d(x)）とを用いて、式（２）のように表される。

また、可視光波長領域の場合、大気中の粒子に基づく拡散は、波長が異なっても同一とみなすことができる。そのため、観測光I(x,λ)及び透過率t(x)は、式（３）及び式（４）のように表すことができる。

このような環境で撮影された画像から大気中の粒子に基づく画像劣化（霞などの影響）を除去する画像復元（推定）技術は、観測光I(x,λ)から、減衰していない物体からの反射光J(x,λ)を推定する。具体的には、画像復元技術は、反射光の透過率t(x)を推定し、反射光J(x,λ)を式（５）のように算出する。

このような画像復元（推定）技術は、観測光I(x,λ)から、反射光J(x,λ)及び透過率t(x)の２つの情報を、画素毎に推定することが、必要である。そのため、このような画像復元技術は、解が見つからない不良設定問題となる。そのため、このような画像復元技術における反射光J(x,λ)及び透過率t(x)の最適解の推定には、環境についての何らかの事前知識が必要である。

反射光又は透過率を推定して霞などに基づく画像劣化の影響を除去する技術は、これまでいくつか提案されている。それらのうち、１枚の画像を基に補正処理を実行する手法について、非特許文献１、非特許文献２を参照して説明する。

非特許文献１に記載の手法は、事前知識として、統計的知見を用いる。それは、一般的に、霞などがかかっていない状況での自然画像には、注目画素周辺に、カラーチャネルRGBのいずれかのチャネルで、その値が０となる画素が存在するという知見である。そして、非特許文献１に記載の手法は、その統計的知見に基づいて、復元画像を生成する手法である。そのため、注目画素周辺に、いずれのチャネルでも値が０となる画素が存在しない場合、非特許文献1に記載の手法は、値が０とならないことを、霞などに基づく環境光の重畳の影響とみなす。そして、非特許文献1に記載の手法は、注目画素周辺の画素のチャネルの値を基に、透過率を算出する。

また、非特許文献２に記載の手法は、事前知識として、物体のテクスチャと物体までの距離（霞などの劣化過程に基づく環境光の重畳の度合い）の無相関性を用いる。そして、非特許文献２に記載の手法は、上記の無相関性に着目して、反射光と環境光とを分離する手法である。

Kaiming He, Jian Sun, and Xiaou Tang, "Single Image Haze Removal Using Dark Channel Prior", IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 33, Issue 12, September 09, 2010 Raanan Fattal, "Single Image Dehazing", ACM Transactions on Graphics, Volume 27, Issue 3, August 2008 (ACM SIGGRAPH 2008)

上述した非特許文献１及び非特許文献２に記載の霞などの劣化成分の除去方法は、環境光が一様に照射され、撮影環境内の各位置における環境光の照射量が同一であることを前提としている。しかし、ライトのような照明光を利用して撮影する場合、撮影環境内の各位置における環境光の照射量は、同一ではない。そのため、照明光を利用して撮影する場合、非特許文献１及び非特許文献２に記載の方法は、撮影画像における画像劣化成分を除去してその画像を復元する際に、正しく動作しないという問題点があった。

例えば、図８に示されるように、撮影対象がカメラ及び照明から離れるほど、照明光は、経路中の大気中の粒子に基づいて減衰する。遠方の撮影対象ほど、弱い照明光が、照射される。つまり、撮影環境内の各位置における照明に基づく照明光の照射量は、変動する。そのため、撮影環境と式（１）及び式（３）のモデル式とが、一致しない。このように、非特許文献１及び非特許文献２に記載の方法は、照明光を利用した撮影画像を正しく補正できないという問題点があった。

本発明は、上記問題点に鑑みて発明されたものである。本発明の目的は、撮影環境内の各位置にける照明光が同一に照射されていない環境で撮影された画像の画像劣化を適切に補正することができる画像処理装置、撮像装置、画像処理方法及びプログラムを記憶した記憶媒体を提供することにある。

本発明の一形態のおける画像処理装置は、撮影対象の画像である撮影画像と、撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、撮影対象の表面における反射光を復元する反射光復元手段と、復元した反射光を基に照明光を復元し、復元した照明光と撮影画像とを基に撮影画像を復元した出力画像を生成する照明光復元手段とを含む。

本発明の一形態のおける撮像装置は、上記の画像装置と、撮影画像を撮影又は受信する受信手段と、出力画像を出力する出力手段とを含む。

本発明の一形態のおける画像処理方法は、撮影対象の画像である撮影画像と、撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、撮影対象の表面における反射光を復元し、復元した反射光を基に照明光を復元し、復元した照明光と撮影画像とを基に撮影画像を復元した出力画像を生成する。

本発明の一形態のおけるプログラムを記憶した記憶媒体は、撮影対象の画像である撮影画像と、撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、撮影対象の表面における反射光を復元する処理と、復元した反射光を基に照明光を復元し、復元した照明光と撮影画像とを基に撮影画像を復元した出力画像を生成する処理とをコンピュータに実行させるプログラムを格納する。

本発明は、照明光が同一に照射されていない環境で撮影された画像の画像劣化を適切に補正する効果を奏することができる。

図１は、本発明における第１の実施の形態に係る撮像装置の構成の一例を示すブロック図である。 図２は、第１の実施の形態に係る画像処理装置の構成の一例を示すブロック図である。 図３は、第１の実施の形態に係る霞除去部の構成の一例を示すブロック図である。 図４は、第２の実施の形態に係る画像処理装置の構成の一例を示すブロック図である。 図５は、第３の実施の形態に係る画像処理装置の構成の一例を示すブロック図である。 図６は、第４の実施の形態に係る撮像装置の構成の一例を示すブロック図である。 図７は、環境光が照射される撮影環境の一例を表すモデル図である。 図８は、照明光が照射される撮影環境の一例を表すモデル図である。 図９は、変形例に係る情報処理装置の構成の一例を示すブロック図である。

次に、本発明の実施形態について図面を参照して説明する。

なお、各図面は、本発明の実施形態を説明するものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。

また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。

＜第１の実施の形態＞
まず、本発明における第１の実施の形態に係る撮像装置４を説明する。

図１は、本発明の第１の実施の形態に係る撮像装置４の構成の一例を示すブロック図である。

第１の実施の形態に係る撮像装置４は、撮像部１と、画像処理装置２と、出力部３とを含む。

撮像部１は、撮影対象の撮影画像（I(x,λ）)を撮像する。撮像部１は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いたイメージセンサを含んで構成される。なお、撮像部１は、図示しない撮像機器から撮影対象の画像を受信してもよい。そのため、撮像部１は、受信部とも呼ばれる。なお、撮影画像I(x,λ)は、イメージセンサが検出した光を基に生成されるため、背景技術における観測光I(x,λ)にも相当する。

画像処理装置２は、撮影対象に照射される照明光の大気中の粒子（例えば、霞など）に基づく減衰又は拡散の少なくともいずれかを基に、撮影画像I(x,λ)の画像劣化（例えば、霞に基づく劣化成分）を補正する。具体的には、画像処理装置２は、照明光の大気中の粒子に基づく拡散光を基に、撮影対象からの反射光の減衰分を復元する。そして、画像処理装置２は、拡散光と復元された反射光とを基に、照明光の減衰分を復元する。そして、画像処理装置２は、復元された照明光を基に、撮影画像I(x,λ)を補正（復元）し、出力画像O(x,λ)を生成する。そのため、画像処理装置２は、補正部と呼んでもよい。また、出力画像O(x,λ)は、補正された撮影画像でもある。あるいは、出力画像O(x,λ)は、劣化除去画像でもある。

出力部３は、画像処理装置２が生成した出力画像O(x,λ)、すなわち、補正された撮影画像I(x,λ)を出力する。出力部３は、例えば、ディスプレイ又はプリンターである。

次に、画像処理装置２を詳細に説明する。

図２は、第１の実施の形態における画像処理装置２のブロック図である。

第１の実施の形態の画像処理装置２は、照明光色推定部１１と、骨格成分抽出部１２と、照明重畳率推定部１３と、霞除去部１４とを含む。

照明光色推定部１１は、撮影環境における環境光として、照明光の色の情報である照明光色A(λ)を推定する。本実施形態における照明光色A(λ)の推定方法は、特に制限はない。照明光色A(λ)の推定方法の一つに、各波長における光量の強度ヒストグラムを生成し、予め設定されたパラメータ（α）を用いて、各波長の上位α％の強度の光量の値を照明光色A(λ)とする方法がある。また、本実施形態は、非特許文献１又は非特許文献２に記載の方法を用いてもよい。

骨格成分抽出部１２は、撮影画像I(x,λ)から、画像中の細かな変動を除去し、画素値の変動が少ない平坦領域部と変動が大きい強エッジ部とから構成される画像内の大局的な構造（例えば、画像内の平坦領域部の色又は明るさ）を抽出する。以下、大局的な構造を、骨格成分（B(x,λ)）と呼ぶ。本実施形態における骨格成分Ｂ(x,λ)を抽出する方法は、特に制限はない。骨格成分B(x,λ)を抽出する方法の一例として、全変分ノルム最小化を用いる方法がある。全変分ノルム最小化を用いる方法は、画像内の振動成分を除去する技術に関する方法である。この方法は、画像（ここでは、撮影画像I(x,λ)）を用いて、式（６）で表される最小化問題を解くことに基づいて得られる情報に基づいて、画像の骨格成分B(x,λ)を抽出する。ここで、μは、予め設定されている除去する振動量を制御するためのパラメータである。また、全変分ノルム最小化を用いる方法は、細かな振動成分を除去するだけではなく、多重解像度解析と組み合わせると、ある程度広い周期を持つ（低周波な）振動を除去できる。なお、式（６）の括弧内の第１項の積分は、骨格成分Ｂ(x,λ)の全変分のxy平面上での積分である。また、第２項は、撮像画像I(x,λ)と骨格成分Ｂ(x,λ)との差分の２次元ノルムの２乗とμ／２との乗算である。なお、式（６）では、「(x,λ)」の記載を省略する。「ｍｉｎ」の下の「∪」は、全てを含むことを示す記号（カップ）である。つまり、式（６）は、想定可能な全ての場合の中の最小を示す。

照明重畳率推定部１３は、照明重畳率c(x)として、照明光色A(λ)と骨格成分B(x,λ)とを用いて、各画素における、出射時の照明光と、大気中の粒子に拡散された結果としてカメラセンサに到達した照明光との比率を推定する。つまり、照明重畳率推定部１３は、照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を推定する。このように、照明重畳率c(x)は、照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す値である。

画素位置xにおける照明重畳率c(x)の算出式の一例を、式（７）に示す。ただし、k₁は、所定の比率を表すパラメータである。

比率k₁は、例えば、注目画素周辺の明度lumi(x)を用いて、式（８）のように変更してもよい。ただし、k_1max及びth₁は、予め設定されたパラメータである。

明度lumi(x)の算出方法の２つの例を、式（９）及び式（１０）に示す。

また、照明重畳率c(x)は、予め設定された最大値th₂を超えた場合、式（１１）のようにクリップ処理を施し、最大値を超えないように調整されてもよい。

霞除去部１４は、撮影画像I(x,λ)と照明光色A(λ)と照明重畳率c(x)とを基に、霞などに基づく劣化成分を除去して補正された画像である出力画像O(x,λ)を生成する。つまり、霞除去部１４は、撮影画像I(x,λ)から、撮影対象に照射される照明光の大気中の粒子に基づく拡散光を除去し、撮影対象の反射光の減衰分を復元する。さらに、霞除去部１４は、撮影対象に照射される照明光の減衰分を復元することに基づいて、出力画像O(x,λ)を生成する。

そのため、霞除去部１４は、図３に示すように、反射光復元部２１と照明光復元部２２とを含む。

反射光復元部２１は、撮影画像I(x,λ)から照明光に基づく拡散光を除去し、さらに、撮影対象からカメラセンサまでの間の経路における大気中の粒子に基づく反射光の減衰を復元する。この処理を基に、反射光復元部２１は、撮影物体の表面における反射光D₁(x,λ)を復元する。反射光D₁(x,λ)を復元する具体的な方法の一例として、反射光D₁(x,λ)、入力画像I(x,λ)、照明光色A(λ)及び照明重畳率c(x)の関係が、式（１）で表される環境と十分近似していると見なして、式（１２）のように、算出する方法がある。

また、反射光復元部２１は、過去の撮影環境との違い又は照明重畳率c(x)の推定誤差に基づく影響を低減するために、所定のパラメータk₂を用いて式（１３）のように反射光D₁(x,λ)を算出する方法を用いてもよい。あるいは、反射光復元部２１は、式（１４）に示す所定のパラメータk₃を用いて算出される指数値γを用いて、式（１５）のように反射光D₁(x,λ)を算出する方法を用いてもよい。

また、反射光復元部２１は、式（１３）と式（１５）の算出方式の混合方式として、式（１６）のように算出される照明重畳率c(x)の最小値c_minを用いてもよい。例えば、反射光復元部２１は、式（１７）のように、仮補正結果D'₁(x,λ)を算出し、式（１８）で決定される指数値γ'を用いて、式（１９）のようにD'₁(x,λ)を補正して反射光D₁(x,λ)を算出する方式を用いてもよい。

照明光復元部２２は、反射光復元部２１で生成された撮影物体の表面における反射光D₁(x,λ)を基に、撮影対象に照射される照明光における拡散又は減衰を復元する。そして、照明光復元部２２は、拡散又は減衰を復元した照明光を基に、撮影画像I(x,λ)から出力画像O(x,λ)を生成する。出力画像O(x,λ)の生成方法する例として、所定のパラメータk₄を用いて式（２０）のように算出する方法、又は、式（２１）のように所定のパラメータk₅を用いて算出される指数値γ₂(x)を用いて、式（２２）のように算出する方法がある。

第１の実施の形態は、夜間又はトンネル内等の暗い環境下で、例えば、撮像装置４（例えば、カメラ）に近接されたライトで照らした映像において、大気中の粒子（例えば、霞など）に基づく画像劣化を除去し、照明光の減衰に基づく影響を復元する。よって、第１の実施の形態は、ライトのような照明光を利用して撮影した場合でも、高品質な画像を生成することができる効果を奏することができる。

その理由は、次のとおりである。

照明光色推定部１１が、照明光色A(λ)を推定する。骨格成分抽出部１２が、撮影画像の骨格成分B(x,λ)を抽出する。照明重畳率推定部１３が、照明重畳率c(x)を推定する。そして、霞除去部１４が、撮影画像I(x,λ)と照明光色A(λ)と照明重畳率c(x)とを基に、霞等の画像劣化要因を補正した出力画像O(x,λ)を生成するためである。

＜第２の実施の形態＞
第２の実施の形態を説明する。

図４は、本発明における第２の実施の形態に係る画像処理装置２の構成の一例を示すブロック図である。

第２の実施の形態に係る画像処理装置２は、照明光色推定部１１と、骨格成分抽出部１２と、照明重畳率推定部１３と、霞除去部１４と、露光補正部１５とを含む。このように、第２の実施の形態に係る画像処理装置２は、第１の実施の形態に係る画像処理装置２と比較して、露光補正部１５を含む点で異なる。第２の実施の形態に係る画像処理装置２の他の構成は、第１の実施の形態の画像処理装置２と同様である。また、撮像装置４における撮像部１及び出力部３も、同様である。そのため、同様の構成の説明を省略し、以下、本実施の形態に特有の露光補正部１５の動作を説明する。

露光補正部１５は、霞除去部１４から出力された劣化成分を除去した出力画像O(x,λ)（第１の出力画像）を基に、画像全体の明るさを調整した出力画像O₂(x,λ)（第２の出力画像、又は、露光補正画像と呼ぶ）を生成する。一般に、画像撮影は、撮影環境に対して、カメラセンサが受光する光量のダイナミックレンジを適切に設定して、実行される。霞除去部１４で実行される補正は、霞んでいる環境における撮影画像I(x,λ)から、霞んでいない環境における出力画像O(x,λ)へと、撮影環境を仮想的に変更する。そのため、劣化を除去した第１の出力画像O(x,λ)のダイナミックレンジと撮影時に撮像装置４で設定されたダイナミックレンジとが異なる場合がある。例えば、劣化を除去した出力画像O(x,λ)が、明るすぎたり、暗すぎたりする場合がある。そこで、露光補正部１５は、劣化を除去した第１の出力画像O(x,λ)を、適切なダイナミックレンジを設定するように補正し、第２の出力画像O₂(x,λ)を生成する。このように、第２の出力画像O_２(x,λ)は、補正された撮影画像であり、特に、適切なダイナミックレンジとなるように露光が補正された画像である。

露光補正部１５が第２の出力画像O₂(x,λ)の生成する方式の一例として、式（２３）のように、第１の出力画像O(x,λ)内の最大値を基に、第１の出力画像O(x,λ)を正規化して、第２の出力画像O_２(x,λ)を生成する方法がある。

また、露光補正部１５は、第１の出力画像O(x,λ)の平均輝度値（ave）と、予め設定された目標値である平均輝度値（tar）とを用いてもよい。すなわち、露光補正部１５は、第１の出力画像O(x,λ)の平均輝度値aveを算出し、平均輝度値aveを予め設定された目標値である平均輝度値tarに変換する指数値γ₃を式（２４）のように算出する。そして、露光補正部１５は、式（２５）のように指数値γ_３を用いて第１の出力画像O(x,λ)を補正し、第２の出力画像O_２(x,λ)を生成してもよい。

第２の実施の形態は、第１の実施の形態の効果に加え、適切なダイナミックレンジの画像を得るという効果を奏することができる。

その理由は、露光補正部１５が、第１の出力画像O(x,λ)のダイナミックレンジを適切に補正した第２の出力画像O_２(x,λ)を生成するためである。

＜第３の実施の形態＞
第３の実施の形態を説明する。

図５は、第３の実施の形態に係る画像処理装置２の構成の一例を示すブロック図である。

第３の実施の形態に係る画像処理装置２は、照明光色推定部１１と、骨格成分抽出部１２と、照明重畳率推定部１３と、霞除去部１４'と、露光補正部１５'と、テクスチャ成分算出部１６と、テクスチャ成分修正部１７とを有する。

このように、第３の実施の形態に係る画像処理装置２は、第２の実施の形態に係る画像処理装置２と比較して、テクスチャ成分算出部１６とテクスチャ成分修正部１７とを含む点で異なる。さらに、第３の実施の形態に係る画像処理装置２は、霞除去部１４及び露光補正部１５に換えて、霞除去部１４'と露光補正部１５'とを含む点が異なる。第３の実施の形態に係る画像処理装置２の他の構成は、第１又は第２の実施の形態の画像処理装置２と同様である。また、撮像装置４における撮像部１及び出力部３も、同様である。そのため、同様の構成の説明を省略し、以下、テクスチャ成分算出部１６と、テクスチャ成分修正部１７と、霞除去部１４'と、露光補正部１５'との動作を説明する。

テクスチャ成分算出部１６は、撮影画像I(x,λ)と骨格成分B(x,λ)との差分（残差）である画像内の細かい模様（テクスチャ成分又はノイズ成分）を表す成分（以下、テクスチャ成分T(x,λ)とする）を式（２６）のように算出する。

霞除去部１４'は、霞除去部１４と同様に撮影画像I(x,λ)から画像劣化を除去した第１の出力画像O(x,λ)を生成する。さらに、霞除去部１４'は、骨格成分B(x,λ)（第１の骨格成分）に同様の処理を適用して補正し、補正した劣化成分を除去した骨格成分B₁(x,λ)（第２の骨格成分）を生成する。つまり、第２の骨格成分B₁(x,λ)は、劣化成分を除去された骨格成分である。なお、より具体的には、照明光復元部２２が、復元した照明光を基に、上記処理を実行する。

露光補正部１５'は、露光補正部１５と同様に第１の出力画像O(x,λ)から第２の出力画像O₂(x,λ)を生成する。さらに、露光補正部１５'は、劣化成分を除去した第２の骨格成分B₁(x,λ)に同様の処理を適用、露光を補正した骨格成分B₂(x,λ)（第３の骨格成分）を生成する。

テクスチャ成分修正部１７は、霞除去部１４'及び露光補正部１５'の処理に基づいて発生する第２の出力画像O₂(x,λ)内のテクスチャの過度な強調又はノイズの増幅を抑圧して、テクスチャ成分を修正した第３の出力画像O₃(x,λ)を生成する。このように、第３の出力画像O_３(x,λ)は、補正された撮影画像でもある。

第３の出力画像O_３(x,λ)におけるテクスチャ成分T₂(x,λ)（第２のテクスチャ成分）は、第２の出力画像O₂(x,λ)及び露光補正骨格成分B₂(x,λ)（第３の骨格成分）を用いて、式（２７）のように算出される。

テクスチャの過度な強調を抑制する方法の一例として、次のような方法がある。この方法は、まず、補正処理に基づくテクスチャの増幅率r(x,λ)を式（２８）のように算出する。そして、この方法は、予め設定された増幅率の上限値r_maxを利用して、式（２９）のように過度な強調を抑制したテクスチャ成分T₃(x,λ)（第３のテクスチャ成分）を算出する。

また、テクスチャ成分に含まれるノイズの抑圧方法として、式（３０）に示すような方法がある。式（３０）に示す方法は、カメラ特性及びテクスチャの増幅率から算出されるノイズの標準偏差σを用いて、第３のテクスチャ成分T₃(x,λ)からノイズに基づく振動を除去し、ノイズを抑圧したテクスチャ成分T₄(x,λ)（第４のテクスチャ成分）を生成する。ただし、sgn(・)は、符号を表す関数である。

テクスチャ成分修正部１７は、第３の骨格成分B₂(x,λ)と第４のテクスチャ成分T₄(x,λ)とを式（３１）のように合成し、第３の出力画像O₃(x,λ)を生成する。

第３の実施の形態は、第１及び第２の実施の形態の効果に加え、テクスチャの過度な強調及びノイズの増幅を抑圧した画像を得る効果を奏することができる。

その理由は、次のとおりである。

テクスチャ成分算出部１６が、第１のテクスチャ成分T(x,λ)を算出する。霞除去部１４'が、第１の出力画像O(x,λ)に加え、画像劣化を補正した第２の骨格成分B_１(x,λ)を生成する。露光補正部１５'が、第２の出力画像O_２(x,λ)に加え、第２の骨格成分を基に露光を補正した第３の骨格成分B_２(x,λ)を生成する。

そして、テクスチャ成分修正部１７が、第２の出力画像O_２(x,λ)と第３の骨格成分B_２(x,λ)とを基に第２のテクスチャ成分T_２(x,λ)を算出する。さらに、テクスチャ成分修正部１７が、過度な強調を抑制するために、第１のテクスチャ成分T(x,λ)と第２のテクスチャ成分T_２(x,λ)とを基に、第３のテクスチャ成分T_３(x,λ)を算出する。さらに、テクスチャ成分修正部１７が、第３のテクスチャ成分T₃(x,λ)からノイズに基づく振動を抑圧した第４のテクスチャ成分T₄(x,λ)を生成する。そして、テクスチャ成分修正部１７が、第３の骨格成分B_２(x,λ)と第４のテクスチャ成分T_４(x,λ)とを基に、テクスチャの過度な強調又はノイズの増幅を抑制した第３の出力画像O_３(x,λ)を生成するためである。

＜第４の実施の形態＞
第４の実施の形態を説明する。

図６は、第４の実施の形態に係る撮像装置４の構成の一例を示すブロック図である。

第４の実施の形態に係る撮像装置４が、第１ないし第３の実施の形態における撮像装置４と異なる点は、第４の実施の形態に係る撮像装置４が照明装置３０と、設定部３１とを含む点である。第４の実施の形態に係る撮像装置４の他の構成は、第１ないし第３の実施の形態と同様のため、同様の構成の説明を省略し、以下、照明装置３０及び設定部３１について説明する。

照明装置３０は、撮像部１と近接する位置に設けられており、撮像部１の撮影開始とともに、撮影対象に照明光を照射する。照明装置３０は、例えば、フラッシュである。

設定部３１は、画像処理装置２における画像劣化（例えば、霞など）の補正処理の実行及び停止設定を切り替える。霞のある環境下における撮影でも、意図的に霞を撮影画像に反映させたい場合がある。そのような場合には、撮像装置４の利用者は、設定部３１を用いて、画像処理装置２における画像劣化の補正処理を停止させることができる。

第４の実施の形態に係る撮像装置４は、照明装置３０が撮像部１と近接する位置に設けられている。そのため、照明装置３０の照明光に基づく撮影画像は、大気中の粒子の影響を受けやすい。しかし、第４の実施の形態の画像処理装置２は、適切に、撮影画像における霞の影響を補正する効果を奏することができる。

その理由は、撮像装置４に含まれる画像処理装置２が、第１ないし３の実施形態で説明した動作を基に、大気中の粒子の影響を補正した出力画像（第１の出力画像O(x,λ)ないし第３の出力画像O_３(x,λ)）を生成できるためである。

さらに、第４の実施の形態に係る撮像装置４は、霞などの影響を反映させた画像を生成する効果を奏することができる。

その理由は、次のとおりである。第４の実施の形態における撮像装置４は、画像処理装置２における画像劣化の補正処理を停止させる設定部３１を含む。したがって、利用者は、設定部３１を用いて画像劣化の補正処理を停止させ、意図的に霞などの画像劣化を撮影画像に反映させることができるためである。

なお、上述した第１ないし第４の実施の形態は、静止画に限らず、動画にも適用可能であることは、言うまでもない。

また、第１ないし第４の実施の形態における画像処理装置２は、画像処理エンジンとして、各種の撮影機器又は画像を処理する装置に組み込むことが可能である。

＜変形例＞
以上の説明した第１ないし第４の実施の形態に係る画像処理装置２又は撮像装置４は、次のように構成される。

例えば、画像処理装置２又は撮像装置４の各構成部は、ハードウェア回路で構成されてもよい。

また、画像処理装置２又は撮像装置４は、各構成部が、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。

例えば、図２に画像処理装置２は、図３に示す霞除去部１４を含み、ネットワークを介して、照明光色推定部１１を含む装置と、骨格成分抽出部１２を含む装置と、照明重畳率推定部１３を含む装置と接続される装置と構成されてもよい。この場合、画像処理装置２は、撮影画像Ｉ(x,λ)と、長命重畳率c(x)と、照明光色A(λ)とをネットワークを介して受信し、上述の動作を基に第１の出力画像O(x,λ)を生成すれば良い。このように、図３に示す霞除去部１４は、画像処理装置２の最小構成でもある。

また、画像処理装置２又は撮像装置４は、複数の構成部を１つのハードウェアで構成してもよい。

また、画像処理装置２又は撮像装置４は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータ装置として実現してもよい。画像処理装置２又は撮像装置４は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Input / Output Circuit）と、ネットワークインターフェース回路（ＮＩＣ：Network Interface Circuit）とを含むコンピュータ装置として実現してもよい。

図９は、本変形例に係る画像処理装置２又は撮像装置４としての情報処理装置６００の構成の一例を示すブロック図である。

情報処理装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。

ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１ないし図６に示す各構成としての各機能を実現する。

ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶として使用してもよい。

また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体７００が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０に保存して、保存したプログラムを基に動作してもよい。

ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Programable-ROM）又はフラッシュＲＯＭである。

ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Dynamic-RAM）である。

内部記憶装置６４０は、情報処理装置６００が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。

ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（non-transitory）の記憶媒体である。一方、ＲＡＭ６３０は、揮発性（transitory）の記憶媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記憶媒体又は揮発性記憶媒体を用いて動作可能である。

ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。

入力機器６６０は、情報処理装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。

表示機器６７０は、情報処理装置６００の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。

ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Local Area Network）カードである。

このように構成された情報処理装置６００は、画像処理装置２又は撮像装置４と同様の効果を得ることができる。

その理由は、情報処理装置６００のＣＰＵ６１０が、プログラムに基づいて画像処理装置２又は撮像装置４と同様の機能を実現できるためである。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１） 撮影対象の画像である撮影画像と、前記撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、前記撮影対象の表面における反射光を復元する反射光復元手段と、
前記復元した反射光を基に前記照明光を復元し、前記復元した照明光と前記撮影画像とを基に前記撮影画像を復元した出力画像を生成する照明光復元手段と
を含む画像処理装置。

（付記２） 前記照明光色を推定する照明光色推定手段と、
前記撮影画像の大局的な構造を表す骨格成分を抽出する骨格成分抽出手段と、
前記推定した照明光色と前記骨格成分とを基に前記照明重畳率を推定する照明重畳率推定手段と
を含む付記１に記載の画像処理装置。

（付記３） 前記出力画像の明るさを調整して補正する露光補正手段を含む付記２に記載の画像処理装置。

（付記４） 前記撮影画像と前記骨格線分との差分であるテクスチャ成分を算出するテクスチャ成分算出手段を含み、
前記照明光復元手段が、前記復元した照明光を基に前記骨格成分を復元し、
前記露光補正手段が、前記復元された骨格成分を補正し、
さらに、前記テクスチャ成分と、前記補正された骨格成分とを基に、前記補正された出力画像におけるテクスチャ成分を修正するテクスチャ成分修正手段と
を含む付記３に記載の画像処理装置。

（付記５） 付記１ないし４のいずれか１項に記載の画像処理装置と、
撮影画像を撮影又は受信する受信手段と、
前記出力画像を出力する出力手段と
を含む撮像装置。

（付記６） 前記照明光を照射する照明手段と、
前記画像処理装置における前記撮影画像に対する補正処理の実行及び停止の設定を切り替える設定手段と
を含む付記５に記載の撮像装置。

（付記７） 撮影対象の画像である撮影画像と、前記撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、前記撮影対象の表面における反射光を復元し、
前記復元した反射光を基に前記照明光を復元し、前記復元した照明光と前記撮影画像とを基に前記撮影画像を復元した出力画像を生成する
画像処理方法。

（付記８） 撮影対象の画像である撮影画像と、前記撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、前記撮影対象の表面における反射光を復元する処理と、
前記復元した反射光を基に前記照明光を復元し、前記復元した照明光と前記撮影画像とを基に前記撮影画像を復元した出力画像を生成する処理と
をコンピュータに実行させるプログラムを記憶した記憶媒体。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１４年 ３月 ６日に出願された日本出願特願２０１４−０４４４３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 撮像部
２ 画像処理装置
３ 出力部
４ 撮像装置
１１ 照明光色推定部
１２ 骨格成分抽出部
１３ 照明重畳率推定部
１４ 霞除去部
１４' 霞除去部
１５ 露光補正部
１５' 露光補正部
１６ テクスチャ成分算出部
１７ テクスチャ成分修正部
２１ 反射光復元部
２２ 照明光復元部
３０ 照明装置
３１ 設定部
６００ 情報処理装置
６１０ ＣＰＵ
６２０ ＲＯＭ
６３０ ＲＡＭ
６４０ 内部記憶装置
６５０ ＩＯＣ
６６０ 入力機器
６７０ 表示機器
６８０ ＮＩＣ
７００ 記憶媒体

Claims (8)

1. 撮影対象の画像である撮影画像と、前記撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、前記撮影対象の表面における反射光を復元する反射光復元手段と、
   前記復元した反射光を基に前記照明光を復元し、前記復元した照明光と前記撮影画像とを基に前記撮影画像を復元した第１の出力画像を生成する照明光復元手段と
   を含む画像処理装置。
2. 前記照明光色を推定する照明光色推定手段と、
   前記撮影画像の大局的な構造を表す第１の骨格成分を抽出する骨格成分抽出手段と、
   前記推定した照明光色と前記第１の骨格成分とを基に前記照明重畳率を推定する照明重畳率推定手段と
   を含む請求項１に記載の画像処理装置。
3. 前記第１の出力画像の明るさを調整した補正を基に第２の出力画像を生成する露光補正手段を含む請求項２に記載の画像処理装置。
4. 前記撮影画像と前記第１の骨格成分との差分である第１のテクスチャ成分を算出するテクスチャ成分算出手段を含み、
   前記照明光復元手段が、前記復元した照明光を基に前記第１の骨格成分を補正した第２の骨格成分を生成し、
   前記露光補正手段が、前記第２の骨格成分の露光を補正して第３の骨格成分を生成し、
   さらに、前記第２の出力画像と前記第３の骨格成分を基に第２のテクスチャ成分を算出し、前記第１のテクスチャ成分と前記第２のテクスチャ成分とを基に過度な強調を抑制した第３のテクスチャ成分を算出し、前記第３のテクスチャ成分の振動を抑制した第４のテクスチャ成分を算出し、前記第４のテクスチャ成分と前記第３の骨格成分とを基に前記第２の出力画像を修正して第３の出力成分を生成するテクスチャ成分修正手段と
   を含む請求項３に記載の画像処理装置。
5. 請求項１ないし４のいずれか１項に記載の画像処理装置と、
   前記撮影画像を撮影又は受信する受信手段と、
   前記第１ないし第３の出力画像を出力する出力手段と
   を含む撮像装置。
6. 前記照明光を照射する照明手段と、
   前記画像処理装置における前記撮影画像に対する補正処理の実行及び停止の設定を切り替える設定手段と
   を含む請求項５に記載の撮像装置。
7. 撮影対象の画像である撮影画像と、前記撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、前記撮影対象の表面における反射光を復元し、
   前記復元した反射光を基に前記照明光を復元し、前記復元した照明光と前記撮影画像とを基に前記撮影画像を復元した出力画像を生成する
   画像処理方法。
8. 撮影対象の画像である撮影画像と、前記撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、前記撮影対象の表面における反射光を復元する処理と、
   前記復元した反射光を基に前記照明光を復元し、前記復元した照明光と前記撮影画像とを基に前記撮影画像を復元した出力画像を生成する処理と
   をコンピュータに実行させるプログラム。

Images