JP6390847B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関するものである。

霧・霞が存在する状況下においては、図８に示されるように、撮影対象となるオブジェクトからの反射光は、オブジェクトからカメラセンサまでの経路の間に、霧・霞の粒子による拡散によって減衰する。また、同時に、環境光も霧・霞の粒子によって拡散され、その拡散光もカメラセンサに到達する。そのため、カメラセンサに照射される光は、減衰したオブジェクトからの反射光と拡散された環境光との混合光となる。画素位置xにおける波長λの観測光I(x,λ)は、同画素位置xにおける反射光J(x,λ)と環境光A(λ)とを用いて、式（１）で表される。ここで、t(x,λ)は、反射光の透過率を表し、環境の大気の状態が均一である場合、単位距離あたりの拡散係数k とオブジェクトまでの距離dを用いて、式（２）のように表される。

また、可視光波長領域の場合、霧・霞の粒子による拡散は波長によらず同一とみなすことができ、観測光I(x,λ)は、式（３）のように表すことができる。

霧・霞が存在する状況下の映像復元技術は、観測光I(x,λ)から、減衰していないオブジェクトからの反射光J(x,λ)を推定し、出力する。具体的には、反射光の透過率t(x)を推定し、式（４）のように算出する。

このような推定・復元においては、観測光I(x,λ)から、反射光J(x,λ)および透過率t(x)の２つの情報を、画素毎に推定する必要があり、解が見つからない、不良設定問題となる。そのため、環境についての何らかの事前知識をあらかじめ付与し、反射光J(x,λ)および透過率t(x)の最適解を推定する必要がある。

そして、反射光や透過率を推定し、霧・霞を除去する技術は、これまでいくつか提案されている。それらのうち、１枚の画像を入力とし、補正処理を実行する手法について、非特許文献１、非特許文献２を用いて説明する。

非特許文献１は、一般に霧・霞のかかっていない状況での自然画像には、注目画素周辺に、カラーチャネルRGBのいずれかのチャネルで値が０となる画素が存在するという統計的知見に基づいて、復元画像を生成する技術である。そのため、注目画素周辺に、値が０となる画素が存在しない場合には、それは霧・霞による環境光の重畳の影響とみなし、その量から透過率を算出する。

また、非特許文献２は、物体のテクスチャと物体までの距離（霧による環境光の重畳の度合い）の無相関性に着目し、反射光と環境光とを分離する手法である。

Kaiming He, Jian Sun, and Xiaou Tang, Single Image Haze Removal Using Dark Channel Prior. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2009 Raanan Fattal, Single Image Dehazing. ACM SIGGRAPH 2008, 2008.

しかし、非特許文献１の技術は、上記条件が成立しない領域（空や白い建物）に、過度な補正を実行してしまうという課題があった。

また、非特許文献２の技術は、理論的に高品質な画像を生成することが期待されるが、シミュレーションの結果、霧による光源成分の重畳が多い領域で、低品質な出力となった。その原因は、物体のテクスチャを示唆する情報として、カラーバンド間の差分情報を利用している点にある。霧による光源成分の重畳が多い領域では、カラーバンド間の差分値が非常に小さいため、ノイズの影響を受けやすくなるためである。

そこで、本発明は、注目画素周辺にカラーチャネルRGBのいずれかのチャネルで値が0となる画素が存在しない場合や、カラーバンド間の差分値が小さい場合であっても、高品質な霧・靄除去処理を行うことが出来る画像処理装置、画像処理方法及びプログラムを提供することにある。

本発明は、原画像から、大局的な構造を表す骨格成分を分離する骨格分離部と、前記骨格成分の各カラーチャンネルにおける色情報に基づいて補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する霧・靄補正部とを有する画像処理装置である。

本発明は、原画像から、大局的な構造を表す骨格成分を分離する分離処理と、前記骨格成分の各カラーチャンネルにおける色情報に基づいて補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する霧・靄補正処理とを有する画像処理方法である。

本発明は、原画像から、大局的な構造を表す骨格成分を分離する分離処理と、前記骨格成分の各カラーチャンネルにおける色情報に基づいて補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する霧・靄補正処理をコンピュータに実行させるプログラムである。

本発明は、注目画素周辺にカラーチャネルRGBのいずれかのチャネルで値が0となる画素が存在しない場合や、カラーバンド間の差分値が小さい場合であっても、高品質な霧・靄除去処理を行うことが出来る

図１は第１の実施の形態における画像処理装置のブロック図である。 図２は第２の実施の形態における画像処理装置のブロック図である。 図３は第３の実施の形態における画像処理装置のブロック図である。 図４は基準レベルを説明する為の図である。 図５は環境光を説明する為の図である。 図６は原画像（入力画像）と出力画像とを示した図である。 図７は第４の実施の形態における画像処理装置のブロック図である。 図８は背景技術を説明する為の図である。

本発明の第１の実施の形態を説明する。

図１は、本発明の第１の実施の形態における画像処理装置のブロック図である。

本実施の形態の画像処理装置は、骨格分離部１と、霧・靄補正部２と、明度復元部３とを有する。

骨格分離部１は、画像処理装置に入力される原画像（入力画像）から、大局的な構造を表す骨格成分を分離する。分離方法は、例えば、領域毎の明度や色情報を抽出可能な、全変分ノルム最小化を用いた骨格・テクスチャ分離を用いることができる。全変分ノルム最小化は、画像内の振動成分をテクスチャまたはノイズ成分として除去する技術であり、テクスチャまたはノイズ成分を除去することにより、原画像（入力画像）の骨格成分を抽出する。

具体的には、原画像（以下、入力画像と記載する）Iから、式（５）で表される最小化問題を解くことにより、画像の骨格成分Bを抽出する。多重解像度解析と組み合わせることにより、細かな振動成分を除去するだけではなく、ある程度広い周期を持つ（低周波な）振動を除去することができる。尚、式（５）中、添え字の“２”は絶対値算出の尺度（L2ノルム）を意味する。

霧・靄補正部２は、骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、補正率に基づいて、入力画像及び骨格成分の各画素の明度を補正し、霧・靄を除去する。明度の補正としては、局所的ガンマ補正を実行することで、低輝度側の極度な変動を抑制し、黒つぶれを防ぐ。具体的には、骨格成分の各画素のカラーチャンネルの最小値より、その画素の霧・靄の重畳量を算出し、霧・靄の重畳量から画素の補正のためのガンマ値（補正率）を算出し、その画素に対して算出したガンマ値によりガンマ補正を行う。尚、ガンマ値（補正率）は、各カラーチャンネルにおける色情報のみならず、更に、補正対象の画素周辺の明度を加味して決定してよい。

具体的には、霧・霞補正部２は、骨格成分Bを参照することで、入力画像Iの各画素の色情報より、画素毎にガンマ値を変更しながら、ガンマ補正を行う。具体的には、位置xの画素について、骨格成分Bの各カラーチャネルの最小値に比率rをかけた値を、画像の霧・霞の重畳量haze（０＜haze＜１）とする（式（６））。次に、式（７）によって、補正のためのガンマ値γ_hを設定し、このガンマ値γ_hに基づいて式（８）により補正する。ここで、T₁は霧・霞除去後の入力画像を示し、xは画素の位置、λはカラーチャネルを示す。

明度復元部３は、明度を補正した入力画像に対して、画像の環境光の明度を目標とし、低下した全体の明度を復元する。霧・霞補正部２による補正は、飽和による情報損失を抑制するために、飽和点1.0 を中心として、補正処理を実行することとなる。そのため、環境光の明るさおよび画像全体が暗くなる傾向にある。そこで、明度復元部３により、低下した全体の明度を復元する。具体的には、低下した環境光の明るさを目標とする明るさに変換する指数γ₂ を算出し、その指数を用いて、式（９）のように画像全体を補正する。

ここで、T₂は明度復元後の入力画像を示す。

また、指数γ₂ の算出方法であるが、霧補正後による環境光の値をｐとし、目標の明度をｑとすると、
γ₂＝ｌｎ（１．０−ｑ）／ｌｎ（１．０−ｐ）
として算出することができる。尚、値ｐは白色の補正結果でもよい。

本実施の形態は、画像から霧や靄を除去する霧・霞除去処理において、低輝度側の極度な変動を抑制し、黒つぶれを防ぐことができる。また、コントラストの低下を防ぐことができる。

本発明の第２の実施の形態を説明する。

図２は、本発明の実施の形態における画像処理装置のブロック図である。

本実施の形態の画像処理装置は、骨格・テクスチャ分離部１１と、霧・靄補正部１２と、明度復元部１３と、ノイズ抑圧部１４とを有する。

骨格・テクスチャ分離部１１は、画像処理装置に入力される原画像（入力画像）を、大局的な構造を表す骨格成分と、その残差であるテクスチャ成分とに分離する。分離方法は、例えば、領域毎の明度や色情報を抽出可能な、全変分ノルム最小化を用いた骨格・テクスチャ分離を用いることができる。全変分ノルム最小化は、画像内の振動成分をテクスチャまたはノイズ成分として除去する技術であり、テクスチャまたはノイズ成分を除去することにより、原画像（入力画像）の骨格成分を抽出する。具体的には、上述した式（１）より、画像の骨格成分Bを抽出し、原画像（以下、入力画像と記載する）Iから骨格成分Bを差し引く。

霧・靄補正部１２は、骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、補正率に基づいて、入力画像及び骨格成分の各画素の明度を補正し、霧・靄を除去する。明度を補正としては、局所的ガンマ補正を実行することで、低輝度側の極度な変動を抑制し、黒つぶれを防ぐ。具体的には、骨格成分の各画素のカラーチャンネルの最小値より、その画素の霧・靄の重畳量を算出し、霧・靄の重畳量から画素の補正のためのガンマ値（補正率）を算出し、その画素に対して算出したガンマ値によりガンマ補正を行う。尚、ガンマ値（補正率）は、各カラーチャンネルにおける色情報のみならず、更に、補正対象の画素周辺の明度を加味して決定してよい。

具体的には、入力画像T₁については、上述した霧・霞補正部２と同様なものである。また、骨格成分B(x,λ)についても、同様に、式（６）’、（７）’、（８）’を用いて、霧・霞除去を適用し、B₁(x,λ)を得る。

明度復元部１３は、上述した明度復元部３と同様なものであるが、明度を補正した入力画像のみならず、骨格成分に対しても、同様に画像の環境光の明度を目標とし、低下した全体の明度を復元する。明度復元後T₂の入力画像を式（９）と同様であり、明度復元後の骨格成分B2は式（９）’となる。

ノイズ抑圧部１４は、明度復元後の入力画像及び骨格成分と、テクスチャ成分とに基づいて、テクスチャ成分のノイズを抑圧し、ノイズ抑圧後のテクスチャ成分と明度復元後の骨格成分とから出力画像を生成する。すなわち、ノイズ抑圧部１４は、画像の強調されたノイズを抑圧する。霧・霞除去では、ローカルコントラストを強調することとなるため、画像のテクスチャ成分と共にノイズも強調される。そこで、ノイズ抑圧部１４は、入力画像T₂及び骨格成分B₂に対して、それらの強調されたノイズを抑圧する。具体的には、テクスチャおよびノイズの増強率t は、入力画像と同様の補正処理を行なってきた骨格成分B₂を用いて、式（１０）のように算出される。

そして、出力画像Jは、増強率t に基づいて、テクスチャ成分の減衰量F(t)を設定し、式（１１）のように、出力画像Jを生成する。

ここで、テクスチャ成分の減衰量F(t)は、増強率t および入力画像におけるノイズの分散値σを用いて、増強率tが大きいほどF(t)は大きくなり、増強率tが小さいほどF(t)は小さくなるように設定される。F(t)の算出方法の一例を以下に示す。ただし、kは、あらかじめ、手動にて設定される値である。

または、

第２の実施の形態は、画像から霧や靄を除去する霧・霞除去処理において、低輝度側の極度な変動を抑制し、黒つぶれを防ぐことができる。また、コントラストの低下を防ぐことができる。また、同時に、補正率に基づくノイズ抑圧処理を実行することで、画像内に含まれるノイズの強調を防ぐことができる。

更に、ノイズ除去機能を搭載し、画像解析において、比較的処理コストの大きい画像内の領域とテクスチャの分離処理を共有することによって、単純に各機能を並列に並べた時と比べ、その性能の向上および計算コストを削減することができる。

本発明の第３の実施の形態を説明する。

図３は、第３の実施の形態における画像処理装置のブロック図である。

第３の実施の形態における画像処理装置は、図３に示す如く、骨格・テクスチャ分離部３０と、黒補正部３１と、露光補正部３２と、白色補正部３３と、霧・霞補正部３４と、明度復元部３５と、ノイズ除去部３６とを備える。

骨格・テクスチャ分離部１０は、原画像（入力画像）に対して骨格・テクスチャ分離を行い、領域の色や明るさを表す骨格成分と残差であるテクスチャおよびノイズの成分（以下、テクスチャ成分と記載する）とに分離する。具体的には、領域毎の明度や色情報を抽出可能な、全変分ノルム最小化を用いた骨格・テクスチャ分離を行う。全変分ノルム最小化は、画像内の振動成分をテクスチャ成分として除去する技術であり、原画像（入力画像）Iから、式（５）で表される最小化問題を解くことにより、画像の骨格成分Bを抽出する。多重解像度解析と組み合わせることにより、細かな振動成分を除去するだけではなく、ある程度広い周期を持つ（低周波な）振動を除去することができる。

黒補正部１１は、原画像（以下、入力画像と記載する）I及び骨格成分Bに対して、ヒストグラム解析により画像中の黒の基準レベルblを推定し、式（１２）で表される補正式によって補正する。式（１２）中、T₁は黒補正後の入力画像を示し、B₁は黒補正後の骨格成分、xは画素の位置、λはカラーチャネルを示す。

上記の補正の必要性は、霧・霞がかかった画像では、全体的に白んでおり、画像全体で黒の基準レベルが上がっている。そのため、画像全体の黒の基準レベルを検出し、情報が含まれていないレンジを除去し、全体としてのダイナミックレンジを広げることが好ましいからである。基準レベルblを推定の方法であるが、例えば、画像全体で、図４のような輝度（明度）のヒストグラムを生成する。そして、下側から頻度を加算していき、予め指定された累積頻度に達する輝度（明度）をblとする。尚、予め指定された累積頻度に達する輝度（明度）に対して、ある所定の比率を掛けたり、リミッタを設けたりしても良い。

露光補正部３２は、全体的な明るさを調節するため、ヒストグラム解析によって画像全体の明度を求め、画像全体の明度を目標の明度に変更するためのガンマ補正パラメータγを算出し、黒補正後の入力画像T₁及び骨格成分B₁に対して、式（１３）のようにガンマ補正処理を実行する。ここで、T₂は露光補正後の入力画像を示し、B₂は露光補正後の骨格成分を示す。

尚、ガンマ補正パラメータγを算出方法であるが、例えば、画像全体の輝度（明度）の平均値または中央値をｐとし、目標の明度をｑとすると、
γ＝ｌｎ（ｑ）／ｌｎ（ｐ）
として算出することができる。ここで、ｌｎは対数関数である。

白色補正部１３は、画像解析によって環境光A（λ）を取得し、露光補正後の入力画像T₂及び骨格成分B₂に対して、式（１４）のように環境光の色を正規化するものである。ここで、T₃は白色補正後の入力画像を示し、B₃は白色補正後の骨格成分を示す。

入力画像では、必ずしもホワイトバランスがとれているわけではなく、後述する霧・霞除去の処理は、画像全体のコントラストを広げるため、その結果、崩れたホワイトバランスが強調される場合がある。そのため、あらかじめ、環境光の色を正規化することが望ましいからである。

ここで、環境光A(λ)の算出方法であるが、例えば、図５に示すように、画像の各カラーチャネルのヒストグラムを生成し、そのヒストグラムの上側から頻度を加算していき、予め指定された累積頻度に達する値をA（λ）とする。尚、予め指定された累積頻度に達する値をA（λ）に対して、ある所定の比率を掛けたり、リミッタを設けたりしても良い。

霧・霞補正部３４は、骨格成分B3を参照することで得られる補正後の入力画像T3の各画素の色情報より、画素毎にガンマ値を変更しながら、ガンマ補正を行う。具体的には、位置xの画素について、骨格成分B3の各カラーチャネルの最小値に比率rをかけた値を、画像の霧・霞の重畳量haze（０＜haze＜１）とする（式（１５））。次に、式（１６）によって、補正のためのガンマ値γ_hを設定し、このガンマ値γ_hに基づいて式（１７）により補正する。ここで、T₄は霧・霞除去後の入力画像を示し、λはカラーチャネルを表わす。

同様に、骨格成分B₃(x,λ)についても、同様に霧・霞除去を適用し、B₄(x,λ)を得る。

ここで、霧・霞除去処理にガンマ補正を用いた理由は、ガンマ補正（γ値＞１．０の場合）は、高輝度側は補正率が相対的に高く、低輝度側は低いためである。例えば、霧・霞の重畳量hazeが大きくなるほど、式（１６）、（１６）’によれば、ガンマ値γ_hは大きくなる。よって、式（１７）、（１７）’によれば、霧・霞の重畳量hazeが大きくなるほど、その画素の明るさを暗くするように補正する。一方、霧・霞の重畳量hazeが小さいほど、ガンマ値γ_hは１に近くなり、その画素の明るさ補正は少なくなる。

また、比率rであるが、例えば、注目画素周辺の明度lumiによって、式（１５）、（１５）`の比率rを変更するようにしても良い。尚、比率rは、lumiの値と正の相関を持つ（lumiが高ければ比率が高くlumiが低ければ比率が低い）。

ここで、明度lumiの算出方法の一例を、下記式に示す。

更に、霧・霞除去処理の補正はガンマ補正に限られない。例えば、hazeを明度で変更された比率rを用いて求めた場合、下記のように補正してもいい。

明度復元部３５は、霧・霞除去後の入力画像T₄及び骨格成分B₄に対して、低下した全体の明度を復元する。霧・霞補正部３４による補正は、飽和による情報損失を抑制するために、飽和点1.0 を中心として、補正処理を実行することとなる。そのため、環境光の明るさおよび画像全体が暗くなる傾向にある。そこで、明度復元部３５により、低下した全体の明度を復元する。具体的には、低下した環境光の明るさを目標とする明るさに変換する指数γ₂ を算出し、その指数を用いて、式（１８）のように画像全体を補正する。ここで、T₅は明度復元後の入力画像を示し、B₅は明度復元後の骨格成分を示す。

ここで、指数γ₂ の算出方法であるが、霧補正後による環境光の値をｐとし、目標の明度をｑとすると、
γ₂＝ｌｎ（１．０−ｑ）／ｌｎ（１．０−ｐ）
として算出することができる。尚、値ｐは白色の補正結果でもよい。また、目標の明度ｑは、白色推定時のMax（A（λ））でも良い。

更に、下記式で示されるように、霧・霞補正部３４により強く補正された領域を重点的に復元させてもいい。

ここで、ratioは、hazeによって、下記式のように決定される。

ノイズ抑圧部３６は、画像の強調されたノイズを抑圧する。霧・霞除去では、ローカルコントラストを強調することとなるため、画像のテクスチャ成分と共にノイズも強調される。そこで、ノイズ抑圧部３６は、入力画像T₅及び骨格成分B₅に対して、それらの強調されたノイズを抑圧する。具体的には、テクスチャおよびノイズの増強率t は、入力画像と同様の補正処理を行なってきた骨格成分B5 を用いて、式（１９）のように算出される。

そして、増強率t に基づいて、テクスチャ成分の減衰量F(t)を設定し、式（２０）のように、出力画像Jを生成する。

ここで、テクスチャ成分の減衰量F(t)は、増強率t および入力画像におけるノイズの分散値σを用いて、増強率tが大きいほどF(t)は大きくなり、増強率tが小さいほどF(t)は小さくなるように設定される。F(t)の算出方法の一例を以下に示す。ただし、kは、あらかじめ、手動にて設定される値である。

または、

本手法では、補正率に基づいて、適応的にノイズの減衰量を設定可能になるため、霧・霞除去での補正量の少ない領域では、ノイズ抑圧を弱め、もともとあるテクスチャを消すことなく出力することが可能になる。

図６に、原画像（入力画像）と、上述した画像処理装置による処理後の出力画像とを示す。図６を見て判るとおり、霧・霞によって発生する画像の白みおよびコントラストの低下が復元され、霧・霞が除去されているのがわかる。また、画像内に含まれるノイズも抑圧されている。

本発明の第４の実施の形態を説明する。

第４の実施の形態は、第１の実施の形態から明度復元部３を除いたものであるが、明度の低下があまり影響しない画像であれば、十分な霧・靄除去処理ができる。以下に第４の実施の形態を説明する。

図７は、本発明の第４の実施の形態における画像処理装置のブロック図である。

本実施の形態の画像処理装置は、骨格分離部４０と、霧・靄補正部４１とを有する。

骨格分離部４０は、骨格分離部１と同様なものであり、画像処理装置に入力される原画像（入力画像）から、大局的な構造を表す骨格成分を分離する。分離方法は、例えば、領域毎の明度や色情報を抽出可能な、全変分ノルム最小化を用いた骨格・テクスチャ分離を用いることができる。全変分ノルム最小化は、画像内の振動成分をテクスチャまたはノイズ成分として除去する技術であり、テクスチャまたはノイズ成分を除去することにより、原画像（入力画像）の骨格成分を抽出する。

具体的には、原画像（以下、入力画像と記載する）Iから、式（５）で表される最小化問題を解くことにより、画像の骨格成分Bを抽出する。多重解像度解析と組み合わせることにより、細かな振動成分を除去するだけではなく、ある程度広い周期を持つ（低周波な）振動を除去することができる。

霧・靄補正部４１は、霧・靄補正部２と同様なものであり、骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、補正率に基づいて、入力画像の各画素の明度を補正し、霧・靄を除去する。明度の補正としては、局所的ガンマ補正を実行することで、低輝度側の極度な変動を抑制し、黒つぶれを防ぐ。具体的には、骨格成分の各画素のカラーチャンネルの最小値より、その画素の霧・靄の重畳量を算出し、霧・靄の重畳量から画素の補正のためのガンマ値（補正率）を算出し、その画素に対して算出したガンマ値によりガンマ補正を行う。尚、ガンマ値（補正率）は、各カラーチャンネルにおける色情報のみならず、更に、補正対象の画素周辺の明度を加味して決定してよい。

具体的には、霧・霞補正部４１は、骨格成分Bを参照することで、入力画像Iの各画素の色情報より、画素毎にガンマ値を変更しながら、ガンマ補正を行う。具体的には、位置xの画素について、骨格成分Bの各カラーチャネルの最小値に比率rをかけた値を、画像の霧・霞の重畳量haze（０＜haze＜１）とする（式（６））。次に、式（７）によって、補正のためのガンマ値γ_hを設定し、このガンマ値γ_hに基づいて式（８）により補正する。

第４の実施の形態によれば、注目画素周辺にカラーチャネルRGBのいずれかのチャネルで値が0となる画素が存在しない場合や、カラーバンド間の差分値が小さい場合であっても、高品質な霧・靄除去処理を行うことが出来る

尚、上述した実施の形態では、各部をハードウェアで構成したが、上述した動作の処理を情報処理装置（ＣＰＵ）に行わせるプログラムによっても構成できる。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１） 原画像から、大局的な構造を表す骨格成分を分離する骨格分離部と、
前記骨格成分の各カラーチャンネルにおける色情報に基づいて補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する霧・靄補正部と、
を有する画像処理装置。

（付記２） 前記霧・靄補正部は、前記骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する
付記１に記載の画像処理装置。

（付記３） 前記霧・靄補正部は、前記骨格成分の各画素のカラーチャンネルの最小値より、その画素の霧・靄の重畳量を算出し、前記霧・靄の重畳量から前記画素の補正のためのガンマ値を算出し、前記画素に対して前記ガンマ値によりガンマ補正を行う
付記１又は付記２に記載の画像処理装置。

（付記４） 前記明度を補正した原画像に対して、環境光の明度を目標とし、明度を復元する明度復元部を更に有する
付記１から付記３のいずれかに記載の画像処理装置。

（付記５） 前記明度復元部は、前記霧・靄補正部により強く補正された画素ほど明度の復元を強くする
付記４に記載の画像処理装置。

（付記６） 前記骨格分離部は、原画像から、大局的な構造を表す骨格成分と、その残差であるテクスチャ成分とに分離し、
前記霧・靄補正部は、前記骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、前記補正率に基づいて、前記原画像及び前記骨格成分の各画素の明度を補正し、
前記明度復元部は、前記明度を補正した原画像及び骨格成分に対して、環境光の明度を目標とし、明度を復元し、
更に、
前記明度復元後の原画像及び骨格成分と、前記テクスチャ成分とに基づいて、前記テクスチャ成分のノイズを抑圧し、ノイズ抑圧後のテクスチャ成分と前記明度復元後の骨格成分とから出力画像を生成するノイズ抑圧部を有する
付記４又は付記５のいずれかに記載の画像処理装置。

（付記７） 前記ノイズ抑圧部は、前記原画像及び前記骨格成分と、前記明度復元後の原画像及び骨格成分との比に基づいて増強率を求め、前記増強率に基づいて前記テクスチャ成分を減衰させ、減衰させたテクスチャ成分に基づいて、前記明度復元後の骨格成分のノイズを抑圧する
付記６に記載の画像処理装置。

（付記８） 前記原画像及び前記骨格成分に対して、画像全体の黒の基準レベルを検出し、情報が含まれていないレンジを除去し、ダイナミックレンジを広げる黒補正部と、
前記黒補正後の原画像及び骨格成分の画像全体の明度を求め、画像全体の明度を目標の明度に補正する露光補正部と、
前記露光補正後の原画像及び骨格成分の環境光を取得し、環境光の色を正規化する白補正部と
を更に有し、
前記霧・靄補正部は、前記黒補正部、露光補正部及び白補正部による処理後の原画像及び骨格成分を用いて補正を行う
付記１から付記７のいずれかに記載の画像処理装置。

（付記９） 前記霧・靄補正部は、前記骨格成分の各画素ごとから得られる異なる補正率で前記原画像の各画素の明度を補正する
付記１から付記７のいずれかに記載の画像処理装置。

（付記１０） 原画像から、大局的な構造を表す骨格成分を分離する分離処理と、
前記骨格成分の各カラーチャンネルにおける色情報に基づいて補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する霧・靄補正処理と
を有する画像処理方法。

（付記１１） 前記霧・靄補正処理は、前記骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する
付記１０に記載の画像処理方法。

（付記１２） 前記霧・靄補正処理は、前記骨格成分の各画素のカラーチャンネルの最小値より、その画素の霧・靄の重畳量を算出し、前記霧・靄の重畳量から前記画素の補正のためのガンマ値を算出し、前記画素に対して前記ガンマ値によりガンマ補正を行う
付記１０又は付記１１に記載の画像処理方法。

（付記１３） 前記明度を補正した原画像に対して、環境光の明度を目標とし、明度を復元する明度復元処理を有する付記１０から付記１２のいずれかに記載の画像処理方法。

（付記１４） 前記明度復元処理は、前記霧・靄補正処理により強く補正された画素ほど明度の復元を強くする
付記１３に記載の画像処理方法。

（付記１５） 前記分離処理は、原画像から、大局的な構造を表す骨格成分と、その残差であるテクスチャ成分とに分離し、
前記霧・靄補正処理は、前記骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、前記補正率に基づいて、前記原画像及び前記骨格成分の各画素の明度を補正し、
前記明度復元処理は、前記明度を補正した原画像及び骨格成分に対して、環境光の明度を目標とし、明度を復元し、
更に、
前記明度復元後の原画像及び骨格成分と、前記テクスチャ成分とに基づいて、前記テクスチャ成分のノイズを抑圧し、ノイズ抑圧後のテクスチャ成分と前記明度復元後の骨格成分とから出力画像を生成するノイズ抑圧処理を有する
付記１３又は付記１４に記載の画像処理方法。

（付記１６） 前記ノイズ抑圧処理は、前記原画像及び前記骨格成分と、前記明度復元後の原画像及び骨格成分との比に基づいて増強率を求め、前記増強率に基づいて前記テクスチャ成分を減衰させ、減衰させたテクスチャ成分に基づいて、前記明度復元後の骨格成分のノイズを抑圧する
付記１５に記載の画像処理方法。

（付記１７） 前記原画像及び前記骨格成分に対して、画像全体の黒の基準レベルを検出し、情報が含まれていないレンジを除去し、ダイナミックレンジを広げる黒補正処理と、
前記黒補正後の原画像及び骨格成分の画像全体の明度を求め、画像全体の明度を目標の明度に補正する露光補正処理と、
前記露光補正後の原画像及び骨格成分の環境光を取得し、環境光の色を正規化する白補正処理と
を更に有し、
前記霧・靄補正処理は、前記黒補正処理、露光補正処理及び白補正処理による処理後の原画像及び骨格成分を用いて補正を行う
付記１０から付記１６のいずれかに記載の画像処理方法。

（付記１８） 前記霧・靄補正処理は、前記骨格成分の各画素ごとから得られる異なる補正率で前記原画像の各画素の明度を補正する
付記９から付記１７のいずれかに記載の画像処理方法。

（付記１９） 原画像から、大局的な構造を表す骨格成分を分離する分離処理と、
前記骨格成分の各カラーチャンネルにおける色情報に基づいて補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する霧・靄補正処理
をコンピュータに実行させるプログラム。

（付記２０） 前記霧・靄補正処理は、前記骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する
付記１９に記載のプログラム。

（付記２１） 前記霧・靄補正処理は、前記骨格成分の各画素のカラーチャンネルの最小値より、その画素の霧・靄の重畳量を算出し、前記霧・靄の重畳量から前記画素の補正のためのガンマ値を算出し、前記画素に対して前記ガンマ値によりガンマ補正を行う
付記１９又は付記２０に記載のプログラム。

（付記２２） 前記明度を補正した原画像に対して、環境光の明度を目標とし、明度を復元する明度復元処理を
コンピュータに実行させる付記１９から付記２１のいずれかに記載のプログラム。

（付記２３） 前記明度復元処理は、前記霧・靄補正処理により強く補正された画素ほど明度の復元を強くする
付記２２に記載のプログラム。

（付記２４） 前記分離処理は、原画像から、大局的な構造を表す骨格成分と、その残差であるテクスチャ成分とに分離し、
前記霧・靄補正処理は、前記骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、前記補正率に基づいて、前記原画像及び前記骨格成分の各画素の明度を補正し、
前記明度復元処理は、前記明度を補正した原画像及び骨格成分に対して、環境光の明度を目標とし、明度を復元し、
更に、
前記明度復元後の原画像及び骨格成分と、前記テクスチャ成分とに基づいて、前記テクスチャ成分のノイズを抑圧し、ノイズ抑圧後のテクスチャ成分と前記明度復元後の骨格成分とから出力画像を生成するノイズ抑圧処理をコンピュータに実行させる
付記２２又は付記２３に記載のプログラム。

（付記２５） 前記ノイズ抑圧処理は、前記原画像及び前記骨格成分と、前記明度復元後の原画像及び骨格成分との比に基づいて増強率を求め、前記増強率に基づいて前記テクスチャ成分を減衰させ、減衰させたテクスチャ成分に基づいて、前記明度復元後の骨格成分のノイズを抑圧する
付記２４に記載のプログラム。

（付記２６） 前記原画像及び前記骨格成分に対して、画像全体の黒の基準レベルを検出し、情報が含まれていないレンジを除去し、ダイナミックレンジを広げる黒補正処理と、
前記黒補正後の原画像及び骨格成分の画像全体の明度を求め、画像全体の明度を目標の明度に補正する露光補正処理と、
前記露光補正後の原画像及び骨格成分の環境光を取得し、環境光の色を正規化する白補正処理とをコンピュータに実行させ、
前記霧・靄補正処理は、前記黒補正処理、露光補正処理及び白補正処理による処理後の原画像及び骨格成分を用いて補正を行う
付記１９から付記２５のいずれかに記載のプログラム。

（付記２７） 前記霧・靄補正処理は、前記骨格成分の各画素ごとから得られる異なる補正率で前記原画像の各画素の明度を補正する
付記１９から付記２６のいずれかに記載のプログラム。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することができる。

本出願は、２０１２年１１月１３日に日本に出願された特願２０１２−２４９４５８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 骨格分離部
２ 霧・霞補正部
３ 明度復元部
１１ 骨格・テクスチャ分離部
１２ 霧・霞補正部
１３ 明度復元部
１４ ノイズ除去部
３０ 骨格・テクスチャ分離部
３ 黒補正部
３２ 露光補正部
３３ 白色補正部
３４ 霧・霞補正部
３５ 明度復元部
３６ ノイズ除去部
４０ 骨格分離部
４１ 霧・霞補正部

Claims (27)

1. 原画像から、大局的な構造を表す骨格成分を分離する骨格分離部と、
   前記骨格成分の各カラーチャンネルにおける色情報に基づいて補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する霧・靄補正部と、
   を有する画像処理装置。
2. 前記霧・靄補正部は、前記骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する
   請求項１に記載の画像処理装置。
3. 前記霧・靄補正部は、前記骨格成分の各画素のカラーチャンネルの最小値より、その画素の霧・靄の重畳量を算出し、前記霧・靄の重畳量から前記画素の補正のためのガンマ値を算出し、前記画素に対して前記ガンマ値によりガンマ補正を行う
   請求項１又は請求項２に記載の画像処理装置。
4. 前記明度を補正した原画像に対して、環境光の明度を目標とし、明度を復元する明度復元部を更に有する
   請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記明度復元部は、前記霧・靄補正部により強く補正された画素ほど明度の復元を強くする
   請求項４に記載の画像処理装置。
6. 前記骨格分離部は、原画像から、大局的な構造を表す骨格成分と、その残差であるテクスチャ成分とに分離し、
   前記霧・靄補正部は、前記骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、前記補正率に基づいて、前記原画像及び前記骨格成分の各画素の明度を補正し、
   前記明度復元部は、前記明度を補正した原画像及び骨格成分に対して、環境光の明度を目標とし、明度を復元し、
   更に、
   前記明度復元後の原画像及び骨格成分と、前記テクスチャ成分とに基づいて、前記テクスチャ成分のノイズを抑圧し、ノイズ抑圧後のテクスチャ成分と前記明度復元後の骨格成分とから出力画像を生成するノイズ抑圧部を有する
   請求項４又は請求項５のいずれかに記載の画像処理装置。
7. 前記ノイズ抑圧部は、前記原画像及び前記骨格成分と、前記明度復元後の原画像及び骨格成分との比に基づいて増強率を求め、前記増強率に基づいて前記テクスチャ成分を減衰させ、減衰させたテクスチャ成分に基づいて、前記明度復元後の骨格成分のノイズを抑圧する
   請求項６に記載の画像処理装置。
8. 前記原画像及び前記骨格成分に対して、画像全体の黒の基準レベルを検出し、情報が含まれていないレンジを除去し、ダイナミックレンジを広げる黒補正部と、
   前記黒補正後の原画像及び骨格成分の画像全体の明度を求め、画像全体の明度を目標の明度に補正する露光補正部と、
   前記露光補正後の原画像及び骨格成分の環境光を取得し、環境光の色を正規化する白補正部と
   を更に有し、
   前記霧・靄補正部は、前記黒補正部、露光補正部及び白補正部による処理後の原画像及び骨格成分を用いて補正を行う
   請求項１から請求項７のいずれかに記載の画像処理装置。
9. 前記霧・靄補正部は、前記骨格成分の各画素ごとから得られる異なる補正率で前記原画像の各画素の明度を補正する
   請求項１から請求項７のいずれかに記載の画像処理装置。
10. 原画像から、大局的な構造を表す骨格成分を分離する分離処理と、
    前記骨格成分の各カラーチャンネルにおける色情報に基づいて補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する霧・靄補正処理と
    を有する画像処理方法。
11. 前記霧・靄補正処理は、前記骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する
    請求項１０に記載の画像処理方法。
12. 前記霧・靄補正処理は、前記骨格成分の各画素のカラーチャンネルの最小値より、その画素の霧・靄の重畳量を算出し、前記霧・靄の重畳量から前記画素の補正のためのガンマ値を算出し、前記画素に対して前記ガンマ値によりガンマ補正を行う
    請求項１０又は請求項１１に記載の画像処理方法。
13. 前記明度を補正した原画像に対して、環境光の明度を目標とし、明度を復元する明度復元処理を有する請求項１０から請求項１２のいずれかに記載の画像処理方法。
14. 前記明度復元処理は、前記霧・靄補正処理により強く補正された画素ほど明度の復元を強くする
    請求項１３に記載の画像処理方法。
15. 前記分離処理は、原画像から、大局的な構造を表す骨格成分と、その残差であるテクスチャ成分とに分離し、
    前記霧・靄補正処理は、前記骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、前記補正率に基づいて、前記原画像及び前記骨格成分の各画素の明度を補正し、
    前記明度復元処理は、前記明度を補正した原画像及び骨格成分に対して、環境光の明度を目標とし、明度を復元し、
    更に、
    前記明度復元後の原画像及び骨格成分と、前記テクスチャ成分とに基づいて、前記テクスチャ成分のノイズを抑圧し、ノイズ抑圧後のテクスチャ成分と前記明度復元後の骨格成分とから出力画像を生成するノイズ抑圧処理を有する
    請求項１３又は請求項１４に記載の画像処理方法。
16. 前記ノイズ抑圧処理は、前記原画像及び前記骨格成分と、前記明度復元後の原画像及び骨格成分との比に基づいて増強率を求め、前記増強率に基づいて前記テクスチャ成分を減衰させ、減衰させたテクスチャ成分に基づいて、前記明度復元後の骨格成分のノイズを抑圧する
    請求項１５に記載の画像処理方法。
17. 前記原画像及び前記骨格成分に対して、画像全体の黒の基準レベルを検出し、情報が含まれていないレンジを除去し、ダイナミックレンジを広げる黒補正処理と、
    前記黒補正後の原画像及び骨格成分の画像全体の明度を求め、画像全体の明度を目標の明度に補正する露光補正処理と、
    前記露光補正後の原画像及び骨格成分の環境光を取得し、環境光の色を正規化する白補正処理と
    を更に有し、
    前記霧・靄補正処理は、前記黒補正処理、露光補正処理及び白補正処理による処理後の原画像及び骨格成分を用いて補正を行う
    請求項１０から請求項１６のいずれかに記載の画像処理方法。
18. 前記霧・靄補正処理は、前記骨格成分の各画素ごとから得られる異なる補正率で前記原画像の各画素の明度を補正する
    請求項１０から請求項１７のいずれかに記載の画像処理方法。
19. 原画像から、大局的な構造を表す骨格成分を分離する分離処理と、
    前記骨格成分の各カラーチャンネルにおける色情報に基づいて補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する霧・靄補正処理
    をコンピュータに実行させるプログラム。
20. 前記霧・靄補正処理は、前記骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、前記補正率に基づいて前記原画像の各画素の明度を補正する
    請求項１９に記載のプログラム。
21. 前記霧・靄補正処理は、前記骨格成分の各画素のカラーチャンネルの最小値より、その画素の霧・靄の重畳量を算出し、前記霧・靄の重畳量から前記画素の補正のためのガンマ値を算出し、前記画素に対して前記ガンマ値によりガンマ補正を行う
    請求項１９又は請求項２０に記載のプログラム。
22. 前記明度を補正した原画像に対して、環境光の明度を目標とし、明度を復元する明度復元処理を
    コンピュータに実行させる請求項１９から請求項２１のいずれかに記載のプログラム。
23. 前記明度復元処理は、前記霧・靄補正処理により強く補正された画素ほど明度の復元を強くする
    請求項２２に記載のプログラム。
24. 前記分離処理は、原画像から、大局的な構造を表す骨格成分と、その残差であるテクスチャ成分とに分離し、
    前記霧・靄補正処理は、前記骨格成分の各カラーチャンネルにおける色情報に基づいて、画素の明度が高いほど明度を低下させるような補正率を算出し、前記補正率に基づいて、前記原画像及び前記骨格成分の各画素の明度を補正し、
    前記明度復元処理は、前記明度を補正した原画像及び骨格成分に対して、環境光の明度を目標とし、明度を復元し、
    更に、
    前記明度復元後の原画像及び骨格成分と、前記テクスチャ成分とに基づいて、前記テクスチャ成分のノイズを抑圧し、ノイズ抑圧後のテクスチャ成分と前記明度復元後の骨格成分とから出力画像を生成するノイズ抑圧処理をコンピュータに実行させる
    請求項２２又は請求項２３に記載のプログラム。
25. 前記ノイズ抑圧処理は、前記原画像及び前記骨格成分と、前記明度復元後の原画像及び骨格成分との比に基づいて増強率を求め、前記増強率に基づいて前記テクスチャ成分を減衰させ、減衰させたテクスチャ成分に基づいて、前記明度復元後の骨格成分のノイズを抑圧する
    請求項２４に記載のプログラム。
26. 前記原画像及び前記骨格成分に対して、画像全体の黒の基準レベルを検出し、情報が含まれていないレンジを除去し、ダイナミックレンジを広げる黒補正処理と、
    前記黒補正後の原画像及び骨格成分の画像全体の明度を求め、画像全体の明度を目標の明度に補正する露光補正処理と、
    前記露光補正後の原画像及び骨格成分の環境光を取得し、環境光の色を正規化する白補正処理とをコンピュータに実行させ、
    前記霧・靄補正処理は、前記黒補正処理、露光補正処理及び白補正処理による処理後の原画像及び骨格成分を用いて補正を行う
    請求項１９から請求項２５のいずれかに記載のプログラム。
27. 前記霧・靄補正処理は、前記骨格成分の各画素ごとから得られる異なる補正率で前記原画像の各画素の明度を補正する
    請求項１９から請求項２６のいずれかに記載のプログラム。

Images