JP6352547B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は画像処理装置及び画像処理方法に係り、画像に含まれる靄や霧のようなヘイズを除去する画像処理装置及び画像処理方法に関する。

カメラで撮影した画像において、景色が靄や霧などのヘイズで白むことがあり、撮影目的の被写体の本来の色がそのまま反映された画像（以下、元画像という）にヘイズが重畳し、コントラストの低下、画像全体の輝度の上昇などにより被写体の視認性が低下する場合がある。

このようなヘイズを含む画像（以下、補正前画像又は入力画像という）からヘイズを除去する画像処理技術として、ダーク・チャネル・プライア（dark channel prior）という手法が知られている（例えば、特許文献１等参照）。

ダーク・チャネル・プライアは、ヘイズのない画像、特に屋外の画像の多くは、局所領域内の少なくとも１つの画素において、Ｒ、Ｇ、Ｂの各色チャネルのいずれかの強度値が極めて小さい（通常は０に近い）値を示すという経験的事実に基づく。そして、このことから、ヘイズを含む補正前画像において各局所領域の各画素の各色チャネルの強度値のうちの最小値は各局所領域におけるヘイズの影響度の大きさを示し、各局所領域におけるヘイズの影響度の大きさが０となるような処理でヘイズを除去する。

米国特許第８３４０４６１号明細書

ダーク・チャネル・プライアにより適切にヘイズを除去するためには、上述のようにヘイズのない画像（元画像）において局所領域内の少なくとも１つの画素の１つの色チャネルの強度値が０に近い値を示すことが前提となる。

しかしながら、元画像において高輝度の被写体（画像範囲）が存在する場合に、その高輝度の画像範囲内の局所領域では、全ての画素の全ての色チャネルにおいて強い強度値を示す場合がある。

そのような元画像とヘイズとが重畳された補正前画像に対して、高輝度の画像範囲に関しても他の画像範囲と同様なダーク・チャネル・プライアの処理によりヘイズ除去の補正を行うものとすると、上記のことから高輝度の画像範囲では、元画像に対するヘイズの影響度が正しく得られず、実際の影響度とは関係なく、ヘイズの影響度が極めて大きく、元画像の影響度が極めて小さいものとして処理される。

その際、ヘイズを除去しようとすると、高輝度の画像範囲が補正画像において飽和し、ディテール（輝度や色の細かな変化）が消失してしまうという問題があった。

本発明はこのような事情に鑑みてなされたもので、高輝度な被写体のディテールを消失させることなくヘイズを除去（ヘイズの影響を軽減）することができる画像処理装置及び画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明の一の態様に係る画像処理装置は、元画像と、元画像に重畳された除去すべき除去画像とからなる入力画像であって、各画素に応じた１から０の範囲の透過率をｔとした場合に元画像の各画素の画素値にｔを乗じて得られる値と、除去画像の各画素の画素値であって、１からｔを減算した値を重畳画素値に乗じて得られる値との加算値を各画素の画素値とする入力画像を取り込む入力画像取込手段と、入力画像に基づいて重畳画素値を算出する重畳画素値算出手段と、入力画像と重畳画素値とに基づいて、入力画像の各画素に対する除去画像の影響度を推定した値であり、かつ、最小値と最大値のうちの一方の限界値である第１限界値から、最小値と最大値との間の予め決められた境界値に値が近づくほど影響度が大きいことを示す影響推定値であって、透過率ｔの値に予め対応付けられた影響推定値を算出する影響推定値算出手段と、入力画像、影響推定値、及び重畳画素値に基づいて、入力画像の各画素の画素値に対する補正を実施することにより、入力画像から除去画像の影響を低減した補正画像を生成する補正処理手段と、を備え、補正処理手段は、影響推定値が第１限界値から境界値までの範囲の画素に対しては、１から０に向けて減少する値として対応付けられた透過率ｔに基づいた補正量で補正を実施し、影響推定値が境界値から最小値と最大値のうちの第１限界値と異なる他方の第２限界値までの範囲の画素に対しては、少なくとも透過率ｔを０としたときの画素値の補正量よりも小さい補正量となる補正を実施する手段である。

本態様によれば、入力画像に対する除去画像の影響度を推定する影響度推定値が境界値から第２限界値までの範囲の値を示す画素については、除去画像ではない高輝度の被写体によって除去画像の影響度を正しく推定していないとして、補正量が抑止される。そのため、高輝度の被写体のディテールが消失するのを防止することができる。

本発明の他の態様に係る画像処理装置において、第１限界値から境界値までの範囲の影響推定値に対して、透過率ｔは１から０まで単調減少する一次関数により対応付けられた態様とすることができる。

本発明の他の態様に係る画像処理装置において、第１限界値から境界値までの範囲の影響推定値に対して、透過率ｔは上に凸で単調減少する値として対応付けられた態様とすることができる。

本発明の他の態様に係る画像処理装置において、補正処理手段は、影響推定値が境界値から第２限界値までの範囲の画素に対して、影響推定値に予め対応付けられた透過率ｔに基づいて補正を実施する態様とすることができる。

本発明の他の態様に係る画像処理装置において、境界値から第２限界値までの範囲の影響推定値に対して、透過率ｔは０から１に向けて増加する値として対応付けられた態様とすることができる。

本発明の他の態様に係る画像処理装置において、境界値から第２限界値までの範囲の影響推定値に対して、透過率ｔは０より大きく、１以下の一定値として対応付けられた態様とすることができる。

本発明の他の態様に係る画像処理装置において、重畳画素値算出手段は、白画像と入力画像との差分を示す差分画像における各画素の画素値を変数として予め決められた関数により導かれる差分値を各画素ごとに算出し、差分値の小さい画素から順に累積したときの画素の累積数が予め決められた特定数になるときの差分値を境界差分値として求め、境界差分値を有する画素の入力画像における画素値の平均値を重畳画素値として算出する手段である態様とすることができる。

本発明の他の態様に係る画像処理装置において、入力画像の各画素の画素値、及び、重畳画素値は、色空間における複数チャネルのチャネル値からなり、重畳画素値算出手段は、入力画像の各画素を順に着目画素として、入力画像における着目画素を含む局所領域内の全ての画素の全てのチャネルのチャネル値のうちの最小値を着目画素とした画素の評価値として求め、評価値の大きい画素から順に累積したときの画素の累積数が予め決められた特定数になるときの評価値を境界評価値として求め、境界評価値を有する画素の入力画像における画素値の平均値を重畳画素値として算出する手段である態様とすることができる。

本発明の他の態様に係る画像処理装置において、差分画像の各画素の画素値は色空間における複数チャネルのチャネル値からなり、重畳画素値算出手段は、複数チャネルのチャネル値の各々に予め決められた係数を乗じて加算した値を差分値として算出する態様とすることができる。

本発明の他の態様に係る画像処理装置において、差分画像の複数チャネルのチャネル値として、輝度成分のチャネル値をＹ、輝度成分のチャネル値の最大値をＹｍａｘ、青色色差成分のチャネル値をＣｂ、赤色色差成分のチャネル値をＣｒとし、係数をα、βとすると、重畳画素値算出手段は、差分値を、α（Ｙｍａｘ−Ｙ）＋β｜Ｃｂ｜＋β｜Ｃｒ｜により算出する態様とすることができる。

本発明の他の態様に係る画像処理装置において、入力画像の各画素の画素値、及び、重畳画素値は、色空間における複数チャネルのチャネル値からなり、影響推定値算出手段は、入力画像の各画素を順に着目画素として、着目画素の影響推定値を算出し、着目画素の影響推定値の算出は、入力画像における着目画素を含む局所領域内の全ての画素の全てのチャネルについて、チャネル値を重畳画素値における同一チャネルのチャネル値により除算して得られる値のうちの最小値であるダークチャネル値を算出する態様とすることができる。

本発明の他の態様に係る画像処理装置において、入力画像の各画素の画素値、及び、重畳画素値は、色空間における輝度成分、青色色差成分、及び赤色色差成分のチャネル値からなり、影響推定値算出手段は、入力画像の各画素を順に着目画素として、着目画素の影響推定値を算出し、着目画素の影響推定値の算出は、入力画像における着目画素を含む局所領域内の全ての画素について、輝度成分のチャネル値と輝度成分のチャネル値の最大値との差分値、青色色差成分のチャネル値の絶対値、及び赤色成分のチャネル値の絶対値の各々に予め決められた係数を乗じて加算した値を、重畳画素値における輝度成分のチャネル値と輝度成分のチャネル値の最大値との差分値、青色色差成分のチャネル値の絶対値、及び赤色成分のチャネル値の絶対値の各々に予め決められた係数を乗じて加算した値により除算して得られる値のうちの最大値を算出する態様とすることができる。

本発明の他の態様に係る画像処理装置において、影響推定値の境界値は１である態様とすることができる。

本発明の他の態様に係る画像処理装置において、入力画像は、元画像に対して大気障害に起因する除去画像が重畳された画像である。

また、上記目的を達成するために、本発明の他の態様に係る画像処理方法において、元画像と、元画像に重畳された除去すべき除去画像とからなる入力画像であって、各画素に応じた１から０の範囲の透過率をｔとした場合に元画像の各画素の画素値にｔを乗じて得られる値と、除去画像の各画素の画素値であって、１からｔを減算した値を重畳画素値に乗じて得られる値との加算値を各画素の画素値とする入力画像を取り込む入力画像取込工程と、入力画像に基づいて重畳画素値を算出する重畳画素値算出工程と、入力画像と重畳画素値とに基づいて、入力画像の各画素に対する除去画像の影響度を推定した値であり、かつ、最小値と最大値のうちの一方の限界値である第１限界値から、最小値と最大値との間の予め決められた境界値に値が近づくほど影響度が大きいことを示す影響推定値であって、透過率ｔの値に予め対応付けられた影響推定値を算出する影響推定値算出工程と、入力画像、影響推定値、及び重畳画素値に基づいて、入力画像の各画素の画素値に対する補正を実施することにより、入力画像から除去画像の影響を低減した補正画像を生成する補正処理工程と、を備え、補正処理工程は、影響推定値が第１限界値から境界値までの範囲の画素に対しては、１から０に向けて減少する値として対応付けられた透過率ｔに基づいた補正量で補正を実施し、影響推定値が境界値から最小値と最大値のうちの第１限界値と異なる他方の第２限界値までの範囲の画素に対しては、少なくとも透過率ｔを０としたときの画素値の補正量よりも小さい補正量となる補正を実施する工程である。

本態様によれば、入力画像に対する除去画像の影響度を推定する影響度推定値が境界値から第２限界値までの範囲の値を示す画素については、除去画像ではない高輝度の被写体によって除去画像の影響度を正しく推定していないとして、補正量が抑止される。そのため、高輝度の被写体のディテールが消失するのを防止することができる。

本発明によれば、高輝度な被写体のディテールを消失させることなくヘイズを除去することができる。

本発明が適用された画像処理装置の構成図 図１の画像処理装置により実施する画像補正方法の全体手順（工程）を示したフローチャート ヘイズを含む画像の撮影時のイメージ図 大気光画素値算出工程での処理手順を示したフローチャート 大気光画素値算出工程での処理手順を示した説明図 第１の実施の形態におけるダークチャネル値と透過率との対応関係を示した図 本発明による効果を示した図 第２の実施の形態におけるダークチャネル値と透過率との対応関係を示した図 第３の実施の形態におけるダークチャネル値と透過率との対応関係を示した図 第４の実施の形態におけるダークチャネル値と透過率との対応関係を示した図 ダークチャネル値と透過率との対応関係を示した図であって図６の一部を変更した図

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

図１は、本発明が適用された画像処理装置を示した構成図である。同図に示す画像処理装置１０は、補正前の画像を入力画像として取込み、その入力画像から靄や霧などのヘイズを除去した画像を補正画像として出力する装置である。なお、本明細書においてヘイズの除去とは、ヘイズの影響を軽減することも含む。

この画像処理装置１０は、デジタルスチルカメラ、カメラ機能付き携帯電話、ビデオカメラ、監視カメラ、デジタル双眼鏡など、撮像手段により画像を取得する装置に搭載され、撮像手段により取得された画像を入力画像として取り込み、その入力画像からヘイズを除去した補正画像を出力する。

また、画像処理装置１０はパーソナルコンピュータのような撮像手段を直接的には備えない装置に組み込まれるものであってもよく、ユーザ等により選択された任意の画像を入力画像としてその入力画像からヘイズを除去した補正画像を出力するものであってもよい。

図１に示すように、画像処理装置１０は、補正対象とする補正前の画像を入力画像として取り込む入力画像取込手段１２と、入力画像に基づいて大気光画素値を算出する大気光画素値算出手段１４と、入力画像と大気光画素値とに基づいて、入力画像の各画素に対するダークチャネル値を算出するダークチャネル値算出手段１６と、入力画像、ダークチャネル値、及び大気光画素値に基づいて、入力画像からヘイズを除去した補正画像を生成する補正処理手段１８とを備える。

また、図２は、画像処理装置１０において実施する画像補正方法の全体処理手順を示したフローチャートであり、本実施の形態の画像補正方法は、入力画像取込手段１２により入力画像を取り込む入力画像取込工程Ｓ１と、大気光画素値算出手段１４により大気光画素値を算出する大気光画素値算出工程Ｓ２と、ダークチャネル値算出手段１６によりダークチャネル値を算出するダークチャネル値算出工程Ｓ３と、補正処理手段１８により補正画像を生成する補正処理工程であって、後述の透過率を算出する透過率算出工程Ｓ４と、入力画像からヘイズを除去する補正画像生成工程（ヘイズ除去工程）Ｓ５と、からなる。

以下、図１の各手段及び図２の各工程について順に説明する。

入力画像取込工程Ｓ１において入力画像取込手段１２により取り込まれる補正対象とする入力画像は、図３のイメージ図のように、例えば屋外の画像であり、撮影目的の被写体の本来の色がそのまま反映された元画像、即ち、撮影目的の被写体からの直接光により形成される元画像に靄や霧などのヘイズが重畳しているヘイズを含む補正前画像であるものとする。

ここで、ｘは１コマ分の画像中の全画素のうちから１つの画素を特定するための位置情報（座標等）や識別番号等の変数を示すものとし、補正前画像である入力画像Ｉにおける画素ｘの画素値をＩ（ｘ）とし、元画像Ｊにおける画素ｘの画素値をＪ（ｘ）とし、ヘイズにより分散する大気光の画素値（大気光画素値）をＡとし、画素ｘにおける直接光の透過率ｔをｔ（ｘ）とする。このとき、入力画像Ｉの画素ｘの画素値Ｉ（ｘ）は次式（１）で表される。
Ｉ（ｘ）＝Ｊ（ｘ）・ｔ（ｘ）＋Ａ・（１−ｔ（ｘ）） …（１）
ただし、透過率ｔは１から０の範囲の値（０以上で、１以下の範囲の値）を示す。

したがって、下記のように大気光画素値Ａと透過率ｔ（ｘ）を求めることで、ヘイズを除去した補正画像として元画像Ｊを求めることができる。

なお、本実施の形態の画像処理装置１０は、色情報を有するカラー画像を処理対象の入力画像Ｉとし、入力画像Ｉの画素値Ｉ（ｘ）、元画像Ｊの画素値Ｊ（ｘ）、大気光画素値Ａ等のような画素値は、色空間における複数の色チャネルの強度を示す複数の強度値（以下、チャネル値という）からなる。ただし、輝度情報のみからなる白黒画像を入力画像Ｉとしてもよく、その場合に画素値は、１つの色チャネル（輝度チャネル）の強度値（輝度値）のみからなるものとする。

大気光画素値算出工程Ｓ２において大気光画素値算出手段１４は、大気光画素値算出処理として、上記のようにヘイズにより分散する大気光の色（ヘイズの色）を示す大気光画素値Ａを入力画像取込手段１２により取り込まれた入力画像Ｉに基づいて算出する。

ここで、大気光画素値算出工程Ｓ２での処理手順、即ち、大気光画素値算出手段１４における大気光画素値算出処理の処理手順について図４のフローチャート、及び図５の説明図を用いて説明する。

まず、ステップＳ１０では、画像全体が一様に白色の白画像Ｗ（図５（Ａ）参照）と入力画像Ｉ（図５（Ｂ）参照）との差分画像Ｓ（図５（Ｃ）参照）を生成する。差分画像Ｓは、次式（２）で表される。

Ｓ（ｘ）＝Ｗ（ｘ）−Ｉ（ｘ） …（２）
ただし、Ｓ（ｘ）、Ｗ（ｘ）、及びＩ（ｘ）は各々、差分画像Ｓ、白画像Ｗ、入力画像Ｉにおける画素ｘの画素値を示す。

また、大気光画素値算出処理においては、画像を表現する色空間としてＹＣｂＣｒ色空間を用いるものとし、輝度成分、青色色差成分、及び赤色色差成分からなる３つの色チャネルの各々の強度を示す３つのチャネル値により画素値を表すものとする。

例えば、輝度成分（輝度チャネル）のチャネル値を変数Ｙ、青色色差成分（青色色差チャネル）のチャネル値を変数Ｃｂ、赤色色差成分（赤色色差チャネル）のチャネル値を変数Ｃｒにより表すとした場合、画素値は、各チャネル値Ｙ、Ｃｂ、Ｃｒからなり、（Ｙ、Ｃｂ、Ｃｒ）のように成分表示されるものとする。

また、任意の画像における画素値をＰで表すものとして、白画像Ｗ、入力画像Ｉ、差分画像Ｓの各々の画像における画素値ＰをＷＰ、ＩＰ、ＳＰで表し、画像Ｗ、Ｉ、Ｓの各々の画像における各チャネル値［Ｙ、Ｃｂ、Ｃｒ］を［ＷＹ、ＷＣｂ、ＷＣｒ］、［ＩＹ、ＩＣｂ、ＩＣｒ］、［ＳＹ、ＳＣｂ、ＳＣｒ］で表す。

なお、各画素ｘにおける画素値Ｐ、各チャネル値Ｙ、Ｃｂ、Ｃｒは画素ｘごとの値を示すが、そのことを明示する場合には、Ｙ（ｘ）、Ｃｂ（ｘ）、Ｃｒ（ｘ）のようにｘの関数として表す。白画像Ｗ、入力画像Ｉ、差分画像Ｓの各々の画像に限定した画素値、各チャネル値の表示についても同様である。

そこで、上式（２）において差分画像Ｓの各画素の画素値ＳＰを成分表示で表すと、次式（３）が得られる。

ＳＰ＝（ＳＹ、ＳＣｂ、ＳＣｒ）＝（ＷＹ−ＩＹ、ＷＣｂ−ＩＣｂ、ＷＣｒ−ＩＣｒ） …（３）
具体例を示すと、各色チャネルのチャネル値が８ビットの２５６階調で表されるとし、輝度チャネルのチャネル値Ｙが［０、２５５］の範囲の値をとり、青色色差チャネル及び赤色色差チャネルのチャネル値Ｃｂ、Ｃｒが［−１２８、１２７］の範囲の値をとるものとする。

このとき、白画像Ｗにおける全ての画素の画素値ＷＰは、
ＷＰ＝（ＷＹ、ＷＣｂ、ＷＣｒ）＝（２５５、０、０）
となる。

そして、入力画像Ｉにおける所定の画素ｘの画素値ＩＰが、例えば、
ＳＰ＝（ＳＹ、ＳＣｂ、ＳＣｒ）＝（２３０、１１０、１２０）
であるとする。

この場合、差分画像Ｓにおけるその画素ｘの画素値ＳＰ、即ち、各チャネル値ＳＹ、ＳＣｂ、ＳＣｒは、上式（３）により、
ＳＰ＝（ＳＹ、ＳＣｂ、ＳＣｒ）＝（２５、−１１０、−１２０）
となる。

次に、ステップＳ１２では、差分画像Ｓの各画素の差分値ＳＶを算出する。

各画素の差分値ＳＶは、各画素のチャネル値Ｙ、Ｃｂ、Ｃｒを変数とし、予め決められた実数α、β、γを係数とする関数α・（Ｙｍａｘ−Ｙ）＋β・｜Ｃｂ｜＋γ・｜Ｃｒ｜により算出される。ただし、本実施の形態ではγ＝βとする。また、Ｙｍａｘは輝度チャネルの最大値を示し、本実施の形態では２５５を示す。

また、差分画像Ｓにおける各画素のチャネル値Ｙ、Ｃｂ、Ｃｒは上記のようにＳＹ、ＳＣｂ、ＳＣｒで表すことから、差分値ＳＶは、次式（４）により算出される。

ＳＶ＝α・（Ｙｍａｘ−ＳＹ）＋β・｜ＳＣｂ｜＋β・｜ＳＣｒ｜ …（４）
次に、ステップＳ１４では、差分画像Ｓの各画素の差分値ＳＶに基づいて差分画像Ｓのヒストグラムを生成する。

差分画像Ｓのヒストグラムとは、図５（Ｄ）のように横軸に差分値ＳＶ、縦軸に横軸が示す差分値を有する画素の数を表したグラフを示す。

次に、ステップＳ１６では、差分画像Ｓのヒストグラムにおいて、差分値ＳＶの小さい方（下位の方）から累積した画素数が差分画像Ｓにおける全画素数の５％となる境界差分値ＳＶａを検出する。

即ち、ステップＳ１４及びステップＳ１６の処理として、ステップＳ１４のように差分画像Ｓのヒストグラムを生成することは必ずしも必要なく、差分値ＳＶの小さい画素から順に累積したときの画素の累積数が、全画素数の５パーセントに該当する特定数Ｋになるときの差分値を境界差分値ＳＶａとして求める。

なお、特定数Ｋは、必ずしも全画素数の５パーセントとなる数でなくてもよいが、全画素数の１パーセント以上で、かつ、７パーセント以下となる範囲内の数であることが好ましい。

次に、ステップＳ１８では、境界差分値ＳＶａを有する画素の入力画像Ｉにおける画素値ＩＰの平均値を大気光画素値Ａとして算出する。例えば図５（Ｅ）のライン３０上の画素が境界差分値ＳＶａを有するとした場合、そのライン３０上の画素の画素値ＩＰの平均値を算出すると図５（Ｆ）の大気光画素値Ａが算出される。

ここで、画素値ＩＰの平均値とは、画素値ＩＰにおける各成分（各色チャネルのチャネル値）を平均したものを意味する。

即ち、境界差分値ＳＶａを有する画素をｘ１〜ｘｍ（ｍは正の整数）とし、入力画像Ｉにおけるそれらの画素ｘ１〜ｘｍの画素値ＩＰ（ｘ１）〜ＩＰ（ｘｍ）を各色チャネルのチャネル値で成分表示すると、（ＩＹ（ｘ１）、ＩＣｂ（ｘ１）、ＩＣｒ（ｘ１））〜（ＩＹ（ｘｍ）、ＩＣｂ（ｘｍ）、ＩＣｒ（ｘｍ））であるとする。

一方、大気光画素値Ａを各色チャネルのチャネル値で成分表示したとき（ＡＹ、ＡＣｂ、ＡＣｒ）であるとする。

このとき、大気光画素値Ａの各色チャネルのチャネル値ＡＹ、ＡＣｂ、ＡＣｒは、画素値ＩＰ（ｘ１）〜ＩＰ（ｘｍ）の各色チャネルのチャネル値ＩＹ（ｘ１）〜ＩＹ（ｘｍ）、ＩＣｂ（ｘ１）〜ＩＣｂ（ｘｍ）、ＩＣｒ（ｘ１）〜ＩＣｒ（ｘｍ）の各々の平均値であり、次式（５）〜（７）により算出される。

以上のようにして、図１の大気光画素値算出手段１４は、大気光画素値Ａを入力画像Ｉに基づいて算出する。

ダークチャネル値算出工程Ｓ３においてダークチャネル値算出手段１６は、ダークチャネル値算出処理として、入力画像取込手段１２により取り込まれた入力画像Ｉと大気光画素値算出手段１４により算出された大気光画素値Ａとに基づいて、入力画像Ｉの各画素に対するヘイズの影響度を推定した値となるダークチャネル値Ｄを画素ごとに算出する。

ここで、ダークチャネル値Ｄは、例えばヘイズの影響度が大きいほど大きい値を示し、上式（１）における直接光の透過率ｔの値に予め対応付けられた値を示す。即ち、画素ｘにかかわらず、ダークチャネル値Ｄと透過率ｔとは一定の関係により予め対応付けられている。

従って、入力画像Ｉと大気光画素値Ａとに基づいて各画素のダークチャネル値Ｄを求めることで、後述のように各画素ｘの透過率ｔをｔ（ｘ）として算出することができる。

なお、本実施の形態のダークチャネル値Ｄの算出処理においては、画像を表現する色空間として主にＲＧＢ色空間を用いるものとし、赤色成分（Ｒチャネル）、緑色成分（Ｇチャネル）、及び青色成分（Ｂチャネル）からなる３つの色チャネルのチャネル値により画素値を表すことを想定している。

ただし、ＲＧＢ色空間以外のＹＣｂＣｒ色空間やＨＳＶ色空間などの任意の形態(方式)の色空間を用いることが可能であり、任意の形態の色空間における各色チャネルを特定する文字又は値を具体値として持つ変数をｃで表し、入力画像Ｉの画素ｘの画素値Ｉ（ｘ）や大気光画素値Ａにおける色チャネルｃのチャネル値をＩｃ（ｘ）、Ａｃと表す。

例えば、ＲＧＢ色空間において、Ｒチャネルをｒ、Ｇチャネルをｇ、Ｂチャネルをｂで表すと、変数ｃは、［ｒ、ｇ、ｂ］を具体値として持つ。

ここで、ヘイズのない画像、特に屋外の画像の多くは、局所領域内の少なくとも１つの画素において、各色チャネルのいずれかのチャネル値が極めて小さいことから、ヘイズを含む画像において各局所領域の各画素の各色チャネルのチャネル値のうちの最小値は各局所領域におけるヘイズの影響度の大きさを示すと推定される。

そこで、ダークチャネル値算出手段１６は、入力画像Ｉにおける各画素を順に着目画素として着目画素のダークチャネル値Ｄを算出し、入力画像Ｉの全ての画素のダークチャネル値Ｄを算出する。

そして、着目画素のダークチャネル値Ｄの算出において、着目画素とした画素ｘを含む局所領域Ω（ｘ）内の全ての画素ｙの全ての色チャネルについて、チャネル値Ｉｃ（ｙ）を大気光画素値Ａにおける同一チャネルのチャネル値Ａｃにより除して得られる値のうちの最小値を算出する。その最小値を画素ｘのダークチャネル値Ｄとする。

即ち、画素ｘのダークチャネル値ＤをＤ（ｘ）とするとＤ（ｘ）は次式（８）により算出される。

なお、局所領域Ω（ｘ）は、例えば、画素ｘを中心として周囲を囲む合計９個の画素を含む領域であり、ヘイズの影響度が略均一と想定される大きさの領域であることが望ましい。

また、全ての画素のダークチャネル値Ｄ（ｘ）を求めるのではなく、複数画素からなる領域ごとに共通の値となる１つのダークチャネル値Ｄを算出してもよい。

補正処理工程の一部である透過率算出工程Ｓ４において補正処理手段１８は、透過率算出処理として、ダークチャネル値算出手段１６により算出された入力画像Ｉの各画素のダークチャネル値Ｄ（ｘ）に基づいて上式（１）における直接光の透過率ｔ（ｘ）を求める。

上述のように画素ｘにかかわらずダークチャネル値Ｄと透過率ｔとは一定の関係により予め対応付けられている。

図６は、第１の実施の形態におけるダークチャネル値Ｄと透過率ｔとの対応関係を示した図である。

同図において、最大値Ｄｍａｘは、入力画像Ｉにおける全ての画素のダークチャネル値Ｄ（ｘ）のうちの最大値を示し、ダークチャネル値Ｄは、０以上で、かつ、Ｄｍａｘ以下の範囲の値を示す。

ヘイズよりも高輝度の被写体が存在する場合には、ダークチャネル値Ｄが１を超える場合が生じる。このとき、最大値Ｄｍａｘも１より大きい値となる。

一方、透過率ｔは０以上で、かつ、１以下の範囲の値を示す。

そして、ダークチャネル値Ｄが０以上で、１以下の範囲（０から１までの範囲）の値に対しては、ダークチャネル値Ｄと透過率ｔとが次式（９）の関係、即ち、図６の直線Ｌ１の関係を有するものとして次式（９）により透過率ｔが求められる。

ｔ＝１−Ｄ …（９）
ここで、１を境界値としてダークチャネル値Ｄが０からその境界値１までの範囲の値となる画素については、ダークチャネル値Ｄが大きい程、即ち、ダークチャネル値Ｄが０から境界値１に近づく程、ヘイズの影響度が大きいと推定されるため、上式（９）のようにダークチャネル値Ｄに対して透過率ｔが１から０まで単調減少する一次関数により対応付けられている。

これに対して、ダークチャネル値Ｄが１より大きい範囲（１から最大値Ｄｍａｘまでの範囲）の値に対しては、ダークチャネル値Ｄと透過率ｔとが次式（１０）の関係、即ち、直線Ｌ２の関係を有するものとして次式（１０）により透過率ｔが求められる。

ｔ＝（Ｄ−１）／（Ｄｍａｘ−１） …（１０）
ここで、ダークチャネル値Ｄが境界値１を超える範囲の値となる画素については、ダークチャネル値Ｄはヘイズの影響度よりも高輝度の被写体の影響度が大きいと推定されるため、上式（１０）のようにダークチャネル値Ｄに対して透過率ｔが単調増加する値として対応付けられている。

補正処理手段１８は、このようなダークチャネル値Ｄと透過率ｔとの一定の対応関係により、入力画像Ｉの各画素のダークチャネル値Ｄ（ｘ）に基づいて各画素における直接光の透過率ｔ（ｘ）を求める。

そして、補正処理工程の一部である補正画像生成工程（ヘイズ除去工程）Ｓ５において補正処理手段１８は、各画素における透過率ｔ（ｘ）と大気光画素値Ａとに基づいてヘイズを除去した元画像Ｊを補正画像として生成する。

即ち、上式（１）から、元画像Ｊの画素ｘにおける画素値Ｊ（ｘ）は次式（１１）により表される。

Ｊ（ｘ）＝｛Ｉ（ｘ）−Ａ・（１−ｔ（ｘ））｝／ｔ（ｘ）
＝Ａ＋（Ｉ（ｘ）−Ａ）／ｔ（ｘ） …（１１）
この式（１１）において、画素ｘにおける入力画像Ｉの画素値Ｉ（ｘ）と、大気光画素値Ａとを右辺に代入することで、元画像Ｊにおける画素ｘの画素値Ｊ（ｘ）を求めることができる。そして、元画像Ｊにおける全ての画素の画素値Ｊ（ｘ）を求めることで元画像Ｊを補正画像として生成することができる。

補正処理手段１８は、このようにして生成した補正画像を画像処理装置１０から出力する。

なお、上式（１１）により得られる補正画像は、上述のように算出した大気光画素値Ａや透過率ｔ（ｘ）が必ずしも正確な値ではないことから、必ずしも元画像Ｊと完全に一致しない。

また、入力画像Ｉからヘイズを完全に除去するのではなく、ヘイズの影響を残して遠近感を強調するような補正処理等を行うようにしてもよい。例えば、ダークチャネル値Ｄに対して対応付ける透過率ｔの値範囲を０から１までの値範囲のうちの一部としてもよく、Ｓ（０＜Ｓ＜１）から１までの値範囲等としてもよい。

したがって、補正画像は入力画像Ｉに対してヘイズの影響を軽減したものであればよい。

以上の画像処理装置１０の効果について説明すると、図７において、同図（Ａ）は入力画像Ｉの例であり、ヘイズにより全体が白んでいる。

これに対して、同図（Ｂ）は従来の補正処理によりヘイズを除去した補正画像を示し、同図（Ｃ）は本実施の形態の画像処理装置１０によりヘイズを除去した補正画像を示す。

同図（Ｂ）の補正画像と同図（Ｃ）の補正画像を比較すると、両者とも同図（Ａ）の入力画像Ｉから全体的にヘイズが除去され、白みが除去されている。

一方、同図（Ａ）の拡大表示された領域４０には、高輝度の空と透過率の低い木の葉の画像が含まれている。

その領域４０内の画像に着目すると、従来の補正処理では、領域４０内の画素はダークチャネル値Ｄが１を超え、ヘイズの影響度が大きいと推定される。そして、透過率ｔが極めて小さいものとして、即ち、元画像Ｊの影響度が極めて小さいものとして認識される。

その結果、領域４０内の画素値の増加方向への補正量が極めて大きくなる。即ち、画素値の補正量の大きさを示す指標として、例えば、補正画像となる元画像Ｊの画素値Ｊ（ｘ）と入力画像Ｉの画素値Ｉ（ｘ）の差分値Δｄを上式（１１）により求めると、Δｄ＝（Ｉ（ｘ）−Ａ）（１−ｔ（ｘ））／ｔ（ｘ）となる。この差分値Δｄから分かるように透過率ｔが極めて小さいときは、差分値Δｄが極めて大きく補正量が極めて大きくなる。

これによって、領域４０内の画素値が飽和し、同図（Ｂ）の領域４０内の画像のようにディテールが消失したものとなる。

これに対して、本実施の形態の画像処理装置１０では、ダークチャネル値Ｄが１を超えた場合であっても、図６の直線Ｌ２のように必ずしも透過率ｔが極めて小さいものとして認識されないようにしている。そのため、領域４０内の画素値の補正量の増大が抑止される。

これによって、領域４０内の画素値が飽和が抑止され、同図（Ｃ）の領域４０内の画像のようにディテールが消失せずに残るものとなる。

次に、ダークチャネル値Ｄと透過率ｔとの対応関係が異なる画像処理装置１０の他の実施の形態について説明する。

図８は、第２の実施の形態におけるダークチャネル値Ｄと透過率ｔとの対応関係を示した図である。

補正処理手段１８は、透過率算出処理において、図６の代わりに図８の関係を用いることができる。

同図に示すようにダークチャネル値Ｄが０以上で、１以下の範囲の値に対しては、次式（１２）の関係、即ち、図８の曲線Ｌ３の関係により透過率ｔが求められる。

ｔ＝１−Ｄ^ｒ１ …（１２）
ただし、ｒ１は１未満の値とする。

これに対して、ダークチャネル値Ｄが１より大きい範囲の値に対しては、次式（１３）の関係、即ち、図８の曲線Ｌ４により透過率ｔが求められる。

ｔ＝｛（Ｄ−１）／（Ｄｍａｘ−１）｝^ｒ２ …（１３）
ただし、ｒ２は１より大きい値とする。

ここで、上式（１２）、（１３）において、ｒ１は１未満の値、ｒ２は１より大きい値とすることが望ましいが、ｒ１は１以上の値としてもよく、また、ｒ２は１以下の値としてもよい。

また、上式（１２）、（１３）は一例であって、上式（１２）に代わる関数として、ダークチャネル値Ｄの増加に対して透過率ｔが単調減少する関数であればよく、上式（１３）に代わる関数として、ダークチャネル値Ｄの増加に対して透過率ｔが単調増加する関数であればよい。更に、上式（１２）、（１３）に代わる関数としては上に凸の関数、即ち、透過率ｔのダークチャネル値Ｄについての二階微分が負となる関数であることが望ましい。

更に、ダークチャネル値Ｄと透過率ｔとの対応付けは、関数によるものではなく、ルークアップテーブルのように具体値同士の対応付けであってもよい。

図９は、第３の実施の形態におけるダークチャネル値Ｄと透過率ｔとの対応関係を示した図である。

ここで、本実施の形態におけるダークチャネル値Ｄは、上記第１及び第２の実施の形態とは相違しており、本来の意味でのダークチャネル値には該当しないが、本実施の形態ではダークチャネル値という。

本実施の形態におけるダークチャネル値算出手段１６は、ダークチャネル値算出処理として、画素ｘのダークチャネル値Ｄ（ｘ）を次式（１４）を用いて画素ごとに算出する。

上式（１４）は、画像を表現する色空間としてＹＣｂＣｒ色空間を用いる場合に特化したものであり、Ａｒ、Ａｃｂ、及びＡｃｒは、大気光画素値Ａにおける輝度チャネル、青色色差チャネル、及び赤色色差チャネルのチャネル値を示し、Ｉｙ（ｙ）、Ｉｃｂ（ｙ）、及びＩｃｒ（ｙ）は、入力画像Ｉのｙ画素における輝度チャネル、青色色差チャネル、及び赤色色差チャネルのチャネル値を示す。α、βは係数であり、εは０による除算を防止するための定数である。

即ち、着目画素とした画素ｘを含む局所領域Ω（ｘ）内の全ての画素ｙについて、輝度チャネルのチャネル値Ｉｙ（ｙ）と輝度チャネルのチャネル値の最大値２５５との差分値、青色色差チャネルのチャネル値Ｉｃｂ（ｙ）の絶対値、及び赤色色差チャネルのチャネル値Ｉｃｒ（ｙ）の絶対値の各々に予め決められた係数を乗じて加算した値を、大気光画素値Ａにおける輝度チャネルのチャネル値Ａｙと輝度チャネルのチャネル値の最大値２５５との差分値、青色色差チャネルのチャネル値Ａｃｂの絶対値、及び赤色色差チャネルのチャネル値Ａｃｒの絶対値の各々に予め決められた係数を乗じて加算した値により除して得られる値を算出し、そのうちの最大値を画素ｘのダークチャネル値Ｄとする。

また、上式（１４）は、入力画像Ｉにおける白っぽい被写体ほどヘイズの影響度が大きいと仮定し、着目画素とした画素ｘを含む局所領域Ω（ｘ）内の画素のうち右辺の括弧内の値が最も大きくなる最大値をダークチャネル値Ｄ（ｘ）とするものである。

補正処理手段１８は、透過率算出処理において、図６と同様の図９の関係を用いる。

同図に示すようにダークチャネル値Ｄが０以上で、１未満の範囲の値に対しては、上式（９）と同様に次式（１５）の関係、即ち、図９の曲線Ｌ５により透過率ｔが求められる。

ｔ＝１−Ｄ …（１５）
ただし、本実施の形態のダークチャネル値Ｄにおいては、ダークチャネル値が境界値１より小さい範囲の値となる画素については、ダークチャネル値Ｄはヘイズの影響度よりも高輝度の被写体の影響度が大きいと推定される。そのため、上式（１５）のようにダークチャネル値Ｄに対して透過率ｔが単調減少する値として対応付けられている。

これに対して、ダークチャネル値Ｄが１以上の範囲の値に対しては、ダークチャネル値Ｄと透過率ｔとが上式（１０）と同様に次式（１６）の関係、即ち、図９の直線Ｌ６の関係を有するものとして次式（１６）により透過率ｔが求められる。

ｔ＝（Ｄ−１）／（Ｄｍａｘ−１） …（１６）
ここで、Ｄｍａｘは、入力画像Ｉにおける全ての画素のダークチャネル値Ｄ（ｘ）のうちの最大値を示す。

また、本実施の形態のダークチャネル値Ｄにおいては、１を境界値としてダークチャネル値Ｄが境界値１から最大値Ｄｍａｘまでの範囲の値となる画素については、ダークチャネル値Ｄが大きい程、ヘイズの影響度が小さいと推定されるため、即ち、ダークチャネル値ＤがＤｍａｘから境界値１に近づく程、ヘイズの影響度が大きいと推定されるため、上式（１６）のようにダークチャネル値Ｄに対して透過率ｔが単調増加する値として対応付けられている。

図１０は、第４の実施の形態におけるダークチャネル値Ｄと透過率ｔとの対応関係を示した図である。

なお、ダークチャネル値Ｄは、上記第３の実施の形態と同一のダークチャネル算出処理により算出され、上式（１４）が用いられる。

補正処理手段１８は、透過率算出処理において、図８と同様の図１０の関係を用いる。

同図に示すようにダークチャネル値Ｄが０以上で、１未満の範囲の値に対しては、上式（１２）と同様に次式（１７）の関係、即ち、図１０の曲線Ｌ７の関係により透過率ｔが求められる。

ｔ＝１−Ｄ^ｒ１ …（１７）
ただし、ｒ１は１未満の値とする。

これに対して、ダークチャネル値Ｄが１以上の範囲の値に対しては、上式（１３）と同様に次式（１８）の関係、即ち、図１０の曲線Ｌ８の関係により透過率ｔが求められる。

ｔ＝｛（Ｄ−１）／（Ｄｍａｘ−１）｝^ｒ２ …（１８）
ただし、ｒ２は１より大きい値とする。

なお、上式（１２）、（１３）と同様に、上式（１７）、（１８）において、ｒ１は１未満の値、ｒ２は１より大きい値とすることが望ましいが、ｒ１は１以上の値としてもよく、また、ｒ２は１以下の値としてもよい。

また、上式（１７）、（１８）は一例であって、上式（１７）に代わる関数として、ダークチャネル値Ｄの増加に対して透過率ｔが単調減少する関数であればよく、上式（１８）に代わる関数として、ダークチャネル値Ｄの増加に対して透過率ｔが単調増加する関数であればよい。更に、上式（１７）、（１８）に代わる関数としては上に凸の関数、即ち、透過率ｔのダークチャネル値Ｄについての二階微分が負となる関数であることが望ましい。

更に、ダークチャネル値Ｄと透過率ｔとの対応付けは、関数によるものではなく、ルークアップテーブルのように具体値同士の対応付けであってもよい。

以上の第１〜第４の実施の形態として図６、図８、図９、及び図１０に示したダークチャネル値Ｄと透過率ｔとの関係において、ヘイズの影響度よりも高輝度の被写体の影響度が大きいと推定されるダークチャネル値Ｄの特定範囲、即ち、図６及び図８では、１を超える範囲、図９及び図１０では、１未満の範囲については、少なくも透過率ｔが０のときよりも画素値の補正量よりも小さい補正量となる関係であればよい。

例えば、図６の一部に修正を加えた図１１のようにダークチャネル値Ｄが１より大きい範囲（１から最大値Ｄｍａｘまでの範囲）の値に対しては、同図の直線Ｌ９のように透過率ｔが０より大きく、１以下の一定値ａとして対応付けるようにしてもよい。

また、透過率ｔを一定値ａとするのではなく、ダークチャネル値Ｄの上記特定範囲の画素に対して補正の効果を弱めるものであればどのような方法でも良く、補正処理を全く施さないという方法も採用可能である。

以上、上記実施の形態における大気光画素値算出手段１４は、大気光画素値算出処理として任意の方法を採用することができる。例えば、次のような方法で大気光画素値Ａを算出してもよい。入力画像Ｉの各画素を順に着目画素として、入力画像Ｉにおける着目画素を含む局所領域内の全ての画素の全ての色チャネルのチャネル値のうちの最小値を着目画素とした画素の評価値として求める。続いて、評価値の大きい画素から順に累積したときの画素の累積数が予め決められた特定数になるときの評価値を境界評価値として求める。そして、境界評価値を有する画素の入力画像Ｉにおける画素値の平均値を大気光画素値Ａとして算出する。

また、上記実施の形態において、ダークチャネル値算出手段１６により算出されるダークチャネル値Ｄは、特定の方法で算出されるものに限定されない。

即ち、ダークチャネル値算出手段１６は、上記実施の形態のダークチャネル値Ｄに限らず、影響推定値算出手段として、入力画像Ｉと大気光画素値Ａとに基づいて、入力画像Ｉの各画素に対するヘイズの影響度を推定した値であり、かつ、最小値と最大値のうちの一方の限界値である第１限界値から、最小値と最大値との間の予め決められた境界値に値が近づくほど影響度が大きいことを示す影響推定値であって、透過率ｔの値に予め対応付けられた影響推定値を算出するものであればよく、その影響推定値を上記実施の形態のダークチャネル値Ｄとして適用することができる。なお、境界値は影響度が最大になると推定される値を示す。

ここで、第１及び第２の実施の形態において用いられ、図６及び図８に示されたダークチャネル値Ｄにおいて、０、Ｄｍａｘ、及び１が影響推定値における最小値、最大値、及び境界値に相当し、ダークチャネル値Ｄの限界値である０とＤｍａｘのうちの０が影響推定値の第１限界値に相当し、Ｄｍａｘが他方の限界値（第２限界値）に相当する。

また、第３及び第４の実施の形態において用いられ、図９及び図１０に示されたダークチャネル値Ｄにおいて、０、Ｄｍａｘ、及び１が影響推定値における最小値、最大値、及び境界値に相当し、ダークチャネル値Ｄの限界値である０とＤｍａｘのうちのＤｍａｘが影響推定値の第１限界値に相当し、０が他方の限界値（第２限界値）に相当する。

そして、第１から第４の実施の形態のいずれの補正処理手段１８においても、影響推定値が第１限界値から境界値までの範囲の画素に対しては、１から０に向けて減少する値として対応付けられた透過率ｔに基づいて補正を実施し、影響推定値が境界値から第２限界値までの範囲の画素に対しては、少なくとも透過率ｔを０としたときの画素値の補正量よりも小さい補正量となる補正を実施するものを例示している。

なお、第１から第４の実施の形態のいずれの補正処理手段１８においても、境界値から第２限界値までの範囲の影響推定値に対しては、透過率ｔが０から１に向けて増加する値として対応付けられた形態が示されており、図１１には、境界値から第２限界値までの範囲の影響推定値に対して、透過率ｔが０より大きく、１以下の一定値として対応付けられた形態が示されている。

また、上記実施の形態では、補正対象とする入力画像Ｉは、被写体からの直接光により形成される元画像に靄などのヘイズが重畳している画像としたが、これに限らない。例えば、大気障害に起因する画像や、レンズフレアなどの元画像にない任意の画像が元画像に重畳している場合に、そのような画像を入力画像Ｉとし、元画像にない画像を除去すべき除去画像として、上記実施の形態におけるヘイズの除去と同様にして入力画像Ｉから除去画像を除去（除去画像の影響を軽減）することができる。

このとき、入力画像Ｉは、大気光画素値Ａを重畳画素値Ａと称するものとして、上式（１）により表され、大気光画素値算出手段１４は重畳画素値算出手段として大気光画素値Ａと同様に重畳画素値Ａを算出することができる。

１０…画像処理装置、１２…入力画像取込手段、１４…大気光画素値算出手段、１６…ダークチャネル値算出手段、１８…補正処理手段、Ｉ…入力画像、ｘ…画素、Ｊ…元画像、ｔ…透過率、Ａ…大気光画素値

Claims (15)

1. 元画像と、前記元画像に重畳された除去すべき除去画像とからなる入力画像であって、各画素に応じた１から０の範囲の透過率をｔとした場合に前記元画像の各画素の画素値にｔを乗じて得られる値と、前記除去画像の各画素の画素値であって、１からｔを減算した値を重畳画素値に乗じて得られる値との加算値を各画素の画素値とする入力画像を取り込む入力画像取込手段と、
   前記入力画像に基づいて前記重畳画素値を算出する重畳画素値算出手段と、
   前記入力画像と前記重畳画素値とに基づいて、前記入力画像の各画素に対する前記除去画像の影響度を推定した値であり、かつ、最小値と最大値のうちの一方の限界値である第１限界値から、前記最小値と前記最大値との間の予め決められた境界値に値が近づくほど前記影響度が大きいことを示す影響推定値であって、前記透過率ｔの値に予め対応付けられた影響推定値を算出する影響推定値算出手段と、
   前記入力画像、前記影響推定値、及び前記重畳画素値に基づいて、前記入力画像の各画素の画素値に対する補正を実施することにより、前記入力画像から前記除去画像の影響を低減した補正画像を生成する補正処理手段と、
   を備え、
   前記補正処理手段は、
   前記影響推定値が前記第１限界値から前記境界値までの範囲の画素に対しては、１から０に向けて減少する値として対応付けられた透過率ｔに基づいた補正量で前記補正を実施し、
   前記影響推定値が前記境界値から前記最小値と最大値のうちの前記第１限界値と異なる他方の第２限界値までの範囲の画素に対しては、少なくとも透過率ｔを０としたときの画素値の補正量よりも小さい補正量となる補正を実施する手段である、
   画像処理装置。
2. 前記第１限界値から前記境界値までの範囲の前記影響推定値に対して、前記透過率ｔは１から０まで単調減少する一次関数により対応付けられた請求項１に記載の画像処理装置。
3. 前記第１限界値から前記境界値までの範囲の前記影響推定値に対して、前記透過率ｔは上に凸で単調減少する値として対応付けられた請求項１に記載の画像処理装置。
4. 前記補正処理手段は、前記影響推定値が前記境界値から前記第２限界値までの範囲の画素に対して、前記影響推定値に予め対応付けられた透過率ｔに基づいて前記補正を実施する請求項１、２、又は３に記載の画像処理装置。
5. 前記境界値から前記第２限界値までの範囲の前記影響推定値に対して、前記透過率ｔは０から１に向けて増加する値として対応付けられた請求項４の画像処理装置。
6. 前記境界値から前記第２限界値までの範囲の前記影響推定値に対して、前記透過率ｔは０より大きく、１以下の一定値として対応付けられた請求項４の画像処理装置。
7. 前記重畳画素値算出手段は、
   白画像と前記入力画像との差分を示す差分画像における各画素の画素値を変数として予め決められた関数により導かれる差分値を各画素ごとに算出し、
   前記差分値の小さい画素から順に累積したときの画素の累積数が予め決められた特定数になるときの差分値を境界差分値として求め、
   前記境界差分値を有する画素の前記入力画像における画素値の平均値を前記重畳画素値として算出する手段である請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記入力画像の各画素の画素値、及び、前記重畳画素値は、色空間における複数チャネルのチャネル値からなり、
   前記重畳画素値算出手段は、
   前記入力画像の各画素を順に着目画素として、前記入力画像における前記着目画素を含む局所領域内の全ての画素の全てのチャネルのチャネル値のうちの最小値を着目画素とした画素の評価値として求め、
   前記評価値の大きい画素から順に累積したときの画素の累積数が予め決められた特定数になるときの評価値を境界評価値として求め、
   前記境界評価値を有する画素の前記入力画像における画素値の平均値を前記重畳画素値として算出する手段である請求項１から６のいずれか１項に記載の画像処理装置。
9. 前記差分画像の各画素の画素値は色空間における複数チャネルのチャネル値からなり、
   前記重畳画素値算出手段は、前記複数チャネルのチャネル値の各々に予め決められた係数を乗じて加算した値を前記差分値として算出する請求項７に記載の画像処理装置。
10. 前記差分画像の前記複数チャネルのチャネル値として、輝度成分のチャネル値をＹ、輝度成分のチャネル値の最大値をＹｍａｘ、青色色差成分のチャネル値をＣｂ、赤色色差成分のチャネル値をＣｒとし、係数をα、βとすると、前記重畳画素値算出手段は、前記差分値を、α（Ｙｍａｘ−Ｙ）＋β｜Ｃｂ｜＋β｜Ｃｒ｜により算出する請求項９に記載の画像処理装置。
11. 前記入力画像の各画素の画素値、及び、前記重畳画素値は、色空間における複数チャネルのチャネル値からなり、
    前記影響推定値算出手段は、
    前記入力画像の各画素を順に着目画素として、着目画素の前記影響推定値を算出し、
    前記着目画素の影響推定値の算出は、前記入力画像における前記着目画素を含む局所領域内の全ての画素の全てのチャネルについて、チャネル値を前記重畳画素値における同一チャネルのチャネル値により除して得られる値のうちの最小値であるダークチャネル値を算出する請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記入力画像の各画素の画素値、及び、前記重畳画素値は、色空間における輝度成分、青色色差成分、及び赤色色差成分のチャネル値からなり、
    前記影響推定値算出手段は、前記入力画像の各画素を順に着目画素として、着目画素の前記影響推定値を算出し、
    前記着目画素の影響推定値の算出は、前記入力画像における前記着目画素を含む局所領域内の全ての画素について、輝度成分のチャネル値と輝度成分のチャネル値の最大値との差分値、青色色差成分のチャネル値の絶対値、及び赤色成分のチャネル値の絶対値の各々に予め決められた係数を乗じて加算した値を、前記重畳画素値における輝度成分のチャネル値と輝度成分のチャネル値の最大値との差分値、青色色差成分のチャネル値の絶対値、及び赤色成分のチャネル値の絶対値の各々に予め決められた係数を乗じて加算した値により除して得られる値のうちの最大値を算出する請求項１から１０のいずれか１項に記載の画像処理装置。
13. 前記影響推定値の前記境界値は１である請求項１１又は１２に記載の画像処理装置。
14. 前記入力画像は、前記元画像に対して大気障害に起因する除去画像が重畳された画像である請求項１から１３のいずれか１項に記載の画像処理装置。
15. 元画像と、前記元画像に重畳された除去すべき除去画像とからなる入力画像であって、
    各画素に応じた１から０の範囲の透過率をｔとした場合に前記元画像の各画素の画素値にｔを乗じて得られる値と、前記除去画像の各画素の画素値であって、１からｔを減算した値を重畳画素値に乗じて得られる値との加算値を各画素の画素値とする入力画像を取り込む入力画像取込工程と、
    前記入力画像に基づいて前記重畳画素値を算出する重畳画素値算出工程と、
    前記入力画像と前記重畳画素値とに基づいて、前記入力画像の各画素に対する前記除去画像の影響度を推定した値であり、かつ、最小値と最大値のうちの一方の限界値である第１限界値から、前記最小値と前記最大値との間の予め決められた境界値に値が近づくほど前記影響度が大きいことを示す影響推定値であって、前記透過率ｔの値に予め対応付けられた影響推定値を算出する影響推定値算出工程と、
    前記入力画像、前記影響推定値、及び前記重畳画素値に基づいて、前記入力画像の各画素の画素値に対する補正を実施することにより、前記入力画像から前記除去画像の影響を低減した補正画像を生成する補正処理工程と、
    を備え、
    前記補正処理工程は、
    前記影響推定値が前記第１限界値から前記境界値までの範囲の画素に対しては、１から０に向けて減少する値として対応付けられた透過率ｔに基づいた補正量で前記補正を実施し、
    前記影響推定値が前記境界値から前記最小値と最大値のうちの前記第１限界値と異なる他方の第２限界値までの範囲の画素に対しては、少なくとも透過率ｔを０としたときの画素値の補正量よりも小さい補正量となる補正を実施する工程である、
    画像処理方法。