JP6488581B2

JP6488581B2 - 霞画像判別装置及び判別方法

Info

Publication number: JP6488581B2
Application number: JP2014151661A
Authority: JP
Inventors: 隆平保谷; 有司梅津; 裕介緒方
Original assignee: Socionext Inc
Current assignee: Socionext Inc
Priority date: 2014-07-25
Filing date: 2014-07-25
Publication date: 2019-03-27
Anticipated expiration: 2034-07-25
Also published as: CN105303525B; US9489591B2; CN105303525A; JP2016029534A; US20160026893A1

Description

本発明は，霞画像判別装置及び判別方法に関する。

カメラによる撮像画像は，霞（かすみ），霧（きり），靄（もや）など大気中の浮遊物により，不鮮明になる。以下，霞，霧，靄などを代表して霞で説明する。

そこで，撮像した画像データから霞の影響を除去する霞除去の画像処理が提案されている。例えば，以下の特許文献１−４などである。

霞除去の画像処理の一つに，ダーク・チャネル・プライア（Dark Channel Prior）という事前情報に基づく処理がある。この処理によれば，霞のない屋外画像群から得られた統計値，即ち，霞のない屋外画像の大多数の非天空の局所領域には，ＲＧＢ値の少なくとも1つの色チャネルの強度値がとても小さい（一般的に階調値が０に近い暗い階調値）ピクセル（画素）があることを前提にする。したがって，撮像画像内の暗い色チャネルの値が暗ければ（低い）霞は薄く大気の透過率は高くなり，一方，撮像画像内の暗い色チャネルの値が明るければ（高い）霞は濃く大気の透過率は低くなる。ダーク・チャネル・プライアを利用して生成された霞除去モデルは，霞の濃度を直接推定することができるのみならず，霞のある画像（霞あり画像と称する）から霞の妨害を除去した後の高品位な画像（霞除去画像と称する）を生成することもできる。この霞除去の画像処理は，特許文献１に記載されている。

特開２０１３−５８２０２号公報特開２０１２−２２１２３７号公報特開２０１１−３０４８号公報特開２００４−２２２２３１号公報

上記の霞除去の画像処理では，撮像画像の暗い色チャネルの画素値を大気光源値で正規化したガイドマップ値に，霞の度合いを示すパラメータを乗じて，画素毎の霞の透過率である伝達マップを求める。そして，この伝達マップにしたがって，霞あり画像から霞除去画像を算出する。

しかしながら，霞の度合いを示すパラメータは，霞除去画像を目視することにより適切な値を決定しなければならない。そのため，霞の度合いを自動的に判別する霞画像判別方法が望まれる。

そこで，本発明の目的は，撮像画像を分析することで霞の度合いを判別することができる霞画像判別装置及び霞画像判別方法を提供することにある。

実施の形態の第１の側面は，
画像に含まれる複数の画素各々の画素信号の色差成分とグレイ値との差分を求め，前記差分が第１の基準値より低い画素の前記複数の画素に対する第１の割合を算出する第１の算出手段と，
前記複数の画素各々の前記画素信号の輝度成分が第２の基準値より低い画素の前記複数の画素に対する第２の割合を算出する第２の算出手段と，
前記第１の割合が高いほど且つ前記第２の割合が低いほど，前記画像の霞の度合いが高いと判別する霞度合判別手段とを有する霞画像判別装置である。

第１の側面によれば，撮像画像を分析することで霞の度合いを判別することができる。

本実施の形態における霞画像判別装置の構成を示す図である。霞除去処理のフローチャート図である。上記の工程S1,S2を説明する図である。ある入力画像と霞除去画像の一例を示す図である。ある入力画像と霞除去画像の他の例を示す図である。本実施の形態における霞画像判別処理のフローチャート図である。霞画像判定される種々の入力画像と期待される霞度合いパラメータωと５種類の霞度合い判別処理により判別される霞度合いパラメータωとの関係を示す図である。霞画像判定される種々の入力画像と期待される霞度合いパラメータωと５種類の霞度合い判別処理により判別される霞度合いパラメータωとの関係を示す図である。霞画像判定される種々の入力画像と期待される霞度合いパラメータωと５種類の霞度合い判別処理により判別される霞度合いパラメータωとの関係を示す図である。第１，第２の霞画像判別処理の組合せによりフローチャート図である。第１，第２の霞判別処理による第１，第２の割合のマトリクスを示す図である。第３の霞画像判別処理を示すフローチャート図である。第３の霞画像判別処理による第３，第４の割合のマトリクスを示す図である。霞が濃い画像と霞がない画像の輝度Y及び色差成分Cb,Crと大気光の輝度及び色差成分との関係例を示す図である。霞が濃い画像と霞がない画像の輝度Y及び色差成分Cb,Crと大気光の輝度及び色差成分との関係例を示す図である。第４の霞画像判別処理PR-4のフローチャート図である。図１６のフローチャート内の処理を説明する図である。図１６のフローチャート内の処理を説明する図である。第５の霞画像判別処理PR-5のフローチャート図である。画像P1-7の透過率を変化させた３つの霞あり画像を示す図である。第４，第５の霞画像判別処理PR-4,PR-5を組み合わせて霞の度合いωを判別する処理を示す図である。

図１は，本実施の形態における霞画像判別装置の構成を示す図である。霞画像判別装置１０は，画像の霞の度合いが高いか低いかを判別する霞画像判別処理を行う。さらに，霞画像判別装置１０は，霞画像判別処理に加えて，霞あり画像から霞の影響を除去した霞除去画像を生成する霞除去処理を行うようにしていても良い。

霞画像判別装置１０は，CPU(Central Processing Unit)１１と，RAM１２と，入出力部１３と，種々の画像処理を行う画像処理回路１５と，画像処理プログラムを記憶するメモリ１６とを有する。画像処理回路１５は，例えば，RGBの画素信号を輝度成分Yと色差成分Cr,Cbとを有するYCbCrの画素信号に変換する回路や，画素信号の色差成分とグレイ値との差分，画素信号の色差成分と大気光の色差成分との差分，画素信号の輝度と太陽光の輝度との差分などがそれぞれの基準値より小さいか大きいかを判定する回路や，画像のエッジ成分を算出する回路などを有する。

また，CPU１１は画像処理プログラム１６を実行して，霞の度合いを判定する霞画像判定処理を行う。霞の度合いを判定する処理では，画像処理回路１５により種々の演算を実行させ，その演算結果を利用して霞の度合いを判定する。霞画像判別装置１０において，霞画像判定のために，どの処理を画像処理回路１５が実行し，どの処理をCPU１１と画像処理プログラム１６とが実行するのかは，適宜決められる。

したがって，霞画像判別装置１０は，画像処理回路１５に対応する種々の算出処理を行う算出手段と，画像処理プログラムを実行するCPU１１に対応する，前述の算出手段が算出した値に基づいて霞の度合いを判別する霞度合い判別手段とを有する。

図２は，霞除去処理のフローチャート図である。霞除去処理は，霞画像判別装置１０が行っても良いし，図示しない別のプロセッサが行っても良い。霞除去処理の一例を説明することで，霞の度合いを示すパラメータがどのように利用されるかを説明する。図２の霞除去処理は，ダーク・チャネル・プライアに基づいて行う処理である。

大気中に霞などの浮遊物が存在する場合，霞あり画像は，オブジェクトの画像が霞の透過率に応じて弱められ，浮遊物により反射される大気光の色が霞の不透過率に応じてブレンドされる。したがって，霞あり画像は，次のモデルで表される。
I(x)=J(x)t(x)+AirLight(1-t(x)) （１）
ここで，I(x)は霞あり画像，J(x)は霞除去画像，t(x)は霞の透過率，AirLightは大気光(フレーム内で共通)，（１-t（x））は不透過率であり，xは画素を意味する。また，各画素信号RGBそれぞれについて，式（１）が成立する。透過率t(x)が1,0の場合は，大気光はブレンドされないので，I(x)=J(x)となり，霞あり画像I(x)は霞除去画像J(x)と同じになる。したがって，以降I(x)は入力画像とも称する。

式（１）からわかるとおり，霞あり画像I(x)は，霞がない画像J(x)と大気光AirLightとを霞の透過率t(x)でブレンドして求められる。この式（１）によれば，透過率t(x)と太陽光AirLightを求めることができれば，撮像した入力画像である霞あり画像I(x)から，霞を除去した霞除去画像J(x)を求めることができる。

そこで，霞除去処理では，撮像した入力画像である霞あり画像I(x)の複数の画素信号から，霞がない度合いであるダークチャネル画像を算出し，ダークチャネル画像から霞の透過率t(x)を求める。

図２において，霞除去処理は，霞あり画像の画素信号I(x)のRGB画素値HazeR,HazeG,HazeBから最小画素値tmpRGBを以下のとおり算出する（Ｓ１）。ここで，Min()は，最小値を求める関数である。
tmpRGB=Min(HazeR, HazeG, HazeB) （２）

さらに，霞除去処理は，複数の画素を有するフィルタ領域内の最小画素値tmpRGBの最小値tmpMinFilを以下のとおり算出する（Ｓ２）。ここで，Mはフィルタ領域内の画素数である。
tmpMinFil=Min(tmpRGB_1, tmpRGB_2, …tmpRGB_M) （３）

このフィルタリングされた最小画素値tmpMinFilが，ダークチャネル画像の画素値である。ダークチャネル画像の画素値は，各画素のRGBの最小値をフィルタリングした値であるので，色成分ではなく強度値になる。

図３は，上記の工程S1,S2を説明する図である。図３（Ａ）は，２行Ｎ列の画素PX00-PX1Nの画素値（HazeR,HazeG,HazeB）を示す。そして，図３（Ｂ）は，工程S1により算出された最小画素値tmpRGBを示す。各画素PX00-PX1Nは，それぞれのRGB値の最小値tmpRGBを有する。そして，図３（Ｃ）は，工程S2により算出されたフィルタリングされた最小画素値tmpMinFilを有する。図３（Ｃ）がダークチャネル画像に該当する。

式（３）のダークチャネル画像は，霞除去していない入力画像である霞あり画像I(x)内の暗い画像の強度に対応している。ダークチャネル画像を求める理由は，霞のない画像には暗い画素が存在し，霞が濃い画像には暗い画素が存在しないという特徴に基づいている。したがって，霞がない入力画像は，ダークチャネル画像の画素値は０に近づき，霞が濃い入力画像は，ダークチャネル画像の画素値は大きくなる。このことから，ダークチャネル画像に基づく霞除去処理では，ダークチャネル画像に基づいて式（１）の透過率t(x)が求められる。

図２に戻り，霞除去処理は，ダークチャネル画像tmpMinFilと入力画像（霞あり画像）I(x)とから，大気光の値AirLightを算出する（Ｓ３）。大気光AirLightを求める方法は種々あるが，一例として，ダークチャネル画像tmpMinFilのフレーム内で大きな強度を有する複数の画素のうち，対応する入力画像I(x)の輝度がもっとも大きい画素の画素値(HazeR,HazeG,HazeB)を太陽光AirLightとする。つまり，概略的に言えば，フレーム内で輝度が高い画像を大気光源の画像と特定し，その画素値を大気光AirLightとする。

次に，霞除去処理は，入力画像である霞あり画像の画素値を大気光AirLightで正規化し（Ｓ４），正規化した画素値（HazeR/AirLightR,HazeG/AirLightG,HazeB/AirLightB）のうち最小値をガイドマップ画像Guide(x)として以下の式（４）により算出する。
Guide(x)=Min(HazeR/AirLightR,HazeG/AirLightG,HazeB/AirLightB) （４）

式（４）により求められるガイドマップ画像Guide(x)は，式（２）で算出した画素値RGBの最小値（フィルタリングされていないダークチャネル画像）を大気光AirLightで正規化したものと同じである。ダークチャネル画像の最大値は大気光AirLight以下であるので，ダークチャネル画像を大気光AirLightで正規化したガイドマップ画像Guide(x)は0-1.0の範囲内の値になる。

次に，霞除去処理は，本実施の形態の霞判定により霞の度合いωを算出する（Ｓ６）。霞度合いパラメータωを算出する処理については，後で詳述する。霞除去処理は，この霞度合いパラメータωに基づいて，透過率マップFineMap(x)を次の式（５）により算出する（Ｓ７）。この透過率マップFineMap(x)は，式（１）の霞の透過率t（x）と同じである。
FineMap(x)=1.0-ω*Guide(x) （５）

式（５）において，霞度合いパラメータωをガイドマップ画像Guide(x)に乗算する理由は次の通りである。すなわち，ダークチャネル画像は霞の濃さの一つの指標であるが，霞の濃さを直接表しているわけでもないからである。霞度合いパラメータωは0-1.0の値であり，霞度合いが大きい場合はωが1.0に近づき，小さい場合はωが０に近づく。霞がない場合は，ωは０になる。霞度合いパラメータωをダークチャネル画像を大気光で正規化したガイドマップ画像Guide(x)に乗じることで，透過率マップFineMap(x)は，ダークチャネル画像を大気光で正規化したガイドマップ画像Guide(x)と霞度合いパラメータωとの関係は以下のとおりとなる。

霞が濃い場合は，ダークチャネル画像が明るく（強度大），大気光AirLightに近づき，ガイドマップ画像Guide(x)は1.0に近づき，透過率FineMap(x)は０に近づく。この場合，霞の度合いωが高いと判定されると，ガイドマップ画像Guide(x)が強調され，透過率FineMap(x)はより０に近づく。

一方，霞が薄い場合は，ダークチャネル画像が暗く（強度小），大気光AirLightから離れ，ガイドマップ画像Guide(x)は０に近づき，透過率FineMap(x)は1.0に近づく。この場合，霞の度合いωが低いと判定されると，ガイドマップ画像Guide(x)が弱められ，透過率FineMap(x)はより1.0に近づく。

式（１）によれば，透過率マップFineMap(x)が０の場合は，霞が濃く，入力画像である霞あり画像I(x)は大気光AirLightだけの単色になり，透過率マップFineMap(x)が1.0の場合は，霞がなく，入力画像である霞あり画像I(x)は霞除去画像J(x)と等しくなる。

透過率マップFineMap(x)と大気光AirLightが算出されると，霞除去処理は，式（１）に基づいて霞除去画像J(x)の画素信号RGBを算出する（Ｓ８）。すなわち，以下の式（６）に示すとおりである。
J(x)={I(x)-AirLight}/FineMap(x)+AirLight （６）

図４は，ある入力画像と霞除去画像の一例を示す図である。入力画像P1は，山と車と家の画像を含み，霞がかかった画像である。上述した霞除去処理によりガイドマップ画像Guide(x)が算出され，３種類の霞度合いパラメータωを選択して透過率マップFineMap(x)を算出し，式（６）により算出した３つの霞除去画像P2,P3,P4が，図４に示されている。霞除去処理された霞除去画像P2は，霞度合いパラメータω＝80/128であり，未だ霞が完全に除去されていない。霞除去画像P3は，霞度合いパラメータω＝115/128であり，霞がかなり除去されている。一方，霞除去画像P4は，霞度合いパラメータω＝128/128と最大であり，かえって画像の色味が不自然になっている。

上記のように，霞度合いパラメータωを最適値に設定できれば，より自然な霞除去画像を生成することができる。

図５は，ある入力画像と霞除去画像の他の例を示す図である。この入力画像P11は，グレーの毛のコアラに霞がかかっていないまたは霞が非常に薄い画像である。霞除去処理された霞除去画像P12は，霞度合いパラメータω=115/128で霞除去処理した画像である。この場合，入力画像P11は全体がグレー色のコアラの画像が，全体的に霞みの色と判定されることで，ダークチャネル画像が明るくなり，霞度合いパラメータωを大きめにすると，霞除去画像P12はコアラの毛が赤っぽい画像となり色味が不自然になっている。

図４，図５の例で分かるとおり，入力画像の霞の度合いを高精度に判別できれば，より自然に霞除去画像を算出することができる。また，霞と間違えやすいグレー色の入力画像でも，霞の度合いを高精度に判別できれば，ダークチャネル画像の影響を抑えることができ，不自然な霞除去画像の生成を抑制できる。

［本実施の形態の霞画像判別処理］
図６は，本実施の形態における霞画像判別処理のフローチャート図である。霞画像判別処理は，図２の霞判定により霞度合いωを算出する工程S6の処理である。霞画像判別処理では，入力画像を輝度成分Yと色差成分Cr,Cbの画像信号に変換する（Ｓ１０）。入力画像がRGBの画素信号の場合は，既知の変換式によりYCrCbの画像信号に変換する。入力画像がYCrCbの画像信号の場合は，変換する必要はない。

そして，変換した入力画像データYCrCbに基づいて，霞の度合いωを判定する（Ｓ１１）。この判定により，画像全体に霞がかかっている場合は（Ｓ１２のYES），霞度合いパラメータωをHigh（全体が霞である）と判別する（Ｓ１３）。また，画像の一部分に霞がかかっている場合は（Ｓ１４のYES），霞度合いパラメータωをLow（画像の一部が霞である）と判別する（Ｓ１５）。それ以外の場合は，霞度合いパラメータωを０（霞なし）と判別する（Ｓ１７）。

図７，図８，図９は，霞画像判定される種々の入力画像P1-1,P1-2,P1-3,P1-4,P1-5,P1-6,P1-7と，それぞれの期待される霞度合いパラメータωと，後述する５種類の霞度合い判別処理により判別される霞度合いパラメータωとの関係を示す図である。霞画像判別処理により，霞度合いパラメータωは，霞度合いが高いHighと，霞度合いが低いLowと，霞がないことを示す０のいずれかに判別される。

入力画像P1-1は，車と山を含み，典型的な霞がかかった画像であり，全体的にグレイな画素で占められているので，期待されるωはHighである。入力画像P1-2は山の景色を含み，入力画像P1-2も，典型的な霞がかかった画像であり，但し画像の下の部分には霞がない画像であるので，期待されるωはLowである。

入力画像P1-3は，図５のP11と同じコアラの画像でありコアラのグレイな画素が多い画像であるが，霞はないので，期待されるωは０である。入力画像P1-4,P1-5は，アスファルトの道路内に明るい色の車が存在する画像であるが，霞はないので，期待されるωは０である。

入力画像P1-6は，車とビルの画像を含み，全体に青色の霞がかかった画像であり，期待されるωはHighである。そして，入力画像1-7は，道路と車及び山々と家を含み，明るい空が大きな部分を占める画像であるが，霞はないので，期待されるωは０である。

図７，８，９には，それぞれの入力画像に対して，後述する霞画像判別処理による判別結果が簡単に記載されている。

［第１，第２の霞画像判別処理PR-1,PR-2］
第１の霞画像判別処理PR-1は，入力画像の画素が霞の一般的な色であるグレイに近い画素の割合を求める。第２の霞画像判別処理PR-2は，入力画像内の暗い画素の割合を求める。グレイに近い画素の割合が高く，暗い画素の割合が低ければ，霞の度合いωは高いと判別される。

図１０は，第１，第２の霞画像判別処理の組合せによりフローチャート図である。第１の霞画像判別処理PR-1は，入力画像I(x)に含まれる複数の画素に対する，画素の画素信号の色差成分Cb(i)，Cr(i)とグレイ値「128」との差分が第１の基準値ThCrCbより低い画素の第１の割合（割合１）を算出する（Ｓ２０）。すなわち，第１の割合は，以下の式を満たす画素数を全画素数で除した値である。
Abs(Cb(i)-128)+Abs(Cr(i)-128)<ThCbCr （７）
ここで，ｉは画素である。

色差成分Cb,Crは，グレイ値「128」から離れる度合いであり，画素の色差成分とグレイ値との差分が少ない場合は，画素の色はグレイに近いことを意味する。したがって，画像P1-1のような典型的な霞画像は，画素がグレイ（灰色）に近いので，上記の第１の割合が高い程，画像中の霞の領域が広いことを意味する。

ただし，画像P1-3,P1-4,P1-5,P1-7のようにグレイの画素が多い画像の場合は，上記の第１の霞画像判別処理PR-1によれば，霞の領域が広いとご判別される。

さらに，第２の霞画像判別処理PR-2は，入力画像I(x)に含まれる複数の画素に対する，画素の画素信号の輝度成分Y(i)が第２の基準値ThYより低い画素の第２の割合（割合２）を算出する（Ｓ２１）。すなわち，第２の割合は，以下の色を満たす画素数を全画素数で除した値である。
Y(i)<ThY （８）

霞のない画像には暗い画素が必ず含まれる性質を有する。これを根拠に，前述のダークチャネル画像が生成されている。そこで，第２の霞画像判別処理PR-2では，入力画像I(x)の輝度Yが第２の基準値ThYより低い画素の数の全体の画素数に対する割合，第２の割合が低い程霞の領域が広いことを意味する。

図１１は，第１，第２の霞判別処理による第１，第２の割合のマトリクスを示す図である。図１１において，横軸は，第１の霞判別処理PR-1による第１の割合の0-1.0を示し，縦軸は，第２の霞判別処理PR-2による第２の割合の0-1.0を示す。

本実施の形態では，第１，第２の霞画像判別処理PR-1,PR-2の両方を利用して，入力画像I(x)の霞の度合いを判別する。すなわち，第１の霞画像判別処理PR-1で算出した第１の割合が基準値REF1を越えていれば（割合１＞REF1），霞の度合いωをHighとする（Ｓ２２のＹＥＳ，Ｓ２３）。

さらに，第１の割合が基準値REF1より低く基準値REF2より高い場合は，霞の度合いωをLowとする（Ｓ２４のＹＥＳ，Ｓ２５）。また，第１の割合が基準値REF2より低く基準値REF3より高く且つ第２の割合が基準値REF11より低い場合も（REF3<割合１<REF2且つ割合2<REF11），霞の度合いωをLowとする（Ｓ２６のＹＥＳ，Ｓ２５）。それ以外は，霞の度合いωを０とする（Ｓ２７）。

図１１には，霞の度合いωがHighの場合の領域，Lowの場合の領域，０の領域が示されていている。そして，図１１中に，画像P1-3，P1-4，P1-5，P1-6もプロットされ，画像P1-3は霞の度合いωが０に判別され，画像P1-4，P1-5，P1-6は霞の度合いωがLowと判別されている。コアラの画像P1-3は，グレイの画素が多く第１の割合は高めだが，輝度Yが低い暗い画素が比較的多く第２の割合が高めであるため，第１の霞判別処理PR-1では霞の度合いは高いと判別されても，第２の霞判別処理PR-2で霞の度合いは低いと判別された結果，第１，第２の霞判別処理の組合せによる判別により，霞の度合いωは０と適切に判別されている。画像P1-4，P1-5，P1-6は，グレイの画素が比較的多く，且つ暗い画素が少ないので，霞の度合いωがLowと誤判別されている。

［第３の霞画像判別処理PR-3］
第３の霞画像判別処理PR-3では，画像P1-6のように全体が霞がかかっているが大気光AirLightがグレイではないような画像の霞の度合いωをHighと適切に判別する処理である。第３の霞画像判別処理では，霞が濃くなると入力画像が大気光AirLightの色に近づくという性質を利用する。つまり，入力画像から大気光AirLightを求めて，入力画像の画素の色差成分CbCrが大気光AirLightの色差成分にどれくらい近いか，入力画像の画素の輝度成分Yが大気光AirLightの輝度成分にどれくらい近いかに基づいて，近いほど，霞の度合いが高いと判別する。

図１２は，第３の霞画像判別処理を示すフローチャート図である。第３の霞画像判別処理PR-3は，画像に含まれる複数の画素に対する，画素信号の色差成分Cb(i),Cr(i)と，画像内の大気光の色差成分AirLightCb，AirLightCrとのそれぞれの差分が第３の基準値ThCbCrより低い画素の第３の割合（割合３１）を算出する（Ｓ３０）。具体的には２つの差分の和Abs(Cb(i)-AirLightCb)+Abs(Cr(i)-AirLightCr)が，第３の基準値ThCbCrより低い画素の数の全画素数に対する第３の割合である。すなわち，以下の条件を満たす画素数の画像全体の画素数に対する割合（割合３１）を算出する。
Abs(Cb(i)-AirLightCb)+Abs(Cr(i)-AirLightCr) < ThCbCr （９）

さらに，第３の霞画像判別処理PR-3は，画像に含まれる複数の画素に対する，画素信号の輝度成分Y(i)と大気光の輝度成分AirLightとの差分Abs(AirLightY-Y(i))が第４の基準値ThYより低い画素の第４の割合（割合３２）を算出する（Ｓ３１）。具体的には以下の条件を満たす画素数の全画素数に対する割合である。
Abs(AirLightY-Y(i)) < ThY （１０）

そして，第３の霞画像判別処理PR-3では，第３の割合（割合３１）が高いほど且つ第４の割合（割合３２）が高いほど，画像信号の霞の度合いωが高いと判別する（Ｓ３２−Ｓ３７）。つまり，第３の割合（割合３１）と第４の割合（割合３２）が共に大きい場合，霞の度合いωをHighと判別する（Ｓ３２のＹＥＳ，Ｓ３３）。さらに，第３の霞画像判別処理PR-3では，第３の割合（割合３１）と第４の割合（割合３２）が共に中程度なら，霞の度合いωをLowと判別する（Ｓ３４のＹＥＳ，Ｓ３５）。また，第３の霞画像判別処理PR-3では，第３の割合（割合３１）と第４の割合（割合３２）が共に小なら，霞の度合いωを０と判別する（Ｓ３６のＹＥＳ，Ｓ３７）。

図１３は，第３の霞画像判別処理による第３，第４の割合のマトリクスを示す図である。図１３において，横軸は，第３の割合に対応する0-10000を示し，縦軸は，第２の霞判別処理PR-2による第２の割合に対応する0-1000を示す。図中，TotalHistCbCr[0-Th_CbCr]とは，画像の画素の色差成分Cb,CrとAirLightの色差成分との差分の和が第３の基準値Th_CbCrより小さい画素数（ヒストグラムの数）を意味する。他の表記も同様である。

図１３において，横軸の第３の割合が高く，且つ，縦軸の第４の割合も高い画像が，霞の度合いωがHighと判別され，第３の割合が中程度且つ第４の割合も中程度の画像が，霞の度合いωがLowと判別され，第３の割合が小且つ第４の割合も小の画像が，霞の度合いωが０と判別される。

図１４，図１５は，霞が濃い画像と霞がない画像の輝度Y及び色差成分Cb,Crと大気光の輝度及び色差成分との関係例を示す図である。図１４は，霞が濃い画像P2-1の画素の輝度Y，色差成分Cb，Crのヒストグラムと，太陽光の輝度AirLightYと色差成分AirLightCb，AirLightCrの値とを示す。図１４から明らかなとおり，霧が濃い画像P2-1の場合，画素の輝度Yが集中している輝度値は大気光の輝度AirLightYと非常に近く，画素の色差成分Cb,Crが集中している色差成分Cb,Crは，大気光の色差成分AirLightCb，AirLightCrと非常に近い。

一方，図１５は，霞がない画像P2-2の画素の輝度Y，色差成分Cb，Crのヒストグラムと，太陽光の輝度AirLightYと色差成分AirLightCb，AirLightCrの値とを示す。画像の画素の色差成分Cb,Crについては，図１４と同様に大気光AirLightCb，AirLightCrに近いものの，画素の輝度Yは大気光AirLightYに近い画素は少ない。

上記図１４，１５によれば，第３の霞画像判別処理により，霞が濃い画像P2-1は，画像の色差成分Cb,Crと大気光の色差成分AirLithtCb,AirLightCrとの差分は小さく，画像の輝度と大気光の輝度の差分も小さいので，霞の度合いωが高いと判別され，霞がない画像P2-2は，画像の輝度と大気光の輝度の差分が大きくなるので，霞の度合いωが０と判別されることが理解できる。

第３の霞画像判別処理PR-3によれば，入力画像P1-6の青い霞がかかった画像は，各画素の色差成分と輝度が，大気光の青の色差成分と画素に近いと判別され，霞の度合いωがHighと判別される。つまり，入力画像の多くの画素がグレイでなくても，大気光に近い色と輝度の場合には，霞が濃いと正しく判定される。

［第４の霞画像判別処理PR-4］
第４の霞画像判別処理では，霞の度合いが高い画像は，画像の画素の輝度が大気光の輝度に近づくとともにエッジ成分が小さいことを利用して霞の度合いωの判別処理を行う。つまり，入力画像の画素の輝度Y(x)と大気光の輝度AirLightYとの差分に，入力画像のエッジ成分を加算した各画素の新たな輝度NewY(x)を算出し，その新たな輝度NewY(x)が低い画素が多ければ霞の度合いが高い，新たな輝度NewY(x)が高い画素が多ければ霞の度合いが低いと判別する。

図１６は，第４の霞画像判別処理PR-4のフローチャート図である。図１７，図１８は図１６のフローチャート内の処理を説明する図である。

図１６の第４の霞画像判別処理PR-4は，まず，入力画像の所定数の複数画素を有する領域内のエッジ成分を算出する（Ｓ４０）。図１７に示されるとおり，入力画像を例えば４×４の領域Ｐ１−Ｐ１６に区分する。そして，例えば領域Ｐ４が６行６列の３６個の複数の画素を有する場合，各行における輝度の最大値Ｍａｘと最小値Ｍｉｎの差分Max-Min(1)〜(6)を算出し，それらの平均値を領域Ｐ４のエッジ成分MaxMin(4)とする。他の領域についても同様にしてエッジ成分を求める。霞が濃い画像ほどこのエッジ成分が小さくなり，霞がない画像はエッジが明確に現れるのでエッジ成分は大きくなる。

さらに，この実施の形態では，単に隣接する画素間のエッジ成分を算出するのではなく，複数画素を有する領域内の最大輝度値と最小輝度値の差の平均値をエッジ成分とする。これにより，一部の画素間のエッジ成分が大きいだけではなく，比較的広い領域内においてエッジ成分が大きいか小さいかの傾向を判別できる。

図１８には，画像P2-1とP1-4の例に対して，図１７で説明した各領域毎に算出したエッジ成分MaxMinの値の例と，以下の式の新たな輝度NewY(x)の画像の例を示す。
NewY(x)i = Abs(AirLightY -Y(x)i)+ MaxMin(i) （１１）

画像P2-1は霞が濃く，エッジ成分MaxMinの値は概して小さい。そのため，画像P2-1の新たな輝度NewY(x)の画像は上半分が輝度が低く暗い画像になっている。逆に，画像P1-4は霞がなく，エッジ成分MaxMinの値は全体で概して高い。そのため，画像P1-4では新たな輝度NewY(x)の画像は全体に輝度が高く明るい画像になっている。

上記のとおり，入力画像の画素の輝度と大気光の輝度の差分Abs(AirLightY - Y(x)i)は，霞が濃いほど０に近づき，エッジ成分MaxMin(i)の値は，霞が濃いほど０に近づく。これは，霞が薄いと画像のコントラストが高くなりエッジ成分が高くなるからである。

図１６に戻り，第４の霞画像判別処理PR-4は，式（１１）の新たな輝度NewY(x)iが小さいと霞の度合いωはHighに判別する（Ｓ４２のＹＥＳ，Ｓ４３）。中程度だと霞の度合いωはLowに判別する（Ｓ４４のＹＥＳ，Ｓ４５）。大だと霞の度合いωは０に判別する（Ｓ４６のＹＥＳ，Ｓ４７）。

その結果，図１８に示した画像P1-4と画像P1-5は，第３の霞画像判別処理PR-3によれば，画像内の白い車の色が大気光と判別され，画像内の大部分のグレイの色差成分Cr,Cbと大気光の白の色差成分と近くなり，さらに画像の輝度は大気光の輝度とそれほど離れていないので，一部霞あり（ω＝Low）と判別されるところ，第４の霞画像判別処理PR-4によれば，画像のエッジ成分が高いため，新たな輝度NewY(x)は高くなり，霞なしと判別され，霞の度合いωはω＝０と正しく判別される。

［第５の霞画像判別処理PR-5］
第５の霞画像判別処理では，霞が多い画像では画像の画素の色差成分が大気光の色差成分に近づく性質に加えて，色差が近づいた画素において同時にその画素の輝度が大気光AirLightからどれくらい離れているかも判別材料にする。つまり，次の式（１２）の条件を満たす画素の数の全画素数に対する割合を求める。
Abs(AirLightCb-Cb(i)) + Abs(AirLightCr-Cr(i)) < ThCbCr 且つ
Abs(AirLightY - Y(i)) < AirLightY/2 （１２）
ここで，AirLightY/2は，大気光の輝度AirLightYの約半分の輝度値である。したがって，Abs(AirLightY - Y(i))が大気光の輝度の約半分より小さいかの条件になる。

図１９は，第５の霞画像判別処理PR-5のフローチャート図である。これによれば，第５の霞画像判別処理PR-5は，入力画像の画素が，式（１２）の条件を満たすか否かを判定する（Ｓ５０）。そして，その条件を満たす画素数の割合が大きいほど，霞の度合いωをHighと判別し（Ｓ５２のＹＥＳ，Ｓ５３），中程度であれば霞の度合いωをLowと判別し（Ｓ５４のＹＥＳ，Ｓ５５），小であれば霞の度合いωを０と判別する（Ｓ５７のＹＥＳ，Ｓ５８）。

第３の霞画像判別処理（図１３）では，式（９）（１０）をそれぞれ満たす画素数の割合を個別に求めて，両方の割合が大きければ霞の度合いが高いと判別した。それに対して，第５の霞画像判別処理では，画素の色差成分が大気光の色差成分と近い画素について更にその画素の輝度と大気光の輝度との差分が大気光の輝度の約半分より小さいか否かを判別している。

式（１２）の第２の条件の画素の輝度と大気光の輝度との差分が大気光の輝度の半分より小さいか否かの意味は次の通りである。

図２０は，画像P1-7の透過率を変化させた３つの霞あり画像を示す図である。図２０には，前述の以下の式（１）と同じ式が示されている。
I(x)=J(x)t(x)+AirLight(1-t(x)) （１）
図２０内の式では，I(x)=L，J(x)=LO，AirLight＝Lf(AirLight)，t(x)＝e^-kdと置きかえて以下のように示されている。
L=LO* e^-kd +Lf(AirLight)*（１−e^-kd）（１３）

そして，図２０内の３つの霞あり画像は，不透過率（１−e^-kd）を0.3，0.5，0.8と変化させた場合の霞あり画像Lである。そして，実験により目視でどの画像が霞あり画像か否かの境界かを判別させると，不透過率（１−e-kd）または透過率e^-kdが0.5の画像が境界の画像であると判断された。そこで，図２０の３つの霞あり画像について，式（１３）は以下のとおりである。
P1-7(1)：L=LO*0.7 +Lf*0.3（霞なし）
P1-7(2)：L=LO*0.5 +Lf*0.5（霞ありの境界）
P1-7(3)：L=LO*0.2 +Lf*0.8（霞あり）

そして，大気光の輝度LfYと霞あり画像の輝度LYとの差LfY-LYをそれぞれ求めると，次のとおりである。
P1-7(1)：LfY-LY＝LfY-（LOY*0.7 +LfY*0.3）=0.7LfY-0.7LOY
P1-7(2)：LfY-LY＝LfY- (LOY*0.5 +LfY*0.5) =0.5LfY-0.5LOY
P1-7(3)：LfY-LY＝LfY- (LOY*0.2 +LfY*0.8) =0.2LfY-0.2LOY

上記において，右辺の第２項の0.7LOY，0.5LOY，0.2LOYは小さいので無視すると，
P1-7(1)：LfY-LY＝0.7LfY＞0.5LfY （霞なし）
P1-7(2)：LfY-LY＝0.5LfY （霞ありの境界）
P1-7(3)：LfY-LY＝0.8LfY＜0.5LfY （霞あり）

以上から，画素の輝度と大気光の輝度との差分LfY-LYが，その大気光の輝度の半分LfY/2より小さければ（LfY-LY＜0.5LfY）霞あり画像と，大きければ（LfY-LY＞0.5LfY）霞なし画像と，それぞれ判別できることが理解できる。

したがって，第５の霞画像判別処理では，上記の式（１２）を満たす画素の数が多いほど，霞の度合いが高いと判別できる。画像P1-7は，明るい空とグレイの道路が広い領域を占めている。このような場合，広い領域を占める空の輝度が高いので大気光の輝度との差分が大気光の輝度の半分より大きくなり，霞の度合いが低いと判別される。このように，グレイの画素が多い画像であっても明るい空のような輝度の高い領域が広い画像P1-7は，第５の霞画像判別処理により霞の度合いωは０と判別される。

図２１は，第４，第５の霞画像判別処理PR-4,PR-5を組み合わせて霞の度合いωを判別する処理を示す図である。図２１において，横軸は，第５の霞画像判別処理による条件（式（１２））を満たす画素数の割合を，縦軸は，第４の霞画像判別処理による条件（式（１１）が小さい）を満たす画素数の割合を割り当てている。そして，両方の割合が高い画像は霞の度合いωがHighと判別し，両方の割合が中程度の画像は霞の度合いωがLowと判別し，両方の割合が低い画像は霞の度合いωが０と判定する。

上記のように，第４，第５の霞画像判別処理による画素数の割合を縦軸と横軸にプロットして判別することで，より精度の高い霞の度合いωの判別を行うことができる。

以上説明した，第１，第２の霞画像判別処理により判別と，第３の霞画像判別処理と，第４，第５の霞画像判別処理と，第４，５の霞画像判別処理を組み合わせた判別処理とを，適宜組み合わせてまたは単独で行うことで，様々な画像の霞の度合いを判別することができる。

但し，第１，第２の霞画像判別処理の処理量は比較的軽いが，第３，第５の霞画像判別処理は大気光について輝度と色差成分を判断に利用するので処理量は比較的重い。そして，第４の霞画像判別処理では，エッジ成分を演算するので，その分処理量は重くなる。したがって，霞画像判別処理の精度を高くすると，処理量がその分重くなるというトレードオフがあり，最適なコストに見合った精度を持つ霞画像判別処理を採用することが必要になる。

以上の実施の形態をまとめると，次の付記のとおりである。

（付記１）
画像に含まれる複数の画素各々の画素信号の色差成分とグレイ値との差分を求め，前記差分が第１の基準値より低い画素の前記複数の画素に対する第１の割合を算出する第１の算出手段と，
前記複数の画素各々の前記画素信号の輝度成分が第２の基準値より低い画素の前記複数の画素に対する第２の割合を算出する第２の算出手段と，
前記第１の割合が高いほど且つ前記第２の割合が低いほど，前記画像の霞の度合いが高いと判別する霞度合判別手段とを有する霞画像判別装置。

（付記２）
付記１において，さらに，
前記複数の画素各々の前記画素信号の色差成分と，前記画像内の大気光の色差成分との差分が第３の基準値より低い画素の前記複数の画素に対する第３の割合を算出する第３の算出手段と，
前記複数の画素各々の前記画素信号の輝度成分と前記大気光の輝度成分との差分が第４の基準値より低い画素の前記複数の画素に対する第４の割合を算出する第４の算出手段とを有し，
前記霞度合判別手段は，前記第３の割合が高いほど且つ前記第４の割合が高いほど，前記画像信号の霞の度合いが高いと判別する霞画像判別装置。

（付記３）
付記２において，
前記第３の算出手段は，前記大気光の信号を，前記画像の複数の画素信号のうち最大の輝度値を有する画素信号に基づいて生成する霞画像判別装置。

（付記４）
付記１または２において，
前記霞度合判別手段は，前記画素信号の輝度成分と前記画像内の大気光の輝度成分との差分である輝度差分と，前記画像のエッジ成分との和が低いほど，前記霞の度合いが高いと判別する霞画像判別装置。

（付記５）
付記１，２，４のいずれかにおいて，
前記霞度合判別手段は，前記画素信号の色差成分と前記画像内の大気光の色差成分との差分が第５の基準値より低く，且つ，前記画素信号の輝度成分と前記大気光の輝度成分との差分が前記大気光の輝度成分の基準割合より低い場合に，前記霞の度合いが高いと判別する霞画像判別装置。

（付記６）
付記１または２において，さらに，
前記複数の画素に対する，前記画素信号の輝度成分と前記画像内の大気光の輝度成分との差分である輝度差分と，前記画像のエッジ成分との和が第６の基準値より低い画素の第６の割合を算出する第６の算出手段と，
前記複数の画素に対する，前記画素信号の色差成分と前記画像内の大気光の色差成分との差分が第５の基準値より低く，且つ，前記画素信号の輝度成分と前記大気光の輝度成分との差分が前記大気光の輝度成分の基準割合より低い画素の第７の割合を算出する第７の算出手段とを有し，
前記霞度合判別手段は，前記第６の割合が高いほど且つ前記第７の割合が高いほど，前記画像信号の霞の度合いが高いと判別する霞画像判別装置。

（付記７）
画像に含まれる複数の画素各々の画素信号の色差成分と，前記画像内の大気光の色差成分との差分が第３の基準値より低い画素の前記複数の画素に対する第３の割合を算出する第３の算出手段と，
前記複数の画素各々の前記画素信号の輝度成分と前記大気光の輝度成分との差分が第４の基準値より低い画素の前記複数の画素に対する第４の割合を算出する第４の算出手段と，
前記第３の割合が高いほど且つ前記第４の割合が高いほど，前記画像信号の霞の度合いが高いと判別する霞度合判別手段とを有する霞画像判別装置。

（付記８）
画像に含まれる複数の画素各々の画素信号の輝度成分と前記画像内の大気光の輝度成分との差分である輝度差分と，前記画像のエッジ成分との和が第６の基準値より低い画素の前記複数の画素に対する第６の割合を算出する第６の算出手段と，
前記複数の画素各々の前記画素信号の色差成分と前記画像内の大気光の色差成分との差分が第５の基準値より低く，且つ，前記画素信号の輝度成分と前記大気光の輝度成分との差分が前記大気光の輝度成分の基準割合より低い画素の前記複数の画像に対する第７の割合を算出する第７の算出手段と，
前記第６の割合が高いほど且つ前記第７の割合が高いほど，前記画像信号の霞の度合いが高いと判別する霞度合判別手段とを有する霞画像判別装置。

（付記９）
画像に含まれる複数の画素各々の画素信号の色差成分とグレイ値との差分が第１の基準値より低い画素の前記複数の画素に対する第１の割合を算出する第１の算出工程と，
前記複数の画素各々の前記画素信号の輝度成分が第２の基準値より低い画素の前記複数の画素に対する第２の割合を算出する第２の算出工程と，
前記第１の割合が高いほど且つ前記第２の割合が低いほど，前記画像の霞の度合いが高いと判別する霞度合判別工程とを有する霞画像判別方法。

１０：画像処理装置，霞画像判別装置
１５：画像処理装置
１６：画像処理プログラム，霞画像判別プログラム
ω：霞の度合い

Claims

画像に含まれる複数の画素各々の画素信号の色差成分とグレイ値との差分を求め，前記差分が第１の基準値より低い画素の前記複数の画素に対する第１の割合を算出する第１の算出手段と，
前記複数の画素各々の前記画素信号の輝度成分が第２の基準値より低い画素の前記複数の画素に対する第２の割合を算出する第２の算出手段と，
前記第１の割合が高いほど且つ前記第２の割合が低いほど，前記画像の霞の度合いが高いと判別する霞度合判別手段とを有する霞画像判別装置。
請求項１において，さらに，
前記複数の画素各々の前記画素信号の色差成分と，前記画像内の大気光の色差成分との差分が第３の基準値より低い画素の前記複数の画素に対する第３の割合を算出する第３の算出手段と，
前記複数の画素各々の前記画素信号の輝度成分と前記大気光の輝度成分との差分が第４の基準値より低い画素の前記複数の画素に対する第４の割合を算出する第４の算出手段とを有し，
前記霞度合判別手段は，前記第３の割合が高いほど且つ前記第４の割合が高いほど，前記画像の霞の度合いが高いと判別する霞画像判別装置。
請求項１または２において，
前記霞度合判別手段は，前記画素信号の輝度成分と前記画像内の大気光の輝度成分との差分である輝度差分と，前記画像のエッジ成分との和が低いほど，前記霞の度合いが高いと判別する霞画像判別装置。
請求項１，２，３のいずれかにおいて，
前記霞度合判別手段は，前記画素信号の色差成分と前記画像内の大気光の色差成分との差分が第５の基準値より低く，且つ，前記画素信号の輝度成分と前記大気光の輝度成分との差分が前記大気光の輝度成分の基準割合より低い場合に，前記霞の度合いが高いと判別する霞画像判別装置。
請求項１または２において，さらに，
前記複数の画素に対する，前記画素信号の輝度成分と前記画像内の大気光の輝度成分との差分である輝度差分と，前記画像のエッジ成分との和が第６の基準値より低い画素の第６の割合を算出する第６の算出手段と，
前記複数の画素に対する，前記画素信号の色差成分と前記画像内の大気光の色差成分との差分が第５の基準値より低く，且つ，前記画素信号の輝度成分と前記大気光の輝度成分との差分が前記大気光の輝度成分の基準割合より低い画素の第７の割合を算出する第７の算出手段とを有し，
前記霞度合判別手段は，前記第６の割合が高いほど且つ前記第７の割合が高いほど，前記画像の霞の度合いが高いと判別する霞画像判別装置。
画像に含まれる複数の画素各々の画素信号の色差成分とグレイ値との差分が第１の基準値より低い画素の前記複数の画素に対する第１の割合を算出する第１の算出工程と，
前記複数の画素各々の前記画素信号の輝度成分が第２の基準値より低い画素の前記複数の画素に対する第２の割合を算出する第２の算出工程と，
前記第１の割合が高いほど且つ前記第２の割合が低いほど，前記画像の霞の度合いが高いと判別する霞度合判別工程とを有する霞画像判別方法。