JP5865552B2 - 動画に含まれたヘーズを除去する映像処理装置及びその方法 - Google Patents

Description

本発明は動画に含まれたヘーズを除去する映像処理装置及びその方法に関し、より詳しくはヘーズが含まれた映像において各ブロックの代表値に基づいてヘーズの明るさを測定し、前記映像においてコントラスト、映像損失量及び時間損失量による最終費用関数値を最小にするブロック単位の伝達量を推定した後に、前記ブロック単位の伝達量に基づいてピクセル単位の伝達量を推定し、前記ヘーズの明るさと前記ピクセル単位の伝達量を用いて前記映像を修復する、動画に含まれたヘーズを除去する映像処理装置及び方法に関する。

霧とは大気中の水蒸気が凝結した形態の水滴として浮遊する現象である。通常、霧が立ち込めた時に可視距離が１ｋｍ未満の視程障害現象が発生する。霧が立ち込めた時に大気中に水滴の粒子が発生し、この水滴の粒子による光の散乱現象が発生する。光の散乱とは、光が空気中の粒子と衝突して進行方向が変わることをいう。これは光の波長と粒子のサイズによって異なる。

一般的に光の散乱はレイリー散乱（Rayleigh scattering）とミー散乱（Mie scattering）に大別される。レイリー散乱は散乱の要因となる粒子のサイズが光の波長より小さい時に適用され、この時の散乱エネルギーは波長の４乗に反比例する。晴れた日には、光が空気分子によって散乱される時には青色が赤色より多く散乱し、空が青く見えるのがその例である。しかし、散乱の要因となる粒子のサイズが光の波長より大きい場合の光の散乱はミー散乱理論による。霧の場合は、粒径が数μｍないし数十μｍであり、可視光線の波長、つまり４００ｎｍ〜７００ｎｍよりその波長が大きいことからミー散乱理論による。ミー散乱理論によると大気中の水滴のような散乱の原因となる粒子のサイズが大きい場合は散乱の量に対する波長の影響が少なく、可視光線領域のすべての光がほぼ同様に散乱する。したがって霧が立ち込めた時は被写体にモヤがかかったように見えるようになる。この時に発生する新しい光を大気散乱光（Airlight）という。

霧歪み補正を通じて映像の画質が改善されると視程障害が解決され、モヤがかかったような映像を鮮かにすることができる。また、霧によって損傷された字、物体などについての情報を修復することは認識のための前処理段階としての重要性がある。

従来の霧除去技術は非モデル方式とモデル方式に大別することができる。

前者の例としてはヒストグラム平滑化（Histogram equalization）を挙げることができる。ヒストグラム平滑化は映像のヒストグラムを分析して分布を再分配する方法である。このようなヒストグラム平滑化は容易であり、改善の效果は良いが、深み（Depth）が均一でない霧映像の場合は適合しない。また、一般的な画質改善には適合するが、霧が映像に及ぼす影響の特性をよく反映することができず、濃い霧の映像の場合は限定的な改善に留まるという短所がある。

後者は霧による光の散乱現象が映像に及ぼす影響をモデリングする方式である。まず、異なる天候環境にて得た二枚以上の映像を比べ、画像の深み（Scene depth）を推定した後に補正することで、霧による歪みの補正を行う技術が開示されている。しかし、これは天候が互いに異なる２枚の映像入力が必要であるため、リアルタイムでの具現のためには天候の変化を感知すると同時にそれに相応する映像保存空間が要される。そして、天候変化に対する周期を予測することができないため、保存周期に関する決定が困難である。また、誤差のない同一映像を撮影しなければならないため、動く物体がある場合は霧歪みの程度の推定時にエラーが発生することがある。

次に、霧による映像のピクセル値の変化の程度を推定して差し引きすることで、霧による歪みの補正を行う技術が開示されている。しかし、霧が均一であるという仮定から成り立つため、均一で、かつ薄い霧の場合には適用可能であるが、実際は均一ではない霧の場合がもっと多く、霧が均一であると言ってもカメラと被写体との距離によって霧から影響を受ける程度が変わるため、実際の適用の際には問題点がある。

本発明は前記の問題点を解決するために案出されたものであり、本発明の目的はヘーズを含んだ動画からヘーズ成分を效果的に推定して除去することで映像の画質を改善することができる、動画に含まれたヘーズを除去する映像処理装置及びその方法を提供することである。

本発明の他の目的は映像の深み情報によって差等的にコントラストを改善することのできる、動画に含まれたヘーズを除去する映像処理装置及びその方法を提供することである。

前記目的を達成するための本発明の１つの方案によると、ヘーズが含まれた映像からヘーズの明るさを測定するヘーズ明るさ測定部と、前記映像においてコントラスト、映像損失量及び時間損失量による最終費用関数値を最小にするブロック単位の伝達量を推定し、前記ブロック単位の伝達量に基づいてピクセル単位の伝達量を推定する伝達量推定部と、前記ヘーズの明るさと前記ピクセル単位の伝達量を用いて前記映像を修復する映像復元部とを含む動画に含まれたヘーズを除去する映像処理装置が提供される。

前記ヘーズ明るさ測定部は前記映像を予め定められた第１の一定個数のブロックに分ける領域分割モジュールと、前記分割された各ブロック毎にピクセル値の平均と標準偏差をそれぞれ求め、各ブロック別の平均と標準偏差を用いて代表値をそれぞれ求める代表値計算モジュールと、前記各ブロック毎に求められた代表値の中からその値が最も大きいブロックを選択し、前記選択されたブロックの広さが既定の広さ以下となった場合に、前記選択されたブロックから最も明るい画素値をヘーズの明るさとして選択する画素値選択モジュールとを含むことができる。

前記伝達量推定部は、前記ヘーズが含まれた映像を予め定められた第２の一定個数のブロックに分割し、各ブロック毎の、コントラスト、映像損失量及び時間損失量による最終費用関数を用いてブロック単位の伝達量を推定するブロック単位伝達量推定部と、前記ブロック単位の伝達量をエッジ保存フィルターに適用して第１のピクセル単位伝達量を推定する第１のピクセル単位伝達量推定部とを含むことができる。

前記伝達量推定部は前記ヘーズが含まれた映像を予め定められた一定のサイズに縮小し、前記縮小された映像を前記ブロック単位伝達量推定部に送る映像縮小部をさらに含むことができる。

また、前記伝達量推定部は前記縮小された映像と前記第１のピクセル単位伝達量を元の映像のサイズに拡大する映像拡大部と、前記拡大された第１のピクセル単位伝達量をエッジ保存フィルターに適用して第２のピクセル単位伝達量を推定する第２のピクセル単位伝達量推定部とをさらに含むことができる。

前記ブロック単位伝達量推定部は、前記映像を予め定められた第２の一定個数に分割する映像分割モジュールと、各ブロック毎に予め定められた範囲の伝達量を一定の比率ずつ変化させながらコントラスト、映像損失量、時間損失量をそれぞれ求める費用関数計算モジュールと、前記のコントラスト、映像損失量、時間損失量による最終費用関数値を求める最終費用関数計算モジュールと、前記求められた最終費用関数値の中からその値を最小にする伝達量をブロック単位の伝達量として検出するブロック単位伝達量検出モジュールとを含むことができる。

前記費用関数計算モジュールは各画素の明るさ値を用いた分散に（−１）を掛けてコントラストＥ_Ｃを求めることができる。

また、前記費用関数計算モジュールはブロック単位の伝達量が「０」に限りなく近づく場合、「０」超えまたは「２５５」未満の画素値を有する領域の面積を用いて映像損失量を求めることができる。

前記費用関数計算モジュールは以前フレームのブロック単位の伝達量に客体の移動に従って伝達量を補正するブロック単位補正係数を適用して前記以前フレームのブロック単位の伝達量を補正し、前記補正された以前フレームのブロック単位の伝達量と現在フレームのブロック単位の伝達量を用いて、映像の時間的差を最小化する時間損失量を求めることができる。

前記最終費用関数計算モジュールは前記のコントラスト、映像損失量、時間損失量を含む最終費用関数を生成し、０から１の間の任意の値を伝達量として変化させながら最終費用関数値を求めることができる。

前記第１または第２のピクセル単位伝達量推定部はブロックを部分的に重ね合わせ、各ブロックにガウシアン加重値を適用して各ブロック毎に近似伝達量を求める近似伝達量計算モジュールと、前記ブロック単位の伝達量と前記近似伝達量の差が最小になる変数を求める変数計算モジュールと、前記求められた変数による近似伝達量を第１または第２のピクセル単位伝達量として検出するピクセル単位伝達量検出モジュールとを含むことができる。

前記映像拡大部は最近隣画素補間法を用いて前記縮小された映像を元の映像のサイズに拡大することができる。

本発明のもう1つの方案によると、映像処理装置がヘーズが含まれた動画を修復する方法において、（ａ）ヘーズが含まれた映像からヘーズの明るさを測定する段階と、（ｂ）前記映像からコントラスト、映像損失量及び時間損失量による最終費用関数値を最小にするブロック単位の伝達量を推定し、前記ブロック単位の伝達量に基づいてピクセル単位の伝達量を推定する段階と、（ｃ）前記ヘーズの明るさと前記ピクセル単位の伝達量を用いて前記映像を修復する段階とを含む動画に含まれたヘーズの除去方法が提供される。

前記（ａ）段階は、前記映像を予め定められた第１の一定個数のブロックに分割する段階と、前記分割された各ブロック毎にピクセル値の平均と標準偏差をそれぞれ求める段階と、各ブロック毎に平均と標準偏差との差を用いて代表値をそれぞれ求める段階と、前記各ブロック毎に求められた代表値の中からその値が最も大きいブロックを選択する段階と、前記選択されたブロックの広さが予め定められた広さ以下か否かを判断する段階、及び前記判断の結果、予め定められた広さ以下となった場合、前記選択されたブロックにおいて最も明るい画素値を選択してヘーズの明るさとして推定する段階とを含むことができる。

前記（ｂ）段階は、前記ヘーズが含まれた映像を予め定められた第２の一定個数のブロックに分割し、各ブロック毎のコントラスト、映像損失量及び時間損失量による最終費用関数を用いてブロック単位の伝達量を推定する段階と、前記ブロック単位の伝達量をエッジ保存フィルターに適用して第１のピクセル単位伝達量を推定する段階とを含むことができる。

前記動画に含まれたヘーズの除去方法は前記ブロック単位の伝達量を推定する段階の前に、前記ヘーズが含まれた映像を予め定められた一定のサイズに縮小する段階をさらに含むことができる。

また、前記動画に含まれたヘーズの除去方法は前記第１のピクセル単位伝達量を推定する段階の後に、前記縮小された映像と前記第１のピクセル単位伝達量を元の映像のサイズに拡大する段階と、前記拡大された第１のピクセル単位伝達量をエッジ保存フィルターに適用して第２のピクセル単位伝達量を推定する段階とをさらに含むことができる。

前記ブロック単位の伝達量を推定する段階は、前記映像を予め定められた第２の一定個数のブロックに分割する段階と、各ブロック毎に予め定められた範囲の伝達量を一定の比率ずつ変化させながらコントラスト、映像損失量、時間損失量をそれぞれ求める段階と、前記のコントラスト、映像損失量、時間損失量による最終費用関数値をブロック毎に求める段階と、前記求められた最終費用関数値の中からその値を最小にする伝達量をブロック単位の伝達量として検出する段階とを含むことができる。

前記ブロック単位の伝達量をエッジ保存フィルターに適用して第１のピクセル単位伝達量を推定する段階は、前記ブロックを部分的に重ね合わせて各ブロックにガウシアン加重値を適用し、各ブロック毎に近似伝達量を求める段階と、前記ブロック単位の伝達量と前記近似伝達量との差が最小になる変数を求める段階と、前記求められた変数による近似伝達量を第１のピクセル単位伝達量として検出する段階とを含むことができる。

前述したように本発明に係ると、ヘーズを含んだ動画からヘーズ成分を效果的に推定して除去することで、映像の画質を改善することができる。

また、映像の深み情報によって差等的にコントラストを改善することができる。

さらに、伝達量の計算を通じてピクセル毎にヘーズの濃度を予測し、これに従って各ピクセル毎に差等的にヘーズを除去するので、映像内にヘーズがどのように分布するかに関わらず、ヘーズを效果的に除去することができる。

また、動画においてヘーズの除去後に発生しうるフリッカー現象を除去することで、より安定的なヘーズの除去が可能であり、高速化されたフィルターを導入することでリアルタイム処理が可能になる。

本発明に係る、動画に含まれたヘーズを除去する映像処理装置の構成を示したブロック図。

図１に図示されたヘーズ明るさ測定部の構成を詳しく示したブロック図。

図１に図示されたブロック単位伝達量推定部の構成を詳しく示したブロック図。

映像損失の最小化の概念を説明するための図。

図１に図示されたピクセル単位伝達量推定部の構成を詳しく示したブロック図。

ブロックの重ね合わせを説明するための例示図。

ガウシアン加重値を用いた重ね合わせの説明のための例示図。

本発明に係る映像処理装置がヘーズが含まれた映像を修復する方法を示したフローチャート。

本発明に係る重ね合わせブロックに基盤のエッジ保存フィルターを適用した場合の画面例示図。

本発明に係る映像処理装置がヘーズの明るさを測定する方法を示したフローチャート。

本発明に係る映像処理装置がブロック単位の伝達量を検出する方法を示したフローチャート。

本発明に係る映像処理装置がピクセル単位の伝達量を推定する方法を示したフローチャート。

本発明の前述した目的と技術的構成及びそれによる作用效果に関する詳しい事項は、本発明の明細書に添付された図面に基づく以下の詳細な説明によってより明確に理解されるはずである。

本発明に記載したヘーズ（Haze）は、大気中の霧である場合があるが、必ずしもこれに限定されるものではなく、霧と類似の、例えば、黄砂、ほこり、及び大気中に含まれた空中浮遊物などのほの白いものである場合もある。

映像処理装置はヘーズが含まれた映像を数式１を用いて修復する。

ここで、Ｉ_ｐは、ピクセル位置ｐにおける取得映像の明るさ値（ヘーズに影響を受けた映像）、Ｊ_ｐはピクセル位置ｐにおける取得映像の元の明るさ値（ヘーズに影響を受けていない映像）、ｔ_ｐはピクセル位置ｐにおける取得映像の伝達量（深み情報、映像と該当地点との距離）、Ａはヘーズの明るさ値を意味する。

この場合、映像処理装置はコントラストを考慮する費用Ｅ_Ｃ、コントラスト向上時に発生しうる映像損失Ｅ_Ｌ、動画における時間的類似性を考慮した費用Ｅ_Ｔを考慮した費用関数を生成し、その費用関数を最小にする伝達量ｔを求めた後に、数式１を用いてヘーズが含まれた映像を修復する。

以下、映像処理装置が数式１を用いてヘーズが含まれた動画を修復する技術について図面を参照して説明する。

図１は、本発明に係る動画に含まれたヘーズを除去する映像処理装置の構成を示したブロック図であり、図２は、図１に図示されたヘーズ明るさ測定部の構成を詳しく示したブロック図であり、図３は、図１に図示されたブロック単位伝達量推定部の構成を詳しく示したブロック図であり、図４は、映像損失最小化の概念を説明するための図であり、図５は、図１に図示されたピクセル単位伝達量推定部の構成を詳しく示したブロック図であり、図６は、ブロックの重ね合わせを説明するための例示図であり、図７は、ガウシアン加重値を用いた重ね合わせの説明のための例示図である。

図１を参照すると、動画に含まれたヘーズを除去する映像処理装置１００はヘーズ明るさ測定部１１０、映像縮小部１２０、ブロック単位伝達量推定部１３０、第１のピクセル単位伝達量推定部１４０、映像拡大部１５０、第２のピクセル単位伝達量推定部１６０、そして映像復元部１７０を含む。

前記ヘーズ明るさ測定部１１０はヘーズが含まれた映像を予め定められた一定の個数のブロックに分けてブロック毎の代表値をそれぞれ求め、前記代表値の中からその値が最も大きいブロックを選択し、そしてその選択されたブロックの広さが既定の広さ以下になるまで前記選択されたブロックを前記一定の個数のブロックに分けて代表値を求める過程を繰り返し行って、ヘーズの明るさを求める。前記ヘーズの含まれた映像は動画である場合がある。

ヘーズの明るさ値を求めるためには、「ヘーズは太陽から到達した大気中の光であり、映像内において非常に明るい値を有する」、「ヘーズによって影響を受けたピクセル値はヘーズの明るさ値と近い値を有する」という仮定を利用する。また、数式１を参考すると、取得した映像における伝達量（深み情報、映像と客体間の距離）が大きいほどヘーズの影響をたくさん受けていることが分かり、したがってヘーズの影響をたくさん受けた領域はほとんどの値がヘーズ値周りに分布することから、標準偏差が小さくなる。

従って、前記二つの仮定を組み合わせると、ヘーズの明るさ値は、映像内において非常に明るい値を有し、ヘーズによって最も影響を受けた領域から取得できることが分かる。一般的にヘーズは最も明るいピクセル値で選択される場合があり、この場合に白色の客体が選択されることもありうるという問題が発生する。そこで、ブロックを漸次減らしながらヘーズ値の候補群を絞っていくためにブロックに分けて検出し、最終的に候補群が減った状態（設定された広さのブロック）ではすでにブロック内のほとんどのピクセル値はヘーズの明るさ値に影響を受けたと看做すことができることから、最も明るい画素値をヘーズの明るさ値として選択しても誤差が発生する余地は少ない。したがって、ヘーズ明るさ測定部１１０は最も明るい画素値をヘーズの明るさ値として選択することができる。

前記ヘーズ明るさ測定部１１０について図２を参照すると、ヘーズ明るさ測定部１１０は、領域分割モジュール１１２、代表値計算モジュール１１４、そして画素値選択モジュール１１６を含む。

前記領域分割モジュール１１２は、ヘーズが含まれた映像を予め定められた一定の個数のブロックに分ける。ここで、一定の個数は４個にすることができる。

ブロックにおいて代表値を求める時に、ブロック内のピクセル値の平均明るさと標準偏差とを用いるが、この値はすべて、ブロックのサイズによって変わりうる。例えば、２０×２０のサイズのブロックを用いて代表値を求める場合、ヘーズがない領域に白い建物や白い車などのような明るい客体が存在すると、高い方の代表値が選択される場合がある。ブロックのサイズを拡大すると、代表値はヘーズがより多い方から選択され、ブロック内においてヘーズの明るさ値を探しにくいことからブロックを漸次的に減らしながらヘーズの明るさ値の候補群を絞っていくために、映像をブロックに分割する。この時、動画の場合は、ヘーズの明るさ値は初フレームまたはＴフレーム毎に一度ずつ検出することでヘーズの明るさ値の更新によるフリッカー現象を防止することができる。

前記代表値計算モジュール１１４は前記領域分割モジュール１１２で分割された各ブロック毎にピクセル値の平均と標準偏差とをそれぞれ求め、各ブロック毎に平均と標準偏差との差を用いて代表値を求める。

すなわち、ヘーズの明るさ値は映像内において非常に明るい値を有し、ヘーズによって最も影響を受けた領域から取得することができるが、ヘーズの影響をたくさん受けた領域はほとんどの値がヘーズ値周りに分布するので標準偏差が小さくなる。したがって、前記代表値計算モジュール１１４はヘーズの明るさ値を求めるために、各ブロックの平均と標準偏差とを用いて代表値を求める。

前記画素値選択モジュール１１６は前記代表値計算モジュール１１４にて各ブロック毎に求められた代表値の中からその値が最も大きいブロックを選択し、前記選択されたブロックの広さが既定の広さ以下となった場合、そのブロックから最も明るい画素値をヘーズの明るさとして選択する。

すなわち、最終的に候補群が絞られた状態では（設定された広さのブロック）すでにブロック内のすべてのピクセル値はほとんどヘーズ値に影響を受けたものと看做すことができるため、最も明るい画素値をヘーズの明るさとして選択しても誤差が発生する余地は少ない。したがって、前記画素値選択モジュール１１６はブロックの広さが既定の広さ以下となった場合、そのブロックから最も明るい画素値をヘーズの明るさとして選択する。

前記画素値選択モジュール１１６は代表値が最も大きいブロックを選択し、その選択されたブロックの広さが既定の広さ以下か否かを判断する。ここで、前記既定された広さはそのブロックの「横の長さ×縦の長さ」として例えば、２００とすることができる。前記判断の結果、前記選択されたブロックの広さが２００以下となった場合、前記画素値選択モジュール１１６は前記選択されたブロックにおいて最も明るい画素値を選択し、前記選択された画素値をヘーズの明るさとして推定する。

もし、前記判断の結果、前記選択されたブロックの広さが２００以下でないと、前記画素値選択モジュール１１６は前記選択されたブロックを一定の個数に分割し及び代表値をそれぞれ求め、代表値が最も大きいブロックを選択して既定の広さ以下か否かを判断する過程を繰り返し、既定の広さ以下のブロックが選択された場合、その選択されたブロックから最も明るい画素値をヘーズの明るさとして推定する。

再度図１を参照すると、前記映像縮小部１２０は前記ヘーズ映像を予め定められた一定のサイズに縮小する。例えば、前記映像縮小部１２０は入力映像を３２０×２４０のサイズの映像に縮小することができる。すなわち、動画はサイズが大きく、入力される動画をそのまま利用する場合、計算量が多くなるので、計算量を減らすために映像を縮小する過程を経ることになる。

前記ブロック単位伝達量推定部１３０は前記映像縮小部１２０にて縮小された映像を予め定められた一定の個数のブロックに分割し、各ブロック毎にコントラスト、映像損失量及び時間損失量をそれぞれ求めた後、前記のコントラスト、映像損失量、時間損失量による最終費用関数を用いてブロック単位の伝達量を推定する。

前記ブロック単位伝達量推定部１３０について図３を参照すると、前記ブロック単位伝達量推定部１３０は映像分割モジュール１３２、費用関数計算モジュール１３４、最終費用関数計算モジュール１３６、そしてブロック単位伝達量検出モジュール１３８を含む

前記映像分割モジュール１３２は前記映像縮小部１２０にて縮小されたヘーズ映像を予め定められた一定の個数のブロックに分割する。この時、前記映像分割モジュール１３２は、ブロックのサイズが小さすぎる場合は伝達量の推定が難しいことから、ブロックの最小サイズは１６×１６以上のサイズとして決め、ブロックの個数は任意に決めることができる。ここで、領域分割をするのは、均等でないヘーズによる影響を考慮してヘーズ成分を補填するためであって、領域分割のためのブロックの個数はハードウェアの複雑度を考慮して適切に選定することができる。

映像を修復するためには数式１を利用するが、ヘーズ明るさ測定部１１０にて求められたヘーズの明るさ値のみを知っており、すべてのピクセル毎に伝達量ｔ_ｐと元の明るさ値Ｊ_ｐを計算しなければならないので、式より未知数が多いという問題（under-determined problem）がある。したがってブロック内にて伝達量ｔ_ｐがすべて同一であると仮定する場合、Ｂ（ブロック内ピクセルの個数）個の式に対して（Ｂ＋１）個の未知数となり、未知数の数を大分減らすことができる。したがって、映像を分割しないで映像全体において同一の伝達量ｔであると仮定すると、映像の深み情報による映像の劣化を適応的に補償することができないことから、映像を分割して地域的深み情報を考慮したものである。

前記費用関数計算モジュール１３４は各ブロック毎に予め定められた範囲の伝達量を一定の比率ずつ変化させながらコントラスト、映像損失量、時間損失量をそれぞれ求める。

伝達量ｔを求めようとする場合、伝達量ｔによって定められた出力映像のコントラストは大きくなければならず（１）、伝達量ｔによって定められた出力映像の損失は最小にならなければならず（２）、動画の場合はフリッカー現象を減らすために以前フレームとの差が少なくなければならない（３）という条件を満たさなければならない。

そこで、前記費用関数計算モジュール１３４は、コントラストを考慮する費用Ｅ_Ｃと、コントラスト向上の際に発生しうる映像損失Ｅ_Ｌと、動画での時間的類似性を考慮した費用Ｅ_Ｔとを組み入れた費用関数を生成し、各費用関数を用いてコントラスト、映像損失量、そして時間損失量を求める。

したがって、前記費用関数計算モジュール１３４はコントラストを求めるコントラスト計算モジュール１３４ａ、映像損失量を求める映像損失量計算モジュール１３４ｂ、そして時間損失量を求める時間損失量計算モジュール１３４ｃを含む。

前記コントラスト計算モジュール１３４ａは数式２のように各画素の明るさ値を用いた分散σ^２を用いてコントラストＥ_Ｃを求める。

ここで、前記Ｎはピクセル個数、Ｊ_ｐは本来客体が有する明るさ、ｐは各画素の位置、

は本来客体が有する明るさの平均を意味する。

数式２は映像にてコントラストを計算する方法として広く使われるRMSコントラストを用いるもので、RMSコントラストは映像の分散値を用いてコントラストを測定する。

また、伝達量ｔによって定められた出力映像のコントラストは大きくなければならないことから、数式２のような費用関数を生成し、その費用関数が最小になる（最適値）伝達量ｔを探すことが目的であり、RMSコントラストはコントラストが良くなればなるほど値が増加するため、そして費用関数では伝達量の小さくなればなるほど費用関数が小さくなるように設定するため、―（マイナス）記号を付する。

すなわち、前記コントラスト計算モジュール１３４ａは各ブロック毎に各画素の明るさ値を用いた分散に−１を掛けてコントラストを求める。前記数式２は第１の費用関数（または、コントラスト向上費用関数）と称することができ、前記第１の費用関数は修復した映像のコントラストを最大にする伝達量を探す関数であり、コントラストを最大にするブロック単位の伝達量は常に「０」に限りなく近づく。ブロック単位の伝達量が「０」に限りなく近づく場合、入力画素値に対する出力画素値がコンピューターが表現することができる画素値［０ ２５５］を超える値で決まる。

すなわち、ブロック単位の伝達量が「０」に限りなく近づく場合、「０」未満または「２５５」超えの出力画素値が映像損失として存在することで、その映像損失を最小化することが必要である。前記映像損失量とは、「０」未満または「２５５」超えの出力画素値が０と２５５に削られた量をいう。

したがって、前記映像損失量計算モジュール１３４ｂは映像損失を最小化するために数式３による第２の費用関数を用いて各ブロック毎の映像損失量を求める。

数式３の概念を図上に表現すると図４のようにＡ領域の面積と同じである。図４を参照すると、Ａ領域は「０」未満または「２５５」超えの画素値であり、映像損失量ということになる。

また、動画においてブロック単位の伝達量は客体の移動によって値が変わる。そこで、ブロック単位の伝達量を求めるためには映像の時間的差を最小化する時間損失量を求めなければならない。

前記時間損失量計算モジュール１３４ｃは数式４による第３の費用関数を用いて映像の時間的差を最小化する時間損失量を求める。

ここで、前記ｔ^ｆは現在フレームの伝達量、ｔ^ｆ−１は以前フレームの伝達量、ｋ^−ｆは客体の移動に従って伝達量を補正するブロック単位補正係数を意味する。

前記時間損失量計算モジュール１３４ｃが時間損失量を求める際の数式４の構成要素について説明する。

伝達量は客体の移動によって値が変わる。すなわち、客体が観察者の近くに移動する場合は伝達量は大きくなり、逆に客体が遠くに移動する場合は伝達量は小さくなる。ヘーズの濃度がすべての箇所に対して一定の量を有する場合、客体と観察者との距離によってヘーズの量が異なってくる。したがって、距離が近い場合はヘーズによって影響を少なく受け、距離が遠い場合はヘーズの影響をたくさん受けるようになる。同様に、客体が観察者の近くに移動するようになるとヘーズによる影響が少なくなり、客体が観察者から遠くなるとヘーズによって影響をより多く受けるようになる。しかし、客体の移動にかかわらず客体の復元された元の明るさはいつも同じである。したがって、同一客体である場合は、隣接したフレーム同士の間の復元された明るさは数式５のように表現することができる。

客体の移動による伝達量の変化を計算すると数式６のようになる。

ここで

は客体の移動に従って伝達量を補正する係数として数式７を用いて求める。

ここで、

はｆフレームのｐ画素での明るさ、

は（ｆ−１）フレームのｐ画素での明るさ、Ａはヘーズの明るさを意味する。

前記数式７は数式５に数式１を入れて整理すると得られる式であり、この時、ｔを除く残りの項を束ねてκとして表記して使ったものである。

そして、（ｆ）フレームと（ｆ−１）フレームの同一の画素位置がいつも同じ客体を表現するものではない。これは客体の動きによるものであり、客体の動きを補償するために（ｆ）フレームと（ｆ−１）フレームの同一の位置での画素値の差を用いて確率加重値を計算する。前記確率加重値（

）は数式８を用いて求める。数式８は（ｆ−１）フレームでのｐ位置のピクセル値と、ｆフレームでのｐ位置のピクセル値（同一位置、互いに異なるフレーム）の差があまり大きくなって表れる場合は同一の客体である確率が低く、差が小さい場合は同一客体である確率が高いことから伝達量ｔの変化で明るさが変わったものと仮定して生成した数式ということになる。

ここで、δは画素値の差による確率を表すための標準偏差であり、通常、１０を使う。

が増加する場合は

と

が同一の客体を指示す確率が増加する。伝達量はブロック単位で計算することから、確率加重値を用いてブロック単位（ｂ）で数式７を更新すると、数式９のようなブロック単位補正係数（

）を求めることができる。

前記数式９を通じてブロック単位補正係数が求められると、前記時間損失量計算モジュール１３４ｃは以前フレームの伝達量と現在フレームの伝達量との差を用いた数式４を利用して時間損失量を求める。この時、前記時間損失量計算モジュール１３４ｃは、客体の動きによる伝達量の変化を考慮するために確率加重値（

）で以って以前フレームの伝達量（ｔ^ｆ−１）を補正する。

前記最終費用関数計算モジュール１３６は、前記費用関数計算モジュール１３４にて求められたコントラスト、映像損失量、そして時間損失量による最終費用関数値を求める。

すなわち、伝達量ｔを求める場合、伝達量によって決定された出力映像のコントラストは大きくなければならず（１）、伝達量によって決定された出力映像の損失は最小にならなければならず（２）、動画である場合はフリッカー現象を減らすために以前フレームとの差が少なくなければならない（３）という条件が満たされなければならない。前記３つの条件を満たす伝達量を探るに当り、３つの条件を費用関数という関数として生成し、これを最小にする伝達量を探すことができなければならない。言い換えれば、費用関数が最小になると、出力映像のコントラストは大きく、映像の損失は小さく、動画のフリッカー現象が最も少なくなるということができる。

したがって、最終費用関数には前記３つの条件がすべて含まれなければならないことから、ブロック単位の伝達量を計算する際にこれをすべて含んだ数式１０のような最終費用関数を生成し、その最終費用関数を用いて最終費用関数値を求める。

ここで、Ｅは最終費用関数値、Ｅ_Ｃはコントラスト値、Ｅ_Ｌは映像損失量、Ｅ_Ｔは時間損失量、λ_Ｌは映像損失量係数、λ_Ｔは時間損失量係数を意味する。

前記ブロック単位伝達量検出モジュール１３８は、前記最終費用関数計算モジュール１３６で求められた最終費用関数値の中からその値を最小にする伝達量をブロック単位の伝達量として検出する。すなわち、ブロック単位の伝達量は０から１までの範囲に該当する値の中の一つであることから、前記ブロック単位伝達量検出モジュール１３８は０から１の間の値（数字）にブロック単位の伝達量を変化させながら最終費用関数値を求め、その最終費用関数値が最小になる伝達量をブロック単位の伝達量として検出する。ここで、０から１の間の値（数字）は０．１、０．２などのような値を意味し、その値は任意の間隔または比率として変更することができる。

再度図１を参照すると、前記第１のピクセル単位伝達量推定部１４０は前記ブロック単位伝達量推定部１３０にて検出されたブロック単位の伝達量をエッジ保存フィルターに適用して第１のピクセル単位伝達量に変換する。前記エッジ保存フィルターは入力映像の画素値を用いてピクセル単位の近似伝達量を生成する。

前記第１のピクセル単位伝達量推定部１４０は数式１１を用いてピクセル単位の近似伝達量を求める。

前記

はピクセル単位の近似伝達量、Ｉ_ｐはカメラで獲得した明るさを意味し、ａ、ｂはエッジ保存フィルターを適用して求められた線形関数の変数を意味する。

入力映像は０〜２５５の間の値を有し、ｔは０〜１の間の値を有する。したがって、数式１１は入力映像を用いてｔを表現するために０〜２５５の間の値をａとｂを通じて０〜１の間の値にスケールダウンし、サイズ（平均値）もそれに似たかたちで合わせようとした数式である。

前記第１のピクセル単位伝達量推定部１４０は前記ブロック単位の伝達量と近似伝達量との差が最小となるａ、ｂを求めることでピクセル単位の伝達量を獲得する。

この時、動画でのより早い計算のためにａ、ｂを計算する際のＷサイズのウィンドウを用いてａ、ｂを計算し、Ｗ／２だけ移動してａ、ｂを計算する。重なる領域ではａ、ｂを平均する。移動する距離Ｗ／２の２は多様な数字に変更可能である。

前記第１のピクセル単位伝達量推定部１４０について図５を参照すると、第１のピクセル単位伝達量推定部１４０は近似伝達量計算モジュール１４２、変数計算モジュール１４４、そしてピクセル単位伝達量検出モジュール１４６を含む。

前記近似伝達量計算モジュール１４２はブロックを部分的に重ね合わせ、各ブロックにガウシアン加重値を適用して各ブロック毎に近似伝達量を求める。

ピクセル単位処理の正確度とブロック単位処理の計算の複雑度を同時に満足させるために前記近似伝達量計算モジュール１４２はブロックを部分的に重ね合わせて使用することで計算速度の向上とアルゴリズムの正確度を同時に満足させる。部分的にブロックを重ね合わせる方法は地域的ヒストグラム等化技法においても使われている普遍的な方法である。図６に図示したように重ね合わせる範囲が増えれば増えるほど、さらに多くのブロックが平均に利用されるため、ピクセル単位の結果と類似する結果を得ることができる。すなわち、図６の（ａ）はブロックサイズを１／２に重ね合わせた場合であり、（ｂ）はブロックサイズを１／４に重ね合わせた場合を例示した図面である。前記例示図面から重ね合わせる範囲が増えれば増えるほど、さらに多くのブロックが平均に利用されるため、ピクセル単位の結果と類似する結果を得ることができるということが分かる。

しかし、重ね合わせの範囲が増えれば増えるほど計算速度もまた増加するため、重ね合わせの回数を最小化しなければならない。また部分的重ね合わせブロック方法はピクセル単位重ね合わせ方法ではないため、ブロックの境界においてブロック劣化現象が発生し、重ね合わせの回数が減れば減るほどブロック劣化はひどくなる。

したがって、前記近似伝達量計算モジュール１４２は各ブロックに図７のようなガウシアン加重値を適用してブロック劣化を最小化する。ガウシアン加重値は各重ね合わせブロックに個別的に適用し、ガウシアン加重値を使うことで境界部分でのブラー現象を少なくすることができる。

すなわち、前記近似伝達量計算モジュール１４２は｛（第１のブロックのブロック単位近似伝達量値×ガウシアン加重値）＋（第２のブロックのブロック単位近似伝達量値×ガウシアン加重値）｝の式を用いて特定ピクセルの近似伝達量を求める。これは伝達量はピクセル明るさに比例するという原理を利用して求めたものである。

前記変数計算モジュール１４４は前記ブロック単位の伝達量と前記近似伝達量との差が最小になる変数を求める。ここで、変数は数式１１におけるａ、ｂを指す。近似伝達量とブロック単位の伝達量との差が最小になるようにするために式を定義すると数式１２のようになる。

ここで、ｐはピクセル位置であり、Ｂはブロックを意味する。

数式１２を最小にするａ、ｂを探るために変数計算モジュール１４４は線形代数で用いる最小二乗法を利用する。したがって、前記変数計算モジュール１４４は最小二乗法を用いてａ、ｂを求める。

前記ピクセル単位伝達量検出モジュール１４６は前記変数計算モジュール１４４で求められた変数による近似伝達量を第１のピクセル単位伝達量として検出する。

すなわち、映像のデータはピクセル毎に変り、計算された伝達量はブロック単位に計算されているため、伝達量を用いて映像を修復する場合はブロックの境界部分において伝達量の値の差によってブロック劣化現象が表れる。前記ブロック劣化現象はブロックの境界部分においてピクセル値の差が大きく開く現象をいう。したがって、このようなブロック劣化現象を除去するためにブロック単位で計算された伝達量をピクセル単位の伝達量に変換しなければならない。

前記ピクセル単位伝達量検出モジュール１４６は前記変数計算モジュール１４４で求められた変数による近似伝達量を第１のピクセル単位伝達量として検出する。

再度図１を参照すると、前記映像拡大部１５０は最近隣画素補間法を用いて前記映像縮小部１２０で縮小された映像を元の映像のサイズに拡大する。この時、前記映像拡大部１５０は前記第１のピクセル単位伝達量推定部１４０で求められた第１のピクセル単位伝達量も元の映像のサイズに拡大する。

前記第２のピクセル単位伝達量推定部１６０は前記拡大された第１のピクセル単位伝達量をエッジ保存フィルターに適用して第２のピクセル単位伝達量に変換する。すなわち、前記第２のピクセル単位伝達量推定部１６０は前記拡大された映像のブロックを部分的に重ね合わせ、各ブロックにガウシアン加重値を適用して各ブロック毎に近似伝達量を求める。その後、前記第２のピクセル単位伝達量推定部１６０は前記第１のピクセル単位伝達量と前記近似伝達量との差が最小になる変数を求め、前記求められた変数による近似伝達量を第２のピクセル単位伝達量として検出する。ここでは第２のピクセル単位伝達量推定部１６０で検出されたピクセル単位の伝達量を第２のピクセル単位伝達量と称したが、第２のピクセル単位伝達量の代りにピクセル単位の伝達量と称することもできる。

前記第２のピクセル単位伝達量推定部１６０の構成は図５と同様であり、その説明は省略する。

本発明では映像縮小部１２０、ブロック単位伝達量推定部１３０、第１のピクセル単位伝達量推定部１４０、映像拡大部１５０、そして第２のピクセル単位伝達量推定部１６０は一つの構成要素として備えることができ、この場合は伝達量推定部と称することができる。

前記映像復元部１７０は前記ヘーズ明るさ測定部１１０で測定されたヘーズの明るさと前記第２のピクセル単位伝達量推定部１６０で変換された第２のピクセル単位伝達量とを用いて前記映像からヘーズを除去する。

すなわち、前記映像復元部１７０は数式１３を用いてヘーズが除去された映像を生成する。

ここで、Ｉ_ｐはカメラで獲得した明るさ、Ｊ_ｐは本来客体が有する明るさ、ｐは各画素の位置、Ａはヘーズの明るさ、ｔ_ｐはピクセル単位の伝達量を意味する。

数式１３は数式１をＪ_ｐで整理した式である。

図８は本発明に係る映像処理装置がヘーズが含まれた映像を修復する方法を示したフローチャートであり、図９は本発明に係る重ね合わせブロックに基盤のエッジ保存フィルターを適用した場合の画面例示図である。

図８を参照すると、映像処理装置はヘーズの含まれた動画が入力されると（Ｓ８０２）、前記動画でヘーズの明るさを測定する（Ｓ８０４）。前記映像処理装置が前記動画においてヘーズの明るさを測定する方法についての詳細な説明は図１0を参照する。

前記Ｓ８０４が施されると、前記映像処理装置は前記ヘーズが含まれた映像を予め定められた一定のサイズに縮小し（Ｓ８０６）、前記縮小された映像を予め定められた一定のサイズのブロックに分割してブロック単位の伝達量を推定する（Ｓ８０８）。

前記映像処理装置がブロック単位の伝達量を推定する方法についての詳細な説明は図１１を参照する。

前記Ｓ８０８が施されると、前記映像処理装置は前記ブロック単位の伝達量をエッジ保存フィルターに適用して第１のピクセル単位伝達量に変換する（Ｓ８１０）。前記映像処理装置が第１のピクセル単位伝達量を推定する方法についての詳細な説明は図１２を参照する。

前記Ｓ８１０が施されると、前記映像処理装置は前記第１のピクセル単位伝達量及び前記縮小された映像を元の映像のサイズに拡大する（Ｓ８１２）。この時、前記映像処理装置は最近隣画素補間法を用いて映像を元の映像のサイズに拡大する。

前記Ｓ８１２の施行後、前記映像処理装置は前記元の映像のサイズに拡大された第１のピクセル単位伝達量を前記エッジ保存フィルターに適用して第２のピクセル単位伝達量を推定する（Ｓ８１４）。前記第２のピクセル単位伝達量を推定する方法についての詳細な説明は図１２を参照する。

前記Ｓ８１４の施行後、前記映像処理装置は前記ヘーズの明るさと前記第２のピクセル単位伝達量を用いた数式１３を利用して前記拡大された映像を修復する（Ｓ８１６）。

前記映像処理装置がヘーズが含まれた動画にエッジ保存フィルターを適用した場合について図９を参照して説明する。

図９を参照すると、（ａ）のようにヘーズが含まれた動画にブロック単位の伝達量を適用すると（ｂ）のような映像になる。（ｂ）にブロック単位エッジフィルターを適用すると（ｃ）のような映像になり、（ｃ）の映像にガウシアン加重値を適用すると（ｄ）のように境界部分でのブラー現象が減った映像になる。

図１０は本発明に係る映像処理装置がヘーズの明るさを測定する方法を示したフローチャートである。

図１０を参照すると、映像処理装置はヘーズ含みの映像を４つのブロックに分割し（Ｓ１００２）、各ブロックに対する画素値の平均と標準偏差をそれぞれ求める（Ｓ１００４）。

その後、前記映像処理装置は各ブロックの平均と標準偏差との差による代表値をブロック毎にそれぞれ求める（Ｓ１００６）。

その後、前記映像処理装置は各ブロック毎に求められた代表値の中からその値が最も大きいブロックを選択し（Ｓ１００８）、その選択されたブロックの広さが２００以下であるかの可否を判断する（Ｓ１０１０）。

前記Ｓ１０１０での判断の結果、選択されたブロックのサイズが２００以下である場合、前記映像処理装置は前記選択されたブロックにおいて最も明るい画素値を選択してヘーズの明るさと定義する（Ｓ１０１２）。

もし、前記Ｓ１０１０での判断の結果、前記選択されたブロックのサイズが２００以下でないと、前記映像処理装置は前記Ｓ１００２を施行する。

図１１は本発明に係る映像処理装置がブロック単位の伝達量を検出する方法を示したフローチャートである。

図１１を参照すると、映像処理装置はヘーズが含まれた映像をＢサイズのブロックに分割する（Ｓ１１０２）。

前記Ｓ１１０２の施行後、前記映像処理装置は各ブロック毎に予め定められた範囲の伝達量を一定の比率ずつ変化させながらコントラスト、映像損失量、そして時間損失量をそれぞれ求める（Ｓ１１０４）。前記映像処理装置がコントラスト、映像損失量、そして時間損失量を求める方法についての詳細な説明は３を参照する。

前記Ｓ１１０４の施行後、前記映像処理装置は前記のコントラスト、映像損失量、そして時間損失量による最終費用関数値をブロック毎に求め（Ｓ１１０６）、前記求められた最終費用関数値の中からその値を最小にする伝達量を選択する（Ｓ１１０８）。

その後、前記映像処理装置は前記選択された伝達量をブロック単位の伝達量として検出する（Ｓ１１１０）。

図１２は本発明に係る映像処理装置がピクセル単位の伝達量を推定する方法を示したフローチャートである。

図１２を参照すると、映像処理装置はブロックを部分的に重ね合わせ、各ブロックにガウシアン加重値を適用して各ブロック毎に近似伝達量を求める（Ｓ１２０２）。

その後、前記映像処理装置は予め求められたブロック単位の伝達量と前記近似伝達量との差が最小になる変数値を求める（Ｓ１２０４）。

前記映像処理装置は前記求められた変数値による近似伝達量を第１のピクセル単位伝達量として検出する（Ｓ１２０６）。

本発明は飛行、空港、運送、海運、水中監視、医療映像（体内ガス等によって生成されたモヤのかかった成分の除去など）、農業監視、映像保安カメラなど多様な分野の映像のコントラストを向上するところでの活用が可能である。

動画においてヘーズを除去する方法はプログラムで作成可能であり、プログラムを構成するコード及びコードセグメントは当該分野のプログラマーによって容易に推論することができる。

このように、本発明が属する技術分野の当業者は本発明がその技術的思想や必須的特徴を変更しなくても他の具体的な形態で実施できるということを理解できるはずである。したがって、以上で述べた実施例はあらゆる面において例示的であって、限定的ではないこととして理解しなければならない。本発明の範囲は前記詳細な説明よりも後述する特許請求の範囲によって表され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出されるすべての変更または変形された形態が本発明の範囲に含まれることとして解釈されなければならない。

本発明はヘーズを含んだ動画からヘーズ成分を效果的に推定して除去することで映像の画質を改善することができ、動画からヘーズの除去後に発生しうるフリッカー現象を除去することで、より安定的なヘーズの除去が可能であり、高速化されたフィルターを取り入れることでリアルタイム処理が可能な動画に含まれたヘーズを除去する映像処理装置及びその方法に適用することができる。

１００：映像処理装置
１１０：ヘーズ明るさ測定部
１２０：映像縮小部
１３０：ブロック単位伝達量推定部
１４０：第１のピクセル単位伝達量推定部
１５０：映像拡大部
１６０：第２のピクセル単位伝達量推定部
１７０：映像復元部
（関連する出願の参照）

本特許出願は２０１２年０５月１５日付にて韓国に出願した特許出願番号第１０−２０１２―００５１３３０号に対してアメリカ特許法１１９（ａ）条（３５Ｕ．Ｓ．Ｃ§１１９（ａ））に従って優先権を主張し、そのすべての内容は参考文献として本特許出願に併合される。なお、本特許出願はアメリカ以外の国家に対しても前記同様の理由から優先権を主張するとそのすべての内容は参考文献として本特許出願に併合される。

Claims (19)

1. ヘーズが含まれた映像からヘーズの明るさを測定するヘーズ明るさ測定部；
   前記映像においてコントラスト、映像損失量及び時間損失量による最終費用関数値を最小にするブロック単位の伝達量を推定し、前記ブロック単位の伝達量に基づいてピクセル単位の伝達量を推定する伝達量推定部；及び
   前記ヘーズの明るさと前記ピクセル単位の伝達量を用いて前記映像を修復する映像復元部；
   を含む動画に含まれたヘーズを除去する映像処理装置。
2. 前記ヘーズ明るさ測定部は、
   前記映像を予め定められた第１の一定個数のブロックに分ける領域分割モジュール；
   前記分割された各ブロック毎にピクセル値の平均と標準偏差をそれぞれ求め、各ブロック毎の平均と標準偏差を用いて代表値をそれぞれ求める代表値計算モジュール；及び
   前記各ブロック毎に求められた代表値の中からその値が最も大きいブロックを選択し、前記選択されたブロックの広さが既定の広さ以下となった場合に、前記選択されたブロックから最も明るい画素値をヘーズの明るさとして選択する画素値選択モジュール；を含むことを特徴とする請求項１に記載の動画に含まれたヘーズを除去する映像処理装置。
3. 前記伝達量推定部は、
   前記ヘーズが含まれた映像を予め定められた第２の一定個数のブロックに分割し、各ブロック毎のコントラスト、映像損失量及び時間損失量による最終費用関数を用いてブロック単位の伝達量を推定するブロック単位伝達量推定部；及び
   前記ブロック単位の伝達量をエッジ保存フィルターに適用して第１のピクセル単位伝達量を推定する第１のピクセル単位伝達量推定部；を含むことを特徴とする請求項１に記載の動画に含まれたヘーズを除去する映像処理装置。
4. 前記ヘーズが含まれた映像を予め定められた一定のサイズに縮小し、前記縮小された映像を前記ブロック単位伝達量推定部へ送る映像縮小部をさらに含むことを特徴とする請求項３に記載の動画に含まれたヘーズを除去する映像処理装置。
5. 前記縮小された映像と前記第１のピクセル単位伝達量を元の映像のサイズに拡大する映像拡大部；及び
   前記拡大された第１のピクセル単位伝達量にエッジ保存フィルターに適用して第２のピクセル単位伝達量を推定する第２のピクセル単位伝達量推定部；をさらに含むことを特徴とする請求項４に記載の動画に含まれたヘーズを除去する映像処理装置。
6. 前記ブロック単位伝達量推定部は、
   前記映像を予め定められた第２の一定個数に分割する映像分割モジュール；
   各ブロック毎に予め定められた範囲の伝達量を一定の比率ずつ変化させながらコントラスト、映像損失量、時間損失量をそれぞれ求める費用関数計算モジュール；
   前記コントラスト、映像損失量、時間損失量による最終費用関数値を求める最終費用関数計算モジュール；及び
   前記求められた最終費用関数値の中からその値を最小にする伝達量をブロック単位の伝達量として検出するブロック単位伝達量検出モジュール；を含むことを特徴とする請求項３に記載の動画に含まれたヘーズを除去する映像処理装置。
7. 前記費用関数計算モジュールは各画素の明るさ値を用いた分散に（−１）を掛けてコントラストＥ_Ｃを求めることを特徴とする請求項６に記載の動画に含まれたヘーズを除去する映像処理装置。
8. 前記費用関数計算モジュールはブロック単位の伝達量が「０」に限りなく近づく場合に、「０」未満または「２５５」超えの画素値を有する領域の面積を用いて映像損失量を求めることを特徴とする請求項６に記載の動画に含まれたヘーズを除去する映像処理装置。
9. 前記費用関数計算モジュールは以前フレームのブロック単位の伝達量に客体の移動に従って伝達量を補正するブロック単位補正係数を適用して前記以前フレームのブロック単位の伝達量を補正し、前記補正された以前フレームのブロック単位の伝達量と現在フレームのブロック単位の伝達量を用いて、映像の時間的差を最小化する時間損失量を求めることを特徴とする請求項６に記載の動画に含まれたヘーズを除去する映像処理装置。
10. 前記最終費用関数計算モジュールは前記コントラスト、映像損失量、時間損失量を含む最終費用関数を生成し、０から１の間の任意の値に伝達量を変化させながら最終費用関数値を求めることを特徴とする請求項６に記載の動画に含まれたヘーズを除去する映像処理装置。
11. 前記第１または第２のピクセル単位伝達量推定部は、
    ブロックを部分的に重ね合わせて各ブロックにガウシアン加重値を適用し、各ブロック毎に近似伝達量を求める近似伝達量計算モジュール；
    前記ブロック単位の伝達量と前記近似伝達量との差が最小になる変数を求める変数計算モジュール；及び
    前記求められた変数による近似伝達量を第１または第２のピクセル単位伝達量として検出するピクセル単位伝達量検出モジュール；を含むことを特徴とする請求項５に記載の動画に含まれたヘーズを除去する映像処理装置。
12. 前記映像拡大部は最近隣画素補間法を用いて前記縮小された映像を元の映像のサイズに拡大することを特徴とする請求項５に記載の動画に含まれたヘーズを除去する映像処理装置。
13. 映像処理装置がヘーズが含まれた動画を修復する方法において、
    （ａ）ヘーズが含まれた映像からヘーズの明るさを測定する段階；
    （ｂ）前記映像においてコントラスト、映像損失量及び時間損失量による最終費用関数値を最小にするブロック単位の伝達量を推定し、前記ブロック単位の伝達量に基づいてピクセル単位の伝達量を推定する段階；及び
    （ｃ）前記ヘーズの明るさと前記ピクセル単位の伝達量とを用いて前記映像を修復する段階；
    を含む動画に含まれたヘーズの除去方法。
14. 前記（ａ）段階は、
    前記映像を予め定められた第１の一定個数のブロックに分割する段階；
    前記分割された各ブロック毎にピクセル値の平均と標準偏差をそれぞれ求める段階；
    各ブロック毎に平均と標準偏差との差を用いて代表値をそれぞれ求める段階；
    前記各ブロック毎に求められた代表値の中からその値が最も大きいブロックを選択する段階；
    前記選択されたブロックの広さが予め定められた広さ以下か否かを判断する段階；及び
    前記判断の結果、予め定められた広さ以下となった場合に、前記選択されたブロックにおいて最も明るい画素値を選択し、ヘーズの明るさとして推定する段階；を含むことを特徴とする請求項１３に記載の動画に含まれたヘーズの除去方法。
15. 前記（ｂ）段階は、
    前記ヘーズが含まれた映像を予め定められた第２の一定個数のブロックに分割し、各ブロック毎のコントラスト、映像損失量及び時間損失量による最終費用関数を用いてブロック単位の伝達量を推定する段階；
    前記ブロック単位の伝達量をエッジ保存フィルターに適用して第１のピクセル単位伝達量を推定する段階；を含むことを特徴とする請求項１３に記載の動画に含まれたヘーズの除去方法。
16. 前記ブロック単位の伝達量を推定する段階の前に、
    前記ヘーズが含まれた映像を予め定められた一定のサイズに縮小する段階をさらに含むことを特徴とする請求項１５に記載の動画に含まれたヘーズの除去方法。
17. 前記第１のピクセル単位伝達量を推定する段階以後に、
    前記縮小された映像と前記第１のピクセル単位伝達量を元の映像のサイズに拡大する段階；及び
    前記拡大された第１のピクセル単位伝達量にエッジ保存フィルターに適用して第２のピクセル単位伝達量を推定する段階；をさらに含むことを特徴とする請求項１６に記載の動画に含まれたヘーズの除去方法。
18. 前記ブロック単位の伝達量を推定する段階は、
    前記映像を予め定められた第２の一定個数のブロックに分割する段階；
    各ブロック毎に予め定められた範囲の伝達量を一定の比率ずつ変化させながらコントラスト、映像損失量、時間損失量をそれぞれ求める段階；
    前記コントラスト、映像損失量、時間損失量による最終費用関数値をブロック毎に求める段階；及び
    前記求められた最終費用関数値の中からその値を最小にする伝達量をブロック単位の伝達量として検出する段階；を含むことを特徴とする請求項１５に記載の動画に含まれたヘーズの除去方法。
19. 前記ブロック単位の伝達量をエッジ保存フィルターに適用して第１のピクセル単位伝達量を推定する段階は、
    前記ブロックを部分的に重ね合わせ、各ブロックにガウシアン加重値を適用して各ブロック毎に近似伝達量を求める段階；
    前記ブロック単位の伝達量と前記近似伝達量との差が最小になる変数を求める段階；及び
    前記求められた変数による近似伝達量を第１のピクセル単位伝達量として検出する段階；を含むことを特徴とする請求項１５に記載の動画に含まれたヘーズの除去方法。