JP5271072B2

JP5271072B2 - 画像処理方法

Info

Publication number: JP5271072B2
Application number: JP2008501418A
Authority: JP
Inventors: オークリー，ジョン・ピーター
Original assignee: ディミスト・リサーチ・リミテッド
Priority date: 2005-03-17
Filing date: 2006-03-16
Publication date: 2013-08-21
Anticipated expiration: 2026-03-16
Also published as: GB0505443D0; CN101185103A; WO2006097752A1; US20130136376A1; CA2601534A1; US8391632B2; US20080112641A1; EP1866865B1; JP2008536365A; CA2601534C; EP1866865A1

Description

本発明は画像処理方法に関する。特に、これに限定されないが、ノイズの効果によって少なくとも部分的に影響を受ける画像を処理する方法に関する。

シーンの画像を劣化させる多くのノイズ源が存在する。例えば、シーンの画像は、霧又はかすみ等による光の光学的散乱によってたびたび劣化する。この光学的散乱は、画像の幾つかの部分において付加的な明るさを生じ、文献では「エアライト」と呼ばれている。エアライトによる画素値の成分を除去するため、画像を処理することが望ましい。

カメラで生成された画像によって表されるシーンの全ての点と、カメラ位置との間の距離が、ほぼ一定であれば、エアライトは推定可能であり、画像の各々の画素へ式（１）を適用することによってエアライトを除去することができる。

ｙ＝ｍ（ｘ−ｃ）（１）

ｘは、元の画素値であり、
ｃは、「エアライト」を表すように選択された補正値であり、
ｍは、尺度化パラメータであり、
ｙは、修正された画素値である。

パラメータｃが正しく選択されると仮定すると、式（１）に従って単色画像の各々の画素を処理するステップは、エアライトを除去することによって画像を向上させる。しかし、パラメータｃの適切な値を決定することは、多くの場合、問題を含む。

コントラスト測定値、例えば、画素値の平均に対する画素値の標準偏差の比を使用することによって、パラメータｃを推定する様々な公知の方法がある。しかし、そのようなコントラスト測定値は、エアライトによって誘導されたコントラスト損失と、本来的に低いコントラストのシーンとを区別しない。例えば、砂丘の画像は、多くの場合、エアライトが存在しないときでも、シーンの明るい部分と暗い部分との間に、コントラストをほとんど提供しない。したがって、パラメータｃを決定する場当たり的なスキームは、往々にして深刻な画像歪曲を生じる。

式（１）を参照して説明した上記の方法は、単色画像に適用することができる。カラー画像を処理する場合、更なる問題が生じる。典型的には、画素値へのエアライトの寄与、したがってパラメータｃの値は、光の波長（カラー）に依存する。したがって、式（１）をカラー画像へ適用するのであれば、画像の赤、緑、及び青チャネルについて、パラメータｃの異なる値が必要となる。

上記で説明した方法は、画像によって表されたシーンの中の全ての点からカメラ位置が等距離であるとする。公開された欧州特許ＥＰ０８３９３６１は、本発明者の一人によって開発された方法を説明する。この特許において、式（１）で異なる画素のためにパラメータｃの異なる値が使用され、その使用は、前記画素によって表されたシーン内の位置とカメラ位置との間の距離に依存して行われる。本発明は、後方散乱される光が、カメラ位置とシーン内の位置との間の距離に依存して変動するという認識から生じた。

本発明の実施形態の目的は、上記で概説した問題の少なくとも幾つかを回避又は緩和することである。

本発明によれば、シーンの画像を表す画像データを処理し、画像データ中のノイズの推定値を生成する方法が提供される。本方法は、ノイズの推定値を入力として取る関数を含む。この関数は、複数の異なる推定値について評価され、関数が最適値を有する推定値が決定される。最適値は、関数の停留点、例えば、最小点であってもよい。

このようにして、本発明は、関数を単純に評価し、関数が最適値を有するノイズ推定値を決定することによって、画像の中に存在するノイズを決定するロバストな方法を提供する。

この文書の中で使用されるノイズの用語は、画像へ遅い変動オフセットを与える画像の任意のアーチファクトを意味するように使用される。ノイズの例は、これから更に詳細に説明するが、そのようなノイズの例はエアライトを含むことが理解される。

画像データは、画像の複数の画素の各々について画素値を含んでもよく、関数は画素値の少なくとも部分集合を入力として取ってもよい。

本方法は、更に、画像データをフィルタし、フィルタされた画像データを生成することを含んでもよい。フィルタされた画像データは、画像の画素の各々について、フィルタされた画素値を含む。関数は前記フィルタされた画素値の少なくとも部分集合を入力として取ってもよい。部分集合は、好ましくは、関数が画素値を入力として取る画素の同じ部分集合であるように選択される。

上記で説明された関数は、次の形式であってもよい。

Ｋは、処理されるべき画素の数であり、
ｐ_kは、画素ｋの値であり、

は、上記で説明した低域フィルタを適用した後の画素ｋの値であり、
λは、パラメータの値であり、
Ｓ（λ）は、最適化されるべき関数である。

最適値は、当分野で周知の多数の任意の数値解析手法を使用して決定されてもよい。そのような数値解析手法は、好ましくは、画像の中に含まれるノイズについてゼロの初期推定値から始まる。

画像の中に存在するある種のノイズは、カメラ位置とシーン中の位置との間の距離に依存して変動することが知られている。そのような変動は、複数の異なる推定値を生成することによって、上記で記述された方法を使用して考慮されてもよい。

本発明は、更に、画像からノイズを除去する方法を提供する。本方法は、上記で記述された方法を使用して画像の中に含まれるノイズを推定し、次いで画像の各々の画素を処理して前記ノイズの推定値を除去し、前記出力画素値を生成することを含む。

ノイズを除去する方法は、更に、出力画素値に所定の係数を掛けることを含んでもよい。出力画素値に所定の係数を掛けることは、多数の周知の照明補償手法の１つを使用した照明補償を提供することができる。

画像の中に含まれるノイズは、少なくとも部分的には、大気の後方散乱光、カメラの暗電流効果、又はカメラレンズ上のごみの１つ又は複数に帰因する。

本発明の更なる態様によれば、前記請求項のいずれかに記載の方法をコンピュータに実行させるように構成されたコンピュータ読み取り可能命令を搬送する搬送メディアが提供される。

本発明は、更に、画像を表す画像データ中にあるノイズの推定値を生成するコンピュータ装置を提供する。この装置は、プロセッサ読み取り可能命令を含むプログラム・メモリ、及び該プログラム・メモリの中に記憶された命令を読み取って実行するように構成されたプロセッサを含む。プロセッサ読み取り可能命令は、前述した方法をコンピュータに実行させるように構成された命令を含む。

本発明の更なる態様によれば、ビデオ・データの複数のフレームを処理して、向上したビデオ・データを生成する方法が提供される。本方法は、ビデオ・データの第１のフレームを処理し、ビデオ・データの前記フレームの中に含まれるノイズの推定値を生成し、ノイズの前記推定値を示すデータを記憶し、ビデオ・データの少なくとも１つの更なるフレームを処理して、ビデオ・データの前記第１のフレームの中に含まれるノイズの前記記憶された推定値を使用してビデオ・データの前記更なるフレームからノイズを除去し、ビデオ・データの前記更なるフレームを使用して生成されたビデオ・データの向上したフレームを出力することを含む。

このようにして、上記で記述された方法を使用することによって、ビデオ・データの第１のフレームの処理は比較的ゆっくりと進行し、ビデオ・データの少なくとも１つの更なるフレームの処理は比較的迅速に行われ、出力ビデオ・データの中で「発作」のアーチファクトが明瞭にならないようにすることができる。

ビデオ・データの第１のフレームは、上記で記述された方法に従って処理されてもよい。この処理は、更に、コントラスト向上パラメータを生成することができる。

添付の図面を参照し、例を挙げて、これから本発明の実施形態を説明する。

画像の画素値は、多くの場合、エアライトと呼ばれる大気の後方散乱光によって生じたノイズに帰因する成分を含む。そのようなノイズは、上記で記述されて下記で想起される式（１）を使用して、画像から除去可能である。
ｙ＝ｍ（ｘ−ｃ）（１）
ｘは、元の画素値であり、
ｃは、「エアライト」を表すように選択された補正値であり、
ｍは、尺度化パラメータであり、
ｙは、修正された画素値である。

本発明の実施形態は、パラメータｃの値を推定する方法を提供する。本方法は、図１のフローチャートに示される。本方法は、画像を定める画素の少なくとも部分集合に関連づけられた画素値をサンプリングし、これらの値をパラメータ関数の中へ入力し、関数が最適値を有するパラメータ関数のパラメータについて値を決定することによって動作する。そのようにして決定されたパラメータの値は、式（１）のパラメータｃについて生成された値である。

図１を参照すると、処理されるべき画像の中の少なくとも幾つかの画素に関連づけられた画素値ｐが、ステップＳ１でサンプリングされる。ステップＳ２では、処理されるべき画像へ低域フィルタが適用され、画像の画素の各々について、フィルタされた画素値

が生成される。フィルタは、好ましくは、ガウス型の核及び約５に等しいσ値を有する低域フィルタである。そのような低域フィルタの生成は当業者に周知である。

ステップＳ３では、パラメータ関数のパラメータλ（前述）が、典型的には、０の値へ初期化される。図１のステップＳ４で評価されるパラメータ関数は、式（２）の関数である。

前述したように、λはステップＳ３で０の値へ初期化され、次いで式（２）がステップＳ４で評価される。ステップＳ５では、式（２）の評価された値が最適値、この場合は最小値であるかどうかが検査される。これがその場合であると決定されたとき、パラメータｃはステップＳ６でλの決定された値となるように設定される。Ｓ（λ）が最小となるλの値が見つかるまで、λはステップＳ７で更新され、処理はステップＳ４へ戻る。

Ｓ（λ）の最小値の突き止め（ステップＳ３〜Ｓ７）は、多くの公知の数値最適化手法を使用して実行可能である。１つのそのような手法の更なる詳細を下記で呈示する。

関数Ｓ（λ）が最小となるλの値を決定するように、処理が実行されることが示された。これから、λのそのような値が、式（１）のパラメータｃについて良好な推定値となることを示す。

画像は、領域の集まりであり、各々の領域はある種の可視表面に対応すると考えることができる。例えば、木は葉、幹、及び枝の領域の集まりとして見ることができる。各々の領域は、その局所的な色に関連づけられるあるスペクトル反射性を有する。各々の領域の中で、局所的表面方位の巨視的変動に主として起因する明るさの変動が存在する。画像をこのように考えることは、画像テクスチャの、かなり一般的で基本的なモデルに対応する。

上記で説明されたモデルの重要な特徴は、明るさの部分的変動は、実際の明るさからほぼ独立していることである。エアライトに起因する任意のオフセットは、この特徴を変化させ、したがって検出可能である。これは、図１及び式（２）を参照して上記で説明された処理の基礎として使用される。

説明される実施形態において、局所的テクスチャ変動は、正規（ガウス）分布を有すると仮定される。

処理されるべき画像は、Ｍ個の領域を含むと仮定され、領域ｍの平均の明るさはＲ_mである。ここで、ｍ＝１．．．Ｍである。一般性の喪失は暗示されない。なぜなら、Ｍを非常に大きくすることができ、領域は非常に小さいからである。画像をこれらのＭ個の領域へ明瞭に区分することは行われない。

画像内の画素の総数はＫで表され、領域ｍの中のそれら画素の端数はＫ_mで表される。領域ｍの中のｋ番目の画素は、

で表される。

領域ｍの中のｋ番目の画素

は、次のように表される。

Ｎ＝Ｎ（０，σ）は、ゼロ平均、標準偏差σを有する正規確率変数であり、ｃはエアライトを示すスカラー定数である。

上記で説明された低域フィルタは、局所的画素値

の確率的揺動を平滑化し、各々の画素について「平滑化された」値

を生成する。

フィルタの空間範囲が、平滑化の目的には十分大きいが、画像領域のサイズに関しては小さいならば（ボーダー効果は著しくない）、

即ち、フィルタリングは、正規変数Ｎによって表される変動を除去する。

式（２）を想起する。

式（２）は画像の全ての画素について総和を必要とするが、Ｋ_mが領域ｍの中の画素の端数であることを想起すると、式（２）はＭ個の領域の各々の領域ｍに関して書き直すことができる。

更に、式（３）及び（４）を想起すると、式（２）は次のように書くことができる。

式（５）を簡約し、Ｎ＝Ｎ（０，σ）であることを想起すると、次式が得られる。

ここで、σ２はＮの平方の期待値とする。

次のように定義し、
ｕ＝ｃ−λ （７）
式（７）を式（６）へ代入すると、次式が得られる。

次のように定義する。

及び

ｕに関して式（９）を微分すると、次式が得られる。

ｕに関して式（１０）を微分すると、次式が得られる。

式（８）から、
Ｓ（λ）＝σ²ｆ・ｇ（１３）

したがって、

式（９）、（１０）、（１１）、及び（１２）を式（１４）へ代入すると、次式が得られる。

λに関して式（７）を微分すると、次式が得られる。

次のように記述することができる。

即ち、

Ｓが最小であるとき、即ち、

であるとき、λ＝ｃであることが上記で記述された。λ＝ｃであれば、式（７）からｕ＝０である。ｕ＝０を式（１８）へ代入すると、次式が得られる。

であると仮定すれば、

であることが分かる。これは、λ＝ｃであるとき、式（２）は停留点を有するという主張を支持する。これは、有効な数値探索手続きを式（２）へ適用することによって、ｃを決定できることを意味する。

Ｓ（λ）が最小であるλの値は、ｃについて良好な推定値を提供することを示したので、これから関数Ｓ（λ）を最小にする方法を説明する。式（２）の関数を最小にする最も単純な方法は、式（２）の値を直接評価することである。しかし、費用関数のこの定式化は、数値の不正確性から悪影響を受ける。一般的には、数値最適化アルゴリズムが効率的に働くためには、目標関数が、そのパラメータの連続的かつ滑かな関数でなければならない。費用関数の代替的であるが等価の定式化は、下記で説明される。この定式化が好ましい。なぜなら、それはλの最適値の一層迅速な決定を導くからである。適切な最適化コードの例は、ＮｕｍｅｒｉｃａｌＡｌｇｏｒｉｔｈｍｓＧｒｏｕｐＬｔｄ，ＯｘｆｏｒｄからのルーチンＥ０４ＵＣＣである。

画像データは、各々の行ｉについて行ごとに処理される。次に、この行ごとの処理の結果は、再帰的に結合される。

式（２）から、

所与の行ｉについて、次のように定義する。

ここで、Ｍは列の数であり、ｍは現在処理されている列である。

ここで、ｎは行の数である。したがって、次のことが分かる。

式（２３）からＲＴＬ（ｎ）の定義を想起すると、式２５は次のように書き直すことができる。

式２６の総和を再配列すると、次式が得られる。

これを再配列すると、次式が得られる。

和の指数は、和の成分の指数の乗法に等しいとすれば、式２８は次のように書き直すことができる。

これは次のように書き直すことができる。

これは、式（２３）からＲＴＬ（ｎ）の定義を想起すると次式を与える。

式（３１）の表現からの乗法は、次式を与える。

これは次のように書き直すことができる。

これは次のように書き直すことができる。

乗法の第２の項を書き直すと、次式が得られる。

式（２４）からＳ（ｎ）の定義を想起すると、次式が得られる。

このようにして、式（２）の費用関数は、式（３６）を使用して有効に評価可能であることが分かる。即ち、画像の最初の行について変数ＲＳ（ｉ）、ＲＬ（ｉ）、及びＲＴＬ（ｎ）を適切に初期化することによって、費用関数Ｓは、式３６で示されるように行ごとに計算可能である。

アルゴリズムのコンピュータ・プログラム実現において、ｆｏｒループは画像の各々の行を順番に処理する。ＲＳ（ｉ）の初期値は最初の行について計算され、変数ＲｏｗＰｒｏｄＳｕｍの中に記憶される。最初の行について、ＲＬ（ｉ）の初期値も計算され、変数Ｒｏｗ＿Ｓｕｍ＿Ｌｏｇの中に記憶される。次に、変数Ｓが初期化され、各々の行について更新され、ＲＴＬの値を適切に更新するため式２３が使用される。変数ｗｆは１．０／（ｉ＋１．０）に等しく設定される。これは上記の式の項

に対応する。

適切なプログラム・コードは、下記のコード断片１で示される。

２つの倍精度浮動小数点変数Ａ及びＲＴＢ（これはＲＴＬを表す）は、下記の行回帰構造で使用される。行番号はｉで表される。
｛行０から開始して、各々の画像行を処理する。行番号はｉである｝

｛全ての行が処理されたとき、最終の費用関数値はＡである｝
コード断片１

これから、図１で示された方法を、図２で示される例示的画像へ適用する場合を説明する。

図２の画像は、本発明の説明された実施形態の方法を例証するために形成された合成画像である。画像は、異なる強度レベルを有する２つの領域を含む。

最初に、区域１で３０の強度を有し、区域２で１２０の強度を有する画像が生成された。各々の画素へ乱数を加算することによって、テクスチャ効果がシミュレートされた。乱数は、ゼロ平均及び画素値の１／１０に等しい標準偏差を有する正規分布を使用して生成された。エアライトの効果は、各々の画素へ５０の定値を加算することによってシミュレートされた。図２の画像において、区域１の平均値は８０であり、区域の平均値は１５０である。

図３は、λの異なる値について、式（２）で定義された関数Ｓ（λ）の図面を示す。Ｓ（λ）の値は、図２の全ての画素から取得された画像データ、及び前述したように適切な低域フィルタを適用した後の画素値を使用して生成される。Ｓ（λ）は、λ＝５３．４２のとき最小値を有することが分かる。これは正確な値λ＝５０に近い（５０はシミュレートされたエアライトである）。２つのパッチの端に沿ったわずかな歪曲は、推定されたオフセットが真の値λ＝５０からわずかにオフセットされる結果を生じる。

端の近傍の画素値がＳ（λ）の評価から除外されるとき、関数はλ＝４９．９で最小値を有する。λ＝４９．９は真の値に非常に近い。画像内の鋭い端の近くにある画素を計算から排除することは、端の強度の測度を計算し（例えば、勾配のモジュラス）、その解析から強い端を除外することによって、自動的に実行可能である。

上記で記述された方法は、異なる強度の少なくとも２つの領域が存在する任意の画像で働く。これは、実際には限定的ではない。

上記で記述された式（２）は、確率的ノイズの公知のレベルを画像が含む場合に修正可能である。そのような場合、Ｓ（λ）は下記の式（３７）によって定義される。

は、前述した低域フィルタを適用した後の画素ｋの値であり、
Ａνは、加法的ノイズ成分の分散を表し、
Ｔνは、画像テクスチャに関連した定数であり、
λは、決定されるべきパラメータの値であり、および
Ｓ（λ）は、最適化されるべき関数である。

再び、Ｓ（λ）が最小となるλの値は、画像の中に存在するエアライト成分の良好な推定値である。

前記の説明は、単色画像に関連して行われた。カラー画像については、前に記述した式（２）又は式（３７）のいずれかを使用して、３つの異なるカラー・チャネル（赤、緑、及び青）が別々に解析（及び、別々に補正）されてもよい。

しかし、代替の方法が好ましい。代替の方法では、合成関数が使用され、３変数最適化プロセスが実行される。１つのそのような合成関数は、式（３８）として記述される。

Ｋは、処理されるべき画素の数であり、
ｐ_kr、ｐ_kg、ｐ_kbは、赤、緑、及び青チャネルそれぞれについての画素ｋの値であり、

は、前述した低域フィルタを適用した後の赤、緑、及び青チャネルそれぞれについての画素ｋの値であり、
（λ_r，λ_g，λ_b）は、決定されるべきパラメータの値であり、および
Ｓ（λ_r，λ_g，λ_b）は、最適化されるべき関数である。

前と同じように、ある一定の仮定に従って（明るさの端数変動は実際の明るさからほぼ独立であり、その端数変動は赤、緑、及び青のカラー・チャネルで同一である）、（λ_r，λ_g，λ_b）がエアライトに帰因する各々のチャネルの成分を示すとき、関数Ｓ（λ_r，λ_g，λ_b）は停留点（最小点）を有する。

前述した評価手法は、前記の式（３８）を使用してカラー画像について使用可能である。

ここで、前述したパラメータＲＳは、画像の各々のチャネルについて１つの、３つのＲＳパラメータによって置換される。これらは、下記で記述される式（３９）、（４０）、及び（４１）に従って定義される。

同様に、前述したパラメータＲＬは、式（４２）、（４３）、及び（４４）で示されるように、再び画像の各々のチャネルについて１つの、３つのパラメータによって置換される。

再び同様に、パラメータＲＴＬは、下記で記述される式（４５）、（４６）、及び（４７）に従って各々のチャネルについて１つの、３つの値によって置換される。

処理は、一度に１つのチャネルについて実行され、したがってパラメータＳは、再び式（４８）、（４９）、及び（５０）に従って、３つのパラメータによって置換される。

したがって、式３７は次のように書き直すことができる。

変数Ｓ及びＲＴＬの値は、前述した１つのチャネルの場合のように、計算可能であることが理解される。計算の実現において、変数ＲｏｗＰｒｏｄＳｕｍは３要素配列によって置換され、変数Ｒｏｗ＿Ｓｕｍ＿Ｌｏｇは再び３要素配列によって置換される。ＲＴＬ変数ＲＴＢは、再び適切な３要素配列によって置換される。

画像の中のエアライトの成分は、画素によって表されるシーンの中の点とカメラとの間の距離に依存して変動することができる。図４は、シーンの画像を生成するために配置されたカメラ３を示す。カメラ３は、水平線に対して角度θで向けられ、視界角ＦＯＶを有する。

エアライト（λ）は、典型的には、式（５２）に従ってＤとして参照される画像平面４とカメラ３との間の距離に依存して変動する。
λ∝（１−ｅｘｐ（−β_sc（ω）・Ｄ）（５２）
ここで、β_scは波長ωの光の総体積散乱係数である。正規化された体積散乱β_sc’（ω）係数は、次のように定義される。
β_sc’（ω）＝β_sc（ω）・ｑ（５３）

ここで、ｑは画像の中心に対応する距離Ｄの値である。本発明の説明された実施形態において、正規化された散乱係数β_sc’は、赤、緑、及び青のカラー帯域それぞれにおける公称波長に対応する３つのスカラー変数Ｘ₀、Ｘ₁、及びＸ₂によって表される。

図４で示されるシーンのジオメトリは、一般的に、未知である。したがって、２つの更なるスカラー変数Ｘ₃及びＸ₄が、次のように定義される。

即ち、ここで、ＦＯＶは視界角であり、θはカメラから画像中心への距離と水平線との間の角度である。

全ての５つのパラメータ（Ｘ₀，Ｘ₁Ｘ₂Ｘ₃Ｘ₄）は多変数最適化によって決定される。

カメラと画像平面との間の距離は、画像平面の中の位置に依存して変動する。この位置は変数νで表される。変数νは１つの極端で０．５の値を取り、他の極端で−０．５を取り、中心で０を取る。

図４へ正弦法則を適用する。

次のことが分かる。
ｒ＝１８０−（θ＋φ）（５８）

次のように仮定すると、
φ＝−νＸ₄ （５９）
次のようになる。
ｒ＝１８０−（θ−νＸ₄）（６０）
及び
ｓｉｎｒ＝ｓｉｎ（θ−νＸ₄）（６１）

したがって、

式（６４）を式（５２）へ代入すると、単色画像又はカラー画像の１つのチャネル（例えば、赤チャネル）について、画素のエアライトを与える。

ここで、Ｃは、式（５２）における比例定数である。項λ（Ｘ₀，Ｘ₃，Ｘ₄）は、式（２）又は（３７）のλと置き換わる。定数Ｃの値は、大気放射輝度とカメラ利得との積に依存する。一般的に、これらのパラメータは未知である。Ｃの推定値は、様々な方法で形成される。１つの方法は、画像の中の最高画素値を使用することである。

式のカラー・バージョン（式（３８））が使用されるならば、Ｘ₀は緑又は青チャネルについて適切にＸ₁又はＸ₂で置換される。この項は、画像内の画素の各々の行について別々に計算される。

視界角が比較的小さく、約１５度以下であるとき、次の近似が行われてもよい。

この式は、ただ１つの幾何学的パラメータを含む。これは、視界角（式（６７）におけるパラメータＸ₄）が、実際にはほとんど影響しないことを示す。好ましい実現では式（５６）が使用されるが、Ｘ₄は固定値である。カメラの視界が未知であれば、Ｘ₄はある小さな値、例えば、１度に設定される。

これまでの説明は、静的画像のエアライトを推定することに関連した。前述の手法は、各々のフレームを順番に処理することによって、複数のフレームを含むビデオ・データへ適用可能であることが理解される。ビデオ・データをこのように処理するとき、注意して、画像処理動作が十分に速く、処理されるビデオ・データの中で「発作」のアーチファクトが生じないことを確実にしなければならない。このようにして、速度のために画像処理の品質を犠牲にすることが必要であるかもしれない。

本発明の幾つかの実施形態によれば、画像処理は、図５で示された配列を使用して実行される。各々のフレームの各々の画素が、別々の赤、緑、及び青チャネルによって表されるカラー入力ビデオ・データ６が受け取られ、並行して解析モジュール７及びビデオ処理モジュール８へ渡される。解析モジュールは比較的遅く動作し、式（１）のパラメータｃ及びｍの値を生成するように構成される。ｃの決定は、例えば、これまで概説した方法を使用して実行されてもよい。パラメータｃ及びｍのパラメータの値は、係数バッファ９の中に記憶される。

画像の解析には、全ての画像データが必要とされるわけではない。例えば、画像は２の因子でサブサンプリングされ、解析は画素値の半分だけに基づくようにされてもよい。これは計算時間を節約する。更に、解析は、通常、ボーダー又はスクリーン注釈（ときどきＣＣＴＶ装置で使用される）を避けるため画像の所定部分について実行される。

ビデオ処理モジュール８は、受け取られたフレームの各々の画素を式（１）に従って処理し、係数バッファ９からパラメータｃ及びｍの適切な値を読み取ることによって動作する。ビデオ処理モジュール８によって処理されたデータは、ディスプレイ・スクリーン１０へ出力される。

解析モジュール７がビデオ処理モジュール８と比較して遅く動作するとすれば、ビデオ処理モジュール８は、典型的には、ビデオ・データの早期のフレームを使用して生成された係数を適用する。エアライトの変化が延長時間にわたって起こる傾向があるとすれば、これは実際には画像品質にほとんど影響しないことが分かる。

解析モジュール７は、好ましくは、処理されたフレームの各々の画素についてｃ及びｍの値を生成する。即ち、上記で説明されるかＥＰ０８３９３６１で説明されるように、カメラ位置からの距離と共に変動するエアライトを考慮する方法が、好ましくは使用される。本発明のそのような実施形態において、各々のカラー・チャネルについて２つの、全部で６つの表が使用される。各々の表は、画像内の各々の画素について１つの項目を有する。赤、緑、及び青のチャネルが別々に処理され、次に再結合されて最終画像を形成する。

必要に応じて、ｍの値を調整し、エアライト補償に加えて不均一照明の補償を提供することができる。局所的照明レベルを推定する幾つかの方法は、例えば、Ｊｏｂｓｏｎ，Ｊ．，Ｒａｈｍａｎ，Ｚ．，Ｗｏｏｄｅｌｌ，Ｇ．Ａ．，「Ａｍｕｌｔｉｓｃａｌｅｒｅｔｉｎｅｘｆｏｒｂｒｉｄｇｉｎｇｔｈｅｇａｐｂｅｔｗｅｅｎｃｏｌｏｕｒｉｍａｇｅｓａｎｄｔｈｅｈｕｍａｎｏｂｓｅｒｖａｔｉｏｎｏｆｓｃｅｎｅｓ」，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．６，Ｉｓｓｕｅ７，Ｊｕｌｙ１９９７，ｐｐ．９６５−９７６に記載されるような文献から入手可能である。

ここで、照明の推定及び補償を簡単に説明する。照明の補償は、照明が緩慢に変化すること、及び低域フィルタを使用して照明分布の推定値を生成できるというアイデアに基づく。画像を向上する目的で、低域フィルタ、例えば、準同形フィルタを使用して照明を推定できることは公知である。これは、例えば、上記のＪｏｂｓｏｎ、Ｒａｈｍａｎ、及びＷｏｏｄｅｌｌの参考文献で説明される。

上記で説明したタイプの照明推定方法は、拡散反射のランバーティアン・モデルに基づく。これは、ＡｎｙａＨｕｒｌｂｅｒｔ，「Ｆｏｒｍａｌｃｏｎｎｅｃｔｉｏｎｓｂｅｔｗｅｅｎｌｉｇｈｔｎｅｓｓａｌｇｏｒｉｔｈｍｓ」，Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ，Ｖｏｌ．３，Ｎｏ．１０，ｐｐ．１６８４−１６９３，Ｏｃｔｏｂｅｒ１９８６で説明される。画像の中の可視表面がランバーティアン特性を有し、照明が波長の狭い範囲へ限定されるならば、

ここで、Ｉ（ｘ，ｙ）は画素（ｘ，ｙ）における強度値であり、Ｒ（ｘ，ｙ）はスカラー反射率であり、Ｌ（ｘ，ｙ）はスカラー放射照度値である。画像処理手続きは簡単である。最初にＬ（ｘ，ｙ）の推定値を形成し、次にｃ／Ｌ（ｘ，ｙ）によって尺度化する。ここで、定数ｃは画素を表示範囲の中に保つように選ばれる。

このモデルは、狭帯域フィルタが各々のカラー・チャネルに使用されるという仮定のもとで、カラー画像へ一般化可能である。従来のＲＧＢフィルタを使用してスペクトルが局所化されるときでも、（６８）によって定義されたモデルは真の応答への近似値を与える。そのような分解の利点には、後方／前方照明効果を除去し、空間変動する照明を含むショット、例えば、陰影を含む画像を向上できることが含まれる。

照明関数Ｌ（ｘ，ｙ）を推定する様々な方法が提案された。ＡｋｉｒａＳｕｚｕｋｉ，ＡｋｉｏＳｈｉｏ，ＨｉｒｏｙｕｋｉＡｒａｉ，ａｎｄＳａｋｕｉｃｈｉＯｈｔｓｕｋａ，「Ｄｙｎａｍｉｃｓｈａｄｏｗｃｏｍｐｅｎｓａｔｉｏｎｏｆａｅｒｉａｌｉｍａｇｅｓｂａｓｅｄｏｎｃｏｌｏｒａｎｄｓｐａｔｉａｌａｎａｌｙｓｉｓ」，ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，２０００．Ｐｒｏｃｅｅｄｉｎｇｓ．１５ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ，３−７Ｓｅｐｔ．２０００，Ｖｏｌ．１，ｐｐ．３１７−３２０では、形態学的平滑化フィルタが使用される。ＴｈｏｍａｓＳｔｏｃｋｈａｍ，Ｊｒ．ｉｎ「Ｉｍａｇｅｐｒｏｃｅｓｓｉｎｇｉｎｔｈｅｃｏｎｔｅｘｔｏｆａｖｉｓｕａｌｍｏｄｅｌ，」，Ｐｒｏｃ．ＩＥＥＥ，Ｖｏｌ．６０，Ｎｏ．７，ｐｐ．８２８−８４２，１９７２で説明される準同形フィルタは、初期の照明補償手法である。Ｊｏｂｓｏｎ，Ｒａｈｍａｎ，ａｎｄＷｏｏｄｅｌｌｉｎ「Ｐｒｏｐｅｒｔｉｅｓａｎｄｐｅｒｆｏｒｍａｎｃｅｏｆａｃｅｎｔｒｅ／ｓｕｒｒｏｕｎｄｒｅｔｉｎｅｘ」，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．６，Ｎｏ．３，１９９７，ｐｐ．４５１−４６２で説明されるレチネックス・アルゴリズムは、更に最近の方法である。

上記で説明された照明推定及び補償手法は、図５で示されたシステムとの関連で適用可能である。具体的には、解析モジュール７は照明を推定することができ、ビデオ処理モジュール８はデータを処理し、照明補償を実行することができる。

本発明の好ましい実施形態を上記で説明したが、理解されるように、補正された請求項によって定められる本発明の精神及び範囲から逸脱することなく、それらの実施形態へ様々な修正を行うことができる。

上記で記述された説明は、画像からエアライト効果を除去することに関連する画像処理手法について行われた。エアライト効果とは別に、画像オフセットの他の源が存在することが理解される。具体的には、カメラの熱応答、いわゆる「暗電流」によって、画像オフセットが生成される。更に、カメラ・レンズ又は保護窓の上のごみによって、オフセットが生成される。更に、いわゆる「ペデスタル」誤差によって、ノイズが生じる。ＰＡＬ標準のある変形を含む幾つかのビデオ標準は、非ゼロ電圧レベルを使用して黒を表す。このレベルは「ペデスタル」として知られる。ビデオデコーダがペデスタルを不適切に考慮すると、明るさのレベルの全てが上又は下へ移動する結果となる。これらのタイプの全てのオフセットは、上記で説明した方法によって検出（及び緩和）可能である。

本発明に従った画像処理方法のフローチャートである。図１に従った処理が適用される例示的画像である。図１の処理が図２の画像へ適用されるときに使用されるパラメータ関数の値を示すグラフである。シーン・ジオメトリを示す図である。本発明に従った画像処理方法の実現の略図である。

Claims

ビデオ・データの複数のフレームを処理して、向上したビデオ・データを生成する方法であって、
ビデオ・データの第１のフレームを処理して、ビデオ・データの前記フレームの中に含まれたノイズの推定値を生成するステップであって、前記ノイズは、大気後方散乱光に少なくとも部分的に起因するステップと、
ノイズの前記推定値を示すデータを記憶するステップと、
ビデオ・データの少なくとも１つの更なるフレームを処理して、ビデオ・データの前記第１のフレームの中に含まれたノイズの前記記憶された推定値を減じることによって、ビデオ・データの前記更なるフレームからノイズを除去するステップであって、前記更なるフレームはビデオ・データの前記第１のフレームと同じシーンを示す、少なくとも１つの更なるフレームを処理するステップと、
ビデオ・データの前記更なるフレームを使用して生成されたビデオ・データの向上したフレームを出力するステップと
を含む方法。
前記減じることが、前記ビデオ・フレームの画素の値から前記推定値を減じることを含む、請求項１に記載の方法。
前記画素の値から前記推定値を減じた後、前記画素の値を再尺度化するステップを更に含む請求項２に記載の方法。
ビデオ・データの少なくとも１つの更なるフレームを処理するステップが、ノイズの前記記憶された推定値を使用してビデオ・データの複数の更なるフレームを処理するステップを含む、請求項１から３のいずれかに記載の方法であって、
ビデオ・データの複数の向上したフレームを出力する方法。
前記推定値を生成するため、ビデオ・データの前記第１のフレームを処理するステップが、
異なる前記推定値の関数を評価するステップであって、前記関数が前記ノイズの推定値を入力として取得するステップと、
最適値を有する前記関数の前記ノイズの推定値を決定するステップと
を含む、請求項１から４のいずれかに記載の方法。
ビデオ・データの前記第１のフレームが、前記フレームの複数の画素の各々について画素値を含み、前記関数が、前記画素値の少なくとも部分集合を入力として取得する、請求項５に記載の方法。
前記ビデオ・データをフィルタして、フィルタされた画素値を含むフィルタされた画像データを生成するステップを含み、前記関数が、前記フィルタされた画素値の少なくとも部分集合を入力として取得する、請求項５又は６に記載の方法。
前記関数の前記最適値が前記関数の停留点である、請求項５から７のいずれかに記載の方法。
前記停留点が最小点である、請求項８に記載の方法。
前記関数が次の形式であり、

Ｋは、処理されるべき画素の数であり、
ｐ_ｋは、画素ｋの値であり、

は、上記の低域フィルタを適用した後の画素ｋの値であり、
λは、推定値の値であり、
Ｓ（λ）は、最適化されるべき関数である、請求項５から９のいずれかに記載の方法。
前記最適値が数値解析手法を使用して決定される、請求項５から１０のいずれかに記載の方法。
前記推定値が最初は０である、請求項１０に記載の方法。
複数の推定値を生成するステップを含み、
各々の推定値が、前記ビデオ・フレームの画素のそれぞれの部分集合におけるノイズの推定値である、請求項５から１２のいずれかに記載の方法。
請求項５から１３のいずれかに記載の方法を使用してノイズを推定するステップと、
前記ビデオ・フレームの各々の画素を処理して前記ノイズの推定値を除去し、出力画素値を生成するステップと
を含む、
ビデオ・フレームからノイズを除去する請求項１〜４のいずれかに記載の方法。
前記出力画素値に所定の係数を掛けるステップを更に含む請求項１４に記載の方法。
前記ノイズが、カメラレンズ上のごみに対して少なくとも部分的に帰因する、請求項１から１５のいずれかに記載の方法。
前記ノイズが、前記ビデオ・フレームの画素の少なくとも部分集合へ適用されたオフセットを含み、前記オフセットが、前記ビデオ・フレームの画素の前記部分集合の全ての画素について等しい、請求項１から１６のいずれかに記載の方法。
前記オフセットが前記ビデオ・フレームの全ての画素に適用される、請求項１７に記載の方法。
前記ノイズが、前記ビデオ・フレームの少なくとも幾つかの画素へ適用されたオフセットを含み、前記オフセットが、前記ビデオ・フレームを生成するために使用されたカメラ位置と、その画素によって表された点との間の距離から特別に独立して決定される、請求項１から１６のいずれかに記載の方法。
ビデオ・データの前記第１のフレームを処理するステップが、コントラスト向上パラメータを更に生成する、請求項１，５〜１３及び１６のいずれかに記載の方法。
ビデオ・データの複数のフレームを処理するコンピュータ装置であって、
プロセッサ読み取り可能命令を含むプログラム・メモリと、
前記プログラム・メモリの中に記憶された命令を読み取って実行するように構成されたプロセッサと
を備え、
前記プロセッサ読み取り可能命令が、請求項１，５〜１３及び１６のいずれかに記載の方法をコンピュータに実行させるように構成された命令を含む、コンピュータ装置。