JP4633437B2 - 時間再帰的色信号ノイズ低減方法及び装置 - Google Patents

Description

本発明は、出力色信号の遅延されたものが入力色信号から差し引かれる時間再帰的色信号ノイズ低減方法及び装置に関する。

映像色ノイズ低減にはいくつかのタイプがある。これらは、空間ノイズ低減アルゴリズムは画像コンテンツの詳細をソフト化する、すなわち、水平方向解像度及び/または垂直方向解像度を低減させる傾向がある一方、時間ノイズ低減アルゴリズム及び時間再帰的ノイズ低減アルゴリズムはスミア化（ｓｍｅａｒ）、すなわち、時間的解像度の低減の傾向があるという問題点を有する。

時間再帰的ノイズ低減の場合、そのようなスミアの影響は、フラットな高速移動クロマ領域において、同時に強力なノイズ低減処理への媒体が存在する場合に特に顕著に現れる。

本発明の解決対象となる問題は、時間再帰的色ノイズ低減におけるスミアの影響を減少させることである。この問題点は、請求項１に開示される方法により解決される。この方法を利用した装置が請求項６に開示される。

本発明による色ノイズ低減は、動き適応時間再帰的フィルタ、特に１次フィルタ（ｆｉｒｓｔ ｏｒｄｅｒ ｆｉｌｔｅｒ）に基づく。出力信号を遅延させた信号が、入力信号から差し引かれる。これにより得られる差分信号が、動き検出、スミア検出、及び色ノイズ低減となる出力信号を遅延させたものに加えられる差分信号の共有を制御する係数ｋのそこからの決定に利用される。

本発明による方法は、時間再帰的色信号ノイズ低減に適するものであり、出力色信号を遅延させたものが入力色信号から減じられ、可変共有係数により乗算される前記減算による差分信号が異なるノイズ低減度を達成するため前記出力色信号に加算される、時間再帰的色信号ノイズ低減方法であって、
−前記差分信号から、動き表示値及びスミア効果の存在を示す値を計算するステップと、
−前記動き表示値及び前記スミア効果の存在を示す値を利用して、前記可変共有係数を計算するステップと、
−ノイズ低減された前記出力色信号を生成するため、前記係数に乗算された前記差分信号と前記出力色信号の実質的にフレーム遅延されたものとを合成するステップとからなることを特徴とする。

本発明による装置は、出力色信号を遅延させたものが入力色信号から減じられ、可変共有係数により乗算される前記減算による差分信号が異なるノイズ低減度を達成するため前記出力色信号に加算される、時間再帰的色信号ノイズ低減装置であって、
−前記差分信号から、動き表示値及びスミア効果の存在を示す値を計算する手段と、
−前記動き表示値及び前記スミア効果の存在を示す値を利用して、前記可変共有係数を計算する手段と、
−ノイズ低減された前記出力色信号を生成するため、前記係数に乗算された前記差分信号と前記出力色信号の実質的にフレーム遅延されたものとを合成する手段とからなることを特徴とする。

本発明のさらなる好適な実施例は従属項により開示される。

本発明による特徴は、再帰のため強力なフィードバック係数を維持しながら、効果的にスミアによる影響を低減することができる。さらに、残差カラーの低減を可能にする。

本発明の実施例が、添付された図面を参照することにより開示される。

図１において、入力色信号ＵＶ_ｉｎが減算器Ｓに与えられる。それの出力信号Ｄは、乗算器Ｍにおいて０と１（または他の任意の定数、すなわち、最大値）の間の値を有する係数「ｋ」と乗算される。乗算器Ｍの出力信号は、加算器Ａ２の第１入力に与えられる。加算器Ａ２の出力信号は、（ノイズ低減された）出力色信号ＵＶ_ｏｕｔを表す。出力色信号ＵＶ_ｏｕｔは、フレーム遅延ＦＤを通過し、加算器Ａ２の第２入力と共に減算器Ｓの減算入力に供給される。この減算器Ｓの出力信号から、上記係数「ｋ」がノイズ低減制御段階ＮＲＣにおいて計算される。

ｋ＝１の場合、ノイズ低減効果がスイッチＯＦＦされる（ＮＲＯ）。ｋ＜１の場合、ノイズ低減が有効とされる（ＮＲＥ）。ｋ＝０の場合、静止あるいはフリーズされた色信号ＵＶ_ｏｕｔが出力される（ＳＴＰ）。

原則として、本発明は、第１オーダ時間再帰的フィルタを利用する。ノイズフィルタは、以前のフレームへのアクセスを行うためのフレーム遅延、及び入力信号と遅延信号を合成する加算器を有する。係数「ｋ」はミキサを制御し、ノイズフィルタリングの強度の大小を導く。動き適応制御ブロックＮＲＣは、時間再帰的ノイズフィルタにより生成される時間アーチファクトを除去するため、画像の特定領域における動きの場合、適宜係数ｋを増加させる。

原則として、本発明は、ノイズ低減に対する以下の計算、すなわち、
ＵＶ_{ｏｕｔ（ｎ）}＝ｋ＊ＵＶ_{ｉｎ（ｎ）}＋（１−ｋ）＊ＵＶ_{ｏｕｔ（ｎ−１）} （ただし、ｎは現在フレームのフレーム番号）
を計算する。

入力色信号ＵＶ_ｉｎ内では、信号Ｕ_ｉｎとＶ_ｉｎが多重化されている。従って、この処理は二重の色画素周波数上で実行される。同様のことが、出力信号ＵＶ_ｏｕｔに対しても成り立つ。

図２において、入力色信号ＵＶ_ｉｎ（８ビット、例えば符号なし）が減算器Ｓに与えられる。減算器Ｓの出力信号Ｄはライン遅延ＬＤ１と４画素遅延４ＰＤ（「画素遅延（ｐｉｘｅｌ ｄｅｌａｙ）」は、１Ｕ画素と１Ｖ画素の遅延を意味する）だけ遅延され、乗算器Ｍにおいて図１と同様に０と１の間の値を有する係数「ｋ」だけ乗算される。乗算器Ｍの出力信号は、加算器Ａ２の第１入力に与えられる。加算器Ａ２の出力信号は、条件付加算器ＣＡとシフト装置ＳＨ２を通過し、その後、（ノイズ低減された）出力色信号ＵＶ_ｏｕｔ（８ビット、例えば符号なし）を表す。信号ＵＶ_ｏｕｔは、フレーム遅延ＦＤを通過し、これによりそれの遅延はライン遅延と４画素遅延だけ短縮され、減算器Ｓの減算入力と共に、ライン遅延ＬＤ、４画素遅延４ＰＤ及びシフト装置ＳＨ１を介して加算器Ａ２の第２入力に提供される。シフト装置ＳＨ１は６ビット左方向シフトを実行することができ、シフト装置ＳＨ２は６ビット右方向シフトを実行することができる。任意的な条件付加算器ＣＡは、例えば、ＣＡへの入力信号が「８１９２」より小さい振幅値を有し、ＣＡが信号ＲＮＤ＿ＥＮによりイネーブルとされる場合、「６３」を加えることにより丸め処理を実行する。

さらに、ライン遅延ＬＤ１の出力信号は第２ライン遅延ＬＤ２により遅延される。減算器Ｓ、第１ライン遅延ＬＤ１及び第２ライン遅延ＬＤ２の出力信号は、動きフィルタスミア検出段階ＭＦＳＤＥＴの各入力Ｌ０、Ｌ１及びＬ２に提供される。

動きフィルタスミア検出段階は、スミア検出信号ＳＤと動き検出信号ＭＯＴを出力する。信号ＳＤは、選択装置ＳＥＬにおいてカラーノイズ低減モード信号ＣＮＲ＿ＭＯＤと合成され、以下の表に従ってスイッチＳＷに対してスイッチ制御信号を出力する。

ここで、出力が「０」である場合、予備的な係数ｋを与える参照テーブルＬＵＴの出力信号（例えば、６ビット入力６ビット出力）は加算器Ａ１の第１入力にスイッチされ、出力が「１」である場合、リミッタＬＩＭの出力信号は加算器Ａ１の第１入力にスイッチされ、出力が「２」である場合、例えば「６３」のような所定の値が加算器Ａ１の第１入力にスイッチされる。

動き検出信号ＭＯＴが、参照テーブルＬＵＴの入力に、そして任意的に第３シフト装置（例えば、１ビット左方向へのシフト）を介しリミッタＬＩＭの入力に与えられる。

加算器Ａ１では、「１」がスイッチ装置ＳＷの出力信号に加えられる。加算器Ａ１の出力信号は、上記値「ｋ」を表す。

図３において、動きフィルタスミア検出段階ＭＦＳＤＥＴがより詳細に示される。ＭＦＳＤＥＴの主要な機能が以下で説明される。
・動き表示信号に対するＮ＊Ｍフィルタ
各ケースにおいて、ラインにおける、例えば、（減算器Ｓにより与えられる）それぞれ３（またはＮ）だけ後続するＵ及びＶの色画素絶対フレーム差分値の中間値を計算し、例えば、３（またはＭ）だけ垂直方向に隣接する色画素値、すなわち、所与のフィールドにおける２つの垂直方向に隣接する色画素と隣接フィールドの中間色画素のＮ個の中間的な和を加算することにより、動き表示値を取得する。以降において、この和は、例えば、４倍に右方向にシフトされ、Ｎ＊Ｍサイズの２次元ローパスフィルタの出力を表す。

この処理順序は、まず垂直方向に画素値を加算し、その後当該結果を水平方向に加算することにより行うことも可能である。

このようなフィルタリングは、ノイズ及び動き情報の分離を容易にする。しかしながら、このローパスフィルタの副次的効果として、動き信号の効果的傾斜は、フィルタステップ応答特性により実際劣化される。この動き信号の復元のため、フィルタ遅延は、入力信号Ｌ０、Ｌ１及びＬ２に関して、すなわち、もとの入力映像信号に関して、実際の動き情報信号を先行あるいは遅延させることにより補償することができる。動き情報出力値は、それがＮ＊Ｍフィルタに入力する前と少なくとも同等の動きアーチファクトの回避に対する効果を有する。従って、動き信号は傾斜方向に依存して先行あるいは遅延される。傾斜方向は、動き信号の１階微分である。

図３において、動きフィルタスミア検出段階における入力信号Ｌ０、Ｌ１及びＬ２のそれぞれが、４画素遅延系列を通過し、閾値検出器ＤＥＴに送られる。各ケースにおいて、ＤＥＴは、それぞれ入力信号Ｌ０、Ｌ１またはＬ２と、入力Ｉ１〜Ｉ５において当該入力信号の対応する１〜４倍遅延されたものを受け取る。

第２画素遅延のＬ０、Ｌ１及びＬ２出力信号から、絶対値ＡＢＳが各ケースにおいて生成される。各ケースにおいて、この絶対値は、当該絶対値を１画素遅延させたものと２画素遅延させたものに加えられる。結果として得られる和は加算され、シフト装置ＳＨ４において右方向に４倍にシフトされる。
・最大Ｎ＊Ｍフィルタ出力の検索
フィルタ傾斜に依存する補償方向の利用が可能である。そのような目的に対して、フィルタ長の範囲内（の前後）における、例えば、３つの動き表示信号値の現在の最大値が、最大値演算器ＭＡＸにおいて決定される。これにより、動き傾斜は、可能な限り迅速に、かつ必要な限り遅れて常に検出される、従って、動き検出器の出力信号は、動き検出器の入力信号と同様の効果を有する。動き最大イネーブルフラグＭＯＴ＿ＭＡＸ＿ＥＮに応じて、この構成はスイッチ装置ＳＷ２においてスイッチオンまたはオフすることができる。最終的に、動き表示信号ＭＯＴは、例えば、０から６３までの範囲に限定することができる。
・アーチファクト低減のための係数ｋのスミア関連適応
３Ｄ（すなわち、時間的処理を含む）ノイズ低減アルゴリズムにおいて発生しうるアーチファクトはスミアである。これは、十分な明るさを有するか、あるいはカラーのオブジェクトが異なる明るさあるいはカラーを有する背景の画像コンテンツ上を移動する場合に発生する。特に、当該領域の明るさあるいはカラーがフラットあるいは等しい振幅画素値から構成される場合、オブジェクトの境界にスミアが現れる。しかしながら、このタイプの画素コンテンツは、上述の動き検出によっては十分信頼された方法により検出することはできない。従って、この状況において係数ｋを補正するのに利用可能な追加的信号を決定すべきである。

上記フレーム差分信号を利用し、また画素遅延の一部を利用することにより、係数ｋの補正を計算することができる。スミア効果が検出されると、「ｋ」を「１」または「ｋ＊２」に設定することにより係数ｋを修正することができる。増加された係数ｋの適用のため、スミアを抑制することによる効果は、当該領域に対する減少されたノイズ低減効果の不利益より重要である。

検出器ＤＥＴ内では、各ケースにおいて、５つの入力信号が閾値ＳＨと比較される。各検出器は、Ｃ＋＋プログミング言語形式で記述された以下の信号Ｏ１とＯ２を出力する。

これら３つの出力信号Ｏ１は、論理ＡＮＤにより合成され、３つのＯ２出力信号は論理ＡＮＤにより合成される。この結果として得られる２つの信号が論理ＯＲにより合成され、これにより、原則的にスミア検出信号ＳＤが提供される。しかしながら、ＳＤの必要な時間的位置に一致させるため、信号ＳＤはさらに、２つの画素遅延を通過させられる。

動き最大イネーブルフラグＭＯＴ＿ＭＡＸ＿ＥＮと同様に、スミア検索領域は、スミア最大イネーブルフラグＳＤ＿ＭＡＸ＿ＥＮのスイッチＳＷ３への適用に応じて、±２画素だけ水平方向に拡張することができる。この結果、ＯＲ結果とそれの１〜４倍遅延したものがおＲ合成され、信号ＳＤが生成される。

（例えば、ライン３、５及び７などのフィールドの３つの連続する色ラインの５つの連続する画素）関係する５＊３色画素のすべての値が正の閾値「ＴＨ」以上であるか、あるいは負の閾値「ＴＨ」未満である場合、スミアが検出される。この処理順序はまた、まず垂直方向における画素値を比較し、その後これらの結果を水平方向にＡＮＤ合成することにより行うこともできる。

ミキサＭに対して図２に従い利用される有効な、または最終的な係数ｋはまた、スミア検出値ＳＤとＣＮＲ＿ＭＯＤフラグ（ＣＮＲは、カラーノイズ減少を示す）に依存している。

・色画素値に対する特殊な丸め処理
ｋ＜＜１（強力なノイズ低減）の場合、以前の計算における丸め誤差により、もとの入力信号が白黒画像であっても、依然として表示上には目に見える残差カラーが存在するかもしれない。条件付加算器ＣＡにおける特殊丸め処理により、フラグＲＮＤ＿ＥＮがイネーブルである場合、この問題は解決される。

丸め処理前の色信号を「ｘ」（典型的には、有効範囲は−１２７．９９≦ｘ≦＋１２７．９９）として、丸め処理後の色信号を「ｙ」（典型的には、有効範囲は−１２７≦ｙ≦＋１２７）と仮定する。適用される丸め処理は、

である。

図１は、本発明による色ノイズ低減のための簡単化された機能ブロック図である。 図２は、本発明による色ノイズ低減のためのより詳細なブロック図である。 図３は、動き及びスミア検出ためのより詳細な回路図である。

符号の説明

Ａ 加算器
ＣＡ 条件付加算器
ＤＥＴ 閾値検出器
ＦＤ フレーム遅延
ＬＩＭ リミッタ
ＬＤ ライン遅延
ＬＵＴ 参照テーブル
Ｍ 乗算器
ＮＲＣ ノイズ低減制御段階
Ｓ 減算器
ＳＨ シフト装置
４ＰＤ ４画素遅延

Claims (8)

1. 出力色信号を遅延させたものが入力色信号から減じられ、可変共有係数により乗算される前記減算による差分信号が異なるノイズ低減度を達成するため前記出力色信号に加算される、時間再帰的色信号ノイズ低減方法であって、
   前記差分信号から、動き表示値及びスミア効果の存在を示す値を計算するステップと、
   前記動き表示値及び前記スミア効果の存在を示す値を利用して、前記可変共有係数を計算するステップと、
   ノイズ低減された前記出力色信号を生成するため、前記係数に乗算された前記差分信号と前記出力色信号の実質的にフレーム遅延されたものとを合成するステップとからなり、
   前記動き表示値は、現在の色画素と該現在の色画素の水平方向と垂直方向とに隣接する色画素との絶対フレーム差分値に対して、２次元ローパスフィルタを用いて計算され、
   前記スミア効果の存在は、フィールドの３つの連続する色ラインの５つの連続する色画素のすべての値が正の閾値以上であるか、又は負の閾値より小さい場合に検出され、
   前記スミア効果の存在を示す値がゼロである場合、前記可変共有係数が前記２次元ローパスフィルタの出力値から導出され、前記スミア効果の存在が検出された場合、前記可変共有係数は２倍されることを特徴とする方法。
2. 請求項１記載の時間再帰的色信号ノイズ低減方法であって、前記動き表示値及び前記スミア効果の存在を示す値は、現在画素位置に対して、該現在画素位置を包囲及び含む二次元画素配列の値を利用することにより計算され、現在の動き表示値に対して関連する二次元画素配列の色値を合成するとき、前記色値の絶対値が合成され、現在のスメア効果の存在を示す値に対して関連する二次元画素配列の色値を合成するとき、閾値を満たした色値のみが合成されることを特徴とする方法。
3. 請求項１または２記載の時間再帰的色信号ノイズ低減方法であって、進行中の動き表示値の幅は、現在の動き表示値、先行及び後続する動き表示値のそれぞれを導出し、前記現在の動き表示値、前記先行及び後続する動き表示値の最大値を生成することにより拡張されることを特徴とする方法。
4. 請求項１乃至３何れか一項記載の時間再帰的色信号ノイズ低減方法であって、出力前に、前記ノイズ低減された出力色信号の色画素値ｘは、ｘ＜０である場合、ｘ＝ｉｎｔｅｇｅｒ（ｘ）＋１、ｘ≧０である場合、ｙ＝ｉｎｔｅｇｅｒ（ｘ）となるよう丸められることを特徴とする方法。
5. 時間再帰的色信号ノイズ低減装置であって、
   出力色信号を遅延させたものを入力色信号から減じ、可変共有係数により乗算される前記減算による差分信号を異なるノイズ低減度を達成するため前記出力色信号に加算する手段と、
   前記差分信号から、動き表示値及びスミア効果の存在を示す値を計算する手段と、
   前記動き表示値及び前記スミア効果の存在を示す値を利用して、前記可変共有係数を計算する手段と、
   ノイズ低減された前記出力色信号を生成するため、前記係数に乗算された前記差分信号と前記出力色信号の実質的にフレーム遅延されたものとを合成する手段とからなり、
   前記動き表示値は、現在の色画素と該現在の色画素の水平方向と垂直方向とに隣接する色画素との絶対フレーム差分値に対して、２次元ローパスフィルタを用いて計算され、
   前記スミア効果の存在は、フィールドの３つの連続する色ラインの５つの連続する色画素のすべての値が正の閾値以上であるか、又は負の閾値より小さい場合に検出され、
   前記スミア効果の存在を示す値がゼロである場合、前記可変共有係数が前記２次元ローパスフィルタの出力値から導出され、前記スミア効果の存在が検出された場合、前記可変共有係数は２倍されることを特徴とする装置。
6. 請求項５記載の時間再帰的色信号ノイズ低減装置であって、前記動き表示値及び前記スミア効果の存在を示す値は、現在画素位置に対して、該現在画素位置を包囲及び含む二次元画素配列の値を利用することにより計算され、現在の動き表示値に対して関連する二次元画素配列の色値を合成するとき、前記色値の絶対値が合成され、現在のスメア効果の存在を示す値に対して関連する二次元画素配列の色値を合成するとき、閾値を満たした色値のみが合成されることを特徴とする装置。
7. 請求項５または６記載の時間再帰的色信号ノイズ低減装置であって、進行中の動き表示値の幅は、現在の動き表示値、先行及び後続する動き表示値のそれぞれを導出し、前記現在の動き表示値、前記先行及び後続する動き表示値の最大値を生成することにより拡張されることを特徴とする装置。
8. 請求項５乃至７何れか一項記載の時間再帰的色信号ノイズ低減装置であって、出力前に、前記ノイズ低減された出力色信号の色画素値ｘは、ｘ＜０である場合、ｘ＝ｉｎｔｅｇｅｒ（ｘ）＋１、ｘ≧０である場合、ｙ＝ｉｎｔｅｇｅｒ（ｘ）となるよう丸められることを特徴とする装置。
   
   

Images