JP3899129B2 - ビデオノイズ低減方法 - Google Patents

Description

本発明は、ビデオノイズ低減方法に関する。
ビデオ信号における公知のノイズ低減方法は、再帰形フィルタを使用する。この方法は、連続した画像の同様の領域を平均化することによって機能し、ビデオ信号内の本質的な画像情報は高度に相関しているという事実に基づいている。しかしながら、ノイズは一般的にランダムなものであり、平均過程において減少するものである。再帰定数ｋは平均過程における現在およびその前のフレームの相対重みを決定し、これにより効果的な平均化が生じるフレームの数が決定される。平均することによって、比較的少いフレームでかなりのノイズが低減される。
再帰形ノイズ低減の基となっている画像の相関関係が、入力画像に動きがある場合に崩れることは周知のことである。動きが検出された時に再帰的でなくなることが重要であり、もしそうでなければ、画像が不鮮明になってしまう。移動物体の縁部にある画像領域は実質的に周辺の画像よりノイズが多いため、動適応ノイズを低減してしまうことはなるべく避けたい。移動物体の縁部は再帰形ノイズ低減を無効にすることと関係するため、移動物体の各縁部はそれぞれノイズが低減されない信号の領域を伴うことになる。空間的に濾波されなければならない動き検出信号が通常必要となるため、この問題は深刻化する。この結果、より大きな領域においてノイズ低減がなされなくなる。また、全体的に映像上のノイズ低減過程がより効果的になるほど、移動物体周辺のノイズ領域が目立ってしまう。
映像が不鮮明にならないようにする必要性を移動物体の検出に関して述べてきたが、再帰を無効にすることはまた、パンニングのような広域移動、及びショットチェンジ及び他の編集にも適用される。
本発明の目的は、上記問題点を除去あるいは減少するノイズ低減方法を提供することである。
従って、本発明はビデオ信号におけるノイズ低減方法からなり、ピクセル情報は、再帰が分離点（ｄｉｓｊｕｎｃｔｕｒｅ）で無効とされる状態で再帰的に濾波され、再帰的に濾波されたピクセル情報は、分離点に先行して、分離点に続くピクセル情報が適度にノイズが低減されるべく再帰的に濾波されるまで出力され続ける。
再帰形フィルタの出力は、画像間隔遅延チェーン、それに続く分離点の検出、及び再帰の無効のために存在し、画像間隔遅延フィルタ出力間で選択がなされる。
本発明は、ショットチェンジの例を挙げて言えば、単調な、大きくノイズを低減したショットを新しいショットの第１のノイズフィールドで置き換えることによって、視覚的に乱れる影響は、十分な領域が、現在のショットのレベルに達するか、あるいは等しくなっている新しいショットのノイズレベルに再帰的に濾波されるまで、新しいショットを示すのを遅らせることによって回避できる。同様の手段が、動きにかかわらずに、ピクセルごとに適用される。
この形態において、本発明は、一時的再帰形フィルタと、動きを検出する際にフィルタ内の再帰を無効にするための手段と、画像間隔によって相互に遅延させられた多重フィルタ出力を供給する遅延パスと、最小のノイズを持つ出力を提供するために動きの検出時にフィルタ出力間で選択を行うための手段とを有するビデオノイズ低減フィルタからなる。
本発明の目的は、改良されたビデオノイズ低減フィルタと、一時的再帰形フィルタを使用するノイズ低減方法を提供することであり、再帰を無効にするような、例えば動きのような分離点の後、ノイズレベルはさらに急速に低減される。
従って、再帰は、利用可能なピクセルがフィルタ出力と等しく寄与するように分離点の後に制御される。
例えば、ピクセルａ及びｂが利用可能である場合、ノイズは、出力（ａ＋ｂ）／２を引くことによって最小化する。同様に、もし、ピクセルａ、ｂ、及びｃが利用可能である場合に、好ましい出力は、（ａ＋ｂ＋ｃ）／３となる。
好ましくは、再帰定数は、再帰を無効にする分離点以後は、画像間隔の数に基づいて変化する。
第１図は、公知の一時的再帰形ノイズ低減フィルタのブロック図である。
第２図は、本発明によって扱われる問題を説明するための図である。
第３図は、本発明の一実施例のブロック図である。
第４図は、本発明の実施例を示した、更に詳しい図である。
第５図は、本発明の一実施例における空間ノイズ低減フィルタの要求される応答を示したグラフである。
第６図は、第４図の配置において使用される参照用テーブルの内容を示したグラフである。
第７図は、相補的参照用テーブルの内容を示したグラフである。
第８図は、本発明の実施例によるノイズ低減器の図である。
本発明を、付随する図面を参照して例を挙げて説明する。
まず初めに、従来の一時的ノイズ低減フィルタについて説明する。第１図を参照して、減算器１０は、端子１２における入力ビデオ信号と、フレーム遅延器１６において１フレーム遅延されたフィルタの端子１４の信号との差分を生じさせるように機能する。減算器１０から出力されたフレーム差分信号は掛け算器１８を通り、掛け算器１８には、フレーム差分信号を入力信号として受信する制御ブロック２０とノイズ測定システムにおいて発生される係数ｋが与えられる。この構成において、入力信号とフィルタのフレーム遅延出力との間の整流かつ濾波された差分は動き分として得られる。掛け算器１８を通過した信号は、端子１４でフィルタ出力を発生させるために、加算器２２内でフレーム遅延器１６の出力に加算される。
第１図の回路は、それぞれのピクセルに対して、現在のピクセルと前のフレームのフィルタ出力との差分をｋ回、前のフレームのフィルタ出力に加算するように機能する。動きが無い場合、すなわち減算器１０からのフレーム差分信号がわずかに出力された場合、ｋの値は恐らく０．５となる。その場合のフィルタ出力は現在のフレームが５０％、前のフレームが２５％、前のフレームの更に前のフレーム等が１２．５％となっている。もし動きが検出された場合、すなわち、減算器１０からのフレーム差分信号出力が所定の閾値を超過した場合、ｋの値は１となる。減算器１０と加算器２２を組み合わせると、まず現在のフレームからの情報のみを残した前のフレームからのフィルタ出力を引き算して、それから加算することができるという効果がある。従って、ｋの値を１にすることによって、再帰を無効にする。
第２図を参照して、物体５０はフレームｉ及びフレームｉ＋１の間を移動するように示されている。動き信号ｋが示されており、これは、フレームｉ及びフレームｉ＋１の間の整流された差分である。ｋの値はフレームｉの物体の立上がり縁で大きくなり、フレームｉ＋１の物体の立上がり縁で小さくなる。同様に、ｋの値はフレームｉの物体の立ち下がり縁で大きくなり、フレームｉ＋１の物体の立ち下がり縁で小さくなっている。ｋの値が大きい間は再帰形ノイズ低減が無効となることがわかる。このようにして、ノイズ低減が無い移動物体の縁にある画像の部分がつくられる。これらの部分は、Ａ及びＢのフレームｉ＋１に示されている。
動き信号ｋは単に整流されたフレーム差分として示されているが、通常は空間的に広がって動き信号を濾波する。
従来のフィルタのノイズ低減出力の比較的ノイズを多く含んでいる領域Ａ及びＢはア−ティファクトを示しており、その視覚的効果は、ノイズ低減及び出力画像改善の他の品質には、より妨げになる。
本発明は、第３図に概略的に示されている構成を用いてこの問題を解決する。端子７０におけるビデオ信号入力は、動適応一時的ノイズ低減フィルタ７２を通り、このフィルタは第１図に示されている形式で良いが、さまざまな他の形式をとることも可能である。他の形式の再帰形フィルタは、ＦＩＲのような異なった、一時的ノイズ低減フィルタ同様に使用することができる。フィルタ７２の出力は空間ノイズ低減フィルタ７４に至る。このフィルタ７４は、制御入力として、フィルタ７２内部で生じ、７６で反転される動き信号を受信する。空間ノイズ低減フィルタ７４の出力は出力端子７８に至る。
フィルタ７２が、動きを検出するとすぐに再帰を無効にする値に切り替わるという、通常決められている再帰係数ｋを有する再帰形フィルタである場合、通常ローの動き信号は、反転した後、無効になった空間ノイズ低減フィルタ７４を保持する。従って、出力端子７８の信号は、一時的にフィルタ７２のノイズ低減出力となる。動き信号が高くなり、一時的ノイズ低減フィルタ７２が無効となるので、反転した動き信号を相補的な方法で低くすることによって、空間ノイズ低減フィルタ７４が有効となる。そして、本質的に一時的ノイズ低減フィルタ７２を通過する入力信号は、フィルタ７４の空間ノイズ低減を被る。
さらに典型的な状況では、動き信号は矩形波ではなく、一時的及び空間的フィルタは相補的方法においてフェードイン及びフェードアウトする。
空間ノイズ低減フィルタは、様々な形式をとり、水平及び垂直方向に機能する低域通過フィルタを有することができる。縁部が緩やかになってしまうことを避けるために、空間フィルタは、規定の高さを越える縁部が濾波されずに通過することを許容するように適応的であることが好ましい。都合の良いことに、濾波されないまま通過する縁部を越えるレベルが、ノイズの幅広い測定によって設定される。このように、低ノイズレベルにおいて、比較的低い高さの縁部でさえ、障害無く通過することができる。また都合の良いことに、一時的ノイズ低減フィルタ７２からの制御出力は、空間ノイズ低減フィルタ７４における適応性のために適切な広いノイズ測定として使用され得る。
第４図を参照して、本発明による特定の実施例について説明する。
この構成は、第１図に示されている一時的再帰形ノイズ低減フィルタを組み込んだものである。従って、減算器１１０、フレーム遅延器１１６、掛け算器１１８、ノイズ測定システム、及び制御ブロック１２０及び加算器１２２の構成及び機能についてはこれ以上説明の必要はないが、ブロック１２０が好ましくはノイズの広域測定を実行し、大体、ノイズではなく動きに関するパラメ−タｋを作るために非線形処理でこの測定を使用することを述べておく。この構成からの出力信号は低域通過フィルタ１５０に入る。フィルタ１５０の出力は減算器１５２の反転入力と加算器１５４の両方に入る。それとは別に、低域通過フィルタ１５０の中央タップは、減算器１５２の非反転入力に入る。この減算器１５２からの出力は、参照用テーブル１５６による非線形処理の後に加算器１５４に入る。参照用テ−ブルのための二次アドレス部分は、ブロック１２０からの動き信号出力をインバータ１５８、スケーリング及び整形ブロック１６０を通過させることにより与えれる。ブロック１６０の機能は、空間フィルタにおける制御パラメ−タｎの視覚的効果が一時的フィルタにおけるパラメ−タｋの効果に対して相補的であることを確保することにある。
回路素子１５０〜１５６によって形成される空間ノイズ低減フィルタに要求される特性が、第５図にグラフで示されている。
パラメ−タｎは、スケーリングされ整形されているものの、一般的に言えば、動きにかかわらず一時的ノイズ低減フィルタを無効にする信号の逆数である。従って、ｋ＝１の時、ｎ＝０となる。動きが無い場合、一時的ノイズ低減フィルタにおいて再帰がフルの状態では、ｎ＝１となる。第５図を参照して、ｎ＝１の時、空間ノイズ低減フィルタのフィルタ応答は平らになる。ｎ＝０の時、一時再帰が無効となるのに対応して、空間フィルタ応答は低域通過フィルタの応答と同じになる。ｎ＝０．５の時、フィルタ応答はｎ＝０とｎ＝１の場合の中間になる。実際、ｎはブロック１６０で形成される。
この場合、第６図に示されている特性を有する参照用テーブルによって、要求された特性が達成される。ｎ＝１の時、参照用テーブル１５６による出力の値は、減算器１５２の出力に対応する。従って、フィルタ１５０の中央タップは出力端子１６２まで直接通過し、フィルタ１５０の出力は減算器１５２及び加算器１５４で相殺される。ｎ＝０といったような、その他の極端な場合において、参照用テーブルの出力は全ての減算器の出力に対してゼロとなる。そして加算器１５４は、低域通過フィルタ１５０の出力のみを出力１６２に出力する。
もし、空間ノイズ低減フィルタがＦＩＲ以外の形をとるならば、中央タップは利用不可能となり、補正遅延を伴って、フィルタへの入力が中央タップと同じ機能を果たす。
好ましい構成においては、参照用テーブルは、ノイズの広域測定であるブロック１２０から更なるアドレス部分を受信する。このノイズレベル制御入力に基づいて、参照用テーブルは第７図に示されている機能を実行する。可変ノイズフロア以上の入力の値に対し、参照用テーブルの出力は入力と同じとなり、動きとは無関係に空間的濾波は無効となる。
この方法において、動きが無い場合に空間ノイズ低減を伴わない一時再帰形フィルタ信号となる出力が与えられる。動きにかかわらず、再帰的濾波はなく、もし空間差分（フィルタ１５０の出力タップと中央タップ間の差分）が閾値以下である場合に空間的濾波が導入される。この閾値はこのような低ノイズ状態において変化し、大きさは小さいが、周囲のノイズよりも大きい縁は支障無く通過することができる。
上記の構成は、結果的に一時ノイズ低減を無効にすることになる動きを検出すると機能する空間的低減を提供する例である。当業者には、これ以外の様々な例が自明である。
再帰形ノイズ低減フィルタにおけるノイズレベルを考慮し、これが、最適なｋの値を選択する際にどれくらい影響するかを考慮することは、有益なことである。動きが検出されると、ｋは再帰がなくても動きを通せるように１になることは説明してきた。静止している領域において、ｋは記憶されている信号への入力信号の割合を制御する。最適な値は、記憶されている信号上に現在あるノイズのレベルに基づく。これは、動きが最後に検出されるので、時間の長さと、再帰がノイズを低減する程度に基づく。
入力のノイズ電力がσ_i ²で、記憶されている信号のノイズ電力がσ_s ²である場合、出力のノイズは以下の式（１）のようになる。

この値は、もし、式（３）が与えられた場合に、式（２）が成り立つのであれば、最小値となる。

現在の地点σ_s ²＝σ_i ²で動きが止まった直後、ｋ_opt＝１／２であるとき、σ_s ²＝σ_i ²／２となる。これは新しい記憶信号となる。従って、次のフレームでは、σ_s ²＝σ_i ²／２となり、ｋ_opt＝１／３では、σ_o ²＝σ_i ²／３となる。継続したフレームにおいては、ノイズ電力は１／２、１／３、１／４、１／５のように減少し、ｋの値も、１／２、１／３、１／４、１／５となっていく。
本発明の好ましい形式においては、ｋの導出がこの手法を具体化する。もちろん、本発明は、分離測定が再帰を無効にする可視性を低減するために採用されるかどうかに関係なく、分離点の後に、ノイズ低減フィルタがより素早くノイズレベルを減らすことが可能であるこの手法をより一般的に使用することを意図している。
もし、分離点の後に、連続画像における特定のピクセルの値が、ａ：ｂ：ｃ：ｄ：ｅ：…で示される場合、再帰形フィルタの連続出力は、以下の式（４）となる。

もし、ピクセル値ｄ及びｅの間で、例えば、動きあるいはショットチェンジによって分離が起こった場合、再帰は無効となり、フィルタ出力は以下の式（５）のようになる。

両方の場合において、ノイズレベルがａ及びｂの比較的高いレベルから低減される場合は、分離点以降ｋの値がフレームの数に基づくため、非常に早くなる。分離点に続く期間においては、利用可能なピクセルはフィルタ出力に等しく寄与する。
にもかかわらず、ノイズレベルは、以下の式（６）の後、かなり増加する。

本発明の前に述べた実施例において、ｅにおいて一時ノイズ低減が無い時は空間ノイズ低減によって補正される。本発明のもう一つの実施例においては、ｅにおける増加したノイズの視覚的効果は画像間隔遅延を導入し、再帰形フィルタが分離点に続く出力を生成するまで式（７）のように出力し続けることによって回避できる。この出力は、適当にノイズが低減されており、例えば、式（８）で表される。

本発明によるノイズ低減の例を第８図を参照して説明する。”再帰セクション”と記されている回路の左側部分は、概してこれまで説明してきた一時ノイズ低減フィルタに対応している。従って、減算器２１０、掛け算器２１８、加算器２２２及びフレーム遅延器２１６の機能についてもう一度説明する必要はないと思われる。この実施例において、信号ｋは２段階で達成される。動き検出器ブロック２５０は減算器２１０からの出力を受信し、適切な濾波を実行する。動き検出信号はそれから動き制御ブロック２５２の一つの入力に移るが、このブロックの機能は上述の特性を有する信号ｋを提供することであり、これによって正しい特性が、ノイズ低減を最適化するために再帰内で維持される。この最適なシーケンスにｋが伴うことを確実にするため、式（９）で表される現在の値、

が、フレーム遅延器２５４を含むループを使用することによって、フレーム内の各ピクセルに記憶される。動き制御ブロック２５２は付加的に信号ｍを得る。この機能は後述する。
第８図の回路は、右手側の端の方に、３つのフレーム遅延器を含むトランスバーサルフィルタを有する。再帰セクションのフレーム遅延器２１６は、トランスバーサルセクションにおける第１のフレーム遅延器の２倍であり、付加的フレーム遅延器２５６及び２５８が存在する。スイッチ２６０、２６２、及び２６４が、フレーム遅延パスから適切な出力を選択するために設けられている。スイッチ２６０は、再帰形ノイズ低減フィルタの出力２１４とフレーム遅延器２１６からの出力のポイント２６６との間を切り替える。スイッチ２６２は、スイッチ２６０の出力とフレーム遅延器２５６と２５８の中間点２６８との間を切り替える。スイッチ２６４は、スイッチ２６２の出力とフレーム遅延器２５８の出力のポイント２７０との間を切り替える。
スイッチ２６０の制御入力は、動き制御ブロック２５２からの信号ｍである。この信号は、スイッチ２６２及び２６４にそれぞれ制御入力を与えるために、フレーム遅延器２７２及び２７４を通過する。
フレーム遅延器２１６、２５６、及び２５８は、スイッチ２６０、２６２及び２６４を介して再帰形フィルタからの画像遅延出力を与える画像間隔遅延パスとして見なされている。信号ｍを適切に制御することによって、各スイッチが２つの入力の安定な方を選択するようになっている。
スイッチ２６０は、再帰セクションの出力と記憶されている出力との間を切り替えるる。これまでの分析から、出力時のノイズ電力は、式（１０）であり、式（１１）が成り立てば、ｍは記憶されている出力を選択する。
この状態は式（１２）まで減少する。

実際、ｋの値（動きの分析によって生じる）は、ｋ_optと１との間を非常に迅速に通過する。従って、正確な閾値はさほど重要ではない。
次のスイッチは前の遅延出力と第１のスイッチとの間で選択可能である。もし、第１のスイッチが現在記憶されている出力を選択しているなら、第２のスイッチは第１のスイッチに与えられている信号の遅延したものが提供される。従って、同じ決定（ｍ）の遅延バージョンを使用することができる。一方、もし、第１のスイッチが現在、非遅延出力を選択しているならば（遅延出力よりも安定であるため）、第２のスイッチはより低い閾値を使用して、理想的には決定しなおすべきである。しかしながら、閾値はさほど重要ではないため、満足のいく結果は、両方の場合において、１つのフレームによって遅延している元の決定（ｍ）を単に使用することによって得られる。同様に、その後のスイッチもまた、遅延したｍによって制御され得る。この単純化によってもたらされたわずかなエラーは、ｍを生成するためにわずかに低い閾値を使用することによって、平均すると低減される。
動き制御ブロックは多くの方法で実行される。もっとも簡単な方法は、おそらく、入力の全ての組み合わせに対してあらかじめ計算された出力値を含むＰＲＯＭであろう。
回路の動作を明らかにするために、画像間隔によって分かれている連続ピクセル値ａ、ｂ、ｃ、ｄ・・・に関する、ｄ及びｅの間で生じるショットチェンジのような分離を伴ったこれまでの記載を使用することができる。重要な位置で現れる信号は、以下の表に示されている。

値ｅがフィルタの入力に現れると、以前にノイズ低減された式（１３）の値は、同じノイズ値を持つ以下の式（１４）の値をつくるために、分離点に続く再帰形ノイズ低減を可能にしている入力において３つの値ｆ、ｇ、ｈが受信されるまで、出力され続ける。

記載されている遅延器及びスイッチの配置は、最小のノイズを有する出力を選択するための再帰形フィルタの遅延出力間で選択がなされるかということの単なる一例にすぎない。もっと一般的に言えば、本発明はほんの一例によってのみ記載されており、さらに幅広い修正が本発明の範囲から逸脱することなく可能である。

Claims (7)

1. ピクセル情報が、再帰が分離点で無効となる状態で再帰的に濾波され、再帰的に濾波されたピクセル情報は、分離点に先行して、分離点に続くピクセル情報が適度にノイズが低減されるべく再帰的に濾波されるまで、出力され続けることを特徴とするビデオ信号におけるノイズ低減方法。
2. 再帰形フィルタの出力が、画像間隔遅延チェーン、それに続く分離点の検出及び再帰の無効のために存在し、画像間隔遅延フィルタ出力間で選択がなされることを特徴とする請求項１による方法。
3. 第１のショットから第２のショットまでのショットチェンジの形式で分離点を検出すると、２番目からのフィールドの出力は、第２のショットにおけるノイズレベルが第１のものとほぼ同じにまで低減されるべく十分なフィールドが再帰的に濾波されるまで遅延されることを特徴とする請求項１あるいは２による方法。
4. 動きの形式で分離点を検出すると、分離点の後に生じるピクセルの出力は、分離点の前のものとほぼ同じ程度まで低減される分離点の後のノイズレベルに対して十分なピクセルが再帰的に濾波されるまで、遅延されることを特徴とする請求項１あるいは２による方法。
5. 再帰は、利用可能なピクセルがフィルタ出力に等しく寄与するように分離点の後に制御されることを特徴とする請求項１から４のいずれか一つによる方法。
6. 再帰を無効にする分離点から、画像間隔の数に基づいて再帰定数が変えられることを特徴とする請求項５による方法。
7. 再帰定数は、出力ノイズレベルを最小にするために、分離点より画像間隔の数に基づいて分難点以後で変えられることを特徴とする請求項１から４のいずれかによる方法。

Images