JP4753522B2

JP4753522B2 - 符号化前にビデオ画像を動き補償再帰フィルタリングする装置、方法及びそれに対応する符号化システム

Info

Publication number: JP4753522B2
Application number: JP2001588253A
Authority: JP
Inventors: オリヴィエルムール; ジャン−イヴバボノー; ジュアンモロンタ; ドミニクトゥーシャイ
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2000-05-31
Filing date: 2001-05-16
Publication date: 2011-08-24
Anticipated expiration: 2021-05-16
Also published as: JP2003535521A; FR2809916B1; FR2809916A1

Description

【０００１】
【発明の属する技術分野】
本発明は、動き補償再帰フィルタリングをする装置及び方法と、それに対応する符号化システムとに関する。
【０００２】
【従来の技術】
デジタルビデオ信号に適用されるノイズ低減技術に関する。これら技術は、一般的に、サンプルの行列形式をとるデジタルビデオ画像に適用される。各サンプルは、輝度信号と、色信号に対するクロミナンス信号とから構成される。
【０００３】
ビデオ画像シーケンスの取得は、今日まではアナログ形式で一般的に実行されており、アナログ形式で一度取得され且つ送信及び記憶され得る画像は、これらコンテンツ内のノイズの明らかな割合を表すようになされている。一度デジタル化されると、これら画像はまた、記憶／編集操作を受け、逆に、デジタル特性のこのときにノイズを導入する。最後に、一般的な画像シーケンスは連続転送され、その結果、高いランダム特性の空間・時空間ノイズとなる。
【０００４】
高い効率の操作を得るために、再帰フィルタリングを呼び出すノイズ低減方法は、ビデオシーケンス画像の非常に強い時間相関を考慮する。従って、動き及び変位の概念は、ノイズ低減を効果的に達成するために重要である。
【０００５】
「変位」は、場面における対象物の位置の変化を意味するものとして理解される。「動き」は、ビデオシーケンスにおける対象物の全ての変位を意味すると理解される。
【０００６】
動きは、一般に、単なる画像対画像の差によって又は動き推定器を用いることによって検出される。第１の場合、異なる時点における画素対画素の画像差又はＦＤｓ（フレーム差）が用いられる。
【０００７】
（動き推定器を用いる）第２の場合、変位は、異なる時点における画像差を考慮する。これら変位は、画素（画素的動き推定）又はブロック（ブロック的動き推定）に適用される動きベクトルフィールドによって表される。従って、動き補償された画像差は、ＤＦＤｓ（変位フレーム差）と称され、画素的又はブロック的に得られる。第２の方法は、より大きい複雑さのコストについて、第１の場合よりも良い結果が得られる。
【０００８】
動き補償再帰フィルタリングによってノイズ低減の公知技術によれば、先行して動き補償され且つフィルタされた入力信号を用いることによって得られた、現画像信号ｕ及び予測信号ｖの重み付けが行われる。得られた重み付けられた信号は、フィルタされた信号として出力部から出力され、後の時点で記録される。現入力信号ｕの重み係数と、予測信号ｖの重み係数とは、再帰係数αの計算に基づく。高効率システムにおいて、この係数は、ノイズ推定及び現予測エラーに基づいて計算され、現信号ｕと予測信号ｖとの間の差に等しくなる。
【０００９】
通常、再帰係数αの決定は、ノイズレベル推定に基づき、動き推定器から出力されるＤＦＤｓに対する情報から得られる。特に、ＤＦＤｓは、ビデオシーケンスに含まれたノイズの量として公正に表されている。ＤＦＤｓは、動き補償が理想的になる場合（即ち、補償が完全であるならば動き及び変形の性質は何でもよい）における正確な式を与える。
【００１０】
これら技術は、有利な効果を提供する。ノイズの低減は、画像全体に渡って適用し、ノイズレベルの推定は画像全体に渡って行われ、ノイズと使用信号との間の混乱のリスクは最小にされる。しかしながら、動き推定器は理想的でないために、実際のノイズレベルの推定は偏ることになる。特に、推定器の精度は、一方で実装的な制約（動きベクトルの符号化精度、これらベクトルの最大偏位等）、他方で動き推定器に対する本質的な制約（例えば、確実に推定する回転動き、又は同質性(homothety)から発生するものとの違い）から生じる特定数の要因によって限定される。更に、画素ブロック（一般に「ブロック整合」と称される）の概念に基づく動き補償アルゴリズムの使用は、これら欠点のいくつかを強める。この精度の欠落はまた、実際のノイズレベルの（ＤＦＤｓにおける増加についての）過推定を引き起こす源及びその品質（ノイズ的その他）に依存する。この結果、フィルタリングは、ぼけ効果を生じ、かなり厳しい。最後に、ノイズの存在及び静的領域において、ノイズに対する動き推定器の感度は、これら領域のフィルタリングの現実の歪みを引き起こすベクトルフィールドの均一性(homogeneity)の欠落を生じるかもしれない。時間的なちらつき及び遊走(swarming)効果として明らかなこの劣化は、有害であって且つ決して許容できない。
【００１１】
【発明が解決しようとする課題】
本発明は、ブロック的な動き補償に基づいて動き補償再帰フィルタリングをする装置に関し、良い画像品質を得ることが可能となり、前述で明らかにされた不利益を削減することを考慮する。
【００１２】
本発明はまた、このような装置を含む符号化システムと、それに対応する動き補償再帰フィルタリングをする方法とに関する。
【００１３】
【課題を解決するための手段】
このために、本発明は、符号化前にビデオ画像を動き補償再帰フィルタリングする装置に関する。この装置は、
・少なくとも１つの入力画像を記憶する手段と、
・現入力画像と、記憶する手段に予め記憶された少なくとも１つの入力画像とに基づいて、ブロック的な動きベクトルと、動き補償された画像の変化を表す量とを出力するブロック的な動き補償モジュールと、
・少なくとも動き補償された画像の変化を表す量の関数として、再帰化ノイズレベルを決定する手段と、
・現入力画像と、フィルタリング及び動き補償によって予め予測された画像との間の予測エラーを計算するモジュールと、
・再帰化ノイズレベルと予測エラーとの関数として、再帰係数を計算するモジュールと、
・フィルタされた画像及び動きベクトルに基づいて、動き補償された画像を計算する手段と、
・再帰係数によって、現入力画像と、予め記憶されたフィルタされ且つ動き補償された画像との重みを出力するフィルタリング手段と、
・動き補償された画像を計算する手段から出力された、少なくとも１つのフィルタされ且つ動き補償された画像を記憶する手段と
を含む。
【００１４】
本発明によれば、フィルタリング装置は、
・少なくとも動き補償された画像の変化を表す量の関数として、固定化ノイズレベルを決定する手段と、
・動き補償に用いられるブロックの境界を構成する領域を処理する組立体とを含み、
組立体は、
・現入力画像と、入力画像を記憶する手段に予め記憶された少なくとも１つの入力画像とに基づいて、空間的に保存された画像の変化を表す量の、領域における計算手段と、
・空間的に保存された画像の変化を表す量が、固定化ノイズレベルに依存するスレッショルドよりも下になるとき、領域に係る動きベクトルを零にする手段とを含む。
【００１５】
文言「動き補償された画像の変化を表す量」とは、動き推定を考慮することによって画像シーケンス（好ましくはブロック的な）の定量的な時間的補償となる量を意味する。これら量はＤＦＤｓからなるのが効果的である。文言「空間的に保存された画像の変化を表す量」とは、一方で、動き補償なしに画像シーケンス（好ましくはブロック的な）の定量的な補正の量を意味する。それらがＦＤｓからなるのが効果的である。
【００１６】
それゆえ、本発明の装置は、ブロック的な動きフィルタリングと、これらブロックの境界を形成する領域に適用される静的フィルタリングとの間の結合に基づく。従って、静的フィルタリングは、直接的なブロック的処理よりも細粒度で実装される。この装置は、処理された各ブロックにおいて、静的領域及び動きの領域に区別することによって、ビデオ信号の品質を改善することができる。
【００１７】
従って、領域を処理する組立体は、動き推定に用いられるブロックのサブブロックからなる領域を用いる。
【００１８】
（ブロック整合型の）ブロック的な動き推定の使用は、高度に集積され且つ証明された解決法の効果を更に表す。例えば、ＭＰＥＧ２ビデオ圧縮規格について、動き推定は、ブロック１６×８ピクセルのサイズで動作する動き推定である。
【００１９】
動き補償された画像を計算する手段は、領域を処理する組立体によって後段の先行処理の後で、（出力画像である）フィルタされた画像と動きベクトルとを用いる。
【００２０】
本質的な本発明の装置で用いられた２つのノイズレベルは、以下の機能を有する。
・再帰化ノイズレベル（σ_rec）は、再帰フィルタの再帰係数の計算をしようとするものである。
・固定化ノイズレベル（σ_imm）は、静的フィルタリングの静的領域を検出しようとするものである。；この固定化ノイズレベルに依存するスレッショルドとして、異なる時点で（スレッショルド内の）空間的識別である画像領域を、検出することができる。
【００２１】
固定化ノイズレベルσ_immに依存するスレッショルドは、（最大を示すＭＡＸ）と等しくなるという効果を有する。
ＭＡＸ（ｋ×σ_imm；Ｓ０）
ｋは乗算器係数であり、Ｓ０はスレッショルドの下限値を表す。従って、このスレッショルドが小さすぎるものとなるとき、小さいノイズの存在でさえ固定領域を検出することができるために、スレッショルドレベルが下値に強制される。係数ｋは、１と２との間であることが好ましく、効果的な実施形態では１．５である。
【００２２】
スレッショルドの決定の他のモードにおいて、それは、固定化ノイズレベルσ_immの直線関数であり、特別な実施形態においてそれらと等しくなる。
【００２３】
ノイズレベルの決定に関する第１の実施形態において、再帰化ノイズレベルと固定化ノイズレベルとを決定する手段は、再帰化ノイズレベル及び固定化ノイズレベルの両方を構成するノイズレベルを発生する。従って、２つのノイズレベルは、再帰係数の計算と、静的フィルタリングとに対して同一となる。そのとき、この決定における空間的に保存された画像の変化を表す量を含むことを避けることが好ましい。特に、１つは、ノイズレベルの推定における静的領域の検出のフィードバックの予想に反する効果を避ける。
【００２４】
他の実施形態において、再帰化及び固定化ノイズレベルは異なる。この形式は、後者よりも大きいことが好ましい。
【００２５】
従って、第２の実施形態において、再帰化ノイズレベルを決定する手段は、動き補償された画像の変化を表す量の関数と、空間的に保存された画像の変化を表す量の関数との両方について、再帰化ノイズレベルを決定する。従って、ＤＦＤｓ及びＦＤｓの組み合わせによる再帰化ノイズレベルと、ＤＦＤｓにのみ依存することが好ましい固定化ノイズレベルとを決定する点で効果的である。再帰化ノイズレベルを決定するこのような技術は、例えば、特許ＥＰ９５７３６７に記載されている。このような組み合わせの他の効果的な実装は、フィールドの全てのブロックに対する平均を考慮する代わりに、ブロックの静的処理領域に対して計算されたＦＤｓの直接使用によって再帰化ノイズレベルを決定することからなる。
【００２６】
好ましくは、再帰化ノイズレベル及び／又は固定化ノイズレベルを決定する手段は、動きベクトルの関数として、動き補償された画像の変化を表す量の重みを用いて、１つの又は両方のノイズレベルを決定するようになされており、この重みは他の手段を結合したものととなり得る。
【００２７】
それゆえ、再帰化ノイズレベル及び／又は固定化ノイズレベルを決定する手段は、動き補償された画像の変化を表す量をクラスに分散するのが効果的である。これらクラスは、値を増加することによってランク(ranked)にされた動きベクトルのノルムによってデリミタ(delimited)された範囲と、それに対応する重み係数とに対してそれぞれ係合される。
【００２８】
各重み係数は、これら量の総計に、即ち、考慮されたクラスの部分和に適用されるのが好ましい。そのとき、再帰化ノイズレベル及び／又は固定化ノイズレベルは、関係する重み係数によって重み付けされた総計の和によって与えられる。
【００２９】
この実施形態は、ヒストグラムの形式で動き補償された画像（好ましくはＤＦＤｓ）の変化を表す量のクラスを通して、ノイズレベルの推定における更に実質的な改善を提供する。ノイズ推定の強健性(roustness)がそれらによって改善され、従って、システムの効率を全体的に増加するようにもたらす。
【００３０】
クラスに分散する再帰化ノイズレベル及び／又は固定化ノイズレベルを決定する手段の第１の実施形態において、これら手段は、計数システムと、比較器とを有する。
・計数システムは、クラスのオーダと等しいか又はそれよりも小さいオーダの全てのクラスにおいて動き補償された画像の変化を表す量の数の総計を、クラスの各々について計数する。
・比較器は、
・クラスそれぞれについての総計と、最大オーダのクラスについての総計との比を、プリセット値と比較し、
・該比が、プリセット値と等しいか又はそれよりも大きいときに、最小オーダのクラスを出力する。
【００３１】
更に、再帰化ノイズレベル及び／又は固定化ノイズレベルを決定する手段は、前記最大オーダよりも大きいオーダのクラスに、零重み係数を割り当てる。
【００３２】
従って、クラスは、全数の計算量の所定の割合、例えば１０％まで考慮される。それゆえ、最低ノルムを有する動きベクトルに対応するクラスだけが、ノイズレベルの計算の中に参加する。これは、弱い動きが、画像シーケンス内に含まれたノイズの量を実質的に表すものであるために、信頼性の良い結果を得ることができる。考慮されたクラスで用いられる重み係数は、同一であることが効果的であり、この量は、これらクラスに対して得られた部分和の手段をとる。
【００３３】
クラスへの分散と共に、再帰化ノイズレベル及び／又は固定化ノイズレベルを決定する手段の第２の実施形態において、これら手段は、クラスに重み係数１／２^(i-1)を割り当てる。ｉは、クラスのオーダを示す。
【００３４】
量の重み付けに補足的な手段は、ノイズレベルを決定するために、これらレベルの時間的変動の限定からなるのが効果的である。従って、ノイズレベルは、予め計算されたノイズレベルを含む値の範囲から外れることから防止される。
【００３５】
本発明はまた、本発明に従う再帰フィルタリング装置を含む符号化システムに関する。
【００３６】
符号化前にビデオ画像を動き補償再帰フィルタリングする方法にも適用される。この処理は、以下のようになる。
・現入力画像が記憶され、
・ブロック的な動き補償は、現入力画像と、予め記憶された少なくとも１つの入力画像とに基づいて、動きベクトルと、動き補償された画像の変化を表す量とを出力するようにされ、
・再帰化ノイズレベルは、少なくとも動き補償された画像の変化を表す量の関数として決定され、
・予測エラーは、現入力画像と、フィルタリング及び動き補償によって予め予測された画像との間で計算され、
・再帰化ノイズレベル及び予測エラーの関数として計算され、
・現入力画像と、再帰係数によって予め記憶されたフィルタされ且つ動き補償された画像との重みを出力することによって、現入力画像がフィルタされ、
・現フィルタされた画像及び動きベクトルに基づいて、動き補償された画像が計算され、
・フィルタされ且つ動き補償された画像が記憶される。
【００３７】
本発明によれば、
・固定化ノイズレベルが、少なくとも動き補償された画像の変化を表す量の関数として決定され、
・動き補償された画像を計算する前に、動き推定に用いられるブロックの境界からなる領域は、
・現入力画像と、記憶手段に予め記憶された少なくとも１つの入力画像とに基づいて、空間的に保存された画像の変化を表す量を、領域において計算し、
・空間的に保存された画像の変化を表す量が、固定化ノイズレベルに依存するスレッショルドよりも低いとき、領域に係合した零動きベクトルに影響する。
【００３８】
本発明は、図面を参照して、何ら限定するものではない実施形態及び実装の効果的な例を用いて十分に理解され且つ説明される。
【００３９】
【発明の実施の形態】
本発明による動き補償再帰フィルタリング装置（図１）は、強健性ノイズレベル推定と高効率サブブロック処理とを提供する。
【００４０】
発明者らは、以下のように表す。
・ｘは横座標であり、ｙは縦座標であり、ｔは時間である。
・ｕ（ｘ、ｙ；ｔ）は、現入力信号である
・ｕ（ｘ、ｙ；ｔ−Ｔ）は、遅延Ｔによって遅延された入力信号である（Ｔは例えば１つのビデオフレームの遅延を表す）
・ｄ（ｄｘ，ｄｙ）は変位ベクトルであり、ｄｘは横軸に沿った変位のオフセット（シフト）を意味し、ｄｙは縦軸に沿った変位のオフセットを意味する。
・ｖ（ｘ，ｙ；ｔ）は、フィルタの出力である。
・ｖ（ｘ＋ｄｘ，ｙ＋ｄｙ；ｔ−Ｔ）は、遅延Ｔによって遅延されたフィルタの動き補償出力であり、一般的に（フィルタリングを有する）予測と称される。
・αは、現サンプルに対する再帰係数である。
・σ_recは、全体画像に対して推定された再帰化ノイズレベルである。
・σ_immは、全体画像に対して推定された固定化ノイズレベルである。
・εは、現サンプルに対する予測エラーである。
・ＮＬは、非線形フィルタα＝ｆ（ε，σ_rec）である。
・ＦＤ（ｘ，ｙ；ｔ）：ＦＤ（ｘ，ｙ；ｔ）＝ｕ（ｘ，ｙ；ｔ−Ｔ）は、画素に対して又は画素ブロックに対して適用される。
・ＤＦＤ（ｘ，ｙ；ｔ）：ＤＦＤ（ｘ，ｙ；ｔ）＝ｕ（ｘ，ｙ；ｔ）−ｕ（ｘ＋ｄｘ，ｙ＋ｄｙ；ｔ−Ｔ）は、画素に対して又は画素ブロックに対して適用される。
【００４１】
フィルタリング装置は、入力画像（信号ｕ（ｘ，ｙ；ｔ））を記憶するようにされたメモリ１と、現入力画像（信号ｕ（ｘ，ｙ；ｔ））から及びメモリ１に予め記憶された入力画像（信号ｕ（ｘ，ｙ；ｔ−Ｔ））から、ブロック的に動きベクトルｄ及びＤＦＤｓを出力するようになされたブロック的動き推定器２とを含む。
【００４２】
装置はまた、ＤＦＤｓと、動き推定器２から受信した動きベクトルｄとの関数として、再帰化ノイズレベルσ_recと固定化ノイズレベルσ_immとを決定するユニット３を備える。再帰化ノイズレベルσ_recは、再帰係数αを計算するために用いられるのに対して、固定化ノイズレベルσ_immは、以下に詳述されるように、予めフィルタされた画像の動き補償を改良することによってフィルタリングを改善するために提供する。
【００４３】
また、現入力画像（信号ｕ（ｘ，ｙ；ｔ））と、フィルタされた画像に基づく動き補償によって予め予測された画像（信号ｖ（ｘ，ｙ；ｔ−Ｔ））とを差し引くことを可能にするフィルタ加算器４も含む。従って、加算器４は、予測エラーεを出力する。
【００４４】
再帰係数αを計算するモジュール５は、再帰化ノイズレベルσ_recをユニット３から受信し、予測エラーεを計算モジュール４から受信し、非線形フィルタ関数（ＮＬ）によって再帰係数αを計算する。乗算器７は、加算器４の出力である予測エラーεを、計算モジュール５から受信された再帰係数αによって乗算することができる。更に、第２の加算器８は、乗算器７からのこの出力結果を受信し、この出力結果を、フィルタされた画像に基づく動き補償によって予め予測された画像（信号ｖ（ｘ，ｙ；ｔ−Ｔ））に加算する。この加算結果は、装置の出力部から出力された現フィルタされた画像（信号ｖ（ｘ，ｙ；ｔ））を構成する。
発明者は、以下の式を得た。
ｖ（ｘ，ｙ；ｔ）＝α×ｕ（ｘ，ｙ；ｔ）＋（１−α）×ｖ（ｘ＋ｄｘ，ｙ＋ｄｙ；ｔ−Ｔ）
【００４５】
装置は、更に、装置の出力画像（信号ｖ（ｘ，ｙ；ｔ））と、動き推定器２によって計算された動きベクトルｄとに基づいて動き補償された画像を、計算し且つ記憶するユニット６を備える。しかしながら、現動きベクトルｄと零ベクトルとの間の選択は、以下に記載されるように、前述した方法で行われる。ユニット６は、加算器４及び８の両方の入力部に遅延（遅延Ｔ）をもたらすように用いられる出力部を有する。
【００４６】
再帰フィルタリング装置はまた、決定ユニット１１と選択ユニット１２とを含む。
【００４７】
決定ユニット１１は、現入力画像（信号（ｘ，ｙ；ｔ））と、メモリ１に予め記憶された入力画像（信号（ｘ，ｙ；ｔ−Ｔ））と、固定化ノイズレベルσ_immとをそれぞれ受信する３つの入力部を有する。それは、選択ユニット１２に接続される制御出力と共に備えられる。決定ユニット１１は、各ブロックの種々の領域に渡ってＦＤｓを計算し、ＦＤｓを固定化ノイズレベルσ_immと（又はこのノイズレベルに依存するスレッショルドと）比較するようになされる。これら領域は、例えば４×４画素のような動き補償に用いられるブロックのものよりも小さいサイズのサブブロックであるのが好ましい。ＦＤｓが固定化ノイズレベルσ_immよりも小さいか（よりもそれぞれ大きいか）否かに依存して、処理される画像の領域は、静的に（それぞれ非静的に）発せられる。そのとき、決定ユニット１１は、その制御出力部を介して、静的に宣言された領域の動きベクトルｄを零にする命令を、選択ユニット１２へ与える。また、表された例において、静的に宣言された領域のＦＤｓは、少なくとも１つのノイズレベルの推定において参加するように、ユニット３へ送信される。
【００４８】
選択ユニット１２は、動き推定器２から出力された動きベクトルｄを受信する入力部と、動きベクトルを零にする入力部と、決定ユニット１１に接続された制御入力部とを含む。それは、現動きベクトルｄと零ベクトルとの間で選択をする。この選択は、決定ユニット１１から出力された結果によって条件付けられる。従って、静的領域の存在において、動きベクトルは零になされる。逆の場合、現動きベクトルｄが選択される。出力される動きベクトルは、動き補償ユニット６への出力部によって送信される。
【００４９】
静的領域の処理方法は、空間的に及び時間的に同一である領域（動き領域のばらつき）において、ノイズの存在する中でブロック的動き推定器２によって導出された欠陥に対処する特別な効果を有する。この処理方法は、同一空間位置を占有する２つのサブブロックの間の差の分析、その他異なる時点の分析に基づく。固定化ノイズレベルσ_immに依存するスレッショルドを有する各領域のＦＤの比較は、ノイズ的又は非ノイズ的なビデオシーケンスに対して、空間的及び時間的に同じとなる領域を検出することが可能となる。従って、空間的及び時間的に実際に同じとなる領域における時間的なちらつき及遊走の現象は、強く減衰される。この様相は別として、この処理方法はまた、動きの対象物の「クリッピング」を行うことも可能となる。特に、ブロック的動き推定は、ブロックの実際の内部において、対象物又はこの対象物の一部と場面の背景との間で見分けられない。サブブロック処理方法は、各ブロックの実際の内部における空間的及び時間的に同じ領域における零変位ベクトルｄを課すことによってこの様相を改善する。
【００５０】
ノイズレベルを決定するユニット３の特別な実施形態が、ここに詳述される。これら実施形態は、記載された装置に本質的に適する。これら実施形態によれば、ユニット３は、予測ノイズレベルσ_predictedを決定する組立体２０を含む（図２）。これは、再帰化ノイズレベルσ_rec及び固定化ノイズレベルσ_immを計算するために用いられる。実施形態の１つにおいて、これら２つのノイズレベルは、予測ノイズレベルσ_predictedと同じであり且つ等しい。他の実施形態において、それらは互いに異なる。
【００５１】
組立体２０は、ＤＦＤｓと動きベクトルｄのノルム||ｄ||とをそれぞれ受信する２つの入力部と、予測ノイズレベルσ_predictedを与える出力部とを有する。それは、増加する値の範囲［０；β1［...［βn-1；βn［に動きベクトルｄのノルム||ｄ||を分散する第１の回路２１を含む（βiはｉ番目の区切）。動きベクトルの最大係数(modulus)から得られた（同じ動的な振れ(swing)又はその他の）Ｎ個の範囲に薄く切られたものが、これに対して用いられる。
【００５２】
組立体２０はまた、考慮された種々の領域における動きベクトルｄのノルム||ｄ||の帰属関係範囲に従って、ＤＦＤｓを向ける第２の回路２２を含む。第３の計数及び総計回路２３は、ｉ＝１...Ｎであって、アキュムレータＡiとカウンタＣiとから各々構成されたＮ個の対を含む。これら対の各々は、分散回路２１の範囲の１つに係合する。従って、各対は、ノルム||ｄ||の範囲の１つに対応して、ＤＦＤｓに対する帰属関係クラスを規定する。アキュムレータＡiとカウンタＣiとは、それらに向けられたＤＦＤｓの値を総計する関数と、それらの計数の値を総計する関数とをそれぞれ有する。それらは、部分和Ｓiと番号Ｃpt_iとをそれぞれの出力部から出力する。
【００５３】
第３の回路２３の下流段にある、クラスを用いるモジュール２５は、部分和Ｓiの関数と、各クラスの番号Ｃpt_iの関数として、予測ノイズレベルσ_predictedを出力することが可能となる。
【００５４】
予測ノイズレベルσ_predictedを計算する、モジュール２５内で用いられる第１の方法によれば、ＤＦＤｓの１０％だけが考慮される。総計されたＤＦＤｓの１０％よりも大きい数が得られるまで、第１のクラス（クラス１）から始まり、続くクラスに渡って部分和を総計する。そのとき、予測ノイズレベルσ_predictedは、考慮された連続クラスの部分和の手段と等しくなる。それは、最小変位を表す画素のブロックの少なくとも１０％から発生するノイズレベルを意味する。
【００５５】
第２の方法によれば、部分和の重み付け手段が計算される。重み付けは、最小の動きベクトルの係数を表すクラスに有利である。重み付け係数（φi）は、以下の式のように有利である。
φi＝１／２^(i-1)
ｉは、クラスのインデックスを表し、１からＮ（クラス番号）の間にある。
【００５６】
有利な点として、モジュール２５だけは、予め計算された予測ノイズレベルσ_precの関数として、変動の特定範囲（Δσ_low及びΔσ_high）を許容する（ＭＥＤは、パラメータの３つの値の間の中間値を示す）。
σ_predicted＝ＭＥＤ［σ_prec−Δσ_low，σ_predicted，σ_prec＋Δσ_high］
【００５７】
従って、予測ノイズレベルσ_predictedは、弱い動きに関するＤＦＤｓを排他的又は本質的に考慮することによって、動きベクトルｄの係数に基づいて行われた、ＤＦＤｓのクラスから発生する。
【００５８】
従って、非常に信頼性の高いノイズレベルが得られる。特に、ＤＦＤｓは、一方で動き推定器のためのエラーに、他方で強い動きに、非常に影響されやすい。強い動きは、場合によっては形状と対象物との歪みを導出し、それらの結果は、動きを強く増加することによってＤＦＤｓの歪曲となる。
【００５９】
種々の実施形態において、静的フィルタリングは、サブブロックの代わりに、考慮されたブロックの画素上で行われる。
【図面の簡単な説明】
【図１】本発明による再帰フィルタリング装置の機能構成図である。
【図２】図１の装置に結合された、予測ノイズレベルを計算する組立体の構成図である。
【符号の説明】
１メモリ
２ブロック的な動き推定部
３ノイズレベル推定部
４加算器
５非線形フィルタ
６動き補償部
７乗算器
８加算器
１１決定ユニット、サブブロック処理部
１２選択ユニット
２０組立体
２１分散回路
２２第２の回路
２３計数・総計回路
２５比較器

Claims

符号化前にビデオ画像を動き補償再帰フィルタリングする装置であって、
少なくとも１つの入力画像を記憶する手段と、
現入力画像と、前記記憶する手段に予め記憶された少なくとも１つの入力画像とに基づいて、ブロック的な動きベクトル及びブロック的な動き補償された画像の変化を表す量とを出力するブロック的な動き推定モジュールと、
予測ノイズレベルを計算し、前記予測ノイズレベルと等しい再帰化ノイズレベル及び固定化ノイズレベルを、少なくとも前記ブロック的な動き補償された画像の変化を表す量の関数として決定する手段と、
現入力画像と、フィルタリング及び動き補償によって予め予測された画像との間の予測エラーを計算するモジュールと、
前記再帰化ノイズレベルと前記予測エラーとの関数として、再帰係数を計算するモジュールと、
前記予測エラーを前記再帰係数によって乗算し、該乗算結果を前記動き補償によって予め予測された画像に加算して、フィルタリングされた画像を出力するフィルタリング手段と、
前記フィルタリングされた画像及び前記動きベクトルに基づいて、動き補償された画像を計算する手段と、
前記動き補償された画像を計算する手段から出力された、少なくとも１つのフィルタリングされ且つ動き補償された画像を記憶する手段と、
前記動き推定に用いられる前記ブロックの境界を構成する領域を処理する組立体と、
を含み、
前記組立体は、
現入力画像と、前記入力画像を記憶する手段に予め記憶された少なくとも１つの入力画像とに基づいて、空間的に保存された画像の変化を表す量の、前記領域における計算手段と、
前記空間的に保存された画像の変化を表す量が、前記固定化ノイズレベルに依存するスレッショルドよりも下になるとき、前記領域に係る前記動きベクトルを零にする手段と
を含む
ことを特徴とする再帰フィルタリング装置。
前記領域を処理する前記組立体は、前記動き推定に用いられる前記ブロックのサブブロックを含む領域を用いることを特徴とする請求項１に記載の再帰フィルタリング装置。
前記再帰化ノイズレベル及び固定化ノイズレベルを決定する手段は、該再帰化ノイズレベル及び該固定化ノイズレベルの両方からなるノイズレベルを出力することを特徴とする請求項１又は２に記載の再帰フィルタリング装置。
前記再帰化ノイズレベル及び固定化ノイズレベルを決定する手段は、前記ブロック的な動き補償された画像の変化を表す量と、前記空間的に保存された画像の変化を表す量との両方の関数として、前記再帰化ノイズレベルを決定することを特徴とする請求項１又は２に記載の再帰フィルタリング装置。
前記再帰化ノイズレベル及び固定化ノイズレベルを決定する手段は、少なくとも前記ブロック的な動き補償された画像の変化を表す量の重みを前記動きベクトルの関数として用いて、少なくとも１つのノイズレベルを決定することを特徴とする請求項１から４のいずれか１項に記載の再帰フィルタリング装置。
前記再帰化ノイズレベル及び固定化ノイズレベルを決定する手段は、値を増加することによってランクにされた動きベクトルのノルムによってデリミタされた範囲に対してそれぞれ係合したクラスに、前記ブロック的な動き補償された画像の変化を表す量を分散させることを特徴とする請求項５に記載の再帰フィルタリング装置。
前記再帰化ノイズレベル及び固定化ノイズレベルを決定する手段は、前記クラスに前記重み係数１／２^(i-1)を割り当て、iはクラスのインデックスを意味することを特徴とする請求項６に記載の再帰フィルタリング装置。
請求項１から７のいずれか１項に記載の再帰フィルタリング装置を含むことを特徴とする符号化システム。
符号化前にビデオ画像を動き補償再帰フィルタリングする方法であって、
少なくとも１つの入力画像を記憶するステップと、
現入力画像と、予め記憶された少なくとも１つの入力画像とに基づいて、ブロック的な動きベクトル及びブロック的な動き補償された画像の変化を表す量とを出力するブロック的な動き推定ステップと、
予測ノイズレベルを計算し、前記予測ノイズレベルと等しい再帰化ノイズレベル及び固定化ノイズレベルを、少なくとも前記ブロック的な動き補償された画像の変化を表す量の関数として決定するステップと、
現入力画像と、フィルタリング及び動き補償によって予め予測された画像との間の予測エラーを計算するステップと、
前記再帰化ノイズレベルと前記予測エラーとの関数として、再帰係数を計算するステップと、
前記予測エラーを前記再帰係数によって乗算し、該乗算結果を前記動き補償によって予め予測された画像に加算して、フィルタリングされた画像を出力するステップと、
前記フィルタリングされた画像及び前記動きベクトルに基づいて、動き補償された画像を計算するステップと、
前記動き補償された画像を計算するステップから出力された、少なくとも１つのフィルタリングされ且つ動き補償された画像を記憶するステップと、
前記動き推定に用いられる前記ブロックの境界を構成する領域を処理するステップと、
を含み、
前記処理するステップは、
現入力画像と、予め記憶された少なくとも１つの入力画像とに基づいて、空間的に保存された画像の変化を表す量を、前記領域において計算するステップと、
前記空間的に保存された画像の変化を表す量が、前記固定化ノイズレベルに依存するスレッショルドよりも下になるとき、前記領域に係る前記動きベクトルを零にするステップと
を含む
ことを特徴とする再帰フィルタリングする方法。