JP3679324B2 - ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法 - Google Patents
ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法 Download PDFInfo
- Publication number
- JP3679324B2 JP3679324B2 JP2000343934A JP2000343934A JP3679324B2 JP 3679324 B2 JP3679324 B2 JP 3679324B2 JP 2000343934 A JP2000343934 A JP 2000343934A JP 2000343934 A JP2000343934 A JP 2000343934A JP 3679324 B2 JP3679324 B2 JP 3679324B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- pixel
- sum
- filtered
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001914 filtration Methods 0.000 title claims abstract description 31
- 230000002123 temporal effect Effects 0.000 title claims description 7
- 238000007781 pre-processing Methods 0.000 title description 2
- 238000012545 processing Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 abstract description 36
- 238000012360 testing method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000003111 delayed effect Effects 0.000 description 3
- 102100022103 Histone-lysine N-methyltransferase 2A Human genes 0.000 description 2
- 101001045846 Homo sapiens Histone-lysine N-methyltransferase 2A Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 244000026610 Cynodon dactylon var. affinis Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Description
【０００１】
【発明の属する技術分野】
本発明は、大略、ビデオイメージ処理技術に関するものであって、更に詳細には、デジタルビデオピクチャのノイズをフィルタする技術に関するものである。
【０００２】
【従来の技術】
本発明は高いノイズレベルによって汚染されたデジタルビデオシーケンスをフィルタするのに有用なものである。
【０００３】
デジタル化したビデオシーケンスを取扱う場合のＭＰＥＧスタンダードの重要性のために、ここに提案する方法の具体例を例示するために、ＭＰＥＧ２システムに対して参照するが、本発明方法は、時々確立されるように、異なるスタンダードに基づいてビデオシーケンスを転送するシステムにおいても完全に使用可能なものである。
【０００４】
本発明の主要な適用例はＭＰＥＧ２又はその他のスタンダードの符号化前のピクチャの予備処理であるが、受信後に表示すべきピクチャをフィルタするためのテレビ等の符号化処理以外であっても本発明を利用することが可能である。ＭＰＥＧ２スタンダードに従って符号化すべきピクチャの予備処理は符号化効率を著しく向上させることを可能とする操作である。尚、この点については、Ａ． ｖａｎ ｄｅｒ Ｗｅｒｆ ｅｔ ａｌ．、「Ｉ．ＭｃＩＣ：格納用単一チップＭＰＥＧ２ビデオエンコーダ（Ｉ．ＭｃＩＣ：Ａ ｓｉｎｇｌｅ−ｃｈｉｐ ＭＰＥＧ−２ ｖｉｄｅｏ ｅｎｃｏｄｅｒ ｆｏｒ ｓｔｏｒａｇｅ）」、ＩＥＥＥ・ジャーナル・オブ・ソリッドステート・サーキッツ、Ｖｏｌ．３２、Ｎｏ．１１、１９９７年１１月、Ｌ． Ｙａｎ、「コーデックのＭＰＥＧタイプ用のノイズ減少（Ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ｆｏｒ ＭＰＥＧ ｔｙｐｅ ｏｆ ｃｏｄｅｃ）」、プロシーディングズ・ＩＥＥＥ・インターナショナル・コンフェレンス・アクースティック、スピーチ、信号処理、１９９４等の文献を参照すると良い。
【０００５】
ピクチャのフィルタ技術は多くのものが開発されている。例えば、Ｊ． Ｃ．Ｂｒａｉｌｅｎ、Ｒ． Ｐ． Ｋｌｅｉｈｏｒｓｔ、Ｓ． Ｅｆｓｔｒａｔｉａｄｉｓ、Ａ． Ｋ． Ｋａｔｓａｇｇｅｌｏｓ、Ｒ． Ｌ． Ｌａｇｅｎｄｉｊｋ、「ダイナミックイメージシーケンス用のノイズ減少フィルタ：レビュー（Ｎｏｉｓｅ ｒｕｄｅｃｔｉｏｎ ｆｉｌｔｅｒｓ ｆｏｒ ｄｙｎａｍｉｃ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ： ａ ｒｅｖｉｅｗ）」、プロシーディングズ：ＩＥＥＥ、Ｖｏｌ．８３、１２７０−１２９２頁、１９９６年９月の文献を参照すると良い。
【０００６】
大多数の場合において、これらの技術の厄介な側面は高い計算の能力が必要とされるか、又は同一のピクチャに関しての数回の繰返しである。その結果、それらは、実時間ビデオ適用例に対しては不経済であるか又はほぼ実現不可能なものである。
【０００７】
これまでに実現されている実時間ビデオフィルタ技術（Ｅ． Ｄｕｂｏｉｓ及びＳ． Ｓａｂｒｉ、「動き補償型時間的フィルタ処理を使用したイメージシーケンスにおけるノイズの減少（Ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ｉｎ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ ｕｓｉｎｇ ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ ｔｅｍｔｏｒａｌ ｆｉｌｔｅｒｉｎｇ）」、ＩＥＥＥ・トランズアクションズ・オン・コミュニケーションズ、Ｖｏｌ．ＣＯＭ−３２、８２６−８３１頁、１９８４年７月）は、フィルタすべきピクセル（Ｐo）のフィルタしていないグレイレベル及び作業ウインドウのその他のピクセルのグレイレベルとの間の分離距離に基づいてフィルタ操作を行う。このフィルタ処理の効果は、この場合には、このような距離に逆比例する。その結果、このような距離が大きいピクセルはフィルタ操作には関与しない。
【０００８】
これは、ピクチャの焦点ずれを発生し、且つ、時間的フィルタの場合には、「トレール」を出現させる操作である異なるオブジェクトに属するピクセルの平均を計算することを回避するピクチャのセグメント化する粗い方法である。
【０００９】
文献ＷＯ９７／３０５４５は上述した方法に基づいた動き補償型再帰型フィルタを開示している。このようなフィルタは、現在のピクセルと先行するピクチャ内の対応するピクセルとの間の差の絶対値に依存して、係数βの値を確立し、且つ現在のピクセルの割合部分βと先行する動き補償型ピクチャにおける対応するピクセルの割合部分１−βとを結合させる。このようなシステムは、実質的には、一次のＩＩＲ適用型フィルタである。
【００１０】
このような技術は、例えそれがノイズに起因するものであったとしても、現在のピクセルが先行するピクチャの対応するピクセルから著しく異なるものである場合には、現在のピクセルを不変のまま残すという欠点を有している。
【００１１】
文献ＥＰ０８７０７７６Ａ１は、空間的適用型ローパスフィルタを開示しており、その適応メカニズムは、Ｐoと作業ウインドウの他のピクセルとの間の差の計算に基づいている。ピクチャのあるパラメータの局所的評価が行われ（例えば、考慮中のピクセルが一様なゾーンに属するか否か）、且つそれに基づいて、ファジィー論理処理によってフィルタすべきピクセルが他のピクセルに近いか又は離れているかが決定される。フィルタしたピクセルの値を計算する場合に近いピクセルは遠いピクセルよりもより大きな重みが与えられる。
【００１２】
この場合においても、高いノイズレベルが存在する場合の効果は高いものではない。何故ならば、考慮中のピクセルが一様なゾーンに属する（従って、更にフィルタすることが可能か否か）か否かを評価するためになされる制御がＰとその周りのピクセルとの間の距離に基づいているからである。
【００１３】
Ｓ． Ｉｎａｍｏｒｉ ｅｔ ａｌ．「イメージ処理におけるノイズ減少方法（Ａ ｍｅｔｈｏｄ ｏｆ ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ｏｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇｓ）」、ＩＥＥＥ・トランズアクションズ、オン・コンシューマ・エレクトロニクス、Ｖｏｌ．３９、Ｎｏ．４、１９９３年１１月の文献においては、前述したＤｕｂｏｓ及びＳａｂｒｉによって記載されたものに基づいているがそれより更に洗練された時間的フィルタが記載されており、その場合に、入力−出力特性はノイズの予測されたパワーの関数として適応的に選択される。該フィルタは、トレールの発生を回避するために、動き検知セクションから来る信号によって、及びピクチャの焦点ズレを発生することを防止するためにエッジ検知ブロックによってターンオフされる。
【００１４】
このフィルタであっても前述したタイプのフィルタと同一の欠点を有しており且つノイズピークが存在する場合にはターンオフされねばならない。
【００１５】
これらの公知の技術は高いノイズレベルが存在する場合には不満足なものとなる。処理中のピクセルＰoに対してノイズピーク（スパイク）が重畳される度にフィルタをターンオフすることが必要となる。高いノイズピークは他のサンプルよりもかなり高い値のノイズサンプルである。これらのノイズピークはむしろ小さな確率を有するものであるがゼロではない。何故ならば、多くの種類のノイズ（例えば、ガウスノイズ）の確率的分布のキュー即ち待ち行列は理論的には無限だからである。
【００１６】
このような場合において、上述した公知のフィルタは、決してそのピクチャがノイズによって汚染されたものとしてではなくそのピクチャが満足のいくものではないとして現在のピクセルと隣りのピクセルとの間の通常の差よりも常により大きな差があるものと解釈する。従って、フィルタのノイズ減少性能はかなり制限されている。
【００１７】
作業ウインドウのピクセルを選択する公知の技術は所謂「ダンカンレンジテスト（Ｄｕｃａｎ Ｒａｎｇｅ Ｔｅｓｔ）」（ＤＲＴ）（Ｄ． Ｂ． Ｄｕｎｃａｎ、「マルチプルレンジ及びマルチプルｆテスト（Ｍｕｃｔｉｐｌｅ ｒａｎｇｅ ａｎｄ ｍｕｌｔｉｐｌｅ ｆ−ｔｅｓｔｓ）」、バイオメトリクス、Ｖｏｌ．１１、１−４２頁、１９５５）であって、それは使用されて良好な結果を発生している（Ｒ． Ｐ． Ｋｌｅｉｈｏｒｓｔ、「イメージシーケンスのノイズフィルタ処理（Ｎｏｉｓｅ ｆｉｌｔｅｒｉｎｇ ｏｆ ｉｍａｇｅ ｓｅｑｕｃｅｓ）」、博士論文ＴＵ−Ｄｅｌｆｔ、情報理論グループ、１９９４）。ＤＲＴの特性をハイライトするために、以下に簡単に説明する。
【００１８】
１組のデータ、例えばフィルタすべきピクセルのルミナンス、即ち輝度値、を増加する順に並べるものと仮定する。
【００１９】
【数１】
【００２０】
尚、括弧内の数は並べた組内において取られる位置を表している。ＤＲＴは１組の「類似」した値の定義に基づいており、即ち、以下の条件が満足する場合に２つの値は「類似」であると考えられる。
【００２１】
【数２】
【００２２】
尚、
※σnは既知であると考えられる重畳されたノイズの標準偏差であり、
※ρ|i-j|, αは、テストの精度レベルαと、データの数｜ｉ−ｊ｜（特定の場合においては、ｇ(i)及びｇ(j)との間を構成するピクセルの数）と、ノイズの確率的分布とに依存する値であり、αは誤った決定を取る確率を表しており、明らかに、αが小さければ小さいほど、ρはそれだけ小さく、従って該テストはより制限的なものとなる。
【００２３】
これらを前提として、ＤＲＴの目的は、現在のピクセルＰoを包含しており且つ最大数の「類似」ピクセルを含むサブセットを見つけ出すことである。換言すると、以下のピクセルのサブセットが決定されねばならない。
【００２４】
【数３】
【００２５】
尚、ｉ及びｊは以下の通りである。
【００２６】
【数４】
【００２７】
選択したレンジ即ち範囲に属するピクセルに関してのみ相次ぐフィルタ処理が実施される。注意すべきことであるが、ＤＲＴは、現在のピクセルと共にどのピクセルがフィルタされるべきであり且つどのピクセルがフィルタされるべきでないということを確立する場合にＰoの値を独特の基準値として有するものではない。実質的に、このテストは、必ずしもそれに対して対称的なものではないがＰoを含む全てのインターバルをテストし、且つピクセルのものである最大数のデータを含むインターバルを選択するためにノイズσnの標準偏差の外部的測定に基づくものである。
【００２８】
ＤＲＴはデジタルピクチャ用のフィルタを実現するために具体化されている。このようなフィルタは、フィルタすべき値Ｐoに対して比較的不感度を示し、むしろ一様なゾーン内においてより効果的にフィルタすることを可能とし、該ゾーンにおいては、オブジェクトの輪郭を保護し且つ「トレール（ｔｒａｉｌ）」の形成を回避するが、ノイズをより容易に検知することが可能である。
【００２９】
ＤＲＴを記載することは簡単であるが、処理すべき１組のデータを決定することの関連する困難性を暗示している。実際に、σn・ρ|i ′ -j ′ |, αの積によって与えられるインターバルの振幅は、例えばテストの精度レベルα、ノイズレベルσn及びこの範囲内におけるピクセルの数等の多くのファクタに依存する。後者の依存性は、特に、アルゴリズムを著しく複雑化させる。何故ならば、それは最大数のデータを含むサブセットを識別することが可能である前に、Ｐoを包含するピクセルの多数のサブセットのテストを行うことを必要とするからである。
【００３０】
従って、ＤＲＴの利点を維持しながら、大きなノイズピークを減衰されずに残すことがなく（何故ならば、これはＭＰＥＧ２符号化及びフィルタの下流側におけるビデオ圧縮のその他のシステムの効率を著しく劣化させるからである）、且つ計算上の高い複雑性が関与するものではない（何故ならば、そうでないと、実時間ビデオ適用例のコストが法外なものとなるからである）フィルタ方法に基づいたデジタルビデオピクチャ用のフィルタに対する必要性が存在している。
【００３１】
【発明が解決しようとする課題】
本発明は、以上の点に鑑みなされたものであって、上述した如き従来技術の欠点を解消し、ほぼ完全にノイズピークを除去し且つ比較的容易に実現することが可能であり、実時間ビデオ適用例において使用する場合に比較的廉価なものであってＤＲＴの利点の全てを有するデジタルビデオピクチャ用の新規なフィルタ方法及びフィルタを提供することを目的とする。
【００３２】
【課題を解決するための手段】
本発明によれば、デジタルピクチャのノイズをフィルタ即ち除去する方法が提供され、該方法では、現在のピクチャのフィルタすべきピクセルによって及び第一組のピクセルに時間的及び空間的に近い第二組のピクセルによって構成される第一組のピクセルを選択し、第一組のピクセルに関してフィルタし、選択したビデオ成分の強度の予め確立した重み関数によって取られる値のある数の拡張した和を計算し、且つ第一組のピクセルにわたっての選択したビデオ成分の強度の重み関数で重み付けした和及び前記拡張した和の関数でフィルタすべきピクセルのフィルタし選択したビデオ成分の強度を計算する。
【００３３】
本発明方法は現在のピクチャから又は先行するピクチャから排他的に第二組のピクセルのピクセルを選択する場合であっても実施することが可能である。
【００３４】
本発明方法の簡単な実施例は予め確立された重み関数の各々をフィルタすべきピクセルにおけるフィルタしておらず選択したビデオ成分の関数で且つノイズレベルに関して計算された夫々の中央値に対して反映させることによって実現される。
【００３５】
本発明の好適実施例によれば、フィルタすべきピクセルの選択しフィルタしたビデオ成分の強度が重み付けした和及び拡張した和の間の比の予め確立した重みで重み付けした平均即ち加重平均である。
【００３６】
本発明方法はデジタルピクチャ用のノイズフィルタの形態におけるハードウエア実施例を構成することが可能であり、それは、各ブロックが現在のピクチャのフィルタすべきピクセルと該フィルタすべきピクセルに時間的且つ空間的に近い第二組のピクセルとからなる１組のピクセルが入力され、各ブロックが第一組のピクセルに関して選択したビデオ成分の強度の夫々の予め確立した重み関数によって取られる値の拡張した和を発生し且つ第一組のピクセルに関する選択したビデオ成分の強度の夫々の重み関数での重み付けした和を発生するある数の第一回路ブロック、及び第一回路ブロックの出力へ結合した入力を具備しており、前記重み付けした和及び拡張した和の関数でフィルタすべきピクセルにおけるフィルタし選択したビデオ成分の強度を計算する第二回路ブロックを有している。
【００３７】
上述したフィルタは、好適には、各重み関数をフィルタすべきピクセルのフィルタしておらず選択したビデオ成分の強度及びノイズレベルの関数で計算した夫々の中央値に反映させることによって実現される。
【００３８】
本発明の好適実施例によれば、フィルタの重み関数はテール検知の信号の関数で決定される。
【００３９】
【発明の実施の形態】
本発明方法とＤＲＴとの間の主要な差は、フィルタされるべきピクセルが選択される態様及び該ピクセルに関して行われる操作の点である。
【００４０】
ＤＲＴはフィルタすべきピクセルと「類似」した最大組のピクセルを選択し、それに関してフィルタ操作を逐次的に行うことを意味する。数学的な観点からは、選択した組のピクセルのみを考慮し且つその他のものを無視することは選択した組のピクセルに「１」の係数で重み付けし且つそのような組の外側のピクセルには「０」の係数で重み付けすることに等しく、従って図１ａに示した関数のような「矩形」重み関数でピクセルを重み付けすることに等しい。
【００４１】
このような重み付け関数の選択は、オブジェクトの輪郭を保護し且つフィルタしたピクチャにおいて焦点ズレの効果を発生することを回避しながらピクチャの一様なゾーンを効果的にフィルタする可能性を提供するものであるが、ノイズピークによって表される欠点を除去するものではない。
【００４２】
本発明方法は、理想的には、古典的なＤＲＴの矩形状の重み関数に対して適宜のキュー即ち待ち行列を取付けることによって得られる図１ｂに概略的に示したような形状の重み関数を使用することによって大きなノイズピークによって発生されるこれまで未解決の問題を解消している。
【００４３】
実質的には、各使用可能な重み関数ｋjに対して、フィルタすべきピクセル及び近くのピクセルにおける選択したビデオ成分の強度の値に対応して重みの和ＳＵＭｋjを計算する。このような重みの和を最大とする重み関数ｋMが決定されると、このような関数は以下のフィルタ操作のために使用される。
【００４４】
重要な結果は、ＤＲＴに基づいた公知のフィルタ方法では減衰されなかったノイズピークをほぼ完全に除去することである。実際に、ノイズスパイクが現在のピクセルに重畳された場合に、重み関数のキューのために、現在のピクセルＰoのものとは非常に異なる選択した成分（例えば、輝度）のレベルを有するピクセルであってもフィルタ操作に関与させることが可能である。例えば重み付けした平均即ち加重平均を実施することによってこのようなルミナンス即ち輝度レベルを処理することにより、ノイズパルスを実際的に除去することが可能である。
【００４５】
本発明方法とＤＲＴとの間の別の重要な差異は、本発明方法によって必要とされる操作の数が比較的小さく、そのことは実時間ビデオ適用例に対して使用する場合により廉価なものとさせる上での基本的な側面である。
【００４６】
ＤＲＴにおいては、選択すべきインターバルの振幅は多くのファクタに依存するものであり、例えばテストの精度レベルα、インターバル内のピクセル数、及び重畳されたノイズの標準偏差σn等に依存するものであるが、本発明方法においては、重み関数はインターバル内のピクセルの数及びαの値に依存するものではなくノイズレベルＮＬに依存するものである。このように、計算上の複雑性を比較的高いものとしていた依存性が実際的に除去されている。
【００４７】
ノイズレベルは、しばしば、その標準偏差σnによって記述することが可能であるので、以下の説明においては、このような特定の場合を参照する本発明の実施例について説明するが、本発明は標準偏差σnとは異なるノイズレベルＮＬを記述するためのパラメータを選択する場合であっても完全に使用可能なものである。
【００４８】
更に、ＤＲＴはＰoを包含する全ての可能なインターバルをテストするものであるが、本発明方法はＤＲＴの有益的な側面を維持しながら比較的少ない数のこのようなインターバルのみをテストするものである。
【００４９】
ＤＲＴと比較した場合の本発明方法の唯一の欠点は、重み関数の中にキュー即ち待ち行列が存在するために、作業を行うピクセルからなるグループ、即ちWORKING WINDOWを選択するために必要な操作が多少複雑なものであるということである。それにも拘わらず、このような組が充分に多数のピクセルを包含している場合には、フィルタ処理はそのキューの実際の形状には比較的影響されることがないことが判明している。従って、２の冪に等しい値のみを割り当てることによって重み関数のみを任意の態様で量子化することが可能であり、従ってハードウエアで実現する場合に著しく簡単化させることが可能である。
【００５０】
本発明方法を実現するフィルタの最も簡単な実施例を図２に示してある。
【００５１】
「作業ウインドウ」ブロックが、現在のピクチャに属しておりフィルタされるべきピクセルＰ及びＰに時間的及び空間的に近い第二組のピクセルPIXEL NEARを有するWORKING WINDOWを構成する１組のピクセルを選択する。このような第二組PIXEL NEARは、現在のピクチャのみに属するピクセルから構成するか、又は現在のピクチャに属するピクセルと先行するピクチャに属するピクセルから構成することが可能である。
【００５２】
次いで、該ウインドウのピクセルの値をＮ個のブロックからなるアレイ（ＲＡＮＧＥｊ，尚、ｊ＝１，２，３，．．．，Ｎ）入力し、各ブロックはWORKING WINDOWのピクセルにおいてそれ自身の重み関数に従って選択したビデオ成分の強度の重み付けを行う。
【００５３】
ブロックＲＡＮＧＥｊは、ノイズレベルＮＬに基づいてそれ自身の重み関数を発生させるために、ノイズレベルＮＬに関する情報を与えることが可能である。このようなブロックはWORKING WINDOWのピクセルに関するそれ自身の重み関数によって取られる値の次式で表される夫々の拡張した和、
【数５】
【００５４】
及び選択したビデオ成分の強度の次式で表される夫々の重み付けした和、
【数６】
【００５５】
を出力する。
【００５６】
「フィルタ処理セクション」ブロックはフィルタしたピクセルＦＩＬＴの強度の値を与える。
【００５７】
図２に示したように、「フィルタ処理セクション」のブロックの前に「レンジ選択」というブロックが設けられている本発明方法の特定の実施例について説明すると、該ブロックはＮ個のブロックＲＡＮＧＥｊの出力へ結合されており、それは最大の拡張した和ＳＵＭｋM及び夫々の重み付けした和ＳＵＭｋｘMの選択を行う。
【００５８】
「フィルタ処理セクション」ブロックを具体化する可能性のうちの１つは、選択したインターバルのピクセルの単純な加重平均を計算するものであり、即ち次式に従って計算することである。
【００５９】
【数７】
【００６０】
別の実施形態においては、重み付けした和μを、例えば、次式で示されるように現在のピクセルと結合させることが可能である。
【００６１】
【数８】
【００６２】
尚、係数αは、例えば、フィルタ処理操作のための選択したインターバルに依存して確立される。このような係数αは、スイッチングフィルタ（前掲したＲ． Ｐ． Ｋｌｅｉｈｏｒｓｔ著の文献参照）におけるように、例えばノイズ偏差σn 2とすることが可能なノイズレベルを表すパラメータと比較して、ピクチャの局所的偏差σg 2の値に依存して計算することも可能である。
【００６３】
【数９】
【００６４】
通常、「フィルタ処理セクション」はＳＵＭｋj及びＳＵＭｋｘjの値の全てから開始してＦＩＬＴの値を計算することが可能である。
【００６５】
「作業ウインドウ」ブロックは、例えば、図３に示したように、現在のピクチャと先行するピクチャとに属するピクセルを有することが可能な１組のピクセルWORKING WIDOWを定義する。先行するピクチャはノイズによって汚染されたピクチャか又はフィルタしたピクチャとすることが可能である。いずれの場合においても、WORKING WINDOWは、現在のピクチャ又は先行するピクチャを格納するフレームメモリが使用可能でない場合には、空間的な種類のもののみとすることが可能である。
【００６６】
異なる重み関数を発生する可能な態様のうちの１つは、図４において例示されているように、それらを同一の形状のものとし且つ各ブロックＲＡＮＧＥｊに対して異なる位置ＣＥＮＴＥＲｊ上でそれらを中心位置決めさせることである。
【００６７】
種々のブロックＲＡＮＧＥｊに対するＣＥＮＴＥＲｊの１組の可能な値がインデックスｊのフィルタされるべきピクセルＰoにおいて選択されたビデオ成分の強度及び、上述したことに従って、次式で示すようにσnによって完全に記述することが可能なノイズレベルＮＬの関数によって決定される。
【００６８】
【数１０】
【００６９】
ＣＥＮＴＥＲｊの値の可能な選択のうちの１つの例は次式によって与えられる。
【００７０】
【数１１】
【００７１】
これはＰo−σnとＰo＋σnとの間において等間隔に離隔されているＣＥＮＴＥＲｊのＮ個の値を発生する。
【００７２】
単なる１つの例として重み関数の可能な形状を図４に示してある。ＣＥＮＴＥＲｊからのスレッシュホールドＴｈ１，Ｔｈ２，．．．，ＴｈＭの分離はσnの関数として意図されている。表示された係数は２の冪に等しく、従ってフィルタのハードウエアによる実現を簡単化させているが、例えば、本発明のフィルタが非実時間適用例において使用される場合においてそれらに異なる値を与えることが不可能なわけではない。
【００７３】
図２に示したフィルタはσn推定器が設けられていないので、ノイズレベルの推定値を得るためには、所望の程度のフィルタ処理の手動的外部調整又は自動化システムを使用することが可能である。両方の場合において、σnを過剰に推定する可能性があり、従って、空間的−時間的ウインドウの場合には、例えば「トレール（ｔｒａｉｌ）」（文献においては、「コメットテール（ｃｏｍｅｔ ｔａｉｌ）」又は単に「トレール（ｔｒａｉｌ）」として知られている）等の人工的効果を発生する可能性がある。
【００７４】
このような場合には、フィルタ処理を調整することが可能であるためにトレールの発生を検知するための回路ブロック（「テール検知」）が必要である。このようなテール検知ブロックを有するシステムを図５に示してある。
【００７５】
図示したように、「レンジ」（ＲＡＮＧＥｊ、尚ｊ＝１，２，３，．．．，Ｎ）と、「レンジ選択」と、「フィルタ処理セクション」との夫々のブロックを有する「フィルタ」ブロックが「テール検知」ブロックへ結合されており、「テール検知」ブロックはWORKING WINDOWのピクセルを検査し、究極的にテール検知信号ＴＤを発生する。
【００７６】
テール検知の場合には、問題の多数の異なる訂正が可能である。例えば、「フィルタ」ブロックは、このような信号ＴＤに依存してフィルタ処理をディスエーブル即ち動作不能状態とさせ且つ現在のピクセルＰoの値を出力することが可能であり、又は現在のフレームに属するピクセルのみに関してフィルタ処理を実施することが可能であり、又はフィルタ処理に関する先行するピクチャのピクセルの影響を減少させることが可能である。従って、図５に示した「フィルタ」ブロックは、信号ＴＤに依存して所望の制御動作を発生させる専用の回路を有することが可能である。
【００７７】
「テール検知」（Ｓ． Ｉｎａｍｏｒｉ，Ｓ． Ｙａｍａｕｃｈｉ，Ｋ． Ｆｕｋｕｈａｒａ、「イメージ処理に関するノイズ減少方法（Ａ ｍｅｔｈｏｄ ｏｆ ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ｏｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）」、ＩＥＥＥ・トランズアクション・オン・コンシューマ・エレクトロニクス、Ｖｏｌ．３９、Ｎｏ．４、１９９３年１１月の文献参照）ブロックをどのようにして実現することが可能であるかの１つの例を図６に示してある。現在のピクチャのピクセルと先行するピクチャの対応するピクセルとの間の差がＤＩＦＦブロックによって発生される。ＤＩＦＦブロックは同数の「符号ビット」ブロックへ結合されており、該「符号ビット」ブロックは相対的な差の符号を表すビットを発生し、それらはＡＬＬ０及びＡＬＬ１ブロックへ入力され、ビット入力が全て０であるか又は全て１である場合には、夫々０又は１を出力する。出力フラグＴＤがＡＬＬ０及びＡＬＬ１ブロックの出力の論理ＯＲによって発生される。
【００７８】
該フィルタは図７に示したように、ＭＰＥＧ２エンコーダの上流側に設けるか、又はその中に設けることが可能である（Ｗ． Ｂｒｕｌｓ，Ｒ． Ｐ． Ｋｌｅｉｈｏｒｓｔ，Ａ． Ｖａｎ ｄｅｒ Ｗｅｒｆ、特許ＷＯ９７／３０５４５、１９９７年１月２３日出願を参照すると良い）。
【００７９】
図示した如く、符号化したビットストリームＯＵＴを出力するＭＰＥＧエンコーダが「遅延」ブロックによって与えられるピクチャの遅延されたレプリカを使用して入力ピクチャＩＮＰの予備処理を実施する本発明のフィルタの出力へ結合されている。ＭＰＥＧエンコーダは動き補償型フィルタ処理を行うために動き推定用のブロックを有することが可能であり、従ってフィルタ処理及び符号化の効率を増加させることが可能である。図８に示したように、ＭＰＥＧ２エンコーダとは別に動き補償フィルタを使用することも可能である。
【００８０】
本発明の「フィルタ」はその入力においてフィルタすべきピクチャＩＮＰ及び予測されたピクチャＰＲＥＤを受取り、且つフィルタしたピクチャＯＵＴを出力する。予測したピクチャＰＲＥＤは動き補償ブロックＭＣと、動き推定器ブロックＭＥと、「遅延」ブロックの結合した動作によって得られる。
【００８１】
動き推定器ＭＥは、現在のピクチャＩＮＰから及び「遅延」ブロックによって適宜遅延されており前にフィルタしたピクチャＯＵＴのレプリカから動きベクトルＭＶを発生し、それは動き補償ブロックＭＣによって使用される。動き補償ブロックＭＣは動きベクトルＭＶ及び「遅延」によって与えられた遅延されたピクチャの関数として予測されたピクチャＰＲＥＤを計算する。
【００８２】
実験結果によれば、ルミナンスをフィルタ処理するために使用した同一のハードウエア構造をクロミナンスをフィルタ処理するためにも完全に使用可能であることが確認された。通常３つのビデオ信号に対して異なるものである夫々のノイズレベルの適宜の値が与えられる限り、ビデオ信号の各々に対して３つの同一のフィルタを使用することが可能である。
【００８３】
以上、本発明の具体的実施の態様について詳細に説明したが、本発明は、これら具体例にのみ制限されるべきものではなく、本発明の技術的範囲を逸脱することなしに種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【図１ａ】 ＤＲＴの重み関数の典型的な形状を示した概略図。
【図１ｂ】 本発明方法の重み関数の１つの可能な形状を示した概略図。
【図２】 本発明に基づいて構成したフィルタの基本的な構成を示した概略図。
【図３】 フィルタ処理中の現在のピクチャのピクセルに時間的及び空間的に近いピクセルの選択の１例を示した概略図。
【図４】 量子化した重み関数の１例を示した概略図。
【図５】 トレールを検知する回路を包含する本発明のフィルタの１実施例を示した概略図。
【図６】 トレールを検知する回路の１例を示した概略図。
【図７】 本発明のフィルタをＭＰＥＧ２エンコーダへ結合した回路を示した概略図。
【図８】 本発明のフィルタを動き補償回路へ結合した回路を示した概略図。
【発明の属する技術分野】
本発明は、大略、ビデオイメージ処理技術に関するものであって、更に詳細には、デジタルビデオピクチャのノイズをフィルタする技術に関するものである。
【０００２】
【従来の技術】
本発明は高いノイズレベルによって汚染されたデジタルビデオシーケンスをフィルタするのに有用なものである。
【０００３】
デジタル化したビデオシーケンスを取扱う場合のＭＰＥＧスタンダードの重要性のために、ここに提案する方法の具体例を例示するために、ＭＰＥＧ２システムに対して参照するが、本発明方法は、時々確立されるように、異なるスタンダードに基づいてビデオシーケンスを転送するシステムにおいても完全に使用可能なものである。
【０００４】
本発明の主要な適用例はＭＰＥＧ２又はその他のスタンダードの符号化前のピクチャの予備処理であるが、受信後に表示すべきピクチャをフィルタするためのテレビ等の符号化処理以外であっても本発明を利用することが可能である。ＭＰＥＧ２スタンダードに従って符号化すべきピクチャの予備処理は符号化効率を著しく向上させることを可能とする操作である。尚、この点については、Ａ． ｖａｎ ｄｅｒ Ｗｅｒｆ ｅｔ ａｌ．、「Ｉ．ＭｃＩＣ：格納用単一チップＭＰＥＧ２ビデオエンコーダ（Ｉ．ＭｃＩＣ：Ａ ｓｉｎｇｌｅ−ｃｈｉｐ ＭＰＥＧ−２ ｖｉｄｅｏ ｅｎｃｏｄｅｒ ｆｏｒ ｓｔｏｒａｇｅ）」、ＩＥＥＥ・ジャーナル・オブ・ソリッドステート・サーキッツ、Ｖｏｌ．３２、Ｎｏ．１１、１９９７年１１月、Ｌ． Ｙａｎ、「コーデックのＭＰＥＧタイプ用のノイズ減少（Ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ｆｏｒ ＭＰＥＧ ｔｙｐｅ ｏｆ ｃｏｄｅｃ）」、プロシーディングズ・ＩＥＥＥ・インターナショナル・コンフェレンス・アクースティック、スピーチ、信号処理、１９９４等の文献を参照すると良い。
【０００５】
ピクチャのフィルタ技術は多くのものが開発されている。例えば、Ｊ． Ｃ．Ｂｒａｉｌｅｎ、Ｒ． Ｐ． Ｋｌｅｉｈｏｒｓｔ、Ｓ． Ｅｆｓｔｒａｔｉａｄｉｓ、Ａ． Ｋ． Ｋａｔｓａｇｇｅｌｏｓ、Ｒ． Ｌ． Ｌａｇｅｎｄｉｊｋ、「ダイナミックイメージシーケンス用のノイズ減少フィルタ：レビュー（Ｎｏｉｓｅ ｒｕｄｅｃｔｉｏｎ ｆｉｌｔｅｒｓ ｆｏｒ ｄｙｎａｍｉｃ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ： ａ ｒｅｖｉｅｗ）」、プロシーディングズ：ＩＥＥＥ、Ｖｏｌ．８３、１２７０−１２９２頁、１９９６年９月の文献を参照すると良い。
【０００６】
大多数の場合において、これらの技術の厄介な側面は高い計算の能力が必要とされるか、又は同一のピクチャに関しての数回の繰返しである。その結果、それらは、実時間ビデオ適用例に対しては不経済であるか又はほぼ実現不可能なものである。
【０００７】
これまでに実現されている実時間ビデオフィルタ技術（Ｅ． Ｄｕｂｏｉｓ及びＳ． Ｓａｂｒｉ、「動き補償型時間的フィルタ処理を使用したイメージシーケンスにおけるノイズの減少（Ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ｉｎ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ ｕｓｉｎｇ ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ ｔｅｍｔｏｒａｌ ｆｉｌｔｅｒｉｎｇ）」、ＩＥＥＥ・トランズアクションズ・オン・コミュニケーションズ、Ｖｏｌ．ＣＯＭ−３２、８２６−８３１頁、１９８４年７月）は、フィルタすべきピクセル（Ｐo）のフィルタしていないグレイレベル及び作業ウインドウのその他のピクセルのグレイレベルとの間の分離距離に基づいてフィルタ操作を行う。このフィルタ処理の効果は、この場合には、このような距離に逆比例する。その結果、このような距離が大きいピクセルはフィルタ操作には関与しない。
【０００８】
これは、ピクチャの焦点ずれを発生し、且つ、時間的フィルタの場合には、「トレール」を出現させる操作である異なるオブジェクトに属するピクセルの平均を計算することを回避するピクチャのセグメント化する粗い方法である。
【０００９】
文献ＷＯ９７／３０５４５は上述した方法に基づいた動き補償型再帰型フィルタを開示している。このようなフィルタは、現在のピクセルと先行するピクチャ内の対応するピクセルとの間の差の絶対値に依存して、係数βの値を確立し、且つ現在のピクセルの割合部分βと先行する動き補償型ピクチャにおける対応するピクセルの割合部分１−βとを結合させる。このようなシステムは、実質的には、一次のＩＩＲ適用型フィルタである。
【００１０】
このような技術は、例えそれがノイズに起因するものであったとしても、現在のピクセルが先行するピクチャの対応するピクセルから著しく異なるものである場合には、現在のピクセルを不変のまま残すという欠点を有している。
【００１１】
文献ＥＰ０８７０７７６Ａ１は、空間的適用型ローパスフィルタを開示しており、その適応メカニズムは、Ｐoと作業ウインドウの他のピクセルとの間の差の計算に基づいている。ピクチャのあるパラメータの局所的評価が行われ（例えば、考慮中のピクセルが一様なゾーンに属するか否か）、且つそれに基づいて、ファジィー論理処理によってフィルタすべきピクセルが他のピクセルに近いか又は離れているかが決定される。フィルタしたピクセルの値を計算する場合に近いピクセルは遠いピクセルよりもより大きな重みが与えられる。
【００１２】
この場合においても、高いノイズレベルが存在する場合の効果は高いものではない。何故ならば、考慮中のピクセルが一様なゾーンに属する（従って、更にフィルタすることが可能か否か）か否かを評価するためになされる制御がＰとその周りのピクセルとの間の距離に基づいているからである。
【００１３】
Ｓ． Ｉｎａｍｏｒｉ ｅｔ ａｌ．「イメージ処理におけるノイズ減少方法（Ａ ｍｅｔｈｏｄ ｏｆ ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ｏｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇｓ）」、ＩＥＥＥ・トランズアクションズ、オン・コンシューマ・エレクトロニクス、Ｖｏｌ．３９、Ｎｏ．４、１９９３年１１月の文献においては、前述したＤｕｂｏｓ及びＳａｂｒｉによって記載されたものに基づいているがそれより更に洗練された時間的フィルタが記載されており、その場合に、入力−出力特性はノイズの予測されたパワーの関数として適応的に選択される。該フィルタは、トレールの発生を回避するために、動き検知セクションから来る信号によって、及びピクチャの焦点ズレを発生することを防止するためにエッジ検知ブロックによってターンオフされる。
【００１４】
このフィルタであっても前述したタイプのフィルタと同一の欠点を有しており且つノイズピークが存在する場合にはターンオフされねばならない。
【００１５】
これらの公知の技術は高いノイズレベルが存在する場合には不満足なものとなる。処理中のピクセルＰoに対してノイズピーク（スパイク）が重畳される度にフィルタをターンオフすることが必要となる。高いノイズピークは他のサンプルよりもかなり高い値のノイズサンプルである。これらのノイズピークはむしろ小さな確率を有するものであるがゼロではない。何故ならば、多くの種類のノイズ（例えば、ガウスノイズ）の確率的分布のキュー即ち待ち行列は理論的には無限だからである。
【００１６】
このような場合において、上述した公知のフィルタは、決してそのピクチャがノイズによって汚染されたものとしてではなくそのピクチャが満足のいくものではないとして現在のピクセルと隣りのピクセルとの間の通常の差よりも常により大きな差があるものと解釈する。従って、フィルタのノイズ減少性能はかなり制限されている。
【００１７】
作業ウインドウのピクセルを選択する公知の技術は所謂「ダンカンレンジテスト（Ｄｕｃａｎ Ｒａｎｇｅ Ｔｅｓｔ）」（ＤＲＴ）（Ｄ． Ｂ． Ｄｕｎｃａｎ、「マルチプルレンジ及びマルチプルｆテスト（Ｍｕｃｔｉｐｌｅ ｒａｎｇｅ ａｎｄ ｍｕｌｔｉｐｌｅ ｆ−ｔｅｓｔｓ）」、バイオメトリクス、Ｖｏｌ．１１、１−４２頁、１９５５）であって、それは使用されて良好な結果を発生している（Ｒ． Ｐ． Ｋｌｅｉｈｏｒｓｔ、「イメージシーケンスのノイズフィルタ処理（Ｎｏｉｓｅ ｆｉｌｔｅｒｉｎｇ ｏｆ ｉｍａｇｅ ｓｅｑｕｃｅｓ）」、博士論文ＴＵ−Ｄｅｌｆｔ、情報理論グループ、１９９４）。ＤＲＴの特性をハイライトするために、以下に簡単に説明する。
【００１８】
１組のデータ、例えばフィルタすべきピクセルのルミナンス、即ち輝度値、を増加する順に並べるものと仮定する。
【００１９】
【数１】
尚、括弧内の数は並べた組内において取られる位置を表している。ＤＲＴは１組の「類似」した値の定義に基づいており、即ち、以下の条件が満足する場合に２つの値は「類似」であると考えられる。
【００２１】
【数２】
尚、
※σnは既知であると考えられる重畳されたノイズの標準偏差であり、
※ρ|i-j|, αは、テストの精度レベルαと、データの数｜ｉ−ｊ｜（特定の場合においては、ｇ(i)及びｇ(j)との間を構成するピクセルの数）と、ノイズの確率的分布とに依存する値であり、αは誤った決定を取る確率を表しており、明らかに、αが小さければ小さいほど、ρはそれだけ小さく、従って該テストはより制限的なものとなる。
【００２３】
これらを前提として、ＤＲＴの目的は、現在のピクセルＰoを包含しており且つ最大数の「類似」ピクセルを含むサブセットを見つけ出すことである。換言すると、以下のピクセルのサブセットが決定されねばならない。
【００２４】
【数３】
尚、ｉ及びｊは以下の通りである。
【００２６】
【数４】
選択したレンジ即ち範囲に属するピクセルに関してのみ相次ぐフィルタ処理が実施される。注意すべきことであるが、ＤＲＴは、現在のピクセルと共にどのピクセルがフィルタされるべきであり且つどのピクセルがフィルタされるべきでないということを確立する場合にＰoの値を独特の基準値として有するものではない。実質的に、このテストは、必ずしもそれに対して対称的なものではないがＰoを含む全てのインターバルをテストし、且つピクセルのものである最大数のデータを含むインターバルを選択するためにノイズσnの標準偏差の外部的測定に基づくものである。
【００２８】
ＤＲＴはデジタルピクチャ用のフィルタを実現するために具体化されている。このようなフィルタは、フィルタすべき値Ｐoに対して比較的不感度を示し、むしろ一様なゾーン内においてより効果的にフィルタすることを可能とし、該ゾーンにおいては、オブジェクトの輪郭を保護し且つ「トレール（ｔｒａｉｌ）」の形成を回避するが、ノイズをより容易に検知することが可能である。
【００２９】
ＤＲＴを記載することは簡単であるが、処理すべき１組のデータを決定することの関連する困難性を暗示している。実際に、σn・ρ|i ′ -j ′ |, αの積によって与えられるインターバルの振幅は、例えばテストの精度レベルα、ノイズレベルσn及びこの範囲内におけるピクセルの数等の多くのファクタに依存する。後者の依存性は、特に、アルゴリズムを著しく複雑化させる。何故ならば、それは最大数のデータを含むサブセットを識別することが可能である前に、Ｐoを包含するピクセルの多数のサブセットのテストを行うことを必要とするからである。
【００３０】
従って、ＤＲＴの利点を維持しながら、大きなノイズピークを減衰されずに残すことがなく（何故ならば、これはＭＰＥＧ２符号化及びフィルタの下流側におけるビデオ圧縮のその他のシステムの効率を著しく劣化させるからである）、且つ計算上の高い複雑性が関与するものではない（何故ならば、そうでないと、実時間ビデオ適用例のコストが法外なものとなるからである）フィルタ方法に基づいたデジタルビデオピクチャ用のフィルタに対する必要性が存在している。
【００３１】
【発明が解決しようとする課題】
本発明は、以上の点に鑑みなされたものであって、上述した如き従来技術の欠点を解消し、ほぼ完全にノイズピークを除去し且つ比較的容易に実現することが可能であり、実時間ビデオ適用例において使用する場合に比較的廉価なものであってＤＲＴの利点の全てを有するデジタルビデオピクチャ用の新規なフィルタ方法及びフィルタを提供することを目的とする。
【００３２】
【課題を解決するための手段】
本発明によれば、デジタルピクチャのノイズをフィルタ即ち除去する方法が提供され、該方法では、現在のピクチャのフィルタすべきピクセルによって及び第一組のピクセルに時間的及び空間的に近い第二組のピクセルによって構成される第一組のピクセルを選択し、第一組のピクセルに関してフィルタし、選択したビデオ成分の強度の予め確立した重み関数によって取られる値のある数の拡張した和を計算し、且つ第一組のピクセルにわたっての選択したビデオ成分の強度の重み関数で重み付けした和及び前記拡張した和の関数でフィルタすべきピクセルのフィルタし選択したビデオ成分の強度を計算する。
【００３３】
本発明方法は現在のピクチャから又は先行するピクチャから排他的に第二組のピクセルのピクセルを選択する場合であっても実施することが可能である。
【００３４】
本発明方法の簡単な実施例は予め確立された重み関数の各々をフィルタすべきピクセルにおけるフィルタしておらず選択したビデオ成分の関数で且つノイズレベルに関して計算された夫々の中央値に対して反映させることによって実現される。
【００３５】
本発明の好適実施例によれば、フィルタすべきピクセルの選択しフィルタしたビデオ成分の強度が重み付けした和及び拡張した和の間の比の予め確立した重みで重み付けした平均即ち加重平均である。
【００３６】
本発明方法はデジタルピクチャ用のノイズフィルタの形態におけるハードウエア実施例を構成することが可能であり、それは、各ブロックが現在のピクチャのフィルタすべきピクセルと該フィルタすべきピクセルに時間的且つ空間的に近い第二組のピクセルとからなる１組のピクセルが入力され、各ブロックが第一組のピクセルに関して選択したビデオ成分の強度の夫々の予め確立した重み関数によって取られる値の拡張した和を発生し且つ第一組のピクセルに関する選択したビデオ成分の強度の夫々の重み関数での重み付けした和を発生するある数の第一回路ブロック、及び第一回路ブロックの出力へ結合した入力を具備しており、前記重み付けした和及び拡張した和の関数でフィルタすべきピクセルにおけるフィルタし選択したビデオ成分の強度を計算する第二回路ブロックを有している。
【００３７】
上述したフィルタは、好適には、各重み関数をフィルタすべきピクセルのフィルタしておらず選択したビデオ成分の強度及びノイズレベルの関数で計算した夫々の中央値に反映させることによって実現される。
【００３８】
本発明の好適実施例によれば、フィルタの重み関数はテール検知の信号の関数で決定される。
【００３９】
【発明の実施の形態】
本発明方法とＤＲＴとの間の主要な差は、フィルタされるべきピクセルが選択される態様及び該ピクセルに関して行われる操作の点である。
【００４０】
ＤＲＴはフィルタすべきピクセルと「類似」した最大組のピクセルを選択し、それに関してフィルタ操作を逐次的に行うことを意味する。数学的な観点からは、選択した組のピクセルのみを考慮し且つその他のものを無視することは選択した組のピクセルに「１」の係数で重み付けし且つそのような組の外側のピクセルには「０」の係数で重み付けすることに等しく、従って図１ａに示した関数のような「矩形」重み関数でピクセルを重み付けすることに等しい。
【００４１】
このような重み付け関数の選択は、オブジェクトの輪郭を保護し且つフィルタしたピクチャにおいて焦点ズレの効果を発生することを回避しながらピクチャの一様なゾーンを効果的にフィルタする可能性を提供するものであるが、ノイズピークによって表される欠点を除去するものではない。
【００４２】
本発明方法は、理想的には、古典的なＤＲＴの矩形状の重み関数に対して適宜のキュー即ち待ち行列を取付けることによって得られる図１ｂに概略的に示したような形状の重み関数を使用することによって大きなノイズピークによって発生されるこれまで未解決の問題を解消している。
【００４３】
実質的には、各使用可能な重み関数ｋjに対して、フィルタすべきピクセル及び近くのピクセルにおける選択したビデオ成分の強度の値に対応して重みの和ＳＵＭｋjを計算する。このような重みの和を最大とする重み関数ｋMが決定されると、このような関数は以下のフィルタ操作のために使用される。
【００４４】
重要な結果は、ＤＲＴに基づいた公知のフィルタ方法では減衰されなかったノイズピークをほぼ完全に除去することである。実際に、ノイズスパイクが現在のピクセルに重畳された場合に、重み関数のキューのために、現在のピクセルＰoのものとは非常に異なる選択した成分（例えば、輝度）のレベルを有するピクセルであってもフィルタ操作に関与させることが可能である。例えば重み付けした平均即ち加重平均を実施することによってこのようなルミナンス即ち輝度レベルを処理することにより、ノイズパルスを実際的に除去することが可能である。
【００４５】
本発明方法とＤＲＴとの間の別の重要な差異は、本発明方法によって必要とされる操作の数が比較的小さく、そのことは実時間ビデオ適用例に対して使用する場合により廉価なものとさせる上での基本的な側面である。
【００４６】
ＤＲＴにおいては、選択すべきインターバルの振幅は多くのファクタに依存するものであり、例えばテストの精度レベルα、インターバル内のピクセル数、及び重畳されたノイズの標準偏差σn等に依存するものであるが、本発明方法においては、重み関数はインターバル内のピクセルの数及びαの値に依存するものではなくノイズレベルＮＬに依存するものである。このように、計算上の複雑性を比較的高いものとしていた依存性が実際的に除去されている。
【００４７】
ノイズレベルは、しばしば、その標準偏差σnによって記述することが可能であるので、以下の説明においては、このような特定の場合を参照する本発明の実施例について説明するが、本発明は標準偏差σnとは異なるノイズレベルＮＬを記述するためのパラメータを選択する場合であっても完全に使用可能なものである。
【００４８】
更に、ＤＲＴはＰoを包含する全ての可能なインターバルをテストするものであるが、本発明方法はＤＲＴの有益的な側面を維持しながら比較的少ない数のこのようなインターバルのみをテストするものである。
【００４９】
ＤＲＴと比較した場合の本発明方法の唯一の欠点は、重み関数の中にキュー即ち待ち行列が存在するために、作業を行うピクセルからなるグループ、即ちWORKING WINDOWを選択するために必要な操作が多少複雑なものであるということである。それにも拘わらず、このような組が充分に多数のピクセルを包含している場合には、フィルタ処理はそのキューの実際の形状には比較的影響されることがないことが判明している。従って、２の冪に等しい値のみを割り当てることによって重み関数のみを任意の態様で量子化することが可能であり、従ってハードウエアで実現する場合に著しく簡単化させることが可能である。
【００５０】
本発明方法を実現するフィルタの最も簡単な実施例を図２に示してある。
【００５１】
「作業ウインドウ」ブロックが、現在のピクチャに属しておりフィルタされるべきピクセルＰ及びＰに時間的及び空間的に近い第二組のピクセルPIXEL NEARを有するWORKING WINDOWを構成する１組のピクセルを選択する。このような第二組PIXEL NEARは、現在のピクチャのみに属するピクセルから構成するか、又は現在のピクチャに属するピクセルと先行するピクチャに属するピクセルから構成することが可能である。
【００５２】
次いで、該ウインドウのピクセルの値をＮ個のブロックからなるアレイ（ＲＡＮＧＥｊ，尚、ｊ＝１，２，３，．．．，Ｎ）入力し、各ブロックはWORKING WINDOWのピクセルにおいてそれ自身の重み関数に従って選択したビデオ成分の強度の重み付けを行う。
【００５３】
ブロックＲＡＮＧＥｊは、ノイズレベルＮＬに基づいてそれ自身の重み関数を発生させるために、ノイズレベルＮＬに関する情報を与えることが可能である。このようなブロックはWORKING WINDOWのピクセルに関するそれ自身の重み関数によって取られる値の次式で表される夫々の拡張した和、
【数５】
及び選択したビデオ成分の強度の次式で表される夫々の重み付けした和、
【数６】
を出力する。
【００５６】
「フィルタ処理セクション」ブロックはフィルタしたピクセルＦＩＬＴの強度の値を与える。
【００５７】
図２に示したように、「フィルタ処理セクション」のブロックの前に「レンジ選択」というブロックが設けられている本発明方法の特定の実施例について説明すると、該ブロックはＮ個のブロックＲＡＮＧＥｊの出力へ結合されており、それは最大の拡張した和ＳＵＭｋM及び夫々の重み付けした和ＳＵＭｋｘMの選択を行う。
【００５８】
「フィルタ処理セクション」ブロックを具体化する可能性のうちの１つは、選択したインターバルのピクセルの単純な加重平均を計算するものであり、即ち次式に従って計算することである。
【００５９】
【数７】
別の実施形態においては、重み付けした和μを、例えば、次式で示されるように現在のピクセルと結合させることが可能である。
【００６１】
【数８】
尚、係数αは、例えば、フィルタ処理操作のための選択したインターバルに依存して確立される。このような係数αは、スイッチングフィルタ（前掲したＲ． Ｐ． Ｋｌｅｉｈｏｒｓｔ著の文献参照）におけるように、例えばノイズ偏差σn 2とすることが可能なノイズレベルを表すパラメータと比較して、ピクチャの局所的偏差σg 2の値に依存して計算することも可能である。
【００６３】
【数９】
通常、「フィルタ処理セクション」はＳＵＭｋj及びＳＵＭｋｘjの値の全てから開始してＦＩＬＴの値を計算することが可能である。
【００６５】
「作業ウインドウ」ブロックは、例えば、図３に示したように、現在のピクチャと先行するピクチャとに属するピクセルを有することが可能な１組のピクセルWORKING WIDOWを定義する。先行するピクチャはノイズによって汚染されたピクチャか又はフィルタしたピクチャとすることが可能である。いずれの場合においても、WORKING WINDOWは、現在のピクチャ又は先行するピクチャを格納するフレームメモリが使用可能でない場合には、空間的な種類のもののみとすることが可能である。
【００６６】
異なる重み関数を発生する可能な態様のうちの１つは、図４において例示されているように、それらを同一の形状のものとし且つ各ブロックＲＡＮＧＥｊに対して異なる位置ＣＥＮＴＥＲｊ上でそれらを中心位置決めさせることである。
【００６７】
種々のブロックＲＡＮＧＥｊに対するＣＥＮＴＥＲｊの１組の可能な値がインデックスｊのフィルタされるべきピクセルＰoにおいて選択されたビデオ成分の強度及び、上述したことに従って、次式で示すようにσnによって完全に記述することが可能なノイズレベルＮＬの関数によって決定される。
【００６８】
【数１０】
ＣＥＮＴＥＲｊの値の可能な選択のうちの１つの例は次式によって与えられる。
【００７０】
【数１１】
これはＰo−σnとＰo＋σnとの間において等間隔に離隔されているＣＥＮＴＥＲｊのＮ個の値を発生する。
【００７２】
単なる１つの例として重み関数の可能な形状を図４に示してある。ＣＥＮＴＥＲｊからのスレッシュホールドＴｈ１，Ｔｈ２，．．．，ＴｈＭの分離はσnの関数として意図されている。表示された係数は２の冪に等しく、従ってフィルタのハードウエアによる実現を簡単化させているが、例えば、本発明のフィルタが非実時間適用例において使用される場合においてそれらに異なる値を与えることが不可能なわけではない。
【００７３】
図２に示したフィルタはσn推定器が設けられていないので、ノイズレベルの推定値を得るためには、所望の程度のフィルタ処理の手動的外部調整又は自動化システムを使用することが可能である。両方の場合において、σnを過剰に推定する可能性があり、従って、空間的−時間的ウインドウの場合には、例えば「トレール（ｔｒａｉｌ）」（文献においては、「コメットテール（ｃｏｍｅｔ ｔａｉｌ）」又は単に「トレール（ｔｒａｉｌ）」として知られている）等の人工的効果を発生する可能性がある。
【００７４】
このような場合には、フィルタ処理を調整することが可能であるためにトレールの発生を検知するための回路ブロック（「テール検知」）が必要である。このようなテール検知ブロックを有するシステムを図５に示してある。
【００７５】
図示したように、「レンジ」（ＲＡＮＧＥｊ、尚ｊ＝１，２，３，．．．，Ｎ）と、「レンジ選択」と、「フィルタ処理セクション」との夫々のブロックを有する「フィルタ」ブロックが「テール検知」ブロックへ結合されており、「テール検知」ブロックはWORKING WINDOWのピクセルを検査し、究極的にテール検知信号ＴＤを発生する。
【００７６】
テール検知の場合には、問題の多数の異なる訂正が可能である。例えば、「フィルタ」ブロックは、このような信号ＴＤに依存してフィルタ処理をディスエーブル即ち動作不能状態とさせ且つ現在のピクセルＰoの値を出力することが可能であり、又は現在のフレームに属するピクセルのみに関してフィルタ処理を実施することが可能であり、又はフィルタ処理に関する先行するピクチャのピクセルの影響を減少させることが可能である。従って、図５に示した「フィルタ」ブロックは、信号ＴＤに依存して所望の制御動作を発生させる専用の回路を有することが可能である。
【００７７】
「テール検知」（Ｓ． Ｉｎａｍｏｒｉ，Ｓ． Ｙａｍａｕｃｈｉ，Ｋ． Ｆｕｋｕｈａｒａ、「イメージ処理に関するノイズ減少方法（Ａ ｍｅｔｈｏｄ ｏｆ ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ｏｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）」、ＩＥＥＥ・トランズアクション・オン・コンシューマ・エレクトロニクス、Ｖｏｌ．３９、Ｎｏ．４、１９９３年１１月の文献参照）ブロックをどのようにして実現することが可能であるかの１つの例を図６に示してある。現在のピクチャのピクセルと先行するピクチャの対応するピクセルとの間の差がＤＩＦＦブロックによって発生される。ＤＩＦＦブロックは同数の「符号ビット」ブロックへ結合されており、該「符号ビット」ブロックは相対的な差の符号を表すビットを発生し、それらはＡＬＬ０及びＡＬＬ１ブロックへ入力され、ビット入力が全て０であるか又は全て１である場合には、夫々０又は１を出力する。出力フラグＴＤがＡＬＬ０及びＡＬＬ１ブロックの出力の論理ＯＲによって発生される。
【００７８】
該フィルタは図７に示したように、ＭＰＥＧ２エンコーダの上流側に設けるか、又はその中に設けることが可能である（Ｗ． Ｂｒｕｌｓ，Ｒ． Ｐ． Ｋｌｅｉｈｏｒｓｔ，Ａ． Ｖａｎ ｄｅｒ Ｗｅｒｆ、特許ＷＯ９７／３０５４５、１９９７年１月２３日出願を参照すると良い）。
【００７９】
図示した如く、符号化したビットストリームＯＵＴを出力するＭＰＥＧエンコーダが「遅延」ブロックによって与えられるピクチャの遅延されたレプリカを使用して入力ピクチャＩＮＰの予備処理を実施する本発明のフィルタの出力へ結合されている。ＭＰＥＧエンコーダは動き補償型フィルタ処理を行うために動き推定用のブロックを有することが可能であり、従ってフィルタ処理及び符号化の効率を増加させることが可能である。図８に示したように、ＭＰＥＧ２エンコーダとは別に動き補償フィルタを使用することも可能である。
【００８０】
本発明の「フィルタ」はその入力においてフィルタすべきピクチャＩＮＰ及び予測されたピクチャＰＲＥＤを受取り、且つフィルタしたピクチャＯＵＴを出力する。予測したピクチャＰＲＥＤは動き補償ブロックＭＣと、動き推定器ブロックＭＥと、「遅延」ブロックの結合した動作によって得られる。
【００８１】
動き推定器ＭＥは、現在のピクチャＩＮＰから及び「遅延」ブロックによって適宜遅延されており前にフィルタしたピクチャＯＵＴのレプリカから動きベクトルＭＶを発生し、それは動き補償ブロックＭＣによって使用される。動き補償ブロックＭＣは動きベクトルＭＶ及び「遅延」によって与えられた遅延されたピクチャの関数として予測されたピクチャＰＲＥＤを計算する。
【００８２】
実験結果によれば、ルミナンスをフィルタ処理するために使用した同一のハードウエア構造をクロミナンスをフィルタ処理するためにも完全に使用可能であることが確認された。通常３つのビデオ信号に対して異なるものである夫々のノイズレベルの適宜の値が与えられる限り、ビデオ信号の各々に対して３つの同一のフィルタを使用することが可能である。
【００８３】
以上、本発明の具体的実施の態様について詳細に説明したが、本発明は、これら具体例にのみ制限されるべきものではなく、本発明の技術的範囲を逸脱することなしに種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【図１ａ】 ＤＲＴの重み関数の典型的な形状を示した概略図。
【図１ｂ】 本発明方法の重み関数の１つの可能な形状を示した概略図。
【図２】 本発明に基づいて構成したフィルタの基本的な構成を示した概略図。
【図３】 フィルタ処理中の現在のピクチャのピクセルに時間的及び空間的に近いピクセルの選択の１例を示した概略図。
【図４】 量子化した重み関数の１例を示した概略図。
【図５】 トレールを検知する回路を包含する本発明のフィルタの１実施例を示した概略図。
【図６】 トレールを検知する回路の１例を示した概略図。
【図７】 本発明のフィルタをＭＰＥＧ２エンコーダへ結合した回路を示した概略図。
【図８】 本発明のフィルタを動き補償回路へ結合した回路を示した概略図。
Claims (7)
- サンプルし且つデジタル化したピクチャにおいてノイズをフィルタする方法において、
現在のピクチャにおけるフィルタすべきピクセルと、前記フィルタすべきピクセルに時間的に且つ空間的に隣接している他の複数のピクセルとによって構成される一組のピクセル（ＷＯＲＫＩＮＧ＿ＷＩＮＤＯＷ）を選択し、
各々が夫々のブロックの重み関数に従って計算される重み（ｋj）を前記一組（ＷＯＲＫＩＮＧ＿ＷＩＮＤＯＷ）の各ピクセルへ関連付ける重み関数によって特性付けられる複数個の重み付けブロックにより前記一組のピクセルに関して選択したビデオ成分の強度を処理して前記計算した重みの拡張した和（ＳＵＭｋj）及び前記一組のピクセルの強度の重み付けした和（ＳＵＭｋｘj）を発生し、
前記拡張した和（ＳＵＭｋj）及び前記重み付けした和（ＳＵＭｋｘj）を処理して一つの拡張した和（ＳＵＭｋM）及びそれと関連する重み付けした和（ＳＵＭｋｘM）を選択し、
前記選択した重み付けした和（ＳＵＭｋｘM）と前記選択した拡張した和（ＳＵＭｋM）との間の比（μ）として前記強度の加重平均を計算し、
前記フィルタすべきピクセルにおけるフィルタされていない選択したビデオ成分の強度と前記比（μ）との間の差と、１より大きくない正の係数（α）と、の積と、前記比（μ）との間の和として前記フィルタすべきピクセルのノイズを減少させた強度を計算する、
ことを特徴とする方法。 - 請求項１において、前記一組のピクセル（ＷＯＲＫＩＮＧ＿ＷＩＮＤＯＷ）が現在のピクチャに属することを特徴とする方法。
- 請求項１において、前記一組のピクセル（ＷＯＲＫＩＮＧ＿ＷＩＮＤＯＷ）が一つ又はそれ以上の先行するピクチャに属することを特徴とする方法。
- 請求項１乃至３の内のいずれか１項において、前記重み関数が夫々の中央値に関して対称的であり、前記中央値が前記フィルタすべきピクセルのフィルタされていない選択したビデオ成分の及び推定したノイズレベルの関数として計算されることを特徴とする方法。
- 請求項１乃至４の内のいずれか１項において、前記選択した拡張した和（ＳＵＭｋM）が前記重み付けブロックにより出力される拡張した和（ＳＵＭｋj）の中で最大のものであるように、前記選択した重み付けした和（ＳＵＭｋｘM）及び前記選択した拡張した和（ＳＵＭｋM）が選択されることを特徴とする方法。
- 請求項１乃至５の内のいずれか１項において、前記１より大きくない正の係数（α）が推定したノイズ偏差（σn 2）の及び現在のピクチャの局所的偏差（σg 2）の関数として計算されることを特徴とする方法。
- 請求項１乃至６の内のいずれか１項において、前記重み関数が現在のピクチャと先行するピクチャとの間の時間的相関を表すテール検知信号に基づいて確立されることを特徴とする方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP99830705.2 | 1999-11-12 | ||
| EP99830705A EP1100260A1 (en) | 1999-11-12 | 1999-11-12 | Spatio-temporal filtering method for noise reduction during pre-processing of picture sequences in video encoders |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001186379A JP2001186379A (ja) | 2001-07-06 |
| JP3679324B2 true JP3679324B2 (ja) | 2005-08-03 |
Family
ID=8243665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000343934A Expired - Fee Related JP3679324B2 (ja) | 1999-11-12 | 2000-11-10 | ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6657676B1 (ja) |
| EP (1) | EP1100260A1 (ja) |
| JP (1) | JP3679324B2 (ja) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6335990B1 (en) * | 1997-07-03 | 2002-01-01 | Cisco Technology, Inc. | System and method for spatial temporal-filtering for improving compressed digital video |
| WO2001035636A1 (en) * | 1999-11-11 | 2001-05-17 | Stmicroelectronics Asia Pacific Pte Ltd. | Spatio-temporal video noise reduction system |
| JP2004514351A (ja) * | 2000-11-17 | 2004-05-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ブロックマッチング処理を用いたビデオ符号化方法 |
| KR20020086937A (ko) * | 2001-01-26 | 2002-11-20 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 시공간 필터 유닛 및 이러한 시공간 필터 유닛을 포함하는영상 디스플레이 장치 |
| US7110455B2 (en) * | 2001-08-14 | 2006-09-19 | General Instrument Corporation | Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering |
| EP1394742B1 (en) | 2002-08-23 | 2007-12-12 | STMicroelectronics S.r.l. | Method for filtering the noise of a digital image sequence |
| US7639741B1 (en) * | 2002-12-06 | 2009-12-29 | Altera Corporation | Temporal filtering using object motion estimation |
| US7373013B2 (en) * | 2003-12-23 | 2008-05-13 | General Instrument Corporation | Directional video filters for locally adaptive spatial noise reduction |
| US7437013B2 (en) * | 2003-12-23 | 2008-10-14 | General Instrument Corporation | Directional spatial video noise reduction |
| EP1605403A1 (en) | 2004-06-08 | 2005-12-14 | STMicroelectronics S.r.l. | Filtering of noisy images |
| US20050286638A1 (en) * | 2004-06-23 | 2005-12-29 | Qpixel Technology International, Inc. | Image flow knowledge assisted latency-free in-loop temporal filter |
| US8649436B2 (en) * | 2004-08-20 | 2014-02-11 | Sigma Designs Inc. | Methods for efficient implementation of skip/direct modes in digital video compression algorithms |
| KR20060043051A (ko) * | 2004-09-23 | 2006-05-15 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
| WO2006101128A1 (ja) * | 2005-03-22 | 2006-09-28 | Olympus Corporation | 画像処理装置及び内視鏡装置 |
| US7663701B2 (en) * | 2005-04-11 | 2010-02-16 | Ati Technologies, Inc. | Systems, methods, and apparatus for noise reduction |
| AU2006244201B2 (en) * | 2005-05-09 | 2012-09-06 | Lockheed Martin Corporation | Continuous extended range image processing |
| US20070098086A1 (en) * | 2005-10-28 | 2007-05-03 | Vasudev Bhaskaran | Spatio-temporal noise filter for digital video |
| WO2008005007A1 (en) * | 2006-06-29 | 2008-01-10 | Thomson Licensing | Adaptive pixel-based filtering |
| US8009732B2 (en) * | 2006-09-01 | 2011-08-30 | Seiko Epson Corporation | In-loop noise reduction within an encoder framework |
| CN101536031B (zh) | 2006-09-29 | 2013-07-17 | 汤姆森许可贸易公司 | 用于基于像素的自适应滤波的自动参数估计 |
| US20110097010A1 (en) * | 2006-12-13 | 2011-04-28 | Jian Wang | Method and system for reducing noise in images in video coding |
| WO2008119480A2 (en) * | 2007-03-31 | 2008-10-09 | Sony Deutschland Gmbh | Noise reduction method and unit for an image frame |
| IT1403150B1 (it) | 2010-11-24 | 2013-10-04 | St Microelectronics Srl | Procedimento e dispositivo per depurare dal rumore un segnale video digitale, relativo prodotto informatico. |
| US9510018B2 (en) | 2011-11-23 | 2016-11-29 | Luca Rossato | Signal analysis and generation of transient information |
| CN102752483A (zh) * | 2012-06-12 | 2012-10-24 | 天津天地伟业数码科技有限公司 | 基于fpga平台的滤波降噪系统及滤波降噪方法 |
| US10313565B2 (en) * | 2014-06-26 | 2019-06-04 | Integrated Device Technology, Inc. | Methods and apparatuses for edge preserving and/or edge enhancing spatial filter |
| US10027986B2 (en) | 2014-09-24 | 2018-07-17 | Integrated Device Technology, Inc. | Apparatuses and methods for filtering noise from a video signal |
| US10057601B2 (en) | 2015-06-22 | 2018-08-21 | Integrated Device Technology, Inc. | Methods and apparatuses for filtering of ringing artifacts post decoding |
| CN104994397B (zh) * | 2015-07-08 | 2018-11-09 | 北京大学深圳研究生院 | 基于时域信息的自适应视频预处理方法 |
| CN106327447B (zh) * | 2016-08-30 | 2019-05-03 | 天津天地伟业物联网技术有限公司 | 基于fpga平台的空域和像素域混合降噪方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0601655A1 (en) * | 1992-12-10 | 1994-06-15 | Koninklijke Philips Electronics N.V. | Noise reduction filter |
| US6005626A (en) * | 1997-01-09 | 1999-12-21 | Sun Microsystems, Inc. | Digital video signal encoder and encoding method |
| US6067125A (en) * | 1997-05-15 | 2000-05-23 | Minerva Systems | Structure and method for film grain noise reduction |
-
1999
- 1999-11-12 EP EP99830705A patent/EP1100260A1/en not_active Withdrawn
-
2000
- 2000-11-10 JP JP2000343934A patent/JP3679324B2/ja not_active Expired - Fee Related
- 2000-11-10 US US09/710,502 patent/US6657676B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1100260A1 (en) | 2001-05-16 |
| US6657676B1 (en) | 2003-12-02 |
| JP2001186379A (ja) | 2001-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3679324B2 (ja) | ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法 | |
| EP0614312B1 (en) | Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction | |
| US7657098B2 (en) | Method and apparatus for reducing mosquito noise in decoded video sequence | |
| US6535254B1 (en) | Method and device for noise reduction | |
| US8184705B2 (en) | Method and apparatus for motion compensated filtering of video signals | |
| US20040120597A1 (en) | Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal | |
| US20070070250A1 (en) | Methods for adaptive noise reduction based on global motion estimation | |
| WO2002001855A2 (en) | Apparatus and method for adaptively reducing noise in a noisy input image signal | |
| US20050243213A1 (en) | Adaptive non-linear noise reduction techniques | |
| US20020094130A1 (en) | Noise filtering an image sequence | |
| JPH05236302A (ja) | フレーム伝送された映像信号におけるノイズを低減する方法 | |
| JP2003510983A (ja) | 分類適応誤り回復方法及び装置 | |
| Reeja et al. | Real time video denoising | |
| JP4222753B2 (ja) | 分類適応誤り回復方法及び装置 | |
| US20110279684A1 (en) | Signal processing device and signal processing method | |
| JP4443767B2 (ja) | 動きベクトルの伝送コスト低減のための動き推定の方法 | |
| US8090210B2 (en) | Recursive 3D super precision method for smoothly changing area | |
| JP2002536935A5 (ja) | ||
| JPH06121194A (ja) | ノイズ除去回路 | |
| KR100772380B1 (ko) | 확장된 잡음 적응 움직임 검출 방법 및 장치 | |
| Chen et al. | Noise variance adaptive successive elimination algorithm for block motion estimation: Application for video surveillance | |
| JPS61140291A (ja) | 動画像信号の動静分離装置 | |
| Saeidi et al. | Noise reduction in image sequences using an effective fuzzy algorithm | |
| Huang et al. | An adaptive spatial filter for additive Gaussian and impulse noise reduction in video signals | |
| FR2624680A1 (fr) | Procede et dispositif de reduction de la visibilite du bruit sur les images de television |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040630 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050419 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050512 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |