JP4065287B2 - 画像データのノイズ除去方法及びその装置 - Google Patents

Description

本発明は画像データの処理技術に関し、特に画像データの取得時及び符号化の際に生じたノイズを有効に除去する方法及びその装置に関する。

現在、画像データ符号化により画像データの高圧縮化が行われており、その際、画像データの前処理及びポスト処理を施すことが重要なことであると考えられている。
画像データの取得時及び符号化の際に生じる種々のノイズを除去（フィルタリング）する技術として、従来より、例えばメディアン（Median）フィルタ、ＭＴＭ（Modified trimmedmean）フィルタ、ＦＭＨ（FIR-median hybrid）フィルタ、エッジ保存平滑化（Edge preserving smoothing）フィルタ等が提案されている。
メディアンフィルタは、エッジを保持しつつ、画像からインパルス型のノイズを除去するように設計された非線形復元技術である。一般に、２次元メディアンフィルタは、当該画素を取り囲む、３×３、または５×５サイズの矩形マスクを用いる。

ＭＴＭフィルタは、メディアンフィルタと平均値フィルタとを組み合わせたもので、メディアンフィルタの欠点を克服して雑音抑制効果の向上を狙いとしている。処理としては、先ず、メディアンを求め、それに近い値を持つ画素を対象に平均値フィルタを施し、その結果を出力する。平均値フィルタの対象範囲を画像の特性に依存して如何に設定するかが課題として残されている。また、従来のメディアンフィルタと比較して、エッジ部分でのボケが更に顕著になることが指摘されている。
ＦＭＨフィルタは、ＭＴＭフィルタと同様、メディアンフィルタと平均値フィルタとを組み合わせたものであるが、ＦＭＨフィルタは、さきに平均値フィルタを適用している点が異なる。また、平均値フィルタ用のマスクは、９０度または４５度に量子化された方向性を持ったものを用いている。ＭＴＭフィルタと比較して、エッジ部分でのボケが抑制されており、かつ、計算量も大幅に低減されている。

エッジ保存平滑化フィルタは、選択的平滑化フィルタの一種であり、領域の局所的な性質に依存してマスクを適応的に切り替えている。最初に、数種類の多角形マスクを定義し、次に、各マスクに該当する領域内での画素値の変化の度合いを計算する。そして、その中で、画素値の変化の度合いが最小となるマスクを選び、そのマスクに該当する領域内での画素値の平均値を出力とする。エッジを保存しつつ、雑音抑制を達成しているが、細かいテキスチャが消失するという欠点が指摘されている。

しかしながら、これらの上記従来技術は、エッジ（画像の輝度が急峻に変化する部分）やテキスチャのような画像の特徴を不鮮明にすることなく、かつノイズを除去するという２つの目的を同時に達成するという点において、必ずしも満足のいくものではない。これは、従来技術の大部分が、いくつかの所定のマスク、例えば水平、垂直又は多角形のマスク毎に統計値を算出して、その値を比較して領域を最もよく表現している均質（homogeneous）な画素からなるマスクを選択するものであるが、選択されたマスク上の画素が必ずしも均質ではなく、異質（heterogeneous）な場合があるからである。つまり、画像の特徴であるエッジやテキスチャを表す異質な領域をフィルタ処理することによって、それらの画像の特徴を劣化させてしまうことがある。

本発明は、従来のように予め準備されたマスクについて統計的比較を行う替わりに、均質な画素から成るマスクの形状を柔軟かつ適応的に決定することにより、特徴の保持並びにノイズの除去という２つの目的を達成することができるノイズ除去方法を提供する。
本発明の他の目的は、２値インデックスの概念を用いたフィルタ処理技術であるＤＰＮＦ（Detail Preserving Noise Filtering）を提供する。
本発明の他の目的は、原画像データの前処理に適用することができるノイズ除去方法を提供する。
本発明の他の目的は、ＭＰＥＧ復号画像に適用されるノイズ除去方法を提供する。

上記従来技術の課題を解決するために、本発明に係る画像データのノイズ除去方法は、２次元的に配置された画素を含む画像データを所定のしきい値を用いて２値化し、２値化された画像データ内のフィルタ処理の対象となる画素の位置に対応してＭ×Ｎサイズのウィンドゥを画定し、ウィンドゥに包含される各２値データに依存したノイズ除去フィルタを選択するものである。
好ましくは、まず、画像データをウィンドゥより大きいサイズのブロックに分割し、各ブロック毎にしきい値を決定する。次に、入力画像データ（原画像や復号画像を含む）の各画素値をしきい値を用いて、２つのレベルに分け、２値インデックスを生成する。そして、そのインデックスを検査して、均質領域か異質領域かを判定し、それらの領域特性に依存した最適なフィルタを選択する。

本発明によれば、上述したように、２値インデックスという概念を導入し、エッジやテキスチャなどの特徴が存在する部分と、そうでない部分に応じて、適切にノイズ除去フィルタの選択を行うことができるので、画像の特徴を維持しつつノイズの除去するという目的を同時に達成でき、また、このような処理に要する計算も従来のものと比較して格段に低減することが可能となる。

本発明の実施例を図面に参照して説明する。
図１は、本実施例のＤＰＮＦに係るノイズ除去プロセスを示すブロック図である。本実施例に係るノイズ除去プロセス１は、２つのサブ・プロセス、即ち、インデックス生成部２と、選択的局所平滑化部３から構成される。インデックス生成部２は、しきい値決定部４と２値インデックス部５を有し、選択的局所平滑化部３は、フィルタ選択部６と適応型フィルタ処理部７を有する。
インデックス生成部２は、入力画像の各画素を、所定のしきい値を用いて、より低いグレイレベルと、より高いグレイレベルとのいずれか一方に区分けを行い、選択的局所平滑部３は、同一インデックスをもつ画素を対象に局所的な平滑化を行う。

ここで、インデックス生成の概念は、エッジを含む領域を２つ又は３つの代表的な画素値で表わし得るブロック符号化（block truncation coding）から派生している。このインデックス生成は、ウィンドゥのサイズＭ×Ｎより大きい矩形ブロックを単位として実行しなければならない。
本実施例では、７０４×４０８画素サイズの画像データを入力し、８×８の矩形ブロックを基本に２値インデックスを求め、平滑化マスク、即ちフィルタを、これよりも小さい３×３、または５×５のサイズとする。
先ず、画像データがインデックス生成部２に入力され、しきい値決定部４が画像データから８×８ブロックを処理単位として取り出し、各ブロック毎にしきい値を決定する。しきい値の決定方法は、８×８ブロック内の画素のダイナミックレンジの中間値を用いて決定する。中間値を使用することにより、エッジ廻りにモヤモヤと発生する、いわゆるモスキート雑音を効果的に減少させることができる。

２値インデックス部５は、こうして各ブロック毎に得られたしきい値を、対応するブロック内の各画素値と比較し、各画素に対応する２値インデックス、即ち、より大きいグレイレベルと、より小さいグレイレベルを表す２値データを生成する。
しきい値τを用いてテストする画素のグレイレベルをρとすると、２値インデックスφは以下の様に定義される。

なお、本実施例では、しきい値の決定にダイナミックレンジの中間値を用いたが、ダイナミックレンジの平均値やメディアン（中央値）を使用することも可能である。
次に、選択的局所平滑化部３のフィルタ選択部６において、２値インデックスφを参照して、ノイズを除去するための最適なフィルタが選択される。
最適なフィルタの選択は、具体的には、８×８ブロックの２値インデックスに対して、（２Ｎ＋１）×（２Ｎ＋１）のウィンドゥを画定し、このウィンドゥ内の２値インデックスφを調べることにより行われる（各座標（ｉ，ｊ）において、Ｎ＝１または２でありｉ，ｊ＝−Ｎ，…Ｏ，…Ｎである）。
φ（ｉ，ｊ）及びρ（ｉ，ｊ）は、それぞれ２値インデックス及びグレイレベルであり、ｉ＝ｊ＝０の位置、つまり、ウィンドゥの中心がフィルタ処理の対象となる画素である。また、重み係数λ（ｉ，ｊ）のフィルタΛを仮定する。
適応型フィルタ処理部７によって適応型フィルタ処理が比較的容易に実行され、出力グレイレベルθを得ることができる。

フィルタの選択は、各ウィンドゥ毎に実行される。即ち、ウィンドゥ中に存在する各２値インデックスφの値に応じて、均質、異質、及びインパルスノイズの３つのタイプに分類される。
図２に、８×８ブロックの２値インデックスと、３×３のウィンドゥを仮定した場合のフィルタの選択の一例を示す。同図において、８×８ブロック内のフィルタ処理の対象となる画素がウィンドゥの中央に位置するように、３×３のウィンドゥを画定する。つまり、ウィンドゥの中央のインデックスを持つ画素が出力画素に相当する。
ウィンドゥＡは、そこに包含されるすべての２値インデックスφが「０」であり、つまり、エッジやテキスチャなどの特徴が含まれていない均質領域であることを示す。ウィンドゥＢは、「０」と「１」の２値インデックスφが混在する異質領域であることを示し、ここには、エッジやテキスチャなどの特徴が含まれる。また、ウィンドゥＣは、中心画素がすべて反対のインデックス「０」を持つ画素で囲まれたインパルスノイズ領域であることを示す。

同一インデックスから成る均質領域は、比較的強い平滑化フィルタによりフィルタ処理が行われ、ノイズが抑制される。フィルタは、図３のＡに示すように、ウィンドゥに対応するサイズの係数を有し、各係数の値は、３×３の画素数によって割った値「１／９」が選択される。
次に、２つのインデックスから成る異質領域は、エッジやテキスチャなどの特徴が存在するため、比較的弱い平滑化フィルタによりフィルタ処理され、これらの特徴が保持される。フィルタは、図３のＢに示すように、中心画素と同じインデックスを有する画素のみをカウントして、該カウント値によって割った値「１／６」が係数として選択され、中央の画素と異なるインデックスを持つ画素に対する係数は「０」となる。

また、全て反対のインデックスで囲まれた画素はインパルスノイズとしてみなされ、その周囲の画素によって補間される。ここでは、図３のＣに示すように、中心画素と異なるインデックスを持つ画素の数は８個なので値「１／８」がフィルタの係数として選択され、中心画素に対しては、「０」が選択される。
このように、フィルタの重み係数は、ウィンドゥの領域特性（エッジやテキスチャからの距離や、それらの特徴の存否）に依存して選択される。なお、本実施例では、全てのｉ及びｊに対しλ（ｉ，ｊ）＝１とし、インパルスを含む領域は、インデックスをすべて反転させた後、式（２）を適用する。

表１に、従来技術及び本実施例の各フィルタの出力画素当りの計算量を示す。本実施例に係るフィルタ（ＤＰＮＦ）以外は５×５ウィンドゥを使用した。この表からも明らかなように、ＤＰＮＦの計算量はかなり低いレベルにあることが判る。

次に、本発明の第２の実施例を以下に説明する。
第２の実施例は、第１の実施例に示した２値インデックスの概念を用いたフィルタリング手法である、ＤＰＮＦをＭＰＥＧによって復号された画像へ適用するポスト処理の例を示す。
ＭＰＥＧ標準のＤＰＮＦの最適化において、次の２つのことを前提とする。
第１に、画像解像度は、ＳＩＦ（３５２×２４０画素）、ＣＣＩＲ（７０１×４８０画素）か、もしくはそれらの２つの値の間であるということ、第２に、ＤＣＴ係数や量子化スケールのようなビットストリーム内の情報は利用できないということである。本実施例に係るフィルタは、デコーダに取り付けられるので、後者の前提は重要なことである。

そこで、本実施例では、ＭＰＥＧの特徴を考慮し、ＭＰＥＧによって復号された画像へ適用するためにＤＰＮＦを種々変更し、画質と費用対効果を改良するに当り以下の点を考慮する。
・フィルタ係数の適応化
・インターレース走査画像への適用
・ブロッキング・ノイズの抑制
・低ビット速度への適用
・ハードウェア化の際のコスト削減
まず、フィルタ係数の適応化について説明する。先の第１の実施例と同様に、７０４×４８０サイズのＭＰＥＧ復号画像を入力し、この画像から８×８ブロックサイズを取り出し、各ブロックについてのしきい値を決定し、入力画像についての２値インデックスを求める。

ここで、第１の実施例では、フィルタを選択する場合に、ウィンドゥ内の領域を均質領域、異質領域、及びインパルスノイズ領域の３つの領域をそれぞれ分類し、それらの領域特性に応じてフィルタ処理するようにしたが、本実施例では、符号化・復号化の過程でインパルスタイプのノイズはほとんど発生しないと仮定するため、中心画素がすべての反対のインデックスを持つ画素によって囲まれた領域を異質領域とみなす。従って、フィルタ処理された出力は中心画素の元の値と等しくなる。
図４に、インデックス生成された８×８ブロックの２値インデックスと、そこに画定される５×５ウィンドゥを一例として示す。同図において、ウィンドゥＡは、インデックスがすべて「０」からなる均質領域であり、ウィンドゥＢは、インデックス「０」と「１」とからなる異質領域である。なお、ＳＩＦ及びＣＣＩＲの画像に対しては共に５×５のウィンドゥを用いる。

本実施例においても、フィルタ係数を可変にし、即ち、均質領域には強い平滑化を行い、異質領域には弱い平滑化を行う。適応型フィルタリングを利用する方法では、異質領域における強い平滑化フィルタの使用は、エッジなどの特徴の損失を生じ、他方、均質領域における弱い平滑化フィルタの使用は、ノイズ抑制が不十分となる。また、この適応化手法は、領域特性に応じてウィンドゥのサイズを可変にするアダプテイブ・ウインドニング（adeptive windowing） の概念を取り入れており、そのマスクの大きさは各ウィンドゥ毎に異なる。ゆっくり変化する領域では大きなマスクを用いることによりノイズ抑制が強調され、変化の大きい領域では比較的小さなマスクを用いることにより特徴の保持が強調される。
こうして、図５（ａ）（ｂ）に各々示すように、均質領域については強度の大きい平滑化フィルタ、異質領域については強度の小さい平滑化フィルタが適用される。ここで提案する手法では、前述のアダプティブ・ウインドニングに比較して、出力当りの画像の局所的な信号変化の度合いを求めるための計算量を減少させることができる。

また、ビデオシーケンスはフレームベースで表示されるが、その処理は、ノンインターレース走査と同様にインターレース走査にも対応しているアプリケーションが広がり、有利である。これを行うために、２値インデックスは、インターレース走査画像では各フィールド毎に、２つのしきい値を用いて求めなければならない。つまり、奇数フィールドと偶数フィールドのそれぞれについて、２値インデックスを生成しなければならない。しかし、こうした変更は、ノン・インターレース走査に劣化をもたらすものではなく、ひとたびインデックスが得られれば、フィルタ処理は、元来の方法と同様にフレームベースで行うことができる。それ故、ＤＰＮＦの手法は、ＭＰＥＧ−１の復号画像と同様のノン・インターレース走査画像にも適用することができる。

次に、ＭＰＥＧ復号画像におけるブロックノイズの抑制方法について説明する。ＭＰＥＧ標準では、復号化される信号は、種々の要素技術、例えば、ＤＣＴ（離散コサイン変換）処理や動き補償などによって特徴付けられており、それらの特徴を考慮してフィルタも最適化することで、ある程度の性能利得を期待することができる。ＭＰＥＧは、８×８ブロックＤＣＴに基づく符号化を使用しており、各ブロック毎に異なったビット量で符号化されるため、当然ブロック毎に多少画質が違ってくる。従って、画像を８×８ブロックで区切った格子（ブロック境界）上では、画質が不連続になることもあり、これがブロックノイズとなって表れる。
しかしながら、平滑化フィルタをブロック境界に沿って位置する各画素に適用すれば、エッジのような特徴が失われる可能性がある。このため、ブロック境界の周囲の２値インデックスに基づき、フィルタを適用すべきか、否かについて判断する。

そこで、ブロック間の画質の連続性を示すフラグ（連続性フラグという）を得るため２×３サイズのウィンドゥを用いる。このウィンドゥを用いて連続性フラグを検査する場合には、ブロック境界が、上側、下側、右側、左側に存在する４つのケースが考えられる。図６は、上下にブロックの境界が存在する例を示すものであり、図中、Ｘはウィンドゥ、１０はブロックの境界、１１はブロックの内側部分、１２はブロックの外側部分、１３はブロック内側のフィルタの対象となる画素を示す。
γ（ｉ，ｊ）から成るΓによりウィンドゥを表すと、以下のブロック境界をはさんで２値インデックスが敢然に「０」と「１」に分かれる場合の条件式（３）が満足されるときに、連続性フラグが立つ。そして、連続性フラグが立っているときに、図７に示す４タップ・フィルタＹが適用される。

次に、低ビット速度の適用について説明する。
本実施例では、“低ビット速度”という用語は、ＣＣＩＲ解像度において４．０Ｍｂｐｓまで、ＳＩＦ解像度において１．１５Ｍｂｐｓまでの符号化ビット速度を意味するものと仮定する。ノイズは、ビット速度が“低ビット速度”の範囲に入ったときに、特徴に近接する領域と同様に、特徴からかなり離れた、例えばブロック・サイズ（＝８pels） を越えた領域においてしばしば顕著になる。

この種のノイズを抑制するために、多重ブロックサイズ法を導入してしきい値を決定する。まず、８×８ブロックのダイナミック・レンジを調べ、それが、予め決められた所定の値（最小ダイナミック・レンジと呼ぶ）以下であるならば、当初の８×８ブロックを中心として１６×１６ブロックのダイナミックレンジを調べ、それを基に、現ブロックについてのしきい値を計算する。これまで、特徴に近接しているにもかかわらず均質領域として処理されるためにボケが生じていた領域が、この操作により異質領域と判断されることになり、その結果、ボケなどの劣化を防止することが期待できる。実験結果からは、最小ダイナミック・レンジとして６４が適切であると思われ、実際に、この値を後のシュミレーションで使用している。なお、この操作はフィルタ処理自体には影響を及ぼさない。更に、しきい値決定のために必要とされる計算量は、サブサンプル操作、即ち、８×８ブロックについては２：１の比で、また、１６×１６ブロックについては４：１の比で水平方向にサブサンプルすることで減少させることができる。

また、ハードウェア化の際のコスト削減ために、出力グレイレベルθを求める式（４）において他の演算に比べて処理コストが高い除算演算を、式（５）に示すようなシフト演算に置き換えることができる。この変更は異質領域に対してのみ必要とされる。均質領域には、通常のシフト演算が適用されている。

ここでブーリアン函数

表２は上述の変更の全てを含むＤＰＮＦに必要とされる計算量をまとめたものである。この表から、ＤＰＮＦの計算量はかなり低いレベルにとどまっている。ＤＰＮＦはビット演算を多く含んでいるため、計算量はかなり低く押さえられている。ただ、２値インデックスのためのメモリが新たに必要である。少なくとも６４（８×８）ビットが必要であり、また、５×５ウィンドゥを使用してブロック境界まで処理するには、１４４（１２×１２）ビット必要である。
このように、本実施例による方法が、計算量を低減しつつ、特徴の保持を達成し、他方で、モスキート雑音やブロッキングノイズのような目につき易い欠陥を抑制することができる。他の優れた特徴は、この方法がＭＰＥＧ−１及びＭＰＥＧ−２の双方で共用し得ることであり、またＪＰＥＧにも適用できることである。更に、ＴＩのＭＰＥＧ−２用リアルタイム・エンコーダのようなＭＰＥＧエンコーダのループ・フィルタとしても適用可能である。

なお、以上の実施例に関し説明したが本発明はこれらに限定されるものではない。

本発明によれば、画像データから２値インデックスを生成し、エッジやテキスチャなどの特徴が存在する部分と、そうでない部分を容易に識別し、これによって、フィルタの選択を行うようにしたので、画像データの取得及び符号化により生じたノイズを有効に除去する一方、画像に含まれる特徴を適切に保持することができる。
また、本発明により、ノイズ除去に要する処理の高速化を図ることができる。

本発明の第１の実施例に係るノイズ除去プロセスを説明するブロック図。 フィルタ選択の一例を説明する図。 図２に示すウィンドゥに対応する適応型フィルタを示す図。 本発明の第２の実施例に係るフィルタ選択を説明する図。 均質領域及び異質領域のフィルタマスクを示す図。 決定ウィンドゥを示す図。 連続性フラッグがセットされる時に適用される４タップ・フィルタを示す図。

符号の説明

２ インデックス生成部
３ 選択性局所平滑化部
４ しきい値決定部
５ ２値インデックス部
６ フィルタ選択部
７ 適応型フィルタリング部

Claims (13)

1. ２次元的に配置された画素を表わす入力画像データ信号からノイズをフィルタリングする方法であって、
   ａ） 各々が明度を有する画素アレイを形成するために画像データ信号をデコードするステップと、
   ｂ） ２値コード化されたインデックス値のブロックを形成するために明度としきい値とに従って各画素に対して２値コード化されたインデックス値を割り当てるステップと、
   ｃ） ２次元的なＭｘＮサイズのウインドウに対応して２値コード化されたインデックス値のブロック内の２値コード化されたインデックス値の一部分を評価するステップと、
   ｄ） ウインドウに含まれる２値コード化されたインデックス値の一部分に従ってウインドウ内の対象となる画像データに対してフィルタを選択的に適用するステップと、
   を有し、
   上記フィルタを選択的に適用するステップが、
   ウインドウの中心の画素と同じインデックス値を持つ２次元的なウインドウ内の画素に対してのみゼロでないフィルタ係数を与えるステップを有する、
   方法。
2. 請求項１に記載の方法であって、
   ２値コード化ステップの前に画像データ信号をＰｘＱ（Ｐ，ＱはＭ，Ｎよりも大きい）サイズを持つブロックに分割するステップと、
   各ブロックのしきい値を決めるステップと、
   そして各対応するブロックに応じて決められたしきい値を用いて各ブロックの中の各々の画素に対して２値コード化されたインデックス値を割り当てるステップと、
   を含む方法。
3. 請求項１に記載の方法であって、
   しきい値が全体の画像データ信号の中の画素の明度のダイナミックレンジの中間値によって決められる方法。
4. 請求項２に記載の方法であって、
   各しきい値が対応するブロックの中の画像データ信号の画素の明度のダイナミックレンジの中の中間値によって決められる方法。
5. 請求項１に記載の方法であって、
   画像データが圧縮コード化された動画像をデコードすることにより得られる、
   方法。
6. 請求項１に記載の方法であって、
   ２値コード化されたインデックス値が０又は１の値を持つ、
   方法。
7. 画像データのノイズを除去するためのフィルタリング装置であって、
   当該装置が、
   ａ） ２次元的に配置される複数の画素を有するＰｘＱのサイズのブロック内の画像データに基づいてしきい値を求める段階と、
   ｂ） 上記しきい値を用いてブロック内の各画像データを２値化して２値インデックスを生成する段階と、
   ｃ） ブロック内に位置するＭｘＮ（Ｍ，ＮはＰ，Ｑよりも小さい）のサイズのウインドウの２値インデックスに応じて当該ウインドウ内のフィルタリング対象の画素に対してフィルタを選択的に適用する段階と、
   を実行可能であり、
   上記フィルタを選択的に適用する段階が、
   ウインドウの中心の画素と同じインデックス値を持つ２次元的なウインドウ内の画素に対してのみゼロでないフィルタ係数を与える段階を有する、
   装置。
8. 入力画像信号をデコードすることにより画像データが形成される請求項７に記載のフィルタリング装置。
9. 上記しきい値が画像データのダイナミックレンジの中間値として求められる請求項７又は８に記載のフィルタリング装置。
10. 上記しきい値が画像データのダイナミックレンジの平均値として求められる請求項７又は８に記載のフィルタリング装置。
11. 上記ウインドウが３×３のサイズを有する請求項７乃至１０の何れかに記載のフィルタリング装置。
12. ウインドウ内の２値インデックスに応じたフィルタの選択的な適用がブロック内の画素に対して順次に行なわれる請求項７乃至１１の何れかに記載のフィルタリング装置。
13. 上記入力画像信号が圧縮された画像信号である請求項８乃至１２の何れかに記載のフィルタリング装置。

Images