JP5142300B2 - 画像ノイズ除去方法及び装置 - Google Patents

Description

本発明は、デジタル化され所定形式で圧縮符号化された静止画像や動画像を復号化して再現する際に発生するノイズを除去するための画像ノイズ除去方法及び装置に関する。

近年、静止画像や動画像の圧縮技術の進展はめざましく、光学ディスク、ハードディスク、固体メモリ等の記録媒体への画像の記録・再生や、インターネットなどの通信路を介した画像の伝送、或いは放送などの分野で広く利用されている。静止画像の圧縮方式としてよく知られているのはＪＰＥＧ（Joint Photographic Experts Group）方式、動画像の圧縮方式としてよく知られているのはＭＰＥＧ（Moving Picture Experts Group）方式であるが、これら以外にも様々な方式が提案され、実用化されている。

ところで、画像データを圧縮・伸張するための符号化・復号化処理に伴って、画像上には原画像にはない様々なノイズが発生することが知られている。代表的なノイズとして、ブロックノイズ、モスキートノイズと呼ばれるものがある。ブロックノイズはデータ圧縮の際に１フレームの画像を複数のブロックにエリア分割し、各ブロック毎に独立に処理を行うことに起因するブロックの境目付近に発生するノイズである。一方、モスキートノイズは、圧縮の際に画像データを離散コサイン変換（ＤＣＴ）により周波数分解し高周波成分を除去することに起因するノイズ（フーリエ解析で一般にギブス現象と呼ばれるもの）である。いずれも効率のよい記録・伝送を行うために圧縮率を高くしようとするほど顕著になり、こうしたノイズを除去したり抑圧したりする様々な手法が従来より研究・開発されている（例えば特許文献１、２など参照）。

視覚上不快で目障りな上記のようなノイズを除去することは静止画処理、動画処理のいずれにおいても非常に重要な技術の１つであるが、画質を改善するためにノイズの除去効果を高めようとすると、ノイズ以外の本来必要とされる画像情報の一部も失われてしまい、画像が不自然になったり味気ないものになったりする場合がある。また、一般に高度なノイズ除去を行おうとすると、処理が複雑になって回路規模が増大し、コストが高くついたり、或いは回路基板のサイズが大きくなったりするといった問題が起こる。

本願発明者は、これまで長年に亘り、特にデジタルオーディオの分野において、連続時間特性を扱うことができるサンプル値制御理論、より詳しくはサンプル値Ｈ^∞制御をデジタルオーディオ信号を扱うデジタル／アナログ（Ｄ／Ａ）変換技術やサンプリングレート変換技術などに導入する試みについて長年研究を続けてきた（特許文献３、４など参照）。この技術は、元のデジタル信号のサンプルを単に離散時間信号としてのみ捉えるのではなく、サンプル間応答に含まれるアナログ周波数特性をも考慮してＤ／Ａ変換やサンプリングレート変換の際のデジタルフィルタの設計を行うことによって、アナログオーディオとしての聴感上での音質が最良又はそれに近い状態となるようにすることを意図するものであった。

換言すれば、上記のフィルタリング技術は、既定のサンプリング周波数と量子化ビット数という制限の下で、元のアナログオーディオの音質にできるだけ近い自然な音を追究しようとする試みである。なお、このフィルタは「ＹＹフィルタ」という呼称で、携帯電話用或いは携帯音楽プレーヤ用のＩＣなどで実用化されている。

本願発明者は、上述したような近年の画像の圧縮技術の進展及びそれに伴う画質改善の必要性に鑑み、上記技術の基本であるサンプル値Ｈ^∞最適化の手法を画像のノイズ除去に適用する試みを進め、静止画像のノイズ除去に適用した例（非特許文献１参照）や動画像のノイズ除去に適用した例（非特許文献２参照）を既に開示している。こうした従来の画像ノイズ除去の検討によれば、サンプル値Ｈ^∞最適化手法を画像のノイズ除去に適用することでブロックノイズを効果的に除去できることが確認できたものの、やはり本来はノイズでない情報部分がノイズとみなされて除去されてしまう、或いは逆に、ノイズであるにも拘わらずそれが画像情報の一部であると誤判断されて除去されずに残る、といった問題があることが判明した。

特開２００５−２９５３７１号公報 特開２００６−１４０８１８号公報 特開２００１−１２７６３７号公報 特開２００１−３５８５６１号公報 掛水、永原、小林、山本、「ノイズ・リダクション・オブ・ＪＰＥＧ・イメージズ・バイ・サンプルド-データ・Ｈ∞・オプティマル・ε・フィルターズ（Noise Reduction of JPEG Images by Sampled-Data Ｈ∞ Optimal ε Filters）」、SICE Annual Conference 2005, pp.1080-1085 小林、永原、山本、「サンプル値制御理論によるＭＰＥＧ動画のノイズ除去」、第51回システム制御情報学会研究発表講演会論文集、2007年5月16日

本発明は上記課題に鑑みて成されたものであり、その目的とするところは、符号化・復号化に伴って動画像や静止画像に発生するブロックノイズやモスキートノイズを、その画像が本来有する情報内容に与える影響を抑えつつ効果的に除去することができる画像のノイズ除去方法及び装置を提供することにある。

上記課題を解決するために成された第１発明は、所定形式で圧縮符号化された画像データを復号して画像を再現する際に発生するノイズを除去する画像ノイズ除去方法であって、
a)１枚又は１フレームの画像を構成する圧縮符号化／復号化された状態の画像データに対し、デジタル周波数応答を調べて圧縮符号化前の画像のアナログ周波数特性を推定する推定ステップと、
b)前記推定ステップによる推定結果に応じて後記デジタルフィルタのパラメータを変更するパラメータ設定ステップと、
c)元のアナログ画像信号とアナログ／デジタル変換、符号化／復号化、及びデジタル／アナログ変換を通して得られるアナログ画像信号との誤差を小さくするようにデジタルフィルタを設計すべく設定した条件式を、有限次元離散時間系に近似的に変換することで得た計算式を所定の条件に基づいてＨ^∞制御により解くことによって又はそれに相当する厳密な計算で解くことによって算出したパラメータを有するサンプル値Ｈ^∞フィルタを用い、復号化後であってデジタル／アナログ変換前の画像データに対するフィルタリング処理を行う処理ステップと、
を有することを特徴としている。

また第２発明は上記第１発明に係る画像ノイズ除去方法を実施するための画像ノイズ除去装置であって、所定形式で圧縮符号化された画像データを復号して画像を再現する際に発生するノイズを除去する画像ノイズ除去装置において、
a)１枚又は１フレームの画像を構成する圧縮符号化／復号化された状態の画像データに対しデジタル周波数応答を調べて圧縮符号化前の画像のアナログ周波数特性を推定する推定手段と、
b)前記推定手段による推定結果に応じて後記デジタルフィルタのパラメータを変更するパラメータ設定手段と、
c)元のアナログ画像信号とアナログ／デジタル変換、符号化／復号化、及びデジタル／アナログ変換を通して得られるアナログ画像信号との誤差を小さくするようにデジタルフィルタを設計すべく設定した条件式を、有限次元離散時間系に近似的に変換することで得た計算式を所定の条件に基づいてＨ^∞制御により解くことによって又はそれに相当する厳密な計算で解くことによって算出したパラメータを有するサンプル値Ｈ^∞フィルタを用い、復号化後であってデジタル／アナログ変換前の画像データに対するフィルタリング処理を行う処理手段と、
を備えることを特徴としている。

本発明に係る画像ノイズ除去方法及び装置では、例えば、ノイズ除去の処理対象をＪＰＥＧ方式で圧縮符号化される静止画像、又はＭＰＥＧ方式で圧縮符号化される動画像とすることができる。

また本発明に係る画像ノイズ除去方法及び装置において、上記推定ステップ（推定手段）は、１枚（静止画像の場合）又は１フレーム（動画像の場合）を構成する圧縮符号化／復号化された状態の画像データに対しＦＦＴ（高速フーリエ変換）処理を実行するものとすることができる。より具体的には、圧縮符号化前の画像のアナログ周波数特性が所定次数の減衰特性を有するローパスフィルタであると仮定し、例えばＦＦＴによりそのローパスフィルタのカットオフ周波数を算出するものとすることができる。

また、ＦＦＴを用いる代わりに、周波数特性が互いに相違するフィルタを備えるフィルタバンクを用意し、画像データに対してそれら多数のフィルタを通して得られる信号強度（振幅値）が最大になるものを見つけることでデジタル周波数特性を調べ、適切なカットオフ周波数を求めるようにしてもよい。

ここで上記所定次数は２次、３次、又はそれ以上の高次としてもよいが、最も単純な１次の減衰特性のローパスフィルタを想定しても十分である。本願発明者の検討によれば、１枚の静止画像又は動画像の１フレーム分の画像の情報内容に拘わらず、原画像のアナログ周波数特性は１次の減衰特性でかなり適切に近似でき、情報内容の相違はカットオフ周波数に現れることが確認できた。したがって、上記のようなかなり簡略化した、つまり演算処理自体も簡単である仮定の下で原画像のアナログ周波数特性を判断しても、その判断の適格性を十分に保証することができる。

本発明に係る画像ノイズ除去方法及び装置において、ノイズ除去の手法自体は、デジタル化される前の原画像のアナログ周波数特性を考慮し、ノイズをＨ^∞ノルムを用いた評価基準で最小化する方法を用いており、それ自体は従前のデジタルオーディオのノイズ除去や静止画像・動画像のノイズ除去に利用した方法と大きな相違はない。しかしながら、従来の静止画像・動画像のノイズ除去方法では、デジタルフィルタのパラメータ（一般にはフィルタ係数）に原画像のアナログ周波数特性の相違が反映されていなかったのに対し、本発明では、圧縮符号化／復号化された状態の画像から原画像の、つまり圧縮前でアナログ／デジタル変換する前のアナログ周波数特性を推定し、その推定結果に基づいてデジタルフィルタのパラメータ、つまりその特性を適応的に変化させるようにしている。したがって、画像上に現れる微小部分についてのその周囲との相違がノイズであるか否かを判断する基準が、原画像のアナログ周波数特性に応じて変更されることになる。

なお、上記処理ステップ及び処理手段におけるフィルタリング処理は、１枚又は１フレームの画像の水平方向及び垂直方向に配列された画像データに対してそれぞれ実施されるようにするとよい。

また１枚又は１フレームの画像単位でデジタルフィルタのパラメータを決めてもよいが、より適切に不要なノイズを除去する一方、ノイズでない情報部分を残すようにするためには、１枚又は１フレームの画像中でもデジタルフィルタのパラメータを適応的に変化させることが好ましい。

即ち、第１発明に係る画像ノイズ除去方法の好ましい一態様として、
前記推定ステップは、１枚又は１フレームの画像を圧縮符号化前の画像のアナログ周波数特性が類似しているとみなせる小領域に区分して該小領域毎にそのアナログ周波数特性を推定し、
前記パラメータ設定ステップは前記小領域毎に前記デジタルフィルタのパラメータを変更するようにするとよい。

ここで、上記小領域は画像内の２次元的な範囲であってもよいが、実用的には水平方向又は垂直方向の１次元的な範囲とするのがよい。例えば、１枚又は１フレームの画像の水平方向又は垂直方向に配列された画像データを順に走査したときに、その水平方向の１ライン、垂直方向の１ラインの中でデータ値の変化が所定の閾値以上である箇所を小領域の境界とし、その境界の前後を異なる小領域とすればよい。但し、スパイク状のノイズが重畳している場合にそうしたノイズを小領域の境界としないように、或いは、細い縞模様を横切って走査するような場合に小領域の範囲が狭くなり過ぎないように、閾値を適切に設定するほか、閾値以上のデータ変化点の前後の値も小領域の境界か否かを判断する基準に加えるようにするとよい。

また、本発明に係る画像ノイズ除去方法及び装置において、サンプル値Ｈ^∞フィルタは線形フィルタであるため、これのみでフィルタリングを行った場合、高周波ノイズを除去する際に特に高周波成分の多い画像上のエッジがぼやけてしまうおそれがある。そこで、これを回避するには、サンプル値Ｈ^∞フィルタとともにε-分離非線形フィルタを併用し、高周波ノイズと原信号のエッジ部分とを区別してノイズだけを除去するようにすることが好ましい。

第１発明に係る画像ノイズ除去方法及び第２発明に係る画像ノイズ除去装置によれば、原画像にもともと含まれる情報、例えばブロックノイズやモスキートノイズとの判別が困難であるような微小領域の情報をできるだけ残しながら、上記ノイズを的確に除去することができるようになる。これにより、例えばＭＰＥＧ方式などで圧縮率を高めたときに出現し易くなるブロックノイズやモスキートノイズを目立たなくしつつ、原画像の良さを損なわないような高い画質を達成することができる。

また、サンプル値Ｈ^∞フィルタはフィルタの構造としては一般のデジタルフィルタと変わらず、タップ数が小さければ回路規模は小さくて済み、また原画像のアナログ周波数特性の推定に使用されるＦＦＴやフィルタバンクなども処理自体は煩雑なものではない。そうしたことから、ノイズ除去のためのコストの大幅な増加を回避することができ、ＬＳＩ化も容易であるので小型化にも向いている。

本発明に係る画像ノイズ除去方法に用いられるフィルタＫ（ｚ）を設計するための誤差系モデルのブロック図。 本発明に係るノイズ除去方法を適用する対象の一例であるデジタル動画処理系モデルの概略ブロック構成図。 本発明の一実施例による画像ノイズ除去装置の概略ブロック構成図。 本実施例の画像ノイズ除去装置におけるノイズ除去処理の手順を示すフローチャート。 本実施例の画像ノイズ除去装置における１フレームの画像を構成する画像データの転送順序を示す模式図。 本実施例の画像ノイズ除去装置におけるノイズ除去処理を並列的に行う場合の処理手順を説明する模式図。 本発明に係る画像ノイズ除去処理前及び後の画像の一例を示す図。 本発明に係る画像ノイズ除去処理前及び後の画像の他の例を示す図。 本発明に係る画像ノイズ除去処理前及び後の画像の他の例を示す図。 本発明の他の実施例による画像ノイズ除去装置の概略ブロック構成図。 本発明の他の実施例による画像ノイズ除去方法における適応型処理の手順を示すフローチャート。 本発明の他の実施例による画像ノイズ除去方法における適応型処理の説明図。 本発明による画像ノイズ除去処理のシミュレーション結果を示す一例であり、Barbaraの原画像。 本発明による画像ノイズ除去処理のシミュレーション結果を示す一例であり、図１３に対する固定型フィルタリング処理結果を示す画像。 本発明による画像ノイズ除去処理のシミュレーション結果を示す一例であり、図１３に対する適応型フィルタリング処理結果を示す画像。 本発明による画像ノイズ除去処理のシミュレーション結果を示す一例であり、Womanの原画像。 本発明による画像ノイズ除去処理のシミュレーション結果を示す一例であり、図１６に対する固定型フィルタリング処理結果を示す画像。 本発明による画像ノイズ除去処理のシミュレーション結果を示す一例であり、図１６に対する適応型フィルタリング処理結果を示す画像。 本発明による画像ノイズ除去処理のシミュレーション結果を示す一例であり、Textの原画像。 本発明による画像ノイズ除去処理のシミュレーション結果を示す一例であり、図１９に対する固定型フィルタリング処理結果を示す画像。 本発明による画像ノイズ除去処理のシミュレーション結果を示す一例であり、図１９に対する適応型フィルタリング処理結果を示す画像。

符号の説明

１１…フィルタ
１２…サンプラ
１３…加算器
１４…デジタルフィルタ
１５…零次ホールド要素
１６、１８…遅れ要素
１７…減算器
２０、３０…データバス
２１、３１…フレームメモリ
２２、３２…Ｒ／Ｗ制御部
２３…周波数特性分析部
２４、３６…フィルタ係数決定部
２５、３７…フィルタリング処理部
３３…小領域推定部
３４…フィルタバンク
３５…周波数特性推定部

以下、本発明に係る画像ノイズ除去方法及び装置の一実施例（以下「第１実施例」という）について、図面を参照しつつ説明する。

図２は、本発明に係る画像ノイズ除去方法を適用する対象の一例であるデジタル動画処理系モデルの概略ブロック構成図である。原信号はまず標本化部１で所定の標本化周波数で標本化されて離散時間信号となる。この信号は次の符号化部２で所定ビット数で量子化されてデジタル信号にされるとともに、例えばＭＰＥＧ方式等の所定のアルゴリズムに従ってデータ圧縮され、圧縮されたデータが伝送／記録系３により伝送路上に伝送されたり或いは記録媒体に記録されたりする。伝送路を通して或いは記録・再生（又は記憶・読み出し）の過程を経て得られたデータは、復号化部４において復号化処理によりデータ伸張されるとともにデジタル信号がアナログ信号に変換され、さらにホールド部５により離散時間信号が連続時間信号に変換されて復元信号として出力される。

図２中に示すように、標本化部１、符号化部２、及び伝送／記録系３の一部が記録装置や送信装置に含まれ、伝送／記録系３の残りの部分、復号化部４、及びホールド部５が再生装置や受信装置に含まれる。

サンプル値制御理論を利用したノイズ除去、即ちフィルタリングでは、上記デジタル動画処理系への入力である原信号と出力である復元信号とができるだけ近くなるように、つまり両者の誤差ができるだけ小さくなるように復号化部４を設計する。いま図１に示す誤差系モデルを考える。これが、画像ノイズ除去のためのフィルタＫ（ｚ）設計のブロック図である。

図１では、下側の信号経路がデジタル動画処理系であり、上側の信号経路が、非因果的なフィルタを設計するための時間遅れの系である。即ち、連続時間信号である原信号ｗは、Ａ／Ｄ変換部に含まれるフィルタ１１で帯域制限されたあと、デジタル動画処理系においては、サンプラ１２によりサンプル周期ｈでサンプリングされて離散時間信号（デジタル信号）となる。フィルタ１１では高周波成分がカットされるが、原信号ｗの基本的な周波数成分は維持され、ここでは、そのアナログ周波数特性をＦ（ｓ）として表す。また、標本化を理想サンプラとしてＳ_ｈで表す。

デジタル信号に対しては符号化（圧縮）・復号化（伸張）の処理がなされるが、その処理の過程で、その周波数特性がＷ（ｚ）の伝達関数に従うノイズが加算器１３においてデジタル信号に加算される。これはブロックノイズやモスキートノイズなどをモデル化したものであり、その伝達特性Ｗ（ｚ）はハイパスフィルタの特性を持つ。ノイズが付加された信号に対し、伝達特性がＫ（ｚ）であるデジタルフィルタ１４でノイズ除去及び原信号の周波数特性Ｆ（ｓ）に基づく信号の補正を実行し、零次ホールド要素１５で連続時間信号に戻す。ここで、この零次ホールド要素１５の後段には、設計したフィルタの係数がサンプル点上を中心として過去方向と未来方向とで対称的になることが保証されるように、サンプル周期ｈの１／２の遅れ要素１６が挿入されている（非特許文献２参照）。

一方、上側の時間遅れ系では、原信号に対してサンプル間隔の整数倍の遅れ要素１８（ｅ ^−ｍｈｓ）が与えられ、減算器１７により上記処理系を経た復元信号と遅延した原信号との誤差信号ｅを取り出す。この誤差信号ｅができる限り小さくなるようにデジタルフィルタ１４の伝達関数Ｋ（ｚ）を決定し、それが実現されるパラメータを求めることが必要である。そのために、原信号ｗ及びノイズｄから誤差信号ｅへ変換するシステムをＴ_ｅｗとＴ_ｅｄとおく。このとき、伝達関数がＫ（ｚ）であるデジタルフィルタ１４の設計問題を次のように定義する。

即ち、伝達関数Ｆ（ｓ）、Ｗ（ｚ）、遅れステップｍ、定数γ＞０が与えられたとき、
を満たすデジタルフィルタを設計する。この(1)式が本発明におけるデジタルフィルタを設計すべく設定した条件式である。この問題こそが、サンプル値Ｈ^∞最適化問題であり、サンプル値制御理論を適用することにより、計算機を用いて容易にＨ^∞最適フィルタＫ（ｚ）を得ることが可能である。その具体的な手法については、特許文献１、２、非特許文献２などにおいて本願発明者が開示している手法を利用することができ、それによってデジタルフィルタのフィルタ係数を求めることができる。

従来、本願発明者が提案していた画像ノイズ除去方法では、伝達関数Ｆ（ｓ）つまり原信号ｗのアナログ周波数特性は安定している、つまり一定であるとして考えていたが、符号化・復号化の過程で付加されるノイズＷ（ｚ）は本来、原信号の値に依存しており、それは原信号のアナログ周波数特性Ｆ（ｓ）に依存する。そのため、原信号のアナログ周波数特性が想定している状態から外れると、デジタルフィルタ１４が理想的に動作せず、図２の誤差系での誤差信号ｅが大きくなる、つまりは再現された画像上に現れるノイズが除去されずに残ったり逆にノイズでない情報部分が誤って除去されてしまったりするという不具合が発生する。最も好ましいのは、記録側や送信側における原信号のアナログ周波数特性を把握することであるが、もちろん、再生側や受信側では原信号のアナログ周波数特性を直接知ることはできない。そこで、本発明に係る画像ノイズ除去方法及び装置では、その大きな特徴として、与えられた圧縮データ画像から原信号のアナログ周波数特性Ｆ（ｓ）を推定し、その推定結果に基づいてデジタルフィルタの伝達特性Ｋ（ｚ）を修正することにより、ノイズ除去の効果を高めるようにしている。

この第１実施例では、アナログ周波数特性Ｆ（ｓ）は次の(2)式で示す１次減衰特性を持つローパスフィルタであると仮定し、このローパスフィルタのカットオフ周波数ωｃを推定することでＦ（ｓ）を推定する。
Ｆ（ｓ）＝ωｃ／ （ｓ＋ωｃ） …(2)
ここでＦ（ｓ）を１次減衰特性としたのは、様々な種類の画像に対してＦＦＴを行って周波数成分を調べてみた結果、画像の情報内容に依らずにいずれもほぼ１次の減衰特性を示すことが確認できたこと、１次減衰特性であればパラメータ数が少なくカットオフ周波数ωｃの推定が容易で演算時間の短縮化に有利であること、などの理由による。

カットオフ周波数ωｃの推定は例えば以下の手順で行うことができる。まず、復号化処理が施された後の１枚の静止画像又は動画像の１フレーム分の画像（以下、単に１フレームの画像という）に対してＦＦＴを実行する。次に、１フレームの画像に対して得られたＦＦＴデータの各列の最大値を抽出し、最小二乗法により水平方向のカットオフ周波数ωｃｈを求める。また、同じ１フレームの画像に対して得られたＦＦＴデータの各行の最大値を抽出し、最小二乗法により垂直方向のカットオフ周波数ωｃｖを求める。

ここで、画質評価用などのために従来からよく知られている幾つかの標準的な静止画像についてのカットオフ周波数ωｃｈ、ωｃｖの推算結果を表１に示す。
この結果から、カットオフ周波数ωｃｈ、ωｃｖはほぼ０．００１〜０．０１[rad/sec]の範囲に収まっていることが分かる。そこで、ここではカットオフ周波数ωｃ＝０．００１，０．０２，０．０３，…，０．０１[rad/sec]としたアナログ周波数特性Ｆ（ｓ）を前提とした１０種類のデジタルフィルタ（それぞれの伝達関数をＫ₁（ｚ）、Ｋ₂（ｚ）、Ｋ₃（ｚ）、…、Ｋ₁₀（ｚ）とする）を予め設計しておく。そして、次の表２に示すように、実際に処理する画像から推定したカットオフ周波数ωｃｈ、ωｃｖの値に応じて使用するデジタルフィルタを切り替えるようにする。
以上のような処理を行うことにより、再現しようとしている画像のアナログ周波数特性に合わせた適切な伝達特性で以てフィルタリングを行うことができるので、符号化／復号化に伴うブロックノイズやモスキートノイズを的確に除去しつつ、原画像に含まれるノイズ様の情報を不必要に除去してしまうことを回避できる。

図３は本実施例による画像ノイズ除去装置の概略ブロック構成図、図４はこの装置におけるノイズ除去手順を示すフローチャートである。
本実施例の画像ノイズ除去装置は、復号化された１枚又は１フレーム分の画像データ（画素値データ）をバッファリングするためのフレームメモリ２１、該フレームメモリ２１へのデータの読み書きを制御するＲ／Ｗ制御部２２、フレームメモリ２１からデータバス２０に読み出されたデータを受け取って周波数特性を分析する周波数特性分析部２３、その分析結果に応じてデジタルフィルタのフィルタ係数を決定するフィルタ係数決定部２４、フレームメモリ２１から読み出されたデータに対するフィルタリング処理を実行するフィルタリング処理部２５、などを含む。

フィルタ係数決定部２４には、上述したように原信号のアナログ周波数特性を反映するカットオフ周波数ωｃと使用するデジタルフィルタの伝達関数Ｋ（ｚ）との関係を示す表２のような情報が予めテーブル形式等で用意されているものとする。これにより、カットオフ周波数ωｃからフィルタ特性（つまりフィルタ係数）を簡単に求めることができる。なお、より厳密には、複数（例えば１０又は２０個）のカットオフ周波数に対応してそれぞれフィルタ係数を計算しておき、或るカットオフ周波数が与えられたときに、既に得られているフィルタ係数から適宜の補間処理を行うことによりフィルタ係数を求めるようにするとよい。このときの補間処理は直線補間でもよいが、ラグランジェ補間などを用いるとより好ましい。

まず、図示しない復号化部により伸張処理が実行された１フレーム（又は１枚）の画像データがデータバス２０を介してフレームメモリ２１に書き込まれると（ステップＳ１）、Ｒ／Ｗ制御部２２の制御により、フレームメモリ２１から所定の順序で画像データが読み出され、周波数特性分析部２３に送られる。周波数特性分析部２３は画像データに対して上述のようなＦＦＴ処理を実行し、水平方向、垂直方向それぞれのカットオフ周波数ωｃｈ、ωｃｖを求める（ステップＳ２）。フィルタ係数決定部２４は、上記のように予め用意された情報に基づいてカットオフ周波数ωｃｈ、ωｃｖに対応した伝達関数Ｋ（ｚ）を選択し、これにより、使用するデジタルフィルタ（サンプル値Ｈ^∞フィルタ）を垂直方向、水平方向毎に決定する（ステップＳ３）。

フレームメモリ２１から読み出された復号化後の画像データに対し、フィルタリング処理部２５は上述したように決定されたデジタルフィルタを用いたフィルタリング処理を実行する。これにより、符号化／復号化に伴うノイズが除去される（ステップＳ４）。そうしたノイズ除去処理が施された画像データが図示しないＤ／Ａ変換部によりアナログ信号に変換され、或いは所定形式のデジタル信号列に変換されて出力される（ステップＳ５）。

この実施例の画像ノイズ除去装置では、フィルタリング処理部２５でノイズ除去を行う際に、サンプル値Ｈ^∞フィルタとともにε-分離非線形フィルタを併用している。上述したサンプル値Ｈ^∞フィルタは結果として線形のローパスフィルタとなるため、ノイズの周波数成分と同じ帯域に原信号が存在すると、その原信号の高周波成分も同時に除去されてしまう。こうした高周波成分は画像内の文字の部分や物体の境界などのエッジに多く存在するため、上記フィルタリング処理をそのまま実行するとエッジがぼけて特に文字などが見にくくなるおそれがある。そこで、ε-分離非線形フィルタによりエッジとノイズとを区別し、エッジと判断した部分にはサンプル値Ｈ^∞フィルタによるフィルタリング処理を行わないようにしている。

ε-分離非線形フィルタはＦＩＲフィルタを拡張した非線形処理を行うものであり、次の(3)式で定義される。
但し、ここでｈ_ｆ[ｋ]（−Ｎ_１≦ｋ≦Ｎ_２）はＦＩＲフィルタの係数、ｘ、ｙはそれぞれ入力と出力、εは定数の閾値である。ε-分離非線形フィルタは、ノイズの振幅が原信号のエッジを挟んだ信号の変化幅よりも小さいとの前提の下に、閾値εを基準とした大小に応じてノイズと信号のエッジとを区別する。そして、振幅の小さい部分、つまり高い確率でノイズとみなし得る部分でのみＦＩＲフィルタによる処理を行うことで、原信号のエッジを不鮮明にすることなくノイズ除去を行うようにしている（ε-分離非線形フィルタの詳細については非特許文献１を参照）。

上記画像ノイズ除去装置において、ステップＳ２におけるカットオフ周波数の決定やステップＳ４におけるフィルタリング処理の際に、次のようにデータ処理を並列的に行うことで処理効率の向上を図ることができる。

いま、１フレーム画像を構成するデータが図５に示すように全体としては上の行から下の行へ、各行においては左から右方へと１画素ずつ順番に転送されるものとする。なお、動画像の場合には、こうした画像データが各フレーム毎に転送されるものとする。また入力側では復号後の画像データが上記のように送られてきて、出力側でも画像データが同じように送り出されるものとする。

並列処理では、１フレーム画像の全てのデータを受信した後にカットオフ周波数決定処理やフィルタリング処理を実行するのではなく、データを受信しながら、受け取った行から次々に処理を実行してゆく。１行分の画像データに対する処理に要する時間をτとし、１行分の画像データを受信するのに要する時間をＴとする。整数ｐをτ／Ｔの整数部分であるとすると、１フレーム内のｐ＋１行目の画像データを受信した時点で１行目の処理は完了しているので、ｐ＋１行目の処理に１行目の処理に用いたバッファ及び演算回路（推定及びフィルタ処理のための回路）を使用することができる。

そこで、具体的には次のようにする。即ち、ハードウエアとしては、図６（ａ）に示すように、処理のために画像１フレーム分のフレームメモリのほかに、ｐ個の演算処理回路を用意しておく。そして、入力された画像データを１画素ずつ順次フレームメモリに格納する。図６（ａ）に示すように、１行目の全ての画像データがフレームメモリに揃ったならば、このデータを読み出して演算処理回路Ｅ_１に与え、１行目の処理を開始する。同様に、２行目の全ての画像データがフレームメモリに揃ったならば、次の演算処理回路Ｅ_２により２行目の処理を開始し、３行目、４行目、…、とそれぞれ演算処理回路Ｅ_３、…で処理を開始する。つまり、ｐ行分の画像データは並行処理される。そして、ｐ＋１行目の画像データが全てフレームメモリに入力されたときには、演算処理回路Ｅ_１は既に１行目の演算処理を終了している。したがって、この行の画像データの処理には１行目に使用された演算処理回路Ｅ_１を使用することができる。

上記処理は水平方向の処理であり、処理の方向とデータの転送方向とが一致しているが、垂直方向に対する処理については処理の方向がデータの転送方向と異なるため、上記のような並列処理は行えない。また、水平方向の処理→垂直方向の処理、という順番で処理を進める場合、水平方向の処理が施されて送られてくる画像データの順序が、入力された画像データの順序とは異なることも考慮する必要がある。そこで、垂直方向の処理は行毎でなく画素毎に並列化を実行する。具体的には次のようにする。なお、ここで、ｍはフィルタのタップ数である。

即ち、ハードウエアとしては、図６（ｂ）に示すように、処理のために画像１フレーム分のフレームメモリのほかに、ｐ個の演算処理回路を用意しておく。そして、水平方向に処理されて送られてくる画像データを順次フレームメモリに格納する。ｍ＋１行目の画像データがフレームメモリに貯まったならば、１行目の画像データの処理を開始する。つまり、フレームメモリから演算処理回路Ｅ_ｐ＋１に１行１列目の画像データを送り、処理を開始する。それからＴ秒後に演算処理回路Ｅ_ｐ＋２を用いて１行２列目の画像データの処理を開始する。同様にＴ秒ずつ遅延させつつ１列ずつ別の演算処理回路を割り当てて処理を開始する。処理開始からτ（＝Ｔ_ｐ）秒後に１行１列目の処理が終了しているので、１行ｐ＋１列目の画像データには再び演算処理回路Ｅ_ｐ＋１を割り当てる。２行目のデータがバッファに全て格納されたならば、２行１列目の処理を開始する。そして、同様にして１フレーム全ての画像データの処理を行う。

なお、上記のような並列処理によって、出力される動画像には入力の動画像から、おおよそ（ｐ＋ｍ）Ｔ≒τ＋ｍＴ秒の時間遅れが生じる。しかしながら、上述したデジタルフィルタ（サンプル値Ｈ^∞フィルタ）は一般に数タップ程度の少ないタップ数で実現できるので、この時間遅れは短く、ストリーミングであっても視聴上の感覚では殆ど無視できる程度である。

このようにして１フレームの画像データの全てが揃うのを待つことなく、カットオフ周波数決定処理やフィルタリング処理を実行することができる。特に大きなサイズの画像を処理する場合、画像全体のデータに対して順番に処理を実行すると非常に時間が掛かり、特にストリーミングのようなリアルタイム処理を必要とする場合には不利であるが、上記のようにデータ処理を並列的に行うことで処理効率の向上を図ることができる。もちろん、例えば携帯電話用など、１フレーム画像の画素数が比較的少ない場合には、並列処理を行わずとも処理時間が短くて済み、回路規模を縮小するとともに制御も簡単になる。

本発明の一実施例による画像ノイズ除去方法を用いて静止画像のノイズ除去を行った場合のシミュレーション結果の一例を、図７〜図９に示す。これら画像は評価用標準画像として知られているものであり、いずれも（ａ）は画像ノイズ除去処理前の画像、（ｂ）は画像ノイズ除去処理後の画像である。

図７（ａ）に示す処理前画像では、ブロックノイズやモスキートノイズによって、特に人物の顔や背景の椅子の周り（画像左上部）が粗くなっている。これに対し、図７（ｂ）に示すように、ノイズ除去処理によりこうしたノイズが低減しているのが分かる。また、このようなノイズ除去処理を従来方法で行うと、多くの場合、スカーフの縞模様にモアレが生じることが多いが、本発明に係る画像ノイズ除去処理ではそうしたモアレの発生も回避できている。

図８（ａ）に示す処理前画像では、人物や背景の建物の周りにモスキートノイズが目立つが、図８（ｂ）に示す処理後画像ではそうしたノイズがきれいに除去されていることが分かる。しかも、そうした処理によっても画像全体はぼやけることなく、人物や建物などの境界部分のエッジが保存されていることも分かる。

また図９（ａ）に示す処理前画像では、文字が書かれている黒い板の上にノイズが乗っているが、図９（ｂ）に示す処理後画像ではそうしたノイズが除去され、文字が鮮明になっていることが分かる。こうしたことから、本発明に係る画像ノイズ除去方法は、その特性上、例えば自動文字認識などの分野への応用が有効であると考えられる。

上記第１実施例による画像ノイズ除去装置では、１枚の画像に対する水平方向のカットオフ周波数と垂直方向のカットオフ周波数とをそれぞれ求め、そのカットオフ周波数に対応した特性の、つまりフィルタ係数をもつデジタルフィルタを用いてノイズ除去処理を実施している。したがって、水平方向のフィルタ特性と垂直方向のフィルタ特性とは相違するが、１枚の画像の中での水平方向のフィルタ特性、垂直方向のフィルタ特性はそれぞれ一定である。このようなフィルタリング処理は様々な種類の画像に対し平均的に良好な性能を得ることができる。

一方、例えば平坦な背景に人物などが存在しているような画像の場合、一般に、背景の部分と人物の部分とでは原信号のアナログ周波数特性が大きく相違する。そこで、特にこうした画像については、１枚の画像中においても原信号の周波数特性が似ている部分毎に最適な特性のデジタルフィルタを適用すれば、より効果的なノイズ除去が可能であることが想定される。以下に説明する第２実施例による画像ノイズ除去装置は、画像単位ではなく、１枚又は１フレームの画像の中の細かい領域（小領域）毎にフィルタ特性を変えるようにしたものである。

図１０はこの第２実施例の画像ノイズ除去装置の概略ブロック構成図、図１１はこの装置における特徴的な処理の手順を示すフローチャート、図１２はその処理の説明図である。

第２実施例の画像ノイズ除去装置は、復号後の１枚又は１フレーム分の画像データをバッファリングするためのフレームメモリ３１、該フレームメモリ３１へのデータの読み書きを制御するＲ／Ｗ制御部３２、フレームメモリ３１からデータバス３０に読み出されたデータを受け取って周波数特性が類似した小領域の範囲を推定する小領域推定部３３、小領域に含まれる複数のデータ毎に周波数特性を分析するためのフィルタバンク３４及び周波数特性推定部３５、その分析結果に応じてデジタルフィルタのフィルタ係数を決定するフィルタ係数決定部３６、フレームメモリ３１から読み出されたデータに対するフィルタリング処理を実行するフィルタリング処理部３７、などを含む。フィルタバンク３４はそれぞれ異なる通過帯域を有する多数のバンドパスフィルタが並設されたものであり、周波数特性推定部３５は多数のバンドパスフィルタをそれぞれ通過したデータを解析することでいずれの周波数帯域の成分が最も多いかを判別し、カットオフ周波数を決定する。

例えばフレームメモリ３１に１枚分又は１フレームの画像データが格納された状態で、図５に示したように水平方向に順に画像データを読み出し小領域推定部３３に入力する。小領域推定部３３は画像データの値、つまり画素値の変化を観測し、その変化量が予め定めた閾値αを超えるか否かを判定する。１本の水平走査の中で画素値の変化量が閾値αを超えた箇所を小領域の境界とみなし、或る境界から次の境界までの間を１つの小領域して扱う（ステップＳ１０）。即ち、画素値が大きく変化する箇所は原信号の周波数特性が大きく変化する箇所であると考えられるから、上記のように設定された小領域は比較的周波数特性が近い範囲であると考えられる。例えば水平方向に順に画素を走査していったときに図１２に示すように画素値が変化したとすると、その変化量が閾値αを超える位置を境界として小領域１、小領域２、及び小領域３に区分する。この閾値αは上述のε-分離非線形フィルタを適用する場合の閾値εと同じでもよい。

図１２に示すように、画素値の変化が比較的小さなスパイク性のノイズは無視される。また、後述するように小領域毎にフィルタ特性を変化させるため、或る１点のみ又はごく少数点のみの小領域を許容すると、適切なフィルタ特性を設定することが難しい。そこで、画素値が閾値αを超えるような変化を生じた後に画素値が閾値αを超えない状態が所定点数以上続いた場合にそこを小領域とみなし、一方、画素値が閾値αを超えるような変化を生じた後に所定点数未満で再び画素値が閾値αを超える変化を生じた場合には、その範囲を小領域とみなさずにフィルタリング処理対象から除く処理を行うようにするとよい。また、画像の端部では１点又はごく少数点の小領域も許容するようにするとよい。

フィルタバンク３４及び周波数特性推定部３５は、１つの小領域に含まれる複数の画像データに対して周波数特性を調べ、カットオフ周波数ωｃを求める（ステップＳ１１）。したがって、図１２の例で言うと、小領域１と小領域２とではカットオフ周波数ωｃが異なる可能性がある。フィルタ係数決定部３６は、小領域毎に求められたカットオフ周波数に対応したデジタルフィルタの伝達関数Ｋ（ｚ）を選択するためにフィルタ係数を算出する（ステップＳ１２）。フィルタ係数は上記第１実施例と同様に表２のようなテーブルを用いて求めてもよいし、複数のカットオフ周波数とフィルタ係数との対応関係から補間処理を行うことで求めるようにしてもよい。

上記のように１フレーム又は１枚の画像の中で小領域の範囲とそれに対応するフィルタ特性（フィルタ係数）とが決定したならば、フィルタリング処理部３７は各画素値に対し小領域毎に定められたフィルタ特性に切り替えながら、デジタルフィルタを用いたフィルタリング処理を実行する（ステップＳ１３）。水平方向の処理を終了したならば、続いて垂直方向についても同様の処理を実行することで、符号化／復号化に伴うノイズを良好に除去することができる。

上記第１実施例で説明したように、この第２実施例の画像ノイズ除去装置においても、並列処理を行うことによりハードウエアは増加するものの処理速度を上げることができることは当然である。

以上のように第２実施例の画像ノイズ除去装置では、１フレーム又は１枚の画像の中で適応的に、つまり原信号のアナログ周波数特性の推定結果に応じて、フィルタ特性を変更しているので、例えば一般的に低周波である平坦な背景部分と相対的に高周波である人物などとにそれぞれ適切なノイズ除去を行うことができる。本願発明者の検討によれば、第１実施例のような固定的なフィルタ特性でのフィルタリング処理（以下「固定型フィルタリング処理」という）を行った場合に比べて、第２実施例のような適応的なフィルタ特性でのフィルタリング処理（以下「適応型フィルタリング処理」という）では、モスキートノイズなどの残留は多少増加するものの、原画像に存在する微細な模様や濃淡などが消えにくくなり、より自然な画質になる傾向にある。

固定型フィルタリング処理と適応型フィルタリング処理との効果の差の一評価手法として、圧縮していない元の静止画像（ＢＭＰ形式のファイル）を基準とした二乗誤差を計算した結果を表３に示す。
二乗誤差Ｅ（Ｙ）の計算式は次の(4)式である。但し、Ｘ[n,m]、Ｙ[n,m]はそれぞれもとの静止画像及びフィルタリング処理後の画像の[n,m]の位置の画素値である。
画像の種類により効果に差があるが、固定型よりも適応型のほうが二乗誤差が小さくなっており、元の画像に近いと言うことができる。

固定型フィルタリング処理と適応型フィルタリング処理とで静止画像のノイズ除去を行った場合のシミュレーション結果の一例を、図１３〜図２１に示す。図１３、図１６、及び図１９は評価のためのBarbara、Woman、及びTextの原画像、図１４、図１７、及び図２０はBarbara、Woman、及びTextの原画像に対する固定型フィルタリング処理後の画像、図１５、図１８及び図２１はBarbara、Woman、及びTextの原画像に対する適応型フィルタリング処理後の画像である。

図１４と図１５、図１７と図１８、をそれぞれ比較すれば分かるように、固定型に比べて適応型のほうが、人物の顔の皮膚表面の凹凸などが良好に現れている。そのため、人物の表情などの表現力に優れる。また、図２０と図２１とを比較すれば分かるように、適応型では文字が書かれている平板部の凹凸が良好に現れているのに対し、固定型ではこの凹凸がかなり消えてしまっている。こうしたことから、固定型のほうが一見きれいに見える場合でも、味気ない画像になる傾向にあると言える。

原理的に、固定型フィルタリング処理では、画像全体に一様に処理が施されるため、画像の細かい部分（つまり上述したような皮膚表面の細かい凹凸など）が均されてしまい、細かい部分が消えてしまう傾向にある。これに対し適応型フィルタリング処理では、１枚の画像の中でも部分毎に異なるフィルタ特性の処理が施されるため、細かい部分の或る程度保存されることになる。但し、その代わりに、モスキートノイズなどは固定型ほど除去されないため、一般に、こうしたノイズが非常に目立つような画像には固定型のほうが適している。こうしたことから、対象画像の種類によって、適応型フィルタリング処理と固定型フィルタリング処理とを切り替えるような手法も考えられる。

なお、上記実施例は本発明の一例にすぎず、本発明の趣旨の範囲で適宜変形や修正、追加を行っても本願請求の範囲に包含されることは当然である。

Claims (18)

1. 所定形式で圧縮符号化された画像データを復号して画像を再現する際に発生するノイズを除去する画像ノイズ除去方法であって、
   a)１枚又は１フレームの画像を構成する圧縮符号化／復号化された状態の画像データに対し、デジタル周波数応答を調べて圧縮符号化前の画像のアナログ周波数特性を推定する推定ステップと、
   b)前記推定ステップによる推定結果に応じて後記デジタルフィルタのパラメータを変更するパラメータ設定ステップと、
   c)元のアナログ画像信号とアナログ／デジタル変換、符号化／復号化、及びデジタル／アナログ変換を通して得られるアナログ画像信号との誤差を小さくするようにデジタルフィルタを設計すべく設定した条件式を、有限次元離散時間系に近似的に変換することで得た計算式を所定の条件に基づいてＨ^∞制御により解くことによって又はそれに相当する厳密な計算で解くことによって算出したパラメータを有するサンプル値Ｈ^∞フィルタを用い、復号化後であってデジタル／アナログ変換前の画像データに対するフィルタリング処理を行う処理ステップと、
   を有することを特徴とする画像ノイズ除去方法。
2. 請求項１に記載の画像ノイズ除去方法であって、
   前記処理ステップにおけるフィルタリング処理は、１枚又は１フレームの画像の水平方向及び垂直方向に配列された画像データに対してそれぞれ行われることを特徴とする画像ノイズ除去方法。
3. 請求項１に記載の画像ノイズ除去方法であって、
   前記推定ステップは、１枚又は１フレームの画像を圧縮符号化前の画像のアナログ周波数特性が類似しているとみなせる小領域に区分して該小領域毎にアナログ周波数特性を推定し、
   前記パラメータ設定ステップは前記小領域毎に前記デジタルフィルタのパラメータを変更することを特徴とする画像ノイズ除去方法。
4. 請求項３に記載の画像ノイズ除去方法であって、
   前記推定ステップは、１枚又は１フレームの画像の水平方向又は垂直方向に配列された画像データを順に走査し、そのデータ値の変化が所定の閾値以上であるときに小領域の境界とすることを特徴とする画像ノイズ除去方法。
5. 請求項１又は３に記載の画像ノイズ除去方法であって、
   前記推定ステップは、圧縮符号化前の画像のアナログ周波数特性が所定次数の減衰特性を有するローパスフィルタであると仮定してカットオフ周波数を算出することを特徴とする画像ノイズ除去方法。
6. 請求項５に記載の画像ノイズ除去方法であって、
   前記所定次数は１次であることを特徴とする画像ノイズ除去方法。
7. 請求項１に記載の画像ノイズ除去方法であって、
   前記処理ステップでは、前記サンプル値Ｈ^∞フィルタとともにε-分離非線形フィルタを併用することを特徴とする画像ノイズ除去方法。
8. 請求項１に記載の画像ノイズ除去方法であって、処理対象はＪＰＥＧ方式で圧縮符号化される静止画像であることを特徴とする画像ノイズ除去方法。
9. 請求項１に記載の画像ノイズ除去方法であって、処理対象はＭＰＥＧ方式で圧縮符号化される動画像であることを特徴とする画像ノイズ除去方法。
10. 所定形式で圧縮符号化された画像データを復号して画像を再現する際に発生するノイズを除去する画像ノイズ除去装置において、
    a)１枚又は１フレームの画像を構成する圧縮符号化／復号化された状態の画像データに対し、デジタル周波数応答を調べて圧縮符号化前の画像のアナログ周波数特性を推定する推定手段と、
    b)前記推定手段による推定結果に応じて後記デジタルフィルタのパラメータを変更するパラメータ設定手段と、
    c)元のアナログ画像信号とアナログ／デジタル変換、符号化／復号化、及びデジタル／アナログ変換を通して得られるアナログ画像信号との誤差を小さくするようにデジタルフィルタを設計すべく設定した条件式を、有限次元離散時間系に近似的に変換することで得た計算式を所定の条件に基づいてＨ^∞制御により解くことによって又はそれに相当する厳密な計算で解くことによって算出したパラメータを有するサンプル値Ｈ^∞フィルタを用い、復号化されてデジタル／アナログ変換させる前の画像データに対するフィルタリング処理を行う処理手段と、
    を備えることを特徴とする画像ノイズ除去装置。
11. 請求項１０に記載の画像ノイズ除去装置であって、
    前記処理手段は、１枚又は１フレームの画像の水平方向及び垂直方向に配列された画像データに対してそれぞれフィルタリング処理を行うことを特徴とする画像ノイズ除去装置。
12. 請求項１０に記載の画像ノイズ除去装置であって、
    前記推定手段は、１枚又は１フレームの画像を圧縮符号化前の画像のアナログ周波数特性が類似しているとみなせる小領域に区分して該小領域毎にアナログ周波数特性を推定し、
    前記パラメータ設定手段は前記小領域毎に前記デジタルフィルタのパラメータを変更することを特徴とする画像ノイズ除去装置。
13. 請求項１２に記載の画像ノイズ除去装置であって、
    前記推定手段は、１枚又は１フレームの画像の水平方向又は垂直方向に配列された画像データを順に走査し、そのデータ値の変化が所定の閾値以上であるときに小領域の境界とすることを特徴とする画像ノイズ除去装置。
14. 請求項１０又は１２に記載の画像ノイズ除去装置であって、
    前記推定手段は、圧縮符号化前の画像のアナログ周波数特性が所定次数の減衰特性を有するローパスフィルタであると仮定してカットオフ周波数を算出することを特徴とする画像ノイズ除去装置。
15. 請求項１４に記載の画像ノイズ除去装置であって、
    前記所定次数は１次であることを特徴とする画像ノイズ除去装置。
16. 請求項１０に記載の画像ノイズ除去装置であって、
    前記処理手段は、前記サンプル値Ｈ^∞フィルタとともにε-分離非線形フィルタを併用することを特徴とする画像ノイズ除去装置。
17. 請求項１０に記載の画像ノイズ除去装置であって、
    処理対象はＪＰＥＧ方式で圧縮符号化される静止画像であることを特徴とする画像ノイズ除去装置。
18. 請求項１０に記載の画像ノイズ除去装置であって、
    処理対象はＭＰＥＧ方式で圧縮符号化される動画像であることを特徴とする画像ノイズ除去装置。