JP5062483B2 - 信号処理装置および方法、並びにプログラム - Google Patents

Description

本発明は信号処理装置および方法、並びにプログラムに関し、特に、より簡単かつ確実にノイズを除去できるようにした信号処理装置および方法、並びにプログラムに関する。

フィルタ処理を行って、入力信号からノイズを除去する方法として、複数のフィルタ処理を直列結合する方法が知られている。フィルタ処理の直列結合を行うと、ハードウェアの面では、入力信号を保持するメモリの増大を招き、ソフトウェアの面では、分割不可能な処理時間の増加を招くことになる。また、フィルタ処理を直列結合する場合、前段のフィルタ処理による入力信号の変化の影響で、その後段において、入力信号に適切なフィルタ処理が施されなくなってしまう可能性もある。

そこで、複数のフィルタ処理を並列結合する方法が提案されている。そのような方法として、主に次の３つの方法が知られている。

まず、第１の方法として、複数のフィルタのそれぞれによりフィルタ処理が施された入力信号のそれぞれを用いて移動平均を計算することにより、並列結合を実現する方法がある。また、第２の方法として、各フィルタについて、入力信号と、フィルタ処理が施された入力信号との差分を求め、それらのフィルタ処理ごとの差分を入力信号に加算する方法がある。

さらに、第３の方法として、入力信号に基づく入力画像上において、領域ごとにフィルタ処理に用いるフィルタを切り替える方法がある。この第３の方法として、入力画像を画素ブロックに分割し、画素ブロックごとにブロックノイズリダクション用のフィルタと、モスキートノイズリダクション用のフィルタとを切り替えて、何れかのフィルタによりフィルタ処理を行い、入力画像上のアーティファクトを低減させる方法が提案されている（例えば、特許文献１参照）。

特開２００５−３１８６１４号公報

しかしながら、上述したフィルタ処理を並列結合する技術では、入力信号からより簡単かつ確実にノイズを除去することは困難であった。

例えば、第１の方法では、移動平均を求めてフィルタ処理の並列結合を実現しているため、並列結合するフィルタ処理の数が多いほど、ノイズ除去の効果が薄められてしまう。また、第２の方法では、入力信号に単純に各差分が加算されるため、所定のフィルタ処理によって他のフィルタ処理により得られる効果が打ち消されてしまい、意図しない効果やアーティファクトが生じる可能性がある。

さらに、第３の方法では、領域ごとにフィルタが切り替えられるので、入力画像上の各領域の境界が不自然になってしまう恐れがある。また、第３の方法により、動画像に対してフィルタ処理を行うと、入力画像上の同じ部分の領域に、時刻（フレーム）によって異なるフィルタ処理が施され、フィルタ処理の時間方向の安定性が損なわれる恐れもある。

本発明は、このような状況に鑑みてなされたものであり、より簡単かつ確実にノイズを除去することができるようにするものである。

本発明の一側面の信号処理装置は、入力信号に対して複数のフィルタを用いてフィルタ処理を行い、出力信号を生成する信号処理装置であって、フィルタを用いて前記入力信号に対してフィルタ処理を施すフィルタ処理手段と、複数の前記フィルタ処理手段による前記フィルタ処理により得られたフィルタ出力信号のそれぞれと前記入力信号との差分のそれぞれの符号および絶対値に基づいて定まる補正値を、前記入力信号に加算することにより、前記出力信号を生成する生成手段とを備える。

前記生成手段には、前記フィルタ出力信号と前記入力信号との差分のうち、値が最大である差分と、値が最小である差分との積が０以上である場合、前記最大である差分と前記最小である差分のうちの絶対値の大きい方の値を前記補正値とさせることができる。

前記生成手段には、前記フィルタ出力信号と前記入力信号との差分のうち、値が最大である差分と、値が最小である差分との積が０未満である場合、前記最大である差分と前記最小である差分の和を前記補正値とさせることができる。

複数の前記フィルタ処理手段のうちの第１のフィルタ処理手段には、平滑化処理を行うフィルタを用いた前記フィルタ処理を行わせ、複数の前記フィルタ処理手段のうちの第２のフィルタ処理手段には、エッジ保存性のあるフィルタを用いた前記フィルタ処理を行わせることができる。

本発明の一側面の信号処理方法またはプログラムは、入力信号に対して複数のフィルタを用いてフィルタ処理を行い、出力信号を生成する信号処理方法またはプログラムであって、フィルタ処理手段がフィルタを用いて前記入力信号に対してフィルタ処理を施し、複数の前記フィルタ処理手段による前記フィルタ処理により得られたフィルタ出力信号のそれぞれと前記入力信号との差分のそれぞれの符号および絶対値に基づいて定まる補正値を、前記入力信号に加算することにより、前記出力信号を生成するステップを含む。

本発明の一側面においては、フィルタ処理手段によりフィルタが用いられて入力信号に対してフィルタ処理が施され、複数の前記フィルタ処理手段による前記フィルタ処理により得られたフィルタ出力信号のそれぞれと前記入力信号との差分のそれぞれの符号および絶対値に基づいて定まる補正値が、前記入力信号に加算されることにより、出力信号が生成される。

本発明の一側面によれば、より簡単かつ確実にノイズを除去することができる。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

図１は、本発明を適用した信号処理装置の一実施の形態の構成例を示すブロック図である。

信号処理装置１１は、バッファ２１、フィルタ処理部２２−１、フィルタ処理部２２−２、および混合部２３から構成される。

バッファ２１には、ノイズ除去の対象となる入力信号が供給される。この入力信号は、連続する信号値からなる信号であり、例えば、静止画像や動画像の画像信号などとされる。入力信号が画像信号である場合には、入力信号の信号値は画像上の画素の画素値とされる。

バッファ２１は、供給された入力信号を保持してバッファリングするとともに、保持している入力信号をフィルタ処理部２２−１、フィルタ処理部２２−２、および混合部２３に供給する。

フィルタ処理部２２−１およびフィルタ処理部２２−２は、それぞれ異なるフィルタを保持しており、保持しているフィルタを用いて、バッファ２１から供給された入力信号にフィルタ処理を施す。そして、フィルタ処理部２２−１およびフィルタ処理部２２−２は、入力信号にフィルタ処理を施すことにより得られたフィルタ出力信号を混合部２３に供給する。なお、以下、フィルタ処理部２２−１およびフィルタ処理部２２−２を個々に区別する必要のない場合、単にフィルタ処理部２２と称する。

混合部２３は、バッファ２１から供給された入力信号と、フィルタ処理部２２−１およびフィルタ処理部２２−２から供給されたフィルタ出力信号とに基づいて入力信号からノイズを除去し、その結果得られた出力信号を出力する。

この混合部２３は、より詳細には、図２に示すように構成される。すなわち、混合部２３は、減算部５１−１、減算部５１−２、および混合処理部５２を備えている。

混合部２３では、バッファ２１からの入力信号は、減算部５１−１、減算部５１−２、および混合処理部５２に供給される。また、フィルタ処理部２２−１からのフィルタ出力信号は減算部５１−１に供給され、フィルタ処理部２２−２からのフィルタ出力信号は減算部５１−２に供給される。

減算部５１−１は、バッファ２１からの入力信号と、フィルタ処理部２２−１からのフィルタ出力信号との差分を求め、その結果得られた差分信号を混合処理部５２に供給する。減算部５１−２は、バッファ２１からの入力信号と、フィルタ処理部２２−２からのフィルタ出力信号との差分を求め、その結果得られた差分信号を混合処理部５２に供給する。なお、以下、減算部５１−１および減算部５１−２を個々に区別する必要のない場合、単に減算部５１と称する。

混合処理部５２は、減算部５１−１からの差分信号、減算部５１−２からの差分信号、およびバッファ２１からの入力信号に基づいて混合処理を行い、出力信号を生成する。

次に、図３のフローチャートを参照して、信号処理装置１１が入力された入力信号からノイズを除去する処理であるノイズリダクション処理について説明する。

ステップＳ１１において、バッファ２１は供給された入力信号を保持し、保持している入力信号を順次、フィルタ処理部２２および混合部２３に供給する。すなわち、バッファ２１は、入力信号の連続する信号値を、順次、フィルタ処理部２２および混合部２３に供給していく。また、バッファ２１は、信号処理装置１１への入力信号の供給が終了されるまで継続して入力信号を取得し、取得した入力信号を保持する。

ステップＳ１２において、フィルタ処理部２２−１およびフィルタ処理部２２−２は、保持しているフィルタを用いて、バッファ２１からの入力信号にフィルタ処理を施し、その結果得られたフィルタ出力信号を減算部５１−１および減算部５１−２に供給する。

例えば、フィルタ処理部２２は、バッファ２１から供給された入力信号のいくつかの信号値を用いて、入力信号の注目している信号値に対するフィルタ処理を行う。より具体的には、入力信号が画像信号である場合、フィルタ処理部２２は、入力信号に基づく画像上の注目している注目画素について、その注目画素の画素値（信号値）と、注目画素近傍のいくつかの画素の画素値（信号値）とを用いて、保持しているフィルタによるフィルタ処理を行う。

ステップＳ１３において、減算部５１−１および減算部５１−２は、フィルタ処理部２２−１およびフィルタ処理部２２−２からのフィルタ出力信号と、バッファ２１からの入力信号との差分を計算することにより差分信号を求め、求めた差分信号を混合処理部５２に供給する。すなわち、減算部５１は、入力信号の信号値から、その信号値に対応するフィルタ出力信号の信号値を減算することにより差分を求め、求められた差分の値を混合処理部５２に供給する。

ステップＳ１４において、混合処理部５２は混合処理を行って出力信号を生成し、出力信号を、ノイズの除去された入力信号として出力する。例えば、混合処理部５２は、バッファ２１からの入力信号の信号値をInputとすると、次式（１）を計算することにより、出力信号の信号値Ｏｕｔを算出する。

なお、式（１）において、ｄｉｆ_totalは、減算部５１からの差分信号から求まる補正値であり、この補正値ｄｉｆ_totalは、次式（２）および式（３）から求まる。

ここで、式（２）および式（３）におけるｄｉｆ₁は、減算部５１−１からの差分信号の信号値を示しており、ｄｉｆ₂は、減算部５１−２からの差分信号の信号値を示している。

すなわち、混合処理部５２は、まず差分信号の信号値ｄｉｆ₁と信号値ｄｉｆ₂との積を求め、求めた信号値の積の符号が負である場合、つまり積の値が０未満である場合、差分信号の信号値ｄｉｆ₁と信号値ｄｉｆ₂との和を補正値ｄｉｆ_totalとする。

また、混合処理部５２は、差分信号の信号値ｄｉｆ₁と信号値ｄｉｆ₂との積の符号が正である場合、つまり積の値が０以上である場合、式（３）にしたがって、信号値ｄｉｆ₁と信号値ｄｉｆ₂とのうちの何れか一方を補正値ｄｉｆ_totalとする。すなわち、信号値ｄｉｆ₁の絶対値が信号値ｄｉｆ₂の絶対値以上である場合、信号値ｄｉｆ₁が補正値ｄｉｆ_totalとされ、信号値ｄｉｆ₁の絶対値が信号値ｄｉｆ₂の絶対値未満である場合、信号値ｄｉｆ₂が補正値ｄｉｆ_totalとされる。

そして、混合処理部５２は、補正値ｄｉｆ_totalを求めると、求めた補正値ｄｉｆ_totalと入力信号の信号値Inputとの和を求め、求められた和を出力信号の信号値Ｏｕｔとする。

ステップＳ１５において、信号処理装置１１は、処理を終了するか否かを判定する。例えば、バッファ２１に供給された入力信号の全ての信号値について混合処理が行われ、出力信号の信号値が求められると、処理を終了すると判定される。

ステップＳ１５において、処理を終了しないと判定された場合、処理はステップＳ１２に戻り、上述した処理が繰り返される。すなわち、バッファ２１に保持されている入力信号の次の信号値が処理の対象とされて、出力信号の信号値が求められる。

これに対してステップＳ１５において、処理を終了すると判定された場合、信号処理装置１１の各部は行っている処理を終了し、ノイズリダクション処理は終了する。

このようにして、信号処理装置１１は、互いに異なるフィルタを用いたフィルタ処理により得られたフィルタ出力信号のそれぞれと、入力信号との差分を用いて、出力信号を生成する。

このように、フィルタ出力信号と入力信号との差分の符号および絶対値に応じた補正値を入力信号に加算することで、複数のフィルタのうちの少なくとも１つのフィルタを用いたフィルタ処理が保障されることになる。

すなわち、差分信号の信号値の積が０未満である場合、各差分信号の信号値の符号は異なるので、それらの信号値を入力信号に単純に加算しても、フィルタ処理により入力信号が強調され過ぎることはない。そこで、差分信号の信号値の積が０未満である場合には、各差分信号の信号値の和が補正値とされて、各フィルタによるフィルタ処理の効果が入力信号に反映される。

また、差分信号の信号値の積が０以上である場合、少なくとも１つの差分信号の信号値が０であるか、または各差分信号の信号値の符号が同じであるので、各差分信号の信号値が単純に入力信号に加算されると入力信号が強調され過ぎて、かえって入力信号の品質、例えば、画像の画質が劣化してしまうことがある。

そこで、差分信号の信号値の積が０以上である場合には、差分信号の信号値のうちの絶対値の最も大きい信号値が補正値とされる。つまり、入力信号に対して最も効果のあるフィルタが用いられて、入力信号に対するフィルタ処理が行われることになる。これにより、入力信号の品質を劣化させることなく、１つのフィルタを用いたフィルタ処理により、入力信号から確実にノイズが除去される。

以上のように、各差分信号の信号値の符号および絶対値により定まる補正値で入力信号を補正することにより、より簡単かつ確実に入力信号からノイズを除去することができる。

なお、一般的に複数のフィルタの実装時には、フィルタ処理が水平方向および垂直方向に分割される場合が多く、それらの各方向のフィルタ処理の間の独立性が高ければフィルタ処理の並列化が可能である。

そこで、例えばフィルタ処理部２２−１およびフィルタ処理部２２−２に保持されるフィルタの組み合わせとして、垂直方向のブロックノイズを除去するためのフィルタ（以下、VBN（Vertical Block Noise）フィルタと称する）、および水平方向のブロックノイズを除去するためのフィルタ（以下、HBN（Horizontal Block Noise）フィルタと称する）が考えられる。より具体的には、VBNフィルタおよびHBNフィルタとして、例えば垂直方向に並べられた画素を処理に用いる平滑化フィルタ、および水平方向に並べられた画素を処理に用いる平滑化フィルタを採用することができる。

なお、ブロックノイズとは、画像の圧縮処理時のDCT（Discrete Cosine Transform）ブロック単位で発生するノイズであり、ブロックノイズが発生するとDCTブロック同士の境界に不整合が生じる。

例えば、図４に示すように、入力信号に基づく画像上の領域Ｒ１１内において、図中、上下方向のブロックノイズ、つまり垂直方向のブロックノイズが発生したとする。なお、図４において、１つの四角形は１つの画素を表しており、矢印Ａ１１により示される図中、横方向の直線は、DCTブロックの境界を表している。

垂直方向のブロックノイズは、各DCTブロックの図中、上下の辺の近傍に発生し、図４の例では、領域Ｒ１１に垂直方向のブロックノイズが発生している。垂直方向のブロックノイズの除去には、フィルタの方向が垂直方向（上下方向）であるVBNフィルタが適している。

また、例えば、図５に示すように、入力信号に基づく画像上の領域Ｒ２１内において、図中、左右方向のブロックノイズ、つまり水平方向のブロックノイズが発生したとする。なお、図５において、１つの四角形は１つの画素を表しており、矢印Ａ２１により示される図中、縦方向の直線は、DCTブロックの境界を表している。

水平方向のブロックノイズは、各DCTブロックの図中、左右の辺の近傍に発生し、図５の例では、領域Ｒ２１に水平方向のブロックノイズが発生している。この水平方向のブロックノイズの除去には、フィルタの方向が水平方向（左右方向）であるHBNフィルタが適している。

したがって図６に示すように、入力信号に基づく画像上の領域Ｒ１１内に垂直方向のブロックノイズが発生し、領域Ｒ２１内に水平方向のブロックノイズが発生した場合、VBNフィルタおよびHBNフィルタを用いると、入力信号から効果的にノイズを除去することができる。

つまり、この場合、領域Ｒ１１と領域Ｒ２１との両方の領域に含まれる領域ＢＬ１１には、垂直方向および水平方向のブロックノイズが発生していることになる。そのため、領域ＢＬ１１から垂直方向および水平方向のブロックノイズを除去するには、領域ＢＬ１１に対して、VBNフィルタおよびHBNフィルタを用いたフィルタ処理を施せばよいことになる。

そこで、例えば、入力信号の領域ＢＬ１１に対応する部分に対して、フィルタ処理部２２−１がVBNフィルタによりフィルタ処理を施すとともに、フィルタ処理部２２−２がHBNフィルタによりフィルタ処理を施す。そして、混合部２３が、それらのフィルタ処理により得られるフィルタ出力信号のそれぞれと入力信号とから、各差分信号の信号値の符号および絶対値に応じた補正値を求めて、出力信号を生成する。これにより、画像の画質を劣化させることなく、領域ＢＬ１１から垂直方向または水平方向のブロックノイズの少なくとも一方が確実に除去される。

このように、VBNフィルタおよびHBNフィルタを用いて並行してフィルタ処理を行い、各差分信号の信号値の符号および絶対値に応じた補正値により入力信号を補正することで、フィルタ処理を直列結合する場合と比べて、メモリの増加や処理時間の増加を抑えることができる。その結果、信号処理装置１１の製造コストや計算コストを低減させることができる。また、入力信号の処理対象となる信号値の範囲、例えば画像上の区切られた領域ごとに、ノイズ除去に用いるフィルタを切り替える必要もないので、より簡単かつ確実にノイズを除去することができる。

さらに、フィルタ処理部２２−１およびフィルタ処理部２２−２に保持されるフィルタの組み合わせとして、画像上の物体の輪郭部分を強調する輪郭補正処理用のフィルタと、画像上の物体表面の模様部分（テクスチャ）を強調する質感向上処理用のフィルタとが考えられる。

例えば、図７に示すように、２つの物体、すなわちオブジェクトＯＢ１１とオブジェクトＯＢ１２とが表示される画像の画像信号が入力信号として信号処理装置１１に入力されたものとする。また、フィルタ処理部２２のそれぞれに、輪郭補正処理用のフィルタおよび質感向上処理用のフィルタのそれぞれが保持されているとする。

そのような場合、図８に示すように、オブジェクトＯＢ１１およびオブジェクトＯＢ１２の輪郭の部分、つまりそれらのオブジェクトにおいて斜線が施されている部分に対して、主に輪郭補正処理用のフィルタが用いられてフィルタ処理が施される。この輪郭補正処理用のフィルタは、画像上のオブジェクト（物体）の輪郭部分にプリオーバやプリシュートを発生させて輪郭を強調することで、オブジェクトの存在感を強調させるフィルタである。

また、図９に示すように、オブジェクトＯＢ１１およびオブジェクトＯＢ１２の模様（テクスチャ）の部分、つまりそれらのオブジェクトにおいて斜線が施されている部分に対しては、主に質感向上処理用のフィルタが用いられてフィルタ処理が施される。この質感向上処理用のフィルタは、オブジェクトの表面の模様の部分を強調することでオブジェクトの質感を向上させるフィルタである。

輪郭補正処理用のフィルタおよび質感向上処理用のフィルタは、互いに高域強調型、つまり輝度値の変化の激しい領域を強調するフィルタであるが、ターゲットとなる領域の特徴が異なる。すなわち、例えば輪郭部分または模様部分の何れの領域をターゲットとするか、どの帯域（輝度変化の周波数）の領域をターゲットとするかなどが異なる。

具体的には、輪郭補正処理および質感向上処理に用いられる高域強調型のフィルタは、アンシャープマスキングなどとされる。アンシャープマスキングでは、入力された入力信号を平滑化して得られる平滑化信号を、入力信号から減算することで高域信号を生成し、高域信号に任意のゲインを乗算して原信号（処理対象となる画素の画素値）に付加することにより、高域強調が行われる。

例えば、処理対象の画素を画素Ｘ１とし、その画素Ｘ１近傍の処理に用いられる２つの画素をそれぞれ画素Ｘ０および画素Ｘ２とする。また、画素Ｘ０乃至画素Ｘ２の画素値を、ｘ０乃至ｘ２とすると、次式（４）を計算することにより、アンシャープマスキングによりフィルタ処理された画素Ｘ１の画素値Ｏｕｔが求まる。

式（４）において、Gainは、所定の定数からなる高域強調ゲインを示しており、Comp_highは、次式（５）により求められる高域信号の値を示している。

ここで、輪郭補正処理と質感向上処理とでは、式（４）に示されるアンシャープマスキングの演算において、Gainの値が異なる。つまり、Gainの値は、強調したい領域の特徴によって異なる。

このように、輪郭補正処理用のフィルタおよび質感向上処理用のフィルタを組み合わせて、それらのフィルタを用いたフィルタ処理により得られるフィルタ出力信号の入力信号との差分から、補正値を求めて入力信号を補正することで、入力信号に基づく画像の画質を向上させることができる。

さらに、例えば信号処理装置１１に入力される入力信号が、MPEG（Moving Picture Experts Group）方式により圧縮（符号化）された画像信号に、伸張処理（復号処理）が施されて得られた画像信号であるとする。この場合、入力信号には、主にモスキートノイズおよびブロックノイズが含まれていると考えられる。ここで、モスキートノイズは、画像上の物体の輪郭部分に擬似輪郭が発生するノイズである。

これらのモスキートノイズやブロックノイズの発生は、画像に対する圧縮処理時に行われるDCT変換（離散コサイン変換）において、量子化により画像の高次情報、つまり高周波数成分が失われることが原因であると考えられている。そして、これらのノイズを低減させるアルゴリズムとして、例えば、以下のようなものが知られている。

モスキートノイズについては、画像におけるエッジ領域を検出し、非線形平滑化フィルタを用いて、画像の鮮鋭度を維持しつつ検出されたエッジ領域からモスキートノイズを除去する方法が提案されている（例えば、特開２００４−３３６６５１号公報参照）。

ブロックノイズについては、入力画像データからブロック歪み判定に必要なパラメータを算出し、そのパラメータの算出結果と、画像の符号化の難易度を示すパラメータの検出結果とに基づいて、ブロック歪みを判定する方法が提案されている（例えば、国際公開第ＷＯ ９８／５４８９２号パンフレット参照）。この方法では、ブロック歪みの判定結果に応じて、ブロック歪みを低減させるための補正値が算出され、その補正値により入力画像データが補正される。

また、モスキートノイズやブロックノイズを除去する方法は、これらの方法以外にも多くの方法が提案されている。

ブロックノイズとモスキートノイズとでは画像上において、そのノイズの発生する領域が異なっている。具体的には、ブロックノイズは、例えば、図１０に示すように、画像上のDCTブロックの境界部分の領域に生じることが多い。

図１０では、１つの四角形が画像上の１つのDCTブロックを表しており、斜線が施されている領域はブロックノイズが発生した領域を表している。つまり、DCTブロックの境界の部分にブロックノイズが発生している。

一方、モスキートノイズは、例えば図１１に示すように、画像上のオブジェクト（物体）の輪郭周辺の領域に生じることが多い。なお、図１１において、斜線の施された領域はモスキートノイズが発生した領域を表している。

図１１では、画像上には２つのオブジェクトＯＢ３１とオブジェクトＯＢ３２とがあり、それらのオブジェクトＯＢ３１およびオブジェクトＯＢ３２上の輪郭部分等のエッジのある領域に、モスキートノイズが発生している。

そのため、ブロックノイズを除去するためのフィルタ、およびモスキートノイズを除去するためのフィルタは、それぞれDCTブロックの境界部分の領域、およびエッジのある領域において、重点的に効果が発揮されるように設計されることが多い。

また、ノイズの性質上、ブロックノイズを除去するには、小振幅の不連続性を、ある程度広い領域内の画素を用いて補正する必要がある。したがって、ブロックノイズ除去用のフィルタには、長いタップの低域濾波フィルタ、例えば平滑化フィルタなどが用いられることが多い。ここで、小振幅とは、画像上における互いに隣接する画素の輝度値の差が比較的小さいことをいう。

これに対して、モスキートノイズを除去する場合には、主にエッジ周辺の画素に対して処理が行われるため、モスキートノイズ除去用のフィルタには、εフィルタなどのエッジ保存性のあるフィルタが用いられることが多い。なお、エッジ保存性があるフィルタとは、フィルタ処理を施しても画像上のエッジ、つまり輝度の段差が失われないフィルタをいう。

そこで、信号処理装置１１において、入力信号からブロックノイズおよびモスキートノイズを除去する場合には、例えば、フィルタ処理部２２において用いられるフィルタとして、平滑化フィルタおよびεフィルタが採用される。

そのような場合、信号処理装置１１は、例えば図１２に示すように構成される。すなわち、図１２に示す信号処理装置１１は、バッファ２１、混合部２３、BNR（Block Noise Reduction）処理部９１、およびMNR（Mosquito Noise Reduction）処理部９２から構成される。なお、図１２において図１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

BNR処理部９１は、フィルタ処理部２２に対応し、例えば平滑化フィルタを保持している。すなわち、BNR処理部９１は、保持している平滑化フィルタを用いて、バッファ２１からの入力信号に対してフィルタ処理を施し、その結果得られたフィルタ出力信号を混合部２３の減算部５１−１に供給する。

MNR処理部９２は、フィルタ処理部２２に対応し、例えばεフィルタを保持している。すなわち、MNR処理部９２は、保持しているεフィルタを用いて、バッファ２１からの入力信号に対してフィルタ処理を施し、その結果得られたフィルタ出力信号を混合部２３の減算部５１−２に供給する。

つまり、図１２の信号処理装置１１においては、平滑化フィルタを保持している図１のフィルタ処理部２２−１がBNR処理部９１とされ、εフィルタを保持している図１のフィルタ処理部２２−２がMNR処理部９２とされている。

図１２の信号処理装置１１においても、入力信号が供給されると、図１の信号処理装置１１と同様に、図３のフローチャートを参照して説明したノイズリダクション処理と同じ処理が行われて、入力信号からブロックノイズおよびモスキートノイズの除去された出力信号が生成される。

この場合、ステップＳ１２において、BNR処理部９１は、平滑化フィルタを用いて、バッファ２１からの入力信号に対してフィルタ処理を施し、その結果得られたフィルタ出力信号を混合部２３の減算部５１−１に供給する。また、MNR処理部９２は、εフィルタを用いて、バッファ２１からの入力信号に対してフィルタ処理を施し、その結果得られたフィルタ出力信号を混合部２３の減算部５１−２に供給する。

そして、混合部２３において、バッファ２１からの入力信号、BNR処理部９１からのフィルタ出力信号、およびMNR処理部９２からのフィルタ出力信号から出力信号が生成される。つまり、BNR処理部９１からのフィルタ出力信号と入力信号との差分が求められ、求められた差分が差分信号とされ、MNR処理部９２からのフィルタ出力信号と入力信号との差分が求められ、求められた差分が差分信号とされる。そして、混合処理部５２は、それらの差分信号と入力信号とから式（１）乃至式（３）を計算して、出力信号の信号値を求める。

例えば、BNR処理部９１からのフィルタ出力信号の信号値をbnr‐inとし、MNR処理部９２からのフィルタ出力信号の信号値をmnr‐inとする。また、フィルタ出力信号の信号値bnr‐inと、入力信号の信号値Inputとの差分、つまり差分信号の信号値をｄｉｆ₁とし、フィルタ出力信号の信号値mnr‐inと、入力信号の信号値Inputとの差分、つまり差分信号の信号値をｄｉｆ₂とする。

このとき、信号値ｄｉｆ₁と信号値ｄｉｆ₂との積が０以上であり、値ｄｉｆ₁の絶対値が信号値ｄｉｆ₂の絶対値以上である場合には、例えば、図１３に示すように、信号値Inputと信号値ｄｉｆ₁との和が出力信号の信号値Ｏｕｔとされる。

なお、図１３では、横方向には、図中、左から右方向に順番に、入力信号の信号値Input、MNR処理部９２からのフィルタ出力信号の信号値mnr‐in、BNR処理部９１からのフィルタ出力信号の信号値bnr‐in、および出力信号の信号値Ｏｕｔが示されており、縦軸は、それらの信号値の大きさを示している。

図１３の例では、フィルタ出力信号の信号値mnr‐inおよび信号値bnr‐inは、入力信号の信号値Inputよりも大きいので、入力信号とフィルタ出力信号との差分の積は０以上となる。また、フィルタ出力信号の信号値は、信号値mnr‐inよりも信号値bnr‐inが大きいので、BNR処理部９１からのフィルタ出力信号から得られた差分信号の信号値ｄｉｆ₁が補正値ｄｉｆ_totalとされる。そして、補正値ｄｉｆ_totalを入力信号の信号値Inputに加算して得られる値が出力信号の信号値Ｏｕｔとされる。

また、信号値ｄｉｆ₁と信号値ｄｉｆ₂との積が０未満である場合には、例えば、図１４に示すように、信号値Input、信号値ｄｉｆ₁、および信号値ｄｉｆ₂の和が出力信号の信号値Ｏｕｔとされる。

なお、図１４では、横方向には、図中、左から右方向に順番に、入力信号の信号値Input、MNR処理部９２からのフィルタ出力信号の信号値mnr‐in、BNR処理部９１からのフィルタ出力信号の信号値bnr‐in、および出力信号の信号値Ｏｕｔが示されており、縦軸は、それらの信号値の大きさを示している。

図１４の例では、フィルタ出力信号の信号値mnr‐inは入力信号の信号値Inputよりも大きく、フィルタ出力信号の信号値bnr‐inは、入力信号の信号値Inputよりも小さいので、入力信号とフィルタ出力信号との差分の積は０未満となる。したがって、BNR処理部９１からのフィルタ出力信号から得られた差分信号の信号値ｄｉｆ₁と、MNR処理部９２からのフィルタ出力信号から得られた差分信号の信号値ｄｉｆ₂との和が補正値ｄｉｆ_totalとされる。そして、補正値ｄｉｆ_totalを入力信号の信号値Inputに加算して得られる値が出力信号の信号値Ｏｕｔとされる。図１４の例では、出力信号の信号値Ｏｕｔは、入力信号の信号値Inputよりも小さい値となっている。

このように、信号処理装置１１において、平滑化フィルタおよびεフィルタを組み合わせて用いることで、簡単かつ確実にブロックノイズおよびモスキートノイズを入力信号から除去することができる。

一般に、入力信号からブロックノイズおよびモスキートノイズを同時に除去しようとする場合、ブロックノイズ除去用のフィルタとモスキートノイズ除去用のフィルタとでは、画像上の効果のある領域が異なっているものの完全に排他的になっているわけではない。そのため、処理対象となる画像上の領域に応じて、どちらかのフィルタ（フィルタ処理）を択一的に選択するようなシステムでは、ノイズ除去の効果の低下を招くことになる。また、異なる種類のフィルタが用いられるため、一方のフィルタで他方のフィルタを代用することもできない。

これに対して、信号処理装置１１では、各差分信号の信号値の符号および絶対値に応じた補正値で入力信号を補正することで、混合処理により破綻を生じさせることなく、各フィルタ処理の効果を引き出すことができる。すなわち、少なくとも１つのフィルタ処理が保障されて、画像上に不自然なアーティファクト等を生じさせることなく、入力信号からより確実にノイズが除去される。

しかも、信号処理装置１１によれば、フィルタごとに処理の対象とすべき領域を検出する機構を設ける必要もなく、複数のフィルタを用いても、フィルタによる効果が強調され過ぎることはない。また、フィルタの切り替えを必要としないので、フィルタ処理の時間方向および空間方向の安定性が損なわれることもない。すなわち、画像上の同じ部分の領域に時刻ごとに異なるフィルタ処理が施されたり、フィルタの切り替えにより、画像上に不自然な領域の境界が生じたりすることがない。

さらに、フィルタ処理を直列結合する場合と比べて計算コストや製造コストを抑えることができるとともに、所定のフィルタ処理による影響で、画像上の他のフィルタ処理を施すべき領域が検出できなくなり、適切なフィルタ処理が行われなくなるなど、意図しない動作がなされることもない。

なお、以上においては、２つのフィルタ処理部２２（BNR処理部９１およびMNR処理部９２）のそれぞれにおいて得られたフィルタ出力信号と、入力信号とを用いて出力信号を生成すると説明したが、フィルタ処理部２２は、２つに限らず３以上であってもよい。

そのような場合、信号処理装置１１に設けられた複数のフィルタ処理部２２のそれぞれにおいて、入力信号に対するフィルタ処理が行われ、フィルタ処理部２２のそれぞれにおいて得られたフィルタ出力信号のそれぞれと、入力信号との差分が求められて差分信号が生成される。そして、それらの差分信号の信号値うちの最大のものが式（２）の信号値ｄｉｆ₁に対応する信号値ｄｉｆ₁’とされ、差分信号の信号値のうちの最小のものが式（２）の信号値ｄｉｆ₂に対応する信号値ｄｉｆ₂’とされる。

すなわち、混合処理部５２は、次式（６）乃至式（８）を計算することにより、補正値ｄｉｆ_totalを求め、さらに式（１）にしたがって、求めた補正値ｄｉｆ_totalと入力信号の信号値Inputとの和を計算し、出力信号の信号値Ｏｕｔを求める。

式（６）では、ｎ個のフィルタ処理部２２からのフィルタ出力信号のそれぞれから得られた差分信号の信号値ｄｉｆ₁乃至信号値ｄｉｆ_nのうち、最も大きい値の信号値ｄｉｆ_i（但し、１≦ｉ≦ｎ）が信号値ｄｉｆ₁’とされる。

また、式（７）では、ｎ個のフィルタ処理部２２からのフィルタ出力信号のそれぞれから得られた差分信号の信号値ｄｉｆ₁乃至信号値ｄｉｆ_nのうち、最も小さい値の信号値ｄｉｆ_i（但し、１≦ｉ≦ｎ）が信号値ｄｉｆ₂’とされる。

そして、式（８）では、信号値ｄｉｆ₁’と信号値ｄｉｆ₂’の積が求められ、求めた信号値の積の符号が負である場合、つまり積の値が０未満である場合、信号値ｄｉｆ₁’と信号値ｄｉｆ₂’との和が補正値ｄｉｆ_totalとされる。

また、信号値ｄｉｆ₁’と信号値ｄｉｆ₂’の積の符号が正である場合、つまり積の値が０以上である場合、信号値ｄｉｆ₁’と信号値ｄｉｆ₂’とのうちの絶対値の大きい方の信号値が補正値ｄｉｆ_totalとされる。

このように、信号処理装置１１に３以上のフィルタ処理部２２が設けられ、３以上のフィルタが用いられる場合には、差分信号の信号値のうち、最大のものおよび最小のものが用いられて補正値が求められる。したがって、複数のフィルタのうち、入力信号に対してノイズ除去の効果が大きいものだけが用いられてフィルタ処理が行われることになる。その結果、入力信号が強調され過ぎて、各フィルタの効果が打ち消されるようなこともなく、より簡単かつ確実に入力信号からノイズを除去することができる。つまり、複数のフィルタのうち、１つまたは２つのフィルタによるフィルタ処理が保障されることになる。

このようにして、複数のフィルタのうち、入力信号に対してより効果のあるいくつかのフィルタについての差分信号を用いて補正値を求める方法は、例えばMPEG方式で圧縮された画像がさらに伸張されて得られる画像信号について、ブロックノイズリダクションおよびモスキートノイズリダクションを行う場合に限らず、他のノイズを除去する場合にも適用できる。すなわち、例えば、画像上の複数の異なる空間方向に対するノイズ除去を行う場合や、画像上の空間方向に対するノイズ除去と、時間方向に対するノイズ除去とを同時に行う場合などにも適用することができる。

さらに、信号処理装置１１は、画像信号を対象とする輪郭の強調や鮮鋭感向上などの画像処理全般に適用できるだけでなく、音声信号に対するノイズ除去など、電気的な信号に対するフィルタ処理全般について適用可能である。

なお、以上においては、混合部２３において入力信号とフィルタ出力信号との差分を求めると説明したが、フィルタ処理部２２（BNR処理部９１およびMNR処理部９２）において、入力信号とフィルタ出力信号との差分が求められるようにしてもよい。そのような場合、混合部２３に減算部５１を設ける必要がなくなる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した信号処理装置の一実施の形態の構成例を示すブロック図である。 混合部のより詳細な構成例を示す図である。 ノイズリダクション処理を説明するフローチャートである。 垂直方向のブロックノイズについて説明する図である。 水平方向のブロックノイズについて説明する図である。 垂直方向および水平方向のブロックノイズの除去について説明する図である。 入力信号に基づく画像の例について説明する図である。 輪郭補正処理用のフィルタによるフィルタ処理の対象となる領域について説明する図である。 画質向上処理用のフィルタによるフィルタ処理の対象となる領域について説明する図である。 ブロックノイズの発生する領域について説明する図である。 モスキートノイズの発生する領域について説明する図である。 信号処理装置の他の構成例を示す図である。 出力信号の生成について説明する図である。 出力信号の生成について説明する図である。 コンピュータの構成例を示す図である。

符号の説明

１１ 信号処理装置， ２１ バッファ， ２２−１，２２−２，２２ フィルタ処理部， ２３ 混合部， ５１−１，５１−２，５１ 減算部， ５２ 混合処理部， ９１ BNR処理部， ９２ MNR処理部

Claims (6)

1. 入力信号に対して複数のフィルタを用いてフィルタ処理を行い、出力信号を生成する信号処理装置であって、
   フィルタを用いて前記入力信号に対してフィルタ処理を施すフィルタ処理手段と、
   複数の前記フィルタ処理手段による前記フィルタ処理により得られたフィルタ出力信号のそれぞれと前記入力信号との差分のそれぞれの符号および絶対値に基づいて定まる補正値を、前記入力信号に加算することにより、前記出力信号を生成する生成手段と
   を備える信号処理装置。
2. 前記生成手段は、前記フィルタ出力信号と前記入力信号との差分のうち、値が最大である差分と、値が最小である差分との積が０以上である場合、前記最大である差分と前記最小である差分のうちの絶対値の大きい方の値を前記補正値とする
   請求項１に記載の信号処理装置。
3. 前記生成手段は、前記フィルタ出力信号と前記入力信号との差分のうち、値が最大である差分と、値が最小である差分との積が０未満である場合、前記最大である差分と前記最小である差分の和を前記補正値とする
   請求項１に記載の信号処理装置。
4. 複数の前記フィルタ処理手段のうちの第１のフィルタ処理手段は、平滑化処理を行うフィルタを用いた前記フィルタ処理を行い、
   複数の前記フィルタ処理手段のうちの第２のフィルタ処理手段は、エッジ保存性のあるフィルタを用いた前記フィルタ処理を行う
   請求項１に記載の信号処理装置。
5. 入力信号に対して複数のフィルタを用いてフィルタ処理を行い、出力信号を生成する信号処理方法であって、
   フィルタ処理手段がフィルタを用いて前記入力信号に対してフィルタ処理を施し、
   複数の前記フィルタ処理手段による前記フィルタ処理により得られたフィルタ出力信号のそれぞれと前記入力信号との差分のそれぞれの符号および絶対値に基づいて定まる補正値を、前記入力信号に加算することにより、前記出力信号を生成する
   ステップを含む信号処理方法。
6. 入力信号に対して複数のフィルタを用いてフィルタ処理を行い、出力信号を生成する信号処理用のプログラムであって、
   フィルタ処理手段がフィルタを用いて前記入力信号に対してフィルタ処理を施し、
   複数の前記フィルタ処理手段による前記フィルタ処理により得られたフィルタ出力信号のそれぞれと前記入力信号との差分のそれぞれの符号および絶対値に基づいて定まる補正値を、前記入力信号に加算することにより、前記出力信号を生成する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images