JP4196929B2 - ノイズ検出装置及びノイズ検出プログラム - Google Patents

Description

本発明はノイズ検出装置及びノイズ検出プログラムに係り、特に画像信号を周波数変換、非可逆符号化することによって生じるモスキートノイズを検出するノイズ検出装置及びノイズ検出プログラムに関する。

近年、インターネットやディジタル放送などの普及により、ディジタル表現された画像はますます一般的になっている。これらの画像を少ない符号量で効率的に表現する手法として、ＪＰＥＧ(Joint Photographic Experts Group)やＭＰＥＧ(Moving Picture Experts Group)などに代表される、直交変換符号化方式が広く用いられている。この符号化方式は、画像信号の性質を利用してデータ量を削減するため、周波数変換及び量子化処理が行われる。周波数変換後の係数値は、量子化によって特に高周波成分を制限することで、データ量を削減し、符号化効率を高めるが、一方、量子化ステップが大きくなるにつれて再生画にノイズが増加し、画質劣化が顕著になる。

上記ノイズのうち、特に画像のエッジ部周辺においてモスキートノイズとよばれる、蚊がエッジ周辺にまとわりつくように見えるノイズが知られている。これは、量子化処理において特に高周波成分を制限したことによってエッジ周辺の情報が欠落したためであり、画質の劣化を招く。

そこで、このモスキートノイズを検出する手法がいくつか提案されている。従来のモスキートノイズを検出するノイズ検出装置の一例は、エッジ部周辺などのノイズが発生する可能性のある箇所を検出することによってモスキートノイズを検出する装置である（例えば、特許文献１参照）。すなわち、この特許文献１記載の従来のノイズ検出装置は、入力画像信号を２次元のブロックに分割して直交変換する直交変換符号化方式の画像信号復号器であって、復元画像信号を微分処理してモスキートノイズの発生した画素を検出するものである。

また、従来のモスキートノイズを検出するノイズ検出装置の他の例は、直交変換符号化においてデコーダ内の動きベクトルや変換係数の特定範囲の絶対和、あるいは特定範囲の変換係数の存在を調べることにより、モスキートノイズを検出する装置である（例えば、特許文献２参照）。

特開平７−２１２７５９号公報 特開２００１−２０４０２９号公報

前述したように、モスキートノイズの発生原因は量子化であり、特に高周波成分の係数を制限することによってなされるため、エッジ周辺の情報が失われる。特許文献１記載の従来のノイズ検出装置ではこれを利用し、エッジ周辺にモスキートノイズが発生するものとしてノイズ検出を行う。しかし、実際にノイズが目立って発生するのは、量子化による係数値の剰余が大きい箇所である。

特許文献１記載の従来のノイズ検出装置では、量子化による係数値の剰余に関係なくエッジ部が検出される。従って、たとえエッジ部でも、ノイズが殆ど発生しておらず、フィルタリングの必要がない箇所も検出することになる。特に、高画質の画像に対し、ノイズを検出してフィルタリングを施した場合、却って画質を劣化させてしまう。

一方、特許文献２記載の従来のノイズ検出装置は、変換係数を用いてブロック内の複雑度、すなわち絵柄が（エッジ部やテクスチャ部などを含んでいて）複雑かどうかを調べる装置であるが、これも特許文献１記載の従来のノイズ検出装置と同じ問題が発生する。更に、特許文献２記載の従来のノイズ検出装置では、直交変換符号化にＭＰＥＧ２などのフレーム間符号化方式を用いた場合、ピクチャタイプによるモスキートノイズの発生具合の相違に対する考慮が不十分で、適切なノイズ検出とはいえないことが課題であった。

本発明は以上の点に鑑みなされたもので、ノイズが発生する可能性がある箇所を検出するのではなく、モスキートノイズそのものを検出するノイズ検出装置及びノイズ検出プログラムを提供することを目的とする。

上記目的を達成するため、本発明のノイズ検出装置は、画像信号のモスキートノイズを検出するノイズ検出装置において、供給される復号された画像信号を周波数変換して、予め定めた画像領域の単位で低域から高域にわたり複数の変換係数を出力する周波数変換手段と、周波数変換手段から出力された変換係数に対して、予め定めた画像領域の単位で第１の閾値とこの第１の閾値よりも大なる値の第２の閾値を決定し、画像領域内の複数の変換係数のうち値が第１の閾値未満である変換係数を探索対象の変換係数とし、画像領域内で探索対象の変換係数より高域の変換係数を求め、求めた高域の変換係数の値が第２の閾値よりも大であるとき、探索対象の変換係数を孤立係数として決定し、孤立係数が存在する画像領域をモスキートノイズが存在する領域と判定してノイズ検出信号を出力するモスキートノイズ判定手段とを有することを特徴とする。

この発明では、孤立係数は、エンコーダ内の量子化による制限を強く受けて係数情報が大きく失われ、それからデコーダ内で逆量子化したために、周辺の係数に比べて値が小さくなったのであることに着目し、予め定めた画像領域の単位で孤立係数を探索し、孤立係数が存在する場合は、その画像領域にはモスキートノイズが発生していると判断してノイズ検出信号を出力するようにしたため、量子化による係数値の剰余が大きい箇所をモスキートノイズが存在すると検出することができる。

また、上記の目的を達成するため、画像信号のモスキートノイズを検出するノイズ検出をコンピュータのソフトウェアにて実行させるプログラムにおいて、コンピュータを、供給される復号された画像信号を周波数変換して、予め定めた画像領域の単位で低域から高域にわたり複数の変換係数を出力する周波数変換手段と、周波数変換手段から出力された変換係数に対して、予め定めた画像領域の単位で第１の閾値とこの第１の閾値よりも大なる値の第２の閾値を決定し、画像領域内の複数の変換係数のうち値が第１の閾値未満である変換係数を探索対象の変換係数とし、画像領域内で探索対象の変換係数より高域の変換係数を求め、求めた高域の変換係数の値が第２の閾値よりも大であるとき、探索対象の変換係数を孤立係数として決定し、孤立係数が存在する画像領域をモスキートノイズが存在する領域と判定してノイズ検出信号を出力するモスキートノイズ判定手段として機能させることを特徴とする。

本発明によれば、量子化による係数値の剰余が大きい箇所を検出するようにしたため、モスキートノイズが殆ど発生していないにも拘らずノイズとして検出することを防止することができ、よって、高画質の画像信号に対し、ノイズを検出してフィルタリングを施した場合の画質劣化を防止できる。

次に、発明を実施するための最良の形態について図面と共に説明する。以下、例として、ＭＰＥＧ２でエンコード・デコードされた後の再生信号に対して、モスキートノイズを検出する場合を挙げる。そこで、まず、ＭＰＥＧ２のエンコーダ部及びデコーダ部について説明する。

図１はＭＰＥＧ２のエンコーダ部の一例のブロック図を示す。図１において、エンコーダ部１０は、減算器１１、動き推定（ＭＥ）を行うＭＥ部１２、離散コサイン変換（ＤＣＴ）を行うＤＣＴ部１３、量子化部１４、逆量子化部１５、逆ＤＣＴ部１６、可変長符号化部１７、及び加算器１８からなる。

エンコーダ部１０では、画像信号が入力信号ａとして入力され、ＭＥ部１２に供給される一方、減算器１１に供給されてＭＥ部１２により得られた動き補償信号と減算される。減算器１１から出力された信号は、ＤＣＴ部１３によってＤＣＴが施されて変換係数とされる。ＤＣＴ後の変換係数は量子化部１４において、量子化ステップにより量子化されて情報量が削減される。

インターフレームでは、この後、逆量子化部１５及び逆ＤＣＴ部１６からなるローカルデコーダによって再生画像が生成され、逆ＤＣＴ部１６の出力信号が加算器１８でＭＥ部１２からの動き補償信号と加算された後ＭＥ部１２において、入力信号ａと加算器１８の出力信号とに基づいてＭＥ（動き推定）が行われた後、得られた動き補償信号が減算器１１に供給されて入力信号ａと減算されることによってフレーム間符号化がなされる。最後に、量子化後の値が可変長符号化部１７によって可変長符号化され、ＭＰＥＧ２のビットストリームが出力符号ｂとして出力される。

次に、デコーダ部について説明する。図２はデコーダ部２０の一例のブロック図を示す。同図において、デコーダ部２０は入力符号ｃが供給される可変長復号化部２１、逆量子化部２２、逆ＤＣＴ部２３、出力信号ｅを出力する加算器２４、動きベクトル及ピクチャタイプなどの情報ｄと出力信号ｅが入力されるＭＣ（動き補償）部２５からなる。

このデコーダ部２０は、エンコーダ部１０で生成されたＭＰＥＧ２のビットストリームが入力符号ｃとして入力され、可変長復号化部２１によって可変長復号化され、さらに逆量子化部２３によって逆量子化されて、変換係数が得られる。この変換係数は、逆ＤＣＴ部２４において逆ＤＣＴが施され、加算器２４を介して復元した画像信号を復号信号ｅとして出力する。

インターフレームでは、逆ＤＣＴ部２４の出力信号と、可変長復号化部２２より得られた動きベクトル及びピクチャタイプなどの情報ｄを用いてＭＣ部２５においてＭＣ（動き補償）が行われることによって復号化がなされる。このＭＣ部２５の出力信号は逆ＤＣＴ部２３の出力信号と加算器２４で加算されて復号化された出力信号ｅとして出力される。

次に、本発明になるノイズ検出装置の各実施の形態について説明する。図３は本発明になるノイズ検出装置の一実施の形態のブロック図を示す。同図において、図２の構成のデコーダ部２０から出力された復号信号ｅは、モスキートノイズ検出装置３０内の周波数変換部３１と、モスキートノイズフィルタリング部３３とにそれぞれ入力される。モスキートノイズ検出装置３０は、周波数変換部３１及びモスキートノイズ判定部３２からなり、ノイズ検出信号ｆをモスキートノイズフィルタリング部３３に供給する。

デコーダ部２０から出力された復号信号ｅがモスキートノイズ検出対象であるので、これを入力信号として、周波数変換部３１とモスキートノイズフィルタリング部３３に供給する。周波数変換部３１において得られた変換係数値は、モスキートノイズ判定部３２において、モスキートノイズが存在したときにノイズ検出信号ｆをモスキートノイズフィルタリング部３３に出力する。モスキートノイズ判定部３２は、モスキートノイズが存在しなければ、ノイズ検出信号ｆは出力されない。

モスキートノイズフィルタリング部３３は、ノイズ検出信号ｆが入力されたならば、入力信号ｅに対してフィルタリングがなされ、ノイズが低減された信号が出力信号ｇとして出力される。一方、モスキートノイズフィルタリング部３３は、ノイズ検出信号ｆが入力されなければ、入力信号ｅは、そのまま出力信号ｇとして出力される。

（第１の実施の形態）
次に、本発明のノイズ検出装置の要部を構成するモスキートノイズ判定部３２の各実施の形態の構成について説明する。図４はモスキートノイズ判定部の第１の実施の形態のブロック図を示す。同図において、第１の実施の形態のモスキートノイズ判定部３２ａは、閾値決定部３２１、探索係数比較部３２２及び探索係数より高域の係数比較部３２３から構成されている。

この第１の実施の形態のモスキートノイズ判定部３２ａでは、図３の周波数変換部３１の出力、すなわち変換係数が入力信号として入力され、閾値決定部３２１において後述する２つの閾値ｔ，Ｔを決定し、変換係数の探索処理を開始する。続いて、探索係数比較部３２２において、変換係数が上記の閾値ｔと比較され、次に、探索係数より高域の係数比較部３２３において、探索対象の変換係数より高域の係数が閾値Ｔと比較される。閾値ｔ，Ｔとの比較結果により、ノイズ検出信号ｆの出力内容が決定される。

次に、図３及び図４に示す実施の形態の動作について説明する。まず、図３において、ＭＰＥＧ２によるエンコード・デコードがされた後の復号信号ｅが、入力信号としてモスキートノイズ検出装置３０内の周波数変換部３１に入力される。周波数変換部３１では、復号信号ｅである輝度信号に対して、例えば縦方向８画素、横方向８画素（８×８画素）のブロック単位のＤＣＴが施され、ＤＣＴ係数を得る。

図１０は、８×８画素のブロック単位の独立した値を持つ周波数が異なる複数のＤＣＴ係数を示したものであり、一つの正方形が一つのＤＣＴ係数を表す。ＤＣＴ後の変換係数は、図１０に示すように、右へ向かうほど高い水平周波数成分の係数となり、下へ向かうほど高い垂直周波数成分の係数となる。ここで、最低周波数成分ｄ_００は、直流成分であるのでＤＣ係数であり、この直流成分以外の交流成分はＡＣ係数である。

次に、モスキートノイズ判定部３２の動作について、図１１及び図１３を参照しながら説明する。図１１は８×８画素のブロック単位のＤＣＴ係数を示したものであり、一つの正方形が一つのＤＣＴ係数を表す。また、ｃ_ｘｙは探索対象の係数、ｃ_ｘｙより水平周波数成分がより高域の係数をＣ_ｘｉ，ｃ_ｘｙより垂直周波数成分がより高域の係数をＣ_ｊｙとする。ここで、ｘ，ｙ，ｉ，ｊはそれぞれ係数の位置（最低域が０、最高域が７）を表し、範囲は、０〜７である。ただし、ｉ及びｊのとり得る範囲は、ｙ＜ｉ≦７，ｘ＜ｊ≦７である。

図１３は、この実施の形態において、ブロック単位の処理とした場合のフローチャートであり、図３及び図４のモスキートノイズ判定部３２にて実行されるものである。モスキートノイズ判定部３２の閾値決定部３２１では、まず、２つの閾値ｔ，Ｔを決定する（ステップＳ１０１）。これらの閾値ｔ，Ｔは、現ブロックやその周辺などを考慮して可変としてもよいが、ここでは固定値（例えばｔ＝４，Ｔ＝１６）とする。

そして、探索係数比較部３２２において、ブロック内のＤＣＴ係数の絶対値に対し、その周辺のＤＣＴ係数から孤立した係数値ｃ_ｘｙの探索を開始する（ステップＳ１０２）。孤立係数の探索は、まず、第１の閾値ｔ未満の係数ｃ_ｘｙを探索し（ステップＳ１０３）、閾値ｔ未満の探索対象の係数ｃ_ｘｙより高域にある係数Ｃ_ｘｉ，Ｃ_ｊｙを求める（ステップＳ１０４）。

続いて、探索係数より高域の係数比較部３２３において、探索対象の変換係数ｃ_ｘｙより高域にある係数Ｃ_ｘｉ，Ｃ_ｊｙの両方が第２の閾値Ｔより大きいかどうか判定する（ステップＳ１０５）。探索対象の変換係数ｃ_ｘｙより高域にある係数Ｃ_ｘｉ，Ｃ_ｊｙの両方が第２の閾値Ｔより大きいときには、探索対象の変換係数ｃ_ｘｙを孤立係数とし、該ブロックはモスキートノイズブロックとする（ステップＳ１０７）。

なお、処理量削減のため、例えば、ｉ＝ｙ＋１，ｊ＝ｘ＋１としても構わない。該ブロックがモスキートノイズブロックであれば、そのブロックの処理は終了する。

一方、ステップＳ１０５で探索対象の変換係数ｃ_ｘｙより高域にある係数Ｃ_ｘｉ，Ｃ_ｊｙの両方が第２の閾値Ｔ未満であると判定されたときには、ブロック内の全画素について探索が終了したかどうか判定し（ステップＳ１０６）、探索が全画素について終了していなければ、ステップＳ１０２に戻り、次の探索対象の係数に対して同様の探索を行い、全画素について探索が終了したらそのブロックの処理はすべて終了し、次のブロックの処理へ移る。

図１２は、８×８画素のブロック単位のＤＣＴ係数を示したものであり、一つの正方形が一つのＤＣＴ係数を表す。探索範囲は、処理量削減のため、ブロック内の全画素とせずに、例えば図１２に斜線で示す範囲としても構わない。

孤立係数は、エンコーダ内の量子化による制限を強く受けて係数情報が大きく失われ、それからデコーダ内で逆量子化したために、周辺の係数に比べて値が小さくなったのである。従って、孤立した係数値が存在する場合は、モスキートノイズが発生しているので、前記したように、探索対象の変換係数ｃ_ｘｙより高域にある係数Ｃ_ｘｉ，Ｃ_ｊｙの両方が第２の閾値Ｔより大きいときには、探索対象の変換係数ｃ_ｘｙを孤立係数として、該ブロックはモスキートノイズブロックとし、ノイズ検出信号ｆを出力する。そうでなければ、ノイズ検出信号ｆは出力されない。

最後に、図３に示したモスキートノイズフィルタリング部３３において、ノイズ検出信号ｆが入力されたならば、入力復号信号ｅに対してフィルタリングがなされ、ノイズが低減された信号が出力信号ｇとして出力される。一方、ノイズ検出信号ｆが入力されなければ、入力復号信号ｅは、そのまま出力信号ｇとして出力される。

この第１の実施の形態のモスキートノイズ検出装置によれば、量子化による係数値の剰余が大きい箇所を検出するので、モスキートノイズが殆ど発生していないにも拘らず、ノイズとして検出することを防止することができる。従って、このノイズ検出箇所に対してのみフィルタリングを行うことで、モスキートノイズを効果的に低減できる。

（第２の実施の形態）
次に、図３及び図５を用いて、本発明のノイズ検出装置の第２の実施の形態について説明する。図５は図３のモスキートノイズ判定部３２の第２の実施の形態のブロック図を示す。同図中、図４と同一構成部分には同一符号を付し、その説明を省略する。図５において、第２の実施の形態のモスキートノイズ判定部３２ｂは、閾値決定部３２５、探索係数比較部３２２、探索係数より高域の係数比較部３２３及びピクチャタイプ推定部３２４から構成されている。

すなわち、本実施の形態のモスキートノイズ判定部３２ｂは第１の実施の形態のモスキートノイズ判定部３２ａと比較すると、新たにピクチャタイプ推定部３２４を設け、閾値決定部３２５に、変換係数の他にピクチャタイプ推定部３２４からピクチャタイプを入力する構成としたものである。そして、閾値決定部３２５において、ピクチャタイプを考慮した閾値を決定するものである。

次に、本実施の形態の動作について説明するに、ピクチャタイプ推定部３２４において、仮にピクチャタイプが既知ならば、図５の閾値決定部３２５に対して、そのままピクチャタイプを入力する。しかし、本実施の形態はデコーダ情報を取得できない場合なので、普通、ピクチャタイプは未知である。そこで、ピクチャタイプ推定部３２４は、復号画像のみからピクチャタイプを推定する。

ピクチャタイプを推定する方法としては、ＤＣＴ係数をカウントし、それを前後のフレームと比較する方法（特開２００２−１３５７７９号公報）、スキップマクロブロックと推測されるマクロブロックをカウントし、それを数フレームにわたって比較する方法（特開２００３−１１１０８１号公報）などがある。図５のピクチャタイプ推定部３２４は、前者のピクチャタイプ推定方法を用いた場合を想定して示した。

直交変換符号化にフレーム間予測符号化を用いた場合、インターフレームは参照フレームとの差分から求められる。しかし、参照フレームに量子化誤差が発生しているとき、インターフレームはその誤差が蓄積されることになる。これにより、モスキートノイズはイントラフレームよりもインターフレームに多く発生する。同じインターフレームでも、Ｐフレーム（ピクチャ）とＢフレーム（ピクチャ）とでは、Ｂフレーム（ピクチャ）の方がより誤差が蓄積する。

そこで、本実施の形態では、変換係数とピクチャタイプが入力された閾値決定部３２５において、第１の閾値ｔを、インターフレームの場合はイントラフレームに比べて大きくすることで、モスキートノイズを検出し易くする。また、同じインターフレームでも、ＰフレームよりＢフレームの閾値を大きくし、モスキートノイズを検出し易くする。これらにより、各フレームの性質を考慮してモスキートノイズを検出する。

モスキートノイズ検出方法は、第１の実施の形態で説明したものと同様なので、省略する。本実施の形態のノイズ検出装置によれば、第１の実施の形態と同様に、量子化による係数値の剰余が大きい箇所を検出するので、モスキートノイズが殆ど発生していないにも拘らずノイズとして検出することを防止することができる。

また、本実施の形態では、フレーム間予測符号化方式によってエンコード・デコードされた画像信号に対して、ピクチャタイプによってモスキートノイズの発生具合が違うことを考慮することで、適切にモスキートノイズを検出するようにしているため、このノイズ検出箇所に対してのみフィルタリングを行うことで、モスキートノイズを効果的に低減できる。

（第３の実施の形態）
次に、図３及び図６を用いて、本発明のノイズ検出装置の第３の実施の形態について説明する。図６は図３のモスキートノイズ判定部３２の第３の実施の形態のブロック図を示す。同図中、図４と同一構成部分には同一符号を付し、その説明を省略する。図６に示す第３の実施の形態のモスキートノイズ判定部３２ｃは、閾値決定部３２１、探索係数比較部３２２、探索係数より高域の係数比較部３２３、係数探索処理スキップ判定部３２６及びスイッチ回路３２７よりなる構成である。

第３の実施の形態のモスキートノイズ判定部３２ｃは、モスキートノイズ判定部３２ａと比較すると、新たに係数探索処理スキップ判定部３２６とスイッチ回路３２７とを設け、係数探索処理スキップ判定部３２６が、周波数変換後の変換係数の分布によっては、閾値決定部３２１、探索係数比較部３２２、及び探索係数より高域の係数比較部３２３をスキップして変換係数を出力させ、閾値決定部３２１にはスイッチ回路３２７により選択された変換係数を供給することで、係数探索処理をなるべくしないようにして、検出にかかる処理量を削減する構成としたものである。

このモスキートノイズ判定部３２ｃの動作について説明する。この実施の形態では、探索係数が閾値ｔ未満かどうかを判定する前に、変換係数の分布からあまり目立たないノイズと分かった場合は、ノイズが発生していないものとして扱い、係数の探索処理をしないようにする。あるいは、変換係数の分布から目立つノイズが発生していることが分かった場合は、ノイズが発生しているものとして扱い、係数の探索処理をしないようにする。

すなわち、係数探索処理スキップ判定部３２６は変換係数を入力として受け、その入力変換係数のＤＣ成分（例えば、絶対値が「０」〜「２０４０」の範囲内）を求め、例えば、ＤＣ成分の絶対値が閾値「１０２４」より大きいならば、絵柄が明るくてノイズが目立ちにくいので、ノイズが発生していないものとして扱い、スイッチ回路３２７を制御して端子イ側に接続させ、変換係数は閾値決定部３２１に対して供給せず、係数探索処理をしないようにする。

また、入力変換係数のＤＣ成分の絶対値が閾値「１０２４」以下のときには、スイッチ回路３２７を制御して端子ロ側に接続させ、入力変換係数をスイッチ回路３２７を介して閾値決定部３２１に供給し、第１の実施の形態と同様の係数探索処理を行わせる。なお、上記のＤＣ成分の絶対値の多く存在する値は、絵柄に強く依存するため、一概には言えないが、例えば「１００」〜「１７００」程度に多く存在する。

なお、係数探索処理スキップ判定部３２６において、ブロック内の０の個数をカウントし、例えば、ブロック内の０の個数が閾値３２より大きいならば、量子化幅が大きいので、ノイズが発生しているものとして扱い、スイッチ回路３２７を制御して端子イ側に接続させ、係数探索処理スキップ判定部３２６からノイズ検出信号をスイッチ回路３２７を介して出力させ、閾値決定部３２１、探索係数比較部３２２、及び探索係数より高域の係数比較部３２３をスキップすることにより、係数探索処理をしないようにする。モスキートノイズ検出方法は、第１の実施の形態で説明したものと同様なので、省略する。

本実施の形態のノイズ検出装置によれば、第１の実施の形態と同様に、量子化による係数値の剰余が大きい箇所を検出するので、モスキートノイズが殆ど発生していないにも拘らずノイズとして検出することを防止することができる。また、周波数変換後の変換係数の分布を考慮し、絵柄が明るくてノイズが目立ちにくいときや、目立つノイズが発生しているときには、係数探索処理をしないようにスキップ処理することにより、モスキートノイズ検出にかかる処理量を削減することができる。従って、このノイズ検出箇所に対してのみフィルタリングを行うことで、モスキートノイズを効果的に低減できる。

（第４の実施の形態）
次に、図３及び図７を用いて、本発明のノイズ検出装置の第４の実施の形態について説明する。図７は図３のモスキートノイズ判定部３２の第４の実施の形態のブロック図を示す。同図中、図４と同一構成部分には同一符号を付し、その説明を省略する。図７に示す第４の実施の形態のモスキートノイズ判定部３２ｄは、メモリ部３２８、閾値決定部３２９、探索係数比較部３２２及び探索係数より高域の係数比較部３２３から構成されている。

すなわち、本実施の形態のモスキートノイズ判定部３２ｄは第１の実施の形態のモスキートノイズ判定部３２ａと比較すると、周辺ブロックを考慮して、モスキートノイズを検出するためのメモリ部３２８が新たに設けられ、閾値決定部３２９に、現ブロックの変換係数のほかに周辺ブロックの変換係数がメモリ部３２８より入力される構成としたものである。

この実施の形態では、図３の周波数変換部３１から出力された変換係数が閾値決定部３２９に供給されると共に、メモリ部３２８に供給される。メモリ部３２８は、閾値決定部３２９に供給される変換係数の周辺ブロックの変換係数を閾値決定部３２９に供給する。これにより、閾値決定部３２９は、周波数変換部３１から供給される変換対象のブロックの変換係数だけでなく、その周辺ブロックの変換係数に基づき、絵柄の複雑さを考慮して閾値ｔ，Ｔを決定する。これによって、ノイズの検出精度を上げ、より適切にモスキートノイズを検出する。閾値決定部３２９で決定された閾値ｔ，Ｔは探索対象係数と共に探索係数比較部３２２に入力され、第１の実施の形態と同様の動作により、ノイズ検出が行われる。

例えば、ノイズ検出対象ブロックの変換係数の絶対和が、周辺ブロックの変換係数の絶対和よりも大きい場合、現ブロックは周辺に比べて絵柄が複雑なので、図７の閾値決定部３２９において、閾値Ｔを周辺ブロックの閾値に比べて小さくすることで、ノイズを検出し易くすることができる。

本実施の形態のノイズ検出装置によれば、第１の実施の形態と同様に、量子化による係数値の剰余が大きい箇所を検出するので、モスキートノイズが殆ど発生していないにも拘らずノイズとして検出することを防止することができる。また、周波数変換部３１がブロック単位で周波数変換を行う構成ならば、周辺ブロックの変換係数値の分布を考慮することで、現ブロックに対して周辺と絵柄の複雑さを比較して、適切にモスキートノイズを検出できる。従って、このノイズ検出箇所に対してのみフィルタリングを行うことで、モスキートノイズを効果的に低減できる。

なお、本実施の形態においては周辺ブロックを考慮したが、これは周辺ラインでも構わない。

（第５の実施の形態）
次に、図３及び図８を用いて、本発明のノイズ検出装置の第５の実施の形態について説明する。図８は図３のモスキートノイズ判定部３２の第５の実施の形態のブロック図を示す。同図中、図４と同一構成部分には同一符号を付し、その説明を省略する。図８に示す第５の実施の形態のモスキートノイズ判定部３２ｅは、メモリ部３３０、閾値決定部３３１、探索係数比較部３２２及び探索係数より高域の係数比較部３２３から構成されている。

すなわち、本実施の形態のモスキートノイズ判定部３２ｅは第１の実施の形態のモスキートノイズ判定部３２ａと比較すると、前後フレームを考慮して、モスキートノイズを検出するためのメモリ部３３０が新たに設けられ、閾値決定部３３１に、変換対象の変換係数のフレームの前後フレームの変換係数がメモリ部３３０より入力される構成としたものである。

この実施の形態では、図３の周波数変換部３１から出力された変換係数が閾値決定部３３１に供給されると共に、メモリ部３３０に供給される。メモリ部３３０は、閾値決定部３３１に直接供給される現ブロックの変換係数の前後フレームの変換係数を閾値決定部３３１に供給する。これにより、閾値決定部３３１は、周波数変換部３１から供給される変換対象の現ブロックの変換係数だけでなく、その前後のフレームの対応するブロックの変換係数に基づき、絵柄の複雑さを考慮して閾値ｔ，Ｔを決定する。閾値決定部３３１で決定された閾値ｔ，Ｔは探索対象係数と共に探索係数比較部３２２に入力され、第１の実施の形態と同様の動作により、ノイズ検出が行われる。これによって、本実施の形態によれば、ノイズの検出精度を上げ、より適切にモスキートノイズを検出する。

例えば、現フレームのノイズ検出対象ブロックにおける変換係数の絶対和が、前後のフレームの対応するブロックにおける変換係数の絶対和よりも大きい場合、現フレームのブロックは前後のフレームのブロックに比べて絵柄が複雑なので、図８の閾値決定部３３１において、閾値Ｔを前後のフレームのブロックにおける閾値に比べて小さくすることで、ノイズを検出し易くする。

本実施の形態のノイズ検出装置によれば、第１の実施の形態と同様に、量子化による係数値の剰余が大きい箇所を検出するので、モスキートノイズが殆ど発生していないにも拘らずノイズとして検出することを防止することができる。また、画像信号が動画像である場合、前後のフレームにおける変換係数値の分布を考慮することで、現フレームに対して前後フレームと絵柄の複雑さを比較して、適切にモスキートノイズを検出できる。従って、このノイズ検出箇所に対してのみフィルタリングを行うことで、モスキートノイズを効果的に低減できる。

（第６の実施の形態）
次に、本発明のノイズ検出装置の第６の実施の形態について説明する。図９は本発明になるノイズ検出装置の第６の実施の形態のブロック図を示す。同図中、図１、図２、図３と同一構成部分には同一符号を付し、その説明を省略する。図９に示す第６の実施の形態は、デコーダ情報を取得できる場合の実施の形態であり、デコーダ部２０と、デコーダ部２０からピクチャタイプ、量子化幅情報ｈが入力されるモスキートノイズ判定部３４と、モスキートノイズ判定部３４からの出力ノイズ検出信号ｉが入力されるモスキートノイズフィルタリング部３５とから構成されている。

次に、本実施の形態のモスキートノイズ検出動作について説明する。デコーダ部２０内の可変長復号化部２１及び逆量子化部２２の処理に付随して、ピクチャタイプ及び量子化幅などの情報ｈが用いられる。本実施の形態では、このピクチャタイプ及び量子化幅などの情報ｈは、モスキートノイズ判定部３４にも入力される。

モスキートノイズ判定部３４は、デコーダ部２０内の逆量子化部２２で得られた逆量子化後の変換係数が供給されると共に、上記のピクチャタイプ及び量子化幅などの情報ｈが供給され、これらによりモスキートノイズを検出する。モスキートノイズ判定部３４としては、上記の第１乃至第５の実施の形態において示したモスキートノイズ判定部３２のどれを適用しても構わない。その動作の詳細は、第１乃至第５の実施の形態にて説明したので割愛する。

モスキートノイズ判定部３４は、モスキートノイズが存在すれば、該当ブロックをモスキートノイズ検出ブロックとし、ノイズ検出信号ｉをモスキートノイズフィルタリング部３５へ出力する。そうでなければ、ノイズ検出信号ｉは出力されない。ここで、モスキートノイズ検出時には、ピクチャタイプ及び量子化幅などの情報ｈがあることにより、ピクチャタイプを考慮したモスキートノイズ検出、及び量子化幅を考慮したモスキートノイズ検出を行うことができる。

すなわち、ピクチャタイプが既知であるから、孤立した係数を探索するときの閾値ｔを、インターフレームの場合はイントラフレームに比べて大きくすることで、モスキートノイズを検出し易くする。このとき、同じインターフレームでも、ＰフレームよりＢフレームの閾値を大きくし、モスキートノイズを検出し易くする。これにより、各フレームの性質を考慮してモスキートノイズ検出が行える。

更に、量子化幅が既知であるから、ノイズの発生具合をある程度判定できるので、これを用いて係数の探索処理をしないようにすることで、ノイズ検出にかかる処理量を削減できる。つまり、量子化幅が小さいときには、ノイズが発生していないものとして扱い、量子化幅が大きいときには、ノイズが発生しているものとして扱う。

最後に、モスキートノイズフィルタリング部３５において、デコーダ部２０内の加算器２４から出力された再生信号（復号信号）に対して、ノイズ検出信号ｉが入力された時にのみフィルタリングが施される。再生信号（復号信号）は、イントラフレームならば、逆ＤＣＴ部２３の出力信号そのものであり、インターフレームならば、前記逆ＤＣＴ部２３の出力と、可変長復号化部２１より得られたピクチャタイプ及び量子化幅などの情報ｈを用いてＭＣ部２５において動き補償が行われることによって復号化された信号との加算信号である。

ノイズ検出信号ｉがモスキートノイズフィルタリング部３５に入力されたならば、再生信号（復号信号）に対してフィルタリングがなされ、ノイズが低減された信号が出力信号ｇとして出力される。一方、ノイズ検出信号ｉがモスキートノイズフィルタリング部３５に入力されなければ、再生信号（復号信号）は、モスキートノイズフィルタリング部３５をそのまま経由して出力信号ｇとして出力される。

本実施の形態のノイズ検出装置によれば、第１の実施の形態と同様に、量子化による係数値の剰余が大きい箇所を検出するので、モスキートノイズが殆ど発生していないにもかかわらずノイズとして検出することを防止することができる。また、ピクチャタイプが確実に分かるので、ピクチャタイプによってモスキートノイズの発生具合が違うことを考慮することで、適切にモスキートノイズを検出できる。加えて、量子化幅が確実に分かるので、量子化幅によってノイズの発生具合を判定し、ノイズ検出にかかる処理量を削減することができる。従って、このノイズ検出箇所に対してのみ、モスキートノイズフィルタリング部３５にてフィルタリングを行うことで、モスキートノイズを効果的に低減できる。

なお、デコーダ情報として、逆量子化後の変換係数やピクチャタイプ及び量子化幅などの情報ｈを取得できる場合でも、これらを用いずに、改めて前記再生信号（復号信号）に対し周波数変換を施したり、ピクチャタイプを推定したりしてモスキートノイズの検出を行うこともできる。

（変形例）
なお、本発明は以上の実施の形態に限定されるものではなく、その他以下の種々の変形例も包含するものである。例えば、モスキートノイズ検出において、ノイズ検出対象は、符号化方式にＭＰＥＧ２を用いたものとしたが、これはどんな符号化方式でも構わない。また、以上の実施の形態では、ノイズ検出対象の画像信号は符号化方式にＭＰＥＧ２、モスキートノイズ検出部内の周波数変換方式に８×８画素のブロック単位のＤＣＴを用いたが、この周波数変換方式は、エンコーダと同一である必要はない。また、変換単位は、ブロックでもラインでも構わない。

更に、以上の実施の形態では、周波数変換を施す対象を輝度信号として説明したが、これは色差信号の利用を制限するものではない。また、ノイズ検出はブロック単位の処理に限定されるものではなく、マクロブロック単位、ライン単位などでも構わない。また、以上の実施の形態では閾値ｔ及びＴは固定値としたが、現ブロックやその周辺などを考慮して可変としても構わない。また、孤立係数を探索する時、探索対象の係数より高域にある係数Ｃ_ｘｉ，Ｃ_ｊｙは、図１１に示すようにｃ_ｘｙの右のみ及び下のみには限定されない（斜め下にあってもよい）。更に、Ｃ_ｘｉ，Ｃ_ｊｙのいずれか一方のみを探索対象の係数と比較してもよい。

また、モスキートノイズ検出の閾値は、以上の実施の形態のものに限るものではない。また、ノイズ検出信号の出力に際し、孤立係数ｃ_ｘｙなどによってノイズ検出信号を多段階として、モスキートノイズの強さを検出するようにしてもよい。また、以上の実施の形態では、ブロックがモスキートノイズブロックであればそのブロックの処理は終了したが、終了せずにさらに該ブロックに対して処理を行い、再び該ブロックがモスキートノイズブロックと判定されてから処理を終了することで、モスキートノイズの強さを検出してもよい。

また、ノイズ検出信号の強さにより、後段のモスキートノイズフィルタリング部のフィルタの強さを連動させるようにしてもよい。また、孤立係数の探索範囲は、以上の実施の形態で説明した範囲に限るものではない。また、ピクチャタイプの性質を考慮してモスキートノイズ検出を行う方法を示したが、Ｉ，Ｐ，Ｂのうち一部のピクチャのみを考慮するようにしても構わない。

また、以上の実施の形態をそれぞれ複合的に用いても構わない。例えば、第２の実施の形態において示したピクチャタイプを考慮する方法と、第３の実施の形態において示した変換係数の分布を考慮する方法と、両方を考慮してノイズ検出を行っても構わない。モスキートノイズの検出処理は、同じ画像に対して何度繰り返しても構わない。

なお、上記したノイズ検出装置の機能をプログラムによりコンピュータに実現させるようにしてもよい。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

ＭＰＥＧ２のエンコーダ部の一例を示すブロック図である。 ＭＰＥＧ２のデコーダ部の一例を示すブロック図である。 本発明のノイズ検出装置の一実施の形態のブロック図である。 本発明のノイズ検出装置の第１の実施の形態の要部のブロック図である。 本発明のノイズ検出装置の第２の実施の形態の要部のブロック図である。 本発明のノイズ検出装置の第３の実施の形態の要部のブロック図である。 本発明のノイズ検出装置の第４の実施の形態の要部のブロック図である。 本発明のノイズ検出装置の第５の実施の形態の要部のブロック図である。 本発明のノイズ検出装置の第６の実施の形態のブロック図である。 ８×８画素のブロック単位のＤＣＴ係数を示した図である。 係数の探索を説明するための８×８画素のブロック単位のＤＣＴ係数を示した図である。 係数の探索範囲を説明するための８×８画素のブロック単位のＤＣＴ係数を示した図である。 本発明装置によるモスキートノイズ検出方法の一実施の形態を説明するためのフローチャートである。

符号の説明

１０ エンコーダ部
１１ 減算器
１２ ＭＥ部
１３ ＤＣＴ部
１４ 量子化部
１５、２２ 逆量子化部
１６、２３ 逆ＤＣＴ部
１７ 可変長符号化部
１８、２４ 加算器
２０ デコーダ部
２１ 可変長復号化部
２５ ＭＣ部
３０ モスキートノイズ検出装置
３１ 周波数変換部
３２、３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ、３４ モスキートノイズ判定部
３３、３５ モスキートノイズフィルタリング部
３２１、３２５、３２９、３３１ 閾値決定部
３２２ 探索係数比較部
３２３ 探索係数より高域の係数比較部
３２４ ピクチャタイプ推定部
３２６ 係数探索処理スキップ判定部
３２７ スイッチ回路
３２８、３３０ メモリ部

Claims (2)

1. 画像信号のモスキートノイズを検出するノイズ検出装置において、
   供給される復号された画像信号を周波数変換して、予め定めた画像領域の単位で低域から高域にわたり複数の変換係数を出力する周波数変換手段(31)と、
   前記周波数変換手段から出力された変換係数に対して、前記予め定めた画像領域の単位で第１の閾値とこの第１の閾値よりも大なる値の第２の閾値を決定し、前記画像領域内の前記複数の変換係数のうち値が前記第１の閾値未満である変換係数を探索対象の変換係数とし、前記画像領域内で前記探索対象の変換係数より高域の変換係数を求め、求めた前記高域の変換係数の値が前記第２の閾値よりも大であるとき、前記探索対象の変換係数を孤立係数として決定し、前記孤立係数が存在する前記画像領域をモスキートノイズが存在する領域と判定してノイズ検出信号を出力するモスキートノイズ判定手段(32)と
   を有することを特徴とするノイズ検出装置。
2. 画像信号のモスキートノイズを検出するノイズ検出をコンピュータのソフトウェアにて実行させるプログラムにおいて、
   前記コンピュータを、
   画像信号のモスキートノイズを検出するノイズ検出装置において、
   供給される復号された画像信号を周波数変換して、予め定めた画像領域の単位で低域から高域にわたり複数の変換係数を出力する周波数変換手段と、
   前記周波数変換手段から出力された変換係数に対して、前記予め定めた画像領域の単位で第１の閾値とこの第１の閾値よりも大なる値の第２の閾値を決定し、前記画像領域内の前記複数の変換係数のうち値が前記第１の閾値未満である変換係数を探索対象の変換係数とし、前記画像領域内で前記探索対象の変換係数より高域の変換係数を求め、求めた前記高域の変換係数の値が前記第２の閾値よりも大であるとき、前記探索対象の変換係数を孤立係数として決定し、前記孤立係数が存在する前記画像領域をモスキートノイズが存在する領域と判定してノイズ検出信号を出力するモスキートノイズ判定手段と
   して機能させることを特徴とするノイズ検出プログラム。
   

Images