JP4539027B2 - 信号処理装置および信号処理方法、並びにプログラム - Google Patents
信号処理装置および信号処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP4539027B2 JP4539027B2 JP2003133381A JP2003133381A JP4539027B2 JP 4539027 B2 JP4539027 B2 JP 4539027B2 JP 2003133381 A JP2003133381 A JP 2003133381A JP 2003133381 A JP2003133381 A JP 2003133381A JP 4539027 B2 JP4539027 B2 JP 4539027B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- signal
- edge detection
- pixel
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000003708 edge detection Methods 0.000 claims description 118
- 238000009499 grossing Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 30
- 230000004069 differentiation Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 22
- 230000002093 peripheral effect Effects 0.000 description 22
- 241000255925 Diptera Species 0.000 description 21
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910052573 porcelain Inorganic materials 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、信号処理装置および方法、並びにプログラムに関し、特に、例えば、画像におけるエッジ部とテクスチャ部とを精度良く区別し、テクスチャ部の画質を損なわずに、エッジ部に発生する圧縮ノイズ（モスキートノイズ）を効果的に十分に除去できるようにした信号処理装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、ＭＰＥＧ（Moving Picture Experts Group）などにおいては、画像信号をブロック化し、各ブロックをＤＣＴ（Discrete Cosine Transform）処理する。このため、ＭＰＥＧエンコードされた画像信号をデコードすると、そのデコード画像においては、原理的に、エッジ周辺部に、モスキートノイズが発生する。モスキートノイズは、画像のエッジ周辺部に現れるため、モスキートノイズを除去するには、画像からエッジ部を検出する必要がある。
【０００３】
このため、モスキートノイズを除去する、従来のノイズ除去装置では、例えば、単なる一次微分や二次微分によるエッジ検出や、ソーベルオペレータを用いたソーベルフィルタなどによるエッジ検出が行われている（例えば、特許文献１）。
【０００４】
図１は、ある画像５１のある水平ラインの画素値を、横軸を画素の位置とするとともに、縦軸を画素値として示している。なお、図１（後述する図８においても同様）では、各画素の水平方向の中心位置に、各画素の画素値をプロットし、さらに、画素値の変化を明確にするため、隣接する画素の画素値（を表す点）を直線で結んである。また、図１では、その左側の画素から、１からのシーケンシャルな番号を付して、各画素を表してある。
【０００５】
画像５１は、画素♯１乃至画素♯１０からなる信号レベル（画素値）がほとんど変化しない平坦部ｂ、画素♯１１および♯１２からなる信号レベルが急に変化するエッジ本体部ａ、並びに画素♯１３乃至画素♯２１からなる有意なテクスチャ部（例えば、模様があるなどして、信号レベルの変化がある程度存在する部分）ｃを有している。
【０００６】
ここで有意なテクスチャ部ｃでは、平坦部ｂよりも信号レベルが大きく変化しているが、エッジ本体部ａにおける場合ほどは変化していない。
【０００７】
例えば、二次微分によるエッジ検出では、画像５１の二次微分が演算され、その結果得られる二次微分値を閾値処理することにより、エッジが検出される。
【０００８】
即ち、二次微分によるエッジ検出では、二次微分値の大きさ（絶対値）が、ある閾値より大の部分が検出され、その部分がエッジ部として検出される。
【０００９】
モスキートノイズは、エッジ本体部ａを含むその周辺であるエッジ部５３に生じるので、そのエッジ部５３をフィルタリングすることにより、モスキートノイズを除去（低減）することができる。
【００１０】
【特許文献１】
特開平７−２３１４５０号公報
【００１１】
【発明が解決しようとする課題】
ところで、図１において波形５２は、画像５１の二次微分値を示している。平坦部ｂでは、信号レベルの変化がほとんどないため、二次微分値５２の大きさは、小さくなる。これに対して、エッジ本体部ａや有意なテクスチャ部ｃでは、信号レベルの変化がある程度以上であるため、二次微分値５２の大きさは、大きくなる。
【００１２】
このため、二次微分値５２を閾値処理することによりエッジ検出を行う場合には、エッジ本体部ａのみならず有意なテクスチャ部ｃも、エッジとして検出され、エッジ本体部ａと有意なテクスチャ部ｃとを精度良く区別することができないことがあった。
【００１３】
さらに、その結果、モスキートノイズを除去するためのフィルタリング時に、エッジ本体部ａの他に、有意なテクスチャ部ｃもフィルタリングされ、有意なテクスチャ部ｃの画質の劣化が生じ、また、エッジ部５３に発生するモスキートノイズを効率的に除去することができないことがあった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、エッジ部と有意なテクスチャ部とを精度良く区別して、エッジ部を検出し、さらには、例えば、エッジ部に発生するモスキートノイズを効果的に十分に除去するようにすること等ができるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の信号処理装置は、画像信号を微分して、微分結果の絶対値を求めることで画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段と、エッジ検出信号を平滑化する平滑化手段と、平滑化手段において平滑化されたエッジ検出信号の分散値を、エッジ検出信号の変化量として求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出手段と、エッジ信号に基づいて、画像信号からノイズを除去するノイズ除去手段とを備えることを特徴とする。
【００１６】
本発明の信号処理方法は、画像信号を微分して、微分結果の絶対値を求めることで画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化する平滑化ステップと、平滑化ステップにおいて平滑化されたエッジ検出信号の分散値を、エッジ検出信号の変化量として求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出ステップとを含むこと、エッジ信号に基づいて、画像信号からノイズを除去するノイズ除去ステップとを含むことを特徴とする。
【００１７】
本発明のプログラムは、画像信号を微分して、微分結果の絶対値を求めることで画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化する平滑化ステップと、平滑化ステップにおいて平滑化されたエッジ検出信号の分散値を、エッジ検出信号の変化量として求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出ステップと、エッジ信号に基づいて、画像信号からノイズを除去するノイズ除去ステップとを含むことを特徴とする。
【００１８】
本発明の信号処理装置、信号処理方法、およびプログラムにおいては、画像信号を微分して、微分結果の絶対値を求めることで画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力し、エッジ検出信号を平滑化し、平滑化されたエッジ検出信号の分散値を、エッジ検出信号の変化量として求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力し、エッジ信号に基づいて、画像信号からノイズを除去する。
【００１９】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２１】
請求項１に記載の信号処理装置は、画像信号を微分して、微分結果の絶対値を求めることで画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段（例えば、図２のエッジ検出部１）と、エッジ検出信号を平滑化する平滑化手段（例えば、図２のフィルタ部２）と、平滑化手段において平滑化されたエッジ検出信号の分散値を、エッジ検出信号の変化量として求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出手段（例えば、図２の変化検出部３）と、エッジ信号に基づいて、画像信号からノイズを除去するノイズ除去手段（例えば、図２のノイズ除去フィルタ部４）とを備えることを特徴とする。
【００２３】
図２は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。ノイズ除去装置は、エッジ検出部１、フィルタ部２、変化検出部３、およびノイズ除去フィルタ部４から構成される。
【００２４】
エッジ検出部１には、入力信号としての、例えばＭＰＥＧデコードされた画像信号が入力され、エッジ検出部１は、入力信号としての画像信号からエッジを検出し、フィルタ部２に、そのエッジの検出結果を表すエッジ検出信号を出力するようになされている。なお、エッジ検出部１としては、例えば、一次微分や二次微分、ソーベルオペレータによるエッジ検出を行う従来のエッジ検出装置その他を利用することができる。
【００２５】
フィルタ部２は、エッジ検出部１から出力されるエッジ検出信号を平滑化し、その平滑化結果としての平滑化信号を変化検出部３に出力するようになされている。なお、フィルタ部２は、例えば、ＬＰＦ（Low Pass Filter）で構成することができる。
【００２６】
変化検出部３は、フィルタ部２から出力される平滑化信号の変化量を検出し、その変化量を、入力信号としての画像信号におけるエッジの程度を表すエッジ信号として、ノイズ除去フィルタ部４に出力するようになされている。
【００２７】
ノイズ除去フィルタ部４には、変化検出部３から出力されるエッジ信号の他、入力信号としての画像信号が入力される。ノイズ除去フィルタ部４は、変化検出部３からのエッジ信号に基づいて所定の演算を行い、これにより、画像信号からモスキートノイズを除去し、出力信号としての画像信号を出力するようになされている。
【００２８】
図３は、図２のノイズ除去装置の処理（画像処理）を説明するフローチャートである。
【００２９】
図２のノイズ除去装置には、例えば、ＭＰＥＧデコードされた画像信号が入力信号として供給され、その画像信号は、エッジ検出部１とノイズ除去フィルタ部４に供給される。図３の画像処理は、入力信号としての画像信号が、エッジ検出部１とノイズ除去フィルタ部４に供給されると開始される。
【００３０】
ステップＳ１において、エッジ検出部１は、そこに供給される画像信号からエッジ検出を行い、そのエッジ検出結果としてのエッジ検出信号を、フィルタ部２に出力し、ステップＳ２に進む。
【００３１】
ステップＳ２において、フィルタ部２は、エッジ検出部１から供給されるエッジ検出信号を、例えばＬＰＦによってフィルタリングすることにより平滑化し、その結果得られる平滑化信号を変化検出器３に出力して、ステップＳ３に進む。
【００３２】
ステップＳ３において、変化検出部３は、フィルタ部２から供給される平滑化信号の変化量を算出し、その変化量をエッジ信号として、ノイズ除去フィルタ部６に出力して、ステップＳ４に進む。ここで、平滑化信号の変化量としては、例えば、その平滑化信号の分散を採用することができる。変化検出部３は、入力信号である画像信号を構成する各画素について、その画素に対応する平滑化信号の分散を求め、エッジ信号として出力する。
【００３３】
ステップＳ４において、ノイズ除去フィルタ部４は、そこに供給される入力信号としての画像信号と変化検出部３により出力されたエッジ信号に基づいて所定の演算を行い、その演算結果をモスキートノイズを除去した画像信号として出力する。そして、ステップＳ４からＳ１に戻り、以下、同様の処理が繰り返される。
【００３４】
なお、図３の処理は、ノイズ除去装置に供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素を対象に行われ、ノイズ除去装置に画像信号が供給されなくなると、終了する。
【００３５】
図４は、図２のノイズ除去装置で処理される信号の波形を模式的に示している。
【００３６】
波形（画像信号）Ｔ１は、入力信号としての画像信号におけるある水平ラインの信号波形（各画素の画素値）を示している。図４において波形Ｔ１は、ａで示されるエッジ本体部、ｂで示される平坦部、ｃで示される有意なテクスチャ部、およびｄで示されるエッジ周辺部（エッジ本体部ａの境界周辺）を有している。
モスキートノイズは、エッジ部、特に、エッジ周辺部ｄに発生する。
【００３７】
波形Ｔ２およびＴ３は、エッジ検出部１による画像信号Ｔ１を対象としたエッジ検出結果としての信号波形を示している。即ち、いま、エッジ検出部１が、画像信号Ｔ１を一次微分し、その一次微分結果の絶対値を、エッジ検出信号として出力するものとすると、波形Ｔ２は、波形Ｔ１の一次微分結果を示し、波形Ｔ３は、波形Ｔ２の絶対値であるエッジ検出信号を示す。エッジ検出信号Ｔ３は、平坦部ｂでは小さな振幅となるが、エッジ本体部ａおよびエッジ周辺部ｄ、さらには有意なテクスチャ部ｃでも大きな振幅となる。このため、例えば、エッジ検出信号Ｔ３だけによってエッジ部を検出するとすれば、エッジ本体部ａおよびエッジ周辺部ｄの他、有意なテクスチャ部ｃも、エッジ部として検出されるおそれがある。
【００３８】
波形Ｔ４は、フィルタ部２においてエッジ検出信号Ｔ３を平滑化することにより得られる平滑化信号の波形を示している。フィルタ部２では、エッジ検出信号Ｔ３から高周波成分が除去される。従って、エッジ本体部ａおよびエッジ周辺部ｄでは、エッジ検出信号Ｔ３の振幅が大であるため、平滑化信号Ｔ４は、ある程度大きな変化を有するものとなる。また、有意なテクスチャ部ｃでは、エッジ検出信号Ｔ３の振幅は、エッジ本体部ａおよびエッジ周辺部ｄほど大ではないため、平滑化信号Ｔ４は、それほど大きく変化しないものとなる。なお、平坦部ｂでは、平滑化信号Ｔ４は、ほとんど変化がないものとなる。
【００３９】
波形Ｔ５は、変化検出部３において求められる平滑化信号Ｔ４の変化量としての、例えば分散の波形、即ち、エッジ信号を示している。エッジ信号Ｔ５は、平滑化信号Ｔ４の変化量であるから、平滑化信号Ｔ４がほとんど変化しない平坦部ｂや、それほど大きく変化しない有意なテクスチャ部ｃでは、０あるいは０に近い値となるが、平滑化信号Ｔ４がある程度大きく変化するエッジ本体部ａおよびエッジ周辺部ｄ、即ち、エッジ部では、大きな値となる。
【００４０】
エッジ検出信号Ｔ３は、上述したように、エッジ本体部ａおよびエッジ周辺部ｄだけでなく、テクスチャ部ｃでも、ある程度大きな値となるため、エッジ検出信号Ｔ３によって、画像信号Ｔ１におけるエッジ部を判断したのでは、エッジ本体部ａおよびエッジ周辺部ｄだけでなく、テクスチャ部ｃも、誤って、エッジと判断されることになる。
【００４１】
これに対して、エッジ信号Ｔ５では、エッジ本体部ａおよびエッジ周辺部ｄでのみ大きな値となり、テクスチャ部ｃでは小さな値となる。従って、エッジ信号Ｔ５に基づき、画像信号Ｔ１におけるエッジ部を判断することにより、エッジ部であるエッジ本体部ａおよびエッジ周辺部ｄを、テクスチャ部ｃと明確に区別して、エッジ部を検出することができる。
【００４２】
図５は、図２のエッジ検出部１の構成例を示すブロック図である。エッジ検出部１は、例えば、水平エッジ検出部１１、比較部１２、および垂直エッジ検出部１３から構成されている。
【００４３】
水平エッジ検出部１１と垂直エッジ検出部１３には、入力信号としての画像信号が入力される。そして、水平エッジ検出部１１は、そこに入力される画像信号の水平方向のエッジ（水平エッジ）を検出し、その検出結果を表すエッジ検出信号（以下、適宜、水平エッジ検出信号という）を比較部１２に出力する。
【００４４】
一方、垂直エッジ検出部１３は、そこに入力される画像信号の垂直方向のエッジ（垂直エッジ）を検出し、その検出結果を表すエッジ検出信号（以下、適宜、垂直エッジ検出信号という）を比較部１２に出力する。
【００４５】
なお、水平エッジ検出部１１と垂直エッジ検出部１３は、画像信号を構成する各画素について、エッジ検出信号を出力する。
【００４６】
比較部１２は、画像信号を構成する各画素ごとに、水平エッジ検出部１１から供給される水平エッジ検出信号と、垂直エッジ検出部１３から供給される垂直エッジ検出信号を比較し、値の大きい方を、最終的なエッジ検出信号としてフィルタ部２に出力する。
【００４７】
なお、エッジ検出部１では、エッジを水平方向と垂直方向に分けずに、二次元フィルタ等によって検出することが可能である。
【００４８】
また、エッジ検出部１では、水平エッジ検出信号と垂直エッジ検出信号との合成値（例えば、平均値）などを、最終的なエッジ検出信号として採用することが可能である。
【００４９】
図６は、図５の水平エッジ検出部１１の構成例を示すブロック図である。水平エッジ検出部１１は、微分部２１と絶対値化部２２とから構成されている。
【００５０】
微分部２１は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素における画素値の水平方向の微分値を求める。即ち、微分部２１は、例えば、注目画素とその左または右隣の画素との画素値の差分を演算し、その差分を、注目画素における水平方向の微分値として、絶対値化部２２に出力する。
【００５１】
絶対値化部２２は、微分部２１から出力される微分値の絶対値をとり、その絶対値を、水平エッジ検出信号として、図５の比較部１２に供給する。
【００５２】
なお、図５の垂直エッジ検出部１３も、図６の水平エッジ検出部１１と同様に構成される。但し、垂直エッジ検出部１３を構成する微分部２１は、注目画素における画素値の垂直方向の微分値を求め、絶対値化部２２に供給する。
【００５３】
また、図６の実施の形態では、一次微分によって、エッジ検出を行うようにしたが、エッジ検出は、その他、例えば、二次微分などによって行うことも可能である。
【００５４】
図７は、図２のフィルタ部２の構成例を示すブロック図である。フィルタ部２は、例えば、水平ローパスフィルタ部３１と垂直ローパスフィルタ部３２とから構成されている。
【００５５】
水平ローパスフィルタ部３１は、エッジ検出部１から供給されるエッジ検出信号の水平方向の高周波数成分をカットし、垂直ローパスフィルタ部３２に出力する。
【００５６】
垂直ローパスフィルタ部３２は、水平ローパスフィルタ部３１から出力された信号の垂直方向の高周波数成分をカットし、その結果得られる信号を、平滑化信号として変化検出部３に出力する。
【００５７】
以上のようにして、フィルタ部２では、エッジ検出信号を平滑化した平滑化信号が出力される。
【００５８】
なお、フィルタ部２は、例えば、水平方向と垂直方向の高周波数成分を同時にカットする二次元のローパスフィルタで構成することも可能である。
【００５９】
ここで、フィルタ部２において、エッジ検出信号の高周波数成分がカットされることにより、図４で説明した平滑化信号Ｔ４が得られる。
【００６０】
即ち、エッジ検出信号Ｔ３（図４）は、エッジ本体部ａおよびエッジ周辺部ｄにおいて、振幅が大きく変動し、テクスチャ部ｃでは、振幅が小さく変動するものとなる。このようなエッジ検出信号Ｔ３が、フィルタ部２に供給され、その高周波数成分がカットされると、エッジ本体部ａおよびエッジ周辺部ｄはＡＣ（Alternating Current）成分を有し、テクスチャ部ｃは、ほぼＤＣ（Direct Current）成分からなる平滑化信号Ｔ４が得られる。
【００６１】
エッジ検出信号Ｔ３は、エッジ本体部ａおよびエッジ周辺部ｄでもテクスチャ部ｃでも、ある程度の大きな値となる。一方、平滑化信号Ｔ４は、エッジ本体部ａおよびエッジ周辺部ｄでは、変化量の大きなものとなるが、テクスチャ部ｃでは、ほとんど変化のないものとなる。従って、平滑化信号Ｔ４の変化量によれば、エッジ本体部ａおよびエッジ周辺部ｄとテクスチャ部ｃとを精度良く区別することができる。
【００６２】
そこで、変化検出部３は、フィルタ部２により入力される平滑化信号の変化量としての、例えば、分散を計算し、その分散値Ｖをエッジ信号として、ノイズ除去フィルタ部４に出力する。変化検出部３において得られるエッジ信号としての分散値Ｖは、フィルタ部２から出力される平滑化信号の信号レベルの変化が大きい場合は大となり、信号レベルの変化が小さい場合は小となる。即ち、エッジ信号は、エッジ本体部ａおよびエッジ周辺部ｄでは、値が大になり、テクスチャ部ｃでは（平坦部ｂでも）、値が小となる。
【００６３】
よって、エッジ信号によれば、エッジ本体部ａおよびエッジ周辺部ｄとテクスチャ部ｃとを確実に区別することができる。ここで、エッジ信号は、その値が大であるほど、エッジ部である可能性（程度）が高いことを表す。
【００６４】
なお、変化検出部３では、分散の他、画像信号を構成する各画素について、その画素に近傍する画素との平滑化信号の差分絶対値の平均値や、各画素における平滑化信号の微分値などを、平滑化信号の変化量として、求めることが可能である。
【００６５】
ここで、本件発明者による実験によれば、変化検出部３において分散を求め
る場合には、フィルタ部２を設けずにノイズ除去装置を構成しても、フィルタ部２を設けた場合に近い精度で、エッジ本体部ａおよびエッジ周辺部ｄとエッジ本体部ａでないその他の画素とを区別することができた。一方、変化検出部３において微分値を求める場合には、フィルタ部２を設けずにノイズ除去装置を構成すると、エッジ本体部ａおよびエッジ周辺部ｄとエッジ本体部ａでないその他の画素とを区別する精度が劣化する実験結果が得られた。
【００６６】
図８は、ある画像５１について、図２のノイズ除去装置で得られるエッジ信号５４を示している。なお、図８における画像５１の波形は、図１における場合と同一であるため、その説明は省略する。また、図８においては、図１における場合と同様に、画像５１の二次微分値５２を図示してある。
【００６７】
画像５１からは、波形５４で示すエッジ信号が得られる。
【００６８】
エッジ信号５４は、エッジ本体部ａおよびエッジ周辺部ｄであるエッジ部５３において大きな値となっている。即ち、エッジ信号５４は、エッジ本体部ａである画素♯１１および♯１２を中心として大きな値をとり、その左または右方向では次第に値が小さくなっている。そして、エッジ信号５４は、有意なテクスチャ部ｃおよび平坦部ｂでは限りなく０に近い値となっている。従って、エッジ信号５４によれば、エッジ部５３と平坦部ｂおよびテクスチャ部ｃとを精度良く区別して検出することができる。
【００６９】
図９は、図１のノイズ除去フィルタ部４の第１の構成例を示すブロック図である。図９では、ノイズ除去フィルタ部４は、例えば、ＬＰＦ部４１と混合部４２とから構成されている。
【００７０】
ＬＰＦ部４１と混合部４２には、入力信号としての画像信号が供給される。ＬＰＦ部４１は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素（の画素値）を、ＬＰＦでフィルタリングし、そのフィルタリング信号を混合部４２に出力する。
【００７１】
ここで、ＬＰＦ部４１において画像信号がフィルタリングされることにより、その画像信号に生じているモスキートノイズが除去（低減）される。
【００７２】
混合部４２には、入力信号としての画像信号の他、変化検出部３から出力されたエッジ信号Ｖと、ＬＰＦ部４１の出力が入力される。混合部４２は、変化検出器３から出力されたエッジ信号Ｖに対応して無次元量であるパラメータαを設定し、そのパラメータαに基づき、入力信号としての画像信号を構成する画素のうちの注目画素の画素値と、その注目画素に対応するＬＰＦ部４１の出力とを用いて演算を行い、その演算結果を、注目画素のノイズ除去結果として出力する。
【００７３】
即ち、混合部４２は、パラメータαを、注目画素の元の画素値と、注目画素に対応するＬＰＦ部４１の出力との混合比として、両者を混合し、その結果得られる混合値を、注目画素の新たな画素値（ノイズ除去結果）として出力する。
【００７４】
具体的には、注目画素の元の画素値をＸnと表すとともに、注目画素に対応するＬＰＦ部４１の出力（注目画素のフィルタリング結果）をＸn´と表すこととすると、混合部４２は、式Ｚn＝αＸn´＋（1−α）Ｘnにしたがって、注目画素の新たな画素値Ｚnを求める。
【００７５】
図１０は、図９のＬＰＦ部４１でのフィルタリングに用いられるタップ係数の例を示している。
【００７６】
図１０のタップ係数によれば、注目画素の画素値に４／１６が乗算され、注目画素の上下左右それぞれに隣接する画素の画素値に２／１６が乗算され、注目画素の左上、左下、右上、右下それぞれに隣接する画素の画素値に１／１６が乗算され、それらの乗算結果の総和が、フィルタリング結果として出力される。
【００７７】
図１１は、図９の混合部４２において、エッジ信号Ｖに基づいて設定されるパラメータαを示している。
【００７８】
図１１によれば、パラメータαは、エッジ信号Ｖが大であるほど、つまり、エッジである程度が大であるほど、０乃至１の範囲で大になっている。
【００７９】
図９の混合部４２では、上述したように、式Ｚn＝αＸn´＋（1−α）Ｘnにしたがって、注目画素の画素値Ｘnと、注目画素のフィルタリング結果Ｘn´とが混合され、注目画素の新たな画素値Ｚnが求められる。
【００８０】
従って、パラメータαが大である画素、即ち、エッジ信号Ｖが大きく、エッジである程度が大である画素については、その画素のフィルタリング結果Ｘn´の重み大きくして、その画素の元の画素値Ｘnとフィルタリング結果Ｘn´とが混合される。その結果、モスキートノイズが生じるエッジ部の画素については、フィルタリング結果Ｘn´の割合が高い画素値、即ち、モスキートノイズが除去された画素値が、新たな画素値Ｚnとして得られる。
【００８１】
一方、パラメータが小である画素、即ち、エッジ信号Ｖが小さい、平坦部や有意なテクスチャ部の画素については、その画素の元の画素値Ｘnの重みを大きくして、その画素値Ｘnと、フィルタリング結果Ｘn´とが混合される。その結果、平坦部や有意なテクスチャ部の画素については、元の画素値の割合が高い画素値、即ち、特に、有意なテクスチャ部のディテール（detail）を維持した画素値が、新たな画素値Ｚnとして得られる。
【００８２】
従って、有意なテクスチャ部の画質を損なわずに、モスキートノイズを効果的に除去することができる。
【００８３】
図１２は、図２のノイズ除去フィルタ部４の第２の構成例を示す図である。図１２では、ノイズ除去フィルタ部４は、ε利得供給部６１とεフィルタ部６２とから構成されている。
【００８４】
ε利得供給部６１は、変化検出部３から出力されるエッジ信号Ｖに応じてεフィルタ部６２のパラメータであるεを設定し、そのパラメータεをεフィルタ部６２に出力する。
【００８５】
ここで、図１３は、ε利得供給部６１において、エッジ信号Ｖに基づいて設定されるパラメータεを示す図である。ε利得供給部６１は、エッジ信号Ｖに応じて図１２の曲線Ｌ１またはＬ２で示すようにパラメータεを設定する。曲線Ｌ１またはＬ２のいずれによっても、エッジ信号Ｖが大きければ、それに応じて大きいパラメータεの値が設定される。なお、曲線Ｌ１では、パラメータεは、図１１のパラメータαと同様に、エッジ信号Ｖが増加すると増加する。一方、曲線Ｌ２では、パラメータεは、エッジ信号Ｖが０からある値までの範囲内の値であるときは０であり、エッジ信号Ｖがある値を越えると増加する。
【００８６】
図１２に戻り、εフィルタ部６２には、ε利得供給部６１から出力されたパラメータεと入力信号としての画像信号が入力される。εフィルタ部６２は、入力された画像信号に対してパラメータεの値に基づき所定の演算処理を実行し、その結果を注目画素の新しい画素値として出力する。即ち、εフィルタ部６２は、そこに供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素を、その注目画素に対応するパラメータεに応じてフィルタリングする。
【００８７】
εフィルタ部６２は、パラメータεの値が大きい値であるほど、平滑化される度合いが高く（即ち、鈍りが生じやすく）、パラメータεの値が小さい値であるほど、平滑化される度合いが低く（即ち、鈍りが生じにくく）なるように信号を平滑化するフィルタリング処理を実行する。
【００８８】
図１４は、εフィルタ部６２のフィルタリング処理を説明する図である。εフィルタ部６２では、例えば、図１４Ａに示される急峻なエッジを有する入力信号としての画像信号が、図１４Ｂに示されるような信号に平滑化される。
【００８９】
以下に、εフィルタ部６２が実行する平滑化処理（フィルタリング処理）の詳細について説明する。εフィルタ部６２は、注目画素を、その注目画素の近傍にある近傍画素を用いてローパスフィルタリングするが、その際に近傍画素の画素値がパラメータεに応じて設定される。即ち、注目画素Ｐnの画素値Ｘnを中心とするεの範囲内に近傍画素Ｐmの画素値Ｘmがない場合、近傍画素Ｐmの画素値Ｘmを注目画素Ｐnの画素値Ｘnに置き換えてローパスフィルタリングが行われ、近傍画素Ｐmの画素値Ｘmがεの範囲内にある場合、その近傍画素Ｐmの画素値Ｘmをそのまま用いてローパスフィルタリングが行われる。
【００９０】
即ち、εフィルタ部６２は、注目画素Ｐnの画素値Ｘnと注目画素Ｐnの近傍画素Ｐmの画素値Ｘmとの差の絶対値｜Ｘn−Ｘm｜をε／２と比較する。そして、εフィルタ部６２は、絶対値｜Ｘn−Ｘm｜がε／２よりも大きい（または以上である）と判断した場合には、近傍画素Ｐmの画素値Ｘmを注目画素Ｐnの画素値Ｘnに置き換え、注目画素Ｐnについてローパスフィルタ処理（ローパスフィルタリング）を行う。
【００９１】
一方、εフィルタ部６２は、絶対値｜Ｘn−Ｘm｜がε／２以下（または未満）と判断した場合には、近傍画素の画素値Ｘmをそのまま用いて、注目画素Ｐnについてローパスフィルタ処理を行う。
【００９２】
従って、εフィルタ部６２によれば、注目画素の画素値に近い値の画素値のみを用いて、注目画素がローパスフィルタリングされる。その結果、εフィルタ部６２においては、例えば、入力信号としての画像信号に微少なノイズが含まれる場合には、そのノイズが除去されたフィルタリング結果が得られる。さらに、εフィルタ部６２においては、例えば、入力信号としての画像信号に、急峻なエッジが含まれている場合には、そのエッジの形状を維持したフィルタリング結果が得られる。
【００９３】
図１２のノイズ除去フィルタ部４では、上述したように、注目画素がエッジである程度が大であるとパラメータεも大とされ、エッジである程度が小であると、パラメータεも小とされる。
【００９４】
従って、図１２のεフィルタ部６２では、エッジ部の画素については、パラメータεが大となり、その画素周辺の画素の画素値をそのまま用いてローパスフィルタリングが行われ易くるので、そのエッジ部に生じるモスキートノイズを除去することができる。また、図１２のεフィルタ部６２では、平坦部や有意なテクスチャ部の画素については、パラメータεが小となり、その画素周辺の画素の画素値を、注目画素の画素値に置き換えてローパスフィルタリングが行われ易くなるので、特に、有意なテクスチャ部のディテールを維持したフィルタリング結果を得ることができる。
【００９５】
なお、εフィルタ部６２で実行されるフィルタリング処理のタップ数は、特に限定されるのもではなく、また、ユーザの要求に応じた任意の値とすることが可能である。
【００９６】
以上のように、エッジ検出信号を平滑化した平滑化信号の変化量であるエッジ信号に応じてフィルタリング処理を行うことにより、有意なテクスチャ部のディテールを損なわずに、モスキートノイズを効果的に十分に除去することができる。
【００９７】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【００９８】
上述した一連の処理をソフトウェアで実行させる場合、信号処理装置は、例えば、図１５に示されるようなパーソナルコンピュータなどとして構成することが可能である。
【００９９】
図１５において、CPU（Central Processing Unit）７１は、ROM（Read Only Memory）７２に記憶されているプログラム、または記憶部７８からRAM（Random Access Memory）７３にロードされたプログラムに従って各種の処理を実行する。
【０１００】
RAM７３にはまた、CPU７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１０１】
CPU７１、ROM７２、およびRAM７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。
【０１０２】
入出力インタフェース７５には、キーボード、マウスなどよりなる入力部７６、ディスプレイなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、および通信部７９が接続されている。
【０１０３】
入出力インタフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク８１、光ディスク８２、光磁気ディスク８３、或いは半導体メモリ８４が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
【０１０４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０１０５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１５に示すように、磁気ディスク８１（フロッピディスクを含む）、光ディスク８２（CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)を含む）、光磁気ディスク８３、もしくは半導体メモリ８４などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納されるROM７２や、記憶部７８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１０６】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１０８】
なお、本実施の形態では、エッジ信号に基づいて、モスキートノイズを除去するようにしたが、エッジ信号は、モスキートノイズの除去の他、例えば、画像をオブジェクト符号化する場合のオブジェクトの抽出などに利用することが可能である。
【０１０９】
また、本実施の形態では、ＭＰＥＧデコードされた画像信号を処理するようにしたが、その他の画像信号を対象として処理を行うことも可能である。
【０１１０】
【発明の効果】
以上のように、本発明によれば、エッジ部とテクスチャ部とを明確に区別することができる。
【図面の簡単な説明】
【図１】従来の画像信号とその二次微分の信号レベルを説明する図である。
【図２】本発明を適用したノイズ除去装置の一実施の形態の構成を示すブロック図である。
【図３】ノイズ除去装置の動作を説明するフローチャートである。
【図４】ノイズ除去装置で得られる信号の波形を示す図である。
【図５】エッジ検出部１の構成例を示すブロック図である。
【図６】水平エッジ検出部１１（垂直エッジ検出部１３）の構成例を示すブロック図である。
【図７】フィルタ部２の構成例を示すブロック図である。
【図８】変化検出部３において得られる信号の波形を説明する図である。
【図９】ノイズ除去フィルタ部４の第１の構成例を示すブロック図である。
【図１０】ＬＰＦ部４１のタップ係数の一実施の形態を示す図である。
【図１１】エッジ信号Ｖとパラメータαとの関係を示す図である。
【図１２】ノイズ除去フィルタ部４の第２の構成例を示すブロック図である。
【図１３】エッジ信号Ｖとパラメータεとの関係を示す図である。
【図１４】εフィルタ部６２の処理を説明する図である。
【図１５】本発明を適用したノイズ除去装置を実現するコンピュータの構成例を示すブロック図である。
【符号の説明】
１ エッジ検出部， ２ フィルタ部， ３ 変化検出部， ４ ノイズ除去フィルタ部， １１ 水平エッジ検出部， １２ 比較部， １３ 垂直エッジ検出部， ２１ 微分部， ２２ 絶対値化部， ３１ 水平ローパスフィルタ部， ３２ 垂直ローパスフィルタ部， ４１ ＬＰＦ部， ４２ 混合部， ６１ ε利得供給部， ６２ εフィルタ部， ７１ ＣＰＵ， ７２ ＲＯＭ， ７３ ＲＡＭ， ７４ バス， ７５ 入出力インターフェース， ７６ 入力部， ７７ 出力部， ７８ 記憶部， ７９ 通信部， ８０ ドライブ， ８１ 磁器ディスク， ８２ 光ディスク， ８３ 光磁器ディスク， ８４ 半導体メモリ
【発明の属する技術分野】
本発明は、信号処理装置および方法、並びにプログラムに関し、特に、例えば、画像におけるエッジ部とテクスチャ部とを精度良く区別し、テクスチャ部の画質を損なわずに、エッジ部に発生する圧縮ノイズ（モスキートノイズ）を効果的に十分に除去できるようにした信号処理装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、ＭＰＥＧ（Moving Picture Experts Group）などにおいては、画像信号をブロック化し、各ブロックをＤＣＴ（Discrete Cosine Transform）処理する。このため、ＭＰＥＧエンコードされた画像信号をデコードすると、そのデコード画像においては、原理的に、エッジ周辺部に、モスキートノイズが発生する。モスキートノイズは、画像のエッジ周辺部に現れるため、モスキートノイズを除去するには、画像からエッジ部を検出する必要がある。
【０００３】
このため、モスキートノイズを除去する、従来のノイズ除去装置では、例えば、単なる一次微分や二次微分によるエッジ検出や、ソーベルオペレータを用いたソーベルフィルタなどによるエッジ検出が行われている（例えば、特許文献１）。
【０００４】
図１は、ある画像５１のある水平ラインの画素値を、横軸を画素の位置とするとともに、縦軸を画素値として示している。なお、図１（後述する図８においても同様）では、各画素の水平方向の中心位置に、各画素の画素値をプロットし、さらに、画素値の変化を明確にするため、隣接する画素の画素値（を表す点）を直線で結んである。また、図１では、その左側の画素から、１からのシーケンシャルな番号を付して、各画素を表してある。
【０００５】
画像５１は、画素♯１乃至画素♯１０からなる信号レベル（画素値）がほとんど変化しない平坦部ｂ、画素♯１１および♯１２からなる信号レベルが急に変化するエッジ本体部ａ、並びに画素♯１３乃至画素♯２１からなる有意なテクスチャ部（例えば、模様があるなどして、信号レベルの変化がある程度存在する部分）ｃを有している。
【０００６】
ここで有意なテクスチャ部ｃでは、平坦部ｂよりも信号レベルが大きく変化しているが、エッジ本体部ａにおける場合ほどは変化していない。
【０００７】
例えば、二次微分によるエッジ検出では、画像５１の二次微分が演算され、その結果得られる二次微分値を閾値処理することにより、エッジが検出される。
【０００８】
即ち、二次微分によるエッジ検出では、二次微分値の大きさ（絶対値）が、ある閾値より大の部分が検出され、その部分がエッジ部として検出される。
【０００９】
モスキートノイズは、エッジ本体部ａを含むその周辺であるエッジ部５３に生じるので、そのエッジ部５３をフィルタリングすることにより、モスキートノイズを除去（低減）することができる。
【００１０】
【特許文献１】
特開平７−２３１４５０号公報
【００１１】
【発明が解決しようとする課題】
ところで、図１において波形５２は、画像５１の二次微分値を示している。平坦部ｂでは、信号レベルの変化がほとんどないため、二次微分値５２の大きさは、小さくなる。これに対して、エッジ本体部ａや有意なテクスチャ部ｃでは、信号レベルの変化がある程度以上であるため、二次微分値５２の大きさは、大きくなる。
【００１２】
このため、二次微分値５２を閾値処理することによりエッジ検出を行う場合には、エッジ本体部ａのみならず有意なテクスチャ部ｃも、エッジとして検出され、エッジ本体部ａと有意なテクスチャ部ｃとを精度良く区別することができないことがあった。
【００１３】
さらに、その結果、モスキートノイズを除去するためのフィルタリング時に、エッジ本体部ａの他に、有意なテクスチャ部ｃもフィルタリングされ、有意なテクスチャ部ｃの画質の劣化が生じ、また、エッジ部５３に発生するモスキートノイズを効率的に除去することができないことがあった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、エッジ部と有意なテクスチャ部とを精度良く区別して、エッジ部を検出し、さらには、例えば、エッジ部に発生するモスキートノイズを効果的に十分に除去するようにすること等ができるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の信号処理装置は、画像信号を微分して、微分結果の絶対値を求めることで画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段と、エッジ検出信号を平滑化する平滑化手段と、平滑化手段において平滑化されたエッジ検出信号の分散値を、エッジ検出信号の変化量として求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出手段と、エッジ信号に基づいて、画像信号からノイズを除去するノイズ除去手段とを備えることを特徴とする。
【００１６】
本発明の信号処理方法は、画像信号を微分して、微分結果の絶対値を求めることで画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化する平滑化ステップと、平滑化ステップにおいて平滑化されたエッジ検出信号の分散値を、エッジ検出信号の変化量として求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出ステップとを含むこと、エッジ信号に基づいて、画像信号からノイズを除去するノイズ除去ステップとを含むことを特徴とする。
【００１７】
本発明のプログラムは、画像信号を微分して、微分結果の絶対値を求めることで画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化する平滑化ステップと、平滑化ステップにおいて平滑化されたエッジ検出信号の分散値を、エッジ検出信号の変化量として求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出ステップと、エッジ信号に基づいて、画像信号からノイズを除去するノイズ除去ステップとを含むことを特徴とする。
【００１８】
本発明の信号処理装置、信号処理方法、およびプログラムにおいては、画像信号を微分して、微分結果の絶対値を求めることで画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力し、エッジ検出信号を平滑化し、平滑化されたエッジ検出信号の分散値を、エッジ検出信号の変化量として求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力し、エッジ信号に基づいて、画像信号からノイズを除去する。
【００１９】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２１】
請求項１に記載の信号処理装置は、画像信号を微分して、微分結果の絶対値を求めることで画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段（例えば、図２のエッジ検出部１）と、エッジ検出信号を平滑化する平滑化手段（例えば、図２のフィルタ部２）と、平滑化手段において平滑化されたエッジ検出信号の分散値を、エッジ検出信号の変化量として求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出手段（例えば、図２の変化検出部３）と、エッジ信号に基づいて、画像信号からノイズを除去するノイズ除去手段（例えば、図２のノイズ除去フィルタ部４）とを備えることを特徴とする。
【００２３】
図２は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。ノイズ除去装置は、エッジ検出部１、フィルタ部２、変化検出部３、およびノイズ除去フィルタ部４から構成される。
【００２４】
エッジ検出部１には、入力信号としての、例えばＭＰＥＧデコードされた画像信号が入力され、エッジ検出部１は、入力信号としての画像信号からエッジを検出し、フィルタ部２に、そのエッジの検出結果を表すエッジ検出信号を出力するようになされている。なお、エッジ検出部１としては、例えば、一次微分や二次微分、ソーベルオペレータによるエッジ検出を行う従来のエッジ検出装置その他を利用することができる。
【００２５】
フィルタ部２は、エッジ検出部１から出力されるエッジ検出信号を平滑化し、その平滑化結果としての平滑化信号を変化検出部３に出力するようになされている。なお、フィルタ部２は、例えば、ＬＰＦ（Low Pass Filter）で構成することができる。
【００２６】
変化検出部３は、フィルタ部２から出力される平滑化信号の変化量を検出し、その変化量を、入力信号としての画像信号におけるエッジの程度を表すエッジ信号として、ノイズ除去フィルタ部４に出力するようになされている。
【００２７】
ノイズ除去フィルタ部４には、変化検出部３から出力されるエッジ信号の他、入力信号としての画像信号が入力される。ノイズ除去フィルタ部４は、変化検出部３からのエッジ信号に基づいて所定の演算を行い、これにより、画像信号からモスキートノイズを除去し、出力信号としての画像信号を出力するようになされている。
【００２８】
図３は、図２のノイズ除去装置の処理（画像処理）を説明するフローチャートである。
【００２９】
図２のノイズ除去装置には、例えば、ＭＰＥＧデコードされた画像信号が入力信号として供給され、その画像信号は、エッジ検出部１とノイズ除去フィルタ部４に供給される。図３の画像処理は、入力信号としての画像信号が、エッジ検出部１とノイズ除去フィルタ部４に供給されると開始される。
【００３０】
ステップＳ１において、エッジ検出部１は、そこに供給される画像信号からエッジ検出を行い、そのエッジ検出結果としてのエッジ検出信号を、フィルタ部２に出力し、ステップＳ２に進む。
【００３１】
ステップＳ２において、フィルタ部２は、エッジ検出部１から供給されるエッジ検出信号を、例えばＬＰＦによってフィルタリングすることにより平滑化し、その結果得られる平滑化信号を変化検出器３に出力して、ステップＳ３に進む。
【００３２】
ステップＳ３において、変化検出部３は、フィルタ部２から供給される平滑化信号の変化量を算出し、その変化量をエッジ信号として、ノイズ除去フィルタ部６に出力して、ステップＳ４に進む。ここで、平滑化信号の変化量としては、例えば、その平滑化信号の分散を採用することができる。変化検出部３は、入力信号である画像信号を構成する各画素について、その画素に対応する平滑化信号の分散を求め、エッジ信号として出力する。
【００３３】
ステップＳ４において、ノイズ除去フィルタ部４は、そこに供給される入力信号としての画像信号と変化検出部３により出力されたエッジ信号に基づいて所定の演算を行い、その演算結果をモスキートノイズを除去した画像信号として出力する。そして、ステップＳ４からＳ１に戻り、以下、同様の処理が繰り返される。
【００３４】
なお、図３の処理は、ノイズ除去装置に供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素を対象に行われ、ノイズ除去装置に画像信号が供給されなくなると、終了する。
【００３５】
図４は、図２のノイズ除去装置で処理される信号の波形を模式的に示している。
【００３６】
波形（画像信号）Ｔ１は、入力信号としての画像信号におけるある水平ラインの信号波形（各画素の画素値）を示している。図４において波形Ｔ１は、ａで示されるエッジ本体部、ｂで示される平坦部、ｃで示される有意なテクスチャ部、およびｄで示されるエッジ周辺部（エッジ本体部ａの境界周辺）を有している。
モスキートノイズは、エッジ部、特に、エッジ周辺部ｄに発生する。
【００３７】
波形Ｔ２およびＴ３は、エッジ検出部１による画像信号Ｔ１を対象としたエッジ検出結果としての信号波形を示している。即ち、いま、エッジ検出部１が、画像信号Ｔ１を一次微分し、その一次微分結果の絶対値を、エッジ検出信号として出力するものとすると、波形Ｔ２は、波形Ｔ１の一次微分結果を示し、波形Ｔ３は、波形Ｔ２の絶対値であるエッジ検出信号を示す。エッジ検出信号Ｔ３は、平坦部ｂでは小さな振幅となるが、エッジ本体部ａおよびエッジ周辺部ｄ、さらには有意なテクスチャ部ｃでも大きな振幅となる。このため、例えば、エッジ検出信号Ｔ３だけによってエッジ部を検出するとすれば、エッジ本体部ａおよびエッジ周辺部ｄの他、有意なテクスチャ部ｃも、エッジ部として検出されるおそれがある。
【００３８】
波形Ｔ４は、フィルタ部２においてエッジ検出信号Ｔ３を平滑化することにより得られる平滑化信号の波形を示している。フィルタ部２では、エッジ検出信号Ｔ３から高周波成分が除去される。従って、エッジ本体部ａおよびエッジ周辺部ｄでは、エッジ検出信号Ｔ３の振幅が大であるため、平滑化信号Ｔ４は、ある程度大きな変化を有するものとなる。また、有意なテクスチャ部ｃでは、エッジ検出信号Ｔ３の振幅は、エッジ本体部ａおよびエッジ周辺部ｄほど大ではないため、平滑化信号Ｔ４は、それほど大きく変化しないものとなる。なお、平坦部ｂでは、平滑化信号Ｔ４は、ほとんど変化がないものとなる。
【００３９】
波形Ｔ５は、変化検出部３において求められる平滑化信号Ｔ４の変化量としての、例えば分散の波形、即ち、エッジ信号を示している。エッジ信号Ｔ５は、平滑化信号Ｔ４の変化量であるから、平滑化信号Ｔ４がほとんど変化しない平坦部ｂや、それほど大きく変化しない有意なテクスチャ部ｃでは、０あるいは０に近い値となるが、平滑化信号Ｔ４がある程度大きく変化するエッジ本体部ａおよびエッジ周辺部ｄ、即ち、エッジ部では、大きな値となる。
【００４０】
エッジ検出信号Ｔ３は、上述したように、エッジ本体部ａおよびエッジ周辺部ｄだけでなく、テクスチャ部ｃでも、ある程度大きな値となるため、エッジ検出信号Ｔ３によって、画像信号Ｔ１におけるエッジ部を判断したのでは、エッジ本体部ａおよびエッジ周辺部ｄだけでなく、テクスチャ部ｃも、誤って、エッジと判断されることになる。
【００４１】
これに対して、エッジ信号Ｔ５では、エッジ本体部ａおよびエッジ周辺部ｄでのみ大きな値となり、テクスチャ部ｃでは小さな値となる。従って、エッジ信号Ｔ５に基づき、画像信号Ｔ１におけるエッジ部を判断することにより、エッジ部であるエッジ本体部ａおよびエッジ周辺部ｄを、テクスチャ部ｃと明確に区別して、エッジ部を検出することができる。
【００４２】
図５は、図２のエッジ検出部１の構成例を示すブロック図である。エッジ検出部１は、例えば、水平エッジ検出部１１、比較部１２、および垂直エッジ検出部１３から構成されている。
【００４３】
水平エッジ検出部１１と垂直エッジ検出部１３には、入力信号としての画像信号が入力される。そして、水平エッジ検出部１１は、そこに入力される画像信号の水平方向のエッジ（水平エッジ）を検出し、その検出結果を表すエッジ検出信号（以下、適宜、水平エッジ検出信号という）を比較部１２に出力する。
【００４４】
一方、垂直エッジ検出部１３は、そこに入力される画像信号の垂直方向のエッジ（垂直エッジ）を検出し、その検出結果を表すエッジ検出信号（以下、適宜、垂直エッジ検出信号という）を比較部１２に出力する。
【００４５】
なお、水平エッジ検出部１１と垂直エッジ検出部１３は、画像信号を構成する各画素について、エッジ検出信号を出力する。
【００４６】
比較部１２は、画像信号を構成する各画素ごとに、水平エッジ検出部１１から供給される水平エッジ検出信号と、垂直エッジ検出部１３から供給される垂直エッジ検出信号を比較し、値の大きい方を、最終的なエッジ検出信号としてフィルタ部２に出力する。
【００４７】
なお、エッジ検出部１では、エッジを水平方向と垂直方向に分けずに、二次元フィルタ等によって検出することが可能である。
【００４８】
また、エッジ検出部１では、水平エッジ検出信号と垂直エッジ検出信号との合成値（例えば、平均値）などを、最終的なエッジ検出信号として採用することが可能である。
【００４９】
図６は、図５の水平エッジ検出部１１の構成例を示すブロック図である。水平エッジ検出部１１は、微分部２１と絶対値化部２２とから構成されている。
【００５０】
微分部２１は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素における画素値の水平方向の微分値を求める。即ち、微分部２１は、例えば、注目画素とその左または右隣の画素との画素値の差分を演算し、その差分を、注目画素における水平方向の微分値として、絶対値化部２２に出力する。
【００５１】
絶対値化部２２は、微分部２１から出力される微分値の絶対値をとり、その絶対値を、水平エッジ検出信号として、図５の比較部１２に供給する。
【００５２】
なお、図５の垂直エッジ検出部１３も、図６の水平エッジ検出部１１と同様に構成される。但し、垂直エッジ検出部１３を構成する微分部２１は、注目画素における画素値の垂直方向の微分値を求め、絶対値化部２２に供給する。
【００５３】
また、図６の実施の形態では、一次微分によって、エッジ検出を行うようにしたが、エッジ検出は、その他、例えば、二次微分などによって行うことも可能である。
【００５４】
図７は、図２のフィルタ部２の構成例を示すブロック図である。フィルタ部２は、例えば、水平ローパスフィルタ部３１と垂直ローパスフィルタ部３２とから構成されている。
【００５５】
水平ローパスフィルタ部３１は、エッジ検出部１から供給されるエッジ検出信号の水平方向の高周波数成分をカットし、垂直ローパスフィルタ部３２に出力する。
【００５６】
垂直ローパスフィルタ部３２は、水平ローパスフィルタ部３１から出力された信号の垂直方向の高周波数成分をカットし、その結果得られる信号を、平滑化信号として変化検出部３に出力する。
【００５７】
以上のようにして、フィルタ部２では、エッジ検出信号を平滑化した平滑化信号が出力される。
【００５８】
なお、フィルタ部２は、例えば、水平方向と垂直方向の高周波数成分を同時にカットする二次元のローパスフィルタで構成することも可能である。
【００５９】
ここで、フィルタ部２において、エッジ検出信号の高周波数成分がカットされることにより、図４で説明した平滑化信号Ｔ４が得られる。
【００６０】
即ち、エッジ検出信号Ｔ３（図４）は、エッジ本体部ａおよびエッジ周辺部ｄにおいて、振幅が大きく変動し、テクスチャ部ｃでは、振幅が小さく変動するものとなる。このようなエッジ検出信号Ｔ３が、フィルタ部２に供給され、その高周波数成分がカットされると、エッジ本体部ａおよびエッジ周辺部ｄはＡＣ（Alternating Current）成分を有し、テクスチャ部ｃは、ほぼＤＣ（Direct Current）成分からなる平滑化信号Ｔ４が得られる。
【００６１】
エッジ検出信号Ｔ３は、エッジ本体部ａおよびエッジ周辺部ｄでもテクスチャ部ｃでも、ある程度の大きな値となる。一方、平滑化信号Ｔ４は、エッジ本体部ａおよびエッジ周辺部ｄでは、変化量の大きなものとなるが、テクスチャ部ｃでは、ほとんど変化のないものとなる。従って、平滑化信号Ｔ４の変化量によれば、エッジ本体部ａおよびエッジ周辺部ｄとテクスチャ部ｃとを精度良く区別することができる。
【００６２】
そこで、変化検出部３は、フィルタ部２により入力される平滑化信号の変化量としての、例えば、分散を計算し、その分散値Ｖをエッジ信号として、ノイズ除去フィルタ部４に出力する。変化検出部３において得られるエッジ信号としての分散値Ｖは、フィルタ部２から出力される平滑化信号の信号レベルの変化が大きい場合は大となり、信号レベルの変化が小さい場合は小となる。即ち、エッジ信号は、エッジ本体部ａおよびエッジ周辺部ｄでは、値が大になり、テクスチャ部ｃでは（平坦部ｂでも）、値が小となる。
【００６３】
よって、エッジ信号によれば、エッジ本体部ａおよびエッジ周辺部ｄとテクスチャ部ｃとを確実に区別することができる。ここで、エッジ信号は、その値が大であるほど、エッジ部である可能性（程度）が高いことを表す。
【００６４】
なお、変化検出部３では、分散の他、画像信号を構成する各画素について、その画素に近傍する画素との平滑化信号の差分絶対値の平均値や、各画素における平滑化信号の微分値などを、平滑化信号の変化量として、求めることが可能である。
【００６５】
ここで、本件発明者による実験によれば、変化検出部３において分散を求め
る場合には、フィルタ部２を設けずにノイズ除去装置を構成しても、フィルタ部２を設けた場合に近い精度で、エッジ本体部ａおよびエッジ周辺部ｄとエッジ本体部ａでないその他の画素とを区別することができた。一方、変化検出部３において微分値を求める場合には、フィルタ部２を設けずにノイズ除去装置を構成すると、エッジ本体部ａおよびエッジ周辺部ｄとエッジ本体部ａでないその他の画素とを区別する精度が劣化する実験結果が得られた。
【００６６】
図８は、ある画像５１について、図２のノイズ除去装置で得られるエッジ信号５４を示している。なお、図８における画像５１の波形は、図１における場合と同一であるため、その説明は省略する。また、図８においては、図１における場合と同様に、画像５１の二次微分値５２を図示してある。
【００６７】
画像５１からは、波形５４で示すエッジ信号が得られる。
【００６８】
エッジ信号５４は、エッジ本体部ａおよびエッジ周辺部ｄであるエッジ部５３において大きな値となっている。即ち、エッジ信号５４は、エッジ本体部ａである画素♯１１および♯１２を中心として大きな値をとり、その左または右方向では次第に値が小さくなっている。そして、エッジ信号５４は、有意なテクスチャ部ｃおよび平坦部ｂでは限りなく０に近い値となっている。従って、エッジ信号５４によれば、エッジ部５３と平坦部ｂおよびテクスチャ部ｃとを精度良く区別して検出することができる。
【００６９】
図９は、図１のノイズ除去フィルタ部４の第１の構成例を示すブロック図である。図９では、ノイズ除去フィルタ部４は、例えば、ＬＰＦ部４１と混合部４２とから構成されている。
【００７０】
ＬＰＦ部４１と混合部４２には、入力信号としての画像信号が供給される。ＬＰＦ部４１は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素（の画素値）を、ＬＰＦでフィルタリングし、そのフィルタリング信号を混合部４２に出力する。
【００７１】
ここで、ＬＰＦ部４１において画像信号がフィルタリングされることにより、その画像信号に生じているモスキートノイズが除去（低減）される。
【００７２】
混合部４２には、入力信号としての画像信号の他、変化検出部３から出力されたエッジ信号Ｖと、ＬＰＦ部４１の出力が入力される。混合部４２は、変化検出器３から出力されたエッジ信号Ｖに対応して無次元量であるパラメータαを設定し、そのパラメータαに基づき、入力信号としての画像信号を構成する画素のうちの注目画素の画素値と、その注目画素に対応するＬＰＦ部４１の出力とを用いて演算を行い、その演算結果を、注目画素のノイズ除去結果として出力する。
【００７３】
即ち、混合部４２は、パラメータαを、注目画素の元の画素値と、注目画素に対応するＬＰＦ部４１の出力との混合比として、両者を混合し、その結果得られる混合値を、注目画素の新たな画素値（ノイズ除去結果）として出力する。
【００７４】
具体的には、注目画素の元の画素値をＸnと表すとともに、注目画素に対応するＬＰＦ部４１の出力（注目画素のフィルタリング結果）をＸn´と表すこととすると、混合部４２は、式Ｚn＝αＸn´＋（1−α）Ｘnにしたがって、注目画素の新たな画素値Ｚnを求める。
【００７５】
図１０は、図９のＬＰＦ部４１でのフィルタリングに用いられるタップ係数の例を示している。
【００７６】
図１０のタップ係数によれば、注目画素の画素値に４／１６が乗算され、注目画素の上下左右それぞれに隣接する画素の画素値に２／１６が乗算され、注目画素の左上、左下、右上、右下それぞれに隣接する画素の画素値に１／１６が乗算され、それらの乗算結果の総和が、フィルタリング結果として出力される。
【００７７】
図１１は、図９の混合部４２において、エッジ信号Ｖに基づいて設定されるパラメータαを示している。
【００７８】
図１１によれば、パラメータαは、エッジ信号Ｖが大であるほど、つまり、エッジである程度が大であるほど、０乃至１の範囲で大になっている。
【００７９】
図９の混合部４２では、上述したように、式Ｚn＝αＸn´＋（1−α）Ｘnにしたがって、注目画素の画素値Ｘnと、注目画素のフィルタリング結果Ｘn´とが混合され、注目画素の新たな画素値Ｚnが求められる。
【００８０】
従って、パラメータαが大である画素、即ち、エッジ信号Ｖが大きく、エッジである程度が大である画素については、その画素のフィルタリング結果Ｘn´の重み大きくして、その画素の元の画素値Ｘnとフィルタリング結果Ｘn´とが混合される。その結果、モスキートノイズが生じるエッジ部の画素については、フィルタリング結果Ｘn´の割合が高い画素値、即ち、モスキートノイズが除去された画素値が、新たな画素値Ｚnとして得られる。
【００８１】
一方、パラメータが小である画素、即ち、エッジ信号Ｖが小さい、平坦部や有意なテクスチャ部の画素については、その画素の元の画素値Ｘnの重みを大きくして、その画素値Ｘnと、フィルタリング結果Ｘn´とが混合される。その結果、平坦部や有意なテクスチャ部の画素については、元の画素値の割合が高い画素値、即ち、特に、有意なテクスチャ部のディテール（detail）を維持した画素値が、新たな画素値Ｚnとして得られる。
【００８２】
従って、有意なテクスチャ部の画質を損なわずに、モスキートノイズを効果的に除去することができる。
【００８３】
図１２は、図２のノイズ除去フィルタ部４の第２の構成例を示す図である。図１２では、ノイズ除去フィルタ部４は、ε利得供給部６１とεフィルタ部６２とから構成されている。
【００８４】
ε利得供給部６１は、変化検出部３から出力されるエッジ信号Ｖに応じてεフィルタ部６２のパラメータであるεを設定し、そのパラメータεをεフィルタ部６２に出力する。
【００８５】
ここで、図１３は、ε利得供給部６１において、エッジ信号Ｖに基づいて設定されるパラメータεを示す図である。ε利得供給部６１は、エッジ信号Ｖに応じて図１２の曲線Ｌ１またはＬ２で示すようにパラメータεを設定する。曲線Ｌ１またはＬ２のいずれによっても、エッジ信号Ｖが大きければ、それに応じて大きいパラメータεの値が設定される。なお、曲線Ｌ１では、パラメータεは、図１１のパラメータαと同様に、エッジ信号Ｖが増加すると増加する。一方、曲線Ｌ２では、パラメータεは、エッジ信号Ｖが０からある値までの範囲内の値であるときは０であり、エッジ信号Ｖがある値を越えると増加する。
【００８６】
図１２に戻り、εフィルタ部６２には、ε利得供給部６１から出力されたパラメータεと入力信号としての画像信号が入力される。εフィルタ部６２は、入力された画像信号に対してパラメータεの値に基づき所定の演算処理を実行し、その結果を注目画素の新しい画素値として出力する。即ち、εフィルタ部６２は、そこに供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素を、その注目画素に対応するパラメータεに応じてフィルタリングする。
【００８７】
εフィルタ部６２は、パラメータεの値が大きい値であるほど、平滑化される度合いが高く（即ち、鈍りが生じやすく）、パラメータεの値が小さい値であるほど、平滑化される度合いが低く（即ち、鈍りが生じにくく）なるように信号を平滑化するフィルタリング処理を実行する。
【００８８】
図１４は、εフィルタ部６２のフィルタリング処理を説明する図である。εフィルタ部６２では、例えば、図１４Ａに示される急峻なエッジを有する入力信号としての画像信号が、図１４Ｂに示されるような信号に平滑化される。
【００８９】
以下に、εフィルタ部６２が実行する平滑化処理（フィルタリング処理）の詳細について説明する。εフィルタ部６２は、注目画素を、その注目画素の近傍にある近傍画素を用いてローパスフィルタリングするが、その際に近傍画素の画素値がパラメータεに応じて設定される。即ち、注目画素Ｐnの画素値Ｘnを中心とするεの範囲内に近傍画素Ｐmの画素値Ｘmがない場合、近傍画素Ｐmの画素値Ｘmを注目画素Ｐnの画素値Ｘnに置き換えてローパスフィルタリングが行われ、近傍画素Ｐmの画素値Ｘmがεの範囲内にある場合、その近傍画素Ｐmの画素値Ｘmをそのまま用いてローパスフィルタリングが行われる。
【００９０】
即ち、εフィルタ部６２は、注目画素Ｐnの画素値Ｘnと注目画素Ｐnの近傍画素Ｐmの画素値Ｘmとの差の絶対値｜Ｘn−Ｘm｜をε／２と比較する。そして、εフィルタ部６２は、絶対値｜Ｘn−Ｘm｜がε／２よりも大きい（または以上である）と判断した場合には、近傍画素Ｐmの画素値Ｘmを注目画素Ｐnの画素値Ｘnに置き換え、注目画素Ｐnについてローパスフィルタ処理（ローパスフィルタリング）を行う。
【００９１】
一方、εフィルタ部６２は、絶対値｜Ｘn−Ｘm｜がε／２以下（または未満）と判断した場合には、近傍画素の画素値Ｘmをそのまま用いて、注目画素Ｐnについてローパスフィルタ処理を行う。
【００９２】
従って、εフィルタ部６２によれば、注目画素の画素値に近い値の画素値のみを用いて、注目画素がローパスフィルタリングされる。その結果、εフィルタ部６２においては、例えば、入力信号としての画像信号に微少なノイズが含まれる場合には、そのノイズが除去されたフィルタリング結果が得られる。さらに、εフィルタ部６２においては、例えば、入力信号としての画像信号に、急峻なエッジが含まれている場合には、そのエッジの形状を維持したフィルタリング結果が得られる。
【００９３】
図１２のノイズ除去フィルタ部４では、上述したように、注目画素がエッジである程度が大であるとパラメータεも大とされ、エッジである程度が小であると、パラメータεも小とされる。
【００９４】
従って、図１２のεフィルタ部６２では、エッジ部の画素については、パラメータεが大となり、その画素周辺の画素の画素値をそのまま用いてローパスフィルタリングが行われ易くるので、そのエッジ部に生じるモスキートノイズを除去することができる。また、図１２のεフィルタ部６２では、平坦部や有意なテクスチャ部の画素については、パラメータεが小となり、その画素周辺の画素の画素値を、注目画素の画素値に置き換えてローパスフィルタリングが行われ易くなるので、特に、有意なテクスチャ部のディテールを維持したフィルタリング結果を得ることができる。
【００９５】
なお、εフィルタ部６２で実行されるフィルタリング処理のタップ数は、特に限定されるのもではなく、また、ユーザの要求に応じた任意の値とすることが可能である。
【００９６】
以上のように、エッジ検出信号を平滑化した平滑化信号の変化量であるエッジ信号に応じてフィルタリング処理を行うことにより、有意なテクスチャ部のディテールを損なわずに、モスキートノイズを効果的に十分に除去することができる。
【００９７】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【００９８】
上述した一連の処理をソフトウェアで実行させる場合、信号処理装置は、例えば、図１５に示されるようなパーソナルコンピュータなどとして構成することが可能である。
【００９９】
図１５において、CPU（Central Processing Unit）７１は、ROM（Read Only Memory）７２に記憶されているプログラム、または記憶部７８からRAM（Random Access Memory）７３にロードされたプログラムに従って各種の処理を実行する。
【０１００】
RAM７３にはまた、CPU７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１０１】
CPU７１、ROM７２、およびRAM７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。
【０１０２】
入出力インタフェース７５には、キーボード、マウスなどよりなる入力部７６、ディスプレイなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、および通信部７９が接続されている。
【０１０３】
入出力インタフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク８１、光ディスク８２、光磁気ディスク８３、或いは半導体メモリ８４が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
【０１０４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０１０５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１５に示すように、磁気ディスク８１（フロッピディスクを含む）、光ディスク８２（CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)を含む）、光磁気ディスク８３、もしくは半導体メモリ８４などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納されるROM７２や、記憶部７８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１０６】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１０８】
なお、本実施の形態では、エッジ信号に基づいて、モスキートノイズを除去するようにしたが、エッジ信号は、モスキートノイズの除去の他、例えば、画像をオブジェクト符号化する場合のオブジェクトの抽出などに利用することが可能である。
【０１０９】
また、本実施の形態では、ＭＰＥＧデコードされた画像信号を処理するようにしたが、その他の画像信号を対象として処理を行うことも可能である。
【０１１０】
【発明の効果】
以上のように、本発明によれば、エッジ部とテクスチャ部とを明確に区別することができる。
【図面の簡単な説明】
【図１】従来の画像信号とその二次微分の信号レベルを説明する図である。
【図２】本発明を適用したノイズ除去装置の一実施の形態の構成を示すブロック図である。
【図３】ノイズ除去装置の動作を説明するフローチャートである。
【図４】ノイズ除去装置で得られる信号の波形を示す図である。
【図５】エッジ検出部１の構成例を示すブロック図である。
【図６】水平エッジ検出部１１（垂直エッジ検出部１３）の構成例を示すブロック図である。
【図７】フィルタ部２の構成例を示すブロック図である。
【図８】変化検出部３において得られる信号の波形を説明する図である。
【図９】ノイズ除去フィルタ部４の第１の構成例を示すブロック図である。
【図１０】ＬＰＦ部４１のタップ係数の一実施の形態を示す図である。
【図１１】エッジ信号Ｖとパラメータαとの関係を示す図である。
【図１２】ノイズ除去フィルタ部４の第２の構成例を示すブロック図である。
【図１３】エッジ信号Ｖとパラメータεとの関係を示す図である。
【図１４】εフィルタ部６２の処理を説明する図である。
【図１５】本発明を適用したノイズ除去装置を実現するコンピュータの構成例を示すブロック図である。
【符号の説明】
１ エッジ検出部， ２ フィルタ部， ３ 変化検出部， ４ ノイズ除去フィルタ部， １１ 水平エッジ検出部， １２ 比較部， １３ 垂直エッジ検出部， ２１ 微分部， ２２ 絶対値化部， ３１ 水平ローパスフィルタ部， ３２ 垂直ローパスフィルタ部， ４１ ＬＰＦ部， ４２ 混合部， ６１ ε利得供給部， ６２ εフィルタ部， ７１ ＣＰＵ， ７２ ＲＯＭ， ７３ ＲＡＭ， ７４ バス， ７５ 入出力インターフェース， ７６ 入力部， ７７ 出力部， ７８ 記憶部， ７９ 通信部， ８０ ドライブ， ８１ 磁器ディスク， ８２ 光ディスク， ８３ 光磁器ディスク， ８４ 半導体メモリ
Claims (3)
- 画像信号を処理する信号処理装置において、
前記画像信号を微分して、微分結果の絶対値を求めることで前記画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段と、
前記エッジ検出信号を平滑化する平滑化手段と、
前記平滑化手段において平滑化された前記エッジ検出信号の分散値を、前記エッジ検出信号の変化量として求め、その変化量を、前記画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出手段と、
前記エッジ信号に基づいて、前記画像信号からノイズを除去するノイズ除去手段と
を備えることを特徴とする信号処理装置。 - 画像信号を処理する信号処理方法において、
前記画像信号を微分して、微分結果の絶対値を求めることで前記画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、
前記エッジ検出信号を平滑化する平滑化ステップと、
前記平滑化ステップにおいて平滑化された前記エッジ検出信号の分散値を、前記エッジ検出信号の変化量として求め、その変化量を、前記画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出ステップと、
前記エッジ信号に基づいて、前記画像信号からノイズを除去するノイズ除去ステップと
を含むことを特徴とする信号処理方法。 - 画像信号を、コンピュータに処理させるプログラムにおいて、
前記画像信号を微分して、微分結果の絶対値を求めることで前記画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、
前記エッジ検出信号を平滑化する平滑化ステップと、
前記平滑化ステップにおいて平滑化された前記エッジ検出信号の分散値を、前記エッジ検出信号の変化量として求め、その変化量を、前記画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出ステップと、
前記エッジ信号に基づいて、前記画像信号からノイズを除去するノイズ除去ステップと
を含むことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003133381A JP4539027B2 (ja) | 2003-05-12 | 2003-05-12 | 信号処理装置および信号処理方法、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003133381A JP4539027B2 (ja) | 2003-05-12 | 2003-05-12 | 信号処理装置および信号処理方法、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004336651A JP2004336651A (ja) | 2004-11-25 |
| JP4539027B2 true JP4539027B2 (ja) | 2010-09-08 |
Family
ID=33507936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003133381A Expired - Fee Related JP4539027B2 (ja) | 2003-05-12 | 2003-05-12 | 信号処理装置および信号処理方法、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4539027B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4629431B2 (ja) * | 2004-12-28 | 2011-02-09 | 富士通セミコンダクター株式会社 | 画像処理装置、及び、画像処理方法 |
| US7657098B2 (en) | 2005-05-02 | 2010-02-02 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing mosquito noise in decoded video sequence |
| JP4626393B2 (ja) * | 2005-05-17 | 2011-02-09 | パナソニック電工株式会社 | 輪郭強調回路 |
| KR100746744B1 (ko) | 2005-11-28 | 2007-08-06 | 삼성전자주식회사 | 영상 디테일 향상방법 및 그 장치 |
| US7778482B2 (en) * | 2006-07-19 | 2010-08-17 | Trident Microsystems (Far East) Ltd. | Method and system for reducing mosquito noise in a digital image |
| JP2008205737A (ja) * | 2007-02-19 | 2008-09-04 | Olympus Corp | 撮像システム、画像処理プログラム、画像処理方法 |
| JP4375464B2 (ja) * | 2007-09-11 | 2009-12-02 | 三菱電機株式会社 | ノイズ低減装置 |
| JP5035029B2 (ja) | 2008-03-03 | 2012-09-26 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP5062483B2 (ja) | 2008-04-01 | 2012-10-31 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| CN102067171B (zh) * | 2008-06-19 | 2013-02-13 | 马维尔国际贸易有限公司 | 分割边缘增强方法和系统 |
| WO2015064234A1 (ja) * | 2013-10-29 | 2015-05-07 | 株式会社日立国際電気 | 映像信号のノイズ除去回路及び映像信号のノイズ除去方法 |
| JP6548907B2 (ja) * | 2015-02-24 | 2019-07-24 | 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． | 画像処理装置、画像処理方法、及びプログラム |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0276479A (ja) * | 1988-09-13 | 1990-03-15 | Matsushita Electric Ind Co Ltd | 画質補正装置 |
| JPH07143361A (ja) * | 1993-11-19 | 1995-06-02 | Nec Corp | リンギング除去装置 |
| JPH07212759A (ja) * | 1994-01-27 | 1995-08-11 | Sharp Corp | 画像信号復号器 |
| JPH09182075A (ja) * | 1995-12-18 | 1997-07-11 | Lucent Technol Inc | 画像を送信するための方法およびシステム |
| JPH10276433A (ja) * | 1997-03-31 | 1998-10-13 | Toshiba Corp | ブロックノイズ除去装置 |
| JPH11205792A (ja) * | 1998-01-14 | 1999-07-30 | Sony Corp | ブロック歪低減方法及び装置 |
| JP2000115584A (ja) * | 1998-10-01 | 2000-04-21 | Sony Corp | 水平輪郭補正回路およびカメラシステム |
| JP2002208006A (ja) * | 2000-11-28 | 2002-07-26 | Koninkl Philips Electronics Nv | 画像ノイズ減少方法 |
-
2003
- 2003-05-12 JP JP2003133381A patent/JP4539027B2/ja not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0276479A (ja) * | 1988-09-13 | 1990-03-15 | Matsushita Electric Ind Co Ltd | 画質補正装置 |
| JPH07143361A (ja) * | 1993-11-19 | 1995-06-02 | Nec Corp | リンギング除去装置 |
| JPH07212759A (ja) * | 1994-01-27 | 1995-08-11 | Sharp Corp | 画像信号復号器 |
| JPH09182075A (ja) * | 1995-12-18 | 1997-07-11 | Lucent Technol Inc | 画像を送信するための方法およびシステム |
| JPH10276433A (ja) * | 1997-03-31 | 1998-10-13 | Toshiba Corp | ブロックノイズ除去装置 |
| JPH11205792A (ja) * | 1998-01-14 | 1999-07-30 | Sony Corp | ブロック歪低減方法及び装置 |
| JP2000115584A (ja) * | 1998-10-01 | 2000-04-21 | Sony Corp | 水平輪郭補正回路およびカメラシステム |
| JP2002208006A (ja) * | 2000-11-28 | 2002-07-26 | Koninkl Philips Electronics Nv | 画像ノイズ減少方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004336651A (ja) | 2004-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4539027B2 (ja) | 信号処理装置および信号処理方法、並びにプログラム | |
| KR101649882B1 (ko) | 블록 노이즈 검출 및 필터링 | |
| Bao et al. | Noise reduction for magnetic resonance images via adaptive multiscale products thresholding | |
| JP4635779B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラム | |
| JP5075861B2 (ja) | 画像処理装置及び画像処理方法 | |
| US7657098B2 (en) | Method and apparatus for reducing mosquito noise in decoded video sequence | |
| JP4145665B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPH06348842A (ja) | ノイズ低減フィルター | |
| CN1281617A (zh) | 用于减少量化效应的图像数据后处理方法和装置 | |
| US20130022288A1 (en) | Image processing apparatus and method for reducing edge-induced artefacts | |
| Dixit et al. | A comparative study of wavelet thresholding for image denoising | |
| JP4392582B2 (ja) | 信号処理装置および信号処理方法、並びにプログラム | |
| JP2007316983A (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
| CN101552922B (zh) | 信号处理设备和方法 | |
| JP2005117449A (ja) | モスキートノイズ低減装置、モスキートノイズ低減方法、及びモスキートノイズ低減用プログラム | |
| KR101432227B1 (ko) | 전자기기에서 비트 해상도 증가 및 에지 강화 방법 및 장치 | |
| JP2008079281A (ja) | 局所的ｍｐｅｇアーチファクトの適応的低減 | |
| JP2536684B2 (ja) | 画像符号化装置 | |
| JP3928605B2 (ja) | 雑音除去装置、雑音除去方法及びプログラム | |
| JP2007286808A (ja) | 特徴点抽出装置 | |
| Kumar et al. | Performance evaluation of statistical based median filter to remove salt and pepper noise | |
| Fan et al. | Reducing artifacts in JPEG decompression by segmentation and smoothing | |
| Pirsiavash et al. | An efficient parameter selection criterion for image denoising | |
| JPH0816773A (ja) | 画像処理方法 | |
| JP4253910B2 (ja) | 画像情報変換装置および変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060509 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090827 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100601 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100614 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |