JP4635779B2 - データ処理装置およびデータ処理方法、並びにプログラム - Google Patents

データ処理装置およびデータ処理方法、並びにプログラム Download PDF

Info

Publication number
JP4635779B2
JP4635779B2 JP2005237575A JP2005237575A JP4635779B2 JP 4635779 B2 JP4635779 B2 JP 4635779B2 JP 2005237575 A JP2005237575 A JP 2005237575A JP 2005237575 A JP2005237575 A JP 2005237575A JP 4635779 B2 JP4635779 B2 JP 4635779B2
Authority
JP
Japan
Prior art keywords
pixel
region
image data
value
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005237575A
Other languages
English (en)
Other versions
JP2007053618A (ja
Inventor
浩信 文
浩章 山丈
和彦 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005237575A priority Critical patent/JP4635779B2/ja
Priority to US11/504,041 priority patent/US7657114B2/en
Priority to CNB2006101114310A priority patent/CN100525382C/zh
Publication of JP2007053618A publication Critical patent/JP2007053618A/ja
Application granted granted Critical
Publication of JP4635779B2 publication Critical patent/JP4635779B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

本発明は、データ処理装置およびデータ処理方法、並びにプログラムに関し、特に、例えば、画像データからモスキートノイズを効果的に除去することができるデータ処理装置およびデータ処理方法、並びにプログラムに関する。
例えば、画像データを圧縮するMPEG（Moving Picture Experts Group）などの圧縮方式で、画像データを圧縮するエンコーダは、画像データをブロック化し、各ブロックをDCT（Discrete Cosine Transform）処理する。このため、デコーダが、MPEG方式でエンコードされた画像データをデコードすると、デコードされた画像データにおいては、原理的に、画像データ（画像）のエッジの周辺部分にモスキートノイズが発生する。
モスキートノイズを除去する従来のノイズ除去装置は、一般に、画像データの画素値の変化を検出し、画素値の変化が大きければエッジであると判定する。そして、ノイズ除去装置は、エッジの周辺部分以外の部分に対するフィルタリングよりも平滑化の度合いが高くなるように、画像データのエッジの周辺部分をフィルタリングする。これにより、画像データのエッジの周辺部分に発生するモスキートノイズが、画像データから除去される。
なお、画素値の変化が急峻なエッジを保存したまま、エッジ以外の部分の画像データを増幅させる非線形平滑フィルタを使用して、画像データのコントラストを向上させる装置が開示されている（例えば、特許文献１参照）。
特開２００１−２９８６２１号公報
しかしながら、従来のノイズ除去装置では、画像データに、エッジと有意なテクスチャ（例えば、模様があるなどして、画像データの画素値の変化がある程度存在する部分）とがある場合に、エッジと有意なテクスチャとを適切に判別することが困難であった。即ち、従来のノイズ除去装置では、ある程度大きな画素値の変化が検出されたときに、その画素値の変化がエッジによるものなのか、有意なテクスチャによるものなのかを適切に判別することが困難であった。例えば、従来のノイズ除去装置は、有意なテクスチャによる画素値の変化を検出したときであっても、エッジであると判定することがあった。
このように、エッジと有意なテクスチャとの判別が適切に行われない場合、ノイズ除去装置は、エッジの周辺部分と有意なテクスチャ（の周辺部分）とを、同様の平滑化の度合いでフィルタリングする。その場合、例えば、有意なテクスチャの画質が劣化することや、エッジの周辺部分のモスキートノイズが十分に除去されないことがある。
本発明は、このような状況に鑑みてなされたものであり、画像データからモスキートノイズを効果的に除去することができるようにするものである。
本発明のデータ処理装置は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算手段と、分散情報を平滑化し、平滑化値を出力する平滑化手段と、画像データを構成する画素のうちの、注目している注目画素を含む、注目画素の周辺に位置する画素の平滑化値の変化量を計算する変化量計算手段と、変化量のヒストグラムを計算するヒストグラム計算手段と、ヒストグラムに基づいて、注目画素が属する領域を判定し、その領域を表す領域情報を出力する領域判定手段と、領域情報と平滑化値とに基づいて、画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定手段と、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去手段とを備えることを特徴とする。
本発明のデータ処理方法は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、分散情報を平滑化し、平滑化値を出力する平滑化ステップと、画像データを構成する画素のうちの、注目している注目画素を含む、注目画素の周辺に位置する画素の平滑化値の変化量を計算する変化量計算ステップと、変化量のヒストグラムを計算するヒストグラム計算ステップと、ヒストグラムに基づいて、注目画素が属する領域を判定し、その領域を表す領域情報を出力する領域判定ステップと、領域情報と平滑化値とに基づいて、画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去ステップとを含むことを特徴とする。
本発明のプログラムは、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、分散情報を平滑化し、平滑化値を出力する平滑化ステップと、画像データを構成する画素のうちの、注目している注目画素を含む、注目画素の周辺に位置する画素の平滑化値の変化量を計算する変化量計算ステップと、変化量のヒストグラムを計算するヒストグラム計算ステップと、ヒストグラムに基づいて、注目画素が属する領域を判定し、その領域を表す領域情報を出力する領域判定ステップと、領域情報と平滑化値とに基づいて、画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去ステップとを含むことを特徴とする。
本発明のデータ処理装置およびデータ処理方法、並びにプログラムにおいては、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報が計算され、分散情報が平滑化された平滑化値が出力される。また、画像データを構成する画素のうちの、注目している注目画素を含む、注目画素の周辺に位置する画素の平滑化値の変化量が計算され、その変化量のヒストグラムが計算され、そのヒストグラムに基づいて、注目画素が属する領域が判定されて、その領域を表す領域情報が出力される。そして、領域情報と平滑化値とに基づいて、画像データを構成する画素ごとにノイズ除去処理のパラメータが決定され、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理が施される。
本発明によれば、画像データからモスキートノイズを効果的に除去することができる。
以下に本発明の実施の形態を説明する。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図１は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。
図１において、ノイズ除去装置１０には、分散計算部１１、ローパスフィルタ１２、領域判定部１３、閾値決定部１４、および非線形平滑フィルタ１５が設けられている。
分散計算部１１および非線形平滑フィルタ１５は、入力データとしての画像データをノイズ除去装置１０に入力するための端子（図示せず）に接続されており、分散計算部１１はまた、ローパスフィルタ１２に接続されている。また、ローパスフィルタ１２は、領域判定部１３および閾値決定部１４に接続されている。領域判定部１３は、閾値決定部１４に接続されており、閾値決定部１４は、非線形平滑フィルタ１５に接続されている。そして、非線形平滑フィルタ１５は、出力データとしての画像データをノイズ除去装置１０から出力するための端子（図示せず）に接続されている。
分散計算部１１には、入力データとしての画像データが、例えば、１フレーム（フィールド）単位で入力される。画像データは、例えば、MPEG方式でエンコードされた画像データがデコードされたものである。分散計算部１１は、１フレームの画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報としての、例えば、分散Ｖを計算し、ローパスフィルタ１２に供給する。
ローパスフィルタ１２は、分散計算部１１からの分散Ｖを平滑化する。ローパスフィルタ１２は、分散Ｖを平滑化することにより得られる平滑化値LPF（Ｖ）を、領域判定部１３および閾値決定部１４に供給する。
領域判定部１３は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）に基づいて、画像データを構成する各画素について、画素が属する領域が、画素値が急峻に変化するエッジを構成する領域か、若しくはエッジの周辺の領域であるエッジ領域、物体表面の模様などの画素値の変化がある程度存在する領域であるテクスチャ領域、画素値の変化がほとんどない領域であるフラット領域、または、その他の領域のうちのいずれであるかを判定する領域判定処理を行う。
領域判定部１３は、領域判定処理を行った結果得られる領域情報を閾値決定部１４に供給する。なお、領域情報は、画像データを構成する画素のうちの、注目している注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のいずれであるかを表す情報である。
閾値決定部１４は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）と、領域判定部１３からの領域情報とに基づいて、非線形平滑フィルタ１５が行うノイズ除去処理のパラメータである閾値εを決定し、非線形平滑フィルタ１５に供給する。閾値εは、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のそれぞれに対応するように決定される。
非線形平滑フィルタ１５は、閾値決定部１４からの閾値εに基づき、入力データとしての画像データにノイズ除去処理を施す。即ち、非線形平滑フィルタ１５は、閾値決定部１４からの閾値εの値に基づく度合いで平滑化がされるように、画像データをフィルタリングする。例えば、非線形平滑フィルタ１５は、閾値εが大きな値であれば、高い平滑化の度合いで画像データをフィルタリングし、また、閾値εが小さな値であれば、低い平滑化の度合いで画像データをフィルタリングする。
上述のように、閾値εは、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のそれぞれに対応するように決定される。従って、非線形平滑フィルタ１５は、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のそれぞれに対応するような平滑化の度合いで画像データをフィルタリングする。
非線形平滑フィルタ１５は、上述のようなフィルタリングをノイズ除去処理として行うことにより、入力データとしての画像データからモスキートノイズを除去し、出力データとしての画像データを出力する。
次に、図２を参照して、図１の分散計算部１１による分散Ｖの計算について説明する。
分散計算部１１は、画像データを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として選択（注目）し、注目画素について、画素値の散らばりの度合いを表す分散情報としての、例えば、分散を求める。
即ち、分散計算部１１は、例えば、図２に示すように、注目画素を中心とする縦×横が３×３画素の画素値の分散を、式（１）にしたがい、注目画素についての分散として求める。
Figure 0004635779
 ・・・（１）
ここで、式（１）において、Ｖは、注目画素についての分散を表す。また、Ｎは、注目画素についての分散Ｖを求めるのに用いる画素（画素値）の数を表し、図２の実施の形態では、９画素である。さらに、ｐiは、注目画素についての分散Ｖを求めるのに用いるＮ画素のうちのｉ番目の画素の画素値を表し、aveは、Ｎ画素の画素値の平均値(ｐ1＋ｐ2＋…＋ｐN)/Ｎを表す。
分散計算部１１は、ラスタスキャン順に、注目画素を順次変えて、分散Ｖを順次計算し、画像データを構成する全画素について分散Ｖを求める。
なお、分散情報としては、式（１）で求められる分散Ｖの他、例えば、式（２）で求められる値、その他、画素値の散らばりの度合いを表す値を採用することができる。
Figure 0004635779
 ・・・（２）
次に、図３は、図１の分散計算部１１に入力される画像データ（非線形平滑フィルタ１５でのフィルタリングの対象となる画像データ）、分散計算部１１により得られる分散Ｖ、および、ローパスフィルタ１２により得られる平滑化値LPF（Ｖ）の波形を模式的に示す図である。
図３において、波形Ｔ1は、分散計算部１１に入力される入力データとしての画像データにおける、ある水平（垂直）ラインの画素値の波形である。波形Ｔ1には、画素値の変化が急峻なエッジの範囲ａ、画素値の変化がある程度存在するテクスチャの範囲ｂ、および画素値の変化がほとんどないフラットの範囲ｃが存在する。
波形Ｔ2は、波形Ｔ1（画像データ）を対象として分散計算部１１で求められる分散Ｖの波形である。分散Ｖは、波形Ｔ1の散らばりの度合い（変化の度合い）が大きければ大の値を示し、波形Ｔ1の散らばりの度合いが小さければ小の値を示す。従って、波形Ｔ2は、図３に示すように、範囲ａおよびその近傍において、波形Ｔ1のエッジによる画素値の変化の影響を受けて大きく変化する凸形状となり、範囲ｂおよびその近傍において、波形Ｔ1のテクスチャによる画素値の変化の影響を受けてある程度の大きさで変化する波形状となる。
波形Ｔ3は、ローパスフィルタ１２が波形Ｔ2（分散Ｖ）を平滑化することで得られる平滑化値LPF（Ｖ）の波形である。波形Ｔ3は、図３に示すように、波形Ｔ2を鈍らせた形状となる。即ち、波形Ｔ3は、範囲ａよりある程度広い範囲ｄにおいて、ある程度の大きさの傾斜を有する凸形状となり、範囲ｂより若干広い範囲ｅにおいて、範囲ｄにおける傾斜よりも小さな傾斜を有する凸形状となり、範囲ｄおよび範囲ｅ以外の範囲ｆにおいて、傾斜のない平坦な形状となる。
次に、図４は、図１の領域判定部１３の構成例を示すブロック図である。
図４において、領域判定部１３には、メモリ２１、水平差分計算部２２、垂直差分計算部２３、水平ヒストグラム計算部２４、垂直ヒストグラム計算部２５、水平方向領域判定部２６、および垂直方向領域判定部２７が設けられている。
メモリ２１には、図１のローパスフィルタ１２から平滑化値LPF（Ｖ）が供給される。メモリ２１は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）のうちの、注目画素を含む、注目画素の周辺に位置する画素の平滑化値LPF（Ｖ）を記憶する。
即ち、領域判定部１３には、ローパスフィルタ１２から平滑化値LPF（Ｖ）が供給され、領域判定部１３では、画像データを構成する画素が、例えば、ラスタスキャン順に、注目画素として選択される。メモリ２１は、ローパスフィルタ１２から供給される平滑化値LPF（Ｖ）のうちの、注目画素を含む、注目画素の周辺に位置する画素の平滑化値LPF（Ｖ）を記憶する。
水平差分計算部２２は、注目画素について、メモリ２１に記憶された平滑化値LPF（Ｖ）の水平方向の変化量を計算し、水平ヒストグラム計算部２４に供給する。
垂直差分計算部２３は、注目画素について、メモリ２１に記憶された平滑化値LPF（Ｖ）の垂直方向の変化量を計算し、垂直ヒストグラム計算部２５に供給する。
水平ヒストグラム計算部２４は、水平差分計算部２２から供給される注目画素についての水平方向の変化量のヒストグラムを計算（作成）する。即ち、水平ヒストグラム計算部２４は、水平差分計算部２２から供給される注目画素についての水平方向の変化量を対象として、値が第１の範囲、第２の範囲、第３の範囲の変化量それぞれの度数hist(1)，hist(2)，hist(3)からなるヒストグラムを求める。水平ヒストグラム計算部２４は、注目画素ごとについて求めた度数hist(1)，hist(2)，hist(3)からなるヒストグラムを水平方向領域判定部２６に供給する。
垂直ヒストグラム計算部２５は、垂直差分計算部２３から供給される注目画素についての垂直方向の変化量を対象として、水平ヒストグラム計算部２４と同様に、度数hist(1)，hist(2)，hist(3)からなるヒストグラムを求め、垂直方向領域判定部２７に供給する。
水平方向領域判定部２６には、注目画素が属する領域を判定するための閾値th1，th2，th3が、あらかじめ与えられている。水平方向領域判定部２６は、水平ヒストグラム計算部２４からの注目画素についてのヒストグラムの度数hist(1)，hist(2)，hist(3)と、閾値th1，th2，th3とに基づいて、注目画素が属する領域を判定する。即ち、水平方向領域判定部２６は、注目画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域、または、その他の領域のうちのいずれであるかを判定し、その判定結果、つまり、注目画素が属する領域を表す領域情報を出力する。
垂直方向領域判定部２７は、水平方向領域判定部２６と同様に、垂直ヒストグラム計算部２５からの注目画素についてのヒストグラムの度数hist(1)，hist(2)，hist(3)に基づき、注目画素が属する領域を判定し、その判定結果として、領域情報を出力する。
次に、図５は、図４のメモリ２１の記憶内容を示す図である。図５を参照し、図４の水平差分計算部２２と垂直差分計算部２３による変化量の計算について説明する。
図５は、メモリ２１が記憶する画素の平滑化値C[i](j)を示している。メモリ２１は、画像データを構成する画素のうちの、例えば、注目画素（の平滑化値）C[3](0)を中心として、横×縦が７×５画素の、合計で３５個の画素（の平滑化値）C[i](j)を記憶する。つまり、メモリ２１は、注目画素C[3](0)を中心として、垂直方向に５行（i=1〜5）の範囲、および水平方向に７列（j＝-3〜3）の範囲に位置する画素の平滑化値C[i](j)、即ち、平滑化値C[1](-3)乃至平滑化値C[5](3)を記憶する。
ここで、上述したように、注目画素について、メモリ２１に平滑化値が記憶される、注目画素を中心とする７×５画素の領域を、注目領域という。
水平差分計算部２２は、例えば、式（３）の差分値（差分絶対値）diff[i](j)を、注目領域の画素の水平方向の変化量として計算する。
diff[i](j)＝｜C[i](j)−C[i](0)｜ , （i=1〜5 , j＝-3〜3）
・・・（３）
式（３）を計算することで、水平差分計算部２２は、３０個の水平方向の差分値diff[i](j)を出力する。具体的には、水平差分計算部２２は、１行目（i=1）について、平滑化値C[1](0)と、平滑化値C[1](-3)、平滑化値C[1](-2)、平滑化値C[1](-1)、平滑化値C[1](1)、平滑化値C[1](2)、平滑化値C[1](3)それぞれとの差分値を計算し、６個の水平方向の差分値diff[1](-3)、差分値diff[1](-2)、差分値diff[1](-1)、差分値diff[1](1)、差分値diff[1](2)、差分値diff[1](3)を出力する。
水平差分計算部２２は、２行目（i=2）についても同様に、平滑化値C[2](0)と、平滑化値C[2](-3)、平滑化値C[2](-2)、平滑化値C[2](-1)、平滑化値C[2](1)、ｄ平滑化値C[2](2)、平滑化値C[2](3)それぞれとの差分値を計算し、６個の水平方向の差分値diff[2](-3)、差分値diff[2](-2)、差分値diff[2](-1)、差分値diff[2](1)、差分値diff[2](2)、差分値diff[2](3)を出力し、以下、同様に、３行目乃至５行目（i=3〜5）について、各６個の水平方向の差分値を出力する。従って、水平差分計算部２２は、１行乃至５行についての３０個の水平方向の差分値diff[i](j)を出力する。
また、垂直差分計算部２３は、例えば、式（４）の差分値（差分絶対値）diff[i](j)を、注目領域の画素の垂直方向の変化量として計算する。
diff[i](j)＝｜C[i](j)−C[3](j)｜ , （i=1〜5 , j＝-3〜3）
・・・（４）
式（４）を計算することで、垂直差分計算部２３は、２８個の垂直方向の差分値diff[i](j)を出力する。水平差分計算部２２について説明した場合と同様に、垂直差分計算部２３は、各列ごとに４個の垂直方向の差分値diff[i](j)を出力し、１列乃至７列についての２８個の垂直方向の差分値diff[i](j)を出力する。
なお、図５には、メモリ２１に記憶される注目領域が５×７画素である例が示されているが、メモリ２１に記憶される注目領域は、５×７画素に限られるものではない。注目領域のサイズ、特に縦のサイズは、例えば、非線形平滑フィルタ１５でのフィルタリングの対象とする画像データが圧縮されるときに行われたDCT処理のブロックサイズに基づいて決定することができる。
次に、図６を参照し、図４の水平ヒストグラム計算部２４と垂直ヒストグラム計算部２５で求められる変化量のヒストグラムについて説明する。
図６は、横軸に変化量をとり、縦軸に度数をとったヒストグラムを示している。図６のヒストグラムにおいて、横軸の左から右方向に向かって、変化量の値は増加する。また、横軸は、変化量の値が大きい範囲から順に、第１の範囲、第２の範囲、第３の範囲に３分割されている。
図５で説明したように、水平ヒストグラム計算部２４には、水平差分計算部２２から３０個の水平方向の変化量（としての差分値）が供給され、水平ヒストグラム計算部２４は、水平方向の変化量のヒストグラムを計算する。即ち、水平ヒストグラム計算部２４は、水平差分計算部２２からの３０個の水平方向の変化量に基づき、第１の範囲の変化量の度数hist(1)、第２の範囲の変化量の度数hist(2)、第３の範囲の変化量の度数hist(3)をそれぞれ求め、その３つの度数hist(1)，hist(2)，hist(3)からなる３分割の水平方向のヒストグラムを得る。
なお、図６において、横軸の第１乃至第３の範囲は同一の大きさになっているが、異なる大きさであってもよい。また、第１乃至第３の範囲は、例えば、多くの画像データを用いてシミュレーションを行うことによって決定することができる。さらに、第１乃至第３の範囲は、例えば、ユーザの操作などに応じて変更することができる。
また、垂直ヒストグラム計算部２５は、水平ヒストグラム計算部２４と同様に、垂直差分計算部２３から供給される２８個の垂直方向の変化量に基づき、第１の範囲の変化量の度数hist(1)、第２の範囲の変化量の度数hist(2)、第３の範囲の変化量の度数hist(3)をそれぞれ求め、その３つの度数hist(1)，hist(2)，hist(3)からなる３分割の垂直方向のヒストグラムを得る。
次に、図７を参照して、図４の水平方向領域判定部２６と垂直方向領域判定部２７が行う、注目画素が属する領域を判定する領域判定処理について説明する。
上述したように、水平方向領域判定部２６には、領域を判定するための閾値th1，th2，th3が、あらかじめ与えられており、注目画素についての水平方向のヒストグラムの度数hist(1)，hist(2)、およびhist(3)が、水平ヒストグラム計算部２４から供給される。
水平方向領域判定部２６は、度数hist(1)と閾値th1とを比較し、さらに、必要に応じて度数hist(2)と閾値th2との比較や、度数hist(3)と閾値th3との比較を行い、これらの比較結果に基づいて、注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のうちのいずれであるかを判定する。
即ち、例えば、図７に示すように、「hist(1)＞th1」が真（１）であれば、水平方向領域判定部２６は、注目画素が属する領域がエッジ領域であると判定する。また、「hist(1)＞th1」が偽（０）で、かつ、「hist(2)＞th2」が真（１）であれば、水平方向領域判定部２６は、注目画素が属する領域がテクスチャ領域であると判定する。
また、「hist(1)＞th1」および「hist(2)＞th2」が偽（０）で、かつ、「hist(3)＞th3」が真（１）であれば、水平方向領域判定部２６は、注目画素が属する領域がフラット領域であると判定する。また、「hist(1)＞th1」、「hist(2)＞th2」、および「hist(3)＞th3」がいずれも偽（else）であれば、水平方向領域判定部２６は、注目画素が属する領域が、エッジ領域、テクスチャ領域、およびフラット領域のいずれでもない（あるいは、いずれであるかが不明な）、その他の領域であると判定する。
なお、「hist(1)＞th1」が真（１）であれば、「hist(2)＞th2」および「hist(3)＞th3」が真であるか偽であるかにかかわらず、注目画素が属する領域はエッジ領域であると判定されるので、図７の表のエッジ領域の行であって「hist(2)＞th2」および「hist(3)＞th3」の列である升目には、「×」（don't care）が記載されている。同様に、「hist(1)＞th1」が偽（０）で、かつ、「hist(2)＞th2」が真（１）であれば、「hist(3)＞th3」が真であるか偽であるかにかかわらず、注目画素が属する領域はテクスチャ領域であると判定されるので、図７の表のテクスチャ領域の行であって「hist(3)＞th3」の列である升目には、「×」が記載されている。
また、垂直方向領域判定部２７には、水平方向領域判定部２６と同様に、領域を判定するための閾値th1，th2，th3が、あらかじめ与えられており、垂直方向領域判定部２７は、垂直ヒストグラム計算部２５からの注目画素についての垂直方向のヒストグラムの度数hist(1)，hist(2)，hist(3)に基づいて、注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のうちのいずれであるかを判定する。
以上のように、水平方向領域判定部２６では、画像データを、いわば水平方向に沿って見た場合の、注目画素が属する領域が判定され、垂直方向領域判定部２７では、画像データを、垂直方向に沿って見た場合の、注目画素が属する領域が判定される。
なお、水平方向領域判定部２６と垂直方向領域判定部２７とで、領域を判定するための閾値th1，th2，th3は、同じ値であってもよいし、異なる値であってもよい。
ここで、上述の図３を参照して、図４の領域判定部１３に入力される平滑化値LPF（Ｖ）と、水平方向領域判定部２６による注目画素が属する領域（領域の種類）の判定との関係について説明する。
上述したように、図３の波形Ｔ3は、ローパスフィルタ１２により得られる平滑化値LPF（Ｖ）の波形であり、そのうちの注目画素を中心とする範囲の部分が注目領域としてメモリ２１に記憶される。水平差分計算部２２は、波形Ｔ3のうちの、メモリ２１に注目領域として記憶された範囲を対象として変化量を計算し、水平ヒストグラム計算部２４は、その変化量のヒストグラムを得る。
波形Ｔ3は、範囲ｄにおいて、ある程度の大きさの傾斜を有しているので、範囲ｄと一部または全部が重複する範囲を注目領域として計算される変化量のヒストグラムでは、大きな変化量の度数hist(1)が大の値になる。
また、波形Ｔ3は、範囲ｅにおいて、範囲ｄにおける傾斜よりも小さな傾斜を有しているので、範囲ｅと一部または全部が重複する範囲を注目領域として計算される変化量のヒストグラムでは、度数hist(1)が小の値になり、中程度の変化量の度数hist(2)が大の値になる。
また、波形Ｔ3は、範囲ｆにおいて傾斜がないので、範囲ｆのみを含む範囲を注目領域として計算される変化量のヒストグラムでは、度数hist(1)および度数hist(2)が小の値になり、小さい変化量の度数hist(3)が大の値になる。
水平方向領域判定部２６は、以上のような変化量のヒストグラムの性質（特性）に基づき、図７の表のように、注目画素が属する領域を判定する。従って、水平方向領域判定部２６では、エッジの範囲ａを含むエッジ周辺の範囲ｄより若干広い範囲における画素が属する領域がエッジ領域と判定され、テクスチャの範囲ｂを含む範囲ｅより若干広い範囲における画素が属する領域がテクスチャ領域と判定され、フラットの範囲ｃより狭い範囲ｆにおける画素が属する領域がフラット領域と判定される。
次に、図８は、図１の閾値決定部１４の構成例を示すブロック図である。
図８において、閾値決定部１４には、水平方向パラメータ選択部３１、垂直方向パラメータ選択部３２、水平方向閾値決定部３３、および垂直方向閾値決定部３４が設けられている。
水平方向パラメータ選択部３１には、図４の水平方向領域判定部２６から注目画素についての水平方向の領域情報（注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、またはその他の領域のいずれであるかを表す情報）が供給される。水平方向パラメータ選択部３１は、水平方向の領域情報に基づき、水平方向閾値決定部３３が閾値εを決定するための、注目画素についての水平方向の決定用パラメータを選択（決定）し、水平方向閾値決定部３３に供給する。
垂直方向パラメータ選択部３２は、図４の垂直方向領域判定部２７から供給される注目画素についての垂直方向の領域情報に基づき、垂直方向閾値決定部３４が閾値εを決定するための、注目画素についての垂直方向の決定用パラメータを選択し、垂直方向閾値決定部３４に供給する。
水平方向閾値決定部３３には、水平方向パラメータ選択部３１から水平方向の決定用パラメータが供給されるとともに、図１のローパスフィルタ１２から平滑化値LPF（Ｖ）が供給される。水平方向閾値決定部３３は、水平方向パラメータ選択部３１からの注目画素についての水平方向の決定用パラメータと、ローパスフィルタ１２からの注目画素についての平滑化値LPF（Ｖ）とに基づいて、注目画素についての水平方向の閾値εを決定して出力する。
垂直方向閾値決定部３４は、垂直方向パラメータ選択部３２からの、注目画素についての垂直方向の決定用パラメータと、ローパスフィルタ１２からの注目画素についての平滑化値LPF（Ｖ）とに基づいて、注目画素についての垂直方向の閾値εを決定して出力する。
次に、図９を参照して、図８の水平方向パラメータ選択部３１から水平方向閾値決定部３３に供給される水平方向の決定用パラメータについて説明するとともに、水平方向閾値決定部３３による水平方向の閾値εの決定について説明する。
図９は、平滑化値LPF（Ｖ）と閾値εとの関係を示す閾値決定曲線を表している。図９において、横軸は平滑化値LPF（Ｖ）を、縦軸は閾値εを、それぞれ示しており、横軸の左から右方向に向かって平滑化値LPF（Ｖ）の値は増加し、縦軸の下から上方向に向かって閾値εの値は増加する。
水平方向閾値決定部３３は、水平方向パラメータ選択部３１からの注目画素についての決定用パラメータに基づいて、図９に示した、閾値決定曲線Ｌ1，Ｌ2，Ｌ3のうちのいずれかを、閾値εを決定するのに用いる閾値決定曲線に決定し、その閾値決定曲線と、図１のローパスフィルタ１２からの注目画素の平滑化値LPF（Ｖ）とに基づいて、注目画素をフィルタリングするときのパラメータとしての閾値εを決定する。
ここで、平滑化値LPF（Ｖ）と閾値εとの関係を示す閾値決定曲線は、例えば、変数(パラメータ)Ｅ，Ｆ，Ｍによって特定される曲線である。即ち、閾値決定曲線は、例えば、図９に示すように、平滑化値LPF（Ｖ）がＦ以下である場合に、閾値εが０のまま一定であり、平滑化値LPF（Ｖ）がＦより大でＥより小さい場合に、閾値εが平滑化値LPF（Ｖ）に比例して増加し、平滑化値LPF（Ｖ）がＥ以上である場合に、閾値εがＭ（＞０）のまま一定である曲線である。
水平方向パラメータ選択部３１から水平方向閾値決定部３３に対しては、例えば、閾値決定曲線を特定する変数Ｅ，Ｆ，Ｍが決定用パラメータとして供給される。また、例えば、変数Ｆの代わりに、閾値εが平滑化値LPF（Ｖ）に比例して増加する傾きｋを決定用パラメータとしてもよい。
図９には、決定用パラメータＥ，Ｆ，Ｍが、それぞれ、決定用パラメータＥ1，Ｆ1，Ｍ1である場合の閾値決定曲線Ｌ1と、決定用パラメータＥ，Ｆ，Ｍが、それぞれ、決定用パラメータＥ2，Ｆ2，Ｍ2である場合の閾値決定曲線Ｌ2と、決定用パラメータＥ，Ｆ，Ｍが、それぞれ、決定用パラメータＥ3，Ｆ3，Ｍ3である場合の閾値決定曲線Ｌ3とが示されている。
水平方向パラメータ選択部３１は、例えば、決定用パラメータ（の値）と領域情報とを対応付けて記憶しており、図４の水平方向領域判定部２６から供給される水平方向の領域情報に対応付けられている決定用パラメータを選択する。
例えば、水平方向パラメータ選択部３１は、エッジ領域を表す領域情報と、決定用パラメータＥ1，Ｆ1，Ｍ1とを対応付けて記憶しており、水平方向領域判定部２６からの領域情報がエッジ領域を表している場合、決定用パラメータＥ1，Ｆ1，Ｍ1を選択する。また、水平方向パラメータ選択部３１は、テクスチャ領域を表す領域情報と、決定用パラメータＥ2，Ｆ2，Ｍ2とを対応付けて記憶しており、水平方向領域判定部２６からの領域情報がテクスチャ領域を表している場合、決定用パラメータＥ2，Ｆ2，Ｍ2を選択する。
また、水平方向パラメータ選択部３１は、フラット領域を表す領域情報と、決定用パラメータＥ3，Ｆ3，Ｍ3とを対応付けて記憶しており、水平方向領域判定部２６からの領域情報がフラット領域を表している場合、決定用パラメータＥ3，Ｆ3，Ｍ3を選択する。さらに、水平方向パラメータ選択部３１は、その他の領域を表す領域情報を、例えば、決定用パラメータＥ3，Ｆ3，Ｍ3と対応付けて記憶しており、水平方向領域判定部２６からの領域情報がその他の領域を表している場合も、決定用パラメータＥ3，Ｆ3，Ｍ3を選択する。
ここで、図９において、閾値決定曲線Ｌ1，Ｌ2，Ｌ3の決定用パラメータＥは、Ｅ1，Ｅ2，Ｅ3の順で大きく、閾値決定曲線Ｌ1，Ｌ2，Ｌ3の決定用パラメータＦは、Ｆ1，Ｆ2，Ｆ3の順で大きく、閾値決定曲線Ｌ1，Ｌ2，Ｌ3の決定用パラメータＭは、Ｍ1，Ｍ2，Ｍ3の順で小さくなる関係になっている。
従って、注目画素が属する領域がエッジ領域である場合、閾値決定曲線Ｌ1にしたがい、注目画素の平滑化値LPF（Ｖ）が小の値Ｆ1以下であれば、閾値εは０に決定される。さらに、注目画素の平滑化値LPF（Ｖ）が小の値Ｆ1から小の値Ｅ1までの範囲の値であれば、閾値εは、平滑化値LPF（Ｖ）に比例した大の値に決定され、注目画素の平滑化値LPF（Ｖ）が小の値Ｅ1以上であれば、閾値εは、大の値Ｍ1に決定される。
また、注目画素が属する領域がテクスチャ領域である場合、閾値決定曲線Ｌ2にしたがい、注目画素の平滑化値LPF（Ｖ）が小の値Ｆ1よりも大きい中の値Ｆ2以下であれば、閾値εは０に決定される。さらに、注目画素の平滑化値LPF（Ｖ）が、小の値Ｆ1よりも大きい中の値Ｆ2以上で、かつ小の値Ｅ1よりも大きい中の値Ｅ2以下の範囲の値であれば、閾値εは、平滑化値LPF（Ｖ）に比例した中の値に決定され、注目画素の平滑化値LPF（Ｖ）が中の値Ｅ2以上であれば、閾値εは、大の値Ｍ1よりも小さい中の値Ｍ2に決定される。
また、注目画素が属する領域がフラット領域またはその他の領域である場合、閾値決定曲線Ｌ3にしたがい、注目画素の平滑化値LPF（Ｖ）が中の値Ｆ2よりも大きい大の値Ｆ3以下であれば、閾値εは０に決定される。さらに、注目画素の平滑化値LPF（Ｖ）が、中の値Ｆ2よりも大きい大の値Ｆ3以上で、かつ中の値Ｅ2よりも大きい大の値Ｅ3以下の範囲の値であれば、閾値εは、平滑化値LPF（Ｖ）に比例した小の値に決定され、注目画素の平滑化値LPF（Ｖ）が大の値Ｅ3以上であれば、閾値εは、中の値Ｍ2よりも小さい小の値Ｍ3に決定される。
このように、水平方向閾値決定部３３は、注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のいずれであるかを表す領域情報と、注目画素の平滑化値LPF（Ｖ）とに基づいて、注目画素についての水平方向の閾値（ノイズ除去処理としての水平方向のフィルタリングのパラメータ）εを決定する。
即ち、大雑把に言えば、水平方向閾値決定部３３は、注目画素が属する領域が、エッジ領域であれば、大の値の閾値εを、注目画素が属する領域が、テクスチャ領域であれば、中の値の閾値εを、注目画素が属する領域が、フラット領域またはその他の領域であれば、小の値の閾値εを、それぞれ決定する。また、水平方向閾値決定部３３は、注目画素の平滑化値LPF（Ｖ）が大であるほど、大の値の閾値εを決定する。
垂直方向閾値決定部３４（図８）も、垂直方向パラメータ選択部３２からの注目画素の領域情報と、ローパスフィルタ１２（図１）からの注目画素の平滑化値LPF（Ｖ）とに基づき、水平方向閾値決定部３３と同様にして、注目画素についての垂直方向の閾値（ノイズ除去処理としての垂直方向のフィルタリングのパラメータ）εを決定する。
そして、非線形平滑フィルタ１５（図１）は、水平方向閾値決定部３３からの注目画素についての水平方向の閾値ε、および垂直方向閾値決定部３４からの注目画素についての垂直方向の閾値εに基づいて、注目画素をフィルタリングする。例えば、非線形平滑フィルタ１５は、直列に接続された２段階のεフィルタを有しており、例えば、１段目のεフィルタによって、水平方向閾値決定部３３からの注目画素についての水平方向の閾値εに基づいて注目画素を水平方向にフィルタリングし、２段目のεフィルタによって、１段目のεフィルタが出力する注目画素を、垂直方向閾値決定部３４からの注目画素についての垂直方向の閾値εに基づいて注目画素を垂直方向にフィルタリングする。
ここで、非線形平滑フィルタ１５が有するεフィルタについて簡単に説明する。εフィルタは、画像データを構成する画素のうちの、注目画素のフィルタリング（ローパスフィルタリング）に用いる、注目画素の近傍にある近傍画素の画素値を、閾値εに応じて設定する。
図１０は、εフィルタによるフィルタリングを説明する図である。近傍画素Ｐｍの画素値Ｘｍが、注目画素Ｐｎの画素値Ｘｎを中心とする閾値εの範囲内にない場合、εフィルタは、近傍画素Ｐｍの画素値Ｘｍを注目画素Ｐｎの画素値Ｘｎに置き換え、注目画素Ｐｎのフィルタリングに用いる。一方、近傍画素Ｐｍの画素値Ｘｍが閾値εの範囲内にある場合、εフィルタは、その近傍画素Ｐｍの画素値Ｘｍをそのまま用い、注目画素Ｐｎをフィルタリングする。
従って、εフィルタによれば、注目画素の画素値に近い値の画素値（閾値εの範囲内の画素値）のみを用いて、注目画素がフィルタリングされる。その結果、εフィルタにおいては、例えば、入力データとしての画像データに微少なノイズが含まれる場合には、そのノイズが除去されたフィルタリング結果が得られる。さらに、εフィルタにおいては、例えば、入力データとしての画像データに、急峻なエッジが含まれている場合には、そのエッジの形状を維持したフィルタリング結果が得られる。
また、εフィルタによれば、入力データとしての画像データをフィルタリングする際に、閾値εを大きな値にすると平滑化の度合いが高くなり、閾値εを小さな値にすると平滑化の度合いが低くなる。
このようなεフィルタを有する非線形平滑フィルタ１５によって、図９を参照して説明したように決定される閾値εに基づき、画像データがフィルタリングされることにより、エッジの形状を維持したまま、エッジの周辺部分に発生するモスキートノイズが除去される。
次に、図１１は、図１のノイズ除去装置１０が画像データのモスキートノイズを除去する処理を説明するフローチャートである。
入力データとしての１フレームの画像データがノイズ除去装置１０の分散計算部１１と非線形平滑フィルタ１５に入力され、ステップＳ１１において、分散計算部１１は、画像データの画素ごとに分散Ｖを計算する。分散計算部１１は、分散Ｖをローパスフィルタ１２に供給し、ステップＳ１２に進む。
ステップＳ１２において、ローパスフィルタ１２は、分散計算部１１からの画像データの分散Ｖを平滑化し、平滑化値LPF（Ｖ）を、領域判定部１３および閾値決定部１４に供給する。
ローパスフィルタ１２から平滑化値LPF（Ｖ）が供給されると、ステップＳ１３において、領域判定部１３は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）に基づき、画像データを構成する各画素について、領域判定処理を行う。領域判定部１３は、領域判定処理を行った結果得られる領域情報を閾値決定部１４に供給し、ステップＳ１４に進む。
ステップＳ１４において、閾値決定部１４は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）と、領域判定部１３からの領域情報とに基づいて、非線形平滑フィルタ１５が行うノイズ除去処理のパラメータである閾値εを、画素ごとに決定して非線形平滑フィルタ１５に供給する閾値決定処理を行う。
ステップＳ１４の処理後、ステップＳ１５に進み、非線形平滑フィルタ１５は、閾値決定部１４からの閾値εに基づき、入力データとしての画像データにノイズ除去処理を施す。即ち、非線形平滑フィルタ１５は、閾値決定部１４からの閾値εの値に基づく度合いで平滑化がされるように、画像データをフィルタリングし、画像データに含まれるモスキートノイズその他のノイズを除去する。非線形平滑フィルタ１５は、モスキートノイズ等を除去した画像データを出力データとして出力し、処理を終了する。
なお、図１１の処理は、ノイズ除去装置１０に１フレームの画像データが供給されるごとに、その画像データを対象として繰り返し行われる。
次に、図１２は、図１１のステップＳ１３における領域判定処理を説明するフローチャートである。図１２では、領域判定部１３（図４）のうちの、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６によって水平方向に行われる領域判定処理を説明する。
領域判定部１３は、ノイズ除去装置１０に供給された画像データを構成する画素を、順次、注目画素とし、領域判定処理を行う。即ち、領域判定処理では、図１のローパスフィルタ１２から領域判定部１３に供給された平滑化値LPF（Ｖ）のうちの、注目画素を含む、注目画素の周辺に位置する７×５画素、つまり、注目領域の７×５画素（図５）の平滑化値LPF（Ｖ）が、メモリ２１（図４）に記憶される。
そして、ステップＳ２１において、水平差分計算部２２は、図５で説明したように、注目領域の水平方向の変化量としての差分値を計算して水平ヒストグラム計算部２４に供給し、ステップＳ２２に進む。
ステップＳ２２において、水平ヒストグラム計算部２４は、図６で説明したように、水平差分計算部２２からの水平方向の変化量についてのヒストグラムを計算し、３つの度数hist(1)，hist(2)，hist(3)からなるヒストグラムを水平方向領域判定部２６に供給する。
ステップＳ２２の処理後、ステップＳ２３に進み、水平方向領域判定部２６は、水平ヒストグラム計算部２４からの度数hist(1)と、あらかじめ与えられている閾値th1とを比較し、度数hist(1)が閾値th1より大きい（または以上である）か否かを判定する。
ステップＳ２３において、水平方向領域判定部２６が、度数hist(1)が閾値th1より大きいと判定した場合、ステップＳ２４に進み、水平方向領域判定部２６は、注目画素が属する領域がエッジ領域であることを表す水平方向の領域情報を、閾値決定部１４（図１）に供給して処理を終了する。
一方、ステップＳ２３において、水平方向領域判定部２６が、度数hist(1)が閾値th1以下であると判定した場合、ステップＳ２５に進む。
ステップＳ２５において、水平方向領域判定部２６は、水平ヒストグラム計算部２４からの度数hist(2)と、あらかじめ与えられている閾値th2とを比較し、度数hist(2)が閾値th2より大きい（または以上である）か否かを判定する。
ステップＳ２５において、水平方向領域判定部２６が、度数hist(2)が閾値th2より大きいと判定した場合、ステップＳ２６に進み、水平方向領域判定部２６は、注目画素が属する領域がテクスチャ領域であることを表す水平方向の領域情報を、閾値決定部１４に供給して処理を終了する。
一方、ステップＳ２５において、水平方向領域判定部２６が、度数hist(2)が閾値th2以下であると判定した場合、ステップＳ２７に進む。
ステップＳ２７において、水平方向領域判定部２６は、水平ヒストグラム計算部２４からの度数hist(3)と、あらかじめ与えられている閾値th3とを比較し、度数hist(3)が閾値th3より大きい（または以上である）か否かを判定する。
ステップＳ２７において、水平方向領域判定部２６が、度数hist(3)が閾値th3より大きいと判定した場合、ステップＳ２８に進み、水平方向領域判定部２６は、注目画素が属する領域がフラット領域であることを表す水平方向の領域情報を、閾値決定部１４に供給して処理を終了する。
一方、ステップＳ２７において、水平方向領域判定部２６が、度数hist(3)が閾値th3以下であると判定した場合、ステップＳ２９に進み、水平方向領域判定部２６は、注目画素が属する領域が、その他の領域であることを表す水平方向の領域情報を、閾値決定部１４に供給して処理を終了する。
なお、以上の説明は、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６によって水平方向に行われる領域判定処理についてのものであるが、垂直差分計算部２３、垂直ヒストグラム計算部２５、および垂直方向領域判定部２７によっても同様の領域判定処理が垂直方向に行われ、垂直方向の領域情報が閾値決定部１４に供給される。
次に、図１３は、図１１のステップＳ１４における閾値決定処理を説明するフローチャートである。図１３では、閾値決定部１４（図８）のうちの、水平方向パラメータ選択部３１および水平方向閾値決定部３３によって水平方向に行われる閾値決定処理を説明する。
図４の水平方向領域判定部２６から図８の水平方向パラメータ選択部３１に、注目画素の水平方向の領域情報が供給されると、ステップＳ３１において、水平方向パラメータ選択部３１は、水平方向領域判定部２６からの水平方向の領域情報に基づいて、閾値決定曲線を決定するための決定用パラメータを選択する。
例えば、図９を参照して説明したように、水平方向パラメータ選択部３１は、水平方向領域判定部２６からの水平方向の領域情報がエッジ領域を表している場合、決定用パラメータＥ1，Ｆ1，Ｍ1を選択する。また、水平方向パラメータ選択部３１は、水平方向領域判定部２６からの水平方向の領域情報がテクスチャ領域を表している場合、決定用パラメータＥ2，Ｆ2，Ｍ2を選択する。また、水平方向パラメータ選択部３１は、水平方向領域判定部２６からの水平方向の領域情報がフラット領域またはその他の領域を表している場合、決定用パラメータＥ3，Ｆ3，Ｍ3を選択する。
水平方向パラメータ選択部３１は、決定用パラメータを水平方向閾値決定部３３に供給して、ステップＳ３２に進む。
ステップＳ３２において、水平方向閾値決定部３３は、水平方向パラメータ選択部３１からの決定用パラメータに基づき、閾値εの決定に用いる閾値決定曲線を決定し、その閾値決定曲線において、図１のローパスフィルタ１２から供給される注目画素の平滑化値LPF（Ｖ）に対応する値を、注目画素の水平方向の閾値εとして決定する。
そして、水平方向閾値決定部３３は、図１の非線形平滑フィルタ１５に水平方向の閾値εを供給し、処理を終了する。
なお、以上の説明は、水平方向パラメータ選択部３１および水平方向閾値決定部３３によって水平方向に行われる閾値決定処理についてのものであるが、垂直方向パラメータ選択部３２および垂直方向閾値決定部３４によっても、図８の垂直方向パラメータ選択部３２からの決定用パラメータに基づき、同様の閾値決定処理が垂直方向に行われ、その閾値決定処理によって得られる注目画素の垂直方向の閾値εが非線形平滑フィルタ１５に供給される。
以上のように、領域判定処理による判定結果としての領域情報に基づき、閾値決定処理により閾値εを決定することで、非線形平滑フィルタ１５では、画像データの各画素が属する領域に適した閾値εによるフィルタリングであって、かつ、各画素の近傍の画素値のばらつき（散らばり）の度合いに応じた閾値εによるフィルタリングが行われ、その結果、画像データに含まれるモスキートノイズ等を効果的に除去することができる。
即ち、従来より、モスキートノイズを除去する方法としては、例えば、一次微分や、ソーベルフィルタを利用したフィルタリングを行う方法があるが、この方法では、エッジ領域とテクスチャ領域とを適切に分離してフィルタリングを行うことが難しかった。これに対して、図１のノイズ除去装置１０によれば、エッジ領域、テクスチャ領域、フラット領域を適切に分離して、そのエッジ領域、テクスチャ領域、フラット領域の各領域に応じた閾値決定曲線により、画素値の散らばりの度合いに応じて、動的に、閾値εを決定するので、効果的にノイズを除去することができる。
具体的には、エッジ領域に属する画素については、図９を参照して説明したように、閾値決定曲線Ｌ1にしたがい、閾値εは、比較的大の値に決定されるので、非線形平滑フィルタ１５は、高い平滑化の度合いでエッジ領域（例えば、図３の範囲ｄに対応する画像データの範囲）の画素をフィルタリングする。従って、画像データのエッジの周辺部分に発生するモスキートノイズを除去することができる。
また、テクスチャ領域に属する画素については、閾値決定曲線Ｌ2にしたがい、閾値εは、エッジ領域に属する画素についての閾値εよりも小さい中の値に決定されるので、非線形平滑フィルタ１５は、エッジ領域の画素の平滑化の度合いよりも低い平滑化の度合いで、テクスチャ領域（例えば、図３の範囲ｅに対応する画像データの範囲）の画素をフィルタリングする。従って、テクスチャとしての画素値の微細な変化を保存すること、例えば、物体表面の模様などの画質の劣化を防止することができる。
また、フラット領域に属する画素については、閾値決定曲線Ｌ3にしたがい、閾値εは、テクスチャ領域に属する画素についての閾値εよりも小さい小の値に決定されるので、非線形平滑フィルタ１５は、テクスチャ領域の画素の平滑化の度合いよりも低い平滑化の度合いで、フラット領域（例えば、図３の範囲ｆに対応する画像データの範囲）の画素をフィルタリングする。従って、フラット領域に存在する微細なノイズを除去することができる。
次に、図１のノイズ除去装置１０では、注目画素の分散情報として縦×横が３×３画素の画素値の分散Ｖを用いて、水平方向の処理（上述の領域判定処理（図１２）、閾値決定処理（図１３）、およびノイズ除去処理のうち水平方向に行われる処理）および垂直方向の処理（上述の領域判定処理（図１２）、閾値決定処理（図１３）、およびノイズ除去処理のうち垂直方向に行われる処理）の両方が行われるが、注目画素については、水平方向の分散情報と垂直方向の分散情報とをそれぞれ求め、水平方向の分散情報を用いて水平方向の処理を行うとともに、垂直方向の分散情報を用いて垂直方向の処理を行うことができる。
図１４は、本発明を適用したノイズ除去装置の他の実施の形態の構成例を示すブロック図である。
図１４において、ノイズ除去装置５０には、水平分散計算部５１、垂直分散計算部５２、水平ローパスフィルタ５３、垂直ローパスフィルタ５４、水平領域判定部５５、垂直領域判定部５６、水平閾値決定部５７、垂直閾値決定部５８、水平非線形平滑化フィルタ５９、および垂直非線形平滑化フィルタ６０が設けられている。
水平分散計算部５１および垂直分散計算部５２には、図１の分散計算部１１と同様に、入力データとしての画像データが入力され、水平分散計算部５１は、注目画素についての水平方向の分散情報としての、例えば、水平方向の分散ＶHを計算し、垂直分散計算部５２は、注目画素についての垂直方向の分散情報としての、例えば、垂直方向の分散ＶVを計算する。
このとき、水平分散計算部５１と垂直分散計算部５２とは、それぞれ異なる数の画素（画素値）を用いて分散を求めることができる。水平分散計算部５１は、注目画素を中心とする水平方向の、例えば、５画素（tap）を用い、上述の式（１）にしたがい、注目画素についての水平方向の分散ＶHを計算する。垂直分散計算部５２は、注目画素を中心とする垂直方向の、例えば、３画素（tap）を用い、上述の式（１）にしたがい、注目画素についての垂直方向の分散ＶVを計算する。なお、水平方向の分散ＶHと垂直方向の分散ＶVとは、同一の数の画素を用いて求めることもできる。
そして、水平分散計算部５１は、注目画素についての水平方向の分散ＶHを水平ローパスフィルタ５３に供給し、垂直分散計算部５２は、注目画素についての垂直方向の分散ＶVを垂直ローパスフィルタ５４に供給する。
水平ローパスフィルタ５３は、水平分散計算部５１からの注目画素についての水平方向の分散ＶHを水平方向に平滑化する。水平ローパスフィルタ５３は、注目画素についての水平方向の分散ＶHを水平方向に平滑化することにより得られる注目画素についての水平方向の平滑化値LPF（ＶH）を、水平領域判定部５５および水平閾値決定部５７に供給する。
垂直ローパスフィルタ５４は、垂直分散計算部５２からの注目画素についての垂直方向の分散ＶVを垂直方向に平滑化する。垂直ローパスフィルタ５４は、注目画素についての垂直方向の分散ＶVを垂直方向に平滑化することにより得られる注目画素についての垂直方向の平滑化値LPF（ＶV）を、垂直領域判定部５６および垂直閾値決定部５８に供給する。
水平領域判定部５５は、図４のメモリ２１、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６（いずれも図示せず）が設けられる点で、図４の領域判定部１３と共通する。但し、水平領域判定部５５は、垂直差分計算部２３、垂直ヒストグラム計算部２５、および垂直方向領域判定部２７が設けられていない点で、図４の領域判定部１３と相違する。
そして、水平領域判定部５５は、領域判定部１３と同様に、水平ローパスフィルタ５３からの注目画素についての水平方向の平滑化値LPF（ＶH）に基づいて、画像データを構成する各画素について、画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、またはその他の領域のうちのいずれであるかを判定する水平方向の領域判定処理を行う。そして、水平領域判定部５５は、水平方向の領域判定処理を行った結果、注目画素についての水平方向の領域情報を水平閾値決定部５７に供給する。
垂直領域判定部５６は、図４のメモリ２１、垂直差分計算部２３、垂直ヒストグラム計算部２５、および垂直方向領域判定部２７（いずれも図示せず）が設けられる点で、図４の領域判定部１３と共通する。但し、垂直領域判定部５６は、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６が設けられていない点で、図４の領域判定部１３と相違する。
そして、垂直領域判定部５６は、図４の領域判定部１３と同様に、垂直ローパスフィルタ５４からの注目画素についての垂直方向の平滑化値LPF（ＶV）に基づいて、画像データを構成する各画素について、画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、またはその他の領域のうちのいずれであるかを判定する垂直方向の領域判定処理を行う。そして、垂直領域判定部５６は、垂直方向の領域判定処理を行った結果、注目画素についての垂直方向の領域情報を垂直閾値決定部５８に供給する。
水平閾値決定部５７は、図８の水平方向パラメータ選択部３１および水平方向閾値決定部３３（いずれも図示せず）が設けられる点で、図８の閾値決定部１４と共通する。但し、水平閾値決定部５７は、垂直方向パラメータ選択部３２および垂直方向閾値決定部３４が設けられていない点で、図８の閾値決定部１４と相違する。
そして、水平閾値決定部５７は、図８の閾値決定部１４と同様に、水平ローパスフィルタ５３からの注目画素についての水平方向の平滑化値LPF（ＶH）と、水平領域判定部５５からの注目画素についての水平方向の領域情報とに基づいて、注目画素についての水平方向の閾値εを決定し、水平非線形平滑化フィルタ５９に供給する。
垂直閾値決定部５８は、図８の垂直方向パラメータ選択部３２および垂直方向閾値決定部３４（いずれも図示せず）が設けられる点で、図８の閾値決定部１４と共通する。但し、垂直閾値決定部５８は、水平方向パラメータ選択部３１および水平方向閾値決定部３３が設けられていない点で、図８の閾値決定部１４と相違する。
そして、垂直閾値決定部５８は、図８の閾値決定部１４と同様に、垂直ローパスフィルタ５４からの注目画素についての垂直方向の平滑化値LPF（ＶV）と、垂直領域判定部５６からの注目画素についての垂直方向の領域情報とに基づいて、注目画素についての垂直方向の閾値εを決定し、垂直非線形平滑化フィルタ６０に供給する。
水平非線形平滑化フィルタ５９には、入力データとしての画像データが供給されるとともに、水平閾値決定部５７から注目画素についての水平方向の閾値εが供給される。水平非線形平滑化フィルタ５９は、例えば、εフィルタであり、水平閾値決定部５７からの注目画素についての水平方向の閾値εに基づく度合いで注目画素の平滑化がされるように、画像データを水平方向にフィルタリングして垂直非線形平滑化フィルタ６０に供給する。
垂直非線形平滑化フィルタ６０には、水平非線形平滑化フィルタ５９が水平方向にフィルタリングした画像データが供給されるとともに、垂直閾値決定部５８から注目画素についての垂直方向の閾値εが供給される。垂直非線形平滑化フィルタ６０は、例えば、εフィルタであり、垂直閾値決定部５８からの注目画素についての垂直方向の閾値εに基づく度合いで注目画素の平滑化がされるように、画像データを垂直方向にフィルタリングする。
以上のように、ノイズ除去装置５０では、入力データとしての画像データから、注目画素についての水平方向の分散ＶHと垂直方向の分散ＶVとがそれぞれ求められ、水平方向の分散ＶHを用いて水平方向の処理が行われ、垂直方向の分散ＶVに基づいて垂直方向の処理が行われる。
このように、水平方向の処理に水平方向の分散ＶHを用いるとともに、垂直方向の処理に垂直方向の分散ＶVを用いることにより、図１のノイズ除去装置１０のように、水平方向の処理と垂直方向の処理に同じ分散Ｖを用いる場合より、水平方向のフィルタリングに適した水平方向の閾値ε、および垂直方向のフィルタリングに適した垂直方向の閾値εを得ることができる。
例えば、細線どうしが交差する交点付近の画素においては、水平方向の分散ＶHと垂直方向の分散ＶVとが異なる傾向が高く、ノイズ除去装置５０によれば、特に、細線どうしが交差する交点付近をフィルタリングする場合、水平方向のフィルタリングに適した水平方向の閾値ε、および垂直方向のフィルタリングに適した垂直方向の閾値εで、フィルタリングすることができ、図１のノイズ除去装置１０における場合よりも、より効果的にノイズを除去することができる。
なお、ノイズ除去装置１０や５０では、注目画素についての領域情報に基づき、ノイズ除去処理のパラメータとして、εフィルタで使用される閾値εを決定するようにしたが、ノイズ除去処理のパラメータとしては、その他、例えば、ノイズ除去処理としてのフィルタリングを行うフィルタのタップ係数を求める（決定する）こともできる。
また、本実施の形態においては、ノイズ除去処理を行う非線形平滑化フィルタとして、εフィルタを用いたが、非線形平滑化フィルタには、その他のフィルタ、例えば、平滑化されるノイズのレベルを閾値で制御することができるフィルタ（以下、適宜、Ｍフィルタという）を用いることができる。なお、Ｍフィルタの詳細については、例えば、特開２００４−２８９６０７号公報に記載されている。
Ｍフィルタは、例えば、注目画素をフィルタリングするとき、注目画素を含む周辺の画素を、複数の種類のタップ係数を用いて加重平均することで複数の種類の平滑化値を求め、注目画素の画素値と加重平均に用いた画素の画素値との差分値を所定の閾値と比較した結果に基づいて、複数の種類の平滑化値に対する重みを算出し、この重みに従って複数の種類の平滑化値を合成する。このように、閾値に基づく重みに従って複数の種類の平滑化値を合成することで、Ｍフィルタでは、平滑化されるノイズのレベルを閾値で制御することができる。
このようなＭフィルタにおいて、注目画素についての領域情報に基づいて決定される閾値を用いることにより、エッジ領域、テクスチャ領域、フラット領域の各領域に応じた閾値に基づく重みに従って複数の種類の平滑化値が合成され、各領域に応じたノイズ除去処理をすることができる。
なお、ノイズ除去装置１０や５０では、例えば、MPEG方式でエンコードされた画像データがデコードされた動画像（のデータ）や、JPEG方式でエンコードされた画像データがデコードされた静止画像（のデータ）など、動画像であるか静止画像であるかを問わず、ノイズ除去処理の対象とすることができる。
次に、上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
コンピュータは、CPU（Central Processing Unit）１０１、ROM（Read Only Memory）１０２、RAM(Random Access Memory)１０３、内部バス１０４、入出力インターフェース１０５、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０を備える。
CPU１０１、ROM１０２、およびRAM１０３は、内部バス１０４を介して相互に接続されている。この内部バス１０４にはまた、入出力インターフェース１０５も接続されている。
CPU１０１は、ROM１０２に記憶されているプログラム、または、RAM１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上で必要なデータなどが適宜記憶される。
入出力インターフェース１０５には、キーボード、マウスなどよりなる入力部１０６、LCD（Liquid Crystal Display）、CRT（Cathode Ray Tube）などよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、モデム、ターミナルアダプタ、その他の通信インターフェースなどより構成される通信部１０９、およびドライブ１１０が接続されている。
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなる記録媒体１１１が適宜装着される。
CPU１０１によって実行されるプログラムは、ROM１０２や記憶部１０８に予め記憶（記録）しておくことができる。また、プログラムを記録した記録媒体１１１を、いわゆるパッケージソフトウエアとして提供することができ、プログラムは、記録媒体１１１からドライブ１１０によって読み出され、記憶部１０８にインストールされる。また、プログラムを、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、通信部１０９に無線で転送し、または、LAN(Local Area Network)やインターネットといったネットワークを介して、通信部１０９に有線で転送して提供することができ、プログラムは、通信部１０９から記憶部１０８に供給されてインストールされる。
このように構成されるコンピュータは、ユーザによって入力部１０６が操作されることにより、記憶部１０８に記憶されている画像データを出力部１０７で再生させる指令が入力されると、それに従って、ROM１０２に記憶されているプログラム、または、記憶部１０８からRAM１０３にロードされたプログラムを、CPU１０１に実行させる。
これにより、CPU１０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０１は、その処理結果としてのノイズが除去された画像データ（画像）を、入出力インターフェース１０５を介して、出力部１０７に表示させる。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。 分散計算部１１による分散Ｖの計算を説明する図である。 画像データ、分散Ｖ、および平滑化値LPF（Ｖ）の波形を模式的に示す図である。 領域判定部１３の構成例を示すブロック図である。 メモリ２１の記憶内容を示す図である。 水平ヒストグラム計算部２４で求められる変化量のヒストグラムを説明する図である。 水平方向領域判定部２６と垂直方向領域判定部２７が行う、注目画素が属する領域を判定する処理を説明する図である。 閾値決定部１４の構成例を示すブロック図である。 閾値決定曲線を示す図である。 εフィルタによるフィルタリングを説明する図である。 ノイズ除去装置１０の処理を説明するフローチャートである。 領域判定処理を説明するフローチャートである。 閾値決定処理を説明するフローチャートである。 本発明を適用したノイズ除去装置の他の実施の形態の構成例を示すブロック図である。 ノイズ除去装置を実現するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１０ ノイズ除去装置， １１ 分散計算部， １２ ローパスフィルタ，１３ 領域判定部， １４ 閾値決定部， １５ 非線形平滑フィルタ， ２１ メモリ， ２２ 水平差分計算部， ２３ 垂直差分計算部， ２４ 水平ヒストグラム計算部， ２５ 垂直ヒストグラム計算部， ２６ 水平方向領域判定部， ２７ 垂直方向領域判定部， ３１ 水平方向パラメータ選択部， ３２ 垂直方向パラメータ選択部， ３３ 水平方向閾値決定部， ３４ 垂直方向閾値決定部， １０１ CPU， １０２ ROM， １０３ RAM， １０４ 内部バス， １０５ 入出力インターフェース， １０６ 入力部， １０７ 出力部， １０８ 記憶部， １０９ 通信部， １１０ ドライブ， １１１ 記録媒体

Claims (4)

  1. 画像データを処理するデータ処理装置において、
    前記画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算手段と、
    前記分散情報を平滑化し、平滑化値を出力する平滑化手段と、
    前記画像データを構成する画素のうちの、注目している注目画素を含む、前記注目画素の周辺に位置する画素の前記平滑化値の変化量を計算する変化量計算手段と、
    前記変化量のヒストグラムを計算するヒストグラム計算手段と、
    前記ヒストグラムに基づいて、前記注目画素が属する領域を判定し、その領域を表す領域情報を出力する領域判定手段と、
    前記領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定手段と、
    前記画素ごとに決定された前記パラメータに基づき、前記画像データに前記ノイズ除去処理を施すノイズ除去手段と
    を備えることを特徴とするデータ処理装置。
  2. 前記判定手段は、前記画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のうちのいずれであるかを判定する
    ことを特徴とする請求項１に記載のデータ処理装置。
  3. 画像データを処理するデータ処理方法において、
    前記画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、
    前記分散情報を平滑化し、平滑化値を出力する平滑化ステップと、
    前記画像データを構成する画素のうちの、注目している注目画素を含む、前記注目画素の周辺に位置する画素の前記平滑化値の変化量を計算する変化量計算ステップと、
    前記変化量のヒストグラムを計算するヒストグラム計算ステップと、
    前記ヒストグラムに基づいて、前記注目画素が属する領域を判定し、その領域を表す領域情報を出力する領域判定ステップと、
    前記領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、
    前記画素ごとに決定された前記パラメータに基づき、前記画像データに前記ノイズ除去処理を施すノイズ除去ステップと
    を含むことを特徴とするデータ処理方法。
  4. 画像データを処理するデータ処理をコンピュータに実行させるプログラムにおいて、
    前記画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、
    前記分散情報を平滑化し、平滑化値を出力する平滑化ステップと、
    前記画像データを構成する画素のうちの、注目している注目画素を含む、前記注目画素の周辺に位置する画素の前記平滑化値の変化量を計算する変化量計算ステップと、
    前記変化量のヒストグラムを計算するヒストグラム計算ステップと、
    前記ヒストグラムに基づいて、前記注目画素が属する領域を判定し、その領域を表す領域情報を出力する領域判定ステップと、
    前記領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、
    前記画素ごとに決定された前記パラメータに基づき、前記画像データに前記ノイズ除去処理を施すノイズ除去ステップと
    を含むことを特徴とするプログラム。
JP2005237575A 2005-08-18 2005-08-18 データ処理装置およびデータ処理方法、並びにプログラム Expired - Fee Related JP4635779B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005237575A JP4635779B2 (ja) 2005-08-18 2005-08-18 データ処理装置およびデータ処理方法、並びにプログラム
US11/504,041 US7657114B2 (en) 2005-08-18 2006-08-15 Data processing apparatus, data processing method, and program
CNB2006101114310A CN100525382C (zh) 2005-08-18 2006-08-18 数据处理设备和数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005237575A JP4635779B2 (ja) 2005-08-18 2005-08-18 データ処理装置およびデータ処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2007053618A JP2007053618A (ja) 2007-03-01
JP4635779B2 true JP4635779B2 (ja) 2011-02-23

Family

ID=37738460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005237575A Expired - Fee Related JP4635779B2 (ja) 2005-08-18 2005-08-18 データ処理装置およびデータ処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US7657114B2 (ja)
JP (1) JP4635779B2 (ja)
CN (1) CN100525382C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9704222B2 (en) 2013-06-26 2017-07-11 Olympus Corporation Image processing apparatus

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100901354B1 (ko) * 2007-05-31 2009-06-05 주식회사 코아로직 영상의 에지 보정장치 및 그 방법
JP4967921B2 (ja) * 2007-08-10 2012-07-04 セイコーエプソン株式会社 画像処理のための装置、方法、および、プログラム
CN101605254B (zh) * 2008-06-13 2011-09-07 深圳Tcl新技术有限公司 减少视频区块效应的系统和方法
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
JP5542680B2 (ja) * 2008-10-07 2014-07-09 株式会社Ｎｔｔドコモ 画像加工装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、動画像復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
GB2468304A (en) * 2009-03-03 2010-09-08 Sharp Kk Video image processing method that smooths the jagged diagonal edges created by epsilon filtering
JP4585602B1 (ja) 2009-09-18 2010-11-24 株式会社東芝 画像処理装置、表示装置及び画像処理方法
CN102202217A (zh) * 2010-03-22 2011-09-28 北京中星微电子有限公司 一种jpeg编码方法和设备
CN102640485B (zh) * 2010-09-28 2015-09-09 松下电器（美国）知识产权公司 图像处理装置、图像处理方法及集成电路
US8879000B2 (en) * 2010-12-22 2014-11-04 Broadcom Corporation Method and system for detecting analog noise in the presence of mosquito noise
JP5834728B2 (ja) * 2011-09-30 2015-12-24 大日本印刷株式会社 雑音除去装置
JP5751184B2 (ja) * 2012-01-31 2015-07-22 Ｎｋワークス株式会社 画像処理プログラム、画像処理装置および画像処理方法
JP5399578B2 (ja) * 2012-05-16 2014-01-29 シャープ株式会社 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
JP5564553B2 (ja) * 2012-10-22 2014-07-30 Ｅｉｚｏ株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
CN105519089A (zh) * 2013-09-06 2016-04-20 夏普株式会社 图像处理装置
JP6338408B2 (ja) * 2014-03-14 2018-06-06 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2016142931A1 (en) * 2015-03-10 2016-09-15 Beamr Imaging Ltd Method and system of controlling a quality measure
US20190220956A1 (en) * 2018-01-12 2019-07-18 Megvii Technology Llc Image processing method, image processing device and nonvolatile storage medium
CN111989910B (zh) * 2018-04-12 2021-12-14 三菱电机株式会社 图像处理装置、图像处理方法和记录有图像处理程序的记录介质
CN108765312B (zh) * 2018-04-27 2021-11-02 西安科技大学 一种基于方差信息的图像去噪方法
CN110400338B (zh) * 2019-07-11 2022-02-18 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
KR20220010297A (ko) * 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 엣지 기반 샤프니스 세기 제어 회로, 이미지 센싱 장치 및 그 동작방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04188948A (ja) * 1990-11-22 1992-07-07 Canon Inc 画像処理装置
DE69230548T2 (de) * 1991-08-23 2000-06-15 Mitsubishi Denki K.K., Tokio/Tokyo Pixelinterpolationsschaltkreis und Anwendungen
JP4288805B2 (ja) * 1999-12-28 2009-07-01 ソニー株式会社 映像信号再生装置
JP4415236B2 (ja) 2000-02-07 2010-02-17 ソニー株式会社 画像処理装置及び画像処理方法
US6842538B2 (en) * 2001-03-23 2005-01-11 Shih-Jong J. Lee Automatic detection of alignment or registration marks
US6859565B2 (en) * 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
US7003173B2 (en) * 2001-06-12 2006-02-21 Sharp Laboratories Of America, Inc. Filter for combined de-ringing and edge sharpening
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
JP4042563B2 (ja) * 2002-12-27 2008-02-06 セイコーエプソン株式会社 画像ノイズの低減
JP4072491B2 (ja) * 2003-10-23 2008-04-09 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及びコンピュータ可読媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9704222B2 (en) 2013-06-26 2017-07-11 Olympus Corporation Image processing apparatus

Also Published As

Publication number Publication date
US7657114B2 (en) 2010-02-02
US20070110329A1 (en) 2007-05-17
JP2007053618A (ja) 2007-03-01
CN100525382C (zh) 2009-08-05
CN1917578A (zh) 2007-02-21

Similar Documents

Publication Publication Date Title
JP4635779B2 (ja) データ処理装置およびデータ処理方法、並びにプログラム
JP5839631B2 (ja) ブロックノイズの検出方法
JP5071721B2 (ja) 画像処理装置および方法、並びにプログラム
KR101499927B1 (ko) 불규칙성을 제거하기 위해 이미지들의 에지들을 평활화하는 시스템, 방법 및 장치
JP6101817B2 (ja) 画像高画質化装置、画像表示装置、画像高画質化方法及びコンピュータプログラム
JP4577583B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
US7747100B2 (en) Adaptive directional edge-preserving false contour filtering
US20120189208A1 (en) Image processing apparatus, image processing method, image processing program, and storage medium
JP2010517370A (ja) デジタル画像中の輪郭の低減
JP6150899B2 (ja) 画像高画質化装置、画像表示装置、画像高画質化方法及びコンピュータプログラム
JP2008278185A (ja) データ処理装置およびデータ処理方法、並びにプログラム
CN101377849A (zh) 图像处理方法与图像处理装置
JP4392582B2 (ja) 信号処理装置および信号処理方法、並びにプログラム
JP3628564B2 (ja) 帯域制限方法、フィルタ装置、および帯域制限プログラムを記録した記録媒体
JP2010211552A (ja) 画像処理方法及びコンピュータプログラム
JP5807420B2 (ja) 映像ノイズ低減装置及び映像ノイズ低減方法
US20040151397A1 (en) Smoothing processor, smoothing processing method and smoothing processing program of image data
JPH1166292A (ja) ノイズ低減装置
JPH096962A (ja) 鮮鋭度の評価方法
KR100643229B1 (ko) 디스플레이장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4635779

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees