JPWO2008105222A1 - ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム - Google Patents

ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム Download PDF

Info

Publication number
JPWO2008105222A1
JPWO2008105222A1 JP2009501160A JP2009501160A JPWO2008105222A1 JP WO2008105222 A1 JPWO2008105222 A1 JP WO2008105222A1 JP 2009501160 A JP2009501160 A JP 2009501160A JP 2009501160 A JP2009501160 A JP 2009501160A JP WO2008105222 A1 JPWO2008105222 A1 JP WO2008105222A1
Authority
JP
Japan
Prior art keywords
noise
component
frequency band
band component
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009501160A
Other languages
English (en)
Other versions
JP4858609B2 (ja
Inventor
井上 晃
晃 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009501160A priority Critical patent/JP4858609B2/ja
Publication of JPWO2008105222A1 publication Critical patent/JPWO2008105222A1/ja
Application granted granted Critical
Publication of JP4858609B2 publication Critical patent/JP4858609B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

ノイズ低減装置は、平坦領域検出部と、ノイズ成分分析部と、ノイズ成分抑圧部とを含む。平坦領域検出部は、入力画像中から平坦な領域を検出する。ノイズ成分分析部は、前記平坦領域からノイズ成分を分析する。ノイズ成分抑圧部は、ノイズ分析結果を元に入力画像からノイズ成分を抑圧する。このノイズ低減装置により、主観的な画質を損なうことなく、画像のノイズを低減する。

Description

本発明は、ノイズ低減装置に関し、特に画像のノイズを低減することにより画質を改善するノイズ低減装置に関する。なお、本出願は、日本出願番号2007−047869に基づく優先権を主張するものであり、日本出願番号2007−047869における開示内容は引用により本出願に組み込まれる。
ノイズ低減方法として大きく2つの方法がある。第1の方法は、近傍を平滑化する方法である。第2の方法は、エッジ領域を検出し、検出結果に応じて処理を分割する方法である。
第1の方法の例では、ノイズ低減装置が、入力画像データの濃度及びコントラストから、平均化する周辺画素を決定すると同時に周辺画素への重み係数を決定する。
これに関連する技術として、特開平03−054679号公報に「画像処理装置」が開示されている。この画像処理装置は、入力画像データと周辺画素データとを平均化する平均化処理部と、入力画像データの濃度及びコントラストから平均化する周辺画素を決定する平均化処理決定部と、平均化データと入力画像データとを重み付け演算する重み付け演算部と、入力画像データの濃度及びコントラストから重み付け演算係数を決定する重み付け演算係数決定部とを有する。
第2の方法の例では、画像処理装置が、入力画像を、エッジ領域と、それ以外のエッジ反転領域とに分割し、エッジ反転領域において平滑化を施した後に、エッジ領域と合成する。
これに関連する技術として、特開平09−044654号公報に「画像処理装置、画像処理方法、ノイズ除去装置及びノイズ除去方法」が開示されている。この関連技術では、A/D変換器は、A/D変換により、アナログ輝度信号をディジタル輝度信号に変換し、このディジタル輝度信号を、微分器、ヒストグラム生成器及び係数メモリに供給する。微分器は、ディジタル輝度信号の次微分値の絶対値(微分絶対値)を算出し、ヒストグラム生成器に供給する。ヒストグラム生成器は、微分絶対値のうち、所定の閾値よりも小さい微分絶対値を有するディジタル輝度信号の輝度レベルをカウントし、画面分の輝度レベルのヒストグラムを生成する。ヒストグラム平滑化器は、ヒストグラムを平滑化して、平滑化ヒストグラムを生成する。係数算出器は、平滑化ヒストグラムに基づいて、一様領域係数を算出し、その係数テーブルを係数メモリに供給する。係数メモリは、画面中の各画素位置に、一様領域係数を対応付ける。
しかし、平滑化に用いる近傍画素を重み付けするノイズ低減方法では、エッジが不連続になる場合や、画像全体が油絵風に変換される場合があり、主観的な画質を損なう場合がある。
また、エッジ領域を検出するノイズ低減方法では、エッジ画素とノイズ画素との判別を誤ってノイズを十分に除去できない場合がある。
これらの問題の原因は、いずれのノイズ低減方法においても、画像中に含まれるノイズ成分を正しく推定していないからである。
その他、関連する技術として、特開2006−060286号公報に「ブロックノイズ低減装置」が開示されている。このブロックノイズ低減装置は、画像の動きが極めて大きい画面内において、その画面内の画像の平坦な領域に対して平滑化処理を施し、ブロックノイズを低減している。平滑化処理とは、画像情報から空間周波数の高い成分を取り除くことをいう。画像の平坦な領域はもともと空間周波数の高い成分を有しないので、平滑化処理を施しても画像情報は失われない。
また、特開2006−115268号公報に「ブロックノイズ低減装置」が開示されている。このブロックノイズ低減装置は、フレーム相関判定部と、平坦領域検出部と、高周波領域検出部と、平滑化処理部と、処理領域設定部とを備える。フレーム相関判定部は、フレーム間における復号画像信号の相関の高さを判定する。平坦領域検出部は、復号画像信号の中から近隣の画素との輝度差が小さい画像領域を平坦領域として検出する。高周波領域検出部は、復号画像信号の中から高い空間周波数成分を含む画像領域を高周波領域として検出する。平滑化処理部は、所定の領域に対する復号画像信号に平滑化処理を施す。処理領域設定部は、平滑化処理部が復号画像信号に平滑化処理を施すべき画像領域を設定する。このとき、処理領域設定部は、少なくともフレーム間の相関の低いフレームにおける復号画像信号の平坦領域であって高周波領域でない領域を処理領域として設定する。
本発明の目的は、入力画像中から除去するべきノイズ成分を正しく推定し、推定されたノイズ成分を用いて画像処理することによって、画質の良い出力画像を得ることができるノイズ低減装置を提供することである。
本発明のノイズ低減装置は、画像中から平坦領域を検出し、平坦領域の座標値を出力する平坦領域検出部と、平坦領域から予め決められた特定の空間周波数成分を濾過して得られるノイズ周波数帯域成分を抽出するノイズ成分分析部と、ノイズ周波数帯域成分に応じて画像のノイズ成分を抑圧するノイズ成分抑圧部とを含む。
本発明のノイズ低減方法は、画像中から平坦領域を検出するステップと、平坦領域から予め決められた特定の空間周波数成分を濾過して得られるノイズ周波数帯域成分を抽出するステップと、ノイズ周波数帯域成分に応じて画像のノイズ成分を抑圧するステップとを含む。
本発明の記憶媒体は、画像中から平坦領域を検出するステップと、平坦領域から予め決められた特定の空間周波数成分を濾過して得られるノイズ周波数帯域成分を抽出するステップと、ノイズ周波数帯域成分に応じて画像のノイズ成分を抑圧するステップとをコンピュータに実行させるためのプログラムを格納する。
本発明のノイズ低減プログラムは、画像中から平坦領域を検出するステップと、平坦領域から予め決められた特定の空間周波数成分を濾過して得られるノイズ周波数帯域成分を抽出するステップと、ノイズ周波数帯域成分に応じて画像のノイズ成分を抑圧するステップとをコンピュータに実行させるためのプログラムである。
本発明により、直線の不連続や絵画的な不自然さを生じることなく、自然なノイズ低減画像が得られる。
図1は、本発明の第1実施形態の構成を示すブロック図である。 図2は、平坦領域とノイズ成分分析を説明するための図である。 図3は、本発明の第1実施形態の動作を示すフローチャートである。 図4は、本発明の第2実施形態の構成を示すブロック図である。 図5は、カテゴリ別の属性テーブルの例を示す図である。 図6は、本発明の第2実施形態の動作を示すフローチャートである。
以下に、本発明の第1実施形態について添付図面を参照して説明する。
図1を参照すると、本発明のノイズ低減装置は、平坦領域検出部1と、ノイズ成分分析部2と、ノイズ成分抑圧部3とを含む。
平坦領域検出部1は、入力画像中からノイズ成分を評価すべき部分領域である平坦領域を検出し、検出された平坦領域の座標値を出力する。平坦領域検出部1は、平坦度評価部11と、平坦領域座標算出部12とを含む。平坦度評価部11は、入力画像をいくつかの小領域に分割し、夫々の小領域における平坦度を評価する。平坦度評価部11は、領域内の濃淡変化の度合いを表す平坦指標Sを計算することによって、平坦度を評価する。すなわち、平坦指標Sの値が、平坦度となる。平坦領域座標算出部12は、平坦指標Sに基づいて、最も平坦な領域を探索し、発見された領域の座標を出力する。
平坦指標Sの例として、領域A内の画素値の分散を用いる方法がある。領域A内の画素値の分散を用いて算出される平坦指標SをS1とすると、S1の算出方法の例は、式(1)のように表すことができる。
Figure 2008105222
ここで、Y(x,y)は座標x,yにおける輝度値を表し、Nは領域A内の画素数を表し、mean(Y)は領域内Aの輝度平均を表す。カラー画像の場合、平坦指標Sとして、輝度値Yではなく、RGBの分散値の和を用いることもできる。なお、RGBとは、色を赤(R)・緑(G)・青(B)の3つの色の組み合わせとして表現したものである。
また、平坦度評価部11は、領域A内において、中心画素(x0,y0)と周辺画素との輝度値の差分によって、平坦指標Sを算出することもできる。中心画素(x0,y0)と周辺画素との輝度値の差分を用いて算出される平坦指標SをS2とすると、S2の算出方法の例は、式(2)のように表すことができる。
Figure 2008105222
また、平坦度評価部11は、領域A内の輝度ヒストグラムhist[i]を用いて、平坦指標Sを算出することもできる。領域A内の輝度ヒストグラムhist[i]を用いて算出される平坦指標SをS3とすると、S3の算出方法の例は、式(3)のように表すことができる。
Figure 2008105222
S3は情報エントロピーと呼ばれる指標である。平坦度評価部11は、S2とS3についても、入力がカラー画像の場合、RGB値でそれぞれ平坦指標を算出した後にR、G、Bの平坦指標の和を求め、総合的な平坦指標として良い。
平坦指標の例として述べたS1からS3は全て、濃淡変化の度合いが大きいときに計算値が大きくなる。従って、平坦領域座標算出部12は、最も平坦な領域を探索するためには、平坦指標の小さな領域を探索すれば良い。平坦領域座標算出部12は、各小領域の平坦指標に基づいて、最も平坦指標の小さな領域の座標値を平坦領域座標として出力する。
ノイズ成分分析部2は、平坦領域検出部1によって得られた平坦領域内においてノイズ成分を分析し、ノイズ特性ベクトルを抽出する。ノイズ成分分析部2は、帯域成分抽出部21と、統計量算出部22と、視覚特性重み付け部23と、ノイズ特性ベクトル保存部24とを含む。
帯域成分抽出部21は、平坦領域から予め決められたM個の周波数帯域フィルタF(m)(但し、m=1,…,M)を作用させて所定の帯域成分を抽出する。抽出された帯域成分を帯域成分ベクトルと呼ぶ。帯域成分ベクトルは、周波数だけでなく、色成分とエッジ方向別の帯域成分を含むものとする。
図2を参照して、平坦領域からのノイズ分析について説明する。
平坦領域検出部1は、入力画像4から、平坦領域41を検出する。帯域成分抽出部21は、平坦領域の画素値に予め定められた帯域成分を濾過する帯域フィルタリングを施して、いくつかの帯域成分を抽出する。帯域成分抽出部21は、平坦領域41よりも小さな分析窓42により、画素毎にフィルタリングを実行する。帯域成分抽出部21は、分析窓42を変換した2次元周波数平面43を作成する。2次元周波数平面43は、YUV色成分別の、周波数帯域の例を示す。なお、YUVとは、輝度信号(Y)と、輝度信号と青色成分の差(U)、輝度信号と赤色成分の差(V)の3つの情報で色を表す形式である。本発明のノイズ分析方法の一例は、周波数平面における特定帯域に存在する周波数成分を抽出し、抽出された周波数成分の応答値をノイズ特性として用いる方法である。
平坦領域は複数の画素からなるので、帯域成分抽出部21は、平坦領域の画素に相当する数だけ帯域成分ベクトルを取得する。ここで、L画素分の帯域成分としてV(l,m)(但し、1≦l≦L,1≦m≦M)が得られたとすると、統計量算出部22は、帯域別にL個の中で絶対値が最大の値を求め、求められた最大の絶対値を帯域成分ベクトル統計量VRとして出力する。VRの算出例を、式(4)に示す。
Figure 2008105222
視覚特性重み付け部23は、夫々の帯域に対する視覚特性を反映した重み付けを行う。重み付けは、0から1までの範囲である。例えば、視覚特性重み付け部23は、YUV色空間に分解する時には、Y成分を低減することはノイズ感だけでなく、解像度感に悪影響を与えるため、Y成分については重みを小さくする。一方、視覚特性重み付け部23は、色成分であるUV成分については、解像度感に与える影響が少ないので、重みを大きくする。また、視覚特性重み付け部23は、一定以上の高周波帯域に対しては、ノイズへの寄与が少なくなるので、重みを小さくする場合がある。また、視覚特性重み付け部23は、最適な重み付けについては、対象とする画像表示環境に依存する場合があるので、実際に複数の被験者を使った主観評価によって、重みを決定しても良い。視覚特性重み付け部23は、帯域ベクトル統計量に重み付けを施したノイズ特性ベクトルFN={fn(m):m=1,2,…,M}を出力する。視覚特性重み付け部23は、ノイズ特性ベクトルを、ノイズ特性ベクトル保存部24に保存する。
ノイズ成分抑圧部3は、ノイズ分析結果を元に入力画像からノイズ成分を抑圧する。ノイズ成分抑圧部3は、帯域成分抽出部31と、帯域抑圧ベクトル算出部32と、画素値補正部33とを含む。
帯域成分抽出部31は、入力画像を走査して注目画素の近傍領域に対して、帯域成分ベクトルを抽出する。ここで用いる帯域フィルタは、ノイズ分析に用いる帯域成分抽出部21と同じフィルタを用いるものとする。
帯域抑圧ベクトル算出部32は、注目画素における帯域成分ベクトルと、前記ノイズ特性ベクトルとを比較して、帯域抑圧ベクトルを算出する。ここでは、帯域抑圧ベクトル算出部32は、注目画素近傍における帯域成分ベクトルの値に一定の割合を乗じた値を用いて、帯域抑圧ベクトルを算出する。帯域抑圧ベクトル算出部32は、次に得られた帯域抑圧ベクトルの各要素の絶対値がノイズ特性ベクトルの要素の値を超える場合は、符号はそのままでノイズ特性ベクトルの要素に置き換える処理を行う。
帯域抑圧ベクトル算出部32における算出方法について説明する。
帯域抑圧ベクトルをG={g(m):m=1,2,…,M}で表すと、m番目の帯域における抑圧量g(m)の算出方法の例は、式(5)のように表すことができる。
Figure 2008105222
ここで、a(m)は、予め指定した任意の係数であり、特定の帯域について抑圧量を抑えるため1.0以下とする場合が多い。例えば、非常に高い周波数成分の抑圧量を抑え、中域の周波数を重点的に大きく抑圧することで、出力画像にて、より自然な質感が再現される場合がある。また、r(m)の算出例を式(6)に示す。
Figure 2008105222
r(m)は、注目画素(x,y)におけるi番目の帯域成分である。帯域抑圧ベクトル算出部32は、座標(x,y)においてフィルタF(m)と入力画像Y(x,y)とのコンボリューション演算(convolution)の結果としてr(m)を算出する。フィルタF(m)は、ノイズ成分分析に用いたフィルタと同じ帯域のフィルタであり、フィルタ係数や演算回路として同じものを用いることができる。fn(m)は、m番目の帯域に対応するノイズ特性ベクトルFNの要素である。ここでは、ノイズ特性ベクトルは、正の値である。
画素値補正部33は、注目画素値(ここではY(x,y))から帯域抑圧ベクトルG={g(m):m=1,2,…,M}を減算する。画素値補正部33の算出例を、式(7)に示す。
Figure 2008105222
一般に、ノイズ成分として高周波成分の抑圧量を大きくすればするほどノイズ低減効果は高くなるが、一方で、エッジや細かい構造物の詳細がぼやけてしまうという問題がある。本発明では、ノイズの周波数帯域成分を推定することにより、エッジ領域において必要以上の周波数成分抑圧を阻止することが可能となり、画像に応じて抑圧量が最適化されたノイズ低減処理を実現することができる。
図3を参照して、本発明の第1実施形態の動作の概要について説明する。
(1)ステップS101
平坦度評価部11は、入力画像を複数の小領域に分割し、夫々の小領域における平坦度を評価する。
(2)ステップS102
平坦領域座標算出部12は、各小領域の平坦指標を計算し、最も平坦指標の小さな領域の座標値を平坦領域座標として出力する。
(3)ステップS103
帯域成分抽出部21は、平坦領域から予め決められた個数の周波数帯域フィルタを作用させて所定の帯域成分(帯域成分ベクトル)を抽出する。
(4)ステップS104
統計量算出部22は、帯域別に帯域成分ベクトルの絶対値が最大の値を求め、求められた最大の絶対値を帯域成分ベクトル統計量として出力する。
(5)ステップS105
視覚特性重み付け部23は、夫々の帯域に対する視覚特性を反映した重み付けを行う。重み付けは、0から1までの範囲である。
(6)ステップS106
視覚特性重み付け部23は、帯域ベクトル統計量に重み付けを施したノイズ特性ベクトルを出力し、ノイズ特性ベクトル保存部24に保存する。
(7)ステップS107
帯域成分抽出部31は、入力画像を走査して、注目画素の近傍領域に対して、帯域成分ベクトルを抽出する。ここで用いる帯域フィルタは、ノイズ分析に用いる帯域成分抽出部21と同じフィルタを用いるものとする。
(8)ステップS108
帯域抑圧ベクトル算出部32は、注目画素における帯域成分ベクトルと、ノイズ特性ベクトル保存部24に保存されているノイズ特性ベクトルとを比較して、帯域抑圧ベクトルを算出する。
(9)ステップS109
画素値補正部33は、注目画素値(注目画素の画素値)から帯域抑圧ベクトルを減算し、出力画像を送出する。注目画素値(注目画素の画素値)の例として、輝度値、或いはRGB値が考えられる。
以下に、本発明の第2実施形態について図面を参照して詳細に説明する。
図4を参照すると、本発明の第2実施形態では、平坦領域検出部1は、平坦度評価部11と、平坦領域座標算出部12と、画像シーン分類部13と、画素属性範囲選択部14とを含む。
図4における平坦度評価部11の動作は、図1の平坦度評価部11と同じであり、平坦指標を算出する。画像シーン分類部13は、入力画像を、絵柄に応じていくつかのカテゴリに分類する。カテゴリの例として、ポートレート、風景、夜景、花、逆光、などがある。例えば、画像シーン分類部13は、画像中から色やテクスチャなどの特徴量を抽出し、予め保持しておいたカテゴリ別の辞書データと比較して、最も辞書データと近いカテゴリに分類する。画像シーン分類部13は、入力画像の属するカテゴリ番号zを出力する。
画素属性範囲選択部14は、予め保持しているテーブルを参照して、カテゴリ番号zに対応する属性を出力する。属性テーブルの例を図5に示す。図5においては、カテゴリに対応する属性の例として色相H、彩度S、明度V、夫々の最大値と最小値がテーブルに記載されている。平坦領域座標算出部12は、前記属性を満たす領域の内で平坦指標Sが最も小さい領域の座標を算出する。
平坦領域検出部1は、画像シーンに合わせて、探索する平坦領域を変化させることができる。例えば、夜景であれば、暗い領域のノイズを評価するのが望ましいので、平坦領域座標算出部12に明度の低い領域のみを探索するように指示することができる。同様に、ポートレートであれば、肌色を重点的に探索するのが望ましい。これらの探索範囲の動的変更は、特定の画像シーン別の属性を、画素属性範囲選択部14に予めテーブルに保持しておくことで実現できる。
図6を参照して、本発明の第2実施形態における平坦領域検出部1の動作について説明する。
(1)ステップS201
平坦度評価部11は、入力画像を複数の小領域に分割し、夫々の小領域における平坦度を評価する。
(2)ステップS202
画像シーン分類部13は、入力画像を、絵柄に応じていくつかのカテゴリに分類し、入力画像の属するカテゴリ番号を出力する。
(3)ステップS203
画素属性範囲選択部14は、予め保持しているテーブルを参照して、カテゴリ番号zに対応する属性を出力する。
(4)ステップS204
平坦領域座標算出部12は、前記属性を満たす領域の内で平坦指標が最も小さい領域の座標を算出し、最も平坦指標の小さな領域の座標値を平坦領域座標(ノイズ評価領域座標)として出力する。
ここでは、平坦領域座標算出部12は、ノイズ評価領域座標を出力し、帯域成分抽出部21に入力する。帯域成分抽出部21に続く処理は、第1実施形態と同様である。
以上のように、本発明のノイズ低減装置は、画像の絵柄のカテゴリに応じた最適なノイズ低減を実現することができる。
本発明のノイズ低減装置は、平坦領域検出部と、ノイズ成分分析部と、ノイズ成分抑圧部を含む。平坦領域検出部は、画像中から平坦領域を検出する。ノイズ成分分析部は、前記平坦領域からノイズ成分を分析する。ノイズ成分抑圧部は、ノイズ成分分析部の結果を元にノイズを抑圧する。また、ノイズ成分分析部は、周波数帯域成分を抽出する帯域成分抽出部を含む。ここでは、ノイズ成分抑圧部は、周波数帯域成分に応じて抑圧量を制御する。例えば、ノイズ成分抑圧部は、ノイズ周波数帯域成分を抑圧量の上限とする。
このとき、ノイズ成分抑圧部は、入力画像の注目画素において周辺の空間周波数成分を分析して得られる注目画素周波数帯域成分を抽出する。注目画素周波数帯域成分がノイズ周波数帯域成分以下の場合には、注目画素周波数帯域成分を抑圧量の上限とする。注目画素周波数帯域成分がノイズ周波数帯域成分よりも大きい場合には、ノイズ周波数帯域成分を抑圧量の上限とする。なお、周波数帯域成分は方向別の周波数帯域成分でも良い。また、周波数帯域成分は色成分別の周波数帯域成分でも良い。
なお、ノイズ成分分析部は、帯域成分を抽出する帯域成分抽出部と、帯域成分に視覚特性に基づいて重み付けする視覚特性重み付け部を含む場合がある。平坦領域検出部は、入力画像の絵柄のカテゴリを分類する画像シーン分類部を含む場合がある。
本発明のノイズ低減方法では、まず、画像中から平坦領域を検出し、平坦領域から予め決められた特定の空間周波数成分を濾過して得られるノイズ周波数帯域成分を抽出する。次に、ノイズ周波数帯域成分を用いて入力画像のノイズ成分を抑圧する。ここでは、ノイズ成分を抑圧する際、ノイズ周波数帯域成分に応じて抑圧量を制御する。例えば、入力画像のノイズ成分を抑圧するステップでは、ノイズ周波数帯域成分を抑圧量の上限とする。
このとき、入力画像のノイズ成分を抑圧する際に、入力画像の注目画素において周辺の空間周波数成分を分析して得られる注目画素周波数帯域成分を抽出する。注目画素周波数帯域成分がノイズ周波数帯域成分以下の場合には、注目画素周波数帯域成分を抑圧量の上限とする。注目画素周波数帯域成分がノイズ周波数帯域成分よりも大きい場合には、ノイズ周波数帯域成分を抑圧量の上限とする。なお、周波数帯域成分は方向別の周波数帯域成分でも良い。また、周波数帯域成分は色成分別の周波数帯域成分でも良い。
ノイズ周波数帯域成分を抽出する際、抽出された周波数帯域成分に対して視覚特性に基づいた重み付けする場合がある。また、画像中から平坦領域を検出する際、入力画像の絵柄のカテゴリを分類する場合がある。
本発明の効果は、直線の不連続や絵画的な不自然さを生じることなく、自然なノイズ低減画像が得られることにある。また、エッジ部分のぼやけを抑えた解像度感の高いノイズ低減画像が得られることにある。その理由は、画像中のノイズ成分を、画像に応じて正しく推定できるため、各画素における補正量を最適化することができるからである。

Claims (22)

  1. 画像中から平坦領域を検出する平坦領域検出手段と、
    前記平坦領域から予め決められた特定の空間周波数成分を濾過して得られるノイズ周波数帯域成分を抽出するノイズ成分分析手段と、
    前記ノイズ周波数帯域成分に応じて前記画像のノイズ成分を抑圧するノイズ成分抑圧手段と
    を具備する
    ノイズ低減装置。
  2. 請求の範囲1に記載のノイズ低減装置であって、
    前記平坦領域検出手段は、
    前記画像を複数の小領域に分割し夫々の小領域における平坦度を評価する平坦度評価手段と、
    前記平坦度に基づいて、最も平坦な領域を探索して該領域の座標を出力する平坦領域座標算出手段と
    を具備する
    ノイズ低減装置。
  3. 請求の範囲2に記載のノイズ低減装置であって、
    前記平坦領域検出手段は、
    前記画像を絵柄に応じたカテゴリに分類し、前記画像の属するカテゴリ番号を出力する画像シーン分類手段と、
    前記カテゴリ番号に対応する属性を出力する画素属性範囲選択手段と
    を更に具備する
    ノイズ低減装置。
  4. 請求の範囲1乃至3のいずれかに記載のノイズ低減装置であって、
    前記ノイズ成分分析手段は、
    前記平坦領域から所定の個数の周波数帯域フィルタを作用させて帯域成分ベクトルを抽出する平坦領域帯域成分抽出手段と、
    帯域別に所定の画素分の帯域成分ベクトルの中で絶対値が最大の値を求め、前記最大の絶対値を帯域成分ベクトル統計量として出力する統計量算出手段と、
    前記帯域ベクトル統計量に視覚特性を反映した重み付けを施したノイズ特性ベクトルを出力する視覚特性重み付け手段と、
    前記ノイズ特性ベクトルを格納するノイズ特性ベクトル保存手段と
    を具備する
    ノイズ低減装置。
  5. 請求の範囲4に記載のノイズ低減装置であって、
    前記ノイズ成分抑圧手段は、
    前記画像を走査して注目画素の近傍領域に対して帯域成分ベクトルを抽出する注目画素帯域成分抽出手段と、
    前記注目画素における帯域成分ベクトルと、前記ノイズ特性ベクトルとを比較して、帯域抑圧ベクトルを算出する帯域抑圧ベクトル算出手段と、
    前記注目画素の画素値から前記帯域抑圧ベクトルを減算する画素値補正手段と
    を具備する
    ノイズ低減装置。
  6. 請求の範囲1乃至5のいずれかに記載のノイズ低減装置であって、
    前記ノイズ成分抑圧手段は、前記ノイズ周波数帯域成分を抑圧量の上限とする
    ノイズ低減装置。
  7. 請求の範囲1乃至5のいずれかに記載のノイズ低減装置であって、
    前記ノイズ成分抑圧手段は、前記画像の注目画素において周辺の空間周波数成分を分析して得られる注目画素周波数帯域成分を抽出し、前記注目画素周波数帯域成分が前記ノイズ周波数帯域成分以下の場合、前記注目画素周波数帯域成分を抑圧量の上限とし、前記注目画素周波数帯域成分が前記ノイズ周波数帯域成分よりも大きい場合、前記ノイズ周波数帯域成分を抑圧量の上限とする
    ノイズ低減装置。
  8. 画像中から平坦領域を検出するステップと、
    前記平坦領域から予め決められた特定の空間周波数成分を濾過して得られるノイズ周波数帯域成分を抽出するステップと、
    前記ノイズ周波数帯域成分に応じて前記画像のノイズ成分を抑圧するステップと
    を含む
    ノイズ低減方法。
  9. 請求の範囲8記載のノイズ低減方法であって、
    前記平坦領域を検出する際、前記画像の絵柄のカテゴリを分類するステップ
    を更に含む
    ノイズ低減方法。
  10. 請求の範囲8又は9に記載のノイズ低減方法であって、
    前記ノイズ周波数帯域成分を抽出する際、前記ノイズ周波数帯域成分に対して視覚特性に基づいた重み付けするステップ
    を更に含む
    ノイズ低減方法。
  11. 請求の範囲8乃至10のいずれかに記載のノイズ低減方法であって、
    前記ノイズ成分を抑圧する際、前記ノイズ周波数帯域成分を抑圧量の上限とするステップ
    を更に含む
    ノイズ低減方法。
  12. 請求の範囲8乃至10のいずれかに記載のノイズ低減方法であって、
    前記ノイズ成分を抑圧する際、前記画像の注目画素において周辺の空間周波数成分を分析して得られる注目画素周波数帯域成分を抽出するステップと、
    前記注目画素周波数帯域成分が前記ノイズ周波数帯域成分以下の場合には、前記注目画素周波数帯域成分を抑圧量の上限とするステップと、
    前記注目画素周波数帯域成分が前記ノイズ周波数帯域成分よりも大きい場合には、前記ノイズ周波数帯域成分を抑圧量の上限とするステップと
    を更に含む
    ノイズ低減方法。
  13. 請求の範囲8乃至12のいずれかに記載のノイズ低減方法であって、
    方向別の周波数帯域成分を、前記ノイズ周波数帯域成分とするステップ
    を更に含む
    ノイズ低減方法。
  14. 請求の範囲8乃至12のいずれかに記載のノイズ低減方法であって、
    色成分別の周波数帯域成分を、前記ノイズ周波数帯域成分とするステップ
    を更に含む
    ノイズ低減方法。
  15. 画像中から平坦領域を検出するステップと、
    前記平坦領域から予め決められた特定の空間周波数成分を濾過して得られるノイズ周波数帯域成分を抽出するステップと、
    前記ノイズ周波数帯域成分に応じて前記画像のノイズ成分を抑圧するステップと
    をコンピュータに実行させるためのプログラムを格納した
    記憶媒体。
  16. 請求の範囲15記載の記憶媒体であって、
    前記平坦領域を検出する際、前記画像の絵柄のカテゴリを分類するステップ
    を更にコンピュータに実行させるためのプログラムを格納した
    記憶媒体。
  17. 請求の範囲15又は16に記載の記憶媒体であって、
    前記ノイズ周波数帯域成分を抽出する際、前記ノイズ周波数帯域成分に対して視覚特性に基づいた重み付けするステップ
    を更にコンピュータに実行させるためのプログラムを格納した
    記憶媒体。
  18. 請求の範囲15乃至17のいずれかに記載の記憶媒体であって、
    前記ノイズ成分を抑圧する際、前記ノイズ周波数帯域成分を抑圧量の上限とするステップ
    を更にコンピュータに実行させるためのプログラムを格納した
    記憶媒体。
  19. 請求の範囲15乃至17のいずれかに記載の記憶媒体であって、
    前記ノイズ成分を抑圧する際、前記画像の注目画素において周辺の空間周波数成分を分析して得られる注目画素周波数帯域成分を抽出するステップと、
    前記注目画素周波数帯域成分が前記ノイズ周波数帯域成分以下の場合には、前記注目画素周波数帯域成分を抑圧量の上限とするステップと、
    前記注目画素周波数帯域成分が前記ノイズ周波数帯域成分よりも大きい場合には、前記ノイズ周波数帯域成分を抑圧量の上限とするステップと
    を更にコンピュータに実行させるためのプログラムを格納した
    記憶媒体。
  20. 請求の範囲15乃至19のいずれかに記載の記憶媒体であって、
    方向別の周波数帯域成分を、前記ノイズ周波数帯域成分とするステップ
    を更にコンピュータに実行させるためのプログラムを格納した
    記憶媒体。
  21. 請求の範囲15乃至19のいずれかに記載の記憶媒体であって、
    色成分別の周波数帯域成分を、前記ノイズ周波数帯域成分とするステップ
    を更にコンピュータに実行させるためのプログラムを格納した
    記憶媒体。
  22. 画像中から平坦領域を検出するステップと、
    前記平坦領域から予め決められた特定の空間周波数成分を濾過して得られるノイズ周波数帯域成分を抽出するステップと、
    前記ノイズ周波数帯域成分に応じて前記画像のノイズ成分を抑圧するステップと
    をコンピュータに実行させるための
    ノイズ低減プログラム。
JP2009501160A 2007-02-27 2008-02-04 ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム Expired - Fee Related JP4858609B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009501160A JP4858609B2 (ja) 2007-02-27 2008-02-04 ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007047869 2007-02-27
JP2007047869 2007-02-27
PCT/JP2008/051739 WO2008105222A1 (ja) 2007-02-27 2008-02-04 ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
JP2009501160A JP4858609B2 (ja) 2007-02-27 2008-02-04 ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム

Publications (2)

Publication Number Publication Date
JPWO2008105222A1 true JPWO2008105222A1 (ja) 2010-06-03
JP4858609B2 JP4858609B2 (ja) 2012-01-18

Family

ID=39721060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009501160A Expired - Fee Related JP4858609B2 (ja) 2007-02-27 2008-02-04 ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム

Country Status (3)

Country Link
US (1) US8532428B2 (ja)
JP (1) JP4858609B2 (ja)
WO (1) WO2008105222A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5245715B2 (ja) * 2008-09-30 2013-07-24 Nkワークス株式会社 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置
CN101909145B (zh) * 2009-06-05 2012-03-28 鸿富锦精密工业(深圳)有限公司 影像杂讯过滤系统及方法
KR20110066011A (ko) * 2009-12-10 2011-06-16 한국전자통신연구원 이미지 특성 추출을 이용한 유사 쉐이더 검색장치 및 방법
US8634766B2 (en) 2010-02-16 2014-01-21 Andrew Llc Gain measurement and monitoring for wireless communication systems
US8879000B2 (en) * 2010-12-22 2014-11-04 Broadcom Corporation Method and system for detecting analog noise in the presence of mosquito noise
US8675971B2 (en) * 2011-03-25 2014-03-18 Aptina Imaging Corporation Method and apparatus for classifying image pixels
ITVI20110336A1 (it) 2011-12-23 2013-06-24 St Microelectronics Srl Correzione di difetti in un array di filtri a colori
JP5939962B2 (ja) * 2012-11-19 2016-06-29 株式会社Pfu 画像処理装置、画像処理方法及びコンピュータプログラム
JP6188448B2 (ja) * 2013-06-26 2017-08-30 オリンパス株式会社 画像処理装置
JP6326768B2 (ja) * 2013-11-12 2018-05-23 株式会社リコー 画像検査装置、画像検査システム及び画像検査方法
WO2018092715A1 (ja) * 2016-11-17 2018-05-24 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
US10475164B2 (en) * 2017-09-12 2019-11-12 Qualcomm Incorporated Artifact detection in a contrast enhanced output image
TWI827725B (zh) * 2018-12-07 2024-01-01 日商索尼半導體解決方案公司 圖像處理裝置及圖像處理方法
CN110136085B (zh) * 2019-05-17 2022-03-29 凌云光技术股份有限公司 一种图像的降噪方法及装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0495490B1 (en) * 1991-01-17 1998-05-27 Mitsubishi Denki Kabushiki Kaisha Video signal encoding apparatus
JPH08237669A (ja) * 1995-02-28 1996-09-13 Sony Corp 画像信号処理装置、画像信号処理方法および画像信号復号化装置
JP2000333171A (ja) * 1999-05-12 2000-11-30 Neucore Technol Inc 画像処理装置
US6937772B2 (en) * 2000-12-20 2005-08-30 Eastman Kodak Company Multiresolution based method for removing noise from digital images
JP3641214B2 (ja) * 2001-02-28 2005-04-20 株式会社東芝 動画像符号化装置および動画像符号化方法
CN1228732C (zh) * 2002-01-23 2005-11-23 佳能株式会社 轮廓校正装置、轮廓校正方法
JP3861808B2 (ja) * 2002-12-25 2006-12-27 ソニー株式会社 撮像装置
JP4411879B2 (ja) * 2003-07-01 2010-02-10 株式会社ニコン 信号処理装置、信号処理プログラム、および電子カメラ
JP2005109991A (ja) * 2003-09-30 2005-04-21 Canon Inc 信号処理方法及び装置、撮像装置
JP2005142832A (ja) * 2003-11-06 2005-06-02 Canon Inc 輪郭補正回路及び撮像装置
JP4274426B2 (ja) 2004-03-23 2009-06-10 富士フイルム株式会社 画像処理方法および装置並びにプログラム
JP4402994B2 (ja) * 2004-03-23 2010-01-20 富士フイルム株式会社 画像処理方法および装置並びにプログラム
JP2006060286A (ja) 2004-08-17 2006-03-02 Matsushita Electric Ind Co Ltd ブロックノイズ低減方法及びブロックノイズ低減装置
JP2006086851A (ja) * 2004-09-16 2006-03-30 Canon Inc 撮像装置
JP2006087030A (ja) * 2004-09-17 2006-03-30 Olympus Corp ノイズ低減装置
JP5044886B2 (ja) 2004-10-15 2012-10-10 パナソニック株式会社 ブロックノイズ低減装置および画像表示装置
EP1681849B1 (en) * 2005-01-18 2011-10-19 LG Electronics, Inc. Apparatus for removing noise from a video signal
JP2007011926A (ja) * 2005-07-04 2007-01-18 Fujifilm Holdings Corp 画像処理方法および装置並びにプログラム
US7787541B2 (en) * 2005-10-05 2010-08-31 Texas Instruments Incorporated Dynamic pre-filter control with subjective noise detector for video compression
CN101123682B (zh) * 2006-08-11 2011-06-22 松下电器产业株式会社 可减少图像振铃噪声的方法、装置及集成电路
US8059207B2 (en) * 2007-02-23 2011-11-15 Samsung Electronics Co., Ltd. System and method for video noise reduction using an adaptive temporal method with motion detection and motion compensation
US20100201880A1 (en) * 2007-04-13 2010-08-12 Pioneer Corporation Shot size identifying apparatus and method, electronic apparatus, and computer program
US7876957B2 (en) * 2007-05-31 2011-01-25 Aptina Imaging Corporation Methods and apparatuses that reduce noise in image signals
JP4908440B2 (ja) * 2008-03-06 2012-04-04 株式会社東芝 画像処理装置及び方法
EP2178289B1 (en) * 2008-10-14 2012-06-27 Sony Corporation Method and unit for motion detection based on a difference histogram
US7983511B1 (en) * 2010-11-29 2011-07-19 Adobe Systems Incorporated Methods and apparatus for noise reduction in digital images

Also Published As

Publication number Publication date
WO2008105222A1 (ja) 2008-09-04
US8532428B2 (en) 2013-09-10
JP4858609B2 (ja) 2012-01-18
US20100119163A1 (en) 2010-05-13

Similar Documents

Publication Publication Date Title
JP4858609B2 (ja) ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
US9569827B2 (en) Image processing apparatus and method, and program
US8248492B2 (en) Edge preserving and tone correcting image processing apparatus and method
US8411991B2 (en) Image processing apparatus, image processing method, and program
JP4210577B2 (ja) 選択的空間フィルタを使用するディジタル画像の階調及び空間特性の向上方法
JP4558806B2 (ja) 視覚処理装置、視覚処理方法、プログラム、表示装置および集積回路
US8831346B2 (en) Image processing apparatus and method, and program
CN106846270B (zh) 一种图像边缘增强方法及装置
Lee et al. A space-variant luminance map based color image enhancement
JP5144202B2 (ja) 画像処理装置およびプログラム
US7755670B2 (en) Tone-conversion device for image, program, electronic camera, and tone-conversion method
WO2013168618A1 (ja) 画像処理装置及び画像処理方法
JP5121294B2 (ja) 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路
US20110285871A1 (en) Image processing apparatus, image processing method, and computer-readable medium
WO2011033619A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体
JP2010218110A (ja) ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
US20130022288A1 (en) Image processing apparatus and method for reducing edge-induced artefacts
JP2010503056A (ja) 画像の強調の方法及び装置
JP2004310475A (ja) 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム
JPH0630308A (ja) 画像データ処理装置
JP2002140700A (ja) カラー画像処理方法および処理装置
CN112837230B (zh) 图像处理装置、图像处理方法和计算机可读介质
CN113808038A (zh) 图像处理方法、介质及电子设备
KR100821939B1 (ko) 영상 잡음 제거 장치 및 방법
JP2004289607A (ja) 信号処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111017

R150 Certificate of patent or registration of utility model

Ref document number: 4858609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees