JP4456096B2 - ノイズ除去方法および装置並びにプログラム - Google Patents

Description

本発明は被写体を撮像して得たデジタル画像に対して、画質を向上させる処理、具体的には、ノイズ成分を抑制する処理を行うノイズ除去方法および装置並びにそのためのプログラムに関するものである。

人物の顔を含む写真画像（以下略して単に画像という）からノイズを抑制、除去する処理が従来行われている。例えば、ノイズ除去に通常用いられるローパスフィルタ（ＬＰＦ）を適用することができる。しかし、ＬＰＦは、画像からノイズ成分を抑制することができる一方、画像信号中のエッジ部分を劣化させてしまい、画像全体をぼかしてしまうという欠点がある。

また、ノイズ成分の多くが、画像の高周波数成分に小振幅の信号として存在することを利用して、画像中の小振幅の高周波ノイズ成分を分離し抑制するために考案されたε−フィルタ（ε−分離非線形デジタルフィルタ）をノイズの除去に適用することも行われている（非特許文献１）。ε−フィルタは、画像信号中の小振幅のレベル変化のみを平坦化する特性を有しているため、ε―フィルタを用いて処理した画像は、急峻なレベル変化を有するエッジが保存され、全体のキレが殆ど損なわれない。

ε−フィルタは、基本的に、振幅のレベルの変化量に対して非線形関数を適用して得た値を元の画像信号から減算するように作用するものである。この非線形関数は、信号の振幅が所定の閾値（ε０）より大きいとき、出力を０とする関数である。すなわち、ε−フィルタを適用した場合、画像中の、振幅が前述閾値より大きい部位では、非線形関数の出力が０であり、処理後の画像においては、その部位の元の信号が保持される一方、振幅が前述閾値以下の部位では、処理後の画像においては、その部位の信号値が元の信号値から非線形関数の出力（その絶対値が０より大きい）を引いた値になる。こうすることによって、明暗変化が平滑され、ノイズを目立たなくさせることができると共に、振幅の大きいエッジ部分を保持することができる。

また、従来より、画像中の複数の異なる周波数帯域の信号を抽出する技術が提案されている。例えば、特許文献１には、原画像に基づいて、互いに周波数応答特性が異なる複数のボケマスク画像（非鮮鋭マスク画像）を作成し、原画像およびこれらの複数の非鮮鋭マスク画像、またはこれらの複数の非鮮鋭マスク画像に基づいて原画像の複数の異なる周波数帯域の信号を夫々表す複数の帯域制限画像を作成する方法が記載されている。また、特許文献２には、非鮮鋭マスク画像を作成する際の計算量を軽減し、効率良く非鮮鋭マスク画像を作成する方法が記載されている。
特開平１０−７５３９５号公報 特開平９−１５３１３２号公報 荒川ほか、「ベクトルε−フィルタによるカラー顔画像処理−皺成分の除去」１９９８年３月電子情報通信学会総合大会予稿集、Ｄ−１１−４３、ＰＰ１４３−

しかしながら、ノイズの成分は、高周波数帯域に多く存在するものの、高い周波数帯域から低い周波数帯域までの各々の周波数帯域に亘って存在するものである。上述したε−フィルタを利用した処理方法は、１つの周波数帯域のみにおいてノイズの成分を抽出して原画像から抽出された成分を減算するようにしているため、ノイズの成分を消し切ることができない。また、１つの周波数帯域でノイズの成分を抽出する前述の方法は、ノイズを除去する効果を良くするためには、この１つの周波数帯域でフィルタリングを強める、すなわち前述したノイズを抽出するための閾値ε０を大きくするしかないため、アーチファクトが発生し易く、処理後の画像の画質が良くないという問題がある。

本発明は、上記事情に鑑み、ノイズを効果的に除去すると共に、画質の良い処理済み画像を得ることができるノイズ除去方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明のノイズ除去方法は、被写体を撮像して得たデジタル画像に基づいて、該デジタル画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成し、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像を得、
所定の減算係数を前記複数の変換画像の画素値に乗算し、
前記デジタル画像の画素値から、前記減算係数が乗算された前記複数の変換画像の画素値を減算して処理済み画像の画素値を得ることを特徴とするものである。

また、前記所定の減算係数は、前記デジタル画像の各画素に対して同じものを用いてもよいが、前記デジタル画像の画素値に応じて決められたものであることが好ましい。

画像において、ノイズは、画像中の暗い部分（すなわち輝度値が小さい部分）に多く発生するため、画素値が大きいほど小さい（逆に画素値が小さいほど大きい）減算係数を用いるようにすると、ノイズ除去効果を高めることができる。

また、前記非線形変換処理は、絶対値が前記所定の閾値より大きい入力値に対して、出力値の絶対値がほぼ一定となる処理であることが好ましい。

また、前記所定の閾値は、処理する前記帯域制限画像の周波数帯域に応じて決められたものであることが好ましい。

本発明のノイズ除去装置は、被写体を撮像して得たデジタル画像に基づいて、該デジタル画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成する帯域制限画像作成手段と、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像を得る非線形変換手段と、
所定の減算係数を前記複数の変換画像の画素値に乗算すると共に、前記デジタル画像の画素値から、前記減算係数が乗算された前記複数の変換画像の画素値を減算して処理済み画像の画素値を得る周波数抑制手段とを有してなることを特徴とするものである。

ここで、前記所定の減算係数が、前記デジタル画像の画素値に応じて決められたものであることが好ましい。

また、前記非線形変換手段は、絶対値が前記所定の閾値より大きい入力値に対して、出力値の絶対値がほぼ一定となるように処理するものであることが好ましい。

また、前記非線形手段に用いられる前記所定の閾値は、処理する前記帯域制限画像の周波数帯域に応じて決められたものであることが好ましい。

本発明のプログラムは、本発明のノイズ除去方法をコンピュータに実行させるものである。

本発明のノイズ除去方法および装置並びにそのためのプログラムは、処理対象となる被写体を撮像して得たデジタル画像に基づいて作成されたこのデジタル画像の複数の異なる周波数帯域ごとの成分を表す複数の帯域制限画像に対して非線形変換処理を施して複数の変換画像を得る。この非線形変換処理は、出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下の入力値に対しては、入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が所定の閾値より大きい入力値に対しては、出力値の絶対値がこの所定の閾値に対応する出力値の絶対値以下となる処理である。この非線形変換処理により得られた変換画像が、当該変換画像が対応する周波数帯域におけるノイズの振幅の小さい成分を表すものである。本発明は、この複数の変換画像の画素値に所定の減算係数を乗算して、元のデジタル画像の画素値から減算して処理済み画像の画素値を得るようにしているので、デジタル画像から複数の周波数帯域におけるノイズの成分を効果的に除去することができる。

また、１つの周波数帯域におけるノイズの成分を抽出する従来の処理技術では、効果を上げるために、この１つの周波数帯域における非線形処理を強める（すなわち、ノイズの成分を抽出するための閾値を大きくする）必要があり、処理済み画像にはアーチファクトが発生し、画質低下という問題があった。それに対して、本発明は、複数の周波数帯域からノイズの成分を除去するようにし、個々の周波数帯域における非線形処理をそれほど強めなくても良いノイズ除去効果を得ることができるので、アーチファクトの発生を防ぎ、画質の良い処理済み画像を得ることができる。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の実施形態となるノイズ除去装置の構成を示すブロック図である。なお、本実施形態のノイズ除去装置は、入力されたデジタル画像に対してノイズ除去を行うものであり、補助記憶装置に読み込まれたノイズ除去プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このノイズ除去プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

また、画像データは画像を表すものであるため、以下、特に画像と画像データの区別をせずに説明を行う。

図１に示すように、本実施形態のノイズ除去装置は、原画像Ｓ０の互いに周波数応答特性が異なる複数のボケ画像Ｓ１、Ｓ２、・・・Ｓｎ（ｎ：２以上の整数）を作成するボケ画像作成手段１０と、原画像Ｓ０およびボケ画像Ｓ１、Ｓ２、・・・Ｓｎを用いて複数の帯域制限画像Ｔ１、Ｔ２、・・・Ｔｎを作成する帯域制限画像作成手段２０と、帯域制限画像Ｔ１、Ｔ２、・・・Ｔｎに対して非線形変換処理を夫々施して各帯域制限画像が対応する周波数帯域におけるノイズ成分Ｑ１、Ｑ２、・・・Ｑｎを抽出するノイズ成分抽出手段３０と、原画像Ｓ０からノイズ成分を除去してノイズ除去済み画像Ｓ´０（Ｙ１）を得るノイズ成分除去手段４０とを有し、これらの手段が輝度空間において処理を行うものであるため、本実施形態のノイズ除去装置は、入力された画像Ｄ０（Ｒ０，Ｇ０，Ｂ０）に対してＹＣＣ変換を行って画像Ｄ０の輝度Ｙ０（これらの輝度成分Ｙ０により前述した原画像Ｓ０が構成される）、色差Ｃｂ０、Ｃｒ０を得るＹＣＣ変換手段１と、ノイズ成分除去手段４０により得られたノイズ除去済み画像Ｓ´０の画素値Ｙ１、およびＹＣＣ変換手段１により得られた色差Ｃｂ０、Ｃｒ０とから構成される画像を処理済み画像Ｄ１（Ｙ１，Ｃｂ０，Ｃｒ０）として出力する出力手段５０とも有する。以下、本実施形態の各構成の詳細について説明する。

ＹＣＣ変換手段１は、下記の式（１）に従って、画像データＤ０のＲ、Ｇ、Ｂ値を輝度値Ｙ、色差値Ｃｂ、Ｃｒに変換する。

Ｙ＝０．２９９０×Ｒ＋０．５８７０×Ｇ＋０．１１４０×Ｂ
Ｃｂ＝−０．１６８７×Ｒ−０．３３１３×Ｇ＋０．５０００×Ｂ＋１２８ （１）
Ｃｒ＝０．５０００×Ｒ−０．４１８７×Ｇ−０．０８１３×Ｂ＋１２８

ボケ画像作成手段１０は、ＹＣＣ変換手段１により得られた輝度値Ｙ０を用いて、複数のボケ画像を作成する。図２は、ボケ画像作成手段１０の構成を示すブロック図である。本実施形態のノイズ除去装置において、ボケ画像作成手段１０は、特許文献２および特許文献３に記載の方法でボケ画像を作成するものである。図示のように、ボケ画像作成手段１０は、フィルタリング処理を行ってフィルタリング画像Ｂ１、Ｂ２、・・・Ｂｎを得るフィルタリング手段１２と、各フィルタリング画像に対して補間処理を行う補間手段１４と、フィルタリング手段１２および補間手段１４を制御する制御手段１６とを有してなるものである。フィルタリング手段１２は、ローパスフィルタを用いてフィルタリング処理を行うものであり、このローパスフィルタとしては、例えば図３に示すような５×１のグリッド状の１次元ガウス分布に略対応したフィルタＦを用いることができる。このフィルタＦは下記の式（２）において、σ＝１としたものである。

フィルタリング手段１２は、このようなフィルタＦを用いて処理対象となる画像に対して画素のｘ方向およびｙ方向に対してフィルタリング処理を施すことにより処理対象の画像の全体のフィルタリング処理を行う。

図４は、ボケ画像作成手段１０の制御手段１６が、フィルタリング手段１２と補間手段１４に行わせる処理の詳細を示している。図示のように、フィルタリング手段１２は、まず、原画像Ｓ０（Ｙ０）に対して、図３に示すフィルタＦを用いて１画素おきにフィルタリング処理を行う。このフィルタリング処理によってフィルタリング画像Ｂ１（Ｙ１）が得られる。フィルタリング画像Ｂ１のサイズは、原画像Ｓ０のサイズの１／４（ｘ方向、ｙ方向に夫々１／２）となっている。次いで、フィルタリング手段１２は、フィルタリング画像Ｂ１（Ｙ１）に対しても１画素おきにフィルタＦによるフィルタリング処理を施し、フィルタリング画像Ｂ２（Ｙ２）を得る。フィルタリング手段１２は、このようなフィルタＦによるフィルタリング処理を繰り返し、ｎ個のフィルタリング画像Ｂｋ（ｋ＝１〜ｎ）を得る。フィルタリング画像Ｂｋのサイズは、原画像Ｓ０のサイズの１／２^２Ｋとなっている。図５は、例としてｎ＝３としたときに、フィルタリング手段１２により得られた各フィルタリング画像Ｂｋの周波数特性を示している。図示のように、フィルタリング画像Ｂｋのレスポンスはｋが大きいほど高周波成分が除去されたものとなっている。

なお、本実施形態のノイズ除去装置において、フィルタリング手段１２は、図３に示すフィルタＦにより画像のｘ方向およびｙ方向に対してフィルタリング処理を施すようにしているが、図６に示すような５×５の２次元フィルタにより原画像Ｓ０およびフィルタリング画像Ｂｋに対して一度にフィルタリング処理を施すようにしてもよい。

補間手段１４は、フィルタリング手段１２により得られた各フィルタリング画像Ｂｋに対して補間処理を行って、夫々のフィルタリング画像Ｂｋのサイズを原画像Ｓ０と同じようにする。補間処理の方法は、Ｂスプラインによる方法など種々挙げられるが、本実施形態においては、フィルタリング手段１２は、ローパスフィルタとしてガウス信号に基づくフィルタＦを用いているため、補間手段１４は、補間処理の補間演算を行うための補間係数としてもガウス信号を用いるものであり、この補間係数は、下記の式（３）において、σ＝２^Ｋ−１と近似したものである。

フィルタリング画像Ｂ１を補間する際に、ｋ＝１であるため、σ＝１となる。上記式（３）においてσ＝１としたときの補間を行うためのフィルタは、図７に示すような５×１の１次元フィルタＦ１となる。補間手段１４は、まず、フィルタリング画像Ｂ１に対して１画素おきに値が０の画素を１ずつ補間することによりフィルタリング画像Ｂ１を原画像Ｓ０と同じサイズに拡大し、次いで拡大された画像に対して図７に示すフィルタＦ１によりフィルタリング処理を施してボケ画像Ｓ１を得る。このボケ画像Ｓ１は、原画像Ｓ０と同じ画素数、すなわち原画像Ｓ０と同じサイズを有する。

ここで、図７に示すフィルタＦ１は５×１のフィルタであるが、フィルタＦ１を適用する前にフィルタリング画像Ｂ１に対して１画素おきに値が０である画素を補間しているので、補間手段１４による補間処理は、実質的には２×１のフィルタ（０．５，０．５）および３×１のフィルタ（０．１，０．８，０．１）の２種類のフィルタによるフィルタ処理と等価である。

補間手段１４は、フィルタリング画像Ｂ２に対して補間を行う際に、ｋ＝２であるため、σ＝２である。上記の式（３）において、σ＝２に対応するフィルタは、図８に示す１１×１の１次元フィルタＦ２となる。補間手段１４は、まず、フィルタリング画像Ｂ２に対して１画素おきに値が０である画素を３つずつ補間することによりフィルタリング画像Ｂ２を原画像Ｓ０と同じサイズに拡大し、次いで拡大された画像に対して図８に示すフィルタＦ２によりフィルタリング処理を施してボケ画像Ｓ２を得る。ボケ画像Ｓ２は、原画像Ｓ０と同じ画素数、すなわち原画像Ｓ０と同じサイズを有する。

同じように、図８に示すフィルタＦ２は１１×１のフィルタであるが、フィルタＦ２を適用する前にフィルタリング画像Ｂ２に対して１画素おきに値が０である画素を３つずつ補間しているので、補間手段１４による補間処理は、実質的には２×１のフィルタ（０．５，０．５）および３×１のフィルタ（０．３，０．６５，０．０５）、（０．３，０．７４，０．１３）、（０．０５，０．６５，０．３）の４種類のフィルタによるフィルタ処理と等価である。

補間手段１４は、このように各フィルタリング画像Ｂｋに対して夫々、１画素おきに値が０である画素を（２^Ｋ−１）個ずつ補間することにより、フィルタリング画像Ｂｋを原画像Ｓ０と同じサイズに拡大し、そして値が０である画素が補間されたフィルタリング画像Ｂｋに対して、上記の式（３）に基づいて作成された長さが（３×２^Ｋ−１）であるフィルタによるフィルタリング処理を施してボケ画像Ｓｋを得る。

図９は、例としてｎ＝３としたときに、ボケ画像作成手段１０により得られた各ボケ画像Ｓｋの周波数特性を示している。図示のように、ボケ画像Ｓｋは、ｋが大きいほど、原画像Ｓ０の高周波成分が除去されたものとなっている。

帯域制限画像作成手段２０は、ボケ画像作成手段１０により得られた各ボケ画像Ｓ１，Ｓ２，・・・Ｓｎを用いて、下記の式（４）に従って原画像Ｓ０の複数の周波数帯域毎の成分を表す帯域制限画像Ｔ１，Ｔ２，・・・Ｔｎを作成する。

Ｔｍ＝Ｓ（ｍ−１）−Ｓｍ （４）
但し，ｍ：１以上ｎ以下の整数

図１０は、例としてｎ＝３としたときに、帯域制限画像作成手段２０により得られた各帯域制限画像Ｔｍの周波数特性を示している。図示のように、帯域制限画像Ｔｍは、ｍが大きいほど、原画像Ｓ０の低周波数領域における成分を表すものとなっている。

ノイズ成分抽出手段３０は、帯域制限画像作成手段２０により得られた各帯域制限画像Ｔｍ（ｍ＝１〜ｎ）に対して非線形変換を行って夫々の帯域制限画像Ｔｍが対応する周波数帯域におけるノイズ成分Ｑ１，Ｑ２，・・・，Ｑｎを抽出するものである。この非線形変換は、出力値を入力値以下にする処理であって、かつ所定の閾値以下の入力値に対しては、該入力値が大きいほど出力値が大きくなる一方、前記所定の閾値より大きい入力値に対しては、出力値が前記所定の閾値に対応する出力値以下となる処理であって、本実施形態においては、図１１に示すような関数ｆにより行われるものである。なお、図中破線は、出力値＝入力値、すなわち傾きが１となる関数を示すものである。図示のように、本実施形態のノイズ成分抽出手段３０に用いられる非線形変換の関数ｆは、入力値の絶対値が第１の閾値Ｔｈ１より小さいときは傾きが１であり、入力値の絶対値が第１の閾値以上かつ第２の閾値Ｔｈ２以下であるときは傾きが１より小さくなり、入力値の絶対値が第２の閾値Ｔｈ２より大きいときは、出力値がその絶対値が入力値の絶対値より小さい一定の値Ｍとなる関数である。なお、この関数ｆは、各帯域制限画像に対して同じものであってもよいが、各帯域制限画像に対して異なるものであってもよい。

ノイズ成分抽出手段３０は、各帯域制限画像の輝度値を入力値とし、図１１に示す非線形変換の関数ｆを用いて各帯域制限画像に対して非線形変換を行って、出力値の輝度値により構成された、各帯域制限画像が対応する周波数帯域におけるノイズ成分Ｑｍ（ｍ＝１〜ｎ）を抽出する。

ノイズ成分除去手段４０は、ノイズ成分抽出手段３０により抽出された各ノイズ成分Ｑｍに対して減算係数βを乗算し、原画像Ｓ０（Ｙ０）から、減算係数を乗算されたシワ成分Ｑｍを減算してノイズ除去済み画像Ｓ´０（Ｙ１）を得る。下記の式（５）は、ノイズ成分除去手段４０により行われる処理を示している。

ここで、減算係数βは、β（Ｓ０）であり、すなわち、原画像Ｓ０の画素の輝度値Ｙ０に応じて決められたものであり、具体的には、輝度値Ｙ０が大きい画素ほど、この画素の画素値Ｙ１を求める際に用いられる減算係数βの値が小さくなるものである。

出力手段５０は、ノイズ成分除去手段４０により得られた輝度値Ｙ１と、ＹＣＣ変換手段１により得られた画像Ｄ０の色差値Ｃｂ０、Ｃｒ０とに構成される画像（Ｙ１，Ｃｒ０，Ｃｂ０）を処理済み画像Ｄ１として出力する。

このように、本実施形態のノイズ除去装置は、原画像Ｓ０（Ｙ０）の複数の異なる周波数帯域ごとの成分を表す複数の帯域制限画像Ｔｍ（ｍ＝１〜ｎ，ｎ≧２）を作成し、これらの帯域制限画像に対して非線形変換処理を施して複数の変換画像（ノイズ成分）を得る。そして、これらの複数の変換画像の画素値に対して、原画像Ｓ０の輝度値に応じて決められた減算係数βを乗算して、原画像Ｓ０の画素値（輝度値Ｙ０）から減算して処理済み画像の画素値（輝度値Ｙ１）を得るようにすることによって、写真画像の複数の周波数帯域におけるノイズ成分を効果的に除去することができる。また、複数の周波数帯域においてノイズ成分の除去を行うようにしているので、従来技術のように只１つの周波数帯域においてノイズ成分の除去を強めることに起因するアーチファクトの発生を防ぐことができ、処理画像の高画質化を図ることができる。

以上、本発明の望ましい実施形態について説明したが、本発明のノイズ除去方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。

例えば、本実施形態のノイズ除去装置において、帯域制限画像作成手段２０は、原画像Ｓ０およびボケ画像Ｓｋ（ｋ＝１〜ｎ，ｎ≧２）を用いて上記式（４）に従って帯域制限画像を得るようにするものであり、帯域制限画像作成手段２０、ノイズ成分抽出手段３０、およびノイズ成分除去手段４０において行われる処理を下記の式（６）により表すことができるが、例えば、下記の式（７）または式（８）または式（９）により、帯域制限画像作成手段、ノイズ成分抽出手段、およびノイズ成分除去手段４０の処理を行うようにしてもよい。すなわち、式（６）により表される本実施形態のノイズ除去装置における処理のように、原画像および各ボケ画像を用いて、互いに隣接する周波数帯域の画像（原画像Ｓ０はボケ画像Ｓ１と周波数帯域が隣接するものとする）の減算を行って帯域制限画像を得るようにしてもよいが、式（７）に示すように、全てのボケ画像と、原画像との減算により帯域制限画像を得るようにしてもよく、または式（８）に示すように、原画像を用いず互いに隣接する周波数帯域のボケ画像の減算を行って帯域制限画像を得るようにしてもよく、または式（９）に示すように、原画像を用いず、ボケ画像Ｓ１と、ボケ画像Ｓ１を除いた全てのボケ画像Ｓｍ（ｍ＝２〜ｎ，ｎ≧３）との減算により帯域制限画像を得るようにしてもよい。

また、帯域制限画像を作成する方法も、上述した式（４）、式（６）〜（９）により表される方法のように、原画像のボケ画像を作成し、原画像および／またはボケ画像を用いて作成する方法に限らず、原画像の複数の異なる周波数帯域の成分を表す画像を作成することができれば、いかなる方法を用いてもよい。

また、本実施形態においては、画像全体に対して処理を行うようにしているが、部分に対してのみノイズ除去処理を行うようにしてもよい。こうすることによって、計算量を減少させることができる。

また、帯域制限画像に対して非線形変換を行う際の閾値Ｔｈ、特にＴｈ２を被写体の情報に応じて変えるようにしてもよい。なお、被写体の情報は、認識処理や、タグ情報の参照によって取得するようにしてもよく、操作者の手動入力により取得するようにしてもよい。

また、被写体の情報に限らず、ユーザ希望のノイズ除去効果の強弱に応じて減算係数や、非線形変換の閾値などのパラメータを変えるようにしてもよい。

さらに、遺影用や、結婚式用や、自動撮影プリント装置（所謂プリクラ）用など、写真画像の用途に応じて前述したパラメータを変えるようにしてもよい。

また、本実施形態のノイズ除去装置は、輝度空間においてのみノイズ成分の除去を行っているが、例えば、Ｒ、Ｇ、Ｂ成分の全てに対して行うようにして、色のノイズ成分も除去するようにしてもよい。

本発明の実施形態となるノイズ除去装置の構成を示すブロック図 図１に示すノイズ除去装置におけるボケ画像作成手段１０の構成を示すブロック図 図２に示すボケ画像作成手段１０におけるフィルタリング手段１２が用いる１次元フィルタＦの例を示す図 図２に示すボケ画像作成手段１０において行われる処理を示す図 図２に示すボケ画像作成手段１０におけるフィルタリング手段１２により作成されたフィルタリング画像Ｂｋの周波数特性を示す図 図２に示すボケ画像作成手段１０におけるフィルタリング手段１２が用いる２次元フィルタの例を示す図 図２に示すボケ画像作成手段１０における補間手段１４がフィルタリング画像Ｂ１の補間に用いるフィルタＦ１の例を示す図 図２に示すボケ画像作成手段１０における補間手段１４がフィルタリング画像Ｂ２の補間に用いるフィルタＦ２の例を示す図 図２に示すボケ画像作成手段１０により作成されたボケ画像Ｓｋの周波数特性を示す図 図１に示す本発明の実施形態のノイズ除去装置における帯域制限画像作成手段２０により作成された帯域制限画像Ｔｋの周波数特性を示す図 図１に示す本発明の実施形態のノイズ除去装置におけるノイズ成分抽出手段３０が用いる非線形関数ｆの例を示す図

符号の説明

１ ＹＣＣ変換手段
１０ ボケ画像作成手段
１２ フィルタリング手段
１４ 補間手段
１６ 制御手段
２０ 帯域制限画像作成手段
３０ ノイズ成分抽出手段
４０ ノイズ成分除去手段
５０ 出力手段
Ｙ 輝度値
Ｃｂ，Ｃｒ 色差値

Claims (17)

1. 被写体を撮像して得たカラー画像からなる写真画像に基づいて、該写真画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成し、
   出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像をノイズ成分として得、
   所定の減算係数を前記複数の変換画像の画素値に乗算し、
   前記写真画像の画素値から、前記減算係数が乗算された前記複数の変換画像の画素値を減算して前記ノイズ成分を除去した処理済み画像の画素値を得ることを特徴とするノイズ除去方法。
2. 前記所定の減算係数が、前記写真画像の画素値に応じて決められたものであることを特徴とする請求項１記載のノイズ除去方法。
3. 前記所定の減算係数が、前記写真画像の画素値に応じて、該画素値が大きいほど小さくなるように決められたものであることを特徴とする請求項１または２記載のノイズ除去方法。
4. 前記非線形変換処理が、絶対値が前記所定の閾値より大きい入力値に対して、出力値の絶対値がほぼ一定となる処理であることを特徴とする請求項１から３のいずれか１項記載のノイズ除去方法。
5. 前記所定の閾値が、処理する前記帯域制限画像の周波数帯域に応じて決められたものであることを特徴とする請求項１から４のいずれか１項記載のノイズ除去方法。
6. 前記写真画像の色チャンネル毎に異なる画像処理を行なうことを特徴とする請求項１から５のいずれか１項記載のノイズ除去方法。
7. 前記写真画像の輝度成分と色差成分とに対し異なる画像処理を行うことを特徴とする請求項６記載のノイズ除去方法。
8. 前記写真画像の輝度成分について前記帯域制限画像の作成と前記ノイズ成分の抽出と該ノイズ成分の除去が行われることを特徴とする請求項７記載のノイズ除去方法。
9. 被写体を撮像して得たカラー画像からなる写真画像に基づいて、該写真画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成する帯域制限画像作成手段と、
   出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像をノイズ成分として得る非線形変換手段と、
   所定の減算係数を前記複数の変換画像の画素値に乗算すると共に、前記写真画像の画素値から、前記減算係数が乗算された前記複数の変換画像の画素値を減算して前記ノイズ成分を除去した処理済み画像の画素値を得る周波数抑制手段とを有してなることを特徴とするノイズ除去装置。
10. 前記所定の減算係数が、前記写真画像の画素値に応じて決められたものであることを特徴とする請求項９記載のノイズ除去装置。
11. 前記所定の減算係数が、前記写真画像の画素値に応じて、該画素値が大きいほど小さくなるように決められたものであることを特徴とする請求項９または１０記載のノイズ除去装置。
12. 前記非線形変換手段が、絶対値が前記所定の閾値より大きい入力値に対して、出力値の絶対値がほぼ一定となるように処理するものであることを特徴とする請求項９から１１のいずれか１項記載のノイズ除去装置。
13. 前記所定の閾値が、処理する前記帯域制限画像の周波数帯域に応じて決められたものであることを特徴とする請求項９から１２のいずれか１項記載のノイズ除去装置。
14. 前記写真画像の色チャンネル毎に異なる画像処理が施されることを特徴とする請求項９から１３のいずれか１項記載のノイズ除去装置。
15. 前記写真画像を輝度成分と色差成分とに分離する輝度色差変換手段をさらに有し、前記写真画像の輝度成分と色差成分とに対し異なる画像処理が施されることを特徴とする請求項１４記載のノイズ除去装置。
16. 前記写真画像の輝度成分について前記帯域制限画像の作成と前記ノイズ成分の抽出と該ノイズ成分の除去が行われることを特徴とする請求項１５記載のノイズ除去装置。
17. 被写体を撮像して得たカラー画像からなる写真画像に基づいて、該写真画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成する処理と、
    出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像をノイズ成分として得る処理と、
    所定の減算係数を前記複数の変換画像の画素値に乗算する処理と、
    前記写真画像の画素値から、前記減算係数が乗算された前記複数の変換画像の画素値を減算して前記ノイズ成分を除去した処理済み画像の画素値を得る処理とをコンピュータ実行させることを特徴とするプログラム。

Images