JP4990240B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

この発明は、ディジタルカメラなどの入力画像に混入するノイズを除去する画像処理装置および画像処理プログラムに関するものである。

ＣＣＤ等の撮像素子を備えたディジタルカメラやイメージスキャナなどの画像入力装置、およびこの種の画像入力装置から入力した画像を表示するディスプレイや印刷するカラープリンタ等の画像出力装置では、画像入力系あるいは画像伝送系において画像データにノイズが混入する。この種のノイズは、装置内で画像処理により除去されるのが一般的である。こうした画像入出力装置のうち、ディジタルカメラにおいて混入したノイズを除去する従来の方法について説明する。
ノイズを除去する最も平易で一般的な方法としては、画像処理対象である画素（以下、注目画素と称す）を中心にした複数画素からなる処理ウィンドウを構成し、処理ウィンドウ内の周辺画素の信号レベル値と注目画素の信号レベル値を重み付けして畳み込み演算することによりローパスフィルタをかけるという技術がある。しかしながら、この方法を用いた場合、ノイズ以外の画像に存在する有意なエッジに対しても一律にローパスフィルタがかかるため、画像の解像度を低下させてしまうという問題がある。
また、他の方法として、処理ウィンドウについて、ＰｒｅｗｉｔｔやＳｏｂｅｌなどのオペレータを適用することでエッジを検出し、注目画素が画像中の有意なエッジであると判断した場合にはローパスフィルタの強度を弱め、あるいは周辺に存在するエッジを構成する画素を避ける方向性を持たせてローパスフィルタをかけることで、画像の解像度低下を抑えながらノイズを除去するという技術が提案されている（例えば特許文献１参照）。

特開２００２−１８５７９５号公報

上記特許文献１に記載のノイズを除去する画像処理の方法は、特定方向に連続するノイズをエッジとして誤判定したり、被写体中に存在する模様をエッジとして検出できずにノイズと誤判定することがあるため、エッジとノイズを１００％分離することができず、解像度の低下を引き起こし、またノイズリダクションを十分に行えないという問題がある。

この発明は、上記問題点を解決するためになされたもので、解像度を低下させることなくノイズリダクションを行うことを可能にする画像処理装置および画像処理プログラムを得ることを目的とする。

この発明に係る画像処理装置は、入力された２次元画像の注目画素を中心とした複数画素からなる処理ウィンドウに対して、注目画素を含むそれぞれが異なる１次元方向のローパスフィルタ値を算出する複数の１次元ローパスフィルタと、前記処理ウィンドウに対して、注目画素を含む２次元方向のローパスフィルタ値を算出する２次元ローパスフィルタと、各１次元方向のローパスフィルタ値と注目画素値の差分の絶対値をそれぞれ算出し、各差分の絶対値の最小値を注目画素のエッジレベルとして検出するエッジレベル検出手段と、予め設定したエッジ補正曲線に基づいて、検出エッジレベルに対応するエッジ補正係数を算出するＮＲ係数算出手段と、エッジ補正係数を用いて注目画素値と２次元方向のローパスフィルタ値を重み付け加算するＮＲ処理手段を備えたものである。

この発明によれば、本来のエッジレベルとノイズを分別せずにエッジレベルを調整できるように構成したため、解像度を低下させることなくノイズリダクションを行うことが可能となり、高画質の画像を得ることができる効果がある。

実施の形態１．
図１は、この発明の実施の形態１による画像処理装置の機能構成を示すブロック図である。
図において、画像処理装置は、０度方向ローパスフィルタ（以下、ローパスフィルタをＬＰＦと称す）１１、４５度方向ＬＰＦ１２、９０度方向ＬＰＦ１３、１３５度方向ＬＰＦ１４からなる複数の１次元ローパスフィルタと、２次元ＬＰＦ１５と、エッジレベル検出部２０と、ＮＲ係数算出部２１と、ＮＲ処理部２２を基本構成として備えている。また、この実施の形態１の画像処理装置による処理は、コンピュータ（マイコンを含む）上で実行するプログラムとして構成することができるものである。

次に、動作について説明する。
１画面を構成する画像を水平Ｍ画素（例、１７画素）、垂直Ｎ画素（例、１７画素）からなる画素構成の複数の処理ウィンドウに分け、画像処理装置は、順次入力される処理ウィンドウ毎に以下の処理を行うものとする。
１次元ＬＰＦ１１〜１４は、入力画像データの注目画素を中心とし、水平１７画素、垂直１７画素からなる画素構成の処理ウィンドウに対して、それぞれ異なる１次元方向（０度、４５度、９０度、１３５度）のＬＰＦ値を算出する。
図２は、処理ウィンドウに対して０度方向にフィルタ処理を行う方法について示す。中心にある画素は注目画素Ｐｘｙである。０度方向ＬＰＦ１１では、注目画素Ｐｘｙを含む０度方向にある画素に対して処理を行う。図２で水平方向に斜線を施した画素が処理対象になる。また、ここでは、処理を行う入力画像は、一般的な単板カラーデジタルカメラから入力された画像を想定しており、ベイヤー配列のうちＲ、Ｇｒ、Ｇｂ、Ｂの４色の撮影色のうち同色のみを処理する場合の例について示している。同様に、図３は４５度方向ＬＰＦ１２、図４は９０度方向ＬＰＦ１３、図５は１３５度方向ＬＰＦ１４によるフィルタ処理の方法を示している。各１次元ＬＰＦでは、例えば注目画素を含む１次元方向の画素群の単純平均を算出することで、各方向の平均画素値、ｌｐｆ０００、ｌｐｆ０４５、ｌｐｆ０９０、ｌｐｆ１３５を１次元方向のＬＰＦ値としてそれぞれ算出する。

また、２次元ＬＰＦ１５により、同タイミングの入力画像データの処理ウィンドウに対して２次元方向のＬＰＦ値を算出する。
図６は、処理ウィンドウに対するＬＰＦ演算の処理方法について示している。ここでは、２次元方向のＬＰＦ値として、１７画素×１７画素からなる処理ウィンドウ内の全ての平均値ｌｐｆ１７を（１）式に従って算出する。

次に、エッジレベル検出部２０では、１次元ＬＰＦ１１〜１４によりそれぞれ算出された１次元方向のＬＰＦ値ｌｐｆ０００〜ｌｐｆ１３５と入力画像データの注目画素の信号レベルＰｘｙの差分の絶対値をそれぞれ算出し、その中で最小となる差分絶対値ｌｐｆｍｉｎを注目画素のエッジレベルとして検出する。

ＮＲ係数算出部２１では、予め設定されたエッジ補正曲線に基づいて、エッジレベル検出部２０で検出されたエッジレベルに対応するエッジ補正係数を算出する。
エッジ補正曲線は、図７に例示するように、検出エッジレベルに応じてエッジ補正係数が変化する特性を規定している。この例では、エッジ補正係数のレンジを０〜６４までの６５段階で定義し、検出されたエッジレベルｌｐｆｍｉｎが大きいほどエッジ補正の度合いを大きくし、検出エッジレベルｌｐｆｍｉｎが小さいほど補正を弱める特性を示している。したがって、注目画素におけるエッジレベルに応じてエッジ補正係数ｄｘ１が一意に決まる。また、図７では、補正特性を定義するためのＤＭＩＮＸ、ＤＭＡＸＸ、ＤＭＩＮＹ、ＤＭＡＸＹは予め与えられており、エッジ補正曲線は画像入力装置における撮影条件に応じて予め規定しておく。
さらに、ＮＲ係数算出部２１では、エッジ補正曲線からエッジ補正係数ｄｘ１を算出すると、これと対になるエッジ補正係数ｄｘ２を（２）式によって算出する。
ｄｘ２＝６４−ｄｘ１ （２）
これらのエッジ補正係数ｄｘ１、ｄｘ２は、後段のＮＲ処理部２２でノイズリダクションを行うために使用されるＮＲ係数となる。

ＮＲ処理部２２では、ＮＲ係数算出部２１で算出されたエッジ補正係数を用いて入力画像データの注目画素値と２次元方向のＬＰＦ値を重み付けして加算する。
ここでは、２次元方向のＬＰＦ値ｌｐｆ１７をエッジ補正係数ｄｘ１係数で重み付けし、また、注目画素値Ｐｘｙをエッジ補正係数ｄｘ２で重み付けする。そして、両者を（３）式に従って加算することでノイズリダクション処理を行い、ノイズ補正後の画素値Ｐｘｙ’を得る。
Ｐｘｙ’＝（ｄｘ１×ｌｐｆ１７＋ｄｘ２×Ｐｘｙ）／６４ （３）
上記一連の処理は、処理ウィンドウのＲ、Ｇｒ、Ｇｂ、Ｂの４色の撮影色のうち同色のみについて説明してきたが、他の各色に対しても同様に行う。また、１画面を構成する処理ウィンドウの全てに対して同様な処理を行う。
以上のようにノイズリダクション処理を行うことにより、解像度を損なうことなく画面全体のノイズレベルの均一化が図れるため、高画質なノイズリダクション効果が得られる。

図８は、上記ノイズリダクション処理の前後の画像信号を示す説明図である。
図８（ａ）は、この発明を適用する画像入力装置に入力される画像信号を、説明上１次元信号として示した例である。図において、破線で記載した信号は本来被写体が持つ信号レベルの変化を示しているが、画像入力装置のアナログ回路で混入したノイズの影響で実線のような信号として入力されている。図８（ｂ）は、図８（ａ）の信号に対して図７の補正特性を用いてノイズリダクション処理を行った後の画像信号例を示す。このことから、ノイズ信号が良好に抑圧され、かつ本来画像内に含まれるエッジが保持されていることが確認できる。これは、エッジレベル検出部２０において０度〜１３５度の１次元方向のＬＰＦ値と注目画素の差分絶対値を算出し、その最小値を注目画素のエッジレベルとすることで、画像に本来存在するエッジについては、エッジの稜線方向のＬＰＦが差分絶対値の対象として選択され、その差分値を超えるエッジ補正がかからないためである。

以上のように、この実施の形態１によれば、注目画素を中心とした複数画素からなる処理ウィンドウに対して、注目画素を含むそれぞれ異なる１次元方向の複数のＬＰＦ値を算出すると共に、上記処理ウィンドウに対して、注目画素を含む２次元方向のＬＰＦ値を算出し、各１次元方向のＬＰＦ値と注目画素値の差分の絶対値をそれぞれ算出して各差分の絶対値の最小値を注目画素のエッジレベルとして検出し、予め設定したエッジ補正曲線に基づいて、検出エッジレベルに対応するエッジ補正係数を算出し、算出したエッジ補正係数を用いて注目画素値と２次元方向のＬＰＦ値を重み付け加算することでノイズリダクションを行うようにしている。したがって、本来のエッジレベルとノイズを分別せずにエッジレベルを調整できるように構成したため、解像度を低下させることなくノイズリダクションを行うことが可能となり、高画質の画像を得ることができる。また、注目画素のエッジレベルの検出は、画像中に本来存在するエッジと撮像系で付加されたノイズを区別することなくレベル抑圧を行う構成にしたため、Ｓｏｂｅｌフィルタなどを用いて画像中のエッジとノイズを区別してノイズのみにノイズリダクションを行う構成に比べて、均一な粒状感、かつノイズレベルが低い画像を出力することが可能になるという効果が得られる。

なお、上記例では、単板カラーセンサを使用して撮影した画像に対しエッジ補正係数を全撮影色に対して一律なエッジ補正曲線を用いて算出する例について示したが、この限りでなく、入力画像の色成分毎にイメージセンサの特性に合わせて感度が異なる曲線を用いる構成としてもよい。これにより、全ての色成分に対して均一なノイズリダクション処理を行える効果がある。
また、上記例では、各１次元方向のＬＰＦ値算出時および処理ウィンドウ内の全ての画素の平均値ＬＰＦを算出する際に、演算対象の全画素を使用する構成を示したが、この限りでなく、注目画素と比較的近い信号レベルを持つ（すなわち、所定のレベル差内にある）画素値のみを選択して演算対象画素として使用する構成にしてもよい。これにより、注目画素と明らかに特徴が異なる領域が処理ウィンドウ内に含まれていた場合に、異なる領域の特徴を排除した演算が可能になり、より高解像度なノイズリダクションが可能になる。

また、上記例では、エッジレベル検出部２０でエッジレベルを検出する際、各１次元方向のＬＰＦ値と注目画素の差分絶対値が最小のものをエッジレベルと定義したが、この限りでなく、０度方向から１３５度方向のＬＰＦ値に対して最小のもの（エッジ方向の候補）と最大のものを用いて、最大のものが最小のものと直交方向であった場合に最小のものを真のエッジ方向と判定するなど、複数のエッジ方向からエッジレベルを検出するように構成してもよい。この場合、ランダムノイズの影響で誤った方向のエッジレベル絶対値が選択されることが減少し、より正確なエッジレベルを算出することが可能になる。
また、上記例では、ＮＲ係数算出部２１で算出するエッジ補正係数を６５段階で算出する方法について記載したが、この限りでなく、入力画像のビット幅等の要因によって任意の段階で算出してもよい。

また、上記例では、各１次元方向のＬＰＦ値および２次元方向のＬＰＦ値は演算対象画素の単純平均値として算出することを例としたが、この限りでなく、注目画素と演算対象画素の距離に応じて重み付け平均を用いるように構成してもよい。これによって、注目画素に近い画素の特徴量を重んじた算出が可能になり、特に比較的ノイズが少ない条件で、より正確なエッジレベル検出が可能になる。
また、上記例では、エッジ補正係数に基づいてＮＲ処理部２２で注目画素値Ｐｘｙと２次元方向のＬＰＦ値ｌｐｆ１７の重み付け加算を行う例を示したが、この限りでなく、ｌｐｆ１７の代わりにｌｐｆｍｉｎを規定する方向のＬＰＦ値（ｌｐｆ０００〜ｌｐｆ１３５のいずれか）を用いる構成にしてもよい。この場合はｌｐｆ１７を用いる場合に比べて狭い範囲での重み付け加算になるため、入力画像に比較的ノイズが少ない場合に特に解像度を完全に維持可能にする点で有効である。

また、上記例では、２次元方向のＬＰＦ値を求めるための（１）式による平均値算出処理において、１７×１７画素からなる処理ウィンドウ内の同色画素について演算する方法を記載したが、この限りでなく、実現する装置コストや入力される画像信号のＳ／Ｎ比などに基づいて他のウィンドウサイズを用いてもよい。また、この場合、（１）式の分母が２のべき乗になるような画素数の選択を行うことで、除算器を削減するようにしてもよい。
また、上記例では、（３）式を用いたＮＲ処理において除算を用いる場合の説明を行ったがこの限りでなく、重み付け加算の段階数が２のべき乗の場合は除算をビットシフト演算で実現することで、回路化した場合は除算器が排除可能で、一方、プログラムで実現する場合は演算の実行速度の向上が可能になる。

実施の形態２．
図９は、この発明の実施の形態２による画像処理装置の機能構成を示すブロック図である。図において、図１に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態２は、２次元ＬＰＦ１５とＮＲ係数算出部２１の間に明るさ補正部２１を設けた点で実施の形態１と異なる。
次に、動作について説明する。
明るさ補正部２３では、予め設定された明度補正曲線に基づいて、２次元ＬＰＦ１５の２次元方向のＬＰＦ値に対応する明度補正係数を算出する。ここで、明度補正曲線としては、例えば図１０に示すような曲線を用いる。この例では、暗部補正の段階を１２９段階とし６４の場合を明るさ補正なしと定義している。ＮＲ１ＨＸとＮＲ１ＨＹは補正曲線を定義するために予め設定した制御点である。特に図１０の明度補正曲線の場合、画像の暗部でのエッジ補正係数を弱めることができる。この補正曲線を用いて明るさ補正を行う場合、２次元方向のＬＰＦ値を注目画素周辺の明るさとして、明度補正係数ｈｙを求める。

ＮＲ係数算出部２１では、実施の形態１で説明したように、エッジレベル検出部２０で検出されたエッジレベルに対するエッジ補正係数を算出しているが、このエッジ補正係数を、明るさ補正部２３で算出した明度補正係数に基づいて補正する。ここでは、エッジ補正係数ｄｘ１に対して明度補正係数を適用した（４）式により、明度補正後のエッジ補正係数ｄｘ１’を算出し、（２）式によりｄｘ２’を算出する。
ｄｘ１’＝ｄｘ１×ｈｙ／６４ （４）
このように明度補正されたエッジ補正係数ｄｘ１’、ｄｘ２’は、明度補正係数ｈｙに応じて、すなわち画像領域の明暗に応じて可変することができる。

以上のように、この実施の形態２によれば、実施の形態１の構成に対して明るさ補正部２３を加えることで、画像中の明部や暗部のエッジ補正レベルを可変にすることが可能になり、例えば入力画像の明るい領域に合わせてＮＲ係数を調整した場合に信号レベルの低い暗部がぼけてしまうなど、入力画像の明るさに起因する補正ムラを緩和させることが可能になる。

なお、この実施の形態２の例では、明るさ補正を１２９段階で切り替え可能にする構成を示したが、この限りでなく、入力画像や装置の画像特性に応じて任意の段階で切り替え可能にするようにしてもよい。また、（４）式では除算を用いて明るさ補正を行うようにしたが、この限りでなく、明るさ補正の段階数を２のべき乗にしてもよい。その場合は、ビットシフト演算で置き換えることが可能になり、回路化する場合は除算器を削減できるため回路規模の簡略化が可能になり、また、プログラム処理で行う場合は処理速度の高速化を可能にする。
また、この実施の形態２の例では、単板カラーセンサを使用して撮影した画像に対し明るさ補正を全撮影色に対して一律に行う例について示したが、この限りでなく、色成分毎に感度が異なるイメージセンサの特性に合わせて明度補正係数を色毎に定義する構成としてもよい。これにより、全ての色成分に対して均一なノイズリダクション処理を行えるという効果がある。

この発明の実施の形態１による画像処理装置の機能構成を示すブロック図である。 この発明の実施の形態１に係る０度方向ＬＰＦによるフィルタ処理の方法を示す説明図である。 この発明の実施の形態１に係る４５度方向ＬＰＦによるフィルタ処理の方法を示す説明図である。 この発明の実施の形態１に係る９０度方向ＬＰＦによるフィルタ処理の方法を示す説明図である。 この発明の実施の形態１に係る１３５度方向ＬＰＦによるフィルタ処理の方法を示す説明図である。 この発明の実施の形態１に係る２次元ＬＰＦによるフィルタ処理の方法を示す説明図である。 この発明の実施の形態１に係るＮＲ係数算出部で用いるエッジ補正曲線を例示する説明図である。 この発明の実施の形態１に係るノイズリダクション処理の前後の画像信号を示す説明図である。 この発明の実施の形態２による画像処理装置の機能構成を示すブロック図である。 この発明の実施の形態２に係る明るさ補正部で用いる明度補正曲線を例示する説明図である。

符号の説明

１１〜１４ １次元ＬＰＦ（ローパスフィルタ）、１５ ２次元ＬＰＦ（ローパスフィルタ）、２０ エッジレベル検出部、２１ ＮＲ係数算出部、２２ ＮＲ処理部、２３ 明るさ補正部。

Claims (7)

1. 入力された２次元画像の注目画素を中心とした複数画素からなる処理ウィンドウに対して、注目画素を含むそれぞれが異なる１次元方向のローパスフィルタ値を算出する複数の１次元ローパスフィルタと、
   前記処理ウィンドウに対して、注目画素を含む２次元方向のローパスフィルタ値を算出する２次元ローパスフィルタと、
   各１次元方向のローパスフィルタ値と注目画素値の差分の絶対値をそれぞれ算出し、各差分の絶対値の最小値を注目画素のエッジレベルとして検出するエッジレベル検出手段と、
   予め設定したエッジ補正曲線に基づいて、検出エッジレベルに対応するエッジ補正係数を算出するＮＲ係数算出手段と、
   エッジ補正係数を用いて注目画素値と２次元方向のローパスフィルタ値を重み付け加算するＮＲ処理手段を備えたことを特徴とする画像処理装置。
2. １次元ローパスフィルタと２次元ローパスフィルタのそれぞれは、処理ウィンドウに対して、注目画素の信号レベル値から所定のレベル差内にある画素値のみを選択してローパスフィルタ値を演算するようにしたことを特徴とする請求項１記載の画像処理装置。
3. ＮＲ係数算出手段は、入力画像の色成分毎に特性に合わせた感度が異なるエッジ補正曲線を使用するようにしたことを特徴とする請求項１または請求項２記載の画像処理装置。
4. 予め設定した明度補正曲線に基づいて２次元方向のローパスフィルタ値に対応する明度補正係数を算出する明るさ補正手段を備え、
   ＮＲ係数算出手段は、エッジ補正係数を前記明度補正係数に基づいて補正し、
   ＮＲ処理手段は、注目画素値と２次元方向のローパスフィルタ値を、前記明度補正されたエッジ補正係数を用いて重み付け加算することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
5. 明るさ補正手段は、入力画像の色成分毎に特性に合わせた感度が異なる明度補正曲線を使用するようにしたことを特徴とする請求項４記載の画像処理装置。
6. ２次元画像の注目画素を中心とした複数画素からなる処理ウィンドウに対して、注目画素を含むそれぞれ異なる１次元方向の複数のローパスフィルタ値を算出する処理と、
   前記同じ処理ウィンドウに対して、注目画素を含む２次元方向のローパスフィルタ値を算出する処理と、
   各１次元方向のローパスフィルタ値と注目画素値の差分の絶対値をそれぞれ算出し、各差分の絶対値の最小値を注目画素のエッジレベルとして検出する処理と、
   予め設定したエッジ補正曲線に基づいて、検出エッジレベルに対応するエッジ補正係数を算出する処理と、
   エッジ補正係数を用いて注目画素値と２次元方向のローパスフィルタ値を重み付け加算する処理とをコンピュータ上で実行する画像処理プログラム。
7. ２次元画像の注目画素を中心とした複数画素からなる処理ウィンドウに対して、注目画素を含むそれぞれ異なる１次元方向の複数のローパスフィルタ値を算出する処理と、
   前記同じ処理ウィンドウに対して、注目画素を含む２次元方向のローパスフィルタ値を算出する処理と、
   各１次元方向のローパスフィルタ値と注目画素値の差分の絶対値をそれぞれ算出し、各差分の絶対値の最小値を注目画素のエッジレベルとして検出する処理と、
   予め設定したエッジ補正曲線に基づいて、検出エッジレベルに対応するエッジ補正係数を算出する処理と、
   予め設定した明度補正曲線に基づいて２次元方向のローパスフィルタ値に対応する明度補正係数を算出する処理と、
   エッジ補正係数を明度補正係数に基づいて補正する処理と、
   前記明度補正されたエッジ補正係数を用いて注目画素値と２次元方向のローパスフィルタ値を重み付け加算する処理とをコンピュータ上で実行する画像処理プログラム。

Images