JP6904842B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、撮影画像のノイズを低減する技術に関する。

カメラで撮影した画像に含まれるノイズを低減するため、撮影後の画像データに含まれるノイズを低減する技術が数多く知られている。特許文献１には、縮小率の異なる複数の縮小画像を生成し、エッジ検出結果に応じて、高解像度画像と低解像度画像を合成する方法を開示している。高解像度画像にてエッジ領域であると判定された画素については、鮮鋭度の低下を抑えるため、低解像度画像に対する高解像度画像の合成比率を高くする。

特開２０１２−１０５０９１号公報

しかしながら、特許文献１に開示された方法によれば、コントラストの低いエッジやテクスチャはノイズの影響を受けやすいためエッジとして検出されず、低解像度画像に対する高解像度画像の合成比率を低く設定されてしまう場合がある。その結果、コントラストの低いエッジやテクスチャは鮮鋭度がぼけてしまう。

そこで本発明は、低コントラストを高精度に検出することにより、低コントラストを含む画像に対して適切にノイズ低減処理をすることを目的とする。

上記課題を解決するため、本発明に掛かる画像処理装置は、入力画像のノイズを低減する画像処理装置であって、第２縮小画像より高い解像度を有する第１縮小画像と前記第２縮小画像とを生成するために前記入力画像を縮小する生成手段と、前記第１縮小画像の第１エッジを検出し、前記第１縮小画像のそれぞれの画素について、前記第１エッジに対応する画素が高い確率となるときに大きな値となるインデックス値であるエッジ確率を算出する第１検出手段と、前記第２縮小画像の第２エッジを検出し、前記第２縮小画像のそれぞれの画素について、前記第２縮小画像の画素のコントラストが低い場合に大きい値を持ち、前記第２縮小画像の平坦部に対応する画素、または、前記第２縮小画像の画素のコントラストが高い画素である場合に小さい値を持つ低コントラストスコアを算出する第２検出手段と、前記入力画像と前記第１縮小画像とにノイズ低減処理を行う処理手段と、前記第１検出手段により算出されるエッジ確率と、前記第２検出手段により算出される低コントラストスコアとに基づいて、それぞれの画素に合成比率を決定し、前記合成比率を用いて、前記ノイズ低減された入力画像と前記ノイズ低減された第１縮小画像とを合成する合成手段とを有することを特徴とする。

本発明によれば、画像における低コントラスト領域に対しても適切にノイズ低減処理することができる。

画像処理装置のハードウェア構成と論理構成を示すブロック図 画像処理装置における論理構成の詳細を示す図 画像処理装置における合成処理部の詳細を示す図 第１実施形態におけるノイズ低減処理の全体像を説明する図 低コントラスト領域スコアを算出するための関数の概形を示す図 ノイズ低減処理全体のフローチャート 最下層の処理のフローチャート 最下層の各処理の詳細を示すフローチャート 中間層の処理の詳細を示すフローチャート 最上層の処理の詳細を示すフローチャート 第２実施形態におけるノイズ低減処理の全体像を説明する図 画像処理装置の構成を示したブロック図 最下層の処理のフローチャート エッジ情報算出、重み付き平均、エッジ領域合成比率算出処理の詳細を示すフローチャート 中間層の処理を示すフローチャート 最上層の処理を示すフローチャート 第３実施形態におけるノイズ低減処理の全体像を説明する図 最下層の処理のフローチャート エッジ情報算出、重み付き平均算出処理の詳細を示すフローチャート 合成比率算出処理の詳細を示すフローチャート 中間層の処理を示すフローチャート 最上層の処理を示すフローチャート

以下、添付の図面を参照して、本発明を好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に必ずしも限定されるものではない。

＜第１実施形態＞
第１実施形態では、入力画像を順次縮小して複数の縮小画像を生成し、入力画像および複数の縮小画像を合成することによりノイズを低減する画像処理装置について説明する。本実施形態では特に、入力画像と複数の縮小画像のうち２つの画像を、より縮小率の高い縮小画像において抽出した低コントラスト領域に基づいて、合成する。ここで低コントラスト領域とは、コントラストの低いエッジを含む領域のことを意味する。

図１（ａ）は、第１実施形態における画像処理装置のハードウェア構成を示す。ここでは、画像処理装置の一例としてデジタルカメラの構成例を示す。画像処理装置は光学系１０１、測光センサー１０２、撮像センサー１０３、撮像センサー制御部１０４、露出設定部１０５、光学系制御部１０６を有する。さらに、縮小画像生成部１０７、エッジ解析部１０８、合成比率導出部１０９、合成比率補正値導出部１１０、合成処理部１１１、信号処理部１１２を備える。また、ＲＡＭ１１３、ＲＯＭ１１４、ＣＰＵ１１５、操作部１１６、表示部１１９、外部インターフェース（Ｉ／Ｆ）１１７、メインバス１１８を有する。

ＣＰＵ１１５は、入力された画像や後述のプログラムに従って、各構成を制御する。ＲＯＭ１１４には、ＣＰＵ１０５が各種構成を実行するためのコンピュータプログラムが格納されている。またＲＡＭ１１３は、撮像センサー１０３などを介して撮影することにより取得した画像データを一時的に保持するバッファメモリや、ＣＰＵ１０５の作業領域などとして使用される。画像処理装置はＲＯＭ１１４に記録されたプログラムをＣＰＵ１１５で解釈し、命令に基づいた動作をする。表示部１１９は、撮像する際のビューファインダー画像の表示や撮像した画像を表示する。操作部１１６は、たとえば、画像処理装置にユーザーが撮影を指示するためのボタンや、表示部１１９に画像を表示させるための再生ボタンなどの操作部材を含む。また、画像を表示するための表示部１１９がタッチパネルとして機能し、表示部１１９を介してユーザーからの指示を受け付けるような構成もよい。この場合表示部１１９は、ユーザーが所望の指示を入力するためのユーザーインターフェース（ＵＩ）を表示する。外部Ｉ／Ｆ１１７は、画像処理装置と外部装置とを接続するためのインターフェースである。外部Ｉ／Ｆ１１７は、赤外線通信や無線ＬＡＮなどを用いて通信装置とデータのやりとりを行う構成としてもよい。各構成は、メインバス１１８によって接続されている。ユーザーは表示部１１９や操作部１１６を介して画像処理装置の状態を設定や、動作の指示を行う。動作の例としては、予備露光動作や本撮像などがある。ユーザーが画像処理装置を被写体に向け、操作部１１６を操作して予備露光の指示を出すと、ＣＰＵ１１５はその指示を検知して、あらかじめプログラムされた通りに予備露光動作を開始する。予備露光動作では、測光センサー１０２は被写体の光量を感知し、ＣＰＵ１１５はこの光量に基づいて露出算出部１０５を駆動して露出を算出させ、撮像センサー制御部１０４を通じて撮像センサー１０３の露出を設定させる。また、ＣＰＵ１１５は、撮像センサー１０３が検出した被写体からの光の量に基づいて、被写体に対するフォーカスを評価し、ピントを合わせるために光学系制御部１０６を通じて光学系１０１を駆動させる。ユーザーが操作部１１６を通して、本撮像を指示すると、ＣＰＵ１１５はその指示を検出し、一連の撮像動作を開始する。まず撮像センサー１０３が露光し、撮像センサー１０３は受けた光の量をデジタル信号に変換する。撮像センサー１０３において光から変換されたデジタル信号は信号処理部１１２で適宜処理された後、画像としてＲＡＭ１１３にいったん記憶される。

本実施形態における画像処理装置は、このようにして得られた入力画像に対してノイズ低減処理を実行する。

図２（ｂ）は、画像処理装置においてノイズ低減処理を実行するための論理構成を示すブロック図である。ＣＰＵ１１５はＲＯＭ１１４に格納されたソフトウェアを動作させることにより、各構成を実現する。縮小画像生成部１０７は撮像により得られた入力画像をＲＡＭ１１３から読み込み、縮小率の異なる複数の縮小画像を生成する。図２（ａ）は、縮小画像生成部１０７の詳細な構成を示すブロック図である。縮小画像生成部１０７は、ローパスフィルタ処理部２０１とダウンサンプリング部２０２からなる。

縮小画像生成部１０７は、入力画像を縮小することにより１番目の縮小画像を生成し、これをＲＡＭ１１３に記録する。縮小画像生成部１０７はさらに１番目の縮小画像を読み込み、これを縮小することにより２番目の縮小画像を生成し、これをＲＡＭ１１３に記憶する。縮小処理は具体的には、ローパスフィルタ処理部２０１がまず、入力画像あるいは縮小画像に対してローパスフィルタを適用する。ここでは、縮小処理の前処理としてアンチエイリアスのために用いられる一般的なローパスフィルタを用いる。ダウンサンプリング部２０２は、ローパスフィルタ処理後の画像に対して、画素を間引いて画素数を減らすることにより、縮小された画像を生成する。以後、この処理をあらかじめ決められた回数だけ繰り返し、Ｎｍａｘ枚の縮小画像を生成する。ここでは４回の縮小処理を行い、４枚（Ｎｍａｘ＝４）の縮小画像を生成する。本実施形態において、１番目の縮小画像よりも２番目の縮小画像の方が、さらに２番目の縮小画像よりも３番目の縮小画像、３番目の縮小画像よりも４番目の縮小画像の方がより縮小された画像である。以降の説明において、入力画像を最上層の画像とし、縮小率が小さい縮小画像を上層、縮小率が大きいほど下層とする。

エッジ解析部１０８は、入力画像と１枚目から（Ｎｍａｘ−１）枚目の縮小画像それぞれ対してエッジを解析する。エッジ解析部１０８は、最も小さく縮小されたＮｍａｘ枚目の縮小画像についてはエッジを解析しない。図２（ｂ）は、エッジ解析部１０８の詳細を示す図である。エッジ解析部１０８は処理対象とする画像における画素ごとにエッジ度を検出し、画素ごとのエッジ情報として出力する。エッジ度は、注目している画素（以下、注目画素）がエッジを構成する画素である可能性が高いと大きな値をとる指標値である。ここでは、水平方向および垂直方向の微分の絶対値の和をエッジ度として算出する。

合成比率導出部１０９は、エッジ解析部１０８が解析した結果得られるエッジ度に基づいて、エッジ領域における合成比率を算出する。合成比率は、Ｎ枚目の縮小画像とＮ＋１枚目の縮小画像とを画素ごとに合成する際に用いられる。（Ｎは０〜Ｎｍａｘまでの整数。ただしＮ＝０のとき、０枚目の縮小画像とは縮小されていない入力画像を意味する。）前述のとおり（Ｎ＋１）枚目の縮小画像の方が、縮小率が高い。従って、（Ｎ＋１）枚目の縮小画像の方が、Ｎ枚目の縮小画像よりもノイズ低減効果が高い。一方、（Ｎ＋１）枚目の縮小画像の方が、Ｎ枚目の縮小画像よりもエッジがぼけてしまっている。そこで合成比率導出部１０９は、注目画素のエッジ度が大きくエッジである確率が高い場合は、より縮小率が小さいＮ枚目の縮小画像の重みが大きくなるように、合成比率を導出する。一方注目画素のエッジ度が小さく平坦部である確率が高い場合は、より縮小率が低いＮ枚目の縮小画像の重みが小さくなるように、合成比率を導出する。

合成比率補正値導出部１１０は、縮小画像に対して低コントラスト領域を抽出し、低コントラスト領域に含まれる画素において合成比率を補正するための合成比率補正値を算出する。図２（ｃ）は、合成比率補正値導出部１１０の詳細を示す図である。低コントラスト領域抽出部５０１は、エッジを解析した縮小画像よりも縮小率の高い画像に対して、低コントラストのテクスチャの存在を判定するためのスコアを画素ごとに算出する。低コントラストにおけるエッジやテクスチャは、ノイズの影響を受けやすく、エッジ解析部１０８による解析の結果、注目画素は平坦部である確率が高いと判定されてしまうことがある。その結果低コントラスト領域では、縮小率が高い（Ｎ＋１）枚目の縮小画像の重みが大きくなるように、合成比率が導出されている場合がある。そこで、合成比率補正値算出部５０２は、低コントラストのテクスチャが存在する領域について、より上層の鮮鋭度の高いＮ枚目の縮小画像の重みが大きくなるように合成比率の補正値を算出する。なお、平坦領域と、高コントラストのエッジやテクスチャにおいては、合成比率の補正値はほぼ０となるように算出される。スコアと合成比率補正値の具体的な計算方法については後述する。

合成処理部１１１は、合成比率導出部１０９が導出した合成比率と合成比率補正値導出部１１０が導出した合成比率補正値とに基づいて、入力画像とＮｍａｘ枚の縮小画像を画素ごとに合成する。ここではまず、合成処理部１１１は最も小さく縮小されたＮｍａｘ枚目の縮小画像と、１つ上層の（Ｎｍａｘ−１）枚目の縮小画像とを合成する。ここで合成された画像を（Ｎｍａｘ−１）枚目の縮小画像として更新し、さらに１つ上層の縮小画像と合成する。以上の処理を、入力画像に到達するまで繰り返し、１枚の合成画像をノイズ低減処理された画像として信号処理部１１２に出力する。図３に合成処理部１１１の詳細を示す。合成処理部１１１は、合成比率決定部６０１と合成部６０４からなる。さらに合成比率決定部６０１は、ブレンド部６０２と補正部６０３からなる。ブレンド部６０２は、Ｎ枚目の縮小画像とＮ＋１枚目の縮小画像とを合成する際、Ｎ枚目の縮小画像とＮ＋１枚目の縮小画像それぞれのエッジ解析結果に基づいて導出された合成比率と、１つ下層の合成比率をブレンドする。補正部６０３は、ブレンド部６０２でブレンドした合成比率を、合成比率補正値を用いて補正する。ただし補正部６０３は、合成する２つの縮小画像よりさらに１階層下の縮小画像に基づいて導出された合成比率補正値を用いる。例えば、入力画像と１枚目の縮小画像を合成する階層では、入力画像のエッジ解析結果に基づいて導出された合成比率と、１枚目の縮小画像のエッジ解析結果に基づいて導出された合成比率をブレンドする。そして、２枚目の縮小画像において低コントラストを検出した結果に基づいて導出された合成比率補正値を用いて、ブレンドされた合成比率を補正する。合成部６０４は、補正部６０３により補正された合成比率を用いて、合成部６０３に入力された２つの画像を合成する。

ここで図４は、第１実施形態におけるノイズ低減処理の全体像を説明する模式図である。入力画像を順次縮小して４枚の縮小画像が生成され、５階層の処理となっている。第３階層においては、２枚目の縮小画像におけるエッジに応じた合成比率と、３枚目の縮小画像におけるエッジに応じた合成比率と、最も小さく縮小された４枚目の縮小画像における低コントラストに応じた合成比率補正値とに基づいて、合成比率が決定される。第３階層では、２枚目の縮小画像と３枚目の縮小画像とが合成される。第２階層においては、１枚目の縮小画像におけるエッジに応じた合成比率と、２枚目の縮小画像におけるエッジに応じた合成比率と、３枚目の縮小画像における低コントラストに応じた合成比率補正値とに基づいて、合成比率が決定される。第２階層では、１枚目の縮小画像と第３階層における合成処理によって生成された合成画像とが合成される。そして第１階層において、入力画像におけるエッジに応じた合成比率と、１枚目の縮小画像におけるエッジに応じた合成比率と、２枚目の縮小画像における低コントラストに応じた合成比率補正値とに基づいて、合成比率が決定される。第３階層では、入力画像と第２階層における合成処理によって生成された合成画像とが合成される。第４階層および第５階層では、画像間の合成処理はない。第５階層では第３階層のための合成比率補正値の導出のみを行うこととなる。

ここで、合成比率補正値導出部１１０における低コントラストの抽出と合成比率補正値について詳細に説明する。平坦領域、低コントラスト領域、高コントラスト領域それぞれの特徴を考える。注目画素が平坦領域の画素である場合、ノイズの影響によりわずかに画素値にばらつきが生じる程度である。そのため平坦領域では、注目画素における局所的な分散は小さくなる。一方注目画素がコントラストの高い領域である場合、注目画素における局所的な分散は大きくなる。注目画素がコントラストの低い領域である場合、局所的な分散は、ノイズによって生じるノイズ分散よりも大きく、高コントラスト領域の局所的な分散よりは小さい。そこで本実施形態では、注目画素近傍の局所的な領域において分散を算出し、局所的な分散が中程度の場合を低コントラスト領域として検出する。

式（１）は、低コントラスト領域抽出部５０１が算出する低コントラスト領域スコアを示す。

ここで、ｘ，ｙは画像上の位置を示す座標を示す。Ｖ（ｘ，ｙ）は上式で定義される量で、Ｖａｒ（Ｉ（ｘ，ｙ））は画像Ｉ（ｘ，ｙ）の注目画素（ｘ，ｙ）近傍、例えば５画素×５画素の領域の、局所的な分散（局所分散）である。

さらに低コントラスト領域抽出部５０１は、注目画素の局所的な分散を、関数Ｔ（ｚ）を用いて低コントラスト領域スコアＬ（ｘ，ｙ）に変換する。図５は、関数Ｔ（ｚ）を示す図である。低コントラスト領域スコアＬ（ｘ，ｙ）は、最初は局所分散Ｖ（ｘ，ｙ）が増えるにしたがって増加していき、ポイントＡで最大値に達した後減少に転じて最後は０あるいはおおよそ０に近似するという特性を有する。つまり低コントラスト領域スコアＬ（ｘ，ｙ）は、局所分散Ｖ（ｘ，ｙ）が小さくも大きくもない場合に大きな値をとる、という特性を持つ。このように局所分散Ｖ（ｘ，ｙ）に応じた関数Ｔを用いることで、低コントラスト領域抽出部５０１は低コントラスト領域のみで大きな値をもつ低コントラスト領域スコアＬ（ｘ，ｙ）を得ることができる。

合成比率補正値導出部５０２は、低コントラスト領域において鮮鋭度の高い上階層の重みが重くなるように、合成比率を補正するための合成比率補正値を算出する。本実施形態における低コントラスト領域スコアは、低コントラスト領域で大きな値をとる。そこで合成比率補正値算出部５０２は、低コントラスト領域スコアＬ（ｘ，ｙ）に係数ｋを乗算し、合成比率補正値として出力する。本実施形態においては、関数Ｔの最大値をＴｍａｘとするとき、係数ｋを０．５／Ｔｍａｘとする。低コントラスト領域スコアＬ（ｘ，ｙ）に係数ｋを乗算した合成比率補正値は、合成比率に対する低コントラス領域スコアの影響を考慮して、１以下の値であることが望ましい。ただし係数ｋの値は、この例に必ずしも限定されず、適宜設定する。なお、合成比率補正値導出部１１０は、低コントラスト領域スコアＬ（ｘ，ｙ）を算出した後、係数を乗算して合成比率補正したが、係数を関数Ｔに組み入れて、低コントラスト領域スコアをそのまま合成比率補正値としても用いる構成としてもよい。また、空間的に滑らかに合成比率を補正するため、低コントラスト領域スコアに空間フィルタを適用した後に、適切な係数をかけるとよい。

以下、本実施形態におけるノイズ低減処理の流れを、図６から〜図１０に示したフローチャートを用いて説明する。ＣＰＵ１１５は、図６から〜図１０を実現するためのプログラムを順次読み出し、実行させる。

図６は、ノイズ低減処理全体を示すフローチャートである。ステップＳ９０１において縮小画像生成部１０７は、撮影により取得された入力画像から縮小率の異なるＮｍａｘ枚の縮小画像を生成する。本実施形態では、Ｎｍａｘ＝４である。ノイズ低減処理は下の階層から上の階層に処理を進める。ステップＳ９０２において、最下層の処理を行う。ステップＳ９０２における処理の詳細は図７を用いて後述する。ステップＳ９０２には最初の合成処理（図４では第３階層にある合成処理）が行われるまでを含んでいる。次に、ステップＳ９０３において中間層の処理を行う。この処理は第２階層に到達するまで各階層の処理が繰り返される。ただし図４に示す本実施形態の場合は、１回のみ行われる。最後に、ステップＳ９０４において最上層の処理を行い、ノイズ低減画像が生成され処理が終了する。

図７は最下層の処理の詳細である。ステップＳ１００１において合成比率補正値導出部１１０が最も縮小されたＮｍａｘ番目の縮小画像に対して、合成比率補正値を導出する。図８（ａ）は、合成比率補正値算出の詳細を示すフローチャートである。ステップＳ１１０１において低コントラスト領域抽出部５０１は、Ｎｍａｘ番目の縮小画像の各画素に対して低コントラスト領域を抽出するためのスコアを算出する。スコアは、前述の式（１）を用いて算出される。ステップＳ１１０２において合成比率補正値算出部５０２は、各画素のスコアに基づいて合成比率補正値を算出する。

ステップＳ１００２においてエッジ解析部１０８は、Ｎｍａｘ−１番目の縮小画像のエッジを解析する。図８（ｂ）にエッジ解析処理の詳細なフローチャートを示す。ステップＳ１２０１においてエッジ度算出部３０１は、一つ上の階層であるＮｍａｘ−１番目の縮小画像に対して、エッジ度を算出する。さらにステップＳ１２０２において合成比率導出部１０９は、Ｎｍａｘ−１番目の縮小画像における各画素のエッジに基づいて、合成比率を算出する。ここでは、エッジ度が高い画素については、Ｎｍａｘ−２番目の縮小画像の合成比率が高くなるように合成比率を算出する。所定の閾値とエッジ度とを比較し、エッジ度が所定の閾値以上の場合は、Ｎｍａｘ−２番目の縮小画像の合成比率を所定値（たとえば１．０）と導出してもよいし、エッジ度が大きくなるにつれて連続的に合成比率も大きく変化させてもよい。この場合、エッジ度と対応する合成比率とを対応づけたルックアップテーブル（ＬＵＴ）や式を用いて、エッジ度に応じた合成比率を導出することができる。

ステップＳ１００３において、Ｎｍａｘ−１番目の縮小画像のさらに一つ上の階層であるＮｍａｘ−２番目の縮小画像に対して、エッジ解析部１０８はエッジ度を算出し、合成比率導出部１０９はＮｍａｘ−２番目の縮小画像の各画素について合成比率を算出する。ここでは、Ｓ１２０２と同様の方法により合成比率を算出する。

ステップＳ１００４において合成比率決定部６０１は、ステップＳ１００２とＳ１００３で算出した合成比率と、ステップＳ１００１で算出した合成比率補正値に基づいて、合成比率を算出する。なお、Ｓ１００２とＳ１００３において算出された合成比率や合成比率補正値は、処理対象の画像の縮小率が異なるので、対応する画素数が異なる。そのため、下層階の縮小画像について算出された下層階の合成比率を拡大補間（例えばバイリニア補間）した後、最終的な合成比率を算出する。

図８（ｃ）はステップＳ１００４における合成比率算出処理の詳細である。ステップＳ１３０１においてブレンド部６０２は、ステップＳ１００２とステップＳ１００３において算出された合成比率をブレンドする。具体的には、式（２）の通りに合成比率をブレンドする。本実施形態はα＝０．５とする。

ここで、ＲＮ，Ｎ＋１（ｘ，ｙ）はブレンド後の合成比率で、ＲＮ（ｘ＋ｙ）とＲＮ＋１（ｘ＋ｙ）はそれぞれＮ番目のエッジ度から算出された合成比率とＮ＋１番目のエッジ度から算出された合成比率である。これらの合成比率は、エッジ度が高いほど値が大きくなるように定義されている。最下層の処理においては、Ｎ番目とはＮｍａｘ−２番目であり、Ｎ＋１番目はＮｍａｘ−１番目が適用される。本実施形態では、Ｎ番目とＮ＋１番目の合成比率の平均を算出する例を示したが、必ずしも平均に限定されない。上層階（ここではＮ番目）の合成比率に対する重みαは、０．２から０．５が望ましい。

ステップＳ１３０２において補正部６０３は、ステップＳ１３０１においてブレンドされた合成比率をステップＳ１００１において算出した合成比率補正値を用いて補正する。具体的には、式（３）の通りに補正値を加算する。

ここで、ＲＣ，Ｎ（ｘ，ｙ）はＮ番目とＮ＋１番目の画像を合成する際の、Ｎ番目の画像の合成比率であり、つまり、Ｎ番目の画像に乗じられる重みである。Ｎ＋１番目に乗じられる重みは、１−ＲＣ，Ｎ（ｘ，ｙ）である。また、ＲＬＣ，Ｎ＋２（ｘ，ｙ）はＮ＋２番目の階層の低コントラスト領域を抽出するためのスコアから算出した合成比率補正値である。ブレンド後の合成比率ＲＮ，Ｎ＋１（ｘ，ｙ）はエッジ度が高いほど値が大きく、また、合成比率補正値ＲＬＣ，Ｎ＋２（ｘ，ｙ）も低コントラスト領域で値が大きい。したがって、エッジ領域や低コントラスト領域で合成比率ＲＣ，Ｎ（ｘ，ｙ）が大きくなる。

ステップＳ１００５において合成部６０４は、ステップＳ１００４において算出した合成比率に基づいて、Ｎｍａｘ−１番目の縮小画像とＮｍａｘ−２番目の縮小画像とを画素毎に合成する。なお合成部６０４は、Ｎｍａｘ−１番目の縮小画像をＮｍａｘ−２番目の縮小画像のサイズに合わせて拡大した後に、対応する画素位置の画素値を合成する。本実施形態では、式（４）に基づいて合成する。

ここで、ＩＯ，Ｎ（ｘ，ｙ）はＮ番目の階層の画像、ＩＯ，Ｎ＋１（ｘ，ｙ）はＮ＋１番目の階層の画像である。このように合成することで、エッジや低コントラスト領域においては鮮鋭度の高い上の階層の割合を、平坦部ではノイズの少ない下の階層の割合を増やすことができる。以上で、最下層の処理を完了する。

図９はＮ番目の階層を対象とした、中間層の処理の詳細を示したフローチャートである。ステップＳ１４０１において合成比率補正値導出部５０１はＮ＋２番目の階層の合成比率補正値を導出する。ステップＳ１４０２においてエッジ解析部１０８は、Ｎ番目の縮小画像に対してエッジ情報算出し、エッジ情報に基づいて合成比率を算出する。ステップＳ１４０３において合成比率決定部６０１は、合成比率を算出する。ステップＳ１４０１、ステップＳ１４０２、ステップＳ１４０３における処理はそれぞれ、図８（ａ）、図８（ｂ）、図８（ｃ）に示す処理と入力される縮小画像が異なる以外は同等のため、詳細な説明を省略する。ステップＳ１４０４において合成部６０４は、ステップＳ１４０３において算出された合成比率に基づいて、Ｎ＋１番目の階層の合成画像とＮ番目の階層の縮小画像を合成する。図１０は最上層の処理フローチャートである。上側の階層の入力が縮小画像ではなく入力画像であることを除けば、処理の構造は中間層の処理と同等であるため、詳細な説明は省略する。

以上本実施形態によれば、縮小率の異なる複数の縮小画像を合成することにより、エッジ領域ではエッジを保存し、平坦部ではノイズを低減した画像を得ることができる。より鮮鋭度の高い上階層（縮小率が小さい）画像と、よりノイズ低減効果の強い下階層（縮小率が大きい）とを合成する際に、エッジ領域では上階層の合成比率を高く、平坦部では下階層の合成比率を小さく設定している。このとき式（２）に示す通り、２つの異なる縮小画像それぞれでエッジを解析した結果に基づいて導出された２つの合成比率をブレンドする。本来、エッジを検出するためには鮮鋭度の高い上層の縮小画像の方が望ましいが、ノイズが多すぎてエッジを正しく検出できない場合がある。たとえば、縦横４分の１に縮小した画像においてエッジを検出する。上層の画像と合成する際に、縮小画像を拡大すると、検出されたエッジが縮小前のエッジよりも太くなってしまう。特にコントラストが高いエッジ周辺ほど、その傾向が顕著である。そのため拡大によって太くなったエッジに基づいて合成比率を決定すると、エッジの周辺の本来は平坦部だった領域においても鮮鋭度の高い上層の画像の合成比率が大きくなってしまう場合がある。そこで本実施形態では、鮮鋭度の高い上層の画像におけるエッジに基づいて導出した合成比率と、鮮鋭度は劣るもののノイズが少ない下層の画像におけるエッジに基づいて導出した合成比率とをブレンドする。これにより、エッジの検出精度を高めることができる。

さらに本実施形態では、より下層の縮小画像（縮小率が高い）において低コントラスト領域を抽出し、低コントラスト領域のみにおいて値が大きくなるような合成比率補正値を合成比率に加算している。コントラストの低いエッジやテクスチャはノイズの影響を受けやすい。縮小率が高いほど縮小後の画像のノイズ量が低減するため、コントラストの低いエッジやテクスチャの検出率を高めるために、縮小率を大きくした縮小画像においてエッジ検出をおこなうことが考えられる。しかしながら、前述のとおり、大きい縮小率の縮小画像でエッジを検出し、検出結果を元のサイズの画像に拡大すると、拡大処理によって検出されたエッジが太くなってしまう。そのため、縮小によってエッジ検出率を向上させてもエッジ周辺の平坦部でノイズ低減効果が得られない。一方本実施形態では、高コントラストのエッジを解析する画像よりも縮小率が高い画像においては低コントラスト領域のみを検出し、低コントラスト領域の合成比率のみ合成比率補正値が加算される。（平坦領域や高コントラスト領域の場合、合成比率補正値は０に近い値が算出される。）これにより、エッジ付近の平坦領域におけるノイズ低減効果を落とすことなく、かつ高コントラスト領域の鮮鋭度を低下させることなく、低コントラスト領域において鮮鋭度を維持したままノイズを低減させることができる。なお、２つの合成比率はいずれも、エッジ領域に適した合成比率が導出されているため、ブレンドしてもエッジに適した合成比率を維持することができる。一方低コントラスト領域に特化した合成比率補正値は、高コントラスト領域では０に近い値が導出されるため、合成比率に対してブレンドしてしまうとエッジの合成比率を下げてしまうことになる。そのため本実施形態では、エッジの合成比率を下げることなく低コントラストの合成比率をあげるために、ブレンドではなく加算処理をおこなっている。

なお第１実施形態におけるエッジ解析部１０８は、エッジ度として水平方向および垂直方向の微分の絶対値の和を算出したが、これに限らない。エッジ度は、例えば、Ｓｏｂｅｌフィルタなどエッジ検出フィルタを適用した出力の絶対値でもよく、エッジの輝度差が大きいほど大きな値をとるような指標である。 また本実施形態では画像処理装置の形態として、カメラのように光学系と撮像センサーおよび画像処理を行う画像処理プロセッサーを有する形態を例として記載した。他にも、カメラ付きスマートホンやタブレットなどの形態でもよい。また、パソコンのようにカメラで撮影した画像を読み込んで画像処理を行うことでも形態でもよい。

また、式（１）に示したスコアの他にも、平坦領域、高コントラストエッジ、高コントラストテクスチャ領域などで小さな値をとり、低コントラスト領域で大きな値をとるものであればよい。上述の局所分散の代わりにエッジ度を用いた指標をｚとして、平坦部および高コントラストエッジでは小さくなるように関数Ｔ（ｚ）に代入した値もまた、スコアとしてもよい。これらは、処理速度や処理コストと性能のトレードオフの中で設計すればよい。

＜第２実施形態＞
実施形態１では撮影画像および縮小画像をそのまま合成していた。第２実施形態ではよりノイズ低減効果を高めるために、撮影画像および縮小画像に各々に対して重み付き平均化処理を導入する例を説明する。なお、第１実施形態と同様の構成については同じ符号を付し、詳細な説明を省略する。

第２実施形態における画像処理について図１１を用いて説明する。図１１は、第２実施形態における各画像と処理の関係を示す模式図である。本実施形態では、入力画像および複数の縮小画像にエッジの解析結果に応じた重み付き平均化処理を実行した後に合成している。図１２（ａ）は、第２実施形態における画像処理装置の論理構成を示すブロック図である。本実施形態では実施形態１の構成に加え、重み付き平均処理部１１９を有する。重み付き平均処理部１１９は、入力画像あるいは縮小画像に対して、重み付き平均処理を行う。また、図１２（ｂ）に示す通りエッジ解析部１０８はエッジ判定部３０２を有する。エッジ判定部３０２は、エッジの方向を判定する。本実施形態のエッジ解析部１０８はエッジ情報としてエッジ度とエッジ方向を出力する。重み付き平均処理部１１９は、エッジの方向に沿って重み付き平均を行い、鮮鋭度をできるだけ維持したままノイズを低減した重み付き平均画像を生成し出力する。合成処理部１１１の処理については第１実施形態と同じであるが、入力される画像が、撮影画像や縮小画像ではなく重み付き平均画像となっている。

以下、図１３〜図１６に示したフローチャートを用いて第２実施形態におけるノイズ低減処理の流れを説明する。処理の全体像は実施形態１の図６と同じである。図１３は最下層の処理フローを示している。

ステップＳ２１０１は実施形態１のステップＳ１００１と同様である。ステップＳ２１０２においてＮｍａｘ−１番目の縮小画像に対して、エッジ情報を算出し、重み付き平均処理を行い、さらに合成比率を算出する。ステップＳ１００２とは重み付き平均処理が存在する点が異なる。ステップＳ２１０３はＮｍａｘ−２番目の縮小画像に対して、ステップＳ２１０２と同様の処理を行う。ステップＳ２１０４では、ステップＳ２１０２とＳ２１０３で算出した合成比率と、ステップＳ２１０１で算出した合成比率補正値に基づいて合成比率を算出する。ステップＳ２１０５ではＮｍａｘ−１番目の重み付き平均画像をＮｍａｘ−２番目の重み付き平均画像のサイズに合わせて拡大し、ステップＳ２１０４で算出した合成比率に基づいて、Ｎｍａｘ−２番目の重み付き平均画像と合成する。

図１４はステップＳ２１０２とステップＳ２１０３において実行する処理の詳細である。ステップＳ２２０１では、入力される縮小画像に対して、エッジ解析処理を行い、エッジ度をエッジの方向を算出する。ステップＳ２２０２では、ステップＳ２２０１で算出されたエッジ度とエッジ方向に基づいて、重み付き平均処理を行う。ステップＳ２２０３では、ステップＳ２２０１で算出したエッジ度に基づいて、合成比率を算出する。

図１５はＮ番目の階層を対象とした、中間層の処理の詳細を示したものである。ステップＳ２３０１ではＮ＋２番目の階層の合成比率補正値を算出する。ステップＳ２３０２では、Ｎ番目の縮小画像に対してエッジ情報を算出し、それに基づいて重み付き平均処理を行い、さらに合成比率を算出する。ステップＳ２３０３では合成比率を算出する。ステップＳ２３０４では、ステップＳ２３０３で求めた合成比率に基づいて、Ｎ＋１番目の階層の合成画像とＮ番目の階層の重み付き平均画像を合成する。

図１６は最上層の処理の詳細である。上側の階層の入力が縮小画像ではなく撮影画像であることを除けば、図２３の中間層の処理と同等であるため、詳細な説明は省略する
以上のように、実施形態２では実施形態１の構成に加え、階層ごと重み付き平均処理を実行する。ＳＮの低い低コントラスト領域だけを検出し合成比率を補正する点は実施形態１と同様である。したがって、エッジ周辺のノイズ低減効果と低コントラスト領域の鮮鋭度を両立することができる。

＜第３実施形態＞
第１実施形態および第２実施形態では、最終的な合成比率はＮ番目の階層とＮ＋１番目の階層において算出した各合成比率とＮ＋２番目の階層において算出した合成比率補正値に基づいて算出していた。第３実施形態では、最終的な合成比率をＮ番目の仮想において算出した合成比率と、Ｎ＋１およびＮ＋２番目の階層において算出した合成比率補正値に基づいて算出する方法について説明する。

実施形態３における画像処理装置の構成はほぼ第２実施形態と同様である。合成比率補正値導出部１１０は、Ｎ＋１番目とＮ＋２番目の階層向けに、それぞれ異なる方法で低コントラスト領域合成比率補正値を算出する。第２実施形態と同様の構成については、同じ符号を付し、詳細な説明を省略する。

以下、図２６〜図３０に示したフローチャートを用いて第３実施形態におけるノイズ低減処理の流れを説明する。処理の全体像は実施形態１の図９と同じである。図１８は最下層の処理フローを示している。

ステップＳ２６０１は実施形態１のステップＳ１００１と同様である。ステップＳ２６０２において、Ｎｍａｘ−１番目の縮小画像に対して、ステップＳ１００１と同様の処理を行う。ステップＳ２６０３では、Ｎｍａｘ−１番目の縮小画像に対して、エッジ情報を算出し、重み付き平均算出処理を行う。ステップＳ２６０４は実施形態２のステップＳ２１０３と同様である。

ステップＳ２６０５では、ステップＳ２６０４で算出した合成比率と、ステップＳ２６０１とＳ２６０２で算出した合成比率補正値を用いて合成比率を算出する。ステップＳ２６０６ではＮｍａｘ−１番目の重み付き平均画像をＮｍａｘ−２番目の重み付き平均画像のサイズに合わせて拡大し、ステップＳ２６０５で算出した合成比率に基づいて、Ｎｍａｘ−２番目の重み付き平均画像と合成する。

図１９はステップＳ２６０３において行う処理の詳細である。実施形態２のステップＳ２１０３とは、合成比率を算出するステップがない点が異なる。

図２０はステップＳ２６０５における合成比率算出処理の詳細である。本実施形態では、Ｎ番目のエッジに基づいて算出された合成比率を、Ｎ＋１およびＮ＋２番目の低コントラスト領域に基づいて算出された合成比率補正値で補正する。具体的には、以下の式（５）に示すように、Ｎ番目の合成比率に、Ｎ＋１番目とＮ＋２番目の合成比率補正値を加算して算出すればよい。

そこで、本実施形態では図１７に示すように、２種類の低コントラスト領域合成比率があるものとして説明する。

図２１は中間層の処理の詳細である。Ｎ番目の階層において最終的に用いる合成比率の算出には、Ｎ番目のエッジに基づく合成比率とＮ＋１番目とＮ＋２番目の低コントラストに基づく領域合成比率補正値が必要である。このうち、Ｎ＋２番目の合成比率補正値に関しては、これより前の階層の処理で算出済みである。従って、ステップＳ２９０１においてＮ＋１番目の合成比率補正値を算出し、ステップＳ２９０２でＮ番目のエッジ領域に基づく合成比率を算出する。ステップＳ２９０２はステップＳ２１０３と同様で、エッジ情報と重み付き平均も算出する。ステップＳ２９０３は入力画像が異なる点以外は、ステップＳ２６０５と同様の処理である。ステップＳ２９０４もステップＳ２６０６と同様の合成処理である。

図２２は、最上層の処理の詳細である。中間層の処理と同様に、ステップＳ３００１にて１番目の縮小画像に対して、低コントラスト領域に基づく合成比率補正値を算出する。ステップＳ３００２にて、撮影画像に対してステップＳ２４０２と同様の処理を行う。ステップＳ２５０３は図２０に詳細を示した合成比率算出処理を行う。ステップＳ３００４では、ステップＳ３００３で算出した合成比率に基づいて、１番目の合成画像を拡大し、ステップＳ３００２で算出した重み付き平均画像と合成する。

以上のように本実施形態によれば、Ｎ＋１番目の階層の画像におけるエッジ検出結果が拡大によって太くなることによってエッジ周辺のノイズ低減効果が下がる現象をも避けることができる。当然、Ｎ＋２番目の階層での低コントラスト領域結果も用いるため、低コントラストのテクスチャ領域を従来よりもぼかすことなくノイズを低減できる。第３実施形態においてもエッジ周辺のノイズ低減効果と低コントラスト領域の鮮鋭度を両立でき、エッジ周辺のノイズ低減効果が低くなる領域の幅をより狭くすることができる。

＜その他の実施形態＞
前述の実施形態では、入力された画像に対して順に縮小処理を実行する例を説明した。しかしながら、入力画像と入力画像を所定の縮小率で縮小した縮小画像を取得できる場合は、必ずしも縮小処理を必要としない。

また、エッジに基づく合成比率と低コントラスト領域に基づく合成比率補正値をそれぞれ算出した後に、最終的に合成処理に用いる合成比率を算出した。例えば、第１実施形態の場合、Ｎ枚目の縮小画像とＮ＋１枚目の縮小画像それぞれのエッジ度とＮ＋２枚目の縮小画像におけるスコアの３つの値と、合成比率を対応づけたルックアップテーブルを用いてもよい。この場合、Ｎ枚目の縮小画像とＮ＋１枚目の縮小画像それぞれのエッジ度とＮ＋２枚目の縮小画像におけるスコアとから合成比率を導出できる。ルックアップテーブルにおいて２つのエッジ度と低コントラスト領域を抽出するためのスコアに対応づけられる合成比率は、前述の実施形態において説明した方法と同様に算出されることが望ましい。

また前述の実施形態では、ＣＰＵ１１５が所定のプログラムを実行するソフトウェアにより各処理を実現する場合を例に説明した。しかしながら例えば図１（ｂ）や図２、図３に示す各構成のすべてまたはその一部を、専用の画像処理回路（例えばＡＳＩＣ）として実現してもよい。

１０８ エッジ解析部
１０９ 合成比率導出部
１１０ 合成比率補正値導出部
１１１ 合成処理部

Claims (9)

1. 入力画像のノイズを低減する画像処理装置であって、
   第２縮小画像より高い解像度を有する第１縮小画像と前記第２縮小画像とを生成するために前記入力画像を縮小する生成手段と、
   前記第１縮小画像の第１エッジを検出し、前記第１縮小画像のそれぞれの画素について、前記第１エッジに対応する画素が高い確率となるときに大きな値となるインデックス値であるエッジ確率を算出する第１検出手段と、
   前記第２縮小画像の第２エッジを検出し、前記第２縮小画像のそれぞれの画素について、前記第２縮小画像の画素のコントラストが低い場合に大きい値を持ち、前記第２縮小画像の平坦部に対応する画素、または、前記第２縮小画像の画素のコントラストが高い画素である場合に小さい値を持つ低コントラストスコアを算出する第２検出手段と、
   前記入力画像と前記第１縮小画像とにノイズ低減処理を行う処理手段と、
   前記第１検出手段により算出されるエッジ確率と、前記第２検出手段により算出される低コントラストスコアとに基づいて、それぞれの画素に合成比率を決定し、前記合成比率を用いて、前記ノイズ低減された入力画像と前記ノイズ低減された第１縮小画像とを合成する合成手段とを
   有することを特徴とする画像処理装置。
2. 前記合成手段は、前記ノイズ低減された入力画像と前記ノイズ低減された第１縮小画像とを重み付けて合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、前記低コントラストスコアに基づいて、前記エッジ確率に応じた合成比率を補正することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記合成手段は、前記ノイズ低減された入力画像と前記ノイズ低減された第１縮小画像とのそれぞれに対してエッジ方向に沿って重みづけ平均処理を行うことにより前記合成を行うことを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
5. 前記第２検出手段は、処理対象とする画像において注目画素近傍の局所的な領域に含まれる画素の画素値の分散を算出し、該分散に基づいて前記低コントラストスコアを算出することを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
6. 前記低コントラストスコアは、ノイズ分散がとり得る値の場合は０の近傍とし、分散が大きくなるとともに増加し、所定の値で最大値に達する後、さらに分散が増加すると減少し０に近似する特性を有することを特徴とする請求項５に記載の画像処理装置。
7. 前記第２検出手段は、前記第２縮小画像と、前記第２縮小画像より低い低周波数成分に対応する第３の画像とから前記低コントラストスコアを抽出し、
   前記合成手段は、前記入力画像のエッジ確率、前記第１縮小画像の前記低コントラストスコア、前記第３の画像の前記低コントラストスコアとに基づいて、前記第１縮小画像と前記第２縮小画像とを合成することを特徴とする請求項１乃至請求項６の何れか一項に記載の画像処理装置。
8. コンピュータを請求項１乃至７のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
9. 入力画像のノイズを低減する画像処理方法であって、
   第２縮小画像より高い解像度を有する第１縮小画像と前記第２縮小画像とを生成するために前記入力画像を縮小し、
   前記第１縮小画像の第１エッジを検出し、前記第１縮小画像のそれぞれの画素について、前記第１エッジに対応する画素が高い確率となるときに大きな値となるインデックス値であるエッジ確率を算出し、
   前記第２縮小画像の第２エッジを検出し、前記第２縮小画像のそれぞれの画素について、前記第２縮小画像の画素のコントラストが低い場合に大きい値を持ち、前記第２縮小画像の平坦部に対応する画素、または、前記第２縮小画像の画素のコントラストが高い画素である場合に小さい値を持つ低コントラストスコアを算出し、
   前記入力画像と前記第１縮小画像とにノイズ低減処理を行い、
   前記算出されるエッジ確率と、前記算出される低コントラストスコアとに基づいて、それぞれの画素に合成比率を決定し、前記合成比率を用いて、前記ノイズ低減された入力画像と前記ノイズ低減された第１縮小画像とを合成することを特徴とする画像処理方法。

Images