JP7365206B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に画像に対するノイズ低減処理に関する。

撮像装置などを用いた撮像により得られたデジタル画像にはノイズが含まれる。このようなノイズを低減するための、画像に対するノイズ低減処理が知られている。特許文献１には、撮像画像からパッチ集合を生成し、パッチ集合に属する全てのパッチに対してノイズ低減処理を行い、ノイズ低減処理したパッチの合成処理を行うことにより、撮像画像のノイズを低減する手法が開示されている。

特開２０１３－０２６６６９号公報

従来のノイズ低減処理においては、処理の過程で高周波成分が失われることがある。このため、ユーザはノイズ低減処理により画像の鮮鋭性が低下した印象を受ける。

本発明は、鮮鋭性の低下を抑制しながら画像のノイズを低減することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
入力画像からノイズが低減されたノイズ低減画像を生成するノイズ低減手段と、
前記入力画像の高周波成分が強調された高周波強調画像を生成する抽出手段と、
前記高周波強調画像の各画素について、前記画素に対応する被写体の明るさに応じた範囲に画素値を制限する処理を行う補正手段と、
前記補正手段による処理後の高周波強調画像と前記ノイズ低減画像とに基づいて出力画像を生成する生成手段と、
を備える。

鮮鋭性の低下を抑制しながら画像のノイズを低減することができる。

一実施形態に係る画像処理装置のハードウェア構成例を示す図。 一実施形態に係る画像処理装置の機能構成例を示す図。 一実施形態に係る画像処理装置の機能構成例を示す図。 一実施形態に係る画像処理方法のフローチャート。 一実施形態に係る画像処理方法のフローチャート。 一実施形態に係る画像処理装置の機能構成例を示す図。 平滑化処理の一例を説明する図。 一実施形態に係る画像処理方法のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
実施形態１に係る画像処理装置は、入力画像に対してノイズ低減処理を行うことにより得られた画像に対して、入力画像の高周波成分が強調された高周波強調画像を用いた補正を行う。実施形態１では特に、高周波強調画像の各画素について、画素に対応する被写体の明るさに応じた範囲に画素値を制限する処理を行う。このような構成により、鮮鋭性の低下を抑制しながら画像のノイズを低減することができる。

本実施形態に係る画像処理装置は、プロセッサとメモリとを備えるコンピュータにより実現することができる。図１は、実施形態１に係る画像処理装置のハードウェア構成例を示すブロック図である。図１に示す画像処理装置は、ＣＰＵ１０１、ＲＡＭ１０２、記憶部１０３、汎用Ｉ／Ｆ（インタフェース）１０４、及び表示部１０８を有する。各構成は、メインバス１０９を介して相互に接続されている。また、画像処理装置には、汎用Ｉ／Ｆ１１０を介して、撮像装置１０５、入力装置１０６、及び外部メモリ１０７が接続されている。

ＣＰＵ１０１は、入力された画像、及び後述の処理を実現するプログラムに従って、各構成を制御する。記憶部１０３は、ＨＤＤ又はＳＳＤなどの記憶媒体である。記憶部１０３には、ＣＰＵ１０１が各処理を実行するためのコンピュータプログラムが格納されている。ＲＡＭ１０２は、入力された画像データ等を一時的に保持するバッファメモリ、又は、ＣＰＵ１０１の作業領域等として働く。ＣＰＵ１０１のようなプロセッサが、ＲＡＭ１０２又は記憶部１０３のようなメモリに格納されたプログラムを解釈及び実行し、命令に基づいた動作を行うことにより、後述する図２等に示される各部の機能を実現することができる。

撮像装置１０５はカメラ等の画像を撮像する装置であり、得られた撮像画像を情報処理装置に入力することができる。入力装置１０６は指示又はデータを受け取るための装置であり、例えば、ユーザが画像処理装置に指示を行うために用いるマウス又はキーボード等の装置である。外部メモリ１０７は、例えばメモリカード等の、データを格納する記憶媒体である。表示部１０８は情報を表示する機能を有するハードウェアであり、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等である。表示部１０８は、画像を表示することができ、また、ユーザが所望の指示を入力するために用いるユーザインターフェース（ＵＩ）を表示することができる。本実施形態に係る画像処理装置は、ユーザインタフェース及び入力装置１０６を介して入力されるユーザからの指示に従って、ＲＡＭ１０２に格納された画像に対して、後述する処理を実行することができる。後述する処理により得られたノイズ低減処理後の画像は、再びＲＡＭ１０２に格納される。ＲＡＭ１０２に格納されたノイズ低減処理後の画像は、ユーザからの指示に応じて、表示部１０８や外部メモリ１０７に出力することができる。

図２は、本実施形態に係る画像処理装置の論理構成例を示すブロック図である。本実施形態に係る画像処理装置は、ノイズ低減部２１０、抽出部２２０、及び画像生成部２３０を備える。

ノイズ低減部２１０は、入力画像２００を取得し、入力画像２００からノイズが低減されたノイズ低減画像を生成する。本実施形態において、入力画像２００は、互いに異なる種類の色情報を表す複数の種類の画素が１つのプレーンに配列されている画像であり、具体的にはＲａｗ形式の画像である。Ｒａｗ形式の画像とは、１プレーンの画像のことである。プレーンとは、各画素が持つ情報の種類の数を指す。１プレーンの画像は各画素に１種類の情報を持ち、３プレーンの画像は各画素に３種類の情報を持つ。例えば、ＲＧＢ画像は３プレーンの画像であり、ＲＧＢα画像は４プレーンの画像である。本実施形態において、入力画像２００はＢａｙｅｒ配列の画像、すなわちＢａｙｅｒ配列の撮像素子を用いて得られた画像であるが、入力画像２００はＢａｙｅｒ配列の画像に限定されない。また、本実施形態において、入力画像２００がＲａｗ形式の画像であることは必須ではない。

ノイズ低減部２１０がノイズ低減のために用いるノイズ低減処理の手法は特に限定されない。例えば、特許文献１に記載の手法を採用してもよい。本実施形態において、ノイズ低減部２１０は、以下の手法を用いてノイズ低減処理を行う。ノイズ低減部２１０は、まず、入力画像２００中の複数の画素からなる領域を着目パッチとして設定し、その着目パッチ毎に、着目パッチに類似する類似パッチ群を生成する。次に、ノイズ低減部２１０は、類似パッチ群の各画素の平均値を算出し、各類似パッチの任意の２つの画素値の積の、類似パッチ群の全てについての和をとることにより共分散行列を算出する。ノイズ低減部２１０は、この平均値と共分散行列とから固有値及び固有ベクトルを求める。また、ノイズ低減部２１０は、この固有値及び固有ベクトルに基づき、類似パッチ群に対応する基底行列を生成する。ノイズ低減部２１０は、各画素の平均値及び基底行列に基づいて、類似パッチに対する射影処理を行うことにより、各類似パッチのノイズ除去を行い、ノイズ除去パッチ群を得る。そして、ノイズ低減部２１０は、ノイズ除去パッチ群を合成することにより、ノイズ低減画像を生成する。このような合成処理はアグリゲーションなどと呼ばれている。具体的には、ノイズ低減部２１０はノイズ除去パッチ群のそれぞれを入力画像における元のパッチ位置に戻し、複数のパッチが重なる画素については平均又は類似度に基づく加重平均を行うことにより、合成処理を行うことができる。

抽出部２２０は、入力画像２００の高周波成分が強調された高周波強調画像を生成する。この高周波強調画像は、ノイズ低減処理により失われやすいエッジ成分を含むことができ、また一定のノイズ成分を含んでいるかもしれない。したがって、高周波強調画像のことを、エッジノイズ混合画像と呼ぶことができる。本実施形態において、抽出部２２０は、入力画像２００とノイズ低減画像とに基づいて高周波強調画像を抽出する。

本実施形態に係る抽出部２２０は、図３（Ａ）に示すように、差分画像生成部２２２と、差分画像処理部２２３とを備える。

差分画像生成部２２２は、入力画像２００と、ノイズ低減画像と、の差分画像を生成する。差分画像生成部２２２は、同じ画素位置にある、入力画像２００の画素の画素値から、差分画像の画素の画素値を引くことにより、差分画像を得ることができる。差分画像は、入力画像２００と、入力画像２００に対してノイズ低減処理を行うことで得られる画像と、の差分を示す。ノイズ低減処理によれば高周波成分（エッジ成分及びノイズ成分）が減弱するため、差分画像は、入力画像２００の高周波成分（エッジ成分及びノイズ成分）を示す。こうして得られた差分画像は、入力画像２００の高周波成分が強調された高周波強調画像にあたる。このようなエッジ成分を含む高周波強調画像を用いて、後述するようにノイズ低減処理後の画像を補正することにより、得られる出力画像の鮮鋭性を向上させることができる。

差分画像処理部２２３は、高周波強調画像の各画素について、画素に対応する被写体の明るさに応じた範囲に画素値を制限する処理を行う。センサを用いて撮像を行う場合、撮像画像には光量に依存したノイズが重畳する。このため、ノイズ量が大きくなる明部において、差分画像に振幅の大きなノイズが混入する可能性がある。差分画像処理部２２３は、このような被写体の明るさに依存して生じるノイズに対処する機能を有する。

差分画像処理部２２３は、図３（Ｂ）に示すように、クリップ値算出部２２３ａ及びクリップ処理部２２３ｂを有する。クリップ値算出部２２３ａは、被写体の明るさに応じたクリップ値ＣｌｉｐＶａｌｕｅを算出する。上述のように、ノイズ量は、センサに入射した光量、すなわち被写体の明るさに依存すると考えられる。また、被写体の明るさは、ノイズ低減画像又は入力画像２００を参照することにより得ることができる。本実施形態においてクリップ値算出部２２３ａは、ノイズ低減画像の対応する画素の画素値Ｉに対して式（１）（２）を適用することにより、差分画像に適用する画素ごとのクリップ値ＣｌｉｐＶａｌｕｅを得ることができる。
σ ＝ √（Ｋ×（Ｉ－Ｉ０）） …（１）
ＣｌｉｐＶａｌｕｅ ＝ Ｒ×σ …（２）

式（１）において、Ｋ及びＩ０は、入力画像２００を撮像したセンサのノイズ特性を表す。これらのノイズ特性を表すパラメータは、ノイズ評価用のチャートを撮影して解析する等の作業（処理）を行うことで、事前に推定することができる。σは、各画素についてのノイズ標準偏差を表す。Ｒは、クリップ値を調整するためのパラメータであり、事前に決定しておくことができる。

クリップ処理部２２３ｂは、高周波強調画像の各画素について、画素に対応する被写体の明るさに応じた範囲に画素値を制限する処理を行う。画素値を制限するための具体的な手法は特に限定されないが、例えばクリップ処理部２２３ｂは、高周波強調画像の各画素について、画素に対応する被写体の明るさに応じた範囲から外れている画素値を、範囲を定める上限値又は下限値に変更することができる。本実施形態においてクリップ処理部２２３ｂは、クリップ値算出部２２３ａが求めたクリップ値ＣｌｉｐＶａｌｕｅに基づき、差分画像をクリップすることにより、クリップ後画像ｄｃを得る。こうして得られたクリップ後画像も、入力画像２００の高周波成分が強調された高周波強調画像にあたる。本実施形態では、こうして得られたクリップ後画像ｄｃが、高周波成分画像として画像生成部２３０に入力される。クリップ処理部２２３ｂは、式（３）に従って処理を行うことができる。式（３）において、ｄは差分画像の画素値を表す。

このように、クリップ処理部２２３ｂは、被写体の明るさに応じて定められた－ＣｌｉｐＶａｌｕｅから＋ＣｌｉｐＶａｌｕｅまでの範囲に、クリップ後画像の画素値を制限する非線形処理を行っている。このような構成により、この範囲を超える振幅の大きなノイズを抑制し、高周波強調画像をノイズ低減画像に加算した後に点状のノイズ（ごま塩ノイズ）が生じることを抑制することができる。とりわけ、本実施形態においては、被写体が暗いほどこの範囲を小さくすることにより、暗領域におけるノイズを効果的に抑制することができる。

画像生成部２３０は、差分画像処理部２２３による処理後の高周波強調画像とノイズ低減画像とに基づいて出力画像を生成する。画像生成部２３０は、図３（Ｃ）に示すように、ブレンド処理部２３２を備える。また、画像生成部２３０は、デモザイク処理部２３１を備えていてもよい。

ブレンド処理部２３２は、高周波成分画像を用いて、ノイズ低減画像を補正する。一実施形態において、ブレンド処理部２３２は、高周波成分画像とノイズ低減画像とを加算することにより、補正されたノイズ低減画像であるブレンド画像を生成することができる。

一方で、本実施形態において、ブレンド処理部２３２は、高周波成分画像に対して被写体の明るさに応じたゲイン値を乗算してから、ノイズ低減画像との加算を行う。本実施形態においてブレンド処理部２３２は、図３（Ｄ）に示すように、ゲイン算出部２３２ａと、ゲイン乗算部２３２ｂと、加算処理部２３２ｃと、を備える。

ゲイン算出部２３２ａは、各画素に対応する被写体の明るさを判定する。被写体の明るさは、ノイズ低減画像又は入力画像２００を参照することにより得ることができる。ゲイン算出部２３２ａは、さらに、判定された各画素に対応する被写体の明るさに基づいて、ゲイン値を算出する。本実施形態において、ゲイン算出部２３２ａは、各画素に対応する、ノイズ低減画像の対応する画素の輝度値を、被写体の明るさとして取得し、この値に基づいて、各画素についてのゲイン値を算出することができる。このゲイン値は、被写体の明るさが大きいほど小さくなり、明るさがが小さいほど大きくなるように、各画素について定められる。例えば、このゲイン値は、ノイズ低減画像の画素値ごとに予め設定されていてもよい。

ゲイン乗算部２３２ｂは、ゲイン算出部２３２ａが算出したゲイン値を用いて、高周波成分画像を補正する。具体的には、ゲイン乗算部２３２ｂは、高周波成分画像の各画素の画素値に対して、この画素に対応するゲイン値を乗算することができる。すなわち、本実施形態においては、高周波成分画像のうち、より暗い被写体の部分に対してより大きいゲインが適用される。

なお、ゲイン乗算部２３２ｂは、その他の画素ごとに設定されたゲインを用いることもできる。例えば、ゲイン値は、事前に決定された係数、像高に依存する係数、又は画素値に依存する係数であってもよい。

加算処理部２３２ｃは、ゲイン乗算部２３２ｂによって補正された高周波成分画像を、ノイズ低減画像に加算することにより、ブレンド画像を生成する。自然画像においては、暗い被写体の像はコントラストが低くなる傾向がある。コントラストの低い像に対するノイズ低減処理は容易ではなく、十分にノイズ低減処理を行うと画像の鮮鋭性が大きく低下する傾向がある。本実施形態のように、被写体の明るさに応じたゲインを用いて補正された高周波成分画像をノイズ低減画像に加算することにより、より暗い被写体の高周波成分を強く回復させ、鮮鋭性を向上させることができる。

上記の処理により、ノイズ低減画像の鮮鋭性を向上させることができる。画像生成部２３０は、ブレンド処理部２３２がノイズ低減画像を補正することにより得られたブレンド画像を出力画像として出力してもよい。この場合、デモザイク処理部２３１は不要である。一方で、例えば入力画像がＲａｗ形式の画像である場合、デモザイク処理部２３１は、ブレンド画像に対してデモザイク処理を行ってもよい。この場合、画像生成部２３０は、デモザイク処理後のデモザイク画像を出力画像として出力することができる。

デモザイク処理部２３１は、ブレンド処理部２３２による補正後のノイズ低減画像であるブレンド画像に対するデモザイク処理を行う。デモザイク処理とは、１つのプレーンを有する画像を、それぞれ１種類の色情報を表す複数のプレーンを有するデモザイク画像に変換する処理のことをいう。例えば、デモザイク処理部２３１は、Ｒａｗ形式の画像を、ＹＵＶ画像、Ｌ＊ａ＊ｂ＊画像、ＲＧＢ画像、又はＹＭＣＫ画像などに変換することができる。

以下では、デモザイク処理部２３１がＲａｗ形式のブレンド画像をＹＵＶ形式に変換する場合の具体的な処理例を説明する。上記の通り、入力画像２００はＢａｙｅｒ画像であるから、ブレンド画像もＢａｙｅｒ画像である。デモザイク処理部２３１は、着目画素について、着目画素の色以外の色を、周囲の近傍８画素を用いた線形補完により決定する。例えば着目画素がＲ（赤）である場合、Ｇ（緑）とＢ（青）の補完が必要となる。Ｇの補完を行う場合は、着目画素の上・下・左・右の４つのＧ画素を用いて線形補完を行う。Ｂの補完を行う場合は、右斜め上・右斜め下・左斜め上・左斜め下の４つのＢ画素を用いて線形補完を行う。このような線形補完の結果、着目画素についてＲＧＢの画素値が得られ、すなわちＲＧＢ画像が生成される。デモザイク処理部２３１は、こうして得られたＲＧＢ画像をＹＵＶ画像へと変換する。この変換は、式（４）～（６）に従って、各画素の画素値に係数を乗じることにより行うことができる。
Ｙ ＝ ０．２１２６×Ｒ ＋ ０．７１５２×Ｇ ＋ ０．０７２２×Ｂ ……（４）
Ｕ ＝ －０．１１４５７２×Ｒ － ０．３８５４２８×Ｇ ＋ ０．５×Ｂ ……（５）
Ｖ ＝ ０．５×Ｒ － ０．４５４１５３×Ｇ － ０．０４５８４７×Ｂ ……（６）

以下、図４，５のフローチャートを参照して、本実施形態に係る画像処理方法の流れを説明する。ステップＳ５１０において、ノイズ低減部２１０は入力画像２００を読み込む。ステップＳ５２０において、ノイズ低減部２１０は、上述のように入力画像２００のノイズを低減することによりノイズ低減画像を得る。

ステップＳ５３０において、抽出部２２０は、上述のように入力画像２００の高周波成分が強調された高周波強調画像を生成する。図５（Ａ）は、ステップＳ５３０の詳細な処理の流れを示す。ステップＳ５３１において差分画像生成部２２２は、上述のように入力画像２００とノイズ低減画像に基づいて差分画像を得る。ステップＳ５３２においてクリップ値算出部２２３ａは、上述のようにノイズ低減画像に基づいてクリップ値を算出する。ステップＳ５３３においてクリップ処理部２２３ｂは、上述のように差分画像に対してクリップ値に基づくクリップ処理を行うことにより高周波成分画像を得る。

ステップＳ５４０において画像生成部２３０は、ノイズ低減画像と高周波成分画像から出力画像を得る。図５（Ｂ）は、ステップＳ５４０の詳細な処理の流れを示す。ステップＳ５４１においてゲイン算出部２３２ａは、上述のように、ノイズ低減画像に基づいてゲイン値を算出する。ステップＳ５４２においてゲイン乗算部２３２ｂは、上述のように高周波成分画像にゲイン値を乗算する。ステップＳ５４３において加算処理部２３２ｃは、上述のようにノイズ低減画像とゲイン値が乗算された高周波成分画像とを加算することにより、ブレンド画像を得る。ステップＳ５４４においてデモザイク処理部２３１は、ブレンド画像に対してデモザイク処理を行うことにより、出力画像を得る。

以上のように、本実施形態では、クリップ処理によりエッジ成分の比率を相対的に向上した高周波成分画像を用いてノイズ低減画像を補正することで、入力画像の鮮鋭性を維持しながらノイズを低減することができる。また、画素ごとに異なる標準偏差のノイズが重畳している場合でも、想定されるノイズ量に基づいたクリップを行うことで良好な画質を実現する。

なお、本実施形態において、差分画像処理部２２３は、高周波強調画像の各画素について、画素に対応する被写体の明るさに応じた範囲に画素値を制限する処理を行うことにより、被写体の明るさに依存して生じるノイズに対処した。また、ブレンド処理部２３２は、高周波成分画像に対して被写体の明るさに応じたゲイン値を乗算することにより、被写体の明るさに応じた画像の鮮鋭性低下に対処した。一方で、これらの双方を採用することは必須ではない。また、高周波強調画像の各画素について、画素に対応する被写体の明るさに応じた補正を行う別の手法を採用することも可能である。この際には、出力画像の鮮鋭性又は審美性が向上するように、非線形処理を採用することもできる。

［実施形態２］
実施形態２では、Ｒａｗ形式の画像をデモザイクすることにより得られるデモザイク画像に対して、高周波強調画像をブレンドする。デモザイク処理において行われる補完により、高周波成分が失われることがあるが、このような構成により、高周波成分が加算された画像に対してデモザイク処理を行う場合と比較して、出力画像に含まれる高周波成分量を増加させることができる。また、実施形態２では、高周波強調画像のエッジ成分の比率を高める処理を行う。ノイズ低減処理において大部分のノイズを除去できている場合、高周波強調画像のエッジ成分がノイズに比べて相対的に少なくなるが、高周波強調画像のエッジ成分の比率を高めることにより、出力画像の鮮鋭性向上率を高めることができる。しかしながら、これらの双方を採用することは必須ではない。

実施形態２に係る画像処理装置の構成は、実施形態１と類似しているが、抽出部２２０及び画像生成部２３０の処理及び構成が異なる。以下では、実施形態１との差異点を中心に説明し、実施形態１と共通する部分の説明は省略することがある。

本実施形態において、抽出部２２０は、図６（Ａ）に示すように、差分画像生成部２２２及び差分画像処理部２２３に加えて、平滑化処理部２２１を備える。平滑化処理部２２１は、ノイズ低減画像に対する平滑化処理を行う。例えば、平滑化処理部２２１は、フィルタ処理を行うことによりノイズ低減画像の平滑化を行うことができる。また、平滑化処理部２２１は、２次元フーリエ変換－高周波マスク－２次元逆フーリエ変換のような、別の手法を用いた平滑化処理を行ってもよい。ここで、平滑化処理部２２１は、レンジフィルタ又はバイラテラルフィルタ等を活用した、高周波成分を減弱させる非線形処理を行うことにより、エッジ成分又はテクスチャ成分を適応的に減弱させてもよい。

平滑化処理部２２１の具体的な処理例を以下に説明する。平滑化処理部２２１は、ノイズ低減画像中に着目画素（ｉ，ｊ）を設定し、着目画素を中心とした５×５画素の範囲の中の着目画素と同色の画素と着目画素の画素値に基づき、式（１）に従って重み付き平均値Ａ（ｉ，ｊ）を得る。式（７）において、Ｉ（ｉ，ｊ）は、画素（ｉ，ｊ）の画素値を示す。図７（Ａ）、（Ｂ）、及び（Ｃ）は、着目画素がＲ画素、Ｇ画素、及びＢ画素であるそれぞれの場合について、Ｂａｙｅｒ画像であるノイズ低減画像の着目画素と、着目画素と同色の画素と、の位置関係を示す。ノイズ低減画像の全画素を順次着目画素に設定しながらこの処理を繰り返すことにより、画素（ｉ，ｊ）に重み付き平均値Ａ（ｉ，ｊ）を有する平滑化処理後の画像が得られる。

差分画像生成部２２２は、入力画像２００と、平滑化処理後のノイズ低減画像と、の差分画像を生成することを除き、実施形態１と同様の処理を行う。差分画像処理部２２３も実施形態１と同様の処理を行う。このように、ノイズ低減画像に対して平滑化処理を行うことにより、ノイズ低減処理後の画像からエッジ成分の少なくとも一部が減少するため、差分画像が有する入力画像２００のエッジ成分を増加させることができる。このため、高周波成分画像におけるエッジ成分の比率が向上し、出力画像の鮮鋭性を向上させることができる。

本実施形態において、画像生成部２３０は、図６（Ｂ）に示すように、デモザイク処理部２３１と、ミックス処理部２３３とを備える。デモザイク処理部２３１は、ノイズ低減画像に対してデモザイク処理を行うことを除き、実施形態１と同様の処理を行う。

ミックス処理部２３３は、高周波強調画像を用いて、デモザイク処理部２３１によるデモザイク処理により得られたデモザイク画像を補正することにより、出力画像を生成する。ここで、ミックス処理部２３３は、デモザイク画像の各プレーンに対して、異なる方法で補正を行うことができる。例えば、ミックス処理部２３３は、デモザイク画像の各プレーンに対し、プレーンごとに設定された混合比率で、高周波強調画像を合成することができる。ここで、いくつかのプレーンについての混合比率を０に設定することができる。すなわち、ミックス処理部２３３は、デモザイク画像が有する２以上のプレーンから選択された一部のプレーンに対して選択的に高周波強調画像を加算することができ、残りのプレーンに対しては高周波強調画像を加算しなくてもよい。

本実施形態においてミックス処理部２３３は、高周波成分画像を、デモザイク後画像のＹプレーンのみに加算することにより、出力画像を生成する。ここで、Ｕプレーン及びＶプレーンの補正は行われない。このように、Ｙプレーンのみに高周波強調画像を加算することにより、ノイズを低減させつつ鮮鋭性を良好に保つことができる。人間の視覚特性を考慮すると、ノイズ成分の存在が与える審美性への悪影響は、輝度情報を表すＹプレーンでは小さい一方で、色差情報を表すＵＶプレーンでは大きい。また、信号の鮮鋭性（エッジ成分が大きいこと）が与える審美性への好影響は、Ｙプレーンでは大きく、ＵＶプレーンでは小さい。このため、エッジ成分及びノイズ成分を含む高周波強調画像をＹプレーンのみに加えることで、ノイズ成分が与える画像への悪影響を抑えながら、エッジ成分が与える画像への好影響を大きくすることができる。

ところで、ＲＧＢ画素のそれぞれの感度差のために、高周波成分画像はＢａｙｅｒ配列に従う市松模様状の明暗パターンを有しているかもしれない。そこで、ミックス処理部２３３は、高周波成分画像のような高周波強調画像の各画素について、画素の種類に応じた補正を行ってから、高周波強調画像を用いたデモザイク後画像の補正を行うことができる。上述のように、本実施形態において入力画像はＲａｗ形式の画像である。Ｒａｗ形式の画像の各画素は複数の種類の画素（例えばＲ，Ｇ，Ｂ）に分類され、互いに異なる種類の画素の画素値は、互いに異なる分光感度特性を有する撮像画素（例えばＲ，Ｇ，Ｂ）によって得られている。そこで、ミックス処理部２３３は、高周波成分画像の各画素の画素値に対して、画素ごとに設定されたゲイン値を乗じることにより、高周波成分画像を補正することができる。本実施形態において、このゲイン値は、Ｒ画素、Ｇ画素、及びＢ画素のそれぞれについて異なる値が用いられる。例えば、ゲイン値として、Ｒ画素、Ｇ画素、及びＢ画素のそれぞれについてのホワイトバランス係数を用いることができる。このように高周波成分画像の補正を行うことにより、Ｂａｙｅｒ配列に従う明暗パターンを抑制することができる。また、ミックス処理部２３３は、実施形態１のゲイン算出部２３２ａと同様に算出したゲイン値と、上記の画素ごとに設定されたゲイン値と、の双方を、高周波成分画像の各画素の画素値に乗じてもよい。

以下、図４，５，８のフローチャートを参照して、本実施形態に係る画像処理方法の流れを説明する。ステップＳ５１０，Ｓ５２０，Ｓ５３２，Ｓ５３３の処理は実施形態１と同様である。ステップＳ５３１において、平滑化処理部２２１は上述のようにノイズ低減画像に対して平滑化処理を行い、差分画像生成部２２２は入力画像２００からから平滑化処理後のノイズ低減画像を引くことで差分画像を生成する。ステップＳ５４０において画像生成部２３０は、ノイズ低減画像と高周波成分画像から出力画像を得る。図８は、本実施形態におけるステップＳ５４０の詳細な処理の流れを示す。ステップＳ５４６においてデモザイク処理部２３１は、上述のようにノイズ低減画像に対するデモザイク処理によりデモザイク後画像を得る。ステップＳ５４７においてミックス処理部２３３は、上述のようにデモザイク後画像のＹプレーンを高周波成分画像を用いて補正することにより、出力画像を得る。このように、高周波成分画像を用いてデモザイク画像を補正することにより、出力画像の鮮鋭性を向上させることができる。

（その他の実施例）
上述の実施形態では、図２等に示される画像処理装置の各機能はコンピュータによって実現された。しかしながら、画像処理装置が有する一部又は全部の機能が専用のハードウェア又は画像処理回路によって実現されてもよい。また、本発明の一実施形態に係る画像処理装置は、例えばネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２１０：ノイズ低減部、２２０：抽出部、２２２：差分画像生成部、２２３：差分画像処理部、２２３ａ：クリップ値算出部、２２３ｂ：クリップ処理部、２３０：画像生成部

Claims (14)

1. 入力画像からノイズが低減されたノイズ低減画像を生成するノイズ低減手段と、
   前記入力画像の高周波成分が強調された高周波強調画像を生成する抽出手段と、
   前記高周波強調画像の各画素について、前記画素に対応する被写体の明るさに応じた範囲に画素値を制限する処理を行う補正手段と、
   前記補正手段による処理後の高周波強調画像と前記ノイズ低減画像とに基づいて出力画像を生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記補正手段は、前記高周波強調画像の各画素について、前記画素に対応する被写体の明るさに応じた範囲から外れている画素値を、前記範囲を定める上限値又は下限値に変更することを特徴とする、請求項１に記載の画像処理装置。
3. 前記補正手段は、前記高周波強調画像の各画素について、前記入力画像又は前記ノイズ低減画像の対応する画素値に基づいて、前記画素に対応する被写体の明るさに応じた範囲を設定することを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記生成手段は、前記高周波強調画像の、対応する被写体がより暗い画素の画素値に対して、より大きなゲインを適用することを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、前記高周波強調画像の各画素について、前記入力画像又は前記ノイズ低減画像の対応する画素値に基づいて、前記ゲインを設定することを特徴とする、請求項４に記載の画像処理装置。
6. 前記抽出手段は、前記入力画像と前記ノイズ低減画像との差分画像から前記高周波強調画像を生成することを特徴とする、請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記抽出手段は、前記入力画像と、前記ノイズ低減画像に対するフィルタ処理により得られた画像と、の差分画像から前記高周波強調画像を生成することを特徴とする、請求項１から５のいずれか１項に記載の画像処理装置。
8. 前記抽出手段は、前記入力画像と、前記ノイズ低減画像に対する高周波成分を減弱させる非線形処理により得られた画像と、の差分画像から前記高周波強調画像を生成することを特徴とする、請求項１から５のいずれか１項に記載の画像処理装置。
9. 前記抽出手段は、前記差分画像の高周波成分を抽出することにより、前記高周波強調画像を生成することを特徴とする、請求項６から８のいずれか１項に記載の画像処理装置。
10. 前記入力画像は、互いに異なる種類の色情報を表す複数の種類の画素が１つのプレーンに配列されている画像であり、
    前記生成手段は、前記ノイズ低減画像を前記補正手段による処理後の高周波強調画像を用いて補正し、補正後の画像に対してデモザイク処理を行うことにより、それぞれ１種類の色情報を表す複数のプレーンを有する前記出力画像を生成する
    ことを特徴とする、請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記入力画像はＲａｗ形式の画像であることを特徴とする、請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記入力画像はＢａｙｅｒ画像であることを特徴とする、請求項１から１１のいずれか１項に記載の画像処理装置。
13. 入力画像からノイズが低減されたノイズ低減画像を生成する工程と、
    前記入力画像の高周波成分が強調された高周波強調画像を生成する工程と、
    前記高周波強調画像の各画素について、前記画素に対応する被写体の明るさに応じた範囲に画素値を制限する処理を行う工程と、
    前記画素値を制限する処理後の高周波強調画像と前記ノイズ低減画像とに基づいて出力画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
14. コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images