JP5880121B2 - 画像処理装置 - Google Patents

Description

本発明は、画像データに含まれるノイズを低減する機能を備える画像処理装置に関するものである。

デジタルカメラやスキャナ等の撮像装置により撮影された画像データ（以下、「画像」ともいう。）には、撮像装置に含まれる撮像素子や回路の特性上、ショットノイズ、暗電流ノイズなどのノイズが含まれる。これら撮影された画像から高画質の画像を得るために、画像中のノイズを低減する必要がある。

しかし、画像に対して単純にローパスフィルタを用いてノイズを低減すると、エッジなどの画像中の重要な要素も同時に失われてしまい、画質が劣化する。そこで、画像データのノイズ低減においては、画像の領域の特性に応じて、適応的にノイズ低減を行うことが必要となる。

画像データに関するノイズ低減技術の一つとして、εフィルタが考案されている（非特許文献１参照。）。εフィルタでは、注目画素との信号差が一定閾値以下となる周辺画素をフィルタ処理に用いることで、エッジなどの信号差の大きい成分を保存しつつノイズを低減することができる。

また、カラー画像に対する信号依存性のノイズ低減を、より少ない計算コストで実現する技術が知られている（特許文献１参照。）。この特許文献１の技術は、εフィルタに準ずる原理で注目画素周辺の類似画素群を選択して、その類似画素群の性質をεフィルタの演算結果と処理対象画素値との差分の変換処理に反映させる。このような特許文献１の技術は、エッジ以外で細かな信号差が発生することで目立ちやすい画像中の輝度ノイズに対しては有用である。

しかし、特許文献１の技術は、色ノイズのような、注目画素と周辺画素との信号差が小さく広範囲に及ぶノイズに対しては周辺の参照画素数が少なく、除去効果が弱い。一方で、注目画素と周辺画素との信号差が小さいノイズに対してノイズ除去効果を高めるため、ノイズ除去に用いる参照画素数を増やすとフレームメモリの容量が大きくなる。そのため、特許文献１の技術には、ハード構成のサイズやコストが増加してしまうという課題がある。

本発明は上記の課題に鑑みてなされたものであって、注目画素と周辺画素との信号差が小さいノイズであっても効率よくノイズ除去を行うことができる画像処理装置を提供することを目的とする。

本発明は、処理対象画像において注目画素を含んだ処理対象エリア内で注目画素と周辺画素の信号値を比較して類似度の高い画素を抽出し、抽出した画素を用いてフィルタリング処理を演算するフィルタリング手段と、フィルタリング手段により得られたフィルタリング処理の結果を新たな注目画素の信号値としてフィルタリング処理が繰り返され、処理対象画素又は処理対象エリアの所定条件によりフィルタリング処理の繰り返し回数を決定する処理回数決定手段と、を有してなることを特徴とする画像処理装置である。

本発明によれば、注目画素と周辺画素との信号差が小さく広範囲に及ぶノイズであっても効率よくノイズ除去を行うことができる。

本発明に係る画像処理装置の実施の形態を示す画像処理装置としての撮像装置の正面図である。 上記画像処理装置の上面図である。 上記画像処理装置の例を示す背面図である。 上記画像処理装置の電気的制御系統の例を示す機能ブロック図である。 上記画像処理装置の画像処理部の機能ブロック図である。 上記画像処理装置のノイズ低減処理を示すフローチャートである。 上記画像処理装置の画像フィルタリング処理の一例を示す図である。 平均値と、分散の算出を模式的に説明する図である。 上記画像フィルタリング処理における信号値（画素値）に対するノイズの分散を示すグラフである。 上記画像フィルタリング処理における類似画素群平均値に対するノイズ量の推定関数を示すグラフである。 平均値と処理対象画素値との差分を一次元の特定方向に射影して加重加算を行う一例を示す図である。 上記ノイズ低減処理における画像フィルタリング処理の繰り返し回数に対するノイズ量の推定関数を示すグラフである。 上記画像処理装置のノイズ低減処理における画像フィルタリング処理の繰り返し回数を決定するテーブルの一例を示す図である。 上記ノイズ低減処理における処理対象画像の領域分割の一例を示す図である。 上記処理対象画像の領域分割した場合の領域ごとの繰り返し回数の一例を示す図である。 上記領域分割によるノイズ低減処理についてフォーカスポイントと処理対象領域との距離の測定の一例を示す図である。 上記領域分割による画像フィルタリング処理の繰り返し回数を決定するテーブルの一例を示す図である。 ベイヤー配列の一例を示す図である。

以下、本発明に係る画像処理装置の実施の形態について、図面を参照しながら説明する。

なお、本発明に係る画像処理装置は、後述するように、撮像装置が撮影した画像データのノイズを低減処理する装置である。画像処理装置の実現方法としては、処理対象の画像データを撮影する撮像装置の一機能として実現されるようにしてもよいし、あるいは、画像処理装置は撮像装置とは別の装置として実現されるようにしてもよい。ここで、以下の説明では、撮像装置が画像処理装置して実現される場合を例に説明する。

[画像処理装置の実施の形態]
図１は、画像処理装置の実施の形態を示す図であり、画像処理装置としての撮像装置の正面図である。図１において、撮像装置１の筐体であるカメラボディＣＢの正面には、ストロボ発光部３、ファインダ４の対物面、リモコン受光部６及び撮像レンズを含む撮像光学系を構成する鏡胴ユニット７が配置されている。カメラボディＣＢの一方の側面部には、メモリカード装填室及び電池装填室の蓋２が設けられている。

図２は、撮像装置１の上面図である。図２において、カメラボディＣＢの上面には、レリーズスイッチＳＷ１、モードダイヤルＳＷ２及びサブ液晶ディスプレイ（サブＬＣＤ）（以下「液晶ディスプレイ」を「ＬＣＤ」という。）１１が配置されている。

図３は、撮像装置１の背面図である。図３において、カメラボディＣＢの背面には、ファインダ４の接眼部、ＡＦ用発光ダイオード（以下発光ダイオードを「ＬＥＤ」という。）８、ストロボＬＥＤ９、被写体画像と拡大画像及び各種設定画面を表示する表示手段であるＬＣＤモニタ１０、電源スイッチ１３、広角方向ズームスイッチＳＷ３、望遠方向ズームスイッチＳＷ４、セルフタイマの設定及び解除スイッチＳＷ５、メニュースイッチＳＷ６、上移動及びストロボセットスイッチＳＷ７、右移動スイッチＳＷ８、ディスプレイスイッチＳＷ９、下移動及びマクロスイッチＳＷ１０、左移動及び画像確認スイッチＳＷ１１、ＯＫスイッチＳＷ１２、クイックアクセススイッチＳＷ１３、が配置されている。

[撮像装置の機能ブロック]
次に、撮像装置１の機能ブロックの例について説明する。図４は、撮像装置１の機能構成例を示す機能ブロック図である。撮像装置１の各種動作（処理）は、デジタル信号処理ＩＣ（集積回路）等で構成されるデジタルスチルカメラプロセッサ１０４（以下、単に「プロセッサ１０４」という。）と、プロセッサ１０４において動作する撮像プログラムによって制御される。画像処理手段であるプロセッサ１０４は、第１のＣＣＤ（電荷結合素子）信号処理ブロック１０４−１と、第２のＣＣＤ信号処理ブロック１０４−２と、ＣＰＵ（中央処理ユニット）ブロック１０４−３と、ローカルＳＲＡＭ（ＳＲＡＭ：スタティックランダムアクセスメモリ）１０４−４と、ＵＳＢ（ユニバーサルシリアルバス）ブロック１０４−５と、シリアルブロック１０４−６と、ＪＰＥＧコーデック（ＣＯＤＥＣ）ブロック１０４−７と、リサイズ（ＲＥＳＩＺＥ）ブロック１０４−８と、ＴＶ信号表示ブロック１０４−９と、メモリカードコントローラブロック１０４−１０と、を有してなる。これら各ブロックは相互にバスラインで接続されている。

プロセッサ１０４の外部には、ＲＡＷ−ＲＧＢ画像データ、ＹＵＶ画像データ及びＪＰＥＧ画像データを保存するためのＳＤＲＡＭ（シンクロナスランダムアクセスメモリ）１０３、ＲＡＭ１０７、内蔵メモリ１２０及び撮像プログラムである制御プログラムが格納されているＲＯＭ１０８、が配置されており、これらはバスラインを介してプロセッサ１０４に接続している。プロセッサ１０４は、ＲＯＭ１０８に格納されている各種制御プログラムを実行し、各種制御プログラムによる機能を実現する。ＳＤＲＡＭ１０３は、フレームメモリに相当する。ＲＯＭ１０８に格納されている各種制御プログラムには、本発明に係る画像処理装置の動作を実現するプログラムである、ノイズ低減プログラム２０が含まれる。つまり、撮像装置１において、ＲＯＭ１０８に格納されるノイズ低減プログラム２０をプロセッサ１０４に実行させ、ＳＤＲＡＭ１０３、ＲＡＭ１０７、内蔵メモリ１２０を使用することにより、画像処理装置１００のフィルタリング手段１０９と処理回数決定手段１１０との機能を実現している。

プロセッサ１０４は、主にＣＰＵブロック１０４−３等がバスで接続されたコンピュータを実体とし、ＲＯＭ１０８に記憶されたノイズ低減プログラム２０をＣＰＵブロック１０４−３が実行することで、画像データに以下で説明するノイズ低減処理が施される。
なお、ＡＳＩＣ等のハードウェア（不図示）によりノイズ低減処理を実装してもよい。

ノイズ低減プログラム２０は、あらかじめ、ＲＯＭ１０８に記憶される。ここで、ノイズ低減プログラムは、メモリカード１９２に記憶させて、メモリカードスロット１９１を介してＲＯＭ１０８に読み込むことができる。あるいは、ネットワーク（不図示）を介してノイズ低減プログラム２０をＲＯＭ１０８にダウンロードしてもよい。

鏡胴ユニット７は、ズーム（ＺＯＯＭ）レンズ７−１ａを有するズーム光学系７−１、フォーカス（ＦＯＣＵＳ）レンズ７−２ａを有するフォーカス光学系７−２、絞り７−３ａ、を有する絞りユニット７−３、メカニカルシャッタ（メカシャッタ）７−４ａを有するメカシャッタユニット７−４、を備えており、これらによって撮像光学系が構成される。

ズーム光学系７−１と，フォーカス光学系７−２と、絞りユニット７−３と、メカシャッタユニット７−４は、それぞれズーム（ＺＯＯＭ）モータ７−１ｂ、フォーカスレンズ移動手段としてのフォーカス（ＦＯＣＵＳ）モータ７−２ｂ、絞りモータ７−３ｂとメカシャッタモータ７−４ｂ、によって駆動される。

ズームモータ７−１ｂ、フォーカスモータ７−２ｂ、絞りモータ７−３ｂ及びメカシャッタモータ７−４ｂの各モータは、モータードライバ７−５によって駆動される。モータードライバ７−５はプロセッサ１０４のＣＰＵブロック１０４−３によって動作が制御される。

鏡胴ユニット７を構成するズームレンズ７−１ａとフォーカスレンズ７−２ａは、撮像素子であるＣＣＤ（Charge Coupled Device）１０１の受光面上に被写体像を結像させる撮像レンズを構成する。ＣＣＤ１０１は、受光面に結像された被写体像を電気的な画像信号に変換してＦ／Ｅ−ＩＣ（フロントエンドＩＣ）１０２に出力する。

なお、本実施の形態において、撮像素子は、ＣＣＤに限らず、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いてもよい。

Ｆ／Ｅ−ＩＣ１０２は、ＣＤＳ（相関２重サンプリング部）１０２−１、ＡＧＣ（自動利得制御部）１０２−２及びＡ／Ｄ（アナログ−デジタル）変換部１０２−３を有し、被写体像から変換された画像信号に対して、所定の処理を施し、デジタル信号に変換する。変換されたデジタル画像信号は、ＣＣＤ信号処理ブロック１０４−１に入力される。これらの信号処理動作は、プロセッサ１０４のＣＣＤ信号処理ブロック１０４−１から出力されるＶＤ信号（垂直駆動信号）とＨＤ信号（水平駆動信号）により、ＴＧ（タイミングジェネレータ）１０２−４を介して制御される。

ＣＣＤ信号処理ブロック１０４−１は、ＣＣＤ１０１からＦ／Ｅ−ＩＣ１０２を経由して入力されたデジタル画像データに対して、ホワイトバランス調整及びγ調整等の信号処理を行うとともに、ＶＤ信号及びＨＤ信号を出力する。

また、ＣＰＵブロック１０４−３は、ストロボ回路１１４を制御して動作させることによってストロボ発光部３から照明光を発光させる。

ＵＳＢブロック１０４−５は、ＵＳＢコネクタ１２２に結合される。シリアルブロック１０４−６は、シリアルドライバ回路１２３−１を介してＲＳ−２３２Ｃコネクタ１２３−２に結合される。

ＴＶ信号表示ブロック１０４−９は、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に結合され、また、ＴＶ信号表示ブロック１０４−９は、ビデオアンプ（ＡＭＰ）１１８を介してビデオジャック１１９にも結合される。

メモリカードコントローラブロック１０４−１０は、メモリカードスロット１９１のカード接点に結合されている。メモリカード１９２がこのメモリカードスロット１９１に装填されると、メモリカード１９２の接点に接触して電気的に接続され、装填されたメモリカード１９２に画像ファイルを記憶する。

[撮像装置の動作]
次に、撮像装置１の動作について説明をする。図１から図３に示した撮像装置１において、モードダイヤルＳＷ２を操作し、「記録モード」を選択すると、撮像装置１は記録モードでの動作を開始する。より詳しくは、図３に示した操作ｋｅｙユニット（ＳＷ１〜ＳＷ１３）に含まれるモードダイヤルＳＷ２の状態が記録モード−オンになったことを、ＣＰＵブロック１０４−３が検知することで、記録モードでの動作が開始する。

ＣＰＵブロック１０４−３はモータードライバ７−５を制御し、鏡胴ユニット７を撮像可能な位置に移動させる。さらに、ＣＣＤ１０１、Ｆ／Ｅ−ＩＣ１０２及びＬＣＤモニタ１０等の各部に電源が投入されて動作が開始される。各部の電源が投入されると、ファインダモードでの動作が開始する。

ファインダモードで動作中の撮像装置１は、撮像レンズを介してＣＣＤ１０１の受光面に結像された被写体像に係る画像信号がＣＤＳ１０２−１に出力される。このアナログＲＧＢ信号は、ＡＧＣ（自動利得制御回路）１０２−２を介してＡ／Ｄ変換器１０２−３にてデジタル画像信号に変換される。このデジタル画像信号に含まれるＲ・Ｇ・Ｂの各信号は、プロセッサ１０４内の第２のＣＣＤ信号処理ブロック１０４−２が具備するＹＵＶ変換手段によって、ＹＵＶ画像データに変換されて、フレームメモリとしてのＳＤＲＡＭ１０３に記録される。なお、第２のＣＣＤ信号処理ブロック１０４−２は、ＲＧＢ画像信号に対してフィルタリング処理等の適切な処理を施してＹＵＶ画像データへと変換する。

ＹＵＶ画像データは、ＣＰＵブロック１０４−３によって読み出されて、ビデオ信号表示ブロック１０４−９を介してビデオアンプ１１８及びビデオジャック１１９に送られて、これに接続されたＴＶ（テレビジョン）にて表示される。

また、ＣＰＵブロック１０４−３によって読み出されたＹＵＶ画像データは、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に送られて表示に供される。この処理が１／３０秒間隔で行われて表示が更新され、撮像対象とする被写体をＬＣＤモニタ１０の表示によって視認しながら撮像することができるファインダモードでの動作となる。

ＣＣＤ１０１は複数の駆動モード（駆動条件）を設定することができる。この駆動モードによって、ＣＣＤ１０１から出力される画像信号の出力条件を変更することができる。駆動モードには、例えば、『水平画素の「加算と間引き」をせずに、垂直画素の「加算と間引き」もしないモード（以下「モード１」とする。）』、『水平画素を「２画素加算」し、垂直画素を「２画素加算」するモード（以下「モード２」とする。）』、『水平画素を「４画素加算」し、垂直画素を「２画素間引き」するモード（以下「モード３」とする。）』、『水平画素の「加算と間引き」をせず、垂直画素を「４画素加算」とするモード（以下「モード４」とする。）』、がある。

[ノイズ低減処理の実施例１]
次に、撮像装置１が実行する画像データのノイズを低減するための、画像フィルタリング処理と、この画像フィルタリング処理の繰り返し回数の決定処理とを含む画像データのノイズ低減処理の一例について、実施例１として説明する。本実施例では、一つの画素がＲＧＢの３成分を持つカラー画像から、信号値に大きさが依存するノイズを低減する際に処理対象画像全体に対して画像フィルタリング処理を繰り返す例を示す。

図５は、撮像装置１によって実現される画像処理装置の機能ブロック図の一例を示す。画像処理装置１００は、画像データ（以下、処理対象画像３１という）を入力データとして画像フィルタリング処理を所定回数繰り返し行うことで、ノイズ低減画像３２を出力する。

画像処理装置１００は、機能ブロックとして、画像取得部１０８−１、画像情報取得部１０８−２、カメラ設定情報記憶部５１、繰り返し回数算出部１０８−３、繰り返し回数カウント部１０８−４、注目画素選択部１０８−５、類似画素群抽出部１０８−６、平均値算出部１０８−７、画素選択済判定部１０８−８、繰り返し終了判定部１０８−９、加重加算部１０８−１０、ノイズ分散推定関数記憶部４１、補正値置換部１０８−１１を有する。各機能ブロックは、ＣＰＵブロック１０４−３がノイズ低減プログラム２０を実行することで実現される。

画像取得部１０８−１、注目画素選択部１０８−５、類似画素群抽出部１０８−６、平均値算出部１０８−７、画素選択済判定部１０８−８は、フィルタリング手段１０９として画像フィルタリング処理を演算する。また、画像情報取得部１０８−２、カメラ設定情報記憶部５１、繰り返し回数算出部１０８−３、繰り返し回数カウント部１０８−４は、処理回数決定手段１１０としてフィルタリング処理の繰り返し回数を決定する。

図６は、画像処理の手順を示すフローチャート図の一例を示す。以下、各機能ブロックが行う処理について、図６のフローチャートに沿って説明する。

画像処理装置１００が画像フィルタリング処理を開始すると、画像取得部１０８−１が、処理対象画像３１が格納されるＳＤＲＡＭ１０３から処理対象画像３１を取得する（処理ステップＳ１０１）。処理対象画像３１は、画像処理装置１００が含まれる撮像装置１によって撮影された画像データであるが、それ以外の画像データ（例えば、他の撮像装置によって撮影された画像データ）であってもよい。

処理対象画像３１を取得すると、画像情報取得部１０８−２は、処理対象画像３１から画像情報として撮影時のカメラ設定情報や、画像特性情報を取得する（処理ステップＳ１０２）。

ここで、撮影時のカメラ設定情報は、画像がＪＰＥＧ（Joint
Photographic Experts Group）であればデジタルカメラなどで一般的に付加されるＥｘｉｆ（Exchangeable
Image File Format）情報や、各カメラメーカーが独自に画像データのファイル内に書き込んでいる情報（メーカーノート）から取得することができる情報である。カメラ設定情報から取得する情報としては、例えば、ＩＳＯ（International Organization for Standardization）感度、光源（ＷＢ（White Balance）を含む）情報などである。

画像処理装置１００が、撮像装置１内部の機能として処理を行う場合には、撮像装置１内のカメラ設定情報記憶部５１に撮影時のカメラ設定情報が保持されている。そのため、画像情報取得部１０８−２は、カメラ設定情報記憶部５１からカメラ設定情報を取得する。

また、画像特性情報は、撮影した処理対象画像３１から輝度値、標準偏差を算出して取得される情報である。画像特性情報の算出方法については後述する。

繰り返し回数算出部１０８−３は、画像情報取得部１０８−２が取得したカメラ設定情報、画像特性情報に基づいて内蔵メモリ１２０内にある繰り返し回数テーブルを参照して、画像フィルタリング処理を繰り返す回数を決定する（処理ステップＳ１０３）。繰り返し回数決定方法については後述する。

繰り返し回数カウント部１０８−４は、画像フィルタリング処理を行うたびに画像フィルタリング処理の繰り返し回数を加算して、画像フィルタリング処理の処理回数をカウントする（処理ステップＳ１０４）。

画像フィルタリング処理の繰り返し回数が決定されると、注目画素選択部１０８−５は、処理対象画像３１に含まれる画素の中から注目画素を選択する（処理ステップＳ１０５）。注目画素の選択方法としては、例えば、ラスタ走査により水平方向に１画素ずつ移動させて注目画素を選択する方法を採用することができる。ここで、走査方法は上述のものに限らず、いかなるものであってもよい。

注目画素の決定後、類似画素群抽出部１０８−６は、注目画素の近傍領域から類似画素を抽出する（処理ステップＳ１０６）。類似画素の抽出方法としては、例えば、注目画素を中心としたウィンドウを設定し、注目画素との信号値の差分の絶対値が特定閾値以下のものを抽出する方法を採用することができる。

図７は、画像処理装置１００による、画像フィルタリング処理の一例を示す図である。類似画素群抽出部１０８−６は、例えば、図７（ａ）のような注目画素を中心として５×５のウィンドウの信号値に対して注目画素３３を定める。次いで、図７（ｂ）のように注目画素３３と周辺画素の画素値の絶対差分値を算出する。その後、類似画素群抽出部１０８−６は、図７（ｃ）のように所定の閾値（例えば、絶対差分値が３０以下）の画素であることを条件に、閾値範囲内の画素を類似画素として抽出する。この操作により、エッジなどの信号値が急峻に変わる部分の信号値の影響を避けることができる。

なお、注目画素との信号値の類似度としては、注目画素との信号値の差分の絶対値に限らず、ＲＧＢ空間におけるユークリッド距離や、その他にも種々の値を基準に用いることができる。

図８は、平均値と、分散の算出を模式的に説明する図である。例えば、図８に示すように、ウィンドウ内の画素をＬ＊ａ＊ｂ＊空間にマッピングし、その空間でのユークリッド距離を使って類似度を算出してもよい。また、類似度の数値としては、ユークリッド距離に限らずＬｐノルムを使用してもよい。

平均値算出部１０８−７は、図７（ｃ）で抽出した類似画素群について、図７（ｄ）のように信号値の平均値３４（ＲＧＢの３次元ベクトル）を算出する（処理ステップＳ１０７）。平均値算出部１０８−７は、この平均値３４を注目画素に対応するフィルタリング処理結果とする。

画素選択済判定部１０８−８は、処理対象画像３１中のすべての画素を注目画素として選択したか否かを判定する（処理ステップＳ１０８）。すべての画素を選択した場合は次ステップへ進む。すべての画素を選択していない場合、画像処理装置１００は、処理ステップＳ１０５に戻り、処理対象画像３１中の別の画素を注目画素として処理ステップＳ１０５からＳ１０７までの処理を行う。

繰り返し終了判定部１０８−９では、繰り返し回数カウント部１０８−４のカウント回数が繰り返し回数算出部１０８−３で算出した繰り返し回数に到達しているか判定する（処理ステップＳ１０９）。算出した繰り返し回数に到達している場合は次ステップに進む。算出した繰り返し回数に到達していない場合はＳ１０４に戻り、算出した繰り返し回数に到達するまでＳ１０５からＳ１０８までの処理を繰り返す。

処理対象画像３１の全ての画素について平均値を算出後、加重加算部１０８−１０は、処理対象画像３１の各画素において、平均値と画素値の加重加算を行う（処理ステップＳ１１０）。この加重加算について定式化すると、処理対象画像３１の画素値ｙ（ＲＧＢ３次元ベクトル）、類似画素群の平均値μ（ＲＧＢ３次元ベクトル）、重み係数行列Ｗ（３×３行列）、単位行列Ｉ（３×３行列）を用いて、式（１）で補正値ｘ（ＲＧＢ３次元ベクトル）を算出する。

補正値ｘは、重み係数行列Ｗの対角成分が１に近いほど平均値μに近付き、０に近いほど元の画素値ｙに近付く。処理対象画像３１の平坦な部分やノイズの多い部分でＷを大きく（１に近く）設定すれば、平均値μに近付き、より多くのノイズを低減することができる。また、処理対象画像３１のテクスチャのある部分やノイズの少ない部分でＷを小さく設定すれば、元の画素値ｙに近付き、微細な信号成分を残すことができる。このように加重加算を用いることで、局所領域の特性に合わせた適応的なノイズ低減が可能となる。

次に、重み係数行列Ｗは、ＲＧＢごとのノイズの分散τ_Ｒ ^２、τ_Ｇ ^２、τ_Ｂ ^２、類似画素群の平均値μ_Ｒ、μ_Ｇ、μ_Ｂ、設計パラメータαを用いて式（２）で算出する。

ノイズの分散τ_Ｒ ^２、τ_Ｇ ^２、τ_Ｂ ^２は、一定の設計値を用いてもよいし、その都度に推定することもできる。

図９は、上記画像フィルタリング処理における信号値（画素値）に対するノイズの分散を示すグラフである。処理ステップＳ１１０にてノイズの分散τ^２を推定する方法について説明する。一般にＣＣＤやＣＭＯＳ等の撮像した画像に現れるショットノイズは、信号値が大きくなるにつれてノイズのサイズが大きくなる。このように、信号値とノイズの分散の相関性は高いので、回帰によって信号値からノイズの分散を良好な精度で推定することができる。ただし、真の信号値はノイズ低減画像からは分からないため、類似画素群の平均値μで真の信号値を代替する。

図１０は、画像フィルタリング処理における類似画素群平均値に対するノイズ量の推定関数を示すグラフである。本実施例では、このような推定関数をあらかじめ設定しておき、μからτ^２を推定する。

なお、ノイズ量の推定関数は、ノイズ分散推定関数記憶部４１にルックアップテーブルで実装してもよいし、多項式などの関数をノイズ分散推定関数記憶部４１に用意してプロセッサ１０４により計算してもよい。推定関数は、例えばカラーチャート（Macbeth ColorCheckerなど）を撮影し、カラーチャートの各カラーパッチの信号値バラツキをノイズと見なすことで、最小二乗法等を利用して同定することができる。カラー画像の場合、ノイズの分散τ_Ｒ ^２、τ_Ｇ ^２、τ_Ｂ ^２に対するノイズ推定関数をＲＧＢ成分のそれぞれに用意する。

また、推定関数が撮影条件によって異なる場合は、撮影条件ごとに別の関数を用意して用いればよい。例えば、ＩＳＯ感度によってノイズの大きさは変わるため、設定されたＩＳＯ感度によって使用する推定関数を切り替えることができる。この場合に、ノイズ分散推定関数記憶部４１には、複数種の推定関数を保持するのがよい。

補正値置換部１０８−１１が処理対象画像３１中の画素値を補正値で置換しノイズ低減画像３２を得て出力する（処理ステップＳ１１１）。出力されたノイズ低減画像３２は、ＳＤＲＡＭ１０３やメモリカード１９２に格納される。

以上のように、画像処理装置１００は、カラー画像データである処理対象画像３１に対して、信号依存性のノイズの解像感を落とすことなく低い処理コストでノイズを低減することができる。

なお、以上の実施例では、処理対象画像３１がＲＧＢ成分を持つカラー画像であるものとして説明したが、本発明はＹＣＣやＬ＊ａ＊ｂ＊など任意の色空間で表現されたカラー画像に対して、同様に適用することができる。また、本発明は、ｎバンドの分光画像に対しても、本実施例における信号値をｎ次元ベクトルとみなすことで、適用可能である。

[ステップＳ１１０の変形例]
上述の実施例における、処理ステップＳ１１０の加重加算処理の変形例について説明する。

上述の実施例の処理ステップＳ１１０において、加重加算処理の一例として、ＲＧＢの３次元空間での加重加算を説明したが、平均値と処理対象画素値との差分を一次元の特定方向ｅに射影してから加重加算を行うこともできる。

図１１は、平均値と処理対象画素値との差分を一次元の特定方向に射影して加重加算を行う一例を示す図である。上記特定方向としては、例えば、類似画素群の平均値のＲＧＢ比率一定の方向や輝度の方向、最大分散の方向を考えることができる。ここで、ｗは重み係数（スカラー）であり、例えば式（３）のように設定できる。

１次元に射影することで、計算量を低減し、かつ、特定方向ｅ上に射影を行うことでｅに直交する方向のノイズを強制的に０にすることができる。

[画像特定値の算出方法]
上述の実施例１における、処理ステップＳ１０２の処理対象画像３１から画像特性情報を算出する方法について説明する。処理対象画像３１から算出する画像特性情報としては、輝度値と標準偏差が挙げられる。
輝度値Ｙの算出は処理対象画像３１に含まれる画素ごとに行われ、ＲＧＢ信号に対して式（４）で算出される。

また、標準偏差σの算出は処理対象画像全体に対して行われ、式（５）で算出される。

ここでｎは処理対象画像３１の画素数、ｘiは注目画素の信号量、ｘは信号平均値である。標準偏差の算出は、輝度値、ＲＧＢそれぞれに算出するとよい。輝度値は処理対象画像３１内で平均を算出して使用する。

[繰り返し回数決定処理]
上述の処理ステップＳ１０３にて説明した、繰り返し回数算出部１０８−３による、繰り返し回数決定処理について説明する。

図１２は、ノイズ低減処理における画像フィルタリング処理の繰り返し回数に対するノイズ量の関係を示したグラフの一例である。図１２に示すように、繰り返し回数を増やすと色ノイズ量が減少し、繰り返し回数が増えるにつれて色ノイズ低減量は徐々に小さくなる傾向にある。このような特性を有する画像フィルタリング処理における、その繰り返し回数の決定方法を説明する。

上述のように、処理ステップＳ１０３では、繰り返し回数算出部１０８−３が、画像情報取得部１０８−２で取得した画像情報と繰り返し回数テーブルとに基づいて、繰り返し回数を算出する。取得する画像情報には、輝度、標準偏差、ＩＳＯ感度（センサゲイン）、光源（ＷＢ）がある。以下に、各情報での繰り返し回数決定方法について説明する。

[輝度値に基づく繰り返し回数決定方法]
まず、画像特性情報に含まれる輝度に基づく繰り返し回数決定方法について説明する。画像データにおいて、色ノイズが目立つのは画像の比較的暗い領域である。

図１３は、画像処理装置１００のノイズ低減処理における画像フィルタリング処理の繰り返し回数を決定するテーブルの一例を示す図である。図１３（ａ）は、輝度値に基づく繰り返し回数テーブルの一例である。繰り返し回数決定処理にあたり、図１３（ａ）のようにあらかじめ輝度値に対して閾値を設定し、閾値で区切られた領域ごとに繰り返し回数を設定する。繰り返し回数の設定について、例えば、色ノイズの目立ちやすい低輝度領域の繰り返し回数を多くし、中間輝度から高輝度に向けて徐々に少なくなるように設定する。繰り返し回数算出部１０８−３が、処理対象画像３１から取得した輝度情報が繰り返し回数テーブルのいずれの輝度値領域に入るのかを判断することによって、繰り返し回数が決定される。

[標準偏差に基づく繰り返し回数決定方法]
標準偏差に基づく繰り返し回数決定方法について説明する。この方法は、画像特性情報に基づいて算出される標準偏差に対して閾値を定め、この閾値に対して繰り返し回数をあらかじめテーブルに設定する。繰り返し回数算出部１０８−３は、算出された値とテーブルの閾値とを照合して繰り返し回数を決定する。

標準偏差に基づく繰り返し回数の決定にあたっては、ノイズが多い領域では標準偏差が高くなるが、エッジを多く含む場合にも標準偏差が高くなる傾向がある。

そのため、繰り返し回数の設定には注意が必要である。すなわち、繰り返し回数の設定にあたっては、標準偏差がある値以上では繰り返し回数を増やさないような設定が必要となる。

図１３（ｂ）は、標準偏差に基づく繰り返し回数テーブルの一例である。標準偏差に基づく繰り返し回数テーブルにおいて、ある標準偏差の領域に向けて繰り返し回数が多くなるように設定している。また、標準偏差に基づく繰り返し回数テーブルでは、ある標準偏差の領域を超えるとエッジを保持する目的で繰り返し回数が少なくなるように設定している。

［ＩＳＯ感度（センサゲイン）に基づく繰り返し回数決定方法］
ＩＳＯ感度（センサゲイン）に基づく繰り返し回数決定方法について説明する。画像データにおいて、ＩＳＯ感度が高くなるとノイズが増える傾向にある。そこで、ＩＳＯ感度に対して閾値を設定して、閾値で区切られた領域ごとに繰り返し回数を設定する。

図１３（ｃ）は、ＩＳＯ感度に基づく繰り返し回数テーブルの一例である。ＩＳＯ感度に基づく繰り返し回数テーブルでは、高ＩＳＯ感度ほど繰り返し回数が多くなるようにし、低ＩＳＯ感度になるにつれて徐々に少なくなるように設定している。

[光源情報に基づく繰り返し回数決定方法]
光源情報に基づく繰り返し回数決定方法について説明する。様々な光源下で撮影される中で、ＷＢ（White Balance）制御では白い被写体を画像データ上で白に見せるために、最も感度の高いＧ信号量にＲ信号量とＢ信号量のレベルを合わせるようにＲ信号量とＢ信号量にゲインを乗算する。すなわち、ＷＢ制御では、色温度が低い光源下で撮影された場合には、青色の光が少ないためＷＢのＢゲインが高い値となり青色の色ノイズが多くなる。

光源情報に基づく繰り返し回数決定方法において、画像から取得可能な光源情報としては、ＷＢゲインやＷＢ情報（白熱灯、蛍光灯、曇天など）がある。ＷＢゲインの場合には、ＲゲインとＢゲインからある程度撮影時の光源色温度を推定することができる。ＷＢ情報であれば対応する色温度（例えば、白熱灯：３０００Ｋ、蛍光灯：４０００Ｋ、曇天：６０００Ｋなど）で判定を行う。

光源情報に基づく繰り返し回数の決定にあたり、推測された光源色温度に閾値を設定し、閾値で区切られた領域ごとに繰り返し回数を設定する。

図１３（ｄ）は、光源情報に基づく繰り返し回数テーブルの一例である。光源情報に基づく繰り返し回数テーブルでは、青色の色ノイズの目立ちやすい低色温度の繰り返し回数を多く、高色温度になるにつれて徐々に少なくなるように設定している。

[複数の方法の組み合わせによる繰り返し回数決定方法]
上記のように個々の情報から繰り返し回数を決定する方法に代えて、複数の情報を組み合わせることでより精度の高い繰り返し回数決定が可能となる。複数の情報の組み合わせによる繰り返し回数決定方法の一例として、ＩＳＯ感度と標準偏差の組み合わせによる繰り返し回数決定方法について説明する。

撮像装置１内で本実施例の処理を行う場合は、撮影時に用いる撮像素子は単一となる可能性が高い。一方で、ＰＣ等で本実施例の処理を行う場合は、撮影に用いられた撮像装置は複数存在することになり、撮影で使用される撮像素子は様々なものとなる可能性がある。一般的に画像データに発生するノイズ量は撮像素子のサイズに起因する場合が高く、撮像素子のサイズが小さいほどノイズ量は多くなる。撮像装置は、一般にＩＳＯ感度の数値を選択できるようになっているが、同じＩＳＯ感度であっても撮影に使用した撮像素子によってノイズ量は全く異なる。このような場合に、ＩＳＯ感度のみで繰り返し回数を決定するとノイズ量の少ない画像に対して過剰にノイズ低減処理を行ってしまうおそれや、ノイズ量の多い画像に対してノイズ低減処理が不足するおそれがある。

そこで、撮像装置外で本実施例のノイズ低減処理を行う場合に好適な繰り返し回数決定方法として、ＩＳＯ感度に対して、さらに標準偏差を組み合わせることができる。このような方法によれば、様々な撮像素子に最適な繰り返し回数を決定することができる。

繰り返し回数決定方法の組合せ方法は、例えば以下の方法が挙げられる。まず、画像から取得したＩＳＯ感度から図１３（ｃ）に従ってＩＳＯ感度での繰り返し回数Ｎ１を算出する。次に、処理対象画像３１から取得した標準偏差から図１３（ｂ）に従って標準偏差での繰り返し回数Ｎ２を算出する。

Ｎ１とＮ２を算出した後、あらかじめ定めたＮ１とＮ２の優先順位に従って、画像フィルタリング処理の繰り返し回数を決定する。例えば、ＩＳＯ感度と標準偏差から算出したそれぞれの繰り返し回数で、Ｎ１≧Ｎ２の場合にはＮ２を使用し、Ｎ１＜Ｎ２の場合にはＮ１の繰り返し回数を使用する。

一例として、ＩＳＯ感度がＩＳＯ１６００で、標準偏差σが１．２であった場合、ＩＳＯ感度での繰り返し回数Ｎ１は４回、標準偏差での繰り返し回数Ｎ２は２回となり、Ｎ１≧Ｎ２となるため、Ｎ２の２回を採用する。

以上の決定方法によれば、ノイズの少ない撮像素子で繰り返し回数が増えるのを防ぐことができる。

また、別の例として、ＩＳＯ感度がＩＳＯ１６００で、標準偏差σが４．５であった場合、ＩＳＯ感度での繰り返し回数Ｎ１は４回、標準偏差での繰り返し回数Ｎ２は６回となり、Ｎ１＜Ｎ２となるため、Ｎ１の４回を採用する。

以上の決定方法によれば、処理対象画像３１にエッジを含むことにより標準偏差が高くなったとしてもＩＳＯ感度による繰り返し回数が使用されることで繰り返し回数がクリップされ、繰り返し回数を増やしてエッジが潰れることを防ぐことができる。また、繰り返し回数の設定としては、ＩＳＯ感度側に最大繰り返す回数を設定してもよい。

[ノイズ低減処理の実施例２]
上述の実施例１では、処理対象画像３１に対して全画面（処理対象画像３１に含まれるすべての画素）で同じ回数のフィルタ処理を繰り返す方法を説明した。これに対し、実施例２では、処理対象画像３１を複数の領域に分割し、この領域ごとに繰り返し回数を変更する方法について説明する。

なお、以下に説明する実施例２では、機能ブロック及び処理フローチャートは実施例１と共通する。そのため、実施例２の説明では、図５，６などを参照しつつ、実施例１との相違点について説明する。

処理ステップＳ１０２では、画像情報取得部１０８−２が画像取得部１０８−１で取得した処理対象画像３１から撮影時のカメラ設定情報、画像特性情報を取得する。撮影時のカメラ設定情報は、実施例１と同じくＩＳＯ感度、光源（ＷＢ含む）情報に加え、実施例２で用いる情報として処理対象画像３１におけるフォーカス位置が分かるフォーカスポイント、及び、絞り設定がある。

画像特性情報は、実施例１と同じく画像から輝度値、標準偏差を算出して取得するが、実施例２では画像特性情報を算出する領域が実施例１と異なる。

図１４は、ノイズ低減処理における処理対象画像３１の領域分割の一例を示す図である。図１４に示すように、処理対象画像３１は、水平、垂直方向で任意の数・サイズに区切られた処理対象領域３１ａとなり、この処理対象領域３１ａごとに画像特性情報が算出される。

処理ステップＳ１０３について、実施例１では、繰り返し回数算出部１０８−３が処理ステップＳ１０５からＳ１０８までの処理を繰り返す回数を決定する。これに対して実施例２では、繰り返し回数は処理対象領域ごとに算出する。処理対象領域ごとの繰り返し回数決定方法については後述する。

処理ステップＳ１０４について、実施例１では、Ｓ１０５からＳ１０８までの処理回数をカウントするために、画像フィルタリング処理を行うたびに繰り返し回数をインクリメントしてカウントする。これに対して実施例２では、繰り返し回数を領域ごとにカウントする。

処理ステップＳ１０９について、実施例２では、繰り返し終了判定部１０８−９が繰り返し回数カウント部１０８−４のカウント回数が各領域の繰り返し回数算出部１０８−３で算出した繰り返し回数に到達しているか判定する。そして、各処理対象領域について所定の繰り返し回数に到達している場合は次のステップへ進む。一方、所定の繰り返し回数に到達していない場合はＳ１０４に戻る。

[領域ごとの繰り返し回数決定方法]
実施例２における処理対象領域ごとの画像フィルタリング処理の繰り返し回数決定方法について説明する。

図１５は、処理対象画像３１を領域分割した場合の領域ごとの繰り返し回数の一例を示す図である。図１５において、処理対象画像３１の処理対象領域３１ａに記載される数値は、処理対象領域３１ａに対する繰り返し回数を示す。このように、実施例２によれば、処理対象画像３１を分割した処理対象領域３１ａごとに異なる繰り返し回数を決定する。

画像フィルタリング処理の繰り返し回数決定方法について、輝度値、標準偏差についての決定方法は、各処理対象領域について画像特性情報で判定し、この領域ごとに繰り返し回数を決定する点が、実施例１と異なる。

また、ＩＳＯ感度（センサゲイン）、光源（ＷＢ）情報に基づく繰り返し回数決定方法については、処理対象領域ごとに異なる情報が得られる場合には、実施例１の方法を領域ごとに行って領域ごとに繰り返し回数を決定することができる。

[フォーカスポイントに基づく繰り返し回数決定方法]
次に、フォーカスポイント情報に基づいて、画像フィルタリング処理の繰り返し回数を決定する方法について説明する。フォーカスポイント情報は、画像のどこにフォーカスを合わせて撮影されているかを示す情報である。フォーカスが合っている領域が最も高周波成分が高く、フォーカスポイントから外れるにつれてフォーカスがずれることで高周波成分は低くなるため、画像データにボケが発生する。

本実施例では、フォーカスポイント情報からフォーカスポイントと処理対象領域の距離ｄを算出する。そして、算出したフォーカスポイントとの距離に対して閾値を設定し、閾値で区切られた領域ごとに繰り返し回数を設定する。

図１６は、領域分割によるノイズ低減処理についてフォーカスポイントと処理対象領域との距離の測定の一例を示す図である。処理対象画像３１における処理対象領域３１ａとフォーカスポイント３１ｂとの距離ｄは、次式（６）で算出する。

ここで、ｈは１ブロックの水平画素数、ｖは１ブロックの垂直画素数、ｈsubはフォーカスポイントと対象領域の水平ブロック差分、ｖsubはフォーカスポイントと対象領域の垂直ブロック差分を示す。

図１７は、領域分割による画像フィルタリング処理の繰り返し回数を決定するテーブルの一例を示す図である。図１７（ａ）に示すように、フォーカスポイントから近い領域は、高周波成分が高いため解像度を残すように繰り返し回数を少なくしている。一方、フォーカスポイントから遠い領域は、ボケ領域のためノイズを少なくするように繰り返し回数を多くしている。また、フォーカスポイントが複数ある場合には、処理対象領域から最も近いフォーカスポイントからの距離を算出して使用する。

[絞り設定に基づく繰り返し回数決定方法]
次に、絞り設定に基づいて画像フィルタリング処理の繰り返し回数を決定する方法について説明する。画像のボケ量は、絞り設定が大きく影響する。すなわち、撮像装置の絞りが開かれているときは被写界深度が浅くなりボケ量は大きくなるが、絞りが絞られているときは被写界深度が深くなりボケ量は小さくなる。

そこで、本実施例では、画像データから取得した絞り情報を利用することで、効果的に画像データのボケ領域に対して繰り返し回数を増やすことができる。

例えば、図１７（ｂ）のように絞り設定に対して閾値を設定して、閾値で区切られた領域ごとに補正係数を設定する。補正係数は、絞り設定が小さくなるにつれて１に、大きくなるにつれて０に近づくように設定する。

そして、繰り返し回数算出部１０８−３は、フォーカスポイントと処理対象領域の距離ｄから算出した繰り返し回数に対して、絞り情報から算出した補正係数を乗算することで繰り返し回数を算出する。

フォーカスポイントからの距離と絞り情報とに基づく繰り返し回数決定方法について、例えば、フォーカスポイントと処理対象領域の距離ｄが４０Ｒ（Ｒは水平、垂直で各１ブロックずれた時の距離とする。）で、絞りがＦ４．０だった場合は、図１７（ａ）に基づいて距離ｄから繰り返し回数４回、図１７（ｂ）に基づいて絞り設定から補正係数０．８が算出される。

以上の数値より、処理対象領域の繰り返し回数は、４×０．８＝３．２となり、例えば四捨五入することにより３回として処理する。

以上の繰り返し回数決定方法によれば、絞りが絞られた状態ではボケ量は少なくなるため繰り返し回数は少なくなり、開かれた状態ではボケ量が大きくなるため繰り返し回数は多くすることができる。

[本発明のベイヤー配列への適用]
以上説明した実施例のノイズ低減処理は、ベイヤー配列型の画像データに対しても適用可能である。図１８は、ベイヤー配列の一例を示す図である。ベイヤー配列型の画像データに対してノイズ低減処理を行うにあたっては、ベイヤー配列型データにデモザイキングを施しRGB画像に変換することで、適用が可能となる。

[実施例の効果]
以上説明した実施例の画像処理装置が行うノイズ低減処理によれば、以下のような効果を得られる。

実施例１，２の画像処理装置では、ノイズ低減処理にあたり、所定条件により画像フィルタリング処理を繰り返す回数を決定し、その回数に基づいて画像フィルタリング処理を行っている。画像フィルタリング処理を複数回行うことで、従来では除去することが困難であった色ノイズのような注目画素と類似画素との信号差が小さいノイズを除去することができる。

また、実施例１，２の画像処理装置では、所定条件に基づいて画像フィルタリング処理の回数を決定することにより、解像度を落とさずに効果的に色ノイズのような注目画素と類似画素との信号差が小さいノイズを除去することがsできる。

また、実施例１，２の画像処理装置では、画像フィルタリング処理の結果として、抽出した画素のうち注目画素と類似画素群とから画素の信号値の平均値を算出する。そして、実施例１，２の画像処理装置では、この平均値を用いた画像フィルタリング処理を複数回行う。このような実施例１，２の画像処理装置によれば、解像度を落とさずに効果的に色ノイズのような注目画素と類似画素との信号差が小さいノイズを除去することが可能となる。

実施例２の画像処理装置では、処理対象画像を水平、垂直方向で任意の数のブロックに分割し、ブロック分割された処理対象領域ごとに所定条件により画像フィルタリング処理回数を変更している。

実施例２の画像処理装置によれば、ノイズを減らしたい領域の画像フィルタリング処理の回数を増やし、解像を残したい領域の画像フィルタリング処理回数を減らし、領域に応じて効果的にノイズ低減処理を行うことが可能となる。

実施例１，２の画像処理装置では、繰り返し回数決定の所定条件を被写体輝度とし、被写体輝度に応じて画像フィルタリング処理の繰り返し回数を決定している。

実施例１，２の画像処理装置によれば、特に暗部で発生しやすい色ノイズに対して、暗部の画像フィルタリング処理の回数を増やすことができるため、色ノイズを効果的に除去することができる。

実施例１，２の画像処理装置では、繰り返し回数決定の所定条件を撮像素子のＩＳＯ感度（ゲイン）設定とし、撮像素子のＩＳＯ感度設定に応じて画像フィルタリングの繰り返し回数を決定している。

画像データにおいて、撮像素子のゲイン設定が高くなるにつれて色ノイズが発生しやすいが、実施例１，２の画像処理装置によれば、そのような色ノイズに対して、撮像素子のゲイン設定に応じて画像フィルタリング処理の回数を増やすことができるため、色ノイズを効果的に除去することができる。

実施例１，２の画像処理装置では、繰り返し回数決定の所定条件を画像から算出される標準偏差として、標準偏差に応じて画像フィルタリング処理の繰り返し回数を決定している。

画像データにおいて、色ノイズが発生している場合には標準偏差が高くなる傾向にある。そこで、実施例１，２の画像処理装置によれば、標準偏差が高くなるのに対応して画像フィルタリング処理の繰り返し回数を増やすことができるため、色ノイズを効果的に除去することができる。

さらに、エッジを含む画像データにおいても標準偏差が高くなる傾向にあるが、実施例１，２の画像処理装置では、標準偏差がある一定以上の場合には画像フィルタリング処理の回数を増やさないように設定している。そのため、実施例１，２の画像処理装置によれば、エッジが潰れることを防ぐこともできる。

実施例１，２の画像処理装置では、繰り返し回数の所定条件を撮影時の光源色温度とし、光源色温度に応じて画像フィルタリング処理の繰り返し回数を決定している。

画像データにおいて、低色温度での撮影では青色の光が少ないことでホワイトバランスのＢゲインが高くなり色ノイズが発生しやすくなる。実施例１，２の画像処理装置によれば、光源色温度が低い場合には画像フィルタリング処理の繰り返し回数を増やすことができるため、色ノイズを効果的に除去することができる。

実施例２の画像処理装置では、繰り返し回数決定の所定条件を撮影時のフォーカスポイントに基づき設定して画像フィルタリング処理の繰り返し回数を決定している。

画像データにおいて、フォーカスポイントから外れた領域はボケが発生しているため、画像フィルタリング処理により解像度が失われたとしても画像データの評価には影響が少ない。そのため、実施例２の画像処理装置によれば、画像フィルタリング処理の回数を多くすることで色ノイズを低減することができる。

実施例２の画像処理装置では、繰り返し回数決定の所定条件を撮影時の絞り情報とし、絞り設定に応じて画像フィルタリングの繰り返し回数を決定している。

実施例２の画像処理装置によれば、上述のフォーカスポイントに基づく繰り返し回数決定方法と連動させて絞り情報を利用することにより、画像データにおけるボケが発生している箇所を精度よく判断することができる。そのため、実施例２の画像処理装置によれば、画像データ上のボケが発生している領域に効果的に画像フィルタリング処理を行うことができる。

１ ：撮像装置
２０ ：ノイズ低減プログラム
３１ ：処理対象画像
３１ａ ：処理対象領域
３１ｂ ：フォーカスポイント
３２ ：ノイズ低減画像
４１ ：ノイズ分散推定関数記憶部
５１ ：カメラ設定情報記憶部
１００ ：画像処理装置
１０４ ：デジタルスチルカメラプロセッサ
１０８−１ ：画像取得部
１０８−２ ：画像情報取得部
１０８−３ ：繰り返し回数算出部
１０８−４ ：繰り返し回数カウント部
１０８−５ ：注目画素選択部
１０８−６ ：類似画素群抽出部
１０８−７ ：平均値算出部
１０８−８ ：画素選択済判定部
１０８−９ ：繰り返し終了判定部
１０８−１０：加重加算部
１０８−１１：補正値置換部
１０９ ：フィルタリング手段
１１０ ：処理回数決定手段

特開２０１０−２１８１１０号公報

原島博, 小田島薫, 鹿喰善明, 宮川洋, "ε-分離非線形ディジタルフィルタとその応用," 電子情報通信学会論文誌 A , Vol.J65-A, No.4,pp.297-304, 1982

Claims (5)

1. 処理対象画像において注目画素を含んだ処理対象エリア内で注目画素と周辺画素の信号値を比較して類似度の高い画素を抽出し、抽出した画素を用いてフィルタリング処理を演算するフィルタリング手段と、
   前記フィルタリング手段により得られたフィルタリング処理の結果を新たな注目画素の信号値として前記フィルタリング処理が繰り返され、処理対象画素又は処理対象エリアの所定条件により前記フィルタリング処理の繰り返し回数を決定する処理回数決定手段と、を有し、
   前記処理回数決定手段は、前記処理対象画像の合焦位置と前記処理対象エリアとの距離に基づいて前記フィルタリング処理の繰り返し回数を決定することを特徴とする画像処理装置。
2. 処理対象画像において注目画素を含んだ処理対象エリア内で注目画素と周辺画素の信号値を比較して類似度の高い画素を抽出し、抽出した画素を用いてフィルタリング処理を演算するフィルタリング手段と、
   前記フィルタリング手段により得られたフィルタリング処理の結果を新たな注目画素の信号値として前記フィルタリング処理が繰り返され、処理対象画素又は処理対象エリアの所定条件により前記フィルタリング処理の繰り返し回数を決定する処理回数決定手段と、を有し、
   前記処理回数決定手段は、前記処理対象画像の絞り情報に基づいて前記フィルタリング処理の繰り返し回数を決定することを特徴とする画像処理装置。
3. 処理対象画像において注目画素を含んだ処理対象エリア内で注目画素と周辺画素の信号値を比較して類似度の高い画素を抽出し、抽出した画素を用いてフィルタリング処理を演算するフィルタリング手段と、
   前記フィルタリング手段により得られたフィルタリング処理の結果を新たな注目画素の信号値として前記フィルタリング処理が繰り返され、処理対象画素又は処理対象エリアの所定条件により前記フィルタリング処理の繰り返し回数を決定する処理回数決定手段と、を有し、
   前記処理回数決定手段は、前記所定条件として画像から算出される標準偏差を用い、前記標準偏差が所定値以上では繰り返し回数を制限することを特徴とする画像処理装置。
4. 前記フィルタリング手段は、前記処理回数決定手段が決定した繰り返し回数に基づいて前記フィルタリング処理を演算する、請求項１から３のいずれかに記載の画像処理装置。
5. 前記フィルタリング手段は、前記フィルタリング処理の結果として前記抽出した画素の信号値の平均値を算出する、請求項１から４のいずれかに記載の画像処理装置。