JP7005280B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像データに混入したノイズを低減する画像処理技術に関する。

デジタルビデオカメラなどのデジタル撮像装置が被写体を撮像して画像データを生成する際、光電荷変換素子（撮像素子）や回路の特性に起因する暗電流ノイズ、熱雑音、ショットノイズなどが画像データに混入してしまうことが知られている。近年、デジタル撮像装置における撮像素子の小型化および高画素化に伴い、撮像素子の画素ピッチの極小化も進み、画像データに混入するノイズも目立ちやすくなっている。特に、撮影感度を高くした場合、画像データに混入するノイズは顕著になり、画像データが表す画像が劣化する大きな要因となっている。

これらのようなノイズのうち、ショットノイズを除去するための最も原理的な手法として、同じ撮影条件で同じ被写体を連続撮影し、連続撮影して得られた複数の画像データの画素値を平均する手法が知られている。この原理に基づき、連続撮影して得られた複数の画像データにおいて着目画素と類似する類似画素を探索し、探索された類似画素をノイズ低減対象となる１枚の画像データに合成することによりノイズを低減する手法が提案されている（特許文献１）。

特表２００７－５３６６６２号公報

しかしながら、ランダムノイズの影響により画像データにおけるエッジにがたつきが発生した場合、特許文献１のノイズ低減手法を適用しても、エッジのがたつきが残留してしまう場合があった。このとき、ノイズ低減量をエッジにがたつきが残留しないように調整する手法も考えられるが、ノイズ低減量をこのように調整した場合、コントラストの低いテクスチャにボケが発生してしまう場合があった。

本発明は上記課題に鑑みなされたものであり、画像データに混入したノイズを良好に低減することを目的とする。

本発明の画像処理装置は、時系列的に連続する複数の画像データを用いてノイズ低減処理を実行する画像処理装置であって、前記複数の画像データのうち基準画像データにおける着目画素のエッジ強度を導出するエッジ強度導出手段と、前記複数の画像データのうち前記基準画像データ以外を参照画像データとしたとき、前記着目画素と、前記参照画像データにおいて前記着目画素に対応する画素と、の類似度を導出する類似度導出手段と、前記エッジ強度と、前記類似度とに基づいて、前記着目画素と類似している画素を探索する探索範囲、着目画素に対応する着目ブロックのサイズ、類似している画素の類似画素数の少なくとも何れか１つを決定する決定手段と、前記決定手段が決定した結果に従って、前記基準画像データと前記参照画像データそれぞれについて、前記探索範囲に含まれる画素に対応するブロックのうち着目ブロックに類似するブロックを探索することにより、前記着目画素に類似している類似画素を検出する検出手段と、前記着目画素と、前記類似画素とを合成することで前記着目画素の画素値を算出する合成手段と、を有し、前記決定手段は、前記エッジ強度が大きいほど、または前記類似度が小さいほど、前記探索範囲を小さくすることを特徴とする。

本発明によれば、画像データに混入したノイズを良好に低減することができる、という効果を奏する。

実施形態１における画像処理装置のハードウェア構成例を示す図である。 実施形態１における画像処理装置の機能構成例を示すブロック図である。 実施形態１におけるメイン処理手順例を示すフローチャートである。 実施形態１においてベイヤ配列を説明するための模式図である。 実施形態１における領域判定手順例を示すフローチャートである。 実施形態１における局所領域例を示す模式図である。 実施形態１における合成手順例を示すフローチャートである。 実施形態１における平滑化強度ＳＶとノイズ低減量との関係を示すグラフの一例である。 実施形態１における類似画素の合成手順例を示すフローチャートである。 実施形態１における着目画素、着目領域、探索領域、参照画素および参照領域の一例を示す図である。 図１１（ａ）は、実施形態１において平滑化強度ＳＶと探索領域のサイズＳ３とが関連付けられたテーブルの一例である。図１１（ｂ）は、実施形態１において平滑化強度ＳＶと探索領域のサイズとの関係を示すグラフの一例である。 実施形態２における領域判定手順例を示すフローチャートである。 実施形態２における合成手順例を示すフローチャートである。 実施形態３における画像処理装置の機能構成例を示すブロック図である。 実施形態３におけるメイン処理手順例を示すフローチャートである。 実施形態３における合成候補画素の選択手順例を示すフローチャートである。 実施形態３における合成手順例を示すフローチャートである。 実施形態４における画像処理装置の機能構成例を示すブロック図である。 実施形態４におけるメイン処理手順例を示すフローチャートである。 実施形態４における合成候補画素の選択手順例を示すフローチャートである。 図２１（ａ）は、実施形態４において対応画素を導出する様子を示す模式図である。図２０（ｂ）は、実施形態４において補正量ｃと距離ｄとの関係を示すグラフの一例である。 実施形態４における合成手順例を示すフローチャートである。 図２３（ａ）は、実施形態４における適応補間参照画像データの一例を示す図である。図２３（ｂ）は、実施形態４における局所領域の一例を示す図である。

以下、本発明を実施するための形態について図面を参照して説明する。ただし、この実施形態に記載されている構成はあくまで例示であり、本発明の範囲を必ずしもそれらに限定する趣旨のものではない。

［実施形態１］
（画像処理装置のハードウェア構成）
本実施形態における画像処理装置の構成例について、図１を参照して説明する。図１において、画像処理装置１００はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（以下インターフェースは「Ｉ／Ｆ」と記す）１０４、モニタ１０８、及びメインバス１０９を備える。汎用Ｉ／Ｆ１０４は、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリーカードなどの外部メモリ１０７をメインバス１０９に接続する。

以下、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）をＲＡＭ１０２に読み出して実行する各種処理について説明する。まず、ＣＰＵ１０１はＨＤＤ１０３に格納されているアプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（以下ユーザインターフェースは「ＵＩ」と記す）を表示する。次いで、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影されたＲＡＷ画像データ、入力装置１０６が入力を受け付けた指示などがＲＡＭ１０２に送出される。さらに、アプリケーションが実行する処理に従って、ＲＡＭ１０２に格納されているデータはＣＰＵ１０１からの指令に基づき各種演算が施される。演算結果はモニタ１０８に表示されたり、ＨＤＤ１０３または外部メモリ１０７に格納される。なお、ＨＤＤ１０３や外部メモリ１０７に格納されているＲＡＷ画像データがＲＡＭ１０２に送出されてもよい。また、不図示のネットワークを介してサーバから送信されたＲＡＷ画像データがＲＡＭ１０２に送出されてもよい。

（画像処理装置の機能構成）
本実施形態における画像処理装置の機能構成例について、図２を参照して説明する。本実施形態の画像処理装置１００は、入力制御部２０１と、記憶制御部２０２と、処理部２０３と、出力制御部２０４とを備える。処理部２０３は、領域判定部２０５と、合成部２０６と、現像部２０７とを含む。図２における各ブロックの機能は、ＣＰＵ１０１がＨＤＤ１０３に格納されたアプリケーションのプログラムコードをＲＡＭ１０２に読み出して実行することにより実現される。あるいはまた、図２におけるブロックの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。これらは図２以降の機能構成図についても同様である。

入力制御部２０１は、複数の画像データ、画像処理に用いられる各種パラメータ（以下、単に「パラメータ」とも記す）、ＩＳＯ感度別のノイズ特性などの入力を制御する。本実施形態では、複数の画像データは時系列的に連続する複数のＲＡＷ画像データであり、ノイズ低減処理の対象となる基準画像データと、基準画像データに含まれる被写体と同じ被写体が含まれる１以上の参照画像データとが含まれる。パラメータは、後述する領域判定処理と合成処理とにおいて用いられる。ノイズ特性は予めＩＳＯ感度別に算出されたノイズ分散値である。記憶制御部２０２は、入力を受け付けた複数の画像データ、パラメータ、及び画像処理が施された画像データなどを、ＲＡＭ１０２、ＨＤＤ１０３、及び外部メモリ１０７などの記憶領域（以下、単に「記憶領域」とも記す）に書き込む制御を実行する。また、記憶制御部２０２は、記憶領域に記憶された複数の画像データ、パラメータ、及び画像処理が施された画像データを読み出す制御を実行する。処理部２０３は、入力または記憶された画像データ、パラメータ、及びノイズ特性などを読み込み、読み込んだ各種データに画像処理を施す。画像処理が施された各種データは、記憶領域に格納されたり、汎用Ｉ／Ｆ１０４を介して外部装置（不図示）に出力される。処理部２０３における画像処理の詳細は後述する。出力制御部２０４は、画像処理が施された画像データや記憶領域に記憶された画像データなどをモニタ１０８やＨＤＤ１０３などに出力する制御を実行する。なお、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続された外部メモリ１０７や不図示の外部サーバに出力してもよいし、プリンタなどに出力されても構わない。

（メイン処理）
図３は、本実施形態におけるメイン処理手順例を示すフローチャートである。図３に示されるフローチャートの処理は、ＣＰＵ１０１がＨＤＤ１０３に格納されているアプリケーションのプログラムコードをＲＡＭ１０２に展開し実行することにより行われる。以下の各記号Ｓは、フローチャートにおけるステップであることを意味する。これらは図３以降のフローチャートについても同様である。

Ｓ３０１において、入力制御部２０１は、複数のＲＡＷ画像データ、パラメータ、及びＩＳＯ感度別のノイズ特性等の入力を受け付けて記憶領域に記憶する。なお、本実施形態ではＲＡＷ画像データはベイヤ配列のカラーフィルタを持つ撮像装置で撮影して得られた画像データであるものとして説明する。図４はベイヤ配列を説明するための模式図である。図４に示される通り、ベイヤ配列は、緑（Ｇ）画素と赤（Ｒ）画素とが交互に繰り返される行と、青（Ｂ）画素と緑（Ｇ）画素とが交互に繰り返される行とが交互に配列される。但し、本実施形態において処理対象となる画像データは、ベイヤ配列型の画像データに限定されない。本実施形態は、ＲＡＷ画像データからカラー画像データを生成する際に、ノイズ低減処理及び画素補間が可能な種別であれば、任意のカラーフィルタを有する撮像装置で撮影された画像データに対して適用することができる。画像処理装置１００に入力される画像データは、ノイズ低減対象である基準画像データと、複数のＲＡＷ画像データのうち基準画像データ以外の一以上の参照画像データである。なお、以下の説明において、撮像装置１０５が被写体を連続撮影して得られた複数の画像データのうち、１枚目を基準画像データ、それ以外は参照画像データであるものとする。さらに、これら画像データが表す画像の大きさはそれぞれ幅Ｘ画素、高さＹ画素であり、参照画像データの枚数はＮ枚であるものとして説明する。これら画像データが表す画像における画素位置は左上の画素（０，０）を基準とする座標系で表され、各画素の座標を（ｘ，ｙ）とする（但し、ｘ，ｙは０≦ｘ＜Ｘ，０≦ｙ＜Ｙを満たす整数とする）。

Ｓ３０２において、領域判定部２０５は、Ｓ３０１で入力された基準画像データと１または複数の参照画像データとを用いて基準画像データの領域判定を行う。領域判定処理の詳細は後述する。
Ｓ３０３において、合成部２０６は、Ｓ３０１で入力された基準画像データと１または複数の参照画像データとを合成する。合成処理の詳細は後述する。
Ｓ３０４において、現像部２０７は、Ｓ３０３で合成された合成画像データの現像処理を行う。現像された画像データは記憶領域に記憶される。ここで、本実施形態における現像処理には、画素を補間するデモザイク処理、メリハリを増すためのエッジ強調や、明るさを補正するγ補正、鮮やかさを増すための色補正などが含まれる。つまり、本実施形態の現像処理には、出力画像が好適に見えるように補正する処理全般が含まれる。なお、現像処理の詳細は本実施形態の主眼ではないため説明は省略する。
Ｓ３０５において、出力制御部２０４は、Ｓ３０４で現像処理が施された画像データを記憶領域から読み出して外部装置などに出力する制御を実行する。画像データの出力が完了すると、本フローチャートの処理を終了する。

（領域判定処理）
図５は、本実施形態における領域判定手順（Ｓ３０２）の一例を示すフローチャートである。以下、図５のフローチャートを参照して本実施形態における領域判定手順について説明する。
Ｓ５０１において、領域判定部２０５は、領域判定結果を保持する領域判定マップと、エッジ強度を保持するエッジ強度マップと、エッジ類似度を保持するエッジ類似度マップとを初期化する。また、Ｓ５０１において、局所領域のサイズＳ１、閾値ｔｈ１等のパラメータ、及び撮影時のＩＳＯ感度に応じたノイズ分散σ²が読み込まれる。
Ｓ５０２において、領域判定部２０５は、基準画像データにおける着目画素を選択する。
Ｓ５０３において、領域判定部２０５は、着目画素のエッジ強度Ｅを導出する。
ここで、エッジ強度導出手法について具体的に説明する。先ず、着目画素と当該着目画素の周辺画素とを含む局所領域が決定される。局所領域のサイズＳ１はＳ５０１で入力されたパラメータに基づいて決定され、ここではＳ１＝５であるものとして説明する。局所領域のサイズが５×５画素の例が図６（ａ）に示される。図６（ａ）において、着目画素６０１は黒色のブロックで、周辺画素６０２は灰色のブロックで、局所領域６０３は周辺画素６０２を囲む太線で表されている。局所領域６０３の形状は図６（ａ）に示される矩形に限定されない。例えば図６（ｂ）に示されるような多角形のような形状でも問題はない。次いで、以下に示される（式１）を用いて、局所領域における分散値Ｖを色成分ごとに（本実施形態ではＲＧＢごとに）算出する。

最後に、エッジ強度Ｅ_r、Ｅ_g、Ｅ_bのうち最大値のエッジ強度Ｅを、エッジ強度マップにおいて着目画素と同座標に位置する画素に出力する。なお、本実施形態では、分散の比率を用いてエッジ強度Ｅを導出する手法について説明したが、例えばソーベルフィルタやラプラシアンフィルタなどを用いてエッジ強度Ｅを導出してもよい。

Ｓ５０４において、領域判定部２０５は、Ｓ５０３で導出したエッジ強度Ｅと、Ｓ５０１で入力された閾値ｔｈ１とを比較する。Ｅ≧ｔｈ１となる場合（Ｓ５０４：ＹＥＳ）はＳ５０５に移行し、Ｅ＜ｔｈ１となる場合（Ｓ５０４：ＮＯ）はＳ５０６に移行する。
Ｓ５０５において、領域判定部２０５は、着目画素はエッジ部に位置するエッジ画素であると判定し、領域判定マップにおいて着目画素と同座標に位置する画素に「１」を出力する。
Ｓ５０６において、領域判定部２０５は、着目画素は平坦部に位置する平坦画素であると判定し、領域判定マップにおいて着目画素と同座標に位置する画素に「０」を出力する。出力が完了するとＳ５１０の判定処理に移行する。
Ｓ５０７において、領域判定部２０５は、参照画像データを１つ選択し、選択された参照画像データにおいて着目画素と同座標に位置する画素（以後、本実施形態において「対応画素」と記す）を選択する。
Ｓ５０８において、領域判定部２０５は、着目画素と対応画素との間のエッジ類似度を導出する。ここで、本実施形態におけるエッジ類似度は、着目画素を中心とする着目領域と、対応画素を中心とする局所領域との間でのＳＡＤ（差分絶対値の和）の逆数である。Ｓ５０８において、領域判定部２０５は、算出されたＳＡＤの逆数を、エッジ類似度マップにおいて着目画素と同座標に位置する画素に出力する。複数の参照画像データそれぞれから対応画素が選択された場合、参照画像データの数だけ導出されたＳＡＤの逆数が累積される。着目領域および局所領域のサイズは、エッジ強度導出（Ｓ５０３）における局所領域のサイズと同じであり、本実施形態では５×５画素のサイズで着目領域および局所領域が区画される。
Ｓ５０９において、領域判定部２０５は、全ての参照画像データから対応画素を選択したか否かを判定する。全ての対応画素の選択が完了した場合（Ｓ５０９：ＹＥＳ）はＳ５１０に移行し、全ての対応画素の選択が完了していない場合（Ｓ５０９：ＮＯ）は再びＳ５０７に戻る。
Ｓ５１０において、領域判定部２０５は、基準画像データの全画素についてＳ５０２～Ｓ５０９が完了したか否かを判定する。完了している場合（Ｓ５１０：ＹＥＳ）は領域判定処理を終了して再びメインフローチャート（図３）に戻る。完了していない場合（Ｓ５１０：ＮＯ）は再びＳ５０２に戻る。

（合成処理）
図７は、本実施形態における合成手順（Ｓ３０３）の一例を示すフローチャートである。以下、図７のフローチャートを参照して本実施形態における合成手順について説明する。
Ｓ７０１において、合成部２０６は、領域判定処理（Ｓ３０２）で生成した領域判定マップと、エッジ強度マップと、エッジ類似度マップとを読み込む。また、Ｓ７０１において、合成処理で用いられる平滑化強度の基準値も読み込まれる。
Ｓ７０２において、合成部２０６は、基準画像データにおける着目画素を選択する。
Ｓ７０３において、合成部２０６は、領域判定マップにおいて着目画素と同座標に位置する画素を参照してその画素値が１であるか否かを判定する。すなわち、Ｓ７０３において、着目画素がエッジ画素であるか否かが判定される。着目画素がエッジ画素である場合（Ｓ７０３：ＹＥＳ）はＳ７０４に移行する。着目画素がエッジ画素ではない場合（Ｓ７０３：ＮＯ）はＳ７０５に移行する。
Ｓ７０４において、合成部２０６は、エッジ強度導出（Ｓ５０３）で導出されたエッジ強度Ｅと、エッジ類似度導出（Ｓ５０８）で導出されたエッジ類似度とを用いて平滑化強度ＳＶを導出する。平滑化強度ＳＶは（式３）によって導出することができる。

平滑化強度ＳＶは、その値が大きいほどノイズ低減量が多いことを示す値である。図８は、平滑化強度ＳＶとノイズ低減量との関係を示すグラフの一例である。
Ｓ７０５において、合成部２０６は、平滑化強度ＳＶをＳ７０１で読み込んだ基準値に設定する。
Ｓ７０６において、合成部２０６は、着目画素と当該着目画素に類似する画素とを合成する類似画素合成処理を行う。類似画素合成処理の詳細は後述する。
Ｓ７０７において、合成部２０６は、基準画像データの全画素についてＳ７０２～Ｓ７０６の処理が完了したか否かを判定する。完了している場合（Ｓ７０７：ＹＥＳ）は合成処理を終了して再びメインフローチャート（図３）に戻る。完了していない場合（Ｓ７０７：ＮＯ）は再びＳ７０２に戻る。

（類似画素合成処理）
図９は、本実施形態における類似画素の合成手順（Ｓ７０６）の一例を示すフローチャートである。以下、図９のフローチャートを参照して本実施形態における類似画素合成手順について説明する。
Ｓ９０１において、合成部２０６は、合成の候補となる画素を記録するための合成候補画素リストを初期化する。また、Ｓ９０１において、平滑化強度ＳＶ、着目領域のサイズＳ２、及び閾値ｔｈ２、ｔｈ３、合成画素数Ｎｕｍ等のパラメータが入力される。本実施形態では、連続撮影によって取得された画像データの数が、合成画素数Ｎｕｍに設定される（Ｎｕｍ＝Ｎ）。
Ｓ９０２において、合成部２０６は、着目画素を中心とする着目領域を決定する。着目領域のサイズＳ２は、Ｓ９０１で入力されたパラメータから取得される。図１０（ａ）は、基準画像データにおける着目画素と着目領域とを示す模式図である。図１０（ａ）に示される通り、例えば着目領域サイズＳ２＝５の場合、基準画像データ１００１において着目画素１００２を中心とする５×５の矩形領域が着目領域１００３として決定される。

Ｓ９０３において、合成部２０６は、複数の参照画像データのなかから１つを選択する。
Ｓ９０４において、合成部２０６は、Ｓ９０３で選択した参照画像データにおける探索領域を決定する。探索領域のサイズＳ３は、Ｓ９０１で入力された平滑化強度ＳＶに基づいて決定される。具体的には、平滑化強度ＳＶと探索領域のサイズＳ３とが関連づけられたテーブルを予め記憶領域に記憶しておき、そのテーブルを参照して探索領域のサイズＳ３が決定される。
図１１（ａ）は、本実施形態において、平滑化強度ＳＶと探索領域のサイズＳ３とが関連付けられたテーブルの一例であり、例えば平滑化強度ＳＶ＝１８の場合は探索領域のサイズＳ３が「５」に決定される。平滑化強度ＳＶが大きいほど探索範囲のサイズＳ３が小さくなるように決定すればよく、図１１（ｂ）に示されるようなグラフを満たすように、平滑化強度ＳＶから探索領域のサイズＳ３が導出されるようにしてもよい。
図１０（ｂ）は、参照画像データにおける探索領域を示す模式図である。図１０（ｂ）に示される通り、例えば探索領域サイズＳ３＝５の場合、参照画像データ１００４において着目画素１００２と同座標に位置する画素１００５を中心とする５×５の矩形領域が探索領域１００６として決定される。
ここで、着目画素とその周辺に位置する参照画素とを加重平均する、一般的なノイズ低減手法（例えば、特許文献１）によれば、全ての参照画素が加重平均されるため、探索領域のサイズを大きくすると、平滑化強度が上がる（ボケる）効果を得ることができる。しかしながら、本実施形態のノイズ低減手法によれば、着目画素と類似する上位Ｎｕｍ番目までの画素が平均または加重平均されるため、探索領域のサイズが大きくなるほど平滑化強度が下がる（鮮鋭化する）効果を得ることができる。逆に、探索領域が小さくなるほど平滑化強度が上がる（ボケる）効果を得ることができる。本実施形態ではこの結果、平滑化強度ＳＶが大きいほど探索領域を小さくすることにより、エッジのがたつきを抑制しつつ、画像データに混入したノイズを抑制することができる。

Ｓ９０５において、合成部２０６は、Ｓ９０４で決定した探索領域のなかから着目画素と同じ色成分を有する画素を参照画素として選択する。
Ｓ９０６において、合成部２０６は、Ｓ９０５で選択された参照画素を中心とする参照領域を決定する。参照領域のサイズは着目領域サイズＳ２と同じであり、Ｓ９０１で入力されたパラメータから取得される。図１０（ｃ）に示される通り、例えばＳ２＝５の場合、参照画素１００７を中心とする５×５の矩形領域が参照領域１００８として設定される。
Ｓ９０７において、合成部２０６は、Ｓ９０２で決定した着目領域とＳ９０６で決定した参照領域との差分絶対値の和（ＳＡＤ）を導出する。
Ｓ９０８において、合成部２０６は、Ｓ９０７で導出されたＳＡＤと閾値ｔｈ２とを比較する。ＳＡＤ＜ｔｈ２である場合（Ｓ９０８：ＹＥＳ）はＳ９０９に移行する。ＳＡＤ≧ｔｈ２である場合（Ｓ９０８：ＮＯ）はＳ９０９をスキップしてＳ９１０に移行する。
Ｓ９０９において、合成部２０６は、Ｓ９０５で選択した参照画素を合成候補画素リストに追加する。Ｓ９０９において、Ｓ９０５で選択した参照画素の画素情報が合成候補画素リストに追加される。
Ｓ９１０において、合成部２０６は、探索領域における全ての参照画素が選択されたか否かを判定する。全ての参照画素が選択された場合（Ｓ９１０：ＹＥＳ）はＳ９１１に移行する。全ての参照画素が選択されていない場合（Ｓ９１０：ＮＯ）はＳ９０５に戻る。
Ｓ９１１において、合成部２０６は、全ての参照画像データが選択されたか否かを判定する。全ての参照画像データが選択された場合（Ｓ９１１：ＹＥＳ）はＳ９１２に移行する。全ての参照画像データが選択されていない場合（Ｓ９１１：ＮＯ）はＳ９０３に戻る。
Ｓ９１２において、合成部２０６は、ＳＡＤが最も小さくなる参照画素を最上位とし、ＳＡＤが昇順となるように合成候補画素リスト上の参照画素をソートする。
Ｓ９１３において、合成部２０６は、合成候補画素リストにおける上位Ｎｕｍ番目までの参照画素を選択する。すなわち、ＳＡＤが最も小さくなる参照画素からＮｕｍ番目までの参照画素が選択される。

Ｓ９１４において、合成部２０６は、ノイズ低減処理後の着目画素の画素値を導出する。本実施形態の合成部２０６は、着目画素の画素値と、Ｓ９１３で選択されたＮｕｍ番目までの画素の画素値との平均値を、以下の（式４）を用いて導出することができる。

ここで、Ｉ₀は着目画素の画素値を、Ｉ_iはＮｕｍ番目までの画素の画素値（ｉはＳ９１３で選択した順番）をそれぞれ意味する。上記のような単純な平均ではなく、例えば、選択した各画素のＳＡＤの逆数を重みとして、（式５）で加重平均することにより平均値が導出されてもよい。

ここで、ｗ_iはｉ番目画素の重みを示し、ＳＡＤとの関係はｗ_i＝１／ＳＡＤ_iで表される。なお、本実施形態では、合成候補画素を決定するために、差分絶対値の和（ＳＡＤ）を用いたが、これに限らず着目画素と類似する画素を見つけることが可能であれば、上記以外の手法を用いてもよい。例えば、着目領域と参照領域との平均値の差分絶対値に基づいて合成候補画素を決定してもよい。また、差分率に応じて設定された閾値以下に合成候補画素数を設定してもよい。あるいはまた、ＳＡＤと平均値の差分絶対値との組み合わせに基づいて合成候補画素を決定してもよい。

本実施形態では、平滑化強度ＳＶに応じて探索領域のサイズＳ３を切り替えることによりノイズ低減量を調整したが、実施形態はこの手法に限られない。例えば、平滑化強度ＳＶが大きいほど着目領域のサイズＳ２を小さくすることにより、ノイズ低減量を調整することもできる。あるいはまた、平滑化強度ＳＶが大きいほど合成対象となる画素数をＮｕｍよりも多くすることによりノイズ低減量を調整することもできる。
また、Ｓ９０９において合成候補画素リストに追加された参照画素の個数がＮｕｍ個に満たない場合、Ｓ９１３をスキップしてもよい。この場合、Ｓ９１４において、合成候補画素リストに追加されている全参照画素について式（４）または式（５）が適用されてもよい。さらに、合成候補画素リストに追加された参照画素が０個の場合、ｔｈ２の値を大きくしてから、再度合成処理（Ｓ３０３）が実行されてもよい。
Ｓ９１４が終了すると、本フローチャートの処理を終了して再び図７のフローチャートに戻る。

以上説明した通り、本実施形態のノイズ低減処理によれば、エッジ強度とエッジ類似度とに応じた平滑化強度に基づいて、ノイズ低減処理後の画素値が導出される。そのため、エッジのがたつきを抑制しつつノイズを低減するなど、画像データに混入したノイズを良好に低減することができる。

［実施形態２］
実施形態１では、ノイズ低減対象となる基準画像データをエッジ部と平坦部とに分類し、それぞれに適した平滑化強度でノイズ低減処理が行われていた。しかしながら、複数の画像データに含まれる被写体が動体の場合、動体のエッジ部と非動体のエッジ部とでは、基準画像データと参照画像データとの間で類似画素の見つけやすさが異なる。そうすると、動体エッジは類似画素が見つかり難いためノイズ低減量が少なくなり、非動体エッジは動体エッジと比較して類似画素が見つかり易いため相対的にノイズ低減量が多くなる。そのため、動体エッジと非動体エッジとで、平滑化強度を変更することが望ましい。そこで、実施形態２では、着目画素が非動体のエッジ部に位置する非動体エッジ画素であるか、動体のエッジ部に位置する動体エッジ画素であるかを判定し、それぞれに適した平滑化強度を設定してノイズを低減する手法について説明する。なお、実施形態１と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。

（領域判定処理）
図１２は、本実施形態における領域判定手順（Ｓ３０２）の一例を示すフローチャートである。以下、図１２のフローチャートを参照して本実施形態における領域判定手順について説明する。
Ｓ１２０１において、領域判定部２０５は、領域判定結果を保持する領域判定マップと、エッジ強度を保持するエッジ強度マップと、エッジ類似度を保持するエッジ類似度マップとを初期化する。また、Ｓ１２０１において、局所領域のサイズＳ１、閾値ｔｈ３、ｔｈ４等のパラメータ、及び撮影時のＩＳＯ感度に応じたノイズ分散σ²が読み込まれる。なお、実施形態１とは異なり、領域判定マップは０，１，２の３値情報を保持することができる。
Ｓ１２０２において、領域判定部２０５は、基準画像データにおける着目画素を選択する。
Ｓ１２０３において、領域判定部２０５は、着目画素のエッジ強度Ｅを導出する。エッジ強度Ｅを導出する手法は実施形態１と同じである。

Ｓ１２０４において、領域判定部２０５は、Ｓ１２０３で導出したエッジ強度Ｅと、Ｓ１２０１で入力された閾値ｔｈ３とを比較する。Ｅ≧ｔｈ３となる場合（Ｓ１２０４：ＹＥＳ）はＳ１２０５に移行し、Ｅ＜ｔｈ３となる場合（Ｓ１２０４：ＮＯ）はＳ１２１１に移行する。
Ｓ１２０５において、領域判定部２０５は、参照画像データにおける探索領域のなかから着目画素と同じ色成分を有する画素を参照画素として選択する。参照画素を選択する手法は実施形態１と同じである。
Ｓ１２０６において、領域判定部２０５は、着目領域と参照領域との差分絶対値の和（ＳＡＤ）を導出する。差分絶対値の和（ＳＡＤ）を導出する手法は実施形態１と同じである。
Ｓ１２０７において、領域判定部２０５は、探索領域における全ての参照画素が選択されたか否かを判定する。全ての参照画素が選択された場合（Ｓ１２０７：ＹＥＳ）はＳ１２０８に移行する。全ての参照画素が選択されていない場合（Ｓ１２０７：ＮＯ）はＳ１２０５に戻る。

Ｓ１２０８において、領域判定部２０５は、Ｓ１２０１で入力された閾値ｔｈ４とＳ１２０６で導出した差分絶対値の和（ＳＡＤ）の累積値とを比較する。ＳＡＤの累積値＜ｔｈ４となる場合（Ｓ１２０８：ＹＥＳ）はＳ１２０９に移行し、ＳＡＤの累積値≧ｔｈ４となる場合（Ｓ１２０８：ＮＯ）はＳ１２１０に移行する。
Ｓ１２０９において、領域判定部２０５は、着目画素を非動体エッジ画素と判定し、領域判定マップにおいて着目画素と同座標に位置する画素に「１」を出力する。
Ｓ１２１０において、領域判定部２０５は、着目画素を動体エッジ画素と判定し、領域判定マップにおいて着目画素と同座標に位置する画素に「２」を出力する。
Ｓ１２１１において、領域判定部２０５は、着目画素を平坦画素と判定し、領域判定マップにおいて着目画素と同座標に位置する画素に「０」を出力する。
Ｓ１２１２において、領域判定部２０５は、参照画像データにおいて着目画素と同座標に位置する画素（以後、本実施形態において「対応画素」と記す）を選択する。
Ｓ１２１３において、領域判定部２０５は、着目画素と対応画素との間のエッジ類似度を導出する。エッジ類似度を導出する手法は実施形態１と同じである。
Ｓ１２１４において、領域判定部２０５は、全ての参照画像データから対応画素を選択したか否かを判定する。全ての対応画素の選択が完了した場合（Ｓ１２１４：ＹＥＳ）はＳ１２１５に移行し、全ての対応画素の選択が完了していない場合（Ｓ１２１４：ＮＯ）は再びＳ１２１２に戻る。
Ｓ１２１５において、領域判定部２０５は、基準画像データの全画素についてＳ１２０２～Ｓ１２１４が完了したか否かを判定する。完了している場合（Ｓ１２１５：ＹＥＳ）は領域判定処理を終了して再びメインフローチャート（図３）に戻る。完了していない場合（Ｓ１２１５：ＮＯ）は再びＳ１２０２に戻る。

（合成処理）
図１３は、本実施形態における合成手順（Ｓ３０３）の一例を示すフローチャートである。以下、図１３のフローチャートを参照して本実施形態における合成手順について説明する。
Ｓ１３０１において、合成部２０６は、領域判定処理（Ｓ３０２）で生成した領域判定マップと、エッジ強度マップと、エッジ類似度マップとを読み込む。また、Ｓ１３０１において、合成処理で用いられる平滑化強度の基準値及び補正係数ｃも読み込まれる。
Ｓ１３０２において、合成部２０６は、基準画像データにおける着目画素を選択する。
Ｓ１３０３において、合成部２０６は、領域判定マップにおける着目画素と同座標に位置する画素を参照し、その画素値が１であるか否かを判定する。すなわち、Ｓ１３０３において、着目画素が非動体エッジ画素であるか否かが判定される。着目画素が非動体エッジ画素である場合（Ｓ１３０３：ＹＥＳ）はＳ１３０５に移行する。着目画素が非動体エッジ画素ではない場合（Ｓ１３０３：ＮＯ）はＳ１３０４に移行する。
Ｓ１３０４において、合成部２０６は、領域判定マップにおける着目画素と同座標に位置する画素を参照し、その画素値が２であるか否かを判定する。すなわち、Ｓ１３０４において、着目画素が動体エッジ画素であるか否かが判定される。着目画素が動体エッジ画素である場合（Ｓ１３０４：ＹＥＳ）はＳ１３０５に移行する。着目画素が動体エッジ画素ではない場合（Ｓ１３０４：ＮＯ）はＳ１３０６に移行する。
Ｓ１３０５において、合成部２０６は、エッジ強度マップから取得したエッジ強度Ｅと、エッジ類似度マップから取得したエッジ類似度とを用いて平滑化強度ＳＶを導出する。平滑化強度ＳＶは（式６）によって導出することができる。

平滑化強度ＳＶは値が大きいほどノイズ低減量が多いことを示す値であり（図８）、ｃはエッジ類似度を補正するための補正係数である。このとき、着目画素が非動体エッジの場合は補正係数ｃにｃ１が用いられ、着目画素が動体エッジの場合は補正係数ｃにｃ２が用いられる（ただし、補正係数ｃ１，ｃ２は、ｃ１＜ｃ２の関係を有するものとする）。

Ｓ１３０７において、合成部２０６は、着目画素と当該着目画素に類似する画素とを合成する類似画素合成処理を行う。類似画素合成処理は実施形態１と同じである。
Ｓ１３０８において、合成部２０６は、基準画像データの全画素についてＳ１３０２～Ｓ１３０７の処理が完了したか否かを判定する。完了している場合（Ｓ１３０８：ＹＥＳ）は合成処理を終了して再びメインフローチャート（図３）に戻る。完了していない場合（Ｓ１３０８：ＮＯ）は再びＳ１３０２に戻る。

以上説明した通り、本実施形態のノイズ低減処理によれば、実施形態１の構成に加えてエッジを動体エッジと非動体エッジとに分類し、それぞれに適した平滑化強度に応じたノイズ低減処理が行われる。そのため、複数の画像データに含まれる被写体が動体か非動体かに関わらず、エッジのがたつきを抑制しつつノイズを低減するなど、画像データに混入したノイズを良好に低減することができる。

また、実施形態１、２では、参照画像データにおいて着目画素と同座標に位置する画素を対象画素として選択したが、これに限定されるものではない。例えば、撮像装置を手に持って被写体を撮影すると、大きく位置ずれが発生する場合があるため、Ｓ３０１で基準画像データを選択した後、各参照画像データを基準画像データに位置合わせしてからＳ３０２～Ｓ３０５の処理を行っても構わない。

［実施形態３］
実施形態１、２では、基準画像データをエッジ部と平坦部とに分類し、それぞれに適した平滑化強度でノイズ低減処理が行われていた。そのため、エッジのがたつきを抑制しつつノイズを低減するなど、画像データに混入したノイズを良好に低減することができる。

ところで、特許文献１のノイズ低減手法によれば、ＲＡＷ画像データに対してノイズ低減処理を行う他、ＲＡＷ画像データを適応的に補間して得られるＲＧＢ画像データに対してノイズ低減処理を行う手法も知られている。通常、ＲＧＢ画像データは、適応補間処理においてノイズが低減されているため、ＲＧＢ画像データに対して特許文献１のノイズ低減手法を適用した場合、低コントラストのテクスチャにボケが発生してしまうという新たな課題が発生する場合があった。そこで、実施形態３では、着目画素がエッジ画素か非エッジ画素かに応じて、参照画像データの種別を切り替える手法について説明する。なお、実施形態１、２と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。

（画像処理装置の機能構成）
本実施形態における画像処理装置の機能構成例について、図１４を参照して説明する。本実施形態の画像処理装置１００は、入力制御部２０１と、記憶制御部２０２と、処理部２０３と、出力制御部２０４とを備える。処理部２０３は、適応補間部１４０１と、選択部１４０２と、合成部２０６と、現像部２０７とを含む。処理部２０３における画像処理の詳細は後述する。

（メイン処理）
図１５は、本実施形態におけるメイン処理手順例を示すフローチャートである。以下、図１５のフローチャートを参照して本実施形態におけるメイン処理手順について説明する。
Ｓ１５０１において、入力制御部２０１は、時系列的に連続する複数のＲＡＷ画像データ、パラメータ、及びＩＳＯ感度別のノイズ特性等の入力を受け付けて記憶領域に記憶する。
Ｓ１５０２において、適応補間部１４０１は、Ｓ１５０１で入力された複数のＲＡＷ画像データに対して適応補間処理を行い、適応補間画像データを生成する。以下、説明の便宜上、適応補間画像データのうち、後述の合成処理（Ｓ１５０４）で参照される画像データを「適応補間参照画像データ」と記す。適応補間処理には、勾配に基づく補間、色相を考慮した補間、高周波成分を推定する補間などが挙げられ、いずれの手法も適用することができる。適応補間参照画像データは記憶領域に記憶される。なお、適応補間処理の詳細は本実施形態の主眼ではないため説明は省略する。

Ｓ１５０３において、選択部１４０２は、参照画像データから、基準画像データに合成する候補となる画素を選択する。合成候補画素選択処理の詳細は後述する。
Ｓ１５０４において、合成部２０６は、Ｓ１５０３で選択された合成候補画素に基づいて基準画像データと参照画像データとを、および、基準画像データと適応補間参照画像データとを合成する。合成処理の詳細は後述する。
Ｓ１５０５において、現像部２０７は、Ｓ１５０４で合成された合成画像データの現像処理を行う。
Ｓ１５０６において、出力制御部２０４は、Ｓ１５０５で現像処理が施された画像データを記憶領域から読み出して外部装置などに出力する制御を実行する。画像データの出力が完了すると、本フローチャートの処理を終了する。

（合成候補画素選択処理）
図１６は、本実施形態における合成候補画素の選択手順（Ｓ１５０３）の一例を示すフローチャートである。以下、図１６のフローチャートを参照して本実施形態における合成候補画素の選択手順について説明する。
Ｓ１６０１において、選択部１４０２は、合成の候補となる画素を記録するための合成候補画素リストを初期化する。また、Ｓ１６０１において、着目領域のサイズＳ２、探索領域のサイズＳ３、及び閾値ｔｈ５、ｔｈ６などのパラメータが読み込まれる。
Ｓ１６０２において、選択部１４０２は、基準画像データにおける着目画素を選択する。
Ｓ１６０３において、選択部１４０２は、着目画素を中心とする着目領域を決定する。着目領域を決定する手法は実施形態１と同じである。
Ｓ１６０４において、選択部１４０２は、複数の参照画像データのなかから１つを選択する。
Ｓ１６０５において、選択部１４０２は、Ｓ１６０４で選択した参照画像データにおける探索領域を決定する。本実施形態において、探索領域のサイズＳ３は、Ｓ１６０１で入力されたパラメータから取得される。図１０（ｂ）に示される通り、例えば探索領域のサイズＳ３が「５」の場合、着目画素１００２と同座標の画素１００５を中心とする５×５の矩形領域が探索領域１００６として決定される。あるいはまた、実施形態１と同様に平滑化強度ＳＶに応じてＳ３を可変させてもよい。

Ｓ１６０６において、選択部１４０２は、Ｓ１６０５で決定した探索領域のなかから着目画素と同じ色成分を有する画素を参照画素として選択する。
Ｓ１６０７において、選択部１４０２は、Ｓ１６０６で選択した参照画素を中心とする参照領域を決定する。参照領域を決定する手法は実施形態１と同じである。
Ｓ１６０８において、選択部１４０２は、Ｓ１６０３で決定した着目領域とＳ１６０７で決定した参照領域との差分絶対値の和（ＳＡＤ）を導出する。
Ｓ１６０９において、選択部１４０２は、Ｓ１６０８で導出されたＳＡＤと閾値ｔｈ５とを比較する。ＳＡＤ＜ｔｈ５である場合（Ｓ１６０９：ＹＥＳ）はＳ１６１０に移行する。ＳＡＤ≧ｔｈ５である場合（Ｓ１６０９：ＮＯ）はＳ１６１０～Ｓ１６１２をスキップしてＳ１６１３に移行する。

Ｓ１６１０において、選択部１４０２は、Ｓ１６０３で決定した着目領域とＳ１６０７で決定した参照領域とについて、平均値変化率（Ｒａｔｉｏ）を導出する。具体的には、以下の（式７）を用いて、色成分ごとに平均値変化率Ｒａｔｉｏ＿Ｒ，Ｒａｔｉｏ＿Ｇ，Ｒａｔｉｏ＿Ｂを算出し、それらの最大値をＲａｔｉｏとする。

ここで、Ｒ０，Ｇ０，Ｂ０は順に着目領域におけるＲ，Ｇ，Ｂの画素値の平均値を、Ｒ１，Ｇ１，Ｂ１は順に参照領域におけるＲ，Ｇ，Ｂの画素値の平均値を表す。
Ｓ１６１１において、選択部１４０２は、Ｓ１６１０で導出した平均値変化率（Ｒａｔｉｏ）と閾値ｔｈ６とを比較する。Ｒａｔｉｏ＜ｔｈ６である場合（Ｓ１６１１：ＹＥＳ）はＳ１６１２に移行し、Ｒａｔｉｏ≧ｔｈ６である場合（Ｓ１６１１：ＮＯ）はＳ１６１２をスキップしてＳ１６１３に移行する。
Ｓ１６１２において、選択部１４０２は、Ｓ１６０６で選択した参照画素の座標を合成候補画素リストに追加する。

Ｓ１６１３において、選択部１４０２は、探索領域における全ての参照画素が選択されたか否かを判定する。全ての参照画素が選択された場合（Ｓ１６１３：ＹＥＳ）はＳ１６１４に移行する。全ての参照画素が選択されていない場合（Ｓ１６１３：ＮＯ）はＳ１６０６に戻る。
Ｓ１６１４において、選択部１４０２は、全ての参照画像データが選択されたか否かを判定する。全ての参照画像データが選択された場合（Ｓ１６１４：ＹＥＳ）はＳ１６１５に移行する。全ての参照画像データが選択されていない場合（Ｓ１６１４：ＮＯ）はＳ１６０４に戻る。
Ｓ１６１５において、選択部１４０２は、基準画像データの全画素についてＳ１６０２～Ｓ１６１４が完了したか否かを判定する。完了している場合（Ｓ１６１５：ＹＥＳ）は合成候補画素選択処理を終了して再びメインフローチャート（図１５）に戻る。完了していない場合（Ｓ１６１５：ＮＯ）は再びＳ１６０２に戻る。

なお、本実施形態の合成候補画素選択処理では、合成候補画素を選択するために、差分絶対値の和（ＳＡＤ）と平均値変化率（Ｒａｔｉｏ）との両方が用いられたが、少なくともいずれか一方だけが用いられてもよい。さらには、これらの手法に限られず着目画素と類似する画素を見つけることが可能な手法であれば何でもよい。これは、実施形態４においても同様である。

（合成処理）
図１７は、本実施形態における合成手順（Ｓ１５０４）の一例を示すフローチャートである。以下、図１７のフローチャートを参照して本実施形態における合成手順について説明する。
Ｓ１７０１において、合成部２０６は、Ｓ１５０３で生成した合成候補画素リストを読み込む。また、Ｓ１７０１において、合成対象となる画素数Ｎｕｍと、閾値ｔｈ７などのパラメータ、及びＩＳＯ感度別のノイズ分散σ²が読み込まれる。本実施形態では、画素数Ｎｕｍは、参照画像データの数に設定されている。さらに、Ｓ１７０１において、合成部２０６は、合成対象となる画素をカウントするための変数ｉを初期化してｉ＝１とする。
Ｓ１７０２において、合成部２０６は、基準画像データにおける着目画素を選択する。
Ｓ１７０３において、合成部２０６は、着目画素のエッジ強度Ｅを導出する。エッジ強度Ｅを導出する手法は実施形態１と同じである。
Ｓ１７０４において、合成部２０６は、ＳＡＤが最も小さくなる参照画素を最上位とし、ＳＡＤが昇順となるように合成候補画素リスト上の参照画素をソートする。

Ｓ１７０５において、合成部２０６は、Ｓ１７０４でソートした参照画素のうち、ｉ番目の参照画素の座標を取得する。
Ｓ１７０６において、合成部２０６は、Ｓ１７０３で導出したエッジ強度Ｅと、閾値ｔｈ７とを比較する。Ｅ≧ｔｈ７の場合（Ｓ１７０６：ＹＥＳ）はＳ１７０７に移行し、Ｅ＜ｔｈ７の場合（Ｓ１７０６：ＮＯ）はＳ１７０８に移行する。
Ｓ１７０７において、合成部２０６は、Ｓ１７０５で取得した座標に対応する画素を適応補間参照画像データから取得する。
Ｓ１７０８において、合成部２０６は、Ｓ１７０５で取得した座標に対応する画素を参照画像データから取得する。
Ｓ１７０９において、合成部２０６は、ｉを１つインクリメントする。
Ｓ１７１０において、合成部２０６は、Ｎｕｍ個の画素を取得したか否かを判定する。ｉ＝Ｎｕｍである場合（Ｓ１７１０：ＹＥＳ）はＳ１７１１に移行する。ｉ≠Ｎｕｍである場合（Ｓ１７１０：ＮＯ）はＳ１７０５に戻る。
Ｓ１７１１において、合成部２０６は、ノイズ低減後の着目画素の画素値を導出する。具体的には、着目画素の画素値と、Ｓ１７０７及びＳ１７０８で取得されたＮｕｍ番目までの画素の画素値との平均値または加重平均値が導出される。これらの手法は実施形態１と同じである。
Ｓ１７１２において、合成部２０６は、基準画像データにおける全ての画素について処理が完了したか否かを判定する。全ての画素について処理が完了した場合（Ｓ１７１２：ＹＥＳ）は本フローチャートの処理を終了して再びメインフローチャート（図１５）に戻る。全ての画素について処理が完了していない場合（Ｓ１７１２：ＮＯ）は再びＳ１７０２に戻る。

以上説明した通り、本実施形態のノイズ低減処理によれば、エッジ部に位置するエッジ画素については適応補間参照画像データから、非エッジ部に位置する非エッジ画素については参照画像データから合成対象となる画素を取得する。そのため、エッジのがたつきや、コントラストの低いテクスチャのボケを抑制しつつ、画像データに混入したノイズを良好に低減することができる。

［実施形態４］
実施形態３では、着目画素がエッジ画素の場合は適応補間後の画像データから合成対象の画素が取得され、着目画素が非エッジ画素の場合は適応補間前の画像データから合成対象の画素が取得される。
ところで、撮像装置を手に持って被写体を撮像した場合、被写体が静止していても画像ごとに被写体の位置が大きくずれる場合がある。このような場合、探索領域を探索しても着目画素と類似する類似画素を見つけることができない可能性がある。そこで、本実施形態では、先ず参照画像データを基準画像データに位置合わせする。次いで、エッジ画素については適応補間後の画像データから合成対象の画素を取得し、非エッジ画素については適応補間前の画像データから合成対象の画素を取得する手法について説明する。なお、上述の実施形態と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。

（画像処理装置の機能構成）
本実施形態における画像処理装置の機能構成例について、図１８を参照して説明する。図１８に示される通り、本実施形態では、実施形態３の画像処理装置１００の機能構成に加えて、処理部２０３に位置合わせ部１８０１をさらに備える。処理部２０３における画像処理の詳細は後述する。

（メイン処理）
図１９は、本実施形態におけるメイン処理手順例を示すフローチャートである。以下、図１９のフローチャートを参照して本実施形態におけるメイン処理手順について説明する。
Ｓ１９０１において、入力制御部２０１は、時系列的に連続する複数のＲＡＷ画像データ、パラメータ、及びＩＳＯ感度別のノイズ特性等の入力を受け付けて記憶領域に記憶する。
Ｓ１９０２において、適応補間部１４０１は、Ｓ１９０１で入力された複数のＲＡＷ
画像データに対して適応補間処理を行い、適応補間画像データを生成する。適応補間画像データを生成する手法は実施形態３と同じである。

Ｓ１９０３において、位置合わせ部１８０１は、基準画像データと参照画像データとの位置合わせ処理を行う。Ｓ１９０３の位置合わせ処理では、基準画像データと参照画像データとのそれぞれの局所領域における特徴点が対応付けられて、基準画像データと参照画像データとの間で画素ごとの対応関係を導出可能な射影変換行列が生成される。この射影変換行列は、参照画像の枚数分生成される。なお、位置合わせ処理は、基準画像データと参照画像データ間で画素ごとの対応関係を導出可能な手法であれば何でもよい。

Ｓ１９０４において、選択部１４０２は、基準画像データと、参照画像データと、Ｓ１９０３で生成した射影変換行列とに基づいて、基準画像データに合成する候補となる画素を選択する。合成候補画素選択処理の詳細は後述する。
Ｓ１９０５において、合成部２０６は、Ｓ１９０４で選択された合成候補画素に基づいて基準画像データと参照画像データとを、および、基準画像データと適応補間参照画像データとを合成する。合成処理の詳細は後述する。
Ｓ１９０６において、現像部２０７は、Ｓ１９０５で合成された合成画像データの現像処理を行う。
Ｓ１９０７において、出力制御部２０４は、Ｓ１９０６で現像処理が施された画像データを記憶領域から読み出して外部装置などに出力する制御を実行する。画像データの出力が完了すると、本フローチャートの処理を終了する。

（合成候補画素選択処理）
図２０は、本実施形態における合成候補画素の選択手順（Ｓ１９０４）の一例を示すフローチャートである。以下、図２０のフローチャートを参照して本実施形態における合成候補画素の選択手順について説明する。
Ｓ２００１において、選択部１４０２は、Ｓ１６０１の処理に加え、対応画素の画素情報を記録するための対応画素リストを初期化する。また、Ｓ２００１において、Ｓ１９０３で生成された射影変換行列も読み込まれる。
Ｓ２００２において、選択部１４０２は、基準画像データにおける着目画素を選択する。
Ｓ２００３において、選択部１４０２は、着目画素を中心とする着目領域を決定する。着目領域を決定する手法は実施形態１と同じである。
Ｓ２００４において、選択部１４０２は、複数の参照画像データのなかから１つを選択する。Ｓ２００４において、選択された参照画像データに対応する射影変換行列も選択される。

Ｓ２００５において、選択部１４０２は、Ｓ２００４で選択された参照画像データと、射影変換行列とに基づいて、着目画素に対応する画素（以下、本実施形態において「対応画素」と記す）を導出する。
ここで、対応画素を導出する手法の詳細について説明する。まず、選択部１４０２は、着目画素の座標に射影変換行列をかけて射影変換後の座標を取得する。取得された座標に位置する画素の色成分が着目画素の色成分と同じ場合、取得された座標に位置する画素が対応画素として導出される。一方、取得された座標に位置する画素の色成分が着目画素の色成分と異なる場合、取得された座標の近傍に位置する画素であって、着目画素の色成分と同じ画素が対応画素として導出される。
図２１（ａ）は、参照画像データにおいて着目画素の色成分がＲである場合、射影変換後の座標の近傍に位置する画素が対応画素として導出される様子を示す図である。図２１（ａ）では、参照画像データにおける局所領域２１０１が示されている。局所領域２１０１は、画素２１０２，２１０３，２１０４，２１０５を含み、それぞれの色成分はＲ，Ｇ，Ｇ，Ｂである。黒丸２０１６は射影変換後の座標を示しており、この座標に位置している画素の色成分は「Ｂ」である。そのため、局所領域２１０１において色成分Ｒを有する画素２１０２が対応画素として導出される。このように、本実施形態において、射影変換後の座標から着目画素と同じ色成分の画素を探索することを「クリップする」と記す。選択部１４０２は、射影変換後の座標と、クリップされた対応画素の座標とを関連付けて対応画素リストに追加する。なお、図２１（ａ）において、白丸２１０７は画素２１０２の座標（中心位置）を、符号ｄは射影変換後の座標とクリップされた対応画素の座標との距離を示す。

Ｓ２００６において、選択部１４０２は、Ｓ２００５で導出した対応画素について補正量ｃを導出する。ここで、補正量ｃは、クリップ前後の座標間の距離ｄとの関係において、図２１（ｂ）に示されるような比例関係となる。本実施形態では、補正量ｃは、例えばｃ＝ｋ・ｄのように算出される。ｋは任意の係数であり、正の実数値をとる。導出された補正量ｃは、対応画素リストに追加される。

Ｓ２００７において、選択部１４０２は、Ｓ２００４で選択した参照画像データにおける探索領域を決定する。本実施形態では、Ｓ２００５で導出した対応画素を中心とするサイズＳ３の矩形領域が探索領域として決定される。
Ｓ２００８において、選択部１４０２は、Ｓ２００７で決定した探索領域のなかから着目画素と同じ色成分を有する画素を参照画素として選択する。
Ｓ２００９において、選択部１４０２は、Ｓ２００８で選択した参照画素を中心とする参照領域を決定する。参照領域を決定する手法は実施形態１と同じである。
Ｓ２０１０において、選択部１４０２は、Ｓ２００３で決定した着目領域とＳ２００９で決定した参照領域との差分絶対値の和（ＳＡＤ）を導出する。
Ｓ２０１１において、選択部１４０２は、Ｓ２０１０で導出したＳＡＤに、Ｓ２００６で導出した補正量ｃを加算した値と、閾値ｔｈ８とを比較する。ＳＡＤ＋ｃ＜ｔｈ８である場合（Ｓ２０１１：ＹＥＳ）はＳ２０１２に移行する。ＳＡＤ＋ｃ≧ｔｈ８である場合（Ｓ２０１１：ＮＯ）はＳ２０１２～Ｓ２０１４をスキップしてＳ２０１５に移行する。

Ｓ２０１２において、選択部１４０２は、Ｓ２００３で決定した着目領域とＳ２００９で決定した参照領域について、平均値変化率（Ｒａｔｉｏ）を導出する。平均値変化率（Ｒａｔｉｏ）を導出する手法は実施形態３と同じである。
Ｓ２０１３において、選択部１４０２は、Ｓ２０１２で導出した平均値変化率（Ｒａｔｉｏ）と、閾値ｔｈ９とを比較する。Ｒａｔｉｏ＜ｔｈ９である場合（Ｓ２０１３：ＹＥＳ）はＳ２０１４に移行し、Ｒａｔｉｏ≧ｔｈ９である場合（Ｓ２０１３：ＮＯ）はＳ２０１４をスキップしてＳ２０１５に移行する。
Ｓ２０１４において、選択部１４０２は、Ｓ２００８で選択した参照画素の座標を合成候補画素リストに追加する。

Ｓ２０１５において、選択部１４０２は、探索領域おける全ての参照画素が選択されたか否かを判定する。全ての参照画素が選択された場合（Ｓ２０１５：ＹＥＳ）、Ｓ２０１６に移行する。全ての参照画素が選択されていない場合（Ｓ２０１５：ＮＯ）、Ｓ２００８に戻る。
Ｓ２０１６において、選択部１４０２は、全ての参照画像データが選択されたか否かを判定する。全ての参照画像データが選択された場合（Ｓ２０１６：ＹＥＳ）、Ｓ２０１７に移行する。全ての参照画像データが選択されていない場合（Ｓ２０１６：ＮＯ）、Ｓ２００４に戻る。
Ｓ２０１７において、選択部１４０２は、基準画像データの全画素についてＳ２００２～Ｓ２０１６が完了したか否かを判定する。完了している場合（Ｓ２０１７：ＹＥＳ）は合成候補画素選択処理を終了して再びメインフローチャート（図１９）に戻る。完了していない場合（Ｓ２０１７：ＮＯ）は再びＳ２００２に戻る。

（合成処理）
図２２は、本実施形態における合成手順（Ｓ１９０５）の一例を示すフローチャートである。以下、図２２のフローチャートを参照して本実施形態における合成手順について説明する。
Ｓ２２０１において、合成部２０６は、Ｓ１７０１の処理に加え、Ｓ１９０４で生成した対応画素リストを読み込む。
Ｓ２２０２において、合成部２０６は、基準画像データにおける着目画素を選択する。 Ｓ２２０３において、合成部２０６は、着目画素のエッジ強度Ｅを導出する。エッジ強度Ｅを導出する手法は実施形態１と同じである。
Ｓ２２０４において、合成部２０６は、ＳＡＤが最も小さくなる参照画素を最上位とし、ＳＡＤが昇順となるように合成候補画素リスト上の参照画素をソートする。

Ｓ２２０５において、合成部２０６は、Ｓ２２０４でソートした参照画素のうち、ｉ番目の参照画素の座標を取得する。
Ｓ２２０６において、合成部２０６は、Ｓ２２０３で導出したエッジ強度Ｅと、閾値ｔｈ１０とを比較する。Ｅ≧ｔｈ１０の場合（Ｓ２２０６：ＹＥＳ）はＳ２２０７に移行し、Ｅ＜ｔｈ１０の場合（Ｓ２２０６：ＮＯ）はＳ２２１０に移行する。
Ｓ２２０７において、合成部２０６は、Ｓ２２０５で取得した座標に対応する画素を適応補間参照画像データから取得する。
Ｓ２２０８において、合成部２０６は、Ｓ２２０５で取得した座標は、Ｓ２００５で導出した対応画素の座標と同じか否かを判定する。対応画素の座標と同じ場合（Ｓ２２０８：ＹＥＳ）はＳ２２０９に移行し、対応画素の座標とは異なる場合（Ｓ２２０８：ＮＯ）はＳ２２１１に移行する。

Ｓ２２０９において、合成部２０６は、Ｓ２２０７で取得された画素とその周辺に位置する周辺画素とから、Ｓ２２１４で用いられる画素値を導出する。
ここで、Ｓ２２０９における画素値の導出手法について、図２３（ａ）および図２３（ｂ）を参照して説明する。図２３（ａ）は、Ｓ１９０２で生成された適応補間参照画像データ２３０１を示す図である。適応補間参照画像データ２３０１には、Ｓ２２０７で取得された画素２３０３とその周辺画素とを有する局所領域２３０２が含まれている。なお、図２３（ａ）の適応補間参照画像データにおける符号「Ｒ’」は、各画素の色成分が、着目画素の色成分Ｒと同じ色成分に補間されていることを表している。
図２３（ｂ）は、局所領域２３０２の拡大図である。図２３（ｂ）に示される通り、局所領域２３０２には、Ｓ２２０７で取得された画素２３０３と、その周辺画素２３０４，２３０５，２３０６とが含まれる。画素２３０３において、「Ｒ→Ｒ’」は、色成分「Ｒ」が適応補間後に色成分「Ｒ’」に変化したことを示している。これは、画素２３０４～２３０６においても同じである。本実施形態ではこのように、参照画像データにおいて色成分Ｒ，Ｇ，Ｇ，Ｂを有していた４画素からなる局所領域２３０２が区画される。なお、Ｓ２００５において対応画素がクリップされて導出されている場合、Ｓ２２０１で読み込んだ対応画素リストが参照され、射影変換後の座標と対応画素の座標（クリップ前後の座標）とが含まれるように局所領域２３０２が区画される。

図２３（ｂ）において、×印２３０７は、着目画素を射影変換して得られる射影変換後の座標を示している。そして、合成部２０６は、画素（ｘ，ｙ）２３０３の画素値Ｉ_R1と、画素（ｘ＋１，ｙ）２３０４の画素値Ｉ_R2と、画素（ｘ，ｙ＋１）２３０５の画素値Ｉ_R3と、画素（ｘ＋１，ｙ＋１）２３０６の画素値Ｉ_R4とを取得する。
次いで、合成部２０６は、射影変換後の座標（ｘ’，ｙ’）２３０７と、画素値Ｉ_R1～画素値Ｉ_R4の各座標との距離の逆数を、重みＷｍ（ｍ＝１～４）として算出する。合成部２０６は、画素値Ｉ_R1～画素値Ｉ_R4それぞれに対応する重みＷｍに基づいて、Ｓ２２１４で用いられる画素値Ｉ_Rが導出される。画素値Ｉ_Rは（式７）を用いて導出することができる。

Ｓ２２１０において、合成部２０６は、Ｓ２２０５で取得された座標に対応する画素を参照画像データから取得する。
Ｓ２２１１において、合成部２０６は、Ｓ２２０７またはＳ２２１０で取得された画素の画素値を取得する。Ｓ２２１０で取得された画素値は後述のＳ２２１４で用いられる。

Ｓ２２１２において、合成部２０６は、ｉを１つインクリメントする。
Ｓ２２１３において、合成部２０６は、Ｎｕｍ個の画素を選択したか否かを判定する。ｉ＝Ｎｕｍである場合（Ｓ２２１３：ＹＥＳ）はＳ２２１４に移行し、ｉ≠Ｎｕｍである場合（Ｓ２２１３：ＮＯ）はＳ２２０５に戻る。
Ｓ２２１４において、合成部２０６は、ノイズ低減後の着目画素の画素値を導出する。具体的には、着目画素の画素値と、Ｓ２２０９及びＳ２２１１で導出されたＮｕｍ番目までの画素の画素値との平均値または加重平均値が導出される。これらの手法は実施形態１と同じである。
Ｓ２２１５において、合成部２０６は、基準画像データにおける全ての画素について処理が完了したか否かを判定する。全ての画素について処理が完了した場合（Ｓ２２１５：ＹＥＳ）は本フローチャートの処理を終了して再びメインフローチャート（図１９）に戻る。全ての画素について処理が完了していない場合（Ｓ２２１５：ＮＯ）は再びＳ２２０２に戻る。

以上説明した通り、本実施形態のノイズ低減処理によれば、実施形態３の構成に加えて、画像データ間で位置合わせ処理が行われる。そのため、撮像装置を手に持って被写体を撮像した場合など、画像データ間で被写体の位置がずれる場合であっても、エッジのがたつきや、コントラストの低いテクスチャのボケを抑制しつつ、画像データに混入したノイズを良好に低減することができる。

なお、上述の実施形態では、撮像装置が被写体を連続撮影することにより取得した画像データの数と、合成画素数Ｎｕｍとが同数である場合について説明した。しかしながら、任意の合成画素数を設定し、この画素数を満足するように合成処理を行うことができれば、合成画素数は上述したものに限定されない。
また、上述の実施形態では、撮像装置が被写体を連続撮影することにより取得した画像データの内、最初に取得した画像データを基準画像データに設定したが、これに限定されるものではない。例えば、主被写体を最も良好に捉えた画像データを基準画像データに設定しても構わない。
また、上述の実施形態では、合成候補画素リストに含まれる画素のうち、着目領域と参照領域とのＳＡＤが小さい参照画素から順に合成対象の画素として選択したが、これに限定されるものではない。例えば、合成候補画素リストからランダムに合成対象の画素として選択しても構わない。
また、実施形態３、４では、参照画像データのみから適応補間参照画像データを生成したが、実施形態はこれに限定されるものではない。例えば、基準画像データについても適応補間処理した画像データを生成して、エッジ画素については適応補間処理後の画像データを用いて合成処理を行ってもよい。

また、実施形態３、４では、時系列的に連続する画像データは静止被写体を含むことを前提に説明したが、動被写体を含む場合であっても本実施形態のノイズ低減手法を適用することができる。この場合、基準画像データと参照画像データとを位置合わせしたとしても、探索領域において類似画素が見つからないことがある。つまり、合成候補画素リストに合成画素数Ｎｕｍだけの画素数が記録されないことがある。そこで、動被写体の有無を判別しておき、動被写体が存在する場合は基準画像データを適応補間処理した画像データ（以後、「適応補間基準画像データ」と記す）を生成し、動被写体におけるエッジ画素は適応補間基準画像データの画素を用いて合成する。動被写体の判別は、例えば、画像データ間の画素ごとの差分絶対値和を閾値処理するなど動被写体を判別できる手法であれば何でもよい。また、合成画素数Ｎｕｍが０の場合は、着目画素を適応補間基準画像データの同座標の画素と置き換える。かかる構成により、時系列的に連続する画像データ群が動被写体を含む場合であっても、低コントラストのテクスチャのボケを抑制しつつノイズを低減するなど、画像データに混入したノイズを良好に低減することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００・・・画像処理装置
１０１・・・ＣＰＵ
１０２・・・ＲＡＭ
２０３・・・処理部
２０５・・・領域判定部
２０６・・・合成部
２０７・・・現像部
１４０１・・適応補間部
１４０２・・選択部
１８０１・・位置合わせ部

Claims (22)

1. 時系列的に連続する複数の画像データを用いてノイズ低減処理を実行する画像処理装置であって、
   前記複数の画像データのうち基準画像データにおける着目画素のエッジ強度を導出するエッジ強度導出手段と、
   前記複数の画像データのうち前記基準画像データ以外を参照画像データとしたとき、前記着目画素と、前記参照画像データにおいて前記着目画素に対応する画素と、の類似度を導出する類似度導出手段と、
   前記エッジ強度と、前記類似度とに基づいて、前記着目画素と類似している画素を探索する探索範囲、着目画素に対応する着目ブロックのサイズ、類似している画素の類似画素数の少なくとも何れか１つを決定する決定手段と、
   前記決定手段が決定した結果に従って、前記基準画像データと前記参照画像データそれぞれについて、前記探索範囲に含まれる画素に対応するブロックのうち着目ブロックに類似するブロックを探索することにより、前記着目画素に類似している類似画素を検出する検出手段と、
   前記着目画素と、前記類似画素とを合成することで前記着目画素の画素値を算出する合成手段と、を有し、
   前記決定手段は、前記エッジ強度が大きいほど、または前記類似度が小さいほど、前記探索範囲を小さくする
   ことを特徴とする画像処理装置。
2. 前記合成手段は、前記着目画素の画素値と、前記類似画素の画素値との平均値または加重平均値を、ノイズ低減処理後の着目画素の画素値として導出することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記エッジ強度が大きいほど、または前記類似度が小さいほど、前記類似画素の数を多い数を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記類似度は、前記着目ブロックと、前記対応する画素を含む局所ブロックとの差分絶対値の和の逆数であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記エッジ強度及び前記類似度を用いて、ノイズ低減量の程度を示す値である平滑化強度を導出する平滑化強度導出手段をさらに有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記着目画素がエッジ部に位置するエッジ画素である場合、前記着目画素と、前記参照画像データにおける参照画素との類似度に基づいて、前記着目画素が非動体のエッジ部に位置する非動体エッジ画素か、着目画素が動体のエッジ部に位置する動体エッジ画素かを判定する判定手段をさらに有し、
   前記合成手段は、前記非動体エッジ画素よりも、前記動体エッジ画素の方が大きい平滑化強度で、前記着目画素と前記類似画素とを合成する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記類似度は、前記着目ブロックと、前記探索範囲に含まれる画素に対応するブロックとの差分絶対値の和であることを特徴とする請求項６に記載の画像処理装置。
8. 時系列的に連続する複数の画像データを用いてノイズ低減処理を実行する画像処理装置であって、
   前記複数の画像データのうち基準画像データにおける着目画素のエッジ強度を導出するエッジ強度導出手段と、
   前記複数の画像データのうち前記基準画像データ以外を参照画像データとしたとき、前記着目画素と、前記参照画像データにおいて前記着目画素に対応する画素と、の類似度を導出する類似度導出手段と、
   前記エッジ強度と、前記類似度とに基づいて、前記着目画素と類似している画素を探索する探索範囲、着目画素に対応する着目ブロックのサイズ、類似している画素の類似画素数の少なくとも何れか１つを決定する決定手段と、
   前記決定手段が決定した結果に従って、前記基準画像データと前記参照画像データそれぞれについて、前記探索範囲に含まれる画素に対応するブロックのうち着目ブロックに類似するブロックを探索することにより、前記着目画素に類似している類似画素を検出する検出手段と、
   前記着目画素と、前記類似画素とを合成することで前記着目画素の画素値を算出する合成手段と、を有し、
   前記決定手段は、前記エッジ強度が大きいほど、または前記類似度が小さいほど、前記着目ブロックのサイズを小さくする
   ことを特徴とする画像処理装置。
9. 時系列的に連続する複数のＲＡＷ画像データを用いてノイズを低減するノイズ低減処理を実行する画像処理装置であって、
   前記ＲＡＷ画像データを適応的に補間して適応補間参照画像データを生成する生成手段と、
   前記複数のＲＡＷ画像データのうちノイズ低減対象となる基準画像データ以外を参照画像データとしたとき、前記基準画像データにおける着目画素がエッジ部に位置するエッジ画素である場合は前記適応補間参照画像データから合成対象となる画素を取得し、前記着目画素が平坦部に位置する平坦画素である場合は前記参照画像データから合成対象となる画素を取得する取得手段と、
   前記着目画素と、前記参照画像データから取得された前記着目画素に類似する類似画素とを、または、前記着目画素と、前記適応補間参照画像データから取得された前記着目画素に類似する類似画素とを合成する合成手段と、を有する
   ことを特徴とする画像処理装置。
10. 前記取得手段は、前記着目画素について導出されたエッジ強度に応じて、前記着目画素が前記エッジ画素であるか、または、前記着目画素が前記平坦画素であるかを決定することを特徴とする請求項９に記載の画像処理装置。
11. 前記基準画像データと、前記参照画像データとの間で画素ごとの対応関係を導出する位置合わせ手段をさらに有することを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記着目画素と、前記参照画像データにおける参照画素との類似度に基づいて、前記類似度の高い参照画素のなかから前記類似画素を選択する選択手段をさらに有することを特徴とする請求項９から１１のいずれか１項に記載の画像処理装置。
13. 前記選択手段は、前記参照画像データにおいて前記着目画素に対応する画素が前記着目画素とは異なる色成分を有する場合、前記対応する画素の周辺に位置する周辺画素であって、前記着目画素と同じ色成分を有する周辺画素を中心とする探索範囲を探索することにより前記類似度の高い参照画素を導出することを特徴とする請求項１２に記載の画像処理装置。
14. 前記対応する画素の画素位置から前記周辺画素の画素位置までの距離が長いほど前記類似度が小さくなるように補正されることを特徴とする請求項１３に記載の画像処理装置。
15. 前記類似度は、前記着目画素を含む着目ブロックと、前記参照画素を含む参照ブロックとの差分絶対値の和、および、前記着目ブロックと前記参照ブロックとの平均値変化率のうち少なくともいずれか１つであることを特徴とする請求項１２から１４のいずれか１項に記載の画像処理装置。
16. 前記合成手段は、前記着目画素の画素値と、前記参照画像データまたは前記適応補間参照画像データから取得された前記類似画素の画素値と、の平均値または加重平均値を、ノイズ低減処理後の着目画素の画素値として導出することを特徴とする請求項９から１５のいずれか１項に記載の画像処理装置。
17. 前記合成手段は、前記類似画素が、前記適応補間参照画像データにおいて前記着目画素に対応する画素であった場合、前記類似画素と当該類似画素の周辺に位置する周辺画素の画素値とから、前記平均値または前記加重平均値の導出に用いられる画素値を算出することを特徴とする請求項１６に記載の画像処理装置。
18. 前記合成手段は、前記適応補間参照画像データにおいて前記着目画素に対応する画素の画素位置から、前記類似画素の画素位置および前記周辺画素の画素位置までのそれぞれの距離に応じたそれぞれの重みを用いて、前記平均値または前記加重平均値の導出に用いられる画素値を算出することを特徴とする請求項１７に記載の画像処理装置。
19. 時系列的に連続する複数の画像データを用いてノイズ低減処理を実行する画像処理方法であって、
    前記複数の画像データのうち基準画像データにおける着目画素のエッジ強度を導出するエッジ強度導出ステップと、
    前記複数の画像データのうち前記基準画像データ以外を参照画像データとしたとき、前記着目画素と、前記参照画像データにおいて前記着目画素に対応する画素と、の類似度を導出する類似度導出ステップと、
    前記エッジ強度と、前記類似度とに基づいて、前記着目画素と類似している画素を探索する探索範囲、着目画素に対応する着目ブロックのサイズ、類似している画素の類似画素数の少なくとも何れか１つを決定する決定ステップと、
    前記決定ステップで決定された結果に従って、前記基準画像データと前記参照画像データそれぞれについて、前記探索範囲に含まれる画素に対応するブロックのうち着目ブロックに類似するブロックを探索することにより、前記着目画素に類似している類似画素を検出する検出ステップと、
    前記着目画素と、前記類似画素とを合成することで前記着目画素の画素値を算出する合成ステップと、を有し、
    前記決定ステップは、前記エッジ強度が大きいほど、または前記類似度が小さいほど、前記探索範囲を小さくする
    ことを特徴とする画像処理方法。
20. 時系列的に連続する複数の画像データを用いてノイズ低減処理を実行する画像処理方法であって、
    前記複数の画像データのうち基準画像データにおける着目画素のエッジ強度を導出するエッジ強度導出ステップと、
    前記複数の画像データのうち前記基準画像データ以外を参照画像データとしたとき、前記着目画素と、前記参照画像データにおいて前記着目画素に対応する画素と、の類似度を導出する類似度導出ステップと、
    前記エッジ強度と、前記類似度とに基づいて、前記着目画素と類似している画素を探索する探索範囲、着目画素に対応する着目ブロックのサイズ、類似している画素の類似画素数の少なくとも何れか１つを決定する決定ステップと、
    前記決定ステップが決定した結果に従って、前記基準画像データと前記参照画像データそれぞれについて、前記探索範囲に含まれる画素に対応するブロックのうち着目ブロックに類似するブロックを探索することにより、前記着目画素に類似している類似画素を検出する検出ステップと、
    前記着目画素と、前記類似画素とを合成することで前記着目画素の画素値を算出する合成ステップと、を有し、
    前記決定ステップは、前記エッジ強度が大きいほど、または前記類似度が小さいほど、前記着目ブロックのサイズを小さくする
    ことを特徴とする画像処理方法。
21. 時系列的に連続する複数のＲＡＷ画像データを用いてノイズを低減するノイズ低減処理を実行する画像処理方法であって、
    前記ＲＡＷ画像データを適応的に補間して適応補間参照画像データを生成する生成ステップと、
    前記複数のＲＡＷ画像データのうちノイズ低減対象となる基準画像データ以外を参照画像データとしたとき、前記基準画像データにおける着目画素がエッジ部に位置するエッジ画素である場合は前記適応補間参照画像データから合成対象となる画素を取得し、前記着目画素が平坦部に位置する平坦画素である場合は前記参照画像データから合成対象となる画素を取得する取得ステップと、
    前記着目画素と、前記参照画像データから取得された前記着目画素に類似する類似画素とを、または、前記着目画素と、前記適応補間参照画像データから取得された前記着目画素に類似する類似画素とを合成する合成ステップと、を有する
    ことを特徴とする画像処理方法。
22. コンピュータを、請求項１から請求項１８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images