WO2019116975A1 - 画像処理方法、画像処理装置およびプログラム - Google Patents

Abstract

入力画像に対してノイズを低減することで出力画像を生成する画像処理装置であって、前記入力画像において、第１の画素数を有する着目パッチを設定する着目パッチ設定手段と、前記入力画像において、前記着目パッチと類似する複数の類似パッチを検出する検出手段と、前記複数の類似パッチに基づいて、前記類似パッチに含まれる少なくとも１つの画素を含み、前記第１の画素数とは異なる第２の画素数を有する複数の対象パッチを設定する対象パッチ設定手段と、前記複数の対象パッチに基づいて、前記対象パッチにノイズ低減処理を実行するノイズ低減処理手段と、前記ノイズ低減処理手段によりノイズを低減された対象パッチを合成することで、前記出力画像を生成する合成手段と、を有することを特徴とする。

Description

画像処理方法、画像処理装置およびプログラム

　本発明は、入力画像に含まれるノイズを低減する画像処理技術に関する。

　従来、撮影装置で撮影することにより得られた画像に対して、画像に含まれるノイズを低減するためのノイズ低減処理が知られている。日本公開公報２０１３－０２６６６９号には、撮影画像からパッチ集合を生成し、パッチ集合に属する全てのパッチに対してノイズ低減処理を行い、ノイズ低減処理したパッチの合成処理を行う手法が開示されている。

　このような従来のパッチベースのノイズ低減方法においては、撮影画像において処理対象の着目パッチと類似している複数の類似パッチをパッチ集合として検出する。このとき着目パッチの画素数が多い方が類似パッチの検出精度が高い。一方で、パッチ集合に対するノイズ低減処理では、パッチ集合に含まれるパッチ数に対して、各パッチの画素数が多い場合、各パッチに対してノイズ低減処理を適切に実行できない場合がある。

　そこで本発明は、パッチベースのノイズ低減処理において、類似パッチの検出および各パッチのノイズ低減処理を適切に実行することを目的とする。

　上記課題を解決するために本発明は、入力画像に対してノイズを低減することで出力画像を生成する画像処理装置であって、前記入力画像において、第１の画素数を有する着目パッチを設定する着目パッチ設定手段と、前記入力画像において、前記着目パッチと類似する複数の類似パッチを検出する検出手段と、前記複数の類似パッチに基づいて、前記類似パッチに含まれる少なくとも１つの画素を含み、前記第１の画素数とは異なる第２の画素数を有する複数の対象パッチを設定する対象パッチ設定手段と、前記複数の対象パッチに基づいて、前記対象パッチにノイズ低減処理を実行するノイズ低減処理手段と、前記ノイズ低減処理手段によりノイズを低減された対象パッチを合成することで、前記出力画像を生成する合成手段と、を有することを特徴とする。

画像処理装置のハードウェア構成を示すブロック図 画像処理装置の詳細な論理構成を示すブロック図 画像処理装置が実行するノイズ低減処理の流れを示すフローチャート 着目画素、着目パッチ、参照パッチ、対象パッチを説明する図 着目画素、着目パッチ、参照パッチ、対象パッチを説明する図 着目画素、着目パッチ、参照パッチ、対象パッチを説明する図 着目画素、着目パッチ、参照パッチ、対象パッチを説明する図 画像処理装置の詳細な論理構成を示すブロック図 画像処理装置が実行するノイズ低減処理の流れを示すフローチャート 類似パッチの画素群と対象パッチの画素群との位置関係を示す図

　以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に必ずしも限定されるものではない。

　実施形態１では、パッチベースのノイズ低減処理を実行する画像処理装置について説明する。パッチベースのノイズ低減処理においては、着目パッチと類似している類似パッチを検出する工程と、検出した類似パッチを用いて各パッチのノイズを低減する工程とを含む。本実施形態では特に、類似パッチを検出する際に用いるパッチを構成する画素数と、各パッチのノイズを低減する際に用いるパッチを構成する画素数とを、それぞれ適切に設定する。図１は、本実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。画像処理装置は、ＣＰＵ１０１、ＲＡＭ１０２、記憶部１０３、汎用Ｉ／Ｆ（インタフェース）１１０、表示部１０８を有する。各構成は、メインバス１０８を介して相互に接続されている。画像処理装置は、汎用Ｉ／Ｆ１１０を介して、撮像装置１０５、入力装置１０６、外部メモリ１０７と接続されている。入力装置１０６は例えば、マウスやキーボードなどユーザが画像処理装置に指示するための装置である。

　ＣＰＵ１０１は、入力された画像や後述のプログラムに従って、各構成を制御する。記憶部１０３は、ＨＤＤやＳＳＤなどの記憶デバイスである。記憶部１０３には、ＣＰＵ１０１が各種構成を実行するためのコンピュータプログラムが格納されている。ＲＡＭ１０２は、入力した画像データなどを一時的に保持するバッファメモリや、ＣＰＵ１０１の作業領域などとして使用される。画像処理装置は、記憶部１０３に格納されたプログラムをＣＰＵ１０１で解釈し、命令に基づいた動作をする。表示部１０８は液晶ディスプレイや有機ＥＬディスプレイなどである。表示部１０８は、画像やユーザが所望の指示を入力するためのユーザインターフェース（ＵＩ）を表示する。画像処理装置は、表示部１０８を介して入力されるユーザからの指示に従って、ＲＡＭ１０２に格納された画像に対して、ノイズ低減処理を実行する。またノイズ低減処理後の画像は、再びＲＡＭ１０２に格納する。ＲＡＭ１０２に格納されたノイズ低減処理後の画像は、ユーザからの指示に応じて、表示部１０８や外部メモリ１０７に出力される。

　ここで、パッチベースのノイズ低減処理の概要について説明する。入力画像における着目画素について、着目画素を基準とする複数の画素で構成されたパッチを、着目パッチと呼ぶこととする。着目画素の近傍の複数の画素それぞれを参照画素とし、各参照画素に対応するパッチを参照パッチと呼ぶこととする。参照パッチは、参照画素を基準とする複数の画素で構成されたパッチである。参照パッチは、着目パッチに対してノイズ低減処理をする際に参照される。１つの着目画素に対して複数の参照画素が設定されるため、１つの着目画素に対して複数の参照パッチが存在することになる。パッチベースのノイズ低減処理では、参照パッチのうち、着目パッチと画素値の分布が類似しているパッチである類似パッチを検出し、類似パッチ群（パッチ集合）を生成する。なお、類似パッチは、着目パッチと同じ画素数で構成されたパッチである。また類似パッチ群には着目パッチ自身が含まれていても構わない。次に、類似パッチ群に基づいて、類似パッチ群に含まれる各パッチのノイズを低減するノイズ低減処理を実行する。ノイズを低減した類似パッチを合成することにより、入力画像に対してノイズ低減処理した画像を生成する。なお、パッチとは、入力画像の一部に相当する領域を意味する。また、パッチとは、複数の画素で構成される画素群を意味する。図２は、ノイズ低減処理を実行する画像処理装置の詳細な論理構成を示すブロック図である。画像処理装置は、画像入力部２０１、着目パッチ設定部２０２、類似パッチ検出部２０３、対象パッチ設定部２０４、ノイズ低減処理部２０５、画像合成部２０６を有する。画像入力部２０１は、ノイズ低減処理の処理対象とする入力画像を表す画像データを入力する。入力画像は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）それぞれの画像とする。各色に対応する画像は、０～２５５の８ビットの画素値を有する画素からなる。

　着目パッチ設定部２０２は、入力画像において着目パッチを設定する。着目パッチの形状は、予め設定されている。本実施形態では、入力画像における画素をラスタ順に着目画素とし、着目画素を含む８画素×８画素の矩形領域を着目パッチとして設定する。

　類似パッチ検出部２０３は、着目画素の近傍において複数の参照パッチを設定し、それら参照パッチのうち着目パッチに類似したパッチを、類似パッチとして選択することで、類似パッチを検出する。なお本実施形態では類似パッチ検出部２０３は、複数の参照パッチを類似パッチとして選択する。具体的には類似パッチ検出部２０３はまず、所定の範囲に含まれる着目画素近傍のある画素を参照画素として順に設定し、着目パッチと同様に参照画素に対する参照パッチを設定する。次に類似パッチ検出部２０３は、参照パッチと着目パッチの類似度を導出して、各参照パッチが着目パッチに類似しているかどうかを判定する。参照パッチが着目パッチに類似している場合は、参照パッチを類似パッチとして選択する。ここでは、着目画素を中心とする１５画素×１５画素を、参照画素を設定する所定の範囲とする。従って、類似パッチ検出部２０３は、着目画素を含む２２５画素を参照画素として設定し、類似パッチを最大で２２５枚検出する。検出される類似パッチは、着目パッチと同じサイズである。従って本実施形態において類似パッチは、８画素×８画素からなる矩形のパッチである。

　対象パッチ設定部２０４は、検出された類似パッチの画素数を調整することで、ノイズ低減に用いる対象パッチを設定する。詳細は後述するが、着目パッチの画素数が多いほど、多数の類似パッチを用いて以降の処理をしなければ、高精度なノイズ低減を実現できない。一方高精度なノイズ低減処理のため、着目パッチの画素数を小さくすると、着目パッチと類似しているパッチを検出する精度が低下してしまう。そこで本実施形態では、対象パッチ設定部２０４は、８画素×８画素からなる類似パッチを４画素×４画素からなるパッチに調整することで、対象パッチを設定する。このように本実施形態では、類似パッチを検出する際に用いるパッチの画素数と、各パッチのノイズ低減処理を実行する際に用いるパッチの画素数とを異なる画素数により設定する。ここで対象パッチは、検出された全ての類似パッチごとに設定される。またここでは、類似パッチの一部を対象パッチとするため、対象パッチ群も互いに類似したパッチであるとみなすことができる。

　ノイズ低減部２０５は対象パッチ群に基づいて各対象パッチに対してノイズ低減し、ノイズ低減された対象パッチ群を生成する。画像合成部２０６は、ノイズ低減された対象パッチ群を合成することで、ノイズ低減処理された出力画像を生成する。画像合成部２０６は、ノイズ低減処理された類似パッチを入力画像における元の位置に配置し、他の補正された類似パッチと重なる場合には、同じ画素位置に戻された値を平均化した値を算出する。ノイズ低減処理された結果得られる画素値または平均化した値により、元の画素の画素値を更新することで、ノイズ低減された対象パッチ群を合成する。このような合成処理は、アグリゲーションとも呼ばれる。

　続いて、上述した画像処理装置が実行するノイズ低減処理の具体的な処理の流れを説明する。図３は、本実施形態に係るノイズ低減処理の流れを示すフローチャートである。ＣＰＵ１０１は、図３に示すフローチャートを実現するためのプログラムを読み出し、実行させる。なお、フローチャートにおける各工程（ステップ）は、「Ｓ」を用いて表すこととする。

　Ｓ３０１において画像入力部２０１は、画像を取得する。前述の通り、ＲＧＢそれぞれに対応する画像が順に入力される。以降の処理は、各色の画像に対して実行される。Ｓ３０２において着目パッチ設定部２０２は、取得した画像において第１の画素数の画素からなる着目パッチを設定する。前述の通り、本実施形態では、８画素×８画素の領域を着目パッチとする。図４Ａは、本実施形態における着目画素と着目パッチの位置関係を示す。１つの矩形は、画素を表している。図４Ａにおいて、黒塗りされた画素が着目画素である。着目画素の画素位置を（ｘ、ｙ）としたとき、（ｘ－３、ｙ－３）、（ｘ＋４、ｙ－４）（ｘ－３、ｙ＋４）、（ｘ＋４、ｙ＋４）を四隅とした矩形に含まれる６４画素の領域を着目パッチとして設定する。

　Ｓ３０３において類似パッチ検出部２０３は、着目パッチに基づいて着目パッチと類似したパッチ検出する。具体的にはまず、類似パッチ検出部２０３は、着目画素近傍の探索範囲に含まれる画素を順に参照画素とし、参照画素に対して参照パッチを設定する。各参照パッチの形状は、着目パッチの形状と一致する。本実施形態では、着目画素を中心とする１５画素×１５画素を類似パッチの探索範囲とする。例えば、着目画素の画素位置を（ｘ、ｙ）としたとき、（ｘ－３、ｙ－３）の画素を参照画素とすると、図４Ｂに示すように参照画素を含む８画素×８画素の領域を参照パッチとして設定する。着目パッチと参照パッチとの類似度により、参照パッチが着目パッチに類似しているか否かを判定する。類似度は、着目パッチにおける各画素と、参照パッチにおける各画素について、パッチにおける位置が対応する画素間の画素値の差分を算出し、各差分の２乗を合成した差分２乗和により算出される。具体的には類似度パッチ検出部２０３は、ｉ番目の参照パッチの差分二乗和ＳＳＤｉを、以下の式（１）により算出する。

　Ｒｉ（ｊ）はｉ番目の参照パッチにおけるｊ番目の画素値である。Ｔ（ｊ）は着目パッチＴにおけるｊ番目の画素値である。パッチにおける画素位置が同じ２つの画素の画素値の差分を２乗した値を累積することで、差分二乗和が算出される。このように差分二乗和ＳＳＤｉを用いて類似度を算出する場合、類似度の値が小さいほど、参照パッチＲｉは着目パッチＴに類似していることを意味する。つまり、類似度の値が小さいほど、類似度が高い。一方類似度の値が大きいほど、参照パッチＲｉは着目パッチＴに類似していない。

　類似パッチ検出部２０３は、参照パッチの類似度の値が所定の閾値未満の場合、着目パッチと類似していると判定し、その参照パッチを類似パッチとする。一方類似度が所定の閾値以上の場合、参照パッチは着目パッチと類似していないと判定する。これにより類似パッチ検出部２０３は、着目画素近傍において、着目パッチの特徴と類似した類似パッチを検出する。なおここでは探索範囲は１５画素×１５画素であるため、１つの着目パッチに対して２２５回類似度判定することになる。類似パッチ検出部２０３は、Ｎ個の類似パッチを検出したとする。類似パッチの数は、各参照パッチが着目パッチに類似しているかどうかに依存する。そのため多くの場合は、着目パッチが異なると類似パッチの数も異なる。

　次のＳ３０４において対象パッチ設定部２０４は、ノイズ低減処理を行うための対象パッチを、類似パッチ群に基づいて設定する。対象パッチは、類似パッチを検出するための第１の画素数とは異なる第２の画素数の画素によって構成される。図４Ａは、本実施形態における検出される類似パッチと対象パッチの位置と画素数の関係を示す。対象パッチは、類似パッチに対応して設定されるパッチであり、着目パッチの画素数とは異なる画素数である。本実施形態において対象パッチ設定部２０４は、前述の通り、黒画素を着目画素とすると、着目画素と斜線を描かれた画素とを含む４画素×４画素の領域を対象パッチとする。つまり本実施形態において対象パッチは、着目パッチに類似しているパッチの一部領域である。このように対象パッチ設定部２０４は、類似パッチ検出部２０３が検出した全ての類似パッチに対して対象パッチを設定する。対象パッチの数は、類似パッチの数と同様Ｎ個である。

　Ｓ３０５においてノイズ低減処理部２０５は、対象パッチ群に基づいて各対象パッチのノイズ低減処理を行い、ノイズ低減されたパッチ群を生成する。まずノイズ低減処理部２０５は、対象パッチ群に基づいて、平均パッチと共分散行列Ｃを算出する。対象パッチ群において、同じ位置の画素の画素値の平均を算出し、各画素位置に平均値を格納して平均パッチを算出する。従って平均パッチは、対象パッチの形状と同じ形状であり、本実施形態においては、４画素×４画素のパッチである。平均パッチにおける画素の数をＭ個とし、Ｍ個の画素の画素値を並べた列ベクトルをＱとすると、ノイズ低減処理部２０５は、式（２）により平均パッチを算出する。

　Ｐｉは、ｉ番目の対象パッチを表す。また、対象パッチ群から算出される共分散行列Ｃは、正方行列であり、一辺のサイズが対象パッチを構成する画素数Ｍである。ノイズ低減処理部２０５は、平均パッチＱを用いて式（３）により共分散行列Ｃを算出する。

　共分散行列Ｃは、対象パッチにおいての各画素の間にどのような相関があるかを示す。パッチにおいて隣接する２つの画素に着目したとき、多くの対象パッチにおいて画素値が近い値だったり、同様の差分があったりする場合は、２画素間には相関があるとみなすことができる。

　さらにノイズ低減処理部２０５は、共分散行列Ｃの複数の固有値と固有値それぞれに対応する固有ベクトルを算出する。画素間の相関を示す共分散行列に対して固有値・固有ベクトルを算出することで、対象パッチ群からテクスチャ成分を抽出する。一般に、固有値と固有ベクトルはそれぞれ複数存在し、固有値と固有ベクトルそれぞれの数は共分散行列の一辺のサイズである。すなわち、固有値と固有ベクトルはそれぞれ対象パッチを構成する画素数Ｍ個分、存在する。また、固有ベクトルの要素の数は、対象パッチを構成する画素数Ｍと同じである。ｊ番目の固有値をλｊ、ｊ番目の固有ベクトルをＥｊと表す。共分散行列Ｃの固有値λｊと固有ベクトルＥｊは、共分散行列Ｃに対して式（４）の関係を満たす。つまり固有値λｊと固有ベクトルＥｊは、お互いに対応している。

ＣＥ_ｊ＝λ_ｊＥ_ｊ　　　（４）

　ノイズ低減処理部２０５は、式（４）を満たす固有値λｊと固有ベクトルＥｊを算出する。ここで固有ベクトルＥｊは、互いに類似するパッチ集合において抽出されるテクスチャ成分に相当する。また固有値λｊは、対応する固有ベクトルが表すテクスチャ成分が、ノイズによって生じたテクスチャである場合、画像におけるノイズの分散程度になる。固有値の値が、ノイズの分散より大きい値であるほど、その固有値に対応する固有ベクトルは、本来画像に残すべき被写体のテクスチャ成分であることを意味する。ノイズ低減処理部２０５は、被写体のテクスチャ成分を残し、ノイズによるテクスチャ成分を除去するように、各対象パッチをノイズ低減処理する。

　ノイズ低減処理部２０５は、この固有値・固有ベクトルに基づいて、式（５）により各対象パッチに対応した基底行列Ｂを生成する。

Ｂ≡（Ｅ_１　Ｅ_２　・・　Ｅ_Ｍ）　　　（５）

　基底行列ＢはＫ行Ｍ列の行列である。さらにノイズ低減処理２０５は、基底行列Ｂに基づいて各対象パッチに対して射影処理をする。係数Ｋは事前に設定しておく。係数Ｋは、０＜Ｋ＜Ｍを見たし、テクスチャとして残す主成分の数に対応する。ノイズ低減処理部２０５は、基底行列Ｂから式（６）により射影行列Ｈを導出する。

　ノイズ低減処理部２０５は、射影行列Ｈを用いて、式（７）の通りに各対象パッチＰｉから平均パッチＷを引いた差分パッチを、射影行列Ｈを用いて射影し、射影した結果に平均パッチに加算することで、対象パッチのノイズを低減する。このような補正により、主成分だけを残してノイズ低減したパッチＯｉが算出される。ノイズ低減処理２０５による処理は、以下の式（７）の通りに表される。

Ｏ_ｉ≡Ｑ＋Ｈ（Ｐ_ｉ－Ｑ）　　　（７）

　ノイズ低減処理部２０５は、ノイズ低減された各対象パッチに含まれる画素の画素値を蓄積する。

　Ｓ３０６において着目パッチ設定部２０２は、入力された画像における各画素に対して着目パッチを設定したかどうかを判定する。全ての画素を着目画素として着目パッチを設定した場合はＳ３０７に進む。着目画素として設定していない画素があれば、Ｓ３０２に戻り、処理を繰り返す。

　Ｓ３０７において画像合成部２０６は、ノイズ低減されたパッチ群を合成する（アグリゲーション）ことで、入力画像におけるノイズを低減した出力画像を生成する。具体的には、入力画像と同じサイズで構成された画像へ、ノイズ低減処理した後の対象パッチに含まれる各画素の画素値をノイズ低減前のパッチがあった画素位置に蓄積する。ただし、ノイズ低減処理後の画素値が複数算出されているは、複数の画素値の平均値を用いて画素値を更新する。

　以上により、本実施形態に係るノイズ低減処理を完了する。本実施形態では、着目パッチと類似する類似パッチを検出する処理においては、８画素×８画素の領域をパッチのサイズとした。その後、パッチに対するノイズ低減処理を行う処理においては、８画素×８画素からなる類似パッチの一部領域を対象パッチとした。類似パッチを検出する処理では、パッチのサイズが小さいと、類似パッチの検出精度が低くなりやすい。着目パッチに類似していない参照パッチであっても、類似度の値が小さく算出されてしまう。そのため、類似パッチを検出する際には、パッチの画素数が多い場合の方が、パッチの画素数が少ない場合よりも、適切に類似パッチを検出することができる。

　一方、パッチ群から算出される固有値および固有ベクトルは、前述の通り、パッチから抽出されるテクスチャ成分に相当する。固有値および固有ベクトルは、パッチを構成する画素数分、算出される。従って、パッチのサイズが大きいほど、多数のテクスチャ成分が抽出されることになる。しかしながら、パッチ数が少ない場合は、パッチ特有のテクスチャ成分を多数抽出するのが難しい。言い換えると、パッチ数が決まっている場合には、抽出するテクスチャ成分（固有ベクトル）は少ない方が、精度が良い。そこで本実施形態では、パッチのノイズを低減するための固有値および固有ベクトルを算出する処理においては、類似パッチよりも少ない画素数のパッチを対象パッチとすることで、算出する固有値および固有ベクトルの数を減らす。これにより、ノイズ低減処理に用いる固有値および固有ベクトルを、高精度に算出することができる。その結果、パッチ群に対して適切なノイズ低減処理を実行でき、結果として入力画像のノイズをより低減することができる。

　なお本実施形態では、全画素を着目画素として設定した後、一括してアグリゲーションを行っている。しかしながら、所定のタイミングで、それまでにノイズ低減処理したパッチを合成する処理を、入力画像に対して繰り返してもよい。例えば、入力画像における所定のバンド領域に含まれる画素を着目画素として設定し、バンド領域の全画素に対する処理が完了したら、アグリケーションを実行してもよい。他にも、ノイズ低減処理後の画素値が所定数得られた時点で、平均化し、平均値を算出された画素から順次出力するようにしてもよい。

　また、本実施形態では、類似パッチおよび対象パッチのいずれも矩形領域とした。他にも、円形領域や棒状領域をパッチとしてもよい。また、隣接画素ではない画素が含まれる画素群をパッチとしてもよい。また、本実施形態では、対象パッチは類似パッチにおける一部領域となるように設定した。そのため対象パッチは、着目パッチと類似しているとみなすことができる領域である。しかしながら例えば、図４Ｃに示すように対象パッチの一部が類似パッチに含まれない場合でも、効果を得ることはできる。類似パッチが着目パッチに類似している場合は、類似パッチの周辺と着目パッチの周辺も類似している可能性が高い。そのため、図４Ｃに示すように対象パッチを設定しても、対象パッチ群は十分互いに類似しているとみなすことができるためである。また、対象パッチは、図４Ｄに示す様に類似パッチより大きなパッチを対象パッチとして設定することが望ましい場合もある。例えば、類似パッチが多数検出されている場合は、対象パッチの画素数を増やしても、精度よく多数のテクスチャ成分（固有ベクトル）を算出することができる。一方、類似パッチが多数検出された場合に、着目パッチの画素数を多くして再度類似パッチを検出すると、似ていると判定されるパッチ数が減ってしまう。この場合は、対象パッチの画素数を類似パッチの画素数よりも増やすことで、よりノイズ低減効果を高めることができる。

　実施形態１では、類似パッチのサイズを調整することで、類似パッチの画素数とは異なる画素数を有する対象パッチを設定する方法について説明した。実施形態２では、パッチに対するノイズ低減処理において、類似パッチのサイズを調整しない場合と、類似パッチのサイズを調整する場合とを切り替える方法について説明する。なお、画像処理装置のハードウェア構成は実施形態１と同様である。実施形態１と同様の構成については、同一の符号を付し、詳細な説明を省略する。

　図５は、実施形態２における画像処理装置の詳細な論理構成を示すブロック図である。画像処理装置は、画像入力部２０１、着目パッチ設定部２０２、類似パッチ検出部２０３、判定部５０１、対象パッチ設定部２０４、ノイズ低減処理部２０５、画像合成部２０６を有する。

　判定部５０１は、パッチ群に対してノイズ低減処理する際に、類似パッチとは異なる画素数の対象パッチを設定するか否かを判定する。対象パッチを設定しない場合は、検出した複数の類似パッチを用いてノイズ低減処理を行う。これはつまり、類似パッチをそのまま対象パッチとして用いる、と言い換えることもできる。本実施形態において判定部５０１は、類似パッチを検出する際に参照画素を設定する範囲における画素値の分散と、入力画像におけるノイズ分散とに基づいて、対象パッチを設定するか否かを判定する。入力画像におけるノイズ分散は、予め入力画像に基づいて算出しておく。

　ノイズ低減処理部５０２は、対象パッチが設定された場合は対象パッチ群に基づいて、各対象パッチに対してノイズ低減処理を実行する。またノイズ低減処理部５０２は、判定部により対象パッチを設定しないと判定された場合は、類似パッチ群に基づいて、各類似パッチに対してノイズ低減処理を実行する。

　図６は、実施形態２におけるノイズ低減処理の流れを示すフローチャートである。Ｓ３０１、Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０６は実施形態１と同じである。

　Ｓ６０１において判定部５０１が、対象パッチを設定するか否かを判定する。判定部５０１は、参照画素を設定する範囲内における画素値の分散に基づいて、対象パッチを設定するか否かを判定する。判定部５０１はまず、着目画素に対して参照画素を設定する探索範囲（ここでは１５画素×１５画素）の各画素の画素値に基づいて、画素値の分散を算出する。判定部５０１は、探索範囲における各画素の画素値の分散が入力画像のノイズ分散より大きい場合、類似パッチと画素数の異なる対象パッチを設定すると判定する。探索範囲における画素値の分散が入力画像のノイズ分散より以下の場合は、類似パッチと画素数の異なる対象パッチを設定しない。

　なお、判定部５０１により対象パッチを設定すると判定された場合、対象パッチとして類似パッチの一部領域が設定される。テクスチャがある場合には画素値の分散が大きく、検出できる類似パッチ数が少ない可能性がある。類似パッチ数が少ない場合は、画素数の多い類似パッチのまま類似パッチ群に基づいて、実施形態１と同様の固有値および固有ベクトルを算出すると、テクスチャ成分に相当する固有ベクトルを適切に算出できない。そのため検出した類似パッチ数が少なかったとしても精度よくノイズ低減処理を実現するために本実施形態では、類似パッチの画素数よりも少ない画素数の対象パッチを設定する。一方、画素値の分散がノイズ分散より小さい場合は、探索領域が平坦な領域であり、多数の類似パッチを検出できる可能性が高い。多数の類似パッチを検出できる場合は、画素数が少ないパッチを用いてノイズ低減処理するよりも、画素数が多いパッチを用いてノイズ低減処理した方が、ノイズ低減効果が高い。そのため、画素値の分散が十分小さい場合は、類似パッチの画素数よりも少ない画素数の対象パッチを設定せず、類似パッチを用いてノイズ低減処理を実行する。

　Ｓ６０２においてノイズ低減処理部５０２は、対象パッチが設定されている場合は対象パッチに基づいて、対象パッチが設定されていない場合は類似パッチに基づいてノイズ低減処理を行う。Ｓ６０２におけるノイズ低減処、実施形態１におけるＳ３０５と同様である。以上、実施形態２におけるノイズ低減処理が完了する。このように、類似パッチを検出するためのパッチの画素数と、パッチに対するノイズ低減処理のためのパッチの画素数を異ならせるか否かを切り替えることで、画像の特徴に応じてノイズ低減処理することができる。類似パッチ数が多い場合は、画素数の多いパッチを用いてノイズ低減処理することで、ノイズ低減効果をより高め、類似パッチ数が少ない場合は、画素数の少ないパッチを用いてノイズ低減処理することで、精度よくノイズ低減できる。

　実施形態２の変形例について説明する。実施形態２では、画素値の分散が大きい場合は、類似パッチの画素数よりも少ない画素数の対象パッチを設定し、画素値の分散が小さい場合は対象パッチを設定しない形態とした。一方、類似パッチを用いるノイズ低減処理と、類似パッチよりも画素数の多い対象パッチを用いるノイズ低減処理を切り替える形態としてもよい。この場合判定部５０１は、画素値の分散がノイズ分散より小さい場合には、類似パッチよりも画素数の多い対象パッチを設定すると判定する。画素値の分散がノイズ分散以上である場合、判定部５０１は、対象パッチを設定しない。類似パッチをできる領域においては、よりサイズの大きなパッチを用いてノイズ低減処理を実行することで、ノイズ低減処理の結果低周波ノイズが残留すること防げる。判定部５０１が、類似パッチを検出するために用いるパッチサイズ（画素数）と、ノイズ低減処理を実行する際のパッチサイズ（画素数）を異ならせるべきか否かを判定することで、それぞれの工程において適切なサイズのパッチを設定できる。

　また、実施形態２では、判定部５０１は、探索範囲に含まれる画素の画素値の分散に基づいて、処理に用いるパッチのサイズを変更するか否かを判定した。しかしながら、画素値の分散を算出する範囲として、着目パッチ、類似パッチ群に含まれる画素群を用いてもよい。

　類似パッチの数が多い場合は、ノイズ低減処理に用いるパッチの画素数を大きく、類似パッチの数が少ない場合は、ノイズ低減処理に用いるパッチの画素数を少なくする。そのたえ実施形態２では、画素値の分散を算出し、着目画素近傍が類似パッチを検出しやすい平坦な領域であるか否かを判定した。他の例として、判定部５０１は、類似パッチ数や、類似パッチ群の総画素数を用いて、対象パッチを設定するか否かを判定してもよい。この場合、類似パッチ数あるいは類似パッチ群の総画素数が少ない場合は、類似パッチよりも画素数の少ないパッチを対象パッチとして設定する形態とすれば、実施形態２と同様の効果を得ることができる。また、平坦な領域であれば類似パッチを多数検出できる可能性が高く、平坦ではない領域である場合は多数の類似パッチを検出できない可能性が高い。そこで、着目パッチや探索範囲におけるエッジを検出し、判定部５０１はエッジに応じて対象パッチを設定するか否かを判定するようにしてもよい。

　さらに判定部５０１は、対象パッチを設定する否かだけではなく、対象パッチの画素数や形状を指定する形態としても良い。例えば、判定部５０１は、着目画素近傍における画素値の分散に応じた画素数を導出し、導出された画素数の対象パッチを設定しても良い。

　実施形態１および実施形態２では、パッチ群に対するノイズ低減処理として、パッチ群から算出される共分散行列の固有値および固有ベクトルから射影行列を導出し、射影行列を用いる方法を例に説明した。しかしながら、パッチベースのノイズ低減処理として、射影行列ではなく、共分散行列を用いてパッチに対してノイズ低減処理する方法がある。実施形態３では、共分散行列を用いてパッチベースのノイズ低減処理を行う場合に、対象パッチを設定する形態について説明する。

　実施形態３において、画像処理装置の構成や処理の流れは、実施形態１と同様である。ただし、対象パッチ設定部２０２が実行するＳ３０４における処理とノイズ低減処理部２０５が実行するＳ３０５における具体的な処理が異なる。

　まず、実施形態３のＳ３０５における処理の詳細を説明する。Ｓ３０５においてノイズ低減処理２０５は、共分散行列を算出する処理までは実施形態１と同様である。ここではノイズ低減処理２０５は、共分散行列Ｃに基づいて補正用行列Ｈを算出する。

Ｈ≡σ^２（Ｅ_１　Ｅ_２　・・　Ｅ_Ｍ）^ｔｄｉａｇ（λ_１ ^－１，λ_２ ^－１，・・，λ_Ｍ ^－１）（Ｅ_１　Ｅ_２　・・　Ｅ_Ｍ）　　　（８）

　ここで算出される補正用行列Ｈは、共分散行列Ｃと同様に、一辺のサイズが対象パッチの画素数Ｍである正方行列である。ノイズ低減処理部２０５は、補正値行列Ｈに基づいて、対象パッチそれぞれを補正する。具体的には、平均パッチをＱ、ｉ番目の対象パッチをＰｉとしたとき、ノイズ低減処理部２０５は、以下の式（６）により補正した類似パッチＯｉを算出する。

Ｏ_ｉ≡Ｐ_ｉ－Ｈ（Ｐ_ｉ－Ｑ）　　　（９）

　すなわち、式（９）における第２項目のＨ（Ｐｉ－Ｑ）が対象パッチＰｉに対する補正値である。この補正値を対象パッチＰｉから減算することで、各類似パッチのノイズが低減される。

　このようなノイズ低減処理では、補正用行列として、式（８）に示す通り共分散行列の逆行列を用いる。共分散行列は、前述の通り、対象パッチの画素数Ｍ×Ｍの正方行列である。Ｍ×Ｍである補正用行列として、正則な行列（逆行列を算出できる行列）を算出するためには、画素数＋１枚分のパッチ数を必要とする。従って、検出した類似パッチが少ない場合、画素数の多い類似パッチを用いて共分散行列を算出すると、逆行列を導出できず、結果としてパッチに対するノイズ低減処理を実行できない場合がある。

　そこで実施形態３では、対象パッチ設定部２０２は、Ｓ３０４において、検出した類似パッチの数に応じて、対象パッチの画素数を設定する。具体的には、対象パッチ設定部２０２は、類似パッチに含まれる画素のうち、検出した類似パッチの数－１分の画素を選択し、対象パッチとして設定する。なお、類似パッチのうち選択する画素順は、予め保持しておく。ここでは参照画素から近い順とする。また、（類似パッチの数－１）が類似パッチの画素数よりも多い場合は、類似パッチの画素すべての選択するものとする。つまり類似パッチを（類似パッチの画素数＋１）以上検出できた場合は、類似パッチをそのまま対象パッチとすることになる。

　検出した類似パッチの数が少ない場合、類似パッチの画素数を少なくして類似パッチを検出しなおすと、類似パッチの判定精度が低下してしまう。そこで、類似パッチの数が少ない場合は、対象パッチの画素数を類似パッチの数に応じて設定する。これにより、検出した類似パッチの数が少なくても、パッチ群に対して必ずノイズ低減処理を実行できる。

　なお、実施形態２のように、実施形態３と類似パッチをそのままノイズ低減処理に用いる場合とを切り替えてもよい。

　また、実施形態３においては、対象パッチの画素数を類似パッチの検出数に応じて設定する方法を例に説明した。しかしながら実施形態１と同様、類似パッチの検出に関わらず、予め類似パッチの一部領域など、類似パッチの画素数とは異なる画素数のパッチを対象パッチとして設定してもよい。

　上述の実施形態では、パッチ群に対するノイズ低減処理のため類似パッチとは異なる画素数の対象パッチを設定し、複数の対象パッチからなるパッチ群から共分散行列の固有値および固有ベクトルや、補正用行列を導出する方法を説明した。実施形態４では、類似パッチ群から共分散行列の固有値や固有ベクトルなどを算出した後、類似パッチとは異なる画素数の対象パッチに対してノイズ低減処理を実行する方法について説明する。なお実施形態４において、画像処理装置の構成や処理の流れは、実施形態３と同様である。ただし、対象パッチ設定部２０４が実行するＳ３０４とノイズ低減処理部２０５が実行するＳ３０５における具体的な処理が異なる。

　まず、本実施形態のＳ３０４における処理の詳細を説明する。Ｓ３０４において対象パッチ設定部２０４は類似パッチに基づいて対象パッチを設定する。本実施形態において対象パッチ設定部２０２は、画像における黒潰れや白飛びなど欠陥のある画素（以下、飽和画素とする）を示す欠陥情報を取得する。例えば欠陥情報は、画素毎に黒潰れまたは白飛びであるか否かを示す情報が格納された情報である。なお潰れや白飛びのある画素を示す情報は、公知の方法により検出することができる。対象パッチ設定部２０２は、欠陥情報を参照して、検出された類似パッチ群に黒潰れもしくは白とびのある飽和画素がある場合は、対象パッチを構成する画素として飽和画素以外の画素のみを選択する。ただし、類似パッチ群のうちいずれの類似パッチに対しても、パッチにおいて同じ位置の画素を対象パッチとして選択する。例えば、類似パッチ群のうち、１つの類似パッチの左上の画素のみが飽和画素であったとする。この場合、類似パッチ群に含まれる各類似パッチに対して、左上の画素を除く画素群を対象パッチとして設定することになる。

　共分散行列を算出する対象のパッチ群に飽和画素が存在すると、分散が異常に小さくもしくは大きくなってしまう場合があり、これによりアーティファクトを発生させやすくなってしまう。そこで本実施形態において対象パッチ設定部２０２は、飽和画素を除くパッチ群を設定する。また、本実施形態では対象パッチが類似パッチの範囲外に出ないように設定する。

　次に、本実施形態４のＳ３０５における処理の詳細を説明する。Ｓ３０５においてノイズ低減処理２０５は、検出した類似パッチ群に基づいて、類似パッチの平均パッチと共分散行列Ｃｒを算出する。類似パッチ群において、同じ位置の画素の画素値の平均を算出し、各画素位置に平均値を格納して類似パッチの平均パッチを算出する。従って類似パッチの平均パッチは、類似パッチの形状と同じ形状であり、本実施形態においては、８画素×８画素のパッチである。類似パッチの平均パッチにおける画素の数をＲ個とし、Ｒ個の画素の画素値を並べた列ベクトルをＱｒとすると、ノイズ低減処理部２０５は、式（９）により類似パッチの平均パッチを算出する。

　Ｓｉは、ｉ番目の類似パッチを表す。また、類似パッチ群から算出される共分散行列Ｃは、正方行列であり、一辺のサイズが類似パッチを構成する画素数Ｒである。ノイズ低減処理部２０５は、類似パッチの平均パッチＱｒを用いて式（１０）により共分散行列Ｃを算出する。

　ここではノイズ低減処理２０５は、共分散行列Ｃｒに基づいて式（１１）を用いて補正用行列候補Ｆを算出する。

Ｆ≡σ^２（Ｅ_１　Ｅ_２　・・　Ｅ_Ｒ）^ｔｄｉａｇ（λ_１ ^－１，λ_２ ^－１，・・，λ_Ｒ ^－１）（Ｅ_１　Ｅ_２　・・　Ｅ_Ｒ）　　（１１）

　ここで算出される補正用行列候補Ｆは、共分散行列Ｃと同様に、一辺のサイズが類似パッチの画素数Ｒである正方行列である。さらにノイズ低減処理部２０５は、補正用行列候補Ｆに基づいて、補正用行列Ｈを算出する。補正用行列候補Ｆの一部分を抜き出したものが補正用行列Ｈである。対象パッチの画素数がＭ画素の場合には、補正用行列ＨもＭ×Ｍの正方行列である。

　補正用行列候補Ｆからの抜き出し方については、類似パッチと対象パッチの位置関係に依存する。以下に、補正用行列候補Ｆに基づいて、補正用行列Ｈを算出する方法を詳細に説明する。例えば類似パッチと対象パッチが図４Ａの位置関係である場合を例にとする。図７は、類似パッチの列ベクトルを示している。類似パッチの列ベクトルとは、類似パッチの画素をラスタ順に並べ替え、各画素の画素値を要素として１列に配置することで生成されるベクトルである。ここで、類似パッチと対象パッチが図４Ａの位置関係である場合、図７において斜線部である要素は、対象パッチの列ベクトルを生成する場合にも含まれる。つまり対象パッチの列ベクトルは、類似パッチの列ベクトルの一部に含まれることになる。対象パッチ設定部２０４は、対象パッチを設定する際に、類似パッチの列ベクトル内の要素のうち、どの番号の要素を対象パッチの列ベクトルとして設定したかを示す情報を画素位置情報として生成し、保持しておく。ここでは対象パッチにも含まれる要素が、類似パッチの列ベクトルの上（先頭）から何番目の要素であるかという複数の番号を、対象パッチ番号Ｂとして保持する。対象パッチ番号ＢはＭ個の要素を持つ。類似パッチと対象パッチが図７のような関係を持つ場合、対象パッチ番号Ｂを算出すると、「１０，１１，１２，１３，１８，１９，２０，２１，２６，２７，２８，２９，３４，３５，３６，３７」となる。

　ノイズ低減処理２０５は、対象パッチ設定部２０５から得られる対象パッチ番号を示す情報を参照し、補正用行列候補Ｆのうち行・列ともに対象パッチ番号Ｂに含まれる要素のみを抜き出すことにより、補正用行列Ｈを算出する。例えば、対象パッチ番号Ｂが「１０，１１，１２，１３，１８，１９，２０，２１，２６，２７，２８，２９，３４，３５，３６，３７」である場合、まず補正用行列候補Ｆから１０列目１０行目の要素を抜き出して、補正用行列Ｈにおける１列目１行目とする。続いて、補正用行列候補Ｆの１１行列目１１行列を、補正用行列Ｈにおける２列目２行目とする。このような工程を対象パッチ番号Ｂ分繰り返すことで、補正用行列候補Ｆから補正用行列Ｈを生成する。また、ノイズ低減処理部２０５は類似パッチの平均パッチＱｒから、対象パッチ番号Ｂに含まれる要素のみを抜き出し、対象パッチに対応する平均パッチＱを算出する。ノイズ低減処理部２０５は、補正用行列Ｈに基づいて対象パッチそれぞれを補正する。具体的には、平均パッチをＱ、ｉ番目の対象パッチをＰｉとしたとき、ノイズ低減処理部２０５は、以下の式（１２）により補正した類似パッチＯｉを算出する。

Ｏ_ｉ≡Ｐ_ｉ－Ｈ（Ｐ_ｉ－Ｑ）　（１２）

　この後の処理は実施形態３と同様である。類似パッチ群に飽和画素が含まれる場合には、類似パッチ群におけるノイズ分散が著しく低下し、通常よりもパッチの画素数に対して多くのパッチ枚数を検出しないと、白とびや黒潰れによるアーティファクトが発生する場合がある。そこで本実施形態では、類似パッチから白とびや黒潰れをしている画素がある場合には、それらの飽和画素を除く対象パッチを設定する。これにより、アーティファクトの発生を抑制し、より高精度に各パッチのノイズ低減処理を実行することができる。

　＜その他の実施形態＞
　なお、上述の３つの実施形態では、コンピュータプログラムを動作させることで実現するソフトウェアを例に説明した。しかしながら、図２、図５に示したブロック図の各構成の一部、またはそのすべてを専用の画像処理回路によって実現してもよい。

　また本発明は上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

　本願は、２０１７年１２月１３日提出の日本国特許出願特願２０１７－２３８２２９と２０１８年１０月３日提出の日本国特許出願特願２０１８－１８８１８０を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (20)

1. 　入力画像に対してノイズを低減することで出力画像を生成する画像処理装置であって、前記入力画像において、第１の画素数を有する着目パッチを設定する着目パッチ設定手段と、
   　前記入力画像において、前記着目パッチと類似する複数の類似パッチを検出する検出手段と、
   　前記複数の類似パッチに基づいて、前記類似パッチに含まれる少なくとも１つの画素を含み、前記第１の画素数とは異なる第２の画素数を有する複数の対象パッチを設定する対象パッチ設定手段と、
   　前記複数の対象パッチに基づいて、前記対象パッチにノイズ低減処理を実行するノイズ低減処理手段と、
   　前記ノイズ低減処理手段によりノイズを低減された対象パッチを合成することで、前記出力画像を生成する合成手段と、を有することを特徴とする画像処理装置。
2. 　前記対象パッチ設定手段は、前記対象パッチとして、前記第１の画素数よりも少ない画素数のパッチを設定することを特徴とする請求項１に記載の画像処理装置。
3. 　前記対象パッチ設定手段は、前記類似パッチの一部領域を前記対象パッチとして設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 　さらに、前記ノイズ低減処理手段が処理の対象とするパッチとして、類似パッチを用いるか、対象パッチを用いるかを判定する判定手段を有し、
   　前記ノイズ低減処理手段は、前記判定手段により、類似パッチを用いると判定された場合は、前記複数の類似パッチに基づいて前記複数の類似パッチにノイズ低減処理を実行し、
   　前記判定手段により前記対象パッチを用いると判定された場合は、前記複数の対象パッチに基づいて、前記対象パッチにノイズ低減処理を実行することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 　前記判定手段は、前記入力画像における領域に含まれる画素の画素値の分散に基づいて、類似パッチを用いるか、対象パッチを用いるかを判定することを特徴とする請求項４に記載の画像処理装置。
6. 　前記判定手段は、前記検出手段が検出した類似パッチの数に基づいて、類似パッチを用いるか、対象パッチを用いるかを判定することを特徴とする請求項４に記載の画像処理装置。
7. 　前記判定手段は、前記入力画像における領域に対してエッジを検出し、前記領域におけるエッジに基づいて、類似パッチを用いるか、対象パッチを用いるかを判定することを特徴とする請求項４に記載の画像処理装置。
8. 　前記ノイズ低減処理手段は、前記複数の対象パッチの平均パッチと共分散行列を算出し、前記共分散行列の固有値および固有ベクトルに基づいて基底行列を算出し、前記基底行列を用いて、前記複数の対象パッチを射影処理することで、前記複数の対象パッチに対してノイズ低減処理を実行することを特徴とする請求項１乃至７の何れか一項に記載の画像処理装置。
9. 　前記ノイズ低減処理手段は、前記複数の対象パッチの平均パッチと共分散行列を算出し、前記共分散行列の逆行列を用いて前記複数の対象パッチに対してノイズ低減処理を実行することを特徴とする請求項１乃至７の何れか一項に記載の画像処理装置。
10. 　前記対象パッチ設定手段は、画素毎に黒潰れまたは白飛びであるか否かを示す欠陥情報を取得し、前記欠陥情報に基づいて前記対象パッチを設定することを特徴とする請求項１乃至９の何れか一項に記載の画像処理装置。
11. 　前記対象パッチ設定手段は、前記複数の対象パッチに、前記欠陥情報が黒潰れまたは白飛びであることを示す画素が存在しないように、前記複数の対象パッチを設定することを特徴とする請求項１０に記載の画像処理装置。
12. 　前記対象パッチ設定手段は、前記類似パッチを構成する画素群のうち、前記対象パッチとして設定された画素位置を示す画素位置情報を生成し、
    　前記ノイズ低減処理手段は、前記画素位置情報に基づいて、前記複数の対象パッチにノイズ低減処理を実行することを特徴とする請求項１乃至１１の何れか一項に記載の画像処理装置。
13. 　前記ノイズ低減処理手段は、前記複数の類似パッチに基づいて第１の平均パッチおよび補正用行列の候補を算出し、さらに前記画素位置情報に基づいて前記第１の平均パッチおよび前記補正用行列の候補から第２の平均パッチおよび補正用行列を算出し、前記第２の平均パッチおよび前記補正用行列を用いて前記複数の対象パッチのノイズ低減処理を実行することを特徴とする請求項１２に記載の画像処理装置。
14. 　前記ノイズ低減処理手段は、前記複数の類似パッチに基づいて第１の共分散行列を算出し、前記第１の共分散行列を用いて前記補正用行列の候補を算出することを特徴とする請求項１３に記載の画像処理装置。
15. 　前記補正用行列の候補は、前記類似パッチを構成する画素数に応じたサイズの行列であり、前記補正用行列は、前記対象パッチを構成する画素数に応じたサイズの行列であることを特徴とする請求項１３または１４に記載の画像処理装置。
16. 　前記類似パッチおよび前記対象パッチは、複数の画素群からなる矩形の領域であることを特徴とする請求項１乃至１５の何れか一項に記載の画像処理装置。
17. 　コンピュータを請求項１乃至１６の何れか一項に記載の画像処理装置として機能させるためのプログラム。
18. 　入力画像に対してノイズを低減することで出力画像を生成する画像処理方法であって、前記入力画像において、第１の画素数を有する着目パッチを設定し
    　前記入力画像において、前記着目パッチと類似する複数の類似パッチを検出し
    　前記複数の類似パッチに基づいて、前記類似パッチに含まれる少なくとも１つの画素を含み、前記第１の画素数とは異なる第２の画素数を有する複数の対象パッチを設定し
    　前記複数の対象パッチに基づいて、前記対象パッチにノイズ低減処理を実行し
    　前記ノイズを低減された対象パッチを合成することで、前記出力画像を生成することを特徴とする画像処理方法。
19. 　前記第２の画素数は、前記第１の画素数よりも少ないことを特徴とする請求項１８に記載の画像処理方法。
20. 　前記複数の類似パッチそれぞれの一部領域が前記複数の対象パッチとして設定されることを特徴とする請求項１８または１９に記載の画像処理方法。

Images