JP7005168B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮影画像のノイズを低減する技術に関する。

カメラで撮影した画像にはノイズが含まれ、特に高感度撮影時にはノイズ量が多くなる。このノイズを低減するため、撮影画像に含まれるノイズを低減する技術が数多く知られている。例えば、特許文献１には、撮影画像からパッチ集合を生成し、パッチ集合に属する全てのパッチに対してノイズ低減処理を行い、さらにこれらパッチの合成処理を行うことでデノイズされた画像を生成する手法が開示されている。この特許文献１の手法では、入力画像として、画像内の各画素が同レベルの色情報を持つ画像、すなわち、１画素につき１色の色情報を持つグレースケール画像や１画素につきＲＧＢ３色の色情報を持つＲＧＢ画像が想定されている。

特開2013-026669号公報 特開2014-086956号公報

ここで、画素毎にカラーフィルタに応じた異なる色情報を持つＲＡＷ画像を入力画像として、例えば特許文献１に開示されたようなパッチベースのノイズ低減処理を行う場合を考える。この場合、パッチ集合を生成するために、カラーフィルタの配置に応じてパッチの形状を設定する必要が生じる。この点、例えば、特許文献２には、ＲＡＷ画像に対して適切にノイズ低減を行うために、パッチの形状をカラーフィルタの配置に応じて変更する技術が開示されている。しかしながら、特許文献２の技術を用いてパッチ集合を生成すると、ノイズ低減後の画像にパターン状のノイズが発生する場合があった。

そこで本発明は、ＲＡＷ画像に対してパッチベースのノイズ低減を行う手法において、パターン状ノイズの発生を抑えたより良好な画像を生成することを目的とする。

本発明に係る画像処理装置は、周期性を有するカラーフィルタ配列に対応する色を画素毎に持つＲＡＷ画像のノイズを低減する画像処理装置であって、前記ＲＡＷ画像を構成する画素のうち、着目画素及び当該着目画素についての複数の参照画素を設定する画素設定手段と、前記着目画素を基準とした複数の画素で構成される着目パッチ、及び前記複数の参照画素それぞれを基準とした複数の画素で構成される複数の参照パッチを設定するパッチ設定手段と、前記着目パッチと前記複数の参照パッチに基づいてノイズ低減処理を行うノイズ低減手段と、を備え、前記画素設定手段は、１つの着目画素に対して、前記カラーフィルタ配列の最小単位において同色であり位置が異なる少なくとも２種類の画素を前記複数の参照画素として設定し、前記パッチ設定手段は、１つの着目画素に対して、形状が異なる少なくとも２種類の参照パッチを設定し、前記２種類の参照パッチにおける前記２種類の画素に異なるラベルを付けた場合、前記最小単位において、前記異なるラベルが付された前記２種類の画素の出現回数の差が小さくなるように前記参照パッチを設定する、ことを特徴とする。

本発明によれば、ＲＡＷ画像に対してパッチベースのノイズ低減を行う手法において、パターン状ノイズの発生を抑えたより良好な画像を生成することができる。

画像処理装置のハードウェア構成を示すブロック図。 実施例１に係るノイズ低減処理プログラムの詳細を示すブロック図。 本実施例に係るノイズ低減処理の流れを示すフローチャート。 ノイズ低減処理の対象となるＲＡＷ画像の一部を拡大した図。 実施例１の手法で設定される着目画素、参照画素及び参照パッチの一例を示す図。 実施例１の手法で設定される着目画素、参照画素及び参照パッチの一例を示す図。 実施例１の参照パッチを重ねたときの各画素位置におけるＧ１画素とＧ２画素の出現回数を示した図。 従来のパッチ設定の一例を示す図。 従来のパッチ設定の一例を示す図。 従来例の参照パッチを重ねたときの各画素位置におけるＧ１画素とＧ２画素の出現回数を示した図。 実施例１の手法で設定される着目画素、参照画素及び参照パッチの一例を示す図。 実施例１の手法で設定される着目画素、参照画素及び参照パッチの一例を示す図。 実施例２に係る、カメラを備えた画像処理装置のハードウェア構成を示すブロック図。 （ａ）はノイズ低減処理部の詳細を示すブロック図、（ｂ）はパッチ類似度導出部の詳細を示す図。 実施例２に係るノイズ低減処理の流れを示すフローチャート。 ノイズ低減処理の対象となるＲＡＷ画像の一部を拡大した図。 実施例３における着目画素と参照画素の一例を示す図。 実施例３における参照パッチの一例を示す図。 実施例３における参照パッチの一例を示す図。 実施例３における参照パッチの一例を示す図。 実施例４に係るノイズ低減処理プログラムの詳細を示すブロック図。 ノイズ低減対象パッチの一例を示す図。 実施例４に係るノイズ低減処理の流れを示すフローチャート。

以下、本発明を実施するための形態について図面を用いて説明する。なお、実施形態は、本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するための手段に必須であるとは限らない。

本実施例では、パッチベースのノイズ低減処理をソフトウェアにて実現する態様を説明する。図１は、本実施例に係る画像処理装置のハードウェア構成を示すブロック図である。図１において画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶部１０３、汎用インタフェース１０４、表示部１０５で構成され、これらがメインバス１０６を介して相互に接続されている。そして、汎用インタフェース１０４を介して、外部メモリ１１０と、マウスやキーボードなどの入力装置１２０とがメインバス１０６に接続されている。記憶部１０３は、ＨＤＤやＳＳＤなどの記憶デバイスである。表示部１０５は液晶ディスプレイや有機ＥＬディスプレイなどである。

以下では、ＣＰＵ１０１が記憶部１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。まず、ＣＰＵ１０１は記憶部１０３に格納されている画像処理プログラムを起動し、ＲＡＭ１０２に展開するとともに、表示部１０５にユーザインタフェース画面（以下、ＵＩ画面）を表示する。続いて、入力装置１２０を通じたユーザからの指示に従い、外部メモリ１１０に格納されているＲＡＷ画像データをＲＡＭ１０２に読み込む。さらに、ユーザからの指示に従って、ＲＡＭ１０２に格納されているＲＡＷ画像データに対して、ノイズ低減処理を行う。ノイズ低減処理後の画像データは再びＲＡＭ１０２に格納される。ＲＡＭ１０２に格納されたノイズ低減処理後の画像データは、ユーザからの指示に応じて一連の処理が施された後、表示部１０５への表示や外部メモリ１１０への格納といった所定の出力に供される。なお、ノイズ低減処理の対象となるＲＡＷ画像データは、外部メモリ１１０の他、記憶部１０３に格納されていてもよく、また、不図示のネットワークを介してサーバからＲＡＭ１０２に読み込んでもよい。

続いて、本発明の前提となる、ＲＡＷ画像を入力画像としたパッチベースのノイズ低減処理について確認しておく。パッチベースのノイズ低減処理では、まず、ＲＡＷ画像における複数の画素を着目画素として設定し、その着目画素毎にパッチ集合を生成する。次に、生成したパッチ集合に含まれる各パッチのノイズを低減する。このときのノイズ低減には、前述の特許文献１の手法の他、例えば、ＮＬベイズ法といった手法が用いられる。ＮＬベイズ法について簡単に説明すると、まず、パッチの各画素の平均値と、各パッチの任意の２つの画素値の積をパッチ集合の全てのパッチについて和をとり計算する共分散行列とを算出する。この平均値と共分散行列により、ノイズのない理想的な画像の画素値が従う事前確率をモデル化（仮定）する。次に、「事後確率＝尤度×事前確率」で表わされるベイズの定理を用いて、事後確率が最大となるようなパッチの画素値を決定する。すなわち、モデル化された事前確率と、尤度に相当する予め測定された画像のノイズ分散（カメラの撮像センサに依拠）とを上記ベイズの定理に当て嵌め、事後確率を最大化するように各パッチの画素値を決定する。これにより、ノイズが低減されたパッチが得られる。そして、ノイズ低減後のパッチそれぞれを合成して、ノイズが低減されたＲＡＷ画像を生成する。このパッチ合成処理はアグリゲーションなどと呼ばれる。具体的には、ノイズ低減後の各パッチをＲＡＷ画像における元のパッチ位置に戻し、複数のパッチが重なる画素については平均化、あるいは類似度に基づいた加重平均を行う。以上が、ＮＬベイズ法によるノイズ低減処理の内容である。

本実施例では、上述したようなパッチベースのノイズ低減処理を行うことを前提としつつ、パッチ集合の生成の仕方を工夫することで、ノイズ低減後のＲＡＷ画像においてパターン状のノイズが発生することを抑制している。

（用語の定義）
ここで、本明細書における用語について確認しておく。「パッチ」は、入力画像であるＲＡＷ画像の一部に相当する矩形或いは市松状の幾何図形の領域を意味し、複数の画素で構成される。ＲＡＷ画像内の画素のうち着目画素を基準とする複数の画素で構成されたパッチを、以下では「着目パッチ」と呼ぶこととする。そして着目パッチについてノイズ低減を行うときに参照する、着目パッチの周辺に設定するパッチを「参照パッチ」と呼ぶこととする。参照パッチは参照画素を基準とする複数の画素で構成されたパッチである。１つの着目画素に対して複数の参照画素が設定されるため、１つの着目画素あたり複数の参照パッチが存在することになる。前述したパッチ集合は、複数の参照パッチのうち、着目パッチとの類似度が高い参照パッチの集合である。なお、複数の参照パッチの中には着目パッチ自身が含まれていても構わない。

本実施例では、上述したようなパッチベースのノイズ低減処理をソフトウェアによって実現する態様について説明する。すなわち、記憶部１０３等に格納されたノイズ低減処理プログラムがＲＡＭ１０２に展開され、ＣＰＵ１０１がこれを実行することによって実現される。図２は、本実施例に係るノイズ低減処理プログラムの詳細を示すブロック図である。ノイズ低減処理プログラム２００は、着目画素設定、参照画素設定、参照パッチ設定、類似パッチ決定、パッチノイズ低減、パッチ合成の各モジュール２０１～２０６で構成される。以下、各モジュールについて説明する。

着目画素設定モジュール２０１は、入力画像としてのＲＡＷ画像に対して任意の画素を指定する座標値を生成して、着目画素を設定する。参照画素設定モジュール２０２は、設定された着目画素に対応させるべき複数の参照画素を設定する。参照パッチ設定モジュール２０３は、設定された着目画素及び複数の参照画素に基づいて、着目パッチと複数の参照パッチを設定する。本実施例の特徴は、着目画素、着目パッチ、参照画素、参照パッチの設定の仕方にある。その詳細については後述する。類似パッチ決定モジュール２０４は、設定された複数の参照パッチの中から着目パッチとの類似度の高い類似パッチを決定する。パッチノイズ低減モジュール２０５は、決定された類似パッチのノイズを低減する。パッチ合成モジュール２０６は、ノイズが低減された類似パッチの合成（アグリゲーション）を行う。

続いて、上述したモジュール構成のノイズ低減処理プログラム２００の具体的な処理の流れを説明する。図３は、本実施例に係るノイズ低減処理の流れを示すフローチャートである。以下、図３のフローに沿って詳しく説明する。

ステップ３０１では、入力画像としてのＲＡＷ画像が取得される。続くステップ３０２では、取得したＲＡＷ画像の中から着目画素が設定される。そして、ステップ３０３では、設定された着目画素の色及び画像上の位置に基づいて、複数の参照画素が設定される。さらに、ステップ３０４では、設定された複数の参照画素の中から処理対象とする一つの参照画素が決定される。そして、ステップ３０５では、ステップ３０２で設定された着目画素に対応する着目パッチとステップ３０４で決定された処理対象の参照画素に対応する参照パッチが設定される。ここで、本実施例の特徴である着目画素の設定から参照パッチの設定までを具体例を参照しながら詳しく説明する。

図４は、本実施例のノイズ低減処理の対象となるＲＡＷ画像の一部を拡大した図である。図４に示すとおり、ＲＡＷ画像の各画素は、撮像センサのカラーフィルタにおける赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のいずれかの色に対応付けられている。カラーフィルタにおける色の配列には周期性があり、図４に示したカラーフィルタは、太枠４０１で示した２×２画素の正方形を繰り返しの最小単位としている。そして、各画素の色は、当該最小単位における位置が、左上：Ｒ、右上と左下：Ｇ、右下：Ｂとなっている。このようなカラーフィルタの配列は、ベイヤー配列と呼ばれる。右上と左下は同じＧであるが、本明細書ではこれらを区別するため、右上画素には“Ｇ１”、左下画素には“Ｇ２”といった具合に異なるラベルを付す（ラベル付け）こととする。また、説明の都合上、ＲとＢについても、それぞれ“Ｒ１”、“Ｂ１”のラベルを付すこととする。このＩＤはカラーフィルタ配列に対する位置関係を示している。

図５及び図６は、図４に示したベイヤー配列に対応するＲＡＷ画像の場合における、本実施例の手法で設定される着目画素、参照画素及び参照パッチの一例を示す図である。なお、着目パッチの形状は、参照パッチの形状と同じであるため省略している。図５（ａ）は着目画素のラベルがＲ１の場合、同（ｂ）はＢ１の場合、図６（ａ）はＧ１の場合、同（ｂ）はＧ２の場合をそれぞれ示している。図５（ａ）～（ｄ）から明らかなように、着目画素のラベルがＲ１、Ｂ１、Ｇ１、Ｇ２のいずれの場合であっても、カラーフィルタ配列の最小単位における位置が異なる２種類の画素（＝ラベルが異なる２種類の画素）が、参照画素として設定される。例えば、着目画素がＲ１画素の場合であれば（図５（ａ））、太枠で示す着目画素に対して、それぞれ異なる斜線で示すＲ１とＢ１の２種類の画素が、参照画素として設定される。そして、参照画素としてのＲ１画素は、１画素おきに５×５＝２５画素の矩形状に並んでいる。一方、参照画素としてのＢ１画素は、１画素おきに４×４＝１６画素の矩形状に並んだものに加え、その上下左右に２画素ずつ配置されており、合計２４画素存在する。このとき、参照画素がＲ１画素である場合とＢ１画素である場合とで、その参照パッチの形状が異なることになる。パッチ５０１はＲ１画素が参照画素のときの参照パッチであり、その形状は参照画素を中心とした５×５の矩形である。一方、パッチ５０２は、Ｂ１画素が参照画素のときの参照パッチであり、その形状は参照画素を中心とした５×５の矩形からＲ１画素とＢ１画素を省いた市松状である。そして、参照パッチの５０２の構成画素数は、Ｇ１画素が６個とＧ２画素が６個の計１２個である。着目画素がＲ１であってその参照画素がＢ１のとき、参照パッチ５０２の構成画素にＲ１とＢ１が含まれないのは、着目パッチと参照パッチとを重ね合わせたときの対応関係にある画素位置で色が異なることになり、後述の類似度を適切に導出できないためである。なお、参照パッチを重ねたときに、対応関係にある画素位置に同じ色が現れる場合を位相が合う（同位相）と表現し、異なる色が現れる場合を位相が合わない（別位相）と表現することとする。このように、本実施例のパッチ設定では、１つの着目画素に対して、形状が異なる２種類の参照パッチが設定される。参照パッチの形状に少なくとも２種類が存在することから、着目パッチの形状も参照パッチの形状に対応する２種類が存在することになる。着目画素がＧ１画素、Ｇ２画素、Ｂ１画素の場合も同様である。例えば着目画素がＧ１画素の場合（図６（ａ））における参照画素は、カラーフィルタ配列の最小単位における位置が異なるＧ１画素とＧ２画素の２種類が設定される。このとき、参照画素としてのＧ１画素の数は２５個、Ｇ２画素の数は２４個であり、参照パッチは２５画素からなる矩形のパッチ６０１と１３画素からなる市松状のパッチ６０２の２種類が参照画素に応じて設定される。

上述したようなパッチ設定の特徴は、参照画素の位置を基準に全ての参照パッチを重ね合わせてみたとき、Ｇ成分の色を持つ画素が出現する任意の画素位置においては、Ｇ１画素とＧ２画素がいずれも出現することである。図７の（ａ）～（ｄ）は、各着目画素について、同位相の参照パッチを２５枚、別位相の参照パッチを２４枚重ねたときの対応関係にある画素位置におけるＧ１画素とＧ２画素の出現回数をそれぞれ示した図である。図７（ａ）は図５（ａ）に、図７（ｂ）は図５（ｂ）に、図７（ｃ）は図６（ａ）に、図７（ｄ）は図６（ｂ）にそれぞれ対応している。いずれか一方が登場する画素位置では必ず他方も登場しているのが分かる。ここで比較のため、パターン状のノイズが発生してしまう従来のパッチ設定の例を図８及び図９に示す。図８（ａ）は着目画素がＲ１画素の場合、同（ｂ）はＢ１画素の場合、図９（ａ）はＧ１画素の場合、同（ｂ）はＧ２画素の場合をそれぞれ示している。そして、図１０は従来のパッチ設定の場合における上述の図７に対応する図であり、（ａ）～（ｄ）は、各着目画素について、参照パッチを重ねたときの対応関係にある画素位置におけるＧ１画素とＧ２画素の出現回数をそれぞれ示している。このとき、図示していないが、図１０の（ａ）では同位相の参照パッチ８０１が２５枚重ねられており、同（ｄ）でも同位相の参照パッチ８０２が２５枚重ねられている。また、図１０（ｂ）では同位相の参照パッチ９０１が２５枚と別位相の参照パッチ９０２が１６枚重ねられており、同（ｃ）でも同位相の参照パッチ９１１が２５枚と別位相の参照パッチ９１２が１６枚重ねられている。

本実施例の図７（ａ）～（ｄ）では、Ｇ１とＧ２が同じ画素位置でどちらも出現しているのに対して、従来例の図１０（ａ）～（ｄ）では着目画素がＲ１画素あるいはＢ１画素の場合に、いずれの画素位置でもＧ１かＧ２のどちらかしか出現しない。このようにＧ１画素及びＧ２画素の出現回数が偏っている場合、ノイズ低減処理や合成処理において、Ｇ１画素についてはＧ１画素のみを用いて、Ｇ２画素についてはＧ２画素のみを用いて平均化する傾向が強くなる。こうなると、本来は同じＧ成分の色であるにも関わらず別々の色として扱っていることとなり、ノイズが無ければ同じ画素値であるような画素位置でもＧ１画素とＧ２画素とで異なる画素値になってしまうことが確率的に起こる。このようにＧ１画素とＧ２画素との間で画素値に差が生じてしまうことが、パターン状のノイズが生じる原因である。

図３のフローの説明に戻る。ステップ３０６では、上述のようにして設定された着目パッチと参照パッチとの類似度が導出される。この類似度には、例えば、それぞれのパッチを構成する各画素の画素値の差分絶対値の和もしくは差分二乗の和が用いられる。あるいは、着目パッチと参照パッチに含まれる複数の画素の画素値をそれぞれベクトルとみなし、よく知られたベクトルの内積や差分ベクトルの各種ノルムなどを類似度としてもよい。

ステップ３０７では、ステップ３０３で設定された複数の参照画素がすべて処理されたかどうかが判定される。未処理の参照画素がある場合はステップ３０４に戻って次の処理対象とする参照画素が決定される。一方、全て処理されていれば、ステップ３０８に進む。

ステップ３０８では、ステップ３０６で導出された類似度に基づき、類似度の高い１つ以上の参照パッチ（以下、「類似パッチ」と呼ぶ。）から統計情報が抽出される。具体的には、まず、導出された類似度が所定の閾値以上の参照パッチを類似パッチとして特定し、特定された類似パッチの幾何学的な形状の違いを考慮して類似パッチの統計解析を行って、統計情報を抽出する。ここで抽出される統計情報は、ＮＬベイズ法であれば類似パッチの平均値や共分散行列であり、特許文献１の手法であればさらに固有値や固有ベクトルが含まれる。形状の違いの考慮の仕方は、例えば平均値や共分散行列を求める際に、その類似パッチには含まれない種類（ラベル）の画素を演算の対象から除けばよい。

ステップ３０９では、各類似パッチに対して、それぞれから抽出された統計情報に基づくノイズ低減処理が実行される。ノイズ低減処理後の類似パッチのデータは、アグリゲーションに備えてＲＡＭ１０２に一時保存される。そして、ステップ３１０では入力ＲＡＷ画像内の全ての画素について処理が完了したかどうかが判定される。未処理の画素がある場合はステップ３０２に戻って次の画素を着目画素に決定して処理が続行される。一方、全ての画素について処理が完了している場合は、ステップ３１１に進む。そして、ステップ３１１では、入力ＲＡＷ画像を構成する各画素について得られたノイズ低減後の類似パッチ群を合成する処理（アグリゲーション）が実行され、ノイズ低減が施されたＲＡＷ画像が得られる。

以上が、ノイズ低減処理プログラム２００によって実現される、本実施例に係るノイズ低減処理の内容である。なお、図３のフローでは、ノイズ低減後の類似パッチを全画素分取得した後、一括してアグリゲーションを行っているがこれに限定されない。そもそも参照パッチは着目パッチから極端に離れた位置には設定されないため、ある画素位置におけるアグリゲーションに必要な類似パッチの範囲は限られている。したがって、必要な類似パッチが得られた時点でアグリゲーションを随時実行して、値が確定した画素データから順次出力するようにしてもよい。

本実施例の手法では、上述の通り、着目画素がＲ１画素、Ｂ１画素、Ｇ１画素、Ｇ２画素のいずれであっても、Ｇ１画素とＧ２画素の出現回数が偏ることがないようにパッチ設定がなされる。これにより、同じＧ成分を持つＧ１画素とＧ２画素がノイズ低減処理や合成処理において同じ色の画素として扱われることになる、その結果、パターン状のノイズの発生が抑えられる。

なお、パターン状のノイズは、Ｇ１画素とＧ２画素の出現回数の差が小さいほど抑制される。図７に示した例では出現回数の差は１しかないため、パターン状のノイズを認知できないほどまで抑制することが可能である。

カラーフィルタ配列がベイヤー配列の場合についてまとめると、以下のようになる。まず、着目画素がＲ１画素あるいはＢ１画素の時には、参照画素にＲ１画素とＢ１画素のいずれをも含むようにする。また、着目画素がＧ１画素あるいはＧ２画素の時には、参照画素にＧ１画素とＧ２画素のいずれをも含むように（参照画素のカラーフィルタ配列に対する位置が、着目画素と同一のものと、その斜めの位置にあるもののいずれも含むように）する。そして、参照パッチは、着目パッチと参照パッチとの間で対応関係にある画素が同じ色になっている画素だけを選択した形状とすればよい。このようにパッチ設定を行うことで、同じＧ成分の画素でありながらＧ１画素とＧ２画素の出現回数のどちらかが０となることを避けることができ、パターン状のノイズを抑制することができる。

さらに、着目画素と参照画素が同じラベルである参照画素の数と、異なるラベルである参照画素の数が同等であると、パターン状のノイズの抑制効果が非常に高くなる。さらに、着目画素に近いところから参照画素を選び、かつ、着目画素に対して点対称に参照画素を設定するとより良い効果が得られる。図１１と図１２に、パターン状のノイズの発生を抑える事が可能なパッチ設定の他の例を示す。図１１において、（ａ）は着目画素がＲ１画素の場合、同（ｂ）は着目画素がＧ１画素の場合をそれぞれ示し、着目画素がＢ１画素とＧ２画素の場合については省略している。図１１（ａ）及び（ｂ）において、斜線で示す参照画素は、太枠で示す着目画素とラベルが同じ場合とそうでない場合で２種類存在し、ラベルが同じ参照画素は１３個、ラベルが異なる参照画素は１６個となっている。参照画素数の差は３個で、割合でみると５５％と４５％とほぼ同数であり、この程度であればパターン状のノイズはほぼ目立たない。図１２は、参照画素の数をさらに多くした上で、参照パッチの形状を４×４の矩形領域に包含される場合の例である。図１２において、（ａ）は着目画素がＲ１画素の場合、同（ｂ）は着目画素がＧ１画素の場合をそれぞれ示し、着目画素がＢ１画素とＧ２画素の場合については省略している。図１２（ａ）及び（ｂ）において、斜線で示す参照画素はやはり２種類存在し、ラベルが同じ画素の数は３７個、ラベルが異なる参照画素は３６個となっている。参照画素数の差は１個で、割合にして４９．３％と５０．７％でほぼ同数であり、この場合はパターン状のノイズは発生しない。

なお、本実施例では、１枚のＲＡＷ画像を入力してそのＲＡＷ画像に対してノイズ低減処理を行う場合を例に説明を行ったが、複数のカメラで撮影した或いは単一のカメラで時系列に撮影した複数枚のＲＡＷ画像を入力としてもよい。この場合、複数のＲＡＷ画像の中に参照パッチを設定することになる。この際、Ｇ１画素とＧ２画素のように同じＧ成分の色でありながらラベルが異なる画素についてはそのどちらかしか出現することがないよう、参照パッチが設定される。これは図５及び図６に示したように、参照画素と参照パッチを他のＲＡＷ画像にも設定することで実現できる。また、同一被写体を時系列に撮影した場合のフレーム間での動きを示す動きベクトルに基づいて、異なるＲＡＷ画像間で少しずらして参照画素を設定するようにしても、同様の効果を得ることができる。このとき、ＲＡＷ画像の入力枚数は制限されない。

さらには、画像の一部が欠落していてその穴埋めを行うような処理においても、一部画素のノイズが極端に大きいケースとみなすことで、上述したノイズ低減処理を適用することができる。この場合は、穴埋め領域にパターン状のノイズが発生することを抑制することができる。

以上のとおり本実施例では、参照画素の位置を基準に全ての参照パッチを重ね合わせてみたとき、参照パッチ内の任意の画素位置で、同じＧ成分の色を持つＧ１画素とＧ２画素がいずれも含まれるように着目パッチ、参照画素、参照パッチが設定される。これによりパターン状のノイズの発生を抑制することが可能になる。

実施例１では、パッチベースのノイズ低減処理をソフトウェアで実現する態様を説明した。次に、処理の一部をハードウェアで実現する態様を、実施例２として説明する。なお、実施例１と共通する部分は説明を省略し、以下では差異点を中心に説明するものとする。

図１３は、本実施例に係る、カメラを備えた画像処理装置のハードウェア構成を示すブロック図である。図１３に示した画像処理装置１３００は、撮像センサ１３０１とその制御を行う撮像センサ制御部１３０２、光学系１３０３とその制御を行う光学系制御部１３０４を備えており、撮像機能を有する。ユーザは、操作部１３０８を通じて画像処理装置１３００に指示を行い、当該指示に応じてＣＰＵ１３０５が画像処理装置１３００全般の制御を行う。具体的には、ＲＯＭ１３０７から読み出されたプログラムがＲＡＭ１３０６に展開され、ＣＰＵ１３０５がこれを実行することで画像処理装置１３００が制御される。ユーザが操作部１３０８を介して撮影指示を行った場合、ＣＰＵ１３０５は光学系制御部１３０４と撮像センサ制御部１３０２を通じて光学系１３０３と撮像センサ１３０１を制御して、撮影を行う。撮像センサ１３０１で得られた画像のデータは、バス１３１３経由で前信号処理部１３１０に送られゲイン補正や傷補正などの適用を受ける。本実施例では、この前処理の適用を受けた画像をＲＡＷ画像と呼ぶこととする。ノイズ低減処理部１３１１は、前処理が施されたＲＡＷ画像に対してノイズ低減処理を行う。ノイズ低減処理部１３１１の詳細は後述する。ノイズ低減処理後のＲＡＷ画像は、後信号処理部１３１２に送られる。後信号処理部１３１２は、ノイズ低減後のＲＡＷ画像に対してデモザイクや色変換、符号化などの処理を行う。これら後信号処理が施されたＲＡＷ画像のデータは、外部Ｉ／Ｆ１３０９を通じて、例えばメモリーカード（不図示）などに保存される。

図１４（ａ）は、本実施例に係るノイズ低減処理部１３１１の詳細を示すブロック図である。ノイズ低減処理部１３１１は、画像取得部１４０１、入力画像バッファ１４０２、参照パッチ類似度導出部１４０３、パッチノイズ低減部１４０４、パッチ合成部１４０５、画像出力部１４０６で構成される。以下、各部について説明する。

画像取得部１４０１は、前信号処理部で生成されたＲＡＷ画像のデータを１画素分ずつ取得する。入力画像バッファ１４０２は、画像取得部１４０１で取得した画素データを複数画素分保持するバッファである。パッチ類似度導出部１４０３は、入力画像バッファ１４０２から画素値を読み込み、全ての参照パッチについての類似度を導出する。図１４（ｂ）にパッチ類似度導出部１４０３の詳細を示す。ここで、参照パッチがＮ個あるとすると、図１４（ｂ）に示すように、パッチ類似度導出部１４０３は、参照パッチの数に応じた第１～第Ｎまでの導出処理部１４１０を内部に備える。そして、複数の導出処理部１４１０によって、第１参照パッチ～第Ｎ参照パッチについてのＮ個の類似度を並列で導出する。この場合において、Ｎ個の参照パッチは予め回路実装される。このとき、実施例１と同様、同じＧ成分の色を持つ画素であればラベルに関わらず双方が出現するように（図５、図６、図１１、図１２を参照）設定される。そして、着目画素の位置に応じて参照パッチの形状が変わるようにＮ個の回路の各々において制御される。パッチノイズ低減部１４０４は、パッチ類似度導出部１４０３で導出された類似度に基づいて、類似度が所定値以上の参照パッチ（類似パッチ）それぞれに対してノイズ低減処理を行う。パッチ合成部１４０５は、ノイズ低減された類似パッチを格納する内部バッファ（不図示）を備え、当該内部バッファに保持したノイズ低減後の類似パッチを用いてアグリゲーションを行う。画像出力部１４０６は、アグリゲーションによって出力値が確定した画素のデータを出力する。

続いて、上述した構成のノイズ低減処理部１３１１における具体的な処理の流れについて説明する。図１５は、本実施例に係るノイズ低減処理の流れを示すフローチャートである。以下、図１５のフローに沿って詳しく説明する。

ステップ１５０１では、前信号処理部１３１０で生成されたＲＡＷ画像から着目する１画素分のデータが取得される。続くステップ１５０２では、取得した着目画素のデータが入力画像バッファ１４０２に格納される。入力画像バッファ１４０２に格納された着目画素のデータは、パッチ類似度導出部１４０３とパッチノイズ低減部１４０４に送られる。

ステップ１５０３では、着目画素に対応する着目パッチと第１～第Ｎの各参照パッチとの類似度がそれぞれ導出される。第１～第Ｎまでの導出処理部１４１０それぞれにおける類似度の導出処理は、図１５のフローで示すように並列で実行される。ここで導出される類似度については実施例１で説明したとおりである。

ステップ１５０４では、第１～第Ｎまでの各参照パッチのうち、着目画素との類似度が所定値以上であった参照パッチ（＝類似パッチ）から統計情報が抽出される。そして、ステップ１５０５では、類似パッチそれぞれに対して、抽出された統計情報に基づくノイズ低減処理が実行される。なお、図１５のフローでは明示していないが、本ステップにおけるノイズ低減処理も並列で行われる。

そして、ステップ１５０６では、ＲＡＷ画像内の全ての画素について処理が完了したかどうかが判定される。未処理の画素がある場合はステップ１５０１に戻って次の画素を着目画素に決定して処理が続行される。一方、全ての画素について処理が完了している場合は、ステップ１５０７に進む。

ステップ１５０７では、入力ＲＡＷ画像を構成する各画素について得られたノイズ低減後の類似パッチ群を合成する処理（アグリゲーション）が実行され、ノイズ低減が施されたＲＡＷ画像が得られる。以上が、本実施例に係るノイズ低減処理の流れである。

以上のとおり本実施例では、パターン状のノイズを出さないよう工夫された第１～第Ｎの参照パッチが回路実装されて予め設定される。そして、ノイズ低減処理部がＲＡＷ画像を入力画像バッファに読み込み、パッチ類似度導出部で着目パッチと各参照パッチとの類似度を導出して、ノイズ低減を行う。これにより、実施例１と同様の効果を得ることができる。

実施例１及び２では、撮像センサのカラーフィルタがベイヤー配列である場合において、ノイズ低減処理後のパターン状のノイズ発生を避ける態様を説明した。次に、ベイヤー配列とは異なる配列のカラーフィルタである場合において、ノイズ低減処理後のパターン状のノイズ発生を避ける態様を実施例３として説明する。なお、画像処理装置の基本構成といった先の実施例と共通する部分は説明を省略し、以下では差異点を中心に説明するものとする。

本実施例が前提とする、ベイヤー配列とは異なる配列のカラーフィルタとは、具体的には、以下のような特徴を持つ、周期性を有するカラーフィルタを想定している。
・緑色（Ｇ）、赤色（Ｒ）、青色（Ｂ）の３色からなる最小単位を有している。
・上記最小単位が水平方向及び垂直方向に繰り返して配置される。
・Ｇは、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置される。
・Ｒ又はＢは、カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置される。
・Ｇの比率は、Ｒ又はＢの比率よりも大きい。

図１６（ａ）及び（ｂ）は、上述の特徴を持つカラーフィルタ配列のＲＡＷ画像の一部を拡大した図である。本実施例で前提とするカラーフィルタの配列は、図１６（ａ）に示すように太枠１６０１で示した３×６画素の横長の長方形が繰り返しの最小単位となっている。このとき、破線１６０１’で示されるように太枠１６０１の半分だけずらして繰り返し並べた配置となる。なお、図１６（ａ）に示すカラーフィルタの配列は、図１６（ｂ）に示すように太枠１６０２で示した６×６画素の正方形を繰り返しの最小単位とみることもできる。この場合は、実施例１の図４に示したべイヤー配列と同様、破線１６０２’で示されるように単純な繰り返しであり、図１６（ａ）のようにずらす必要はない。

ここでは図１６（ａ）に示した３×６画素の横長の長方形を最小単位と捉えた場合を例に説明を行う。いま、最小単位である３×６画素の最小単位を構成する１８画素のうち、Ｇ成分を持つ画素は１０画素存在し、それぞれにＧ１～Ｇ１０までのラベルをつける。また、Ｒ成分とＢ成分は４画素ずつ存在し、それぞれＲ１～Ｒ４とＢ１～Ｂ４のラベルをつける。このようなカラーフィルタの配列を持つ撮像センサで撮影されたＲＡＷ画像に対して以下のようにパッチ設定を行って、ノイズ低減処理を行った際のパターン状のノイズ発生を避ける。

まず、着目画素に対する参照画素を、上記３×６画素の最小単位を構成する１８画素をいずれも含むように設定する。このとき、着目画素が可能な限り中央に位置するように設定する。図１７（ａ）は、上記３×６画素を最小単位と捉えたときの、本実施例における着目画素と参照画素の一例を示す図である。例えば着目画素がＧ１画素のとき、斜線で示された６×６画素の範囲内の３６画素が参照画素に設定される。次に、上記のように設定された参照画素のそれぞれを中心とした例えば５×５の矩形領域の中で、着目パッチと色が一致しない位置の画素を排除した領域を、参照パッチとして設定する。図１８は、上記３×６画素を最小単位と捉えたときの参照パッチの一例を示す図である。図１８（ａ）～（ｒ）に示すようなパッチ形状とすることで、パッチ内の各画素でラベル毎の出現回数の偏りが生じないようになる。このように参照パッチの形状が１８種類存在するため、着目パッチの形状もこれらのそれぞれに対応する１８種類が存在することになる。なお、着目画素がＧ２画素～Ｇ１０画素、Ｒ１画素～Ｒ４画素、Ｂ１画素～Ｂ４画素でも同様に参照パッチを設定することができる。本実施例の場合、着目画素１種類につき参照パッチが１８種類となるため、着目画素１８種類×参照パッチ１８種類で合計３２４通りの組合せとなる。本実施例においては、この３２４通りの組合せを事前にプログラムしておき、ノイズ低減処理の開始時にＲＡＭ１０２に読み込む。そして、参照パッチ設定モジュール２０３において、着目画素と参照画素に応じた参照パッチを、ＲＡＭ１０２に読み込まれた組合せに基づいて設定する。

上記のとおり、参照パッチ内の任意の画素位置において、Ｒ１画素～Ｒ４画素、Ｇ１画素～Ｇ１０画素、Ｂ１画素～Ｂ４画素の出現回数を全ての参照パッチでカウントしたとき、その出現回数の差がないようにパッチ設定を行う。これによりパターン状のノイズの発生を避けることが可能である。

なお、図１６（ｂ）に示す６×６画素の正方形を繰り返しの最小単位と捉えた場合には、以下のようになる。まず、図１７（ｂ）に示すように、着目画素と参照画素が設定される。そして、図１９の（ａ’）～（ｒ’）及び図２０の（ｓ）～（ａｊ）に示すように、着目画素１種類につき３６種類の参照パッチを設定することで、パッチ内の各画素でラベル毎の出現回数の偏りが生じないようになる。この場合、参照パッチ内の任意の画素位置において、Ｒ１画素～Ｒ８画素、Ｇ１画素～Ｇ２０画素、Ｂ１画素～Ｂ８画素の出現回数を全ての参照パッチでカウントしたとき、その出現回数の差がないようにパッチ設定を行えばよい。

実施例１～３では、パターン状のノイズ発生を防止するため、参照パッチ内の任意の画素位置において、同じＧ成分の色でありながら異なるラベルが付与された画素の出現回数が偏らないようにパッチ設定を行った。次に、パッチ設定は従来のまま着目パッチと参照パッチとの類似度を導出し、出現回数に偏りを生じさせる参照パッチの一部の画素を類似パッチのノイズ低減処理をする際に排除することでパターン状のノイズ発生を防止する態様を、実施例２として説明する。なお、実施例１と共通する部分は説明を省略し、以下では差異点を中心に説明するものとする。

図２１は、本実施例に係るノイズ低減処理プログラムの詳細を示すブロック図である。 ノイズ低減処理プログラム２００’は、着目画素設定２０１、参照画素設定２０２、参照パッチ設定２０３’、類似パッチ決定２０４、画素選択２１０１、パッチノイズ低減２０５、パッチ合成２０６の各モジュールで構成される。着目画素設定２０１、参照画素設定２０２の各モジュールは実施例１と同じである。両モジュールで設定された着目画素と参照画素に基づき、本実施例の参照パッチ設定モジュール２０３’は、パターン状のノイズが発生し得る従来のパッチ設定（前述の図８及び図９を参照）を行う。そして、類似パッチ決定モジュール２０４は、設定された参照パッチについて着目パッチとの類似度を求め、類似パッチを決定する。類似パッチが決定されると、画素選択モジュール２１０１は、類似パッチを構成している画素のうち出現回数の偏りが小さい画素をノイズ低減処理に使用する画素として選択する。具体的には、例えばベイヤー配列であれば、前記複数の参照パッチを重ねたときに、同じＧ成分の色でありながら異なるラベルが付されたＧ１画素とＧ２画素のいずれもが出現する位置の画素を選択する。パッチノイズ低減モジュール２０５は、画素選択モジュール２１０１で選択された画素群からなる類似パッチに対してノイズ低減処理を実行する。そして、パッチ合成モジュール２０６は、ノイズが低減された類似パッチのアグリゲーションを行う。

ここで、ベイヤー配列の入力ＲＡＷ画像に対して、従来手法によって前述の図８及び図９に示した参照パッチを設定した場合を例に具体的に説明する。この場合、Ｇ１画素とＧ２画素の出現回数は、前述のとおり図１０（ａ）～（ｄ）に示したようになる。図１０（ａ）と図１０（ｄ）から明らかなように、着目画素がＲ１画素とＢ１画素のとき、Ｇ１画素とＧ２画素の出現回数がそれぞれ２５回と０回という組合せとなる画素が存在し、出現回数に大きな偏よりがある。このような類似パッチに対してノイズ低減処理を行うとパターン状のノイズが発生してしまう。そこで本実施例では、着目画素がＲ１画素とＢ１画素の場合には、類似パッチを構成する画素から出現回数に大きな偏りが見られるＧ１画素とＧ２画素を排除する。すなわち、類似パッチの中からＲ１画素とＢ１画素だけを選択したパッチを生成し、これをノイズ低減処理の対象パッチとする。図２２（ａ）～（ｄ）に、図１０（ａ）～（ｄ）の各参照パッチ（類似パッチ）から生成されるノイズ低減対象パッチを示す。着目画素がＧ１画素とＧ２画素のときは、Ｇ１画素とＧ２画素の出現回数に極端な偏りは見られないため、そのままノイズ低減処理に使用する画素とする。このように、Ｇ成分を持つ画素の出現回数に大きな偏りが見られる位置の画素を類似パッチから排除することで、パターン状のノイズの発生を避けることができる。

続いて、上述したモジュール構成のノイズ低減処理プログラム２００’の具体的な処理の流れを説明する。図２３は、本実施例に係るノイズ低減処理の流れを示すフローチャートである。 以下、図２３のフローに沿って詳しく説明する。

ステップ２３０１～ステップ２３０７は、実施例１の図３のフローのステップ３０１～ステップ３０７にそれぞれ対応する。入力画像ＲＡＷ画像が取得されると（ステップ２３０１）、その中から着目画素と複数の参照画素が設定される（ステップ２３０２及び２３０３）。そして、設定された複数の参照画素の中から処理対象とする一つの参照画素が決定されると（ステップ２３０４）、着目画素に対応する着目パッチと処理対象の参照画素に対応する参照パッチが従来手法によって設定される（ステップ２３０５）。そして、設定された参照パッチについて着目パッチとの類似度が導出され（ステップ２３０６）、未処理の参照画素がなくなるまでステップ２３０４以降の処理が繰り返される（ステップ２３０７）。

ステップ２３０８では、ステップ２３０６で導出された類似度に基づいて高類似度の参照パッチ（類似パッチ）が決定され、さらにノイズ低減処理に使用する画素が上述のようにして選択される。こうして、ノイズ低減処理の対象とするパッチ（ノイズ低減対象パッチ）が生成される。そして、ステップ２３０９では、ノイズ低減対象パッチから統計情報が抽出される。

ステップ２３１０では、各ノイズ低減対象パッチに対して、それぞれから抽出された統計情報に基づくノイズ低減処理が実行される。そして、ステップ２３１１では入力ＲＡＷ画像内の全ての画素について処理が完了したかどうかが判定される。未処理の画素がある場合はステップ２３０２に戻って次の画素を着目画素に決定して処理が続行される。一方、全ての画素について処理が完了している場合は、ステップ２２１２に進む。そして、ステップ２３１２では、入力ＲＡＷ画像を構成する各画素について得られたノイズ低減後のパッチ群を合成するアグリゲーションが実行され、ノイズ低減が施されたＲＡＷ画像が得られる。

以上が、ノイズ低減処理プログラム２００’によって実現される、本実施例に係るノイズ低減処理の内容である。なお、本実施例の特徴は、パターン状のノイズが生じ得る可能性が高い、出現回数に大きな偏りのある画素をアグリゲーションまでに取り除く点にある。したがって、アグリゲーションまでにそのような画素を取り除くことができればよく、上述の処理順序に限定されるものではない。例えば、計算量が多くなるものの、類似パッチに対してノイズ低減処理を行った後に、ノイズ低減された類似パッチ群に対して上述した画素の選択を行ってもよい。

以上のとおり本実施例によっても、ＲＡＷ画像に対するノイズ低減処理に伴うパターン状のノイズ発生を防止することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (11)

1. 周期性を有するカラーフィルタ配列に対応する色を画素毎に持つＲＡＷ画像のノイズを低減する画像処理装置であって、
   前記ＲＡＷ画像を構成する画素のうち、着目画素及び当該着目画素についての複数の参照画素を設定する画素設定手段と、
   前記着目画素を基準とした複数の画素で構成される着目パッチ、及び前記複数の参照画素それぞれを基準とした複数の画素で構成される複数の参照パッチを設定するパッチ設定手段と、
   前記着目パッチと前記複数の参照パッチに基づいてノイズ低減処理を行うノイズ低減手段と、
   を備え、
   前記画素設定手段は、１つの着目画素に対して、前記カラーフィルタ配列の最小単位において同色であり位置が異なる少なくとも２種類の画素を前記複数の参照画素として設定し、
   前記パッチ設定手段は、
   １つの着目画素に対して、形状が異なる少なくとも２種類の参照パッチを設定し、
   前記２種類の参照パッチにおける前記２種類の画素に異なるラベルを付けた場合、前記最小単位において、前記異なるラベルが付された前記２種類の画素の出現回数の差が小さくなるように前記参照パッチを設定する、
   ことを特徴とする画像処理装置。
2. 前記ノイズ低減手段は、
   前記複数の参照パッチの中から前記着目パッチとの類似度を導出する手段と、
   導出された類似度が所定の閾値以上の参照パッチを対象にノイズ低減処理を行うパッチノイズ低減手段と、
   前記ノイズ低減処理後の参照パッチを用いてアグリゲーションを行って、ノイズが低減されたＲＡＷ画像を生成する手段と
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記類似度は、各参照パッチを構成する画素の画素値の、差分絶対値の和または差分二乗の和であることを特徴とする請求項２に記載の画像処理装置。
4. 前記ノイズ低減手段は、前記参照パッチの形状の違いに基づいて、前記類似度が所定値以上の参照パッチから統計情報を抽出する手段をさらに備え、
   前記パッチノイズ低減手段は、抽出された前記統計情報に基づいて、各類似パッチに対してノイズ低減処理を行う、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記ノイズ低減手段は、
   ＮＬベイズ法を用いて、前記ノイズ低減処理を行い、
   前記統計情報は前記類似度が所定値以上の参照パッチの平均値もしくは共分散行列であって、当該平均値もしくは当該共分散行列を求める際に、その参照パッチに含まれない画素を使用しない、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記画素設定手段は、前記着目画素に対して点対称に前記参照画素を設定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記周期性を有するカラーフィルタ配列は、ベイヤー配列であることを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
8. 前記周期性を有するカラーフィルタ配列は、
   緑色、赤色、青色の３色からなる最小単位を有し、
   前記最小単位が水平方向及び垂直方向に繰り返して配置され、
   緑色は、前記カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、
   赤色又は青色は、前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、
   緑色の比率は、赤色又は青色の比率よりも大きい
   ことを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
9. 前記カラーフィルタ配列の最小単位における位置が前記着目画素と前記参照画素とで同じである場合、前記参照パッチは、赤色、緑色、青色のすべての色の画素で構成され、
   前記カラーフィルタ配列の最小単位における位置が前記着目画素と前記参照画素とで異なる場合、前記参照パッチは、緑色の画素のみから構成される
   ことを特徴とする請求項７又は８に記載の画像処理装置。
10. 周期性を有するカラーフィルタ配列に対応する色を画素毎に持つＲＡＷ画像のノイズを低減する画像処理方法であって、
    前記ＲＡＷ画像を構成する画素のうち、着目画素及び当該着目画素についての複数の参照画素を設定する画素設定ステップと、
    前記着目画素を基準とした複数の画素で構成される着目パッチ、及び前記複数の参照画素それぞれを基準とした複数の画素で構成される複数の参照パッチを設定するパッチ設定ステップと、
    前記着目パッチと前記複数の参照パッチに基づいてノイズ低減処理を行うノイズ低減ステップと、
    を含み、
    前記画素設定ステップでは、１つの着目画素に対して、前記カラーフィルタ配列の最小単位において同色であり位置が異なる少なくとも２種類の画素を前記複数の参照画素として設定し、
    前記パッチ設定ステップでは、
    １つの着目画素に対して、形状が異なる少なくとも２種類の参照パッチを設定し、
    前記２種類の参照パッチにおける前記２種類の画素に異なるラベルを付けた場合、前記最小単位において、前記異なるラベルが付された前記２種類の画素の出現回数の差が小さくなるように前記参照パッチを設定する、
    ことを特徴とする画像処理方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images