JP6671943B2

JP6671943B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP6671943B2
Application number: JP2015240404A
Authority: JP
Inventors: 敦 ▲高▼濱
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-03-03
Filing date: 2015-12-09
Publication date: 2020-03-25
Anticipated expiration: 2035-12-09
Also published as: JP6957665B2; JP2020091910A; JP2016167253A

Description

本発明は、色ノイズを低減する画像処理技術に関するものである。

デジタルカメラなどの撮像装置によって撮像されたカラー画像データは一般に、明るさを表す輝度信号と、各色成分の色差を表す色差信号とに分離されて画像処理されることが知られている。また近年、デジタルカメラ等の撮像装置には高画質な画像が望まれる。特に近年は、高感度撮影に対する要求が高く、暗所や夜間においても低ノイズの高画質な画像が得られることが望まれている。しかし、暗い場所や夜間のように十分なS／N比が得られない環境下では、色差信号のノイズ（色ノイズ）が低周波のランダムノイズとして表れ、画質が低下してしまう。

この色ノイズを抑制するために、平均化フィルタ、ガウシアンフィルタ等を用いた平滑化処理やメディアンフィルタのような順序統計フィルタを用いた色ノイズ低減処理が従来より行われている。しかしながら、平滑化処理や順序統計フィルタを用いた場合、大きな範囲のノイズ（低周波ノイズ）を十分に低減するためには、フィルタのタップ数を大きく設計する必要があり、回路規模の増大を引き起こしてしまう。この点、入力画像を縮小してからフィルタ処理を行うことで、タップ数を増やさずに同等の効果を得る手法が提案されている（特許文献１を参照）。

特開２０１０−１５７１６３号公報

ところで、入力画像の色ノイズ低減を行う際、エッジ付近に色滲みが発生することがある。例えば、入力画像を縮小してフィルタ処理を行うことで大きな範囲の色ノイズを低減することが可能であるが、縮小画像の拡大によって色領域の境界で色滲みが発生してしまう。また、入力画像を縮小することなく色ノイズ低減する場合でも、大きな範囲の色ノイズ低減によって、やはり境界部分で色滲みが発生しやすくなる。

本発明に係る画像処理装置は、入力画像データにおける注目画素について、当該注目画素を含む複数の画素からなる第１の領域が色の一様な領域か否かを判定する第１の判定手段と、前記注目画素を含む複数の画素からなる前記第１の領域とは異なる第２の領域が、色の一様な領域か否かを判定する第２の判定手段と、前記注目画素に対して、前記注目画素と該注目画素の近傍画素とからなる参照領域を設定する設定手段と、前記参照領域に含まれる画素の画素値に基づいて、前記注目画素の画素値を、ノイズが低減された値に補正する第１の補正手段と、を有し、前記設定手段は、前記第１の判定手段により前記第１の領域が色の一様な領域であると判定された場合、予め用意された所定の複数の画素からなる領域を、前記参照領域として設定し、前記第１の判定手段により前記第１の領域が色の一様な領域ではないと判定された場合、前記第２の判定手段による判定結果に応じた複数の画素からなる領域を、前記参照領域として設定し、前記第２の判定手段での判定に用いられる前記第２の領域とは、複数のサブ領域で構成される領域であり、各サブ領域の形状には指向性があり、各サブ領域を全て組み合わせると等方性があり、前記第２の判定手段は、前記第２の領域としての前記複数のサブ領域で構成される領域における各サブ領域のサイズを段階的に小さくすることにより、前記判定を行なう、ことを特徴とする。

本発明によれば、エッジ付近における色滲みを抑制しつつ色ノイズを低減することが可能になる。

画像処理装置のハードウェア構成の一例を示す図である。（ａ）は実施例１に係る画像処理装置のノイズ低減処理に係る論理構成の一例を示すブロック図であり、（ｂ）は実施例１に係る色ノイズ低減処理部の内部構成を示すブロック図である。（ａ）は第１次領域として設定される５×５画素の等方的領域の一例を示す図であり、（ｂ）は第２次領域として設定されるセット領域の一例を示す図である。セット領域が再設定されていく様子を説明する図である。評価値の具体例である。（ａ）は色判定結果の具体例、（ｂ）は総合値scoreが最小となる領域を求める具体例である。補正パラメータとしての参照領域が設定される様子を示す図である。サブ領域に代えて等方的領域を参照領域として設定する場合の一例を示す図である。評価値が最小のサブ領域とその方向に基づいて、ローパスフィルタを掛けた画素値を導出する具体例を示す図である。実施例１に係る、画素値がどのように補正されるのかを説明する図である。色ノイズ低減処理の流れを示すフローチャートである。実施例２に係る、画素値がどのように補正されるのかを説明する図である。実施例３に係る、画像処理装置のノイズ低減処理に係る論理構成の一例を示すブロック図である。ローパスフィルタ処理に用いるフィルタの一例を示す模式図である。実施例４に係る、色ノイズ低減処理部の内部構成を示すブロック図である。実施例４に係る、色差判定部で設定されるセット領域の一例を示す図である。

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［実施例１］
図１は、本実施例に係る、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、例えばＰＣ等であり、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。そして、汎用Ｉ／Ｆ１０４によって、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリカードなどの外部メモリ１０７をメインバス１０９に接続される。

ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで、以下のような各種処理を実現する。

まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションを起動して、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で取得された画像データ、入力装置１０６からのユーザ指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータが、ＣＰＵ１０１からの指令に基づき演算処理される。演算処理の結果は、モニタ１０８に表示されたり、ＨＤＤ１０３または外部メモリ１０７に格納されたりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

本実施例では、上記のような構成を備える画像処理装置１００に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力して色ノイズを低減した画像データを出力する態様について説明するものとする。

（画像処理装置の論理構成）
図２（ａ）は、本実施例に係る画像処理装置１００のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置１００は、信号変換処理部２０１、色ノイズ低減処理部２０２、輝度ノイズ低減処理部２０３、信号統合処理部２０４とで構成される。

撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力されるカラー画像データの色信号（ＲＧＢ色空間で表される色信号）は、まず信号変換処理部２０１に入力される。ここで、入力されるカラー画像データは、撮像装置１０５において生成される中間画像データでもよい。例えば、撮像素子よって撮像された画像がデジタル化されたオリジナルの画像データであるＲＡＷ画像データや、欠陥画素を補正した欠陥画素補正後のＲＡＷ画像データでもよい。さらには、偽色抑制等の各種補正処理やローパスフィルタ処理がなされた後のＲＡＷ画像データでもよい。ＲＡＷ画像データの色信号を入力する際には、公知のデモザイク技術を用いてＲＧＢ色信号を生成すればよい。また、ベイヤー配列のＲＡＷ画像データであれば、２×２画素（ＲＧＧＢ）を１画素として扱う方法も考えられる。なお、本実施例におけるカラー画像データはＲＧＢ色空間であることを前提に説明を行なうが、これに限らず、例えばL*a*b*色空間に変換した上で実施してもよい。

信号変換処理部２０１は、入力されたカラー画像データのＲＧＢ色信号から、公知の変換式によって、輝度成分（Ｙ）を表す輝度信号と色差成分（Ｃｒ及びＣｂ）を表す色差信号を生成する。ここで、輝度信号のノイズ（以降、輝度ノイズ）の空間周波数と色差信号のノイズ（以降、色ノイズ）の空間周波数は互いに異なり、色差信号のノイズの空間周波数の方が低い。本処理によって、入力されたカラー画像データに係るＲＧＢ色信号からＹＣｒＣｂ色信号を生成することで、輝度成分を表す輝度信号と色差成分を表す色差信号のそれぞれに対して最適なノイズ低減処理を行なうことができる。入力ＲＧＢ色信号と、信号変換処理によって生成されたＹＣｒＣｂ色信号は、色ノイズ低減処理部２０２と輝度ノイズ低減処理部２０３に送られる。

色ノイズ低減処理部２０２は、ＲＧＢ色信号とＹＣｒＣｂ色信号とに基づいて、色差信号のノイズを低減する処理を行なう。色ノイズ低減処理の詳細については後述する。

輝度ノイズ低減処理部２０３は、輝度信号のノイズを低減する処理を行なう。輝度ノイズ低減処理部２０３に対しては、一般的なノイズ低減処理を用いればよい。

信号統合処理部２０４は、色ノイズ低減処理部２０２によって色ノイズが低減された色信号と、輝度ノイズ低減処理部２０３によって輝度ノイズが低減された色信号とを統合する処理を行う。信号統合処理部２０４は、信号統合処理の結果生成される、色ノイズと輝度ノイズの両方が低減されたカラー画像データを出力する。統合後のカラー画像データは、モニタ１０８やＨＤＤ１０３などに出力される。そのほか、例えば汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７、不図示の外部サーバ、プリンタなどに出力しても構わない。

（色ノイズ低減処理部の詳細）
続いて、色ノイズ低減処理部２０２について詳しく説明する。図２（ｂ）は、本実施例に係る色ノイズ低減処理部２０２の内部構成を示すブロック図である。図２（ｂ）に示すように、色ノイズ低減処理部２０２は、領域設定部３０１、評価値導出部３０２、色判定部３０３、補正パラメータ設定部３０４及び色差補正部３０５で構成される。以下、色ノイズ低減処理部２０２の各部について説明する。

＜領域設定部＞
領域設定部３０１は、後述の色判定部３０３での色判定処理の対象となる領域（色判定用領域）を注目画素毎に設定する。この色判定用領域は、入力されたカラー画像データにおける注目画素とその周辺画素の複数の画素によって構成される領域である。そして、この色判定領域は、色差を示す値（色差信号）を補正する処理（以下、色差補正処理）において使用する参照領域を決定する際に、色の境界（色エッジ）を越えて注目画素と異なる色の画素（色の異なる領域）を含まないことが望ましい。一方、色判定用領域は、できるだけ領域に含まれる画素数が多い方がよいが、領域に含まれる画素数が多いほど、注目画素と異なる色の画素を含みやすい。そこで色判定用領域は、２段階で設定される。すなわち、処理開始直後に初期設定される領域（第１次領域）と、当該第１次領域に色エッジを含むと判定される場合に改めて設定される領域（第２次領域）とが存在する。そして、初期設定される第１次領域は、含まれる各画素がほぼ注目画素の色差信号一様となっているか、を判定するための領域であり、注目画素を中心とした方向性のない等方的な領域が設定される。

図３（ａ）は、第１次領域として設定される、５×５画素の等方的領域の一例を示す図である。第１次領域のサイズは固定でもよいし、入力画像のノイズ量に応じたサイズを設定するようにしてもよい。ノイズ量に応じたサイズを設定する際は、ノイズ量の大きい画像に対してはサイズを大きくし、ノイズ量の小さい画像に対してはサイズを小さくするように設定する。具体的には、撮影感度に応じて決定すればよいが、より高精度に行う場合は、例えば、ISO感度や露光時間、温度と、撮像装置のノイズ量との関係を解析し、相互の関係を対応付けたテーブルを用意しておく。そして、ISO感度等の情報を入力値として上記テーブルに基づいてノイズ量を求め、求められたノイズ量に応じたサイズの第１次領域を決定するようにすればよい。

第１次領域に含まれる各画素を表す色差信号が注目画素の色差信号と大きく異なる場合（注目画素とは異なる色の画素が第１次領域内に存在する場合）、色エッジが注目画素の付近に存在することを意味している。そうなると、色の境界を越えて注目画素と異なる色の画素を含まない、できるだけ大きい領域を見つけることが必要になる。そこで、それぞれが指向性を持つ複数の領域の組合せからなり、各領域を合わせると全体としては等方性のあるように構成される複数の領域（以降、セット領域）を第２次領域とする。図３（ｂ）は、セット領域の一例を示す図である。それぞれが指向性を持つ領域の１つ１つを「サブ領域」と呼ぶ。セット領域の条件を、以下の１）〜５）に示す。

１）各サブ領域は空間的連続性がある。
２）各サブ領域の画素数は同じである。
３）注目画素を中心として、各サブ領域の形に指向性がある。
４）注目画素を中心として各サブ領域を全て組み合わせたセット領域全体では等方性がある。
５）各々のサブ領域において注目画素が端に存在する。

上記５つの条件を満たすセット領域に基づいて後述する色判定処理を行なうことで、注目画素の色差信号と同じ値の色差信号が一様な領域であってその画素数が最大となるような様々な形状の領域を見つけ出すことができる。一様とは、領域が、概ね注目画素の色差信号と同じ値の色差信号の画素で構成されていることを示す。そして、見つけ出された領域が最終的に色差補正処理で参照される参照領域として設定されることになる。なお、ここではサブ領域の合計が８個（８方向）の場合を示しているが、これに限定される必要はない。計算量とのトレードオフになるが、可能であればより方向の分解能が大きいセット領域を設定した方が良い。そして、設定されたセット領域の各サブ領域について評価値を導出し、該評価値を基に色判定処理を行なう。その結果、注目画素の色差信号と同じ値の色差信号の画素からなるサブ領域が一つも存在しない場合、画素数を縮小したサブ領域で構成される新たなセット領域が改めて設定される。評価値の導出並びに同一色かどうかの色判定の詳細については後述する。図４は、段階的に少ない画素数のサブ領域（各サブ領域を構成する画素の数を減らした）で構成されるセット領域が再設定されていく様子を説明する図である。図４において、セット領域４００は、それぞれが１２個の画素（注目画素を除く）からなる８つのサブ領域４０１〜４０８で構成されるセット領域であり、最初に第２次領域の候補として設定されるセット領域である。セット領域４１０は、それぞれが９個の画素（注目画素を除く）からなる８つのサブ領域４１１〜４１８で構成されるセット領域である。セット領域４１０は、セット領域４００の中に注目画素の色差信号と同じ値の色差信号の画素からなるサブ領域が一つも存在しない場合に、第２次領域の候補として再設定されるセット領域である。そして、セット領域４２０は、それぞれが３個の画素（注目画素を除く）からなる８つのサブ領域４２１〜４２８で構成されるセット領域である。セット領域４２０は、再設定されたセット領域４１０の中に注目画素の色差信号と同じ値の色差信号の画素からなるサブ領域が一つも存在しない場合に、第２次領域の候補として再々設定されるセット領域である。この場合において、サブ領域の形状が例えばセット領域４２０のように一次元的な形になった段階で、それ以上のセット領域の変更は行わない。なお、セット領域の再設定をどの時点で終わりにするかを、上述したサブ領域の形状を基に決定するのに代えて、各サブ領域を構成する画素数（所定数以下かどうか）によって決定してもよいし、形状と画素数の双方とに基づいて制御してもよい。或いは、再設定の回数（変更回数）で制御してもよい。

＜評価値導出部＞
評価値導出部３０２は、入力されたカラー画像データ中の注目画素に対して、領域設定部３０１で設定された色判定用領域（色判定用領域が複数のサブ領域のセットとして与えられているときは各々のサブ領域について）を用いて評価値を導出する。この評価値は、設定された色判定用領域内に、注目画素の色と異なる色の画素が存在しているかどうかを評価するためのものである。画像データのノイズ量が多い場合、注目画素の色差信号とその周囲の色差信号とを一対一で単純に比較する方法では、注目画素を表す色と周囲の画素の色との差を適切に判定できない。具体的には、本当は色差信号が大きく異なる画素であるにもかかわらず両者の色が同じと判定されたり、本当は色差信号が同じ画素であるのに両者の色が異なると判定されたりすることがある。各画素に対して、異なる色の画素を用いて色ノイズ低減処理をすると、色エッジ付近の画素に色滲みが発生してしまう。そこで本実施例では、注目画素の周辺領域において、注目画素の色と大きく異なる色の画素をできるだけ含まない同一色領域を予め見つけ、当該同一色領域内の画素を参照して注目画素に対し色差補正処理を行う。このような同一色領域を見つける際に、注目画素と参照画素の画素値を一対一で比較して判定していくのではなく、注目画素とその周辺にある複数の画素で構成される領域とを比較した評価値に基づいて判定する。これは、自然画像は滑らかであり、色のエッジ部以外の領域ではある程度同じ色が連続して存在しているという仮定に基づいている。従って複数の画素からなる領域で判定することは、判定精度を向上させる狙いがある。領域の評価値は、例えば以下の式（１）によって求めることができる。

上記式（１）において、Ｎは領域を構成する画素数、ｘ_iは領域を構成する各画素の画素値を表している。また、ｕは注目画素の画素値である。ここで、入力される画像データはカラー画像データなので、評価値はＲＧＢの色毎に導出される。注目画素と参照領域に対して設定される各領域について、対応する画素間における画素値の差分を算出する。領域における画素値の差分を全て合計した値に基づいて評価値が決定される。注目画素の色を基準として注目画素と大きく色が異なる画素が多いほど、評価値が大きくなる。従って評価値が大きいほど、注目画素の色成分からなる同一色領域ではない（色エッジを含む可能性が高い）ことを意味する。また評価値が小さいほど、領域内は色に変化が少なく、一様な色からなる領域であると判定される。特に式（１）によって算出される評価値が小さい表域は、注目画素の画素値を表す色成分と同様の色成分からなる領域であると予測することができる。

図５は、処理対象領域が図４に示すサブ領域４１８（Ｎ＝10）である場合に導出される評価値の具体例を示している。図５の例では、ＲＧＢのそれぞれについて、それぞれ参照符号５０１〜５０３で示される画素値（14bit：0〜16384）を有している。この場合、例えばＧ成分５０２のサブ領域については、参照符号５０４で示されるような演算がなされることになる。Ｒ成分及びＢ成分についても同様の演算がなされ、最終的に参照符号５０５で示される評価値が、ＲＧＢの各成分について導出されることになる。

なお、当然のことながら画像データはデモザイキング前のＲＡＷデータでもよい。その際は、例えばベイヤー配列方式のカラーフィルタで撮像されたＲＡＷデータであれば、Ｇ１とＧ２を平均した信号をＧとみなしてもよい。

また、評価値を求める式は、上記式（１）に限定されるものではなく、例えば以下の式（２）を用いて得られる値を評価値としてもよい。

以上のように、領域が、注目画素の色成分からなる同一色領域であるかどうかを評価するための評価値は、注目画素の画素値と所定の領域内の画素値との差分に基づいて決定するものであればよい。そのため評価値は、上記式（１）や式（２）によって得られる値に限定されない。例えば、領域内の画素値の平均値との差分を評価値としてもよい。導出された評価値は、次の色判定処理で用いるため、ＲＡＭ１０２に記憶される。

＜色判定部＞
色判定部３０３は、評価値導出部３０２で導出された評価値に基づいて、領域設定部３０１で設定された領域（第１次領域又は第２次領域）が注目画素の色差信号と同じ値の色差信号の画素からなる領域であるかどうかを判定する色判定処理を行なう。色判定用領域が第２次領域（複数のサブ領域のセット）であるときは、サブ領域毎に条件を満たしているかの判定がなされることになる。例えば、評価値が上記式（１）を用いて導出された場合におけるＲＧＢそれぞれの評価値をσ^’2 _R、σ^’2 _G、σ^’2 _B、とするとき、以下の式（３）で示す条件を満足するとき、当該領域は同一色領域であると判定されることになる。

上記式（３）において、∧は論理積（AND）を表し（以下、同じ）、thは以下の式（４）を満足する所定の閾値である。つまりＲＧＢ全ての色成分について、評価値が所定の閾値以下であると判定された場合、その領域が注目画素とほぼ同じ色であり、異なる色領域を含んでいないと判定することを意味している。

上記式（４）において、ｕは注目画素の画素値、ｃは係数、offsetは定数である。ここで係数ｃは、画像データのノイズ量に応じて変更するのが好ましい。例えば、ノイズ量が小さいときは小さく、ノイズ量が大きいときは大きい値の係数ｃが設定されるように、予め撮像装置の撮影感度等に応じ係数ｃを設定しておく。本実施例では、この係数ｃはＲＧＢで共通の値を設定しておく。しかしながら色毎に異なる係数ｃを設定してもよい。例えばＧに対応する係数ｃを他の２色に対応する係数ｃよりも小さい値に設定する。全ての色成分に対して一律に小さい係数ｃを用いると、条件式（３）を満たす画素が少なくなり、色ノイズ低減処理効果が弱くなってしまう。そこで、他の２色に比べて、Ｓ／Ｎ比が良い色成分Ｇの条件を厳しく設定することで、より精度の高い評価値を算出することができ、効果的に色ノイズ低減処理を実現することもできる。また、定数offsetは暗部のノイズ量に基づいて決定することが好ましい。例えば、暗部のノイズ量が少ないときは小さい値、暗部のノイズ量が多いときは大きい値のoffsetが設定されるように、予め撮像装置の撮影条件等に応じて設定しておく。定数offsetは使用しなくても（すなわち、offset＝０でも）よいが、特に高感度長秒露光撮影時のような暗部のノイズ量が多いときに、offsetの値を適切に設定することによって、より精度の高い色判定結果を得ることができるようになる。

図６（ａ）は、図５で示した評価値の具体例に基づき、上記式（３）を用いて色判定を行なった結果を示している。図６（ａ）の例では、各注目画素の画素値（R:3361,G:3394,B:3244）、係数ｃ＝15の場合において、閾値thが参照符号６０１のようにそれぞれ与えられる。参照符号５０５で示されたＲＧＢそれぞれの評価値（σ^’2 _R:66407,σ^’2 _G:21140,σ^’2 _B:,235656）は、上記式（３）に代入される。その結果、参照符号６０２で示す判定結果（条件を満足しない＝注目画素と同じ色からなる領域ではない）が得られることになる。

なお、評価値を式（２）で導出した場合の判定式は、以下の式（５）のようになる。

そして、上記式（５）におけるth’は以下の式（６）で定義される。

色判定用領域が第２次領域の場合、セット領域に含まれる複数のサブ領域のうち少なくとも１つ以上のサブ領域において式（３）や式（５）の判定条件を満たしたとき、判定条件を満たしたサブ領域のうち評価値が最小のサブ領域とその方向を見つける。そのために、判定条件を満たしたサブ領域に対し、さらに各色の評価値の総合値scoreを求める。総合値scoreは、評価値を式（１）で導出した場合には以下の式（７）を用いて、評価値を式（２）で導出した場合には以下の式（８）を用いて求められる。

そして、求めた総合値scoreが最小となる領域が、以下の式（９）を用いて求められる。

上記式（９）においてＳは、式（３）や式（５）の判定条件を満たした各領域の総合値scoreの集合である。

図６（ｂ）は、総合値scoreが最小となる領域を求める様子を示している。図６（ｂ）の例では、右上方向の指向性を持つサブ領域６０４と右方向の指向性を持つサブ領域６０５の２つの領域が注目画素と同一色の領域であると判定される。同一色領域と判定されたサブ領域のうち総合値scoreの値が小さい右上方向のサブ領域６０４が、最小の評価値であるサブ領域として求められている。

上述のようにして得られた色判定処理の結果は、次の補正パラメータ設定部３０４で用いるため、ＲＡＭ１０２に記憶される。

＜補正パラメータ設定部＞
補正パラメータ設定部３０４は、色ノイズを低減するための色差を補正する処理（色差補正処理）で使用するパラメータの設定を行う。本実施例における補正パラメータは、注目画素についての色差補正処理で用いる参照領域の情報である。補正パラメータ設定部３０４は、色判定部３０３で判定条件を満たした領域を、注目画素についての色差補正処理で用いる参照領域として決定する。図７は、色判定用領域として第２次領域（セット領域）が設定された場合における、補正パラメータとしての参照領域が設定される様子を示す図である。図７の例では、図４で示したセット領域４１０の８つのサブ領域４１１〜４１８のうち、丸で囲んだサブ領域４１３、４１６及び４１７が判定条件を満たす。その結果、これら３つのサブ領域全てを使用するような参照領域７００が補正パラメータとして設定されることを示している。なお、図７の例では、サブ領域４１６とサブ領域４１７との間で、斜線で示した２つの画素７０１と黒の矩形で示す注目画素の計３画素が重複している。この様に画素が重複している場合、各サブ領域の和集合を取って参照領域としてもよいし、重なっている数だけ参照領域が存在しているとみなしてもよい。後者の場合、色差補正処理において、重なっている画素の重みが大きくなることを意味する。

また、色判定用領域として設定された第１次領域（等方的領域）が判定条件を満たした場合、本実施例では、当該第１次領域をそのまま参照領域として設定する。ただし、第１次領域とは異なる領域を設定してもよい。これは、既に周囲に色エッジがないと判定された画素については、第１次領域を用いたノイズ低減処理はもちろん、異なる領域を用いたノイズ低減処理や他のノイズ低減処理であっても、ノイズ低減効果を得られることが予測されるためである。従って第１次領域による色判定において、周囲に色エッジがないと判定された画素については、処理速度や回路コストを考慮したノイズ低減処理を設計すればよい。

なお本実施例において、第２次領域を対象とする色判定処理の結果、判定条件を満足するサブ領域がないことや、判定条件を満足するサブ領域の画素数の総和が一定数（例えば５画素）以下であることも起こり得る。この場合は、注目画素を中心とした等方的かつ、第１次領域と同等以上の広範な領域を、参照領域として設定する。ノイズ低減処理に用いる参照領域を、少ない画素数で構成するとノイズ低減効果があまり得られないことが知られている。そこで、ここでは、第１次領域における色判定処理でも第２次領域における色判定処理でも、参照領域に適切な領域を見つけられない場合、より多くの画素数を用いたノイズ低減処理を実行することで、ノイズ低減効果を優先する。
図８は、判定条件を満足する領域がサブ領域４２８のみであって、その画素数の総和が一定数である５画素以下の４画素であったために、サブ領域４２８に代えて５×５画素の等方的領域８００を参照領域として設定した一例を示している。なお、この際に、色差補正処理の内容についても変更するようにしてもよい。色差補正処理の内容を変更する態様については、実施例２で説明するものとする。

上述のようにして設定された補正パラメータ（注目画素毎の参照領域の情報）は、次の色差補正部３０５で用いるため、ＲＡＭ１０２に記憶される。

＜色差補正部＞
色差補正部３０５は、入力されたカラー画像データに対し、設定された補正パラメータに基づいて、色ノイズが低減するように色差を示す値を補正する処理を行なう。本実施例の場合、設定された参照領域が第１次領域である場合と、第２次領域である場合とでは色差補正処理の内容を異ならせている。

まず、参照領域が第２次領域（セット領域）である場合について説明する。参照領域が第２次領域である場合は、注目画素における色差を示す信号Ｃｒ、Ｃｂを、以下の式（１０）及び式（１１）を用いて補正する。

上記式（１０）及び式（１１）において、Ｃr[i]とＣb[i]は注目画素に対する参照領域内で以下の式（１２）を満たす画素を表している。Ｍは、注目画素に対する参照領域において以下の式（１２）を満たす画素数である。なお、注目画素自身は必ず含まれるので、Ｍ≧１となる。

上記式（１２）において、Ｔｈ_Yは輝度に対する閾値、Ｔｈ_Crは色差Ｃｒに対する閾値、Ｔｈ_Cbは色差Ｃｂに対する閾値をそれぞれ表している。そして、Ｙ_diff、Ｃｒ_diff、Ｃｂ_diffは参照領域内の各画素値と比較する画素値との差を表し、それぞれ以下の式（１３）〜式（１５）で表される。ただし、注目画素が無彩色のときは、上記式（１２）における輝度Ｙについては考慮しなくてもよい。

上記式（１３）〜式（１５）において、比較する画素値Ｙ_Comp、Ｃｒ_Comp、Ｃｂ_Compは注目画素の画素値を用いればよい。しかし、ノイズにより注目画素の画素値が真値と大きく異なっているとき、適切な画素を足し込めなかったり、大きなバイアスが発生してしまう。そこで、注目画素およびその近傍画素に対して、色判定部３０３が求めた評価値が最小のサブ領域の方向にローパスフィルタを掛けた結果を注目画素の画素値としてもよい。あるいは、注目画素と色判定部３０３が求めた評価値が最小のサブ領域に含まれる注目画素以外の１つ以上の近傍画素それぞれの画素値を平均化した結果を、注目画素の画素値としてもよい。

ここで、図９及び図１０を参照して、色差補正処理の具体例を説明する。まず、図９は、評価値が最小のサブ領域とその方向に基づいて、ローパスフィルタを用いて算出した値（比較する画素値）を導出する具体例を示している。図９の例では、条件を満たす５個のサブ領域のうち、score＝19855の上方向の指向性を持つサブ領域９０１が、評価値が最小のサブ領域となる。その結果、上方向に指向性を持つサブ領域９０１に対し、参照符号９０２〜９０４で示す画素値（14bit：0〜16384）を持つ画像データにおける注目画素とその上方向に隣接する近傍２画素を用いてローパスフィルタが掛けられる。ローパスフィルタを用いた演算の結果、参照符号９０５で示す比較する画素値（Ｙ_Comp：3383,Ｃｒ_Comp：11,Ｃｂ_Comp：-2）が算出されている。

そして、図１０は、上述の式（１０）〜式（１２）によって、画素値がどのように補正されるのかを説明する図である。なお、ここでは説明の簡単化のため、上方向の指向性を持つサブ領域９０１のみが条件を満たした領域（注目画素と同じ色の領域）と判定され、当該領域のみが参照領域に設定されたものとして説明を行なう。そして、図９で示した参照符号９０２〜９０４で示す画素値（14bit：0〜16384）を持つ画像データを補正対象とし、その際の参照領域を太枠で示した領域とする。

ここで、参照符号１００１〜１００３で示すＹ_diff、Ｃｒ_diff、Ｃｂ_diffが、図９の参照符号９０５で示す比較する画素値（Ｙ_Comp：3383,Ｃｒ_Comp：11,Ｃｂ_Comp：-2）を用いて、まず導出される。そして、導出されたＹ_diff、Ｃｒ_diff、Ｃｂ_diffを用いて、上記式（１２）への当て嵌めがなされ、参照符号１００４で示す、値“1”を持つ全９画素が、上記式（１０）及び式（１１）における平均化に使用する画素と決定される。そして、最終的には参照符号１００５で示す、注目画素における色差を示す値Ｃｒ、Ｃｂの補正値（Ｃｒ_result：8,Ｃｂ_result：-51）が導出されることになる。

なお、本実施例ではローパスフィルタを用いた例を説明したが、これと同様の効果があれば、その重み付けや使用する隣接画素の数は自由に決定してよい。もちろん、参照領域内の画素の平均値を利用してもよい。なお、人間が緑色光を最も明るく感じるという比視感度特性を有することから、輝度Ｙの代わりにＧ成分を簡易輝度として扱ってもよい。したがって、色差を示す値Ｃｒ（Ｃｂ）は、Ｒ成分−Ｇ成分（Ｂ成分−Ｇ成分）で求めてもよい。

次に、参照領域が第１次領域（単独の等方的領域）である場合について説明する。参照領域が第１次領域である場合は、色差補正処理として、例えば平均化フィルタを用いた平滑化処理（smoothing）を注目画素に対して行なう。

上述のようにして色ノイズが低減されたカラー画像データは信号統合処理部２０４に送られ、別途輝度ノイズの低減処理がなされたカラー画像データと統合される。

（色ノイズ低減処理フロー）
続いて、色ノイズ低減処理部２０２おける処理の流れについて説明する。図１１は、色ノイズ低減処理の流れを示すフローチャートである。この一連の処理は、ＣＰＵ１０１が、ＨＤＤ１３０に格納されているプログラムをＲＡＭ１０２にロードし、実行することで実現される。

ステップ１１０１では、入力されたカラー画像データから注目画素が決定される。

ステップ１１０２において、領域設定部３０１は、決定された注目画素についての色判定用領域として、当該注目画素を含む等方的領域（第１次領域）を設定する。

ステップ１１０３において、評価値導出部３０２は、設定された色判定用領域（第１次領域）についての評価値を導出する。

ステップ１１０４において、色判定部３０３は、設定された色判定用領域（第１次領域）について導出された評価値に基づき、当該第１次領域内の各画素の色差信号が注目画素の色差信号と同じ値であるかを判定する。判定の結果、第１次領域内の各画素の色差信号が注目画素の色差信号と同じ値である場合は、ステップ１１１２に進む。一方、第１次領域内に、注目画素の色差信号と異なる値の色差信号の画素がある場合は、ステップ１１０５に進む。

ステップ１１０５において、領域設定部３０１は、各サブ領域が指向性を持ち、全体では等方性のあるサブ領域の組合せ（セット領域）を色判定用領域として設定する。この際、設定されるセット領域を構成するサブ領域の大きさは、前回設定時のサブ領域よりも小さくなるように設定される。

ステップ１１０６において、評価値導出部３０２は、設定された色判定用領域についての評価値を導出する。上述のとおり、セット領域は複数のサブ領域から構成されるため、評価値は各々のサブ領域に対してＲＧＢ色毎に導出される。

ステップ１１０７において、色判定部３０３は、ステップ１１０６で導出された各サブ領域についての評価値に基づいて、いずれかのサブ領域が、注目画素の色差信号の値と同じ値の色差信号を持つ画素で構成されるサブ領域があるかを判定する。判定の結果、いずれかのサブ領域が、注目画素の色差信号と同じ値の色差信号を持つ画素で構成されるサブ領域である場合は、ステップ１１０９に進む。一方、いずれのサブ領域についても、注目画素の色差信号の値と同じ値の色差信号を持つ画素で構成されるサブ領域ではない場合は、ステップ１１０８に進む。

ステップ１１０８において、領域設定部３０１は、第２次領域であるセット領域の再設定が可能であるかを判定する。本実施例では、現在設定されているセット領域を構成する各サブ領域が一次元的な領域であるかを判定し、サブ領域が一次元的な領域であれば、それ以上のサブ領域のセットの設定はできないということになる。この判定条件は、色ノイズ低減処理で用いる参照領域をどのような形まで許容するかということを意味している。上述したような、各サブ領域が一次元的な領域であるかどうかといった条件の他、例えばサブ領域を構成する画素数を条件としてもよい。入力画像データのノイズ量及び縮小倍率によってより適した条件は変わり得る。判定の結果、第２次領域であるセット領域の再設定が可能である場合はステップ１１０５に戻って、サブ領域のサイズを１段階小さくしたセット領域を設定し、処理を続行する。一方、第２次領域であるセット領域の再設定がこれ以上可能でない場合は、ステップ１１１２に進む。

ステップ１１０９において、色判定部３０３は、参照領域として設定されたサブ領域の中で評価値が最小のサブ領域とその方向を探索する。これにより、後述の色補正処理（ステップ１１１１）において、最適な色差の補正を実現できる。

ステップ１１１０において、補正パラメータ設定部３０４は、色差補正処理におけるパラメータとして、現在の注目画素についての参照領域を、注目画素と色が同じと判定された全てのサブ領域を用いた領域に設定する。すなわち、サブ領域を構成する各画素の色差信号の値が注目画素の色差信号の値と同じであると判定された全てのサブ領域を、現在の注目画素についての参照領域として設定する。

ステップ１１１１において、色差補正部３０５は、ステップ１１０９で求められた評価値が最小のサブ領域の情報、及びステップ１１１０で設定された補正パラメータとしての参照領域に基づいて、色ノイズが低減するように注目画素の画素値を補正する。

ステップ１１１２において、補正パラメータ設定部３０４は、色差補正処理における補正パラメータとして、現在の注目画素についての参照領域を、所定の等方的領域に設定する。

ステップ１１１３において、色差補正部３０５は、ステップ１１１２で設定された補正パラメータとしての参照領域に基づいて、色差補正処理として例えば一般的な平滑化処理を行って、注目画素の画素値を補正する。

ステップ１１１４では、入力されたカラー画像データについての処理が完了したかどうかが判定される。判定の結果、未処理の画素があれば、ステップ１１０１に戻って次の画素を注目画素に決定し、処理を続行する。一方、入力されたカラー画像データについての処理が完了していれば、本処理を終える。

以上が、色ノイズ低減処理部２０２における処理の流れである。

なお、第１次領域についての色判定に関しては、例えば色のベタ部を判定するような別の方法を用いてもよい。この場合、画像データに対して一般的なエッジ強度を抽出するフィルタを用いてフィルタ処理をした後、第１次領域に含まれる各画素のエッジ強度を参照する。第１次領域に含まれる画素のエッジ強度が所定値未満（平坦部）である場合は、第１次領域は注目画素の色とほぼ同じ色の画素のみからなると判定し、ステップ１１１２に進む。また第１次領域に含まれる画素のエッジ強度が所定値以上である場合は、第１次領域には色エッジを含むためステップ１１０５に進むようにすればよい。

本実施例によれば、着目する各画素に対して注目画素と異なる色の領域が混ざらないようなより適切な領域を設定でき、設定された最適な領域内の画素のみを利用して色差を補正する処理を実現できる。これにより、エッジ付近でも色滲みを発生させずに色ノイズを低減することができる。

［実施例２］
次に、補正パラメータ設定部３０４において、注目画素の色差補正処理で使用する参照領域に加え、色差補正処理自体の内容を、補正パラメータとして設定する態様について実施例２として説明する。なお、補正パラメータ設定部３０４で設定される補正パラメータの内容以外については実施例１と異なるところはないので、以下では差異点についてのみ説明するものとする。

本実施例に係る補正パラメータ設定部３０４においても、色判定部３０３の判定結果に基づいて、色判定条件を満たした領域が、原則として注目画素に対する参照領域として設定される。ただし、色判定条件を満たしたサブ領域がなかった場合や、色判定条件を満たしたサブ領域の画素数が一定数以下だった場合に、参照領域としての所定の等方的領域を設定する。さらに、以下の式（１６）及び式（１７）で表される特定の色差補正処理の内容を、補正パラメータとして設定する。

上記式（１６）及び式（１７）において、Ｃr(i, j)、Ｃb(i, j)は注目画素の位置を基準座標（i＝0, j=0）としたときの相対的な位置にある画素の色差を示している。また、ｋ(i, j)はフィルタ係数であり、各位置の数値は予め定めておく。Ｄｅｖはフィルタ係数ｋ(i, j)の数値の総和である。例えばｋ(0, 0)=1, ｋ(i, j)=0 (i≠0, j≠0)と設定すれば、注目画素の色差を示す値は補正されず元の結果が出力されることになる。

図１２は、本実施例に係る、上述の式（１６）及び式（１７）を用いて画素値がどのように補正されるのかを説明する図である。図１２の例では、i及びjがそれぞれ2〜-2の範囲の値をとる、注目画素を中心とした５×５画素の等方的領域を参照領域としている。いま、補正対象となるのはＣｒの値が「-33」でＣｂの値が「-150」の注目画素であり、Ｄｅｖの値は74である。そして、注目画素の画素値及び参照領域内の各画素値を用いて、上記式（１６）及び式（１７）に従って、参照符号１２０１で示す、注目画素における色差を示す値Ｃｒ、Ｃｂの補正値（Ｃｒ_result：5,Ｃｂ_result：-36）が導出される。ここでは参照領域としての等方的領域のサイズが５×５画素の例を示したが、サイズはこれに限られない。また、当然のことながら、補正パラメータとして設定される、注目画素に対して適用する式も上述の式（１６）及び式（１７）に限定されるものではない。

[実施例３]
次に、入力されたカラー画像データから解像度の異なる複数の画像データを生成し、各画像データに対してノイズ低減処理を行って得られた処理結果を合成し、最終的なノイズ低減後のカラー画像データを出力する様態について実施例３として説明する。なお、画像処理装置のハードウェア構成など基本的な部分は実施例１及び２と共通するので、以下では差異点、すなわち、解像度の異なる複数の画像データの生成処理とノイズ低減処理された各画像データの合成処理を中心に説明するものとする。

（本実施例の前提）
周波数帯域毎にノイズ低減処理を施すことにより、各周波数帯域に応じたノイズ成分を適切に除去することが可能である。これを実現するためには、入力画像データに対して多重解像度変換を行なって帯域制限画像データを生成し、各解像度の画像データに対してノイズ低減処理を行ない、ノイズが低減された後の各解像度の画像データを逆多重解像度変換して合成すればよい。なお、逆多重解像度変換は、多重解像度変換に対応するものであり、当然のことながら逆多重解像度変換を施すことにより、元の信号を復元（可逆／非可逆のいずれでもよい）することができる。多重解像度変換によって帯域制限画像データを生成する際には、ラプラシアンピラミッド分解やウェーブレット変換によって複数の周波数帯域毎の周波数応答特性を表す信号に変換する方法等を用いることができる。そして、逆多重解像度変換を行なう際には、ラプラシアンピラミッド分解により帯域制限画像データを得た場合にはラプラシアンピラミッド再構成の方法を用い、ウェーブレット変換により帯域制限画像データを得た場合には逆ウェーブレット変換を用いればよい。

また、入力画像データの解像度縮小は、ハードウェアで設計できるフィルタタップ数に制約がある際に、同じフィルタタップ数のノイズ低減処理であっても、より低周波ノイズに対してノイズ抑圧効果が得られる。そのため、特に色成分のノイズに対して有効な手法である。

上記の事実を踏まえ本実施例では、まず多重解像度変換によって解像度の異なる複数の画像データを生成し、各画像データに対してノイズ低減処理を行う。そして、ノイズが低減された後の解像度毎の画像データを逆多重解像度変換によって合成することで最終的なノイズ低減後のカラー画像データを出力するものである。

（画像処理装置の論理構成）
図１３は、本実施例に係る画像処理装置１３００のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置１３００は、多重解像度画像生成部１３０１、信号変換処理部１３０２、色ノイズ低減処理部１３０３、輝度ノイズ低減処理部１３０４、合成処理部１３０５、信号統合処理部１３０６とで構成される。

撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力されるカラー画像データの色信号（ＲＧＢ色空間で表される色信号）は、まず多重解像度画像生成部１３０１に入力される。

多重解像度画像生成部１３０１は、入力されたカラー画像データから解像度の異なる複数の画像データを生成する。具体的には、上述の多重解像度変換を行なって、１／２倍、１／４倍、・・・といった具合に解像度（周波数帯域）の異なる縮小画像データを生成する。以下、多重解像度変換によって生成した解像度の異なる複数の画像群を「多重解像度画像」と呼ぶ。この多重解像度画像には、元の解像度（１／１倍）の画像を含むものとする。多重解像度画像データの生成には、上述のとおりラプラシアンピラミッド分解やウェーブレット変換を用いればよい。或いは、間引き処理や公知の縮小アルゴリズムを用いてもよい。ただし、一般に画像データを縮小する際、ローパスフィルタ処理を行わないと折り返し雑音が発生してしまい、その折り返し雑音のパターンが最終的に出力される補正画像データに現れてしまう。したがって、縮小の際には、例えば平均画素法やその他のローパスフィルタ処理を含んだアルゴリズムを用いたり、事前にローパスフィルタ処理を行った上で、バイリニア法などを適用するのがよい。この場合においてローパスフィルタ処理に用いるフィルタは縮小倍率に基づいて決定される。図１４は、縮小倍率が１／２倍のときに用いるフィルタの一例である。なお、フィルタの大きさや係数は図１４の例に限られない。

信号変換処理部１３０２は、実施例１の信号変換処理部２０１と基本的に同じである。入力された多重解像度のカラー画像データのＲＧＢ色信号から、公知の変換式によって、解像度の異なる画像毎に輝度成分（Ｙ）を表す輝度信号と色差成分（Ｃｒ及びＣｂ）を表す色差信号を生成する。入力ＲＧＢ色信号と、信号変換処理によって生成された解像度毎のＹＣｒＣｂ色信号は、色ノイズ低減処理部１３０３と輝度ノイズ低減処理部１３０４に送られる。

色ノイズ低減処理部１３０３は、各解像度のＲＧＢ色信号とＹＣｒＣｂ色信号とに基づいて、解像度毎に色差信号のノイズを低減する処理を行なう。色ノイズ低減処理の詳細については実施例１で述べた通りである。

輝度ノイズ低減処理部１３０４は、解像度毎に輝度信号のノイズを低減する処理を行なう。輝度ノイズ低減処理には、一般的なノイズ低減処理を用いればよい。

合成処理部１３０５は、解像度毎の色ノイズ低減後の色信号と、解像度毎の輝度ノイズ低減後の色信号とについて、それぞれ元の解像度の画像になるように拡大して合成し、色ノイズが低減された色信号と輝度ノイズが低減された色信号とを出力する。合成処理の詳細については後述する。

信号統合処理部１３０６は、合成処理部１３０５から出力された２種類の色信号（色ノイズが低減された色信号と輝度ノイズが低減された色信号）を統合し、色ノイズと輝度ノイズの両方が低減されたカラー画像データを出力する。統合後のカラー画像データは、モニタ１０８やＨＤＤ１０３などに出力される。そのほか、例えば汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７、不図示の外部サーバ、プリンタなどに出力しても構わない。

（合成処理の詳細）
続いて、合成処理部１３０５における合成処理（色ノイズ低減後の色信号と輝度ノイズ低減後の色信号のそれぞれについて元の解像度の画像になるように拡大して合成する処理）について詳しく説明する。この合成処理では、下階層の色信号を拡大した色信号と、上階層の色信号とを合成比率（α値）に基づいて合成するアルファブレンディングと呼ばれる手法が用いられる。まず、このアルファブレンディングを解像度の最も小さい画像（最下位階層の画像）から開始する。そして、アルファブレンディングによって得られた合成後の色信号をその上位階層に該当する解像度と同じ解像度にまで拡大し、当該拡大によって得られた色信号と、当該上位階層の色信号とを合成比率に基づいてさらにアルファブレンディングする。このような処理を最上位階層の画像（１／１倍の画像）に到達するまで繰り返す。この際の拡大には、例えばバイリニア法、ニアレストネイバー法、バイキュービック法、Lanczos法などを用いればよい。なお、ラプラシアンピラミッド分解、ウェーブレット変換により多重解像度画像データを生成した場合には、それぞれラプラシアンピラミッド再構成の方法、逆ウェーブレット変換を用いて逆多重解像度変換を行えばよい。なお、アルファブレンディングは、下位階層側の色信号値をＩ_down、上位階層側の色信号値をＩ_up、合成比率をu、合成後の色信号値をＩ_postとしたとき、以下の式（１８）で表される。

ここで、合成比率uは、上位階層側をどれだけ使用するかを表しており、色信号の急峻な変化の度合いに応じて決定される。一例として、注目画素の輝度Ｙ、色差ｃｒ、ｃｂを入力としたエッジ検出を行なうことで合成比率を求める手法について説明する。この手法では、例えばフィルタ係数[−１, ２, −１]を有する空間フィルタを用いる。このような空間フィルタを水平方向及び垂直方向に適用した結果のうち、輝度エッジや色エッジの度合いが高いと考えられる方の結果を、予め定めた関数によって０〜１の間の係数Ｋにマッピングする。輝度エッジ、色エッジの度合いが高いと考えられるフィルタ適用結果ほど１に近く、その度合いが低いと考えられるフィルタ適用結果ほど０に近い値の係数Ｋが出力される。この係数Ｋが合成比率となる。なお、エッジ検出には輝度信号、色差信号のいずれか一方を用いてもよいし、両方を用いてもよい。上述したフィルタ係数や合成比率の決定方法は一例であり、これに限定されるものではない。輝度エッジ、色エッジの度合いが高いと考えられるときに合成比率を大きく、その度合いが低いと考えられるときに合成比率を小さくできれば、どのように決定してもよい。また、色ノイズ低減後の色信号と輝度ノイズ低減後の色信号のそれぞれについて、合成比率を別々の方法で決定して適用してもよいし、両者に同じ合成比率を用いてもよい。

本実施例によれば、周波数帯域に応じたノイズ成分を適切に除去することができる。また、同じフィルタタップ数のノイズ低減処理であっても、より低周波のノイズに対してノイズ抑圧効果を得ることが可能となる。

[実施例４]
実施例１〜３では、着目する各画素に対して注目画素と異なる色の領域が混ざらないような適切な領域を設定し、当該設定した領域内の画素を利用して色差を補正する処理を行っている。これにより、エッジ付近でも色滲みを発生させずに色ノイズを低減するようにしていた。

しかしながら、高感度撮影時においてはノイズが非常に多いため、特に高コントラストエッジ部で、設定された領域内にノイズ低減に使用可能な画素が十分に存在しない場合がある。こうなると、色ノイズが十分に低減されずに残留してしまうことになる。そこで、高コントラストエッジ部については別のノイズ低減手法を適用して置き換えることで高コントラストエッジ部の残留ノイズを低減する様態について、実施例４として説明する。

なお、画像処理装置のハードウェア構成など基本的な部分は実施例１と共通するので、以下では差異点である色ノイズ低減処理の内容を中心に説明するものとする。

（色ノイズ低減処理の詳細）
図１５は、本実施例に係る、色ノイズ低減処理部２０２’の内部構成を示すブロック図である。図１５に示す色ノイズ低減処理部２０２’は、実施例１の色ノイズ低減処理部２０２と比較すると、以下に示す特有の処理部を有している。具体的には、縮小処理部１５０１、色差判定部１５０２、拡大処理部１５０３、高コントラストエッジ判定部１５０４、第二補正パラメータ設定部１５０５、第二色差補正部１５０６、合成処理部１５０７を有している。領域設定部３０１、評価値導出部３０２及び色判定部３０３、補正パラメータ設定部３０４及び色差補正部３０５は、実施例１の図２（ｂ）で示した各処理部と共通である。以下、本実施例に特有の処理部について説明する。

＜縮小処理部＞
縮小処理部１５０１は、入力されたカラー画像データのＲＧＢ色信号を所定の縮小率（例えば１／２倍）の解像度に縮小し、公知の変換式によって、色差成分（Ｃｒ及びＣｂ）を表す色差信号を生成する。或いは、信号変換処理部２０１で変換した色差信号ＣｒＣｂを、直接所定の縮小率の解像度に縮小してもよい。この際の縮小処理には実施例３で示した手法を用いればよい。なお、縮小処理の目的は、ノイズを低減して判定精度を向上させることである。従って所定の縮小率はこの目的が達成可能なものであればよく、必ずしも１／２倍である必要はない。また、縮小処理の代わりにノイズ低減処理を適用してもよい。縮小処理の結果は、次の色差判定処理で用いるため、ＲＡＭ１０２に記憶される。

＜色差判定部＞
色差判定部１５０２は、注目画素の色差信号に一様な方向が存在するかどうかを画素毎に判定し、注目画素がエッジを構成する画素かどうかを判定する。具体的には、図１６に示すような一次元的なセット領域の色差信号を用いて評価値を算出し、当該算出した評価値に基づいて、注目画素の色差信号に一様な方向が存在する場合に、注目画素をエッジと判定する。評価値の算出に用いるセット領域を構成するサブ領域について、その画素数や形は必ずしも図１６の例に限られず、一次元的なセット領域であればよい。

ここでの評価値は、実施例１の＜評価値導出部＞で説明した式（１）や式（２）における画素値ｘ_iに各サブ領域の色差信号Ｃｒ，Ｃｂの値を適用することにより算出できる。例えば式（１）を用いた場合には、セット領域を構成するサブ領域のうち、以下の式（１９）で表される総合値scoreが最小となるようなサブ領域（以下の式（２０）を満足するようなサブ領域）を見つける。

そして、総合値scoreが、以下の式（２１）及び式（２２）で示す条件を満足するとき、注目画素の色差信号には一様な方向が存在する、すなわち、エッジと判定されることになる。

なお、評価値の算出に式（２）を用いた場合には、上述の式（１９）、式（２０）、式（２１）、式（２２）に代えて、それぞれ以下の式（２３）、式（２４）、式（２５）、式（２６）を用いて判定することになる。

ここで、上記式（２２）及び式（２６）において、ｕは注目画素のＧ成分の画素値、e及びe’は係数である。この場合の係数e及びe’は、入力される画像データのノイズ量に応じて変更するのが好ましい。例えば、ノイズ量が少ないときは小さい値が、ノイズ量が多いときは大きい値が設定されるように、予め撮像装置１０５の撮影感度等に応じた係数e及びe’を設定しておけばよい。

こうして得られた画素毎の色差判定の結果は、例えばエッジと判定された画素には“１”非エッジと判定された画素には“０”といったフラグ値の形で、ＲＡＭ１０２に記憶される。

＜拡大処理部＞
拡大処理部１５０３は、色差判定部１５０２で得られた色差判定の結果を、入力画像データの解像度と同じ解像度になるように拡大（１／２倍に縮小されていた場合は２倍に）する。拡大は、例えばバイリニア法、ニアレストネイバー法、バイキュービック法、Lanczos法などを用いればよい。そして、元の解像度まで拡大した色差判定の結果は、色差判定マップ（エッジ判定マップ）として、ＲＡＭ１０２に記憶される。当然のことながら、縮小処理部１５０１で解像度を縮小しなかった場合には拡大する必要がない。

＜高コントラストエッジ判定部＞
高コントラストエッジ判定部１５０４は、拡大処理部１５０３で得られた色差判定マップと、色判定部３０３で得られた色判定の結果とに基づいて、注目画素が高コントラストエッジか否かを判定する処理（高コントラストエッジ判定処理）を行なう。具体的には、色判定部３０３における色判定の結果によって注目画素周辺が高コントラスト領域となり、かつ、色差判定マップによって注目画素がエッジとなれば、当該注目画素は高コントラストエッジであると判定される。

色差判定とその結果である色差判定マップ（エッジ判定マップ）については上述のとおりであるので、ここでは注目画素周辺が高コントラスト領域かどうかの判定について説明する。色判定部３０３の色判定では、実施例１で説明した通り、領域設定部３０１で設定された領域（第１次領域又は第２次領域）が、注目画素の色差信号と同じ値の色差信号の画素からなる領域であるかどうかが評価値に基づいて判定される。実施例１の色ノイズ低減処理フロー（図１１を参照）においては、まず第１次領域について導出された評価値に基づいて色判定を行う（Ｓ１１０４）。そして、その結果、第１次領域内に注目画素の色差信号と異なる値の色差信号を持つ画素があると判定されると、次に第２次領域を設定して色判定を行う（Ｓ１１０５〜Ｓ１１０７）。第２次領域に基づいた色判定の結果、いずれのサブ領域についても、注目画素の色差信号の値と同じ値の色差信号を持つ画素で構成されるサブ領域ではない場合は（Ｓ１１０７でＮｏ）、第２次領域を再設定して色判定を行う（Ｓ１１０８でＹｅｓ）。第２次領域の再設定は、セット領域を構成するサブ領域の大きさが、前回設定時のサブ領域よりも小さくなるように設定される。そして、サブ領域が一次元的な領域となる（それ以上のサブ領域のセットの設定はできない形になる）か、その他の条件を満たすまで再設定は繰り返される。そして、本実施例においてはこうして得られた色判定の結果が、第１次領域の段階において前述の式（３）で示す条件を満足しないというものであったかどうかをチェックする。これは、第１次領域の段階で前述の式（３）の条件を満たしていないとの色判定結果であったとき、当該領域が高コントラストであることを意味するからである。なお、第１次領域の段階で前述の式（３）の条件を満たしておらず、かつ、第２次領域の段階であって特定の大きさのサブ領域の段階で前述の式（３）の条件を満たしているとの色判定結果でああったかどうかをチェックしてもよい。

このように、高コントラストエッジ判定処理では、各画素について、色判定の結果によって注目画素周辺が高コントラスト領域と判定され、かつ、色差判定マップによって注目画素がエッジと判定されている場合にのみ、高コントラストエッジであると判定される。そして、画素毎になされた高コントラストエッジ判定処理の結果は、例えば高コントラストエッジと判定された画素には“１”、それ以外の画素には“０”といった値を設定した高コントラストエッジ判定マップによって、ＲＡＭ１０２に記憶される。

＜第二補正パラメータ設定部＞
第二補正パラメータ設定部１５０５は、補正パラメータ設定部３０４で設定された補正パラメータ（以下、「第一補正パラメータ」と呼ぶ。）に対して、より色ノイズ低減効果が強まるようなパラメータ（以下、「第二補正パラメータ」と呼ぶ。）を設定する。色ノイズの低減効果を強めるには、例えば参照領域を第一補正パラメータの参照領域より大きくなるように設定すればよい。ここで、ハードウェアでの実施を想定した場合は、フィルタタップ数を可能な限り少なくしたい。この場合は、参照領域の大きさは変えずに、解像度を縮小した画像データを生成してもよい。縮小画像を用いることにより、同じフィルタタップ数のノイズ低減処理で、より低周波ノイズに対してノイズ抑圧効果を得ることが可能となる。

＜第二色差補正部＞
第二色差補正部１５０６は、第二補正パラメータ設定部１５０５で設定した第二補正パラメータに基づいて色差補正処理を行う。ここでの色差補正処理については、実施例１で説明した通りである（色差補正部３０５における色補正処理の内容を参照）。

＜合成処理部＞
合成処理部１５０７は、高コントラストエッジ判定マップに基づいて、色差補正部３０５で得られた色差信号と、第二色差補正部１５０６で得られた色差信号とを合成する処理（補正結果合成処理）を行なう。合成後の色差信号値Ｉ₃は、色差補正部３０５で得られた色差信号値をＩ₁、第二色差補正部１５０６で得られた色差信号値をＩ₂、高コントラストエッジ判定の結果（上述の高コントラストエッジ判定マップの値）をｕとしたとき、以下の式（２７）で表される。

上記式（２７）は、高コントラストエッジと判定された画素については第二色差補正部１５０６の色差信号値を合成後の色差信号値として出力し、それ以外の画素については色差補正部３０５の色差信号値を合成後の色差信号値として出力することを表している。つまり、高コントラストエッジ部については、よりノイズ低減効果の高い色差補正処理を行なった結果に置き換えられることになる。このようにして色ノイズが低減されたカラー画像データは信号統合処理部２０４に送られ、別途輝度ノイズの低減処理がなされたカラー画像データと統合される。

本実施例によれば、高コントラストエッジ部の残留ノイズを低減することができる。

＜その他の実施形態＞
実施例１〜４では、画像処理アプリケーションで処理を行う例を説明したが、これらは撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。その場合、図２に示す各構成は、回路として実現されることになる。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims

入力画像データにおける注目画素について、当該注目画素を含む複数の画素からなる第１の領域が色の一様な領域か否かを判定する第１の判定手段と、
前記注目画素を含む複数の画素からなる前記第１の領域とは異なる第２の領域が、色の一様な領域か否かを判定する第２の判定手段と、
前記注目画素に対して、前記注目画素と該注目画素の近傍画素とからなる参照領域を設定する設定手段と、
前記参照領域に含まれる画素の画素値に基づいて、前記注目画素の画素値を、ノイズが低減された値に補正する第１の補正手段と、
を有し、
前記設定手段は、
前記第１の判定手段により前記第１の領域が色の一様な領域であると判定された場合、予め用意された所定の複数の画素からなる領域を、前記参照領域として設定し、
前記第１の判定手段により前記第１の領域が色の一様な領域ではないと判定された場合、前記第２の判定手段による判定結果に応じた複数の画素からなる領域を、前記参照領域として設定し、
前記第２の判定手段での判定に用いられる前記第２の領域とは、複数のサブ領域で構成される領域であり、各サブ領域の形状には指向性があり、各サブ領域を全て組み合わせると等方性があり、
前記第２の判定手段は、前記第２の領域としての前記複数のサブ領域で構成される領域における各サブ領域のサイズを段階的に小さくすることにより、前記判定を行なう、
ことを特徴とする画像処理装置。
前記第２の判定手段は、前記第１の判定手段により、前記第１の領域が色の一様な領域ではないと判定された場合にのみ、前記第２の領域に対する判定を行うことを特徴とする請求項１に記載の画像処理装置。
前記第１の判定手段は、前記注目画素と前記第１の領域を構成する各画素との差分に基づいて算出される、前記色の一様さを表す評価値を用いて前記判定を行なうことを特徴とする請求項１又は２に記載の画像処理装置。
前記評価値は、下記の式を用いて求められ、

上記式において、Ｎは前記第１の領域を構成する画素数、ｘ_iは前記第１の領域を構成する各画素の画素値、ｕは前記注目画素の画素値、であることを特徴とする請求項３に記載の画像処理装置。
前記第２の判定手段は、各サブ領域が一次元的な領域となった場合又は各サブ領域を構成する画素数が所定数以下となった場合には、前記判定を行わないことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記設定手段は、前記第２の判定手段によって前記第２の領域としての前記複数のサブ領域で構成される領域に含まれるいずれのサブ領域にも色の一様な領域がないと判定された場合、前記所定の領域を構成する画素数と同じか、それ以上の画素数の領域を前記参照領域として設定する請求項１乃至５のいずれか１項に記載の画像処理装置。
前記入力画像データは複数の色成分に対応する画像データであり、当該複数の色成分に対応する画像データから色差信号を含む画像データに変換する変換手段をさらに有し、
前記第１の判定手段及び前記第２の判定手段は、前記変換手段で変換される前の画像データに基づきそれぞれ前記判定を行い、前記設定手段及び前記第１の補正手段は、前記変換手段で変換された後の画像データに基づきそれぞれ前記設定及び前記補正を行なう
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記設定手段は、前記第２の判定手段において色の一様な領域と判定された全てのサブ領域を、前記第２の判定手段による判定結果に応じた複数の画素からなる領域として設定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記第２の判定手段において色の一様な領域と判定されたサブ領域を構成する画素数に基づいて、特定の補正処理の内容を設定する手段をさらに備え、
前記第１の補正手段は、設定された前記特定の補正処理の内容に従って、前記注目画素の画素値を、ノイズが低減された値に補正する
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記第２の判定手段での判定の結果、色の一様な領域と判定されたサブ領域がない場合に、特定の補正処理の内容を設定する手段をさらに備え、
前記第１の補正手段は、設定された前記特定の補正処理の内容に従って、前記注目画素の画素値を、ノイズが低減された値に補正する
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記入力画像データに対し多重解像度変換を行なって解像度の異なる複数の画像データを生成し、
前記第１及び第２の判定手段、前記設定手段、前記第１の補正手段が、各解像度の画像データに対し各処理を実行し、
前記第１の補正手段における補正によってノイズが低減された各解像度の画像データに対し逆多重解像度変換を行なって元の解像度の画像データを生成する、
ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記注目画素を含む複数の画素からなる前記第１の領域とは異なる第３の領域が、コントラストが高コントラスト領域であって、かつ、前記注目画素がエッジを構成する画素である場合に、当該注目画素に対して、前記第１の補正手段における補正よりもノイズ低減効果の高い補正処理を行なう第２の補正手段をさらに備えたことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記入力画像データにおける画素が、前記高コントラスト領域の画素であって、かつ、前記エッジを構成する画素である場合には、前記第２の補正手段における補正の結果を出力し、それ以外の画素である場合には、前記第１の補正手段における補正の結果を出力する、補正結果合成手段をさらに備えたことを特徴とする請求項１２に記載の画像処理装置。
前記第３の領域が前記高コントラスト領域であるかどうかを、前記注目画素と前記第３の領域を構成する各画素との色差信号の差分に基づいて算出される、前記色差信号の一様さを表す評価値を用いて判定する判定手段をさらに備えたことを特徴とする請求項１３に記載の画像処理装置。
前記評価値は、下記の式を用いて求められ、

上記式において、Ｎは前記第３の領域を構成する画素数、ｘ_iは前記第３の領域を構成する各画素の画素値、ｕは前記注目画素の画素値、であることを特徴とする請求項１４に記載の画像処理装置。
前記第３の領域は、複数の一次元的なサブ領域で構成される領域であり、各一次元的なサブ領域の形状には指向性があり、各一次元的なサブ領域を全て組み合わせると等方性があることを特徴とする請求項１２乃至１５のいずれか１項に記載の画像処理装置。
入力画像データにおける注目画素について、当該注目画素を含む複数の画素からなる第１の領域が色の一様な領域か否かを判定する第１の判定ステップと、
前記注目画素を含む複数の画素からなる前記第１の領域とは異なる第２の領域が、色の一様な領域か否かを判定する第２の判定ステップと、
前記注目画素に対して、前記注目画素と該注目画素の近傍画素とからなる参照領域を設定する設定ステップと、
前記参照領域に含まれる画素の画素値に基づいて、前記注目画素の画素値を、ノイズが低減された値に補正する補正ステップと、
を含み、
前記設定ステップでは、
前記第１の判定ステップにおいて前記第１の領域が色の一様な領域であると判定された場合、予め用意された所定の複数の画素からなる領域を、前記参照領域として設定し、前記第１の判定ステップにおいて前記第１の領域が色の一様な領域ではないと判定された場合、前記第２の判定ステップにおける判定結果に応じた複数の画素からなる領域を、前記参照領域として設定し、
前記第２の判定ステップでの判定に用いられる前記第２の領域とは、複数のサブ領域で構成される領域であり、各サブ領域の形状には指向性があり、各サブ領域を全て組み合わせると等方性があり、
前記第２の判定ステップでは、前記第２の領域としての前記複数のサブ領域で構成される領域における各サブ領域のサイズを段階的に小さくすることにより、前記判定を行なう、
ことを特徴とする画像処理方法。
コンピュータを、請求項１乃至１６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。