JP4395789B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に、画像信号に含まれる雑音（ノイズ）を効果的に除去することができる画像処理装置、撮像装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

ＣＣＤ（Charge Coupled Device）等の撮像素子から出力されるＲＡＷデータには各種のノイズが含まれている。これらのノイズを効果的に除去する方法として、人間の視覚特性を考慮してノイズ除去の強さを変更する方法が広く知られている。

例えば、ノイズが重畳された画像において、所定サイズの領域毎の画像の色を判断し、判断した色に応じてパラメータを決定し、決定したパラメータに従ってノイズ除去処理を実行する画像処理方法が提案されている（例えば、特許文献１参照。）。
特開２００４−４０２３５号公報（図１）

上述の従来技術では、所定サイズの領域毎の画像の色に応じて、ノイズ除去処理のためのパラメータを変更するため、ノイズ除去の強さを色毎に変更することができる。

ところで、ショットノイズは輝度（レベル）依存性があり、信号量が大きくなるに従ってノイズ量が多くなるという性質がある。このため、ＲＡＷデータに含まれるノイズがショットノイズである場合には、画像の色とは無関係に、信号量に応じてノイズ除去の強さを変更する必要がある。

しかしながら、上述の従来技術では、画像の色に基づくノイズ除去を実行することができるものの、画像の色とは無関係にノイズ除去の強さを変更する必要があるショットノイズ等のノイズを、効果的に除去することができないという問題があった。

そこで、本発明は、人間の視覚特性を考慮するとともに、画像信号に含まれるノイズの性質を考慮して効果的にノイズを除去することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、画像データを入力する入力部と、輝度に依存する物理特性値であって上記入力された画像データを構成する１つの画素である注目画素の物理特性値を上記注目画素の輝度に基づいて算出する物理特性値算出部と、上記入力された画像データの色を判別して上記判別された色に応じた視覚特性値であって上記注目画素の視覚特性値を算出する色判別部と、上記算出された物理特性値と上記算出された視覚特性値との演算により上記入力された画像データに含まれる上記注目画素のノイズを除去する際に用いられる画素を判別するためのレベル差に係る閾値としてのパラメータを決定するパラメータ決定部と、上記注目画素の周辺に位置する複数の周辺画素について上記注目画素とのレベル差が上記決定されたパラメータにより特定される閾値の範囲内にある周辺画素を判別して当該閾値の範囲内にある各周辺画素を用いて上記注目画素のノイズを除去するノイズ除去部とを具備する画像処理装置、撮像装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像データの輝度に依存する物理特性値と、入力された画像データの色に応じた視覚特性値とに基づいてパラメータを決定し、決定されたパラメータに基づいて、入力された画像データに含まれるノイズを適切に除去するという作用をもたらす。

また、この第１の側面において、上記色判別部は、上記注目画素と上記注目画素の周辺に位置する複数の画素とを含む画像データの色に基づいて上記注目画素の上記視覚特性値を算出することができる。これにより、上記決定されたパラメータに基づいて、入力された画像データに含まれる注目画素とその周辺に位置する複数の画素とのノイズを適切に除去するという作用をもたらす。

また、この第１の側面において、上記ノイズ除去部は、上記注目画素と、上記注目画素とのレベル差が上記決定されたパラメータにより特定される閾値の範囲内にある上記周辺画素とを含む画像データに基づいて上記注目画素のノイズを除去することができる。これにより、上記決定されたパラメータに基づいて、入力された画像データに含まれる注目画素とその周辺に位置する複数の周辺画素とのノイズを適切に除去するという作用をもたらす。

また、この第１の側面において、上記ノイズ除去部は、上記注目画素とのレベル差が上記決定されたパラメータにより特定される閾値の範囲内にある上記周辺画素を用いて平均化処理を行うことにより上記注目画素のノイズを除去することができる。これにより、判別された周辺画素を用いて平均化処理を行うことにより、注目画素のノイズを除去するという作用をもたらす。
また、この第１の側面において、上記視覚特性値は、上記算出された物理特性値を補正する係数である補正値であり、上記色判別部は、上記補正値を上記入力された画像データの色に基づいて算出することができる。これにより、入力された画像データの輝度に依存する物理特性値を、入力された画像データの色に応じた補正値によって補正してパラメータを決定し、決定されたパラメータに基づいて、入力された画像データに含まれるノイズを適切に除去するという作用をもたらす。

また、この第１の側面において、上記パラメータ決定部は、上記算出された物理特性値と上記算出された視覚特性値とを乗算することによって上記パラメータを算出することができる。これにより、入力された画像データの輝度に依存する物理特性値と、入力された画像データの色に応じた視覚特性値とを用いて的確なパラメータを決定するという作用をもたらす。

また、この第１の側面において、上記入力された画像データは、ベイヤー配列の画像データとすることができる。これにより、ベイヤー配列の画像データに対してノイズを適切に除去するノイズ除去処理を実行するという作用をもたらす。

また、この第１の側面において、上記入力された画像データは、撮像素子から出力されたＲＡＷデータとすることができる。これにより、撮像素子等から出力されたＲＡＷデータに対してノイズを適切に除去するという作用をもたらす。

本発明によれば、ノイズの物理特性と人間の視覚特性とを考慮して効果的にノイズを除去することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

なお、本発明の実施の形態において、「ノイズ除去処理」とは、ノイズを含む画像データについて、このノイズを軽減または除去する画像処理を意味するものとする。つまり、「ノイズ除去」が、ノイズを含む画像データから完全にノイズを除去することを意味するだけではなく、このノイズを軽減することも含むものとする。

図１は、本発明の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。

画像処理装置１００は、入力端子１１０と、ラインバッファ１２０と、周辺画素参照部１３０と、色判別部１４０と、物理特性値算出部１５０と、パラメータ決定部１６０と、ノイズ除去部１７０と、出力端子１８０とを備える。

入力端子１１０は、ＲＧＢの各色信号からなるカラー信号データ（ベイヤー配列の画像データ）を入力する入力端子であり、入力された画像データをラインバッファ１２０に送るものである。例えば、ベイヤー配列の画像データとしては、ＣＣＤ（Charge Coupled Device）等の撮像素子から出力されるＲＡＷデータがある。なお、ＲＡＷデータは、所定の被写体の画像を撮像する撮像素子により撮像された画像に対応する画像データの一例である。

ベイヤー配列とは、図２（ｂ）および（ｃ）に示すように、水平方向２画素×垂直方向２画素を基本ブロックとし、この基本ブロックにおいて２つの緑画素（Ｇ）が一方の対角上に配置され、赤画素（Ｒ）と青画素（Ｂ）とが残りの対角上に配置され、さらに、この基本ブロックが周期的に配置された画素配列である。

ラインバッファ１２０は、複数ライン分のラインバッファから構成され、入力端子１１０から入力された画像データをライン単位で複数ライン分保持するものである。

図２（ａ）は、入力端子１１０から入力されラインバッファ１２０に格納されている画像データ２００を概念的に示す図である。なお、図２（ａ）に示す画像データ２００のサイズを、水平画素数をＷとし、垂直画素数をＨとする。また、画像データ２００を構成する各画素の垂直方向のアドレスを示す変数をｉとし、水平方向のアドレスを示す変数をｊとする。

周辺画素参照部１３０は、ラインバッファ１２０に格納されている数ライン分の画像データから所定のサイズ毎の画像データを順次読み出すものである。

図２（ｂ）および（ｃ）は、ラインバッファ１２０に格納されている画像データ２００から読み出されるベイヤー配列の画像データ３００および４００を概念的に示す図である。

例えば、周辺画素参照部１３０が読み出す所定のサイズ毎の画像データは、図２（ａ）に示す注目画素２０１、図２（ａ）および（ｂ）に示す注目画素２０１を含む複数の周辺画素からなるベイヤー配列の画像データ３００（５×５画素のウィンドウ）、図２（ａ）および（ｃ）に示す注目画素２０１を含む複数の周辺画素からなるベイヤー配列の画像データ４００（９×９画素のウィンドウ）である。

また、周辺画素参照部１３０は、図２（ａ）に示すように、注目画素２０１を１画素ずつ矢印方向にシフトさせながら順次読み出すことによって、画像データ２００の全画素について読み出しを行う。

物理特性値算出部１５０は、画像データの輝度に基づいて、画像データの輝度に依存する値である物理特性値（ノイズ量）を算出するものである。すなわち、この物理特性値算出部１５０は、周辺画素参照部１３０が読み出した注目画素２０１の画像データを参照して、この画像データの輝度に応じた物理特性値を計算し、計算した物理特性値をパラメータ決定部１６０に出力する。

色判別部１４０は、画像データの色を判別して、物理特性値を補正するための補正値を算出するものである。すなわち、この色判別部１４０は、周辺画素参照部１３０が読み出したベイヤー配列の画像データ３００を参照して、この画像データが示す画像の色を判別する。そして、判別した色に基づいて、注目画素２０１の物理特性値を補正する係数である補正値を算出し、算出した補正値をパラメータ決定部１６０に出力する。なお、この補正値は、判別された色に応じた視覚特性値である。

パラメータ決定部１６０は、物理特性値算出部１５０の出力値と、色判別部１４０の出力値とに基づいて、ノイズ除去部１７０がノイズ除去処理を行うために用いる閾値（パラメータ）を計算し、計算した閾値をノイズ除去部１７０に出力するものである。

ノイズ除去部１７０は、例えば、εフィルタを用いたノイズ除去方法を用いてノイズ除去処理を実行するノイズ除去部であり、パラメータ決定部１６０が出力した閾値に従って周辺画素参照部１３０から供給されるベイヤー配列の画像データ４００に対してノイズ除去処理を実行するものである。

出力端子１８０は、ノイズ除去部１７０がノイズ除去処理を施した画像データを外部に出力する出力端子である。

次に、色判別部１４０についてさらに詳細に説明する。

図３は、色判別部１４０の機能構成例を示すブロック図である。

色判別部１４０は、入力端子１４１と、同色平均部１４２と、ホワイトバランス補正部１４３と、γ補正部１４４と、色分離部１４５と、変換テーブル部１４６と、出力端子１４７とを備える。

ここでは、図２（ｂ）に示すように、ウィンドウサイズが５×５画素であるベイヤー配列の画像データ３００において、注目画素２０１がＲの場合について説明する。注目画素２０１がＲの場合、注目画素２０１を中心としたベイヤー配列の画像データ３００には、Ｒが９画素、Ｇが１２画素、Ｂが４画素含まれる。

入力端子１４１は、周辺画素参照部１３０が読み出したベイヤー配列の画像データ３００を入力する入力端子である。

同色平均部１４２は、入力端子１４１から入力されたベイヤー配列の画像データ３００に含まれるＲ、Ｇ、Ｂの各入力信号について、それぞれの画素の色の平均値を求め、求めた各画素の平均値をホワイトバランス補正部１４３に出力するものである。つまり、以下に示す（式１）〜（式３）に従って、各入力信号Ｒ、Ｇ、ＢをＲ１、Ｇ１、Ｂ１に変換し、変換したＲ１、Ｇ１、Ｂ１をホワイトバランス補正部１４３に出力する。
Ｒ１＝ベイヤー配列の画像データ３００に含まれる９個のＲの画素値の平均値（平均濃度）…（式１）
Ｇ１＝ベイヤー配列の画像データ３００に含まれる１２個のＧの画素値の平均値（平均濃度）…（式２）
Ｂ１＝ベイヤー配列の画像データ３００に含まれる４個のＢの画素値の平均値（平均濃度）…（式３）

ホワイトバランス補正部１４３は、同色平均部１４２が出力したＲ１、Ｇ１、Ｂ１の各値について、以下に示す（式４）〜（式６）に従って、Ｒ２、Ｇ２、Ｂ２に変換し、変換したＲ２、Ｇ２、Ｂ２の各値をγ補正部１４４に出力するものである。
Ｒ２＝Ｒ１×Ｒのホワイトバランス係数…（式４）
Ｇ２＝Ｇ１…（式５）
Ｂ２＝Ｂ１×Ｂのホワイトバランス係数…（式６）

γ補正部１４４は、ホワイトバランス補正部１４３が出力したＲ２、Ｇ２、Ｂ２の各値について、以下に示す（式７）〜（式９）に従って、Ｒ３、Ｇ３、Ｂ３に変換し、変換したＲ３、Ｇ３、Ｂ３の各値を色分離部１４５に出力するものである。
Ｒ３＝Ｒ２×γ係数…（式７）
Ｇ３＝Ｇ２×γ係数…（式８）
Ｂ３＝Ｂ２×γ係数…（式９）

色分離部１４５は、γ補正部１４４が出力したＲ３、Ｇ３、Ｂ３の各値について、ｒ、ｇ、ｂの三色に分離し、分離したＲ３、Ｇ３、Ｂ３の各値を変換テーブル部１４６に出力するものである。

図４は、人間の視覚特性を考慮して作成されている色と補正値の変換テーブル１４６ａを示す図である。

変換テーブル１４６ａは、色１４６ｂと、ｒ、ｇ、ｂの値１４６ｃと、補正値１４６ｄとが対応付けられている変換テーブルであり、色分離部１４５が出力したＲ３、Ｇ３、Ｂ３の各値を補正値ｋに変換するものである。

変換テーブル部１４６は、変換テーブル１４６ａを参照して、色分離部１４５が出力したＲ３、Ｇ３、Ｂ３の各値に最も近い値をｒ、ｇ、ｂの値１４６ｃの中から選択する。そして、選択したｒ、ｇ、ｂの値に対応する補正値ｋを選択し、選択した補正値ｋを出力端子１４７を介して外部に出力する。なお、Ｒ３、Ｇ３、Ｂ３の各値に最も近い値をｒ、ｇ、ｂの値１４６ｃの中から選択する際には、各値の色空間距離（ベクトル）を基準に判断する。

次に、物理特性値算出部１５０の物理特性値の計算方法についてさらに詳細に説明する。

最初に、ノイズの物理特性について説明する。

図５（ａ）は、画像の輝度（明るさ）と物理特性値（ノイズ量）との関係の一例を示すグラフである。

一般的に、ＣＣＤ等の撮像素子の出力におけるノイズの大きさ（信号の標準偏差）は、フロアノイズ、光学ショットノイズ、感度ムラノイズのエネルギー和の平方根で示すことができる。具体的には、次の（式１０）で示される。
σ（ｘ）＝√（ａｘ^２＋ｂｘ＋ｃ）…（式１０）
ここで、ｘは信号量であり、ａは感度ムラノイズに関連する定数であり、ｂは光学ショットノイズに関連する定数であり、ｃは暗電流ショットノイズと回路の熱雑音とを主とするフロアノイズに関連する定数であり、σ（ｘ）は物理特性値である。ただし、各種のノイズを取り扱う応用例では、その目的に応じて上式（式１０）の平方根内のいくつかの項が省略される場合もある。

上式（式１０）の近似式として、感度ムラノイズの影響を省略したものが次式（式１１）になる。
σ（ｘ）＝√（ｂｘ＋ｃ）…（式１１）

また、さらに（式１１）の近似式として、次式（式１２）が成立することが知られている。
σ（ｘ）＝ｂ（√ｘ）＋ｃ…（式１２）

なお、上述のａ、ｂ、ｃについては、ＣＣＤ、基板、温度等に応じて決定することができるパラメータであり、測定した値を使用するようにしてもよいし、理論値から計算した値を使用するようにしてもよい。

本実施の形態では、（式１２）を用いて、注目画素２０１の信号量ｘから物理特性値σ（ｘ）を計算する。この場合に、信号量ｘと物理特性値σ（ｘ）とは、図５（ａ）に示すグラフの曲線（ノイズカーブ）を描く。

物理特性値算出部１５０は、周辺画素参照部１３０が読み出した注目画素２０１の画像データを参照し、例えば、（式１２）に従って、当該画像データが示す画像の信号量ｘに応じた物理特性値σ（ｘ）を計算し、計算した物理特性値σ（ｘ）の値をパラメータ決定部１６０に出力する。

図５（ａ）には、一例として、以下に示すように、光学ショットノイズに関連する定数ｂを５とし、フロアノイズに関連する定数ｃを１００とした場合におけるノイズカーブを示す。
σ（ｘ）＝５（√ｘ）＋１００（信号量ｘ：０〜８００）

この場合において、信号量ｘが１００の場合には物理特性値σ（ｘ）は１５０であり、信号量ｘが４００の場合には物理特性値σ（ｘ）は２００であるものと仮定している。

次に、εフィルタを用いたノイズ除去処理についての閾値の決定方法について説明する。

図５（ｂ）は、ノイズ量の分布が正規分布だと仮定した場合における正規分布表（ガウス関数）と物理特性値σ（ｘ）との関係を示す図である。

図５（ｂ）に示すように、ノイズ量の分布が正規分布であると仮定した場合、物理特性値σ（ｘ）は信号量ｘに対する標準偏差であるため、ノイズと閾値との間には、以下の関係が成立する。

閾値が１σの場合には、閾値の範囲内（±１σ）に６８％のノイズが含まれる。また、閾値が２σの場合には、閾値の範囲内（±２σ）に９６％のノイズが含まれる。また、閾値が３σの場合には、閾値の範囲内（±３σ）に９９％のノイズが含まれる。

このような関係がノイズと閾値との間には成立するため、ノイズを含む画像のノイズ除去処理において、閾値を高く設定した場合には、ノイズを多く除去することができる。一方、閾値を高く設定した場合には、ノイズを多く除去してしまうため、画像のエッジ成分を保存する割合が減少する。このため、ノイズ除去処理を実行する場合には、ノイズ成分とエッジ成分とを考慮して、適切な閾値を設定する必要がある。

具体的には、閾値を１σに設定してノイズ除去処理を実行すると、３２％のノイズを除去することができずに画像に残ってしまうものの、画像のエッジ成分を比較的多く保存することができる。

また、閾値として、２σを用いてノイズ除去処理を実行すると、４％のノイズが残り、１σの場合と比較するとノイズを２８％軽減することができる。ただし、この場合には、１σの場合と比較すると画像のエッジ成分を保存することができる割合が減少する。

なお、バイラテラルフィルタ、ウェーブレット変換等のεフィルタ以外のノイズ除去方法においても閾値の決定が重要である。

パラメータ決定部１６０は、例えば、色判別部１４０が出力した補正値ｋと、物理特性値算出部１５０が出力した物理特性値σ（ｘ）とを乗算した値である閾値ｋσ（ｘ）を計算し、計算した閾値ｋσ（ｘ）をノイズ除去部１７０に出力する。このように、閾値ｋσ（ｘ）を決定することによって、ノイズの物理特性と人間の視覚特性とを考慮した適切な閾値を用いたノイズ除去処理を実行することができる。

次に、ノイズ除去部１７０のノイズ除去方法について詳細に説明する。なお、本実施の形態では、一例として、９×９画素のεフィルタを用いたノイズ除去方法について説明する。

εフィルタとは、注目画素を中心としたウィンドウ内にある周辺画素の中で、「仲間である」と判別した周辺画素のみを集めて平均化処理を行うノイズ除去方法である。「仲間である」か否かを判別する方法としては、注目画素と周辺画素との差の絶対値が閾値の範囲内にあるか否かに基づいて判別する判別方法を利用する。注目画素と周辺画素との差の絶対値が閾値の範囲内にある場合には、当該周辺画素を仲間と判断し平均化処理の対象とする。一方、注目画素と周辺画素との差の絶対値が閾値の範囲外であれば、当該周辺画素がノイズであると判断し平均化処理の対象としない。このように、εフィルタは、注目画素から値が大きく外れた画素をノイズと判断し除去するノイズ除去方法である。

図６は、注目画素２０１と、注目画素２０１の周辺画素２０２〜２０９との画素レベルの関係を示す図である。

例えば、図６に示すように、注目画素２０１の周辺画素２０２〜２０９が８個であった場合、注目画素２０１（Ｒｃ）を中心として、閾値ｋσ（Ｒｃ）の範囲内に存在する周辺画素２０３〜２０６、２０９については仲間と判断し平均化処理の対象とする。一方、閾値ｋσ（Ｒｃ）の範囲外に存在する周辺画素２０２、２０７については、ノイズであると判断し平均化処理の対象としない。

ここでは、図２（ｃ）に示すように、ウィンドウサイズが９×９画素であるベイヤー配列の画像データ４００において、注目画素２０１がＲの場合について説明する。注目画素２０１がＲの場合、注目画素２０１を中心としたベイヤー配列の画像データ４００には、注目画素２０１を含み２５画素のＲが含まれている。なお、図２（ｃ）において、注目画素２０１をＲｃで示す。

ノイズ除去部１７０は、パラメータ決定部１６０が出力した閾値ｋσ（Ｒｃ）に従って周辺画素参照部１３０から供給されるベイヤー配列の画像データ４００に対してノイズ除去処理を実行する。具体的には、ベイヤー配列の画像データ４００に含まれる２５画素のＲについて、注目画素２０１（Ｒｃ）を中心として、閾値ｋσ（Ｒｃ）の範囲内に存在する周辺画素Ｒについては仲間と判断し平均化処理の対象とし、一方、閾値ｋσ（Ｒｃ）の範囲外に存在する周辺画素Ｒについては、ノイズであると判断し平均化処理の対象とせずに、ノイズ除去処理を実行する。

次に、本発明の実施の形態における画像処理装置１００の動作について図面を参照して説明する。

図７は、画像処理装置１００によるノイズ除去処理の処理手順を示すフローチャートである。

入力端子１１０から画像データが入力されると（ステップＳ９００）、入力された画像データはラインバッファ１２０に格納される（ステップＳ９０１）。

続いて、ラインバッファ１２０に格納されている画像データ２００を構成する各画素の垂直方向のアドレスを示す変数ｉが０に初期化される（ステップＳ９０２）とともに、水平方向のアドレスを示す変数ｊが０に初期化される（ステップＳ９０３）。

続いて、周辺画素参照部１３０が、位置（ｉ、ｊ）に存在する注目画素２０１を含む複数の周辺画素からなるベイヤー配列の画像データ４００をラインバッファ１２０から読み出す（ステップＳ９０４）。

続いて、物理特性値算出部１５０が、周辺画素参照部１３０が読み出した注目画素２０１の画像データを参照し、注目画素２０１の信号量ｘに基づいて、注目画素２０１の物理特性値σ（ｘ）を計算し、計算して求めた物理特性値σ（ｘ）をパラメータ決定部１６０に出力する（ステップＳ９０５）。

続いて、色判別部１４０が、周辺画素参照部１３０が読み出したベイヤー配列の画像データ３００を参照し、ベイヤー配列の画像データ３００の色を判別し、判別した色に基づいて、補正値ｋを算出し、算出した補正値ｋをパラメータ決定部１６０に出力する（ステップＳ９０６）。

続いて、パラメータ決定部１６０が、色判別部１４０が出力した補正値ｋと、物理特性値算出部１５０が出力した物理特性値σ（ｘ）とを乗算した値である閾値ｋσ（ｘ）を計算し、計算した閾値ｋσ（ｘ）をノイズ除去部１７０に出力する（ステップＳ９０７）。

続いて、ノイズ除去部１７０が、パラメータ決定部１６０が出力した閾値ｋσ（ｘ）に従って周辺画素参照部１３０から供給されるベイヤー配列の画像データ４００に対してノイズ除去処理を実行する（ステップＳ９０８）。

続いて、水平方向のアドレスｊが１つインクリメントされ（ステップＳ９０９）、注目画素２０１の位置が１画素分進む。そして、アドレスｊが水平画素数Ｗよりも小さいか否かが判断される（ステップＳ９１０）。ｊ＜Ｗの場合には（ステップＳ９１０）、ステップＳ９０４〜ステップＳ９０９までの動作が繰り返される。

一方、ｊ≧Ｗの場合には（ステップＳ９１０）、垂直方向のアドレスｉが１つインクリメントされ（ステップＳ９１１）、注目画素２０１の位置が垂直方向に１画素分進む。そして、アドレスｉが垂直画素数Ｈよりも小さいか否かが判断される（ステップＳ９１２）。ｉ＜Ｈの場合には（ステップＳ９１２）、ステップＳ９０３〜ステップＳ９１１までの動作を繰り返す。

ｉ≧Ｈの場合には（ステップＳ９１２）、ノイズ除去処理が終了する。

なお、上述した実施の形態では、注目画素２０１がＲの場合について説明したが、注目画素２０１がＧ、Ｂの場合も同様であるため、注目画素２０１がＧ、Ｂの場合の説明を省略する。

次に、人間の視覚特性について簡単に説明する。

一般的な色に関する視覚特性として、人は黄色や緑色の光には敏感である場合が多い。このため、黄色や緑色のノイズ除去を強くすると解像感が低下したと感じる。

一方、人は赤色や青色の光には鈍感である場合が多い。このため、赤色や青色のノイズ除去を強くしても解像感は低下しないと考えられている。

また、被写体に応じた色に関する視覚特性として、人は人間の顔色の変化には敏感である。このため、一般的には、肌色のノイズ除去を強くしてきれいな肌色とする場合が多い。

さらに、人は空色の変化には敏感である。このため、一般的には、空色のノイズ除去を強くしてきれいな空色とする場合が多い。

例えば、画像の色のみに基づいてノイズ除去処理のためのパラメータを決定する場合において、緑色の閾値を低くし、赤色の閾値を高くすると設定した場合、設定した色に応じてノイズ除去の強さを変更することができる。しかし、画像信号中に重畳されるノイズの性質は、人間の視覚特性とは独立のものである。このため、暗い赤や明るい緑等の場合には、ノイズの物理特性を考慮しなければ適切なノイズ除去をすることができない。

そこで、本実施の形態では、ノイズの物理特性については輝度に依存する値である物理特性値を算出してノイズの物理特性を考慮するとともに、人間の視覚特性については画像の色に応じて物理特性値を補正することによって人間の視覚特性を考慮する。これによって、本実施の形態によれば、ノイズの物理特性と人間の視覚特性とを考慮して効果的にノイズを除去することができる。

また、本実施の形態では、人間の視覚特性とノイズの物理特性との双方を考慮してノイズ除去処理のパラメータを決定し、ノイズ除去処理をするため、見た目に自然な画像を得ることができる。

さらに、本実施の形態によれば、感度ムラノイズに関連する定数ａ、光学ショットノイズに関連する定数ｂ、フロアノイズに関連する定数ｃは、ＣＣＤ、基板、温度等に応じて決定することができるパラメータであり、これらを考慮してノイズの物理特性値を求めるため、異なるシステム間においても、ノイズ除去の効果を適用することができる。

また、本実施の形態によれば、例えば、ノイズの分布が正規分布だと仮定した場合には、決定した閾値によってノイズをどの程度除去できるのかを予め計算することができる。

なお、本実施の形態では、物理特性値算出部１５０が物理特性値σ（ｘ）を求める際に、注目画素の信号量の値をそのまま使用したが、ＬＰＦ、εフィルタ、メディアンフィルタ等のノイズ除去処理を実行した後の値を信号量ｘとして、物理特性値σ（ｘ）を計算するようにしてもよい。

また、ホワイトバランス係数の影響を考慮して、ホワイトバランス後の画像データに基づいて、物理特性値σ（ｘ）を求めるようにしてもよい。

さらに、画面のＯＢ（Optical Black）領域の標準偏差を測定することによって、撮影時のショットノイズを求め、温度上昇によるノイズの変化にショットノイズを対応させるようにしてもよい。

また、本実施の形態において、色判別部１４０が補正値ｋを求める場合に、近傍のｒ、ｇ、ｂ値に対応した補正値ｋを、ｒ、ｇ、ｂ値の色空間距離に応じて補間した値を用いるようにしてもよい。例えば、ｒ、ｇ、ｂ値の色空間距離における距離の割合に基づいて補正値ｋを求めることができる。

さらに、色判別部１４０が補正値ｋを求める場合において、Ｒ、Ｇ、Ｂの各色からなる画像データを使用したが、補色のＣ、Ｍ、Ｙの各色からなる画像データを使用するようにしてもよい。

また、色判別部１４０が補正値ｋを求める場合において、ホワイトバランス値を固定値にして単純化するようにしてもよい。

さらに、色判別部１４０が補正値ｋを求める場合において、ウィンドウ内の色の平均値を用いたが、メディアン値、ＬＰＦ値、εフィルタ値等を用いるようにしてもよい。

また、色判別部１４０が補正値ｋを求める場合において、γカーブによって暗部のノイズが強調されることを考慮して、茶色等の暗い色に関する補正値ｋを大きめに設定するようにしてもよい。

なお、γ補正部１４４はγカーブによる影響を考慮するためのものであるため、γの逆補正をした色空間に基づいて色判別をするようにし、γ補正部１４４を省略するようにしてもよい。

また、本実施の形態では、補正値ｋと物理特性値σ（ｘ）とを乗算して閾値ｋσ（ｘ）を求めるが、ノイズの物理特性と人間の視覚特性とを考慮した適切な閾値を決定することができれば、補正値ｋと物理特性値σ（ｘ）とについて加算等の他の演算を施して閾値を求めるようにしてもよい。

また、ノイズ除去部１７０がεフィルタを用いて平均化処理を実行する場合に、平均化処理の対象となる各画素に重みをつけて実行するようにしてもよい。例えば、注目画素と各画素との距離に応じて重みを変化させるようにすることができる。

なお、本実施の形態では、εフィルタを用いたノイズ除去方法について説明したが、εフィルタの代わりに、ウェーブレット変換、バイラテラルフィルタ、トリラテラルフィルタ等の所定のパラメータを用いてノイズ除去処理を実行するフィルタ等を使用するようにしてもよい。

また、ノイズ除去方法としてウェーブレット変換を用いて、コアリングの閾値決定方法として本実施の形態を適用するようにしてもよい。

さらに、本実施の形態を、帯域分割をした後に行うノイズ除去処理に適用するようにしてもよい。また、帯域毎に異なる閾値を設定してノイズ除去処理を実行するようにしてもよい。

ここで、εフィルタ以外のフィルタの一例としてバイラテラルフィルタについて説明する。

バイラテラルフィルタは、レベル差に応じて重み付けをするフィルタである。ここでは、重み関数としてガウス関数を用いた例を説明する。

ガウス関数は、Ｎ（μ、σ^２）と表すことができる（ただし、Ｎ（平均、分散））。

ここで、
ｎｏｉｓｅ（ｘ）＝ｂ（√ｘ）＋ｃ
ｔｈｒｅｓｈ（ｘ）＝ｋ（ｘ）×ｎｏｉｓｅ（ｘ）
とした場合に、Ｎ（０、（ｔｈｒｅｓｈ（ｘ））^２）のガウス関数を使用するフィルタである。

すなわち、バイラテラルフィルタは、物理特性値（ノイズ量）が大きければ、広がったガウス関数を使用し、色補正値が大きければ、さらに広がったガウス関数を使用することになる。

なお、本実施の形態では、画素配列としてベイヤー配列とした場合について説明したが、ベイヤー配列以外の画素配列についても本実施の形態を適用することができる。

また、画像データ３００のウィンドウサイズを５×５とし、画像データ４００のウィンドウサイズを９×９として説明したが、他のウィンドウサイズとするようにしてもよく、対象領域を可変の領域とするようにしてもよい。

さらに、色判別部１４０が用いる画素配列のウィンドウサイズと、ノイズ除去部１７０が用いるウィンドウサイズとのサイズを同じサイズとするようにしてもよい。

また、本実施の形態では画像処理装置について説明したが、これらの構成を具備するデジタルカメラ等の撮像装置、パーソナルコンピュータ等の画像処理装置等に本実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。 入力端子１１０から入力されラインバッファ１２０に格納されている画像データ２００と、画像データ２００から読み出されるベイヤー配列の画像データ３００および４００とを概念的に示す図である。 色判別部１４０の機能構成例を示すブロック図である。 人間の視覚特性を考慮して作成されている色と補正値の変換テーブル１４６ａを示す図である。 画像の輝度（明るさ）と物理特性値（ノイズ量）との関係の一例を示すグラフと、ノイズ量の分布が正規分布だと仮定した場合における正規分布表（ガウス関数）と物理特性値σ（ｘ）との関係を示すグラフとを示す図である。 注目画素２０１と、注目画素２０１の周辺画素２０２〜２０９との画素レベルの関係を示す図である。 画像処理装置１００によるノイズ除去処理の処理手順を示すフローチャートである。

符号の説明

１００ 画像処理装置
１１０ 入力端子
１２０ ラインバッファ
１３０ 周辺画素参照部
１４０ 色判別部
１４１ 入力端子
１４２ 同色平均部
１４３ ホワイトバランス補正部
１４４ 補正部
１４５ 色分離部
１４６ 変換テーブル部
１４７ 出力端子
１５０ 物理特性値算出部
１６０ パラメータ決定部
１７０ ノイズ除去部
１８０ 出力端子
２００ 画像データ
２０１ 注目画素
２０２〜２０９ 周辺画素
３００、４００ ベイヤー配列の画像データ

Claims (11)

1. 画像データを入力する入力部と、
   輝度に依存する物理特性値であって前記入力された画像データを構成する１つの画素である注目画素の物理特性値を前記注目画素の輝度に基づいて算出する物理特性値算出部と、
   前記入力された画像データの色を判別して前記判別された色に応じた視覚特性値であって前記注目画素の視覚特性値を算出する色判別部と、
   前記算出された物理特性値と前記算出された視覚特性値との演算により前記入力された画像データに含まれる前記注目画素のノイズを除去する際に用いられる画素を判別するためのレベル差に係る閾値としてのパラメータを決定するパラメータ決定部と、
   前記注目画素の周辺に位置する複数の周辺画素について前記注目画素とのレベル差が前記決定されたパラメータにより特定される閾値の範囲内にある周辺画素を判別して当該閾値の範囲内にある各周辺画素を用いて前記注目画素のノイズを除去するノイズ除去部と
   を具備する画像処理装置。
2. 前記色判別部は、前記注目画素と前記注目画素の周辺に位置する複数の画素とを含む画像データの色に基づいて前記注目画素の前記視覚特性値を算出する請求項１記載の画像処理装置。
3. 前記ノイズ除去部は、前記注目画素と、前記注目画素とのレベル差が前記決定されたパラメータにより特定される閾値の範囲内にある前記周辺画素とを含む画像データに基づいて前記注目画素のノイズを除去する請求項１記載の画像処理装置。
4. 前記ノイズ除去部は、前記注目画素とのレベル差が前記決定されたパラメータにより特定される閾値の範囲内にある前記周辺画素を用いて平均化処理を行うことにより前記注目画素のノイズを除去する請求項３記載の画像処理装置。
5. 前記視覚特性値は、前記算出された物理特性値を補正する係数である補正値であり、
   前記色判別部は、前記補正値を前記入力された画像データの色に基づいて算出する
   請求項１記載の画像処理装置。
6. 前記パラメータ決定部は、前記算出された物理特性値と前記算出された視覚特性値とを乗算することによって前記パラメータを算出する請求項１記載の画像処理装置。
7. 前記入力された画像データは、ベイヤー配列の画像データである請求項１記載の画像処理装置。
8. 前記入力された画像データは、撮像素子から出力されたＲＡＷデータである請求項１記載の画像処理装置。
9. 所定の被写体の画像を撮像する撮像素子により撮像された画像に対応する画像データを入力する入力部と、
   輝度に依存する物理特性値であって前記入力された画像データを構成する１つの画素である注目画素の物理特性値を前記注目画素の輝度に基づいて算出する物理特性値算出部と、
   前記入力された画像データの色を判別して前記判別された色に応じた視覚特性値であって前記注目画素の視覚特性値を算出する色判別部と、
   前記算出された物理特性値と前記算出された視覚特性値との演算により前記入力された画像データに含まれる前記注目画素のノイズを除去する際に用いられる画素を判別するためのレベル差に係る閾値としてのパラメータを決定するパラメータ決定部と、
   前記注目画素の周辺に位置する複数の周辺画素について前記注目画素とのレベル差が前記決定されたパラメータにより特定される閾値の範囲内にある周辺画素を判別して当該閾値の範囲内にある各周辺画素を用いて前記注目画素のノイズを除去するノイズ除去部と
   を具備する撮像装置。
10. 輝度に依存する物理特性値であって入力された画像データを構成する１つの画素である注目画素の物理特性値を前記注目画素の輝度に基づいて算出する物理特性値算出手順と、
    前記入力された画像データの色を判別して前記判別された色に応じた視覚特性値であって前記注目画素の視覚特性値を算出する色判別手順と、
    前記算出された物理特性値と前記算出された視覚特性値との演算により前記入力された画像データに含まれる前記注目画素のノイズを除去する際に用いられる画素を判別するためのレベル差に係る閾値としてのパラメータを決定するパラメータ決定手順と、
    前記注目画素の周辺に位置する複数の周辺画素について前記注目画素とのレベル差が前記決定されたパラメータにより特定される閾値の範囲内にある周辺画素を判別して当該閾値の範囲内にある各周辺画素を用いて前記注目画素のノイズを除去するノイズ除去手順と
    を具備する画像処理方法。
11. 輝度に依存する物理特性値であって入力された画像データを構成する１つの画素である注目画素の物理特性値を前記注目画素の輝度に基づいて算出する物理特性値算出手順と、
    前記入力された画像データの色を判別して前記判別された色に応じた視覚特性値であって前記注目画素の視覚特性値を算出する色判別手順と、
    前記算出された物理特性値と前記算出された視覚特性値との演算により前記入力された画像データに含まれる前記注目画素のノイズを除去する際に用いられる画素を判別するためのレベル差に係る閾値としてのパラメータを決定するパラメータ決定手順と、
    前記注目画素の周辺に位置する複数の周辺画素について前記注目画素とのレベル差が前記決定されたパラメータにより特定される閾値の範囲内にある周辺画素を判別して当該閾値の範囲内にある各周辺画素を用いて前記注目画素のノイズを除去するノイズ除去手順と
    をコンピュータに実行させるプログラム。

Images