JP5272219B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は画像処理に関し、特に画像のノイズ・アーティファクト等を補正する画像処理に関する。

画像信号に含まれるノイズ信号を除去する画像処理装置において、多重解像度変換を用いたノイズ除去方法が広く知られている。多重解像度変換は画像信号をフィルタバンクやラプラシアンピラミッドの手法を用いて複数の周波数帯域の信号に分割するものであり、ノイズ除去においては分割した帯域それぞれに適した強度のノイズ除去処理を行うことができるという利点を有する。

特許文献１においては、多重解像度変換手法としてウェーブレット変換を用いたノイズ低減処理が開示されている。これは原画像データに対してウェーブレット変換を施し、複数の周波数帯域成分を得た後、帯域成分毎にコアリング処理を行うことでノイズ低減処理を施す。コアリング後の帯域成分は逆ウェーブレット変換により再合成し、ノイズ低減処理がなされた画像データを得る。
特開平９−２１２６２３号公報

上記特許文献１に記載された手法は、帯域成分に対するコアリングにより、信号値の絶対値が所定の閾値以下の場合、強制的に０とする。また、この手法は放射線画像等の輝度信号に対するものであり、カラー信号に適用する場合は色信号毎に独立に処理がかかる。このため、色信号毎の相関性が考慮されず、コアリングにより相関が崩れる結果、エッジ部に偽色などの不自然なアーティファクトが発生しやすいという課題がある。

本発明は、上記事情を鑑みてなされたものであり、カラー信号に対し色信号間の相関を考慮した変換処理を施すことで不自然なアーティファクトの発生を防ぐことのできる画像処理装置、画像処理プログラムを提供することを目的としている。

本発明に係る画像処理装置は、複数の色信号から構成される映像信号に対して補正を行う画像処理装置であり、前記映像信号を２つ以上の帯域信号に分解する分解手段と、前記複数の色信号の中から補正処理対象の色信号を選択する選択手段と、前記選択手段により選択した色信号の帯域信号に対し、S/N比を推定するS/N推定手段と、前記S/N比に基づき係数を設定する係数設定手段と、前記補正処理対象の色信号の帯域信号と補正処理対象でないその他の色信号の帯域信号を前記係数に基づき加算することにより、前記選択した色信号の帯域信号に対して補正処理を行う補正手段と、を備える。

また、本発明に係る画像処理プログラムは、複数の色信号から構成される映像信号に対して補正を行う画像処理プログラムであって、前記映像信号を２つ以上の帯域信号に分解する分解ステップと、前記複数の色信号の中から補正処理対象の色信号を選択する選択ステップと、前記選択ステップにより選択した色信号の帯域信号に対し、S/N比を推定するS/N推定ステップと、前記S/N比に基づき係数を設定する係数設定ステップと、前記補正処理対象の色信号の帯域信号と補正処理対象でないその他の色信号の帯域信号を前記係数に基づき加算することにより、前記選択した色信号の帯域信号に対して補正処理を行う補正ステップと、を備える。

本発明に係る画像処理装置、画像処理プログラムによれば、多重解像度変換を用いたノイズ・アーティファクト等の補正処理に際し、ノイズを抑制し、偽色などのアーティファクトの発生を抑制した高品質な補正処理が可能となる。

以下、添付図面を参照しながら、映像信号に対しノイズ低減を行う実施形態の構成について具体的に説明する。

図１は本発明に係る撮像装置のシステム構成図であり、光学系１０１、撮像素子１０２、A/D変換部（以下、A/D）１０３、信号処理部１０４、分解部１０５、バッファ１０６、ノイズ低減部１０７、合成部１０８、出力部１０９、システムコントローラ１００からなる。

撮像素子１０２はA/D１０３を介して信号処理部１０４へ接続されている。信号処理部１０４は分解部１０５へ接続されている。分解部１０５はバッファ１０６へ接続されている。バッファ１０６はノイズ低減部１０７へ接続されている。ノイズ低減部１０７は合成部１０８を介して出力部１０９へ接続されている。

各処理部はシステムコントローラ１００と双方向に接続しており、システムコントローラ１００により動作を制御される。実線はデータ信号線、破線は制御信号線を表している。

撮像素子１０２は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子１０２面上に結像した光学像をアナログ画像信号として出力する。前記アナログ画像信号はA/D１０３へ転送される。この実施形態においては、撮像素子１０２は色フィルタアレイを前面に配置したカラー用撮像素子であるが、撮像素子１０２は、単板方式、多板方式のいずれでも良い。

A/D１０３はアナログ画像信号をデジタル信号に変換し、信号処理部１０４へ転送する。信号処理部１０４はデジタル信号に対し所定の信号処理を施し、所定の階調のカラー三板画像信号（以降、原画像信号I）を生成する。原画像信号IはR、G、Bの各色信号により構成され、以降、各色信号をIr、Ig、Ibと呼称する。原画像信号Iは分解部１０５へ転送される。

分解部１０５は、システムコントローラ１００の制御に基づき、原画像信号Iの各色信号Ir、Ig、Ibに対し、直交ウェーブレット変換を用いた所定のｎ段階（ｎは１以上の整数）の多重解像度分解を行い、分解の段階数ｉ（ｉは１以上ｎ以下の整数）の高周波成分、低周波成分を生成し、バッファ１０６へ記録する。多重解像度分解の詳細については後述する。

ノイズ低減部１０７は、システムコントローラ１００の制御に基づきバッファ１０６から分解の段階数ｉ（ｉは１以上ｎ以下の整数）の高周波成分、低周波成分を読み込む。ノイズ低減処理は分解の各段階において独立に適用される。

この実施形態におけるノイズ低減は所定の関数に基づく変換処理により実行される。ただし、色信号間では通常独立に処理がなされることが一般的であるが、本実施形態においてはカラーチャンネル間の相関を考慮した処理となっている。すなわち、所定の色信号に対する変換処理は、その他の色信号を用いた処理となっており、互いに依存している。このカラーチャンネル間の相関を考慮した変換処理は、詳細な説明は省略するが、多重解像の各段階において色信号間で定義された色差及び色和の２乗ノルムにより構成されるエネルギー汎関数を最小化することに相当する。

所定の色信号に対する処理は、処理対象外のその他の色信号の値に依存しているため、１回の変換処理が完了する毎に、順次処理対象の色信号を変更しながら並列に処理を適用する構成となっている。また、これらの処理を色信号毎に所定回数繰り返し反復処理する構成となっている。

また、上記所定の色信号の各画素におけるS/N比を推定し、これを変換処理における係数として用いている。画素毎に推定したS/N比を係数として用いているため、ノイズの量に応じてノイズ低減効果が調整される構成となっている。

上記反復処理を分解の全段階において実施することで、ノイズ低減処理を完了する。ノイズ低減処理後の各色信号の各段階における高周波成分、及び低周波成分は合成部１０８へ転送される。ノイズ低減処理の詳細については後述する。

合成部１０８は、システムコントローラ１００の制御に基づき、ノイズ低減部１０７より、上記低周波成分および上記各ノイズ低減処理がなされた高周波成分を読み込んで、多重解像度合成処理を行うことで、ノイズ低減処理がなされた画像信号を合成する。多重解像度合成処理の詳細については後述する。

合成した映像信号は出力部１０９へ転送される。出力部１０９は合成した映像信号に対して公知の圧縮処理などを行った後、メモリカードなどの記録媒体へ記録して保存する。

［分解部］
次に、図２を参照して、分解部１０５の構成について説明する。

この分解部１０５は、データ読取部２００と、バッファ２０１と、水平ハイパスフィルタ２０２と、水平ローパスフィルタ２０３と、サブサンプラ２０４、２０５と、垂直ハイパスフィルタ２０６と、垂直ローパスフィルタ２０７と、垂直ハイパスフィルタ２０８と、垂直ローパスフィルタ２０９と、サブサンプラ２１０〜２１３と、切換部２１４と、データ転送制御部２１５と、基底関数ＲＯＭ２１６と、フィルタ係数読取部２１７とを含んでいる。

信号処理部１０４は、データ読取部２００を介して、バッファ２０１へ接続されている。バッファ２０１は、水平ハイパスフィルタ２０２および水平ローパスフィルタ２０３へ接続されている。

水平ハイパスフィルタ２０２は、サブサンプラ２０４を介して、垂直ハイパスフィルタ２０６および垂直ローパスフィルタ２０７へ接続されている。水平ローパスフィルタ２０３は、サブサンプラ２０５を介して、垂直ハイパスフィルタ２０８および垂直ローパスフィルタ２０９へ接続されている。

垂直ハイパスフィルタ２０６はサブサンプラ２１０へ、垂直ローパスフィルタ２０７はサブサンプラ２１１へ、垂直ハイパスフィルタ２０８はサブサンプラ２１２へ、垂直ローパスフィルタ２０９はサブサンプラ２１３へ、それぞれ接続されている。サブサンプラ２１０〜２１３は、切換部２１４へそれぞれ接続されている。サブサンプラ２１３は、さらに、データ転送制御部２１５へも接続されている。

切換部２１４はバッファ１１０へ接続されている。データ転送制御部２１５はバッファ２０１へ接続されている。基底関数ＲＯＭ２１６はフィルタ係数読取部２１７へ接続されている。フィルタ係数読取部２１７は、水平ハイパスフィルタ２０２、水平ローパスフィルタ２０３、垂直ハイパスフィルタ２０６、垂直ローパスフィルタ２０７、垂直ハイパスフィルタ２０８、垂直ローパスフィルタ２０９へそれぞれ接続されている。

基底関数ＲＯＭ２１６には、Harr関数やDaubecies関数などのウェーブレット変換に用いられるフィルタ係数が記録されている。これらの内の、例えば、Harr関数におけるハイパスフィルタの係数を式（１）に、ローパスフィルタの係数を式（２）に、それぞれ示す。

なお、これらのフィルタ係数は、水平方向と垂直方向とに共通して用いられる。

フィルタ係数読取部２１７は、基底関数ＲＯＭ２１６からフィルタ係数を読み込んで、水平ハイパスフィルタ２０２、垂直ハイパスフィルタ２０６、垂直ハイパスフィルタ２０８へハイパスフィルタ係数を、水平ローパスフィルタ２０３、垂直ローパスフィルタ２０７、垂直ローパスフィルタ２０９へローパスフィルタ係数を、それぞれ転送する。

こうして、各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に、データ読取部２００は、信号処理部１０４から原画像信号Iを読み込んで、バッファ２０１へ転送する。

バッファ２０１上の原画像信号Iは、水平ハイパスフィルタ２０２、水平ローパスフィルタ２０３、垂直ハイパスフィルタ２０６、垂直ローパスフィルタ２０７、垂直ハイパスフィルタ２０８、垂直ローパスフィルタ２０９によって水平および垂直方向のフィルタリング処理がなされる。

ここで、サブサンプラ２０４、サブサンプラ２０５は、入力映像信号を水平方向に１／２にサブサンプリングし、サブサンプラ２１０〜２１３は入力映像信号を垂直方向に１／２にサブサンプリングする。

従って、サブサンプラ２１０の出力は水平垂直両方向の高周波成分ＨＨv１を、サブサンプラ２１１の出力は水平方向の高周波成分Ｈh１を、サブサンプラ２１２の出力は垂直方向の高周波成分Ｈv１を、サブサンプラ２１３の出力は低周波成分Ｌ１を、それぞれ与えることになる。

切換部２１４は、上記３つの高周波成分ＨＨv１、Ｈh１、Ｈv１と低周波成分Ｌ１とを、バッファ１０６へ順次転送する。

また、データ転送制御部２１５は、サブサンプラ２１３からの低周波成分Ｌ１をバッファ２０１へ転送する。

こうしてバッファ２０１上に記憶された低周波成分Ｌ１は、上述と同様のフィルタリング処理により２段階目の分解が行われて、３つの高周波成分ＨＨv2、Ｈh2、Ｈv2と低周波成分Ｌ2とが出力される。

上述したような過程は、所定のｎ段階の分解が行われるまで反復されるように制御される。ｎ段階の分解が終了すると、バッファ１０６には、高周波成分Ｈhvi、Ｈhi、Ｈviおよび低周波成分Ｌi（ｉ＝１〜ｎ）が保存されることになる。

［ノイズ低減部］
次に、図３を参照し、ノイズ低減部１０７の構成、及び具体的なノイズ低減の手順について説明する。

ノイズ低減部１０７は、ノイズ推定部３００、S/N推定部３０１、係数設定部３０２、変換部３０３、バッファ３０４、信号選択部３０５、反復制御部３０６を含んでいる。

バッファ１０６は信号選択部３０５、バッファ３０４へ接続されている。バッファ３０４は信号選択部３０５、反復制御部３０６、合成部１０８へ接続されている。反復制御部３０６は信号選択部３０５へ接続されている。信号選択部３０５はノイズ推定部３００、S/N推定部３０１、変換部３０３に接続されている。ノイズ推定部３００はS/N推定部３０１に接続されている。S/N推定部３０１は係数設定部３０２に接続されている。係数設定部３０２は変換部３０３に接続されている。変換部３０３はバッファ３０４に接続されている。

前述のようにこの実施形態におけるノイズ低減処理は、多重解像の各段階i(i=０〜N)に対して独立に処理され、かつ処理対象の色信号に関し、１回の変換処理が完了する毎に処理対象の色信号を変更する。これを各色信号につき所定回数変換処理がなされるように反復処理する構成となっている。

ここでは例として、上記色信号の処理順をR→G→B→R→G→B…とし、多重解像分解の段階i、変換処理回数ｊにおけるG信号に対する変換処理について説明する。説明中、R,G,Bの各色信号に対する多重解像分解の段階i(i=０〜N)、変換処理回数ｊ(ｊ=０〜J)における高周波成分をそれぞれR_H ^i(j),G_H ^i(j),B_H ^i(j)、低周波成分をそれぞれR_L,G_L,B_Lと表す。

初期状態においてバッファ１０６には分解直後のR_H ⁱ⁽⁰⁾,G_H ⁱ⁽⁰⁾,B_H ⁱ⁽⁰⁾、R_L,G_L,B_Lが記録されている。

バッファ３０４は変換処理後のR_H ^i(j),G_H ^i(j),B_H ^i(j)、R_L,G_L,B_Lが随時更新され上書き記録されるようになっているが、初期状態においては、所定の初期化処理によりバッファ１０６よりR_H ⁱ⁽⁰⁾,G_H ⁱ⁽⁰⁾,B_H ⁱ⁽⁰⁾、R_L,G_L,B_Lを取得し記録するようになっている。初期化処理は変換処理が開始される前に（０回目の変換処理を行う前に）一度だけ行われる。

また、反復制御部３０６には処理対象の色信号を管理するためのフラグ、及び変換処理回数を管理するためのカウンタが記録されている。

フラグは変換処理毎にR→G→B→R→G→B…信号を示すように随時更新され、カウンタはR、G、Bに対して一回ずつ変換処理が行われた時点で＋１カウントアップされる。

反復制御部３０６から制御信号により信号選択部３０５へ処理対象の色信号をG信号とするよう指示が入力されると、信号選択部３０５は処理対象の色信号をG信号と設定し、バッファ１０６からG_H ⁱ⁽⁰⁾,G_Lを取得し、バッファ３０４からR_H ^i(j),B_H ^i(j)を取得する。

信号選択部３０５はG_Lをノイズ推定部３００へ、G_H ⁱ⁽⁰⁾をS/N推定部３０１に転送し、R_H ^i(j),G_H ⁱ⁽⁰⁾,B_H ^i(j)を変換部３０３へ転送する。

ノイズ推定部３００では予め設定されたノイズモデルからG_Lに基づきG_H ^i(j)に対するノイズ量σ_nを画素毎に算出する。ノイズモデルの詳細は後述する。推定したノイズ量σ_nはS/N推定部３０１へ転送される。

S/N推定部３０１ではG_H ^i(j)に対するS/N比を推定する。注目画素位置におけるS/N比λ_Gは、ノイズ量σ_nに基づき、式（３）より算出される。

ここでｐは、注目画素を中心としてG_H ⁱ⁽⁰⁾から抽出した所定サイズの矩形領域内に含まれるM個の画素を表しており、G_H ⁱ⁽⁰⁾(p)はG_H ⁱ⁽⁰⁾の画素ｐにおける信号値を表す。この実施形態においては５×５画素領域を抽出することとし、M=25としている。Max[]はML（maximum likelihood）推定を表し、σ_s ²は注目画素に対して推定されたG_H ⁱ⁽⁰⁾の実効値を表している。算出されたλ_Gは係数設定部３０２へ転送される。

係数設定部３０２では式（４）により、処理対象であるG信号に対する係数C₁、及びその他の色信号であるR,B信号に対する係数C₂を算出する。

ここでα、βはそれぞれ色差(R_H ^i(j)-G_H ^i(j))²,(G_H ^i(j)-B_H ^i(j))²,(B_H ^i(j)-R_H ^i(j))²及び色和(R_H ^i(j)＋G_H ^i(j))²,(G_H ^i(j)＋B_H ^i(j))²,(B_H ^i(j)＋R_H ^i(j))²に対する最適化（色差及び色和の２乗ノルムにより構成されるエネルギー汎関数の最小化）の程度を調整する係数であり、通常α>β≧0に設定される。算出した係数C₁,C₂は変換部３０３へ転送される。

変換部３０３では式（５）により規定される変換関数に基づきG_H ^i(j+1)を算出する。

算出したG_H ^i(j+1)はバッファ３０４へ転送され、変換処理前のG_H ^i(j)へ上書きする。

反復制御部３０６はバッファ３０４へ変換結果が記録されると、処理対象の色信号を示すフラグを前述の順に更新し、変換回数を示すカウンタをG信号について＋１カウントアップする（この場合GをB信号へ更新し、ｊをｊ＋１に変更する）。

以上の一連の処理を処理対象の色信号をR、G、Bの順に変更しながら繰り返す。

ここで、他の色信号R,Bに対する変換処理については、G信号について導出された式（３）〜（５）において、R_H ^i(j)，G_H ^i(j),B_H ^i(j)を入れ替えた処理を行えばよい。

また、反復制御部３０６はカウンタ（反復回数）が所定の回数（j=J）に達したかどうかを随時チェックしており、各色信号についてJ回処理がなされた場合、多重解像における分解の段階iに関する変換処理を終了する。

以上の一連の変換処理を、全段階（i=0〜N）においてR,G,B信号の全帯域信号に対し行うことで、処理を完了する。

バッファ３０４に上書きされたR_H ^i(J),G_H ^i(J),B_H ^i(J)は合成部１０８へ転送される。

また、上記の処理では色差、色和を考慮して変換関数を構成したが、色差のみを考慮する場合は式（４）、式（５）において、βを０に置換した係数C₁,C₂を用いた変換関数を規定し、色和のみを考慮する場合は、αを０に置換した係数C₁,C₂を用いた変換関数を規定すればよい。

なお、本実施形態においては画素毎にS/N比を推定しているが、全画素に対して固定のS/N比を設定し処理する構成としても良い。

［ノイズ推定部］
次に、図４を参照して、ノイズ推定部３００におけるノイズ量の推定方法について説明する。

ノイズ量の推定において、原画像信号Iに対し、あらかじめ実測に基づき測定された信号レベル−ノイズモデル（以降、ノイズモデル）を記録しておき、ノイズモデルを参照することで、原画像信号Iの信号値に対するノイズ量σを推定することが可能である。以下ノイズモデルの詳細について説明する。

ノイズ量σは、A/D１０３変換直後の信号レベルに対しては２次曲線的に増加する。これを特開2005-175718公報に開示されているように信号レベル−ノイズ分散モデルを２次関数で表すと、式（６）が得られる。

ここで、α、β、γは定数項であり、LはA/D１０３変換直後の信号レベルを表す。しかしながら、ノイズ量σは信号レベルだけではなく、素子の温度やゲインによっても変化する。図４は、一例として、ある温度tにおけるゲインに関連する３種類のISO感度（ゲイン）１００、２００、４００に対するノイズ量σをプロットしている。個々の曲線は式（６）に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形でノイズモデルの定式化を行うと式（７）と表すことができる。

となる。ここで、α_gt、β_gt、γ_gtは温度t、ゲインgに応じて決まる定数項である。カラー映像信号の場合、このノイズモデルは各色信号に対して独立に適用する。

また、ウェーブレット変換等の多重解像度変換により分解された各色信号それぞれに対する各高周波成分に関しても同様に、式（８）に示すようなノイズモデルを構築することが可能である。

ここでσ_Hiは分解の段階iの高周波成分のノイズ量を、L₀は低周波成分の信号値を表す。また、α_gti、β_gti、γ_gtiは温度t、ゲインg、分解の段階iに応じて決まる定数項である。

なお、L₀には分解の段階nにおける最低周波成分（直流成分）を用いることが好ましいが、これに限定されるものではなく、例えば、原画像に対して線形、または非線形平滑化処理を適用し算出した低周波成分、もしくは原画像を直接用いる構成としても良い。

ノイズ推定部３００では、各色信号の高周波成分毎に、予め実測に基づき設定した上述のノイズモデルを参照することでノイズ量を推定し、S/N推定部３０１へ転送する。

［合成部］
次に、図５を参照して、合成部１０８の作用について説明する。

合成部１０８は、データ読取部５００と、切換部５０１と、アップサンプラ５０２〜５０５と、垂直ハイパスフィルタ５０６と、垂直ローパスフィルタ５０７と、垂直ハイパスフィルタ５０８と、垂直ローパスフィルタ５０９と、アップサンプラ５１０、５１１と、水平ハイパスフィルタ５１２と、水平ローパスフィルタ５１３と、バッファ５１４と、データ転送制御部５１５と、基底関数ＲＯＭ５１６と、フィルタ係数読取部５１７と、を含んでいる。

ノイズ低減部１０７は、データ読取部５００を介して切換部５０１へ接続されている。切換部５０１は、アップサンプラ５０２〜５０５へ接続されている。

アップサンプラ５０２は垂直ハイパスフィルタ５０６へ、アップサンプラ５０３は垂直ローパスフィルタ５０７へ、アップサンプラ５０４は垂直ハイパスフィルタ５０８へ、アップサンプラ５０５は垂直ローパスフィルタ５０９へ、それぞれ接続されている。

垂直ハイパスフィルタ５０６と垂直ローパスフィルタ５０７とは、アップサンプラ５１０へそれぞれ接続されている。垂直ハイパスフィルタ５０８と垂直ローパスフィルタ５０９とは、アップサンプラ５１１へそれぞれ接続されている。

アップサンプラ５１０は水平ハイパスフィルタ５１２へ、アップサンプラ５１１は水平ローパスフィルタ５１３へ、それぞれ接続されている。水平ハイパスフィルタ５１２と水平ローパスフィルタ５１３とは、バッファ５１４へそれぞれ接続されている。バッファ５１４は、出力部１０９とデータ転送制御部５１５とへそれぞれ接続されている。

データ転送制御部５１５は切換部５０１へ接続されている。基底関数ＲＯＭ５１６はフィルタ係数読取部５１７へ接続されている。フィルタ係数読取部５１７は、垂直ハイパスフィルタ５０６と垂直ローパスフィルタ５０７と垂直ハイパスフィルタ５０８と垂直ローパスフィルタ５０９と水平ハイパスフィルタ５１２と水平ローパスフィルタ５１３とへそれぞれ接続されている。

基底関数ＲＯＭ５１６には、Harr関数やDaubechies関数などの逆ウェーブレット変換に用いられるフィルタ係数が記録されている。

フィルタ係数読取部５１７は、基底関数ＲＯＭ５１６からフィルタ係数を読み込んで、垂直ハイパスフィルタ５０６、垂直ハイパスフィルタ５０８、水平ハイパスフィルタ５１２へハイパスフィルタ係数を、垂直ローパスフィルタ５０７、垂直ローパスフィルタ５０９、水平ローパスフィルタ５１３へローパスフィルタ係数を、それぞれ転送する。

こうして、各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に、データ読取部５００は、バッファ１１０からノイズ低減処理がなされた三種類の高周波成分ＨＨv"n、Ｈh"n、Ｈv"nおよび低周波成分Ｌnを読み込んで、切換部５０１へ転送する。

切換部５０１は、高周波成分ＨＨv"nをアップサンプラ５０２を介して垂直ハイパスフィルタ５０６へ、高周波成分Ｈh"nをアップサンプラ５０３を介して垂直ローパスフィルタ５０７へ、高周波成分Ｈv"nをアップサンプラ５０４を介して垂直ハイパスフィルタ５０８へ、低周波成分Ｌnをアップサンプラ５０５を介して垂直ローパスフィルタ５０９へ、それぞれ転送し、垂直方向のフィルタリング処理を実行させる。

さらに、垂直ハイパスフィルタ５０６および垂直ローパスフィルタ５０７からの周波数成分はアップサンプラ５１０を介して水平ハイパスフィルタ５１２へ、垂直ハイパスフィルタ５０８および垂直ローパスフィルタ５０９からの周波数成分はアップサンプラ５１１を介して水平ローパスフィルタ５１３へ、それぞれ転送されて、水平方向のフィルタリング処理がなされる。水平ハイパスフィルタ５１２および水平ローパスフィルタ５１３からの周波数成分は、バッファ５１４へ転送されて一つに合成されることにより、ノイズ低減処理がなされた低周波成分Ｌ"n-１が生成される。

ここで、アップサンプラ５０２〜５０５は入力周波数成分を垂直方向に２倍にアップサンプリングするものであり、アップサンプラ５１０、５１１は入力周波数成分を水平方向に２倍にアップサンプリングするものである。

データ転送制御部５１５は、バッファ５１４から低周波成分Ｌ"n-１を読み出して、読み出した低周波成分Ｌ"n-１を切換部５０１へ転送する。

また、データ読取部５００は、バッファ１１０から補正処理がなされた三種類の高周波成分ＨＨv"n-１、Ｈh"n-１、Ｈv"n-１を読み込んで、切換部５０１へ転送する。

その後、分解の段階数ｎ−１の周波数成分に対して、上述と同様のフィルタリング処理がなされ、低周波成分Ｌ"n-2がバッファ５１４へ出力される。このような過程は、所定のｎ段階の合成が行われるまで反復される。こうしてバッファ５１４には、最終的に、補正処理がなされた低周波成分Ｌ”０が出力される。そしてバッファ５１４は、この低周波成分Ｌ”０を出力部１０９へ転送する。

［ソフトウェアによる処理］
上記実施形態はハードウェア処理により本発明に係る画像処理を行う構成であるが、本発明はこのような構成に限定されるものではなく、ソフトウェア処理により本発明に係る画像処理を行うようにしてもよい。

例えば、撮像素子１０２からの原画像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、ISO感度などの撮像条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理するようにしてもよい。撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行う構成に限らず、通信回線等を介して行う構成であって構わない。

図６は、本発明に係る画像処理をソフトウェア処理により行う場合の画像処理プログラムのメインルーチンのフローチャートである。以下、これについて説明する。なお、各ステップにおける多重解像度分解処理、S/N比の推定、ノイズ低減処理等の処理は上記ハードウェア処理における処理と同一であるので、それらの詳細な説明については省略する。

この処理を開始すると、まず映像信号を読み込むとともに、撮像素子１０２の温度や露光条件、画像処理条件などのヘッダ情報を読み込む（ステップS01）。

次に、原画像信号を構成する色信号毎に分解の段階数をnとする多重解像度分解を行い、各帯域信号を取得する（ステップS02）。

次に、ノイズ低減反復回数を示す変数jを０に初期化する（ステップS03）。

次に、変数jを１増分する（ステップS04）。

次に、ノイズ低減対象色信号を示す変数kを０に初期化する（ステップS05）。

次に、変数kを１増分する（ステップS06）。

次に、kの値に基づき、ノイズ低減対象の色信号に対する帯域信号を選択する。例えばR,G,B信号に対する処理の場合は、k=1の場合R信号、k=2の場合G信号、k=3の場合B信号を選択する（ステップS07）。

次に、ノイズモデルに基づき、処理対象の色信号の帯域信号に対するノイズ量を推定する（ステップS08）。

次に、ステップS08で推定したノイズ量に基づき式（３）によりS/N比を推定する（ステップS09）。

次に、ステップS09で推定したS/N比に基づき式（４）により係数C₁,C₂を設定する（ステップS10）。

次に、C₁,C₂に基づき処理対象の色信号の帯域信号と、その他の色信号の帯域信号から式（５）により規定される変換関数による変換処理を行う（ステップS11）。

次に、変数kが所定の回数Kに達したかをチェックし、達しない場合、ステップS04へ戻る。達した場合全色信号に対する処理が終了したこととし、ステップS13へ進む（ステップS12）。

次に、変数ｊが所定の回数Jに達したかをチェックし、達しない場合、ステップS06へ戻る。達した場合色信号毎のノイズ低減処理回数がJ回実行されたこととし、ステップS14へ進む（ステップS13）。

次に、ノイズ低減処理がなされた各帯域信号を用いて多重解像度合成を行い、ノイズ低減がなされた映像信号を生成する（ステップS14）。

最後に公知の圧縮処理などを行った後、処理後の映像信号を出力して（ステップS15）、一連の処理を終了する。

このように、本発明に係る画像処理はソフトウェア処理により実現することも可能である。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一つを示したに過ぎず、本発明の適用範囲を上記実施形態の具体的構成に限定する趣旨ではない。

本発明に係る撮像装置のシステム構成図である。 分解部の構成図である。 ノイズ低減部の構成図である。 ノイズモデルを説明するための図である。 合成部の構成図である。 本発明に係る画像処理をソフトウェア処理により実現する場合のメインルーチンのフローチャートである。

符号の説明

１０５ 分解部
１０７ ノイズ低減部
３０１ S/N推定部
３０２ 係数設定部
３０３ 変換部
３０５ 信号選択部

Claims (12)

1. 複数の色信号から構成される映像信号に対して補正を行う画像処理装置であって、
   前記映像信号を２つ以上の帯域信号に分解する分解手段と、
   前記複数の色信号の中から補正処理対象の色信号を選択する選択手段と、
   前記選択手段により選択した色信号の帯域信号に対し、S/N比を推定するS/N推定手段と、
   前記S/N比に基づき係数を設定する係数設定手段と、
   前記補正処理対象の色信号の帯域信号と補正処理対象でないその他の色信号の帯域信号を前記係数に基づき加算することにより、前記選択した色信号の帯域信号に対して補正処理を行う補正手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記補正手段は前記選択した色信号の帯域信号に対して次式：
   

   

   M^(j+1) ：j+1回前記補正処理を行った後の前記補正処理対象の色信号の帯域信号
   M⁽⁰⁾ ：前記補正処理前の前記補正処理対象の色信号の帯域信号
   S^(j) ：j回前記補正処理を行った後の前記補正処理対象でないその他の色信号の帯域信号
   C₁, C₂：前記係数設定手段により設定された係数
   により前記補正処理を行うことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記係数設定手段は前記S/N比に基づき次式：
   

   

   O_H ^i(j+1)：j+1回前記補正処理を行った後の前記補正処理対象の色信号の帯域信号
   O_H ⁱ⁽⁰⁾ ：前記補正処理前の前記補正処理対象の色信号の帯域信号
   M_H ^i(j) ：j回前記補正処理を行った後の前記補正処理対象でないその他の色信号の帯域信号
   C₁：前記補正処理対象の色信号の帯域信号に対する係数
   C₂：前記補正処理対象でないその他の色信号の帯域信号に対する係数
   λ：前記S/N比
   α、β：所定の定数
   により前記係数の設定を行うことを特徴とする画像処理装置。
4. 請求項１から３のいずれか一つに記載の画像処理装置において、
   前記補正処理が行われる毎に補正処理対象の色信号を変更し、前記分解手段、前記S/N推定手段、前記係数設定手段、前記補正手段を順次適用し、全ての色信号の帯域信号に対し所定回数の前記補正処理がなされるまで反復処理するよう制御する制御手段を備えることを特徴とする画像処理装置。
5. 請求項１から４のいずれか一つに記載の画像処理装置において、
   前記映像信号または前記帯域信号に対するノイズ量を推定するノイズ推定手段を備え、
   前記S/N推定手段は、前記ノイズ量に基づきS/N比を推定することを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記ノイズ推定手段は、前記帯域信号の最低周波成分に基づきノイズ量を推定することを特徴とする画像処理装置。
7. 請求項１から６のいずれか一つに記載の画像処理装置において、
   前記分解手段は、直交ウェーブレット変換を用いるものであることを特徴とする画像処理装置。
8. 請求項１から７のいずれか一つに記載の画像処理装置において、
   前記ノイズ低減後の複数の帯域信号を合成する合成手段を備えることを特徴とする画像処理装置。
9. コンピュータに、複数の色信号から構成される映像信号に対して補正処理を行なわせる画像処理プログラムであって、
   前記コンピュータに、
   前記映像信号を２つ以上の帯域信号に分解する分解ステップと、
   前記複数の色信号の中から補正処理対象の色信号を選択する選択ステップと、
   前記選択ステップにより選択した色信号の帯域信号に対し、S/N比を推定するS/N推定ステップと、
   前記S/N比に基づき係数を設定する係数設定ステップと、
   前記補正処理対象の色信号の帯域信号と補正処理対象でないその他の色信号の帯域信号を前記係数に基づき加算することにより、前記選択した色信号の帯域信号に対して補正処理を行う補正ステップと、
   を実行させることを特徴とする画像処理プログラム。
10. 請求項９に記載の画像処理プログラムにおいて、
    前記補正ステップでは、前記選択した色信号の帯域信号に対して次式：
    

    

    M^(j+1) ：j+1回前記補正処理を行った後の前記補正処理対象の色信号の帯域信号
    M⁽⁰⁾ ：前記補正処理前の前記補正処理対象の色信号の帯域信号
    S^(j) ：j回前記補正処理を行った後の前記補正処理対象でないその他の色信号の帯域信号
    C₁, C₂：前記係数設定ステップにより設定された係数
    により前記補正処理を前記コンピュータに行わせることを特徴とする画像処理プログラム。
11. 請求項１０に記載の画像処理プログラムにおいて、
    前記係数設定ステップでは、前記S/N比に基づき次式：
    

    

    O_H ^i(j+1)：j+1回前記補正処理を行った後の前記補正処理対象の色信号の帯域信号
    O_H ⁱ⁽⁰⁾ ：前記補正処理前の前記補正処理対象の色信号の帯域信号
    M_H ^i(j) ：j回前記補正処理を行った後の前記補正処理対象でないその他の色信号の帯域信号
    C₁：前記補正処理対象の色信号の帯域信号に対する係数
    C₂：前記補正処理対象でないその他の色信号の帯域信号に対する係数
    λ：前記S/N比
    α、β：所定の定数
    により前記係数の設定を前記コンピュータに行わせることを特徴とする画像処理プログラム。
12. 請求項９から１１のいずれか一つに記載の画像処理プログラムにおいて、
    前記コンピュータに、
    前記補正処理が行われる毎に補正処理対象の色信号を変更し、前記分解ステップ、前記S/N推定ステップ、前記係数設定ステップ、前記補正ステップを順次適用し、全ての色信号の帯域信号に対し所定回数の前記補正処理がなされるまで反復処理するよう制御する制御ステップ、
    をさらに実行させることを特徴とする画像処理プログラム。

Images