JP3887639B2 - 信号処理装置 - Google Patents

Description

本発明は信号処理装置に関し、特に、入力された信号を分光感度特性により周波数分解し、情報量が多い分光感度特性の高周波成分を、情報量が少ない他の分光感度特性の高周波成分の推定に用いる信号処理装置に関する。

近年、安価かつ軽量な単板式撮像素子を用いた画像入力装置が普及している。このような単板式撮像素子では、一枚の撮像素子から被写体の色情報を得るために、受光面上に色フィルタをモザイク状に配置している。図１８は、一般的に用いられているシアン（Ｃｙ）、マゼンタ（Ｍｇ）、イエロー（Ｙｅ）、グリーン（Ｇ）の補色モザイクフィルタの配置を示す。

図１８において、偶数フィールドのｎラインとｎ＋１ラインに対応する輝度信号をＹ_o,n 、Ｙ_o,n+1 、色差信号をＣ_o,n 、Ｃ_o,n+1 とする。同様に奇数フィールドのｎラインとｎ＋１ラインに対応する輝度信号をＹ_e,n 、Ｙ_e,n+1 、色差信号をＣ_e,n 、Ｃ_e,n+1 とすると、これらの信号は次式で示される。

Ｙ_o,n ＝Ｙ_o,n+1 ＝Ｙ_e,n ＝Ｙ_e,n+1 ＝２Ｒ＋３Ｇ＋２Ｂ （１）
Ｃ_o,n ＝Ｃ_e,n ＝２Ｒ−Ｇ （２）
Ｃ_o,n+1 ＝Ｃ_e,n+1 ＝２Ｂ−Ｇ （３）
ただし、Ｃｙ、Ｍｇ、Ｙｅはグリーン（Ｇ）、レッド（Ｒ）、ブルー（Ｂ）を用いて次式で示される。

Ｃｙ＝Ｇ＋Ｂ （４）
Ｍｇ＝Ｒ＋Ｂ （５）
Ｙｅ＝Ｒ＋Ｇ （６）
（１）式で示されるように、輝度信号は偶数フィールド、奇数フィールドの全ラインで生成される。これに対し、（２）、（３）式で示されるように２つの色差信号は１ラインごとにしか生成されず、補間により欠落するラインを補っている。この後マトリックス演算を行うことでＲ、Ｇ、Ｂの三原色を得ることができる。このような方法では、色信号は輝度信号に対して１／２の情報量しかないことになる。

これに対して特開平５−５６４４６号公報は、前記のように色差信号のみで単純な補間を行うのでなく、輝度信号の成分を用いて色差信号を補正する方法を開示している。すなわち、輝度信号Ｙと色信号Ｃをローパスフィルタによって処理することでそれぞれの低周波成分Ｙ_low とＣ_low とを得、これを用いて以下に示すように補正後の色信号Ｃ′を表現している。

Ｃ′＝Ｙ（Ｃ_low ／Ｙ_low ） （７）
これは、補正後の色差信号Ｃ′が輝度信号を補正したもので置き換えられることを意味している。

しかしながら、前記した従来技術は、線形補間や輝度信号を補正したもので置換することにより色信号を補っているのみで、入力信号以上の高周波成分を生成するという点については対応することができない。

本発明はこのような課題に着目してなされたものであり、その目的とするところは、入力信号以上の高周波成分を生成してコントラストを強調し、視覚的に良好な出力信号が得られる信号処理装置を提供することにある。

上記の目的を達成するために、本発明の第１の態様に係る信号処理装置は、複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、情報量が多い分光感度特性の信号を低周波成分と高周波成分とに分解する周波数分解手段と、この周波数分解手段によって分解された高周波成分に対し、１より大なる係数αを乗算する高周波強調手段と、この高周波強調手段で強調された高周波成分と前記低周波成分とを合成して得られる信号について所定の範囲を逸脱している画素数の割合を算出する誤差算出手段と、この誤差算出手段による算出結果に基づき、前記係数αの値を制御する制御手段と、を具備する。

また、本発明の第２の態様に係る信号処理装置は、第１の態様において、前記制御手段は、前記誤差算出手段により算出された割合が所定の閾値を超える場合には前記係数αを減少させ、前記誤差算出手段により算出された割合が所定の閾値を超えない場合には前記係数αを増加させて、前記高周波強調手段にて再度強調処理を行わせるように制御する。
また、本発明の第３の態様に係る信号処理装置は、複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、情報量が多い分光感度特性の信号を低周波成分と高周波成分とに分解する周波数分解手段と、この周波数分解手段によって分解された低周波成分に対し、正規化された信号を係数βでべき乗して強調する基準信号低周波強調手段と、この基準信号低周波強調手段によって強調された低周波成分と、前記高周波成分とを合成し、合成された信号が所定の範囲を逸脱している割合を算出する誤差算出手段と、この誤差算出手段による算出結果に基づき、前記係数βの値を制御する制御手段と、前記周波数分解手段によって分解された高周波成分を所定の領域に分割し、分割された各領域ごとに、前記基準信号低周波強調手段で用いた係数βから所定の関係式により導かれる係数γを乗算する基準信号高周波強調手段と、情報量の少ない分光感度特性の信号に対し、正規化された信号を前記係数βでべき乗する従属信号低周波強調手段と、を具備する。

本発明によれば、入力信号以上の高周波成分を生成してコントラストを強調し、視覚的に良好な出力信号が得られる信号処理装置を提供することができる。

以下に、図面を参照して本発明の実施形態を詳細に説明する。

図１は本発明の第１実施形態の構成を示す図である。図１において、ＴＶカメラなどの入力部１０１は、Ｒ信号用バッファ１０２、Ｂ信号用バッファ１０３、Ｇ信号用バッファ１０４に接続されている。Ｇ信号用バッファ１０４の出力は、ウェーブレット変換部１０５を介して、Ｇ信号低周波用バッファ１０６、Ｇ信号高周波用バッファ１０７に接続されている。Ｇ信号低周波用バッファ１０６の出力はＲ信号相関係数算出部１０８、Ｂ信号相関係数算出部１０９に接続され、Ｇ信号高周波用バッファ１０７の出力はＲ信号高周波生成部１１０、Ｂ信号高周波生成部１１１に接続されている。Ｒ信号用バッファ１０２の出力は、Ｒ信号相関係数算出部１０８、Ｒ信号逆ウェーブレット変換部１１２に接続され、Ｂ信号用バッファ１０３の出力は、Ｂ信号相関係数算出部１０９、Ｂ信号逆ウェーブレット変換部１１３に接続されている。

Ｒ信号相関係数算出部１０８はＲ信号高周波生成部１１０へ接続されており、Ｒ信号高周波生成部１１０はＲ信号逆ウェーブレット変換部変換部１１２へ接続されている。Ｂ信号相関係数算出部１０９はＢ信号高周波生成部１１１へ接続されており、Ｂ信号高周波生成部１１１はＢ信号逆ウェーブレット変換部１１３へ接続されている。Ｇ信号用バッファ１０４、Ｒ信号逆ウェーブレット変換部１１２、Ｂ信号逆ウェーブレット変換部１１３の出力は、磁気ディスクなどの出力部１１４に接続されている。また、マイクロコンピュータなどの制御部１１５は、入力部１０１、Ｒ信号相関係数算出部１０８、Ｂ信号相関係数算出部１０９、Ｒ信号高周波生成部１１０、Ｂ信号高周波生成部１１１、出力部１１４に接続されている。

以下に、前記した構成の作用を信号の流れに従って説明する。入力部１０１からのＲＧＢ三信号は制御部１１５の制御により、Ｒ信号用バッファ１０２、Ｂ信号用バッファ１０３、Ｇ信号用バッファ１０４に転送される。Ｇ信号用バッファ１０４内のＧ信号は、ウェーブレット変換部１０５に転送され、所定の基底関数、例えばＨａｒｒ関数を用いてウェーブレット変換される。この変換後の低周波成分はＧ信号低周波用バッファ１０６へ、高周波成分はＧ信号高周波用バッファ１０７へ出力される。

また、Ｒ信号相関係数算出部１０８は、Ｒ信号用バッファ１０２内のＲ信号とＧ信号低周波用バッファ１０６内のＧ信号の低周波成分との間の色相関係数を算出する。同様にＢ信号相関係数算出部１０９は、Ｂ信号用バッファ１０３内のＢ信号とＧ信号低周波用バッファ１０６内のＧ信号の低周波成分との間の色相関係数を算出する。各々の色相関係数は、Ｒ信号高周波生成部１１０とＢ信号高周波生成部１１１へ転送されて、Ｇ信号高周波用バッファ１０７内のＧ信号の高周波成分と乗算され、Ｒ信号およびＢ信号の高周波成分が合成される。

Ｒ信号逆ウェーブレット変換部１１２では、Ｒ信号用バッファ１０２内のＲ信号（低周波成分）と、Ｒ信号高周波生成部１１０で合成されたＲ信号の高周波成分とに基づいて逆ウェーブレット変換を行い、高精細なＲ信号を出力部１１４へ転送する。同様に、Ｂ信号逆ウェーブレット変換部１１３はＢ信号用バッファ１０３内のＢ信号（低周波成分）と、Ｂ信号高周波生成部１１１で合成されたＢ信号の高周波成分とに基づいて逆ウェーブレット変換を行い、高精細なＢ信号を出力部１１４へ転送する。また、Ｇ信号バッファ１０４のＧ信号も出力部１１４へ転送されるので、出力部１１４からはＲＧＢ三信号が出力される。

図２は図１の入力部１０１の具体的構成の一例を示す図である。図２に示すように、光学系２００に対向してＧ信号用ＣＣＤ２０１と、Ｒ、Ｂ信号用ＣＣＤ２０２が配置されている。以下では、Ｇ信号の画素数をｓ×ｓ、Ｒ信号およびＢ信号の画素数をｓ／２×ｓ／２と想定する。Ｇ信号用ＣＣＤ２０１の出力は、Ａ／Ｄ２０３、ローパスフィルタ２０６を介してサイズｓ×ｓのデジタル信号Ｇ_0LL としてＧ信号用バッファ１０４に保存される。また、Ｒ、Ｂ信号用ＣＣＤ２０２の出力は、Ａ／Ｄ２０４、Ｒ／Ｂ分離回路２０５で分離された後、Ｒ信号についてはローパスフィルタ２０７を介して、サイズｓ／２×ｓ／２のデジタル信号Ｒ_1LL としてＲ信号用バッファ１０２に転送される。また、Ｂ信号についてはローパスフィルタ２０８を介して、サイズｓ／２×ｓ／２のデジタル信号Ｂ_1LL としてＢ信号用バッファ１０３に転送される。Ｇ信号用ＣＣＤ２０１とＲ、Ｂ信号用ＣＣＤ２０２は、クロックジェネレータ２０９からのクロックに基づいて動作するＧ信号用ＣＣＤ駆動回路２１０とＲ、Ｂ信号用ＣＣＤ駆動回路２１１とにそれぞれ接続されている。

図３は、図１のウェーブレット変換部１０５の具体的構成の一例を示す説明図である。図３に示すように、基底関数記録部３０３には、Ｈａｒｒ関数などの汎用的な基底関数の情報が記録されている。図４（ａ）、（ｂ）は、基底関数として用いたＨａｒｒ関数に関する説明図である。Ｈａｒｒ関数は、図４（ａ）で示されるハイパスフィルタと、図４（ｂ）で示されるローパスフィルタからなる。これらのフィルタは、次式で定義されるものである。なお、これらのフィルタは、水平および垂直方向に共通に用いられる。

水平、垂直ハイパスフィルタ＝｛０．５，−０．５｝ （８）
水平、垂直ローパスフィルタ＝｛０．５，０．５｝ （９）
フィルタ係数読取部３０４は制御部１１５の制御により、基底関数記録部３０３から所定の基底関数のフィルタ係数を読み込み、水平ハイパスフィルタ３０５、水平ローパスフィルタ３０６、垂直ハイパスフィルタ３０９、垂直ローパスフィルタ３１０、垂直ハイパスフィルタ３１１、垂直ローパスフィルタ３１２へ転送する。データ読取部３０１は制御部１１５の制御の基に、Ｇ信号用バッファ１０４上の信号Ｇ_0LL を読み取ってバッファ３０２へ転送する。バッファ３０２上のデータは、図３に示すように多段階のフィルタリング処理が施された後、最終的に出力切替部３１７を経由してＧ信号低周波用バッファ１０６及びＧ信号高周波用バッファ１０７へ出力される。

ここでサブサンプラ３０７，３０８，３１３，３１４，３１５，３１６は、入力データ数を１／２にサブサンプリングする機能を有する。サブサンプラ３１３の出力は水平垂直両方向の高周波成分を、サブサンプラ３１４の出力は垂直の高周波成分を、サブサンプラ３１５の出力は水平の高周波成分を、サブサンプラ３１６の出力は低周波成分を与える。また、データ転送制御部３１８は制御部１１５の制御の基に、サブサンプラ３１６の出力を所定の回数だけバッファ３０２へ転送し、再度フィルタリング処理させる。これにより、段階的に周波数別の展開係数が算出される。本実施形態では、Ｇ信号のサイズをｓ×ｓ、Ｒ信号およびＢ信号のサイズをｓ／２×ｓ／２と想定しているため、Ｇ信号に１回のフィルタリング処理を行う。変換の回数は変換後の低周波成分がＲ信号およびＢ信号と同サイズになるように決められる。出力切替部３１７は制御部１１５の制御の基に、サブサンプラ３１３，３１４，３１５からの出力Ｇ_1HH 、Ｇ_1HL 、Ｇ_1LH をＧ信号高周波用バッファ１０７へ、サブサンプラ３１６の出力Ｇ_1LL をＧ信号低周波用バッファ１０６へ切り替えて転送する。

図５の（ａ）〜（ｇ）は、前記した信号処理の流れを示す図である。図５ではＲ信号とＧ信号に関してのみ示してあるが、Ｂ信号とＧ信号に関しても同様である。図５の（ａ）、（ｂ）は、Ｇ信号用バッファ１０４上の信号Ｇ_0LL とＲ信号用バッファ１０２上のＲ_1LL とを示す。図５の（ｃ）、（ｄ）は、それぞれ前記のウェーブレット変換部１０５で周波数分解されたＧ信号低周波用バッファ１０６上の信号Ｇ_1LL とＧ信号高周波用バッファ１０７上の信号Ｇ_1HH 、Ｇ_1HL 、Ｇ_1LH を示す。ここで、図５の（ｂ）のＲ_1LL と（ｃ）のＧ_1LL は同サイズのデータであるとしている。図１に示すＲ信号相関係数算出部１０８は、信号Ｇ_1LL と信号Ｒ_1LL 間で次式の相関係数を算出する。

ここで、ｉは信号Ｒ_1LL と信号Ｇ_1LL のデータの座標を意味する。すなわち、相関係数ε_G,B は同一座標にある信号Ｇ_1LL と信号Ｒ_1LL との間で画素単位で算出される。この相関係数はＲ信号高周波生成部１１０へ転送され、Ｇ信号高周波用バッファ１０７上の信号Ｇ_1HH 、Ｇ_1HL 、Ｇ_1LH と乗算されて、図５の（ｆ）のＲ信号の高周波成分Ｒ_1HH ，Ｒ_1HL ，Ｒ_1LH が生成される。

図５の（ｇ）は、Ｒ信号高周波生成部１１０で生成された高周波成分Ｒ_1HH 、Ｒ_1HL 、Ｒ_1LH と、Ｒ信号用バッファ１０２上の信号Ｒ_1LL とをＲ信号逆ウェーブレット変換部１１２で逆ウェーブレット変換して算出された高精細なＲ信号Ｒ_0LL を示す。

図６は、Ｒ信号逆ウェーブレット変換部１１２の具体的構成の一例を示す説明図である。図６においてはＲ信号逆ウェーブレット変換部１１２に関して示してあるが、Ｂ信号逆ウェーブレット変換部１１３に関しても同一の構成とすることができる。基底関数記録部４０３には、Ｈａｒｒ関数などの汎用的な基底関数の情報が記録されている。ウェーブレット変換部１０５とＲ信号逆ウェーブレット変換部１１２で用いられるフィルター情報は同一である。ウェーブレット変換におけるハイパスフィルタをｇ（ｎ）、ローパスフィルタをｈ（ｎ）、逆ウェーブレット変換におけるハイパスフィルタをｇ′（ｎ）、ローパスフィルタをｈ′（ｎ）とする。両者の関係は、直交ウェーブレットの場合、ｇ′（ｎ）＝ｇ（−ｎ）、ｈ′（ｎ）＝ｈ（−ｎ）となり、ウェーブレット変換のフィルタ情報から算出できる。

フィルタ係数読取部４０４は制御部１１５の制御の基に、所定の基底関数のフィルタ係数を読み込み、垂直ハイパスフィルタ４１２、垂直ローパスフィルタ４１０、垂直ハイパスフィルタ４１１、垂直ローパスフィルタ４１２、水平ローパスフィルタ４１５、水平ハイパスフィルタ４１６へ転送する。データ読取部４０１と入力切替部４０２は制御部１１５の制御の基に、Ｒ信号用バッファ１０２とＲ信号高周波生成部１１０からのデータを各フィルタへ転送する。このデータに対して図６に示すように多段階のフィルタリング処理が施されて、その結果が最終的に出力切替部４１７を経由して出力部１１４またはデータ転送制御部４１８へ出力される。

ここでアップサンプラ４０５，４０６，４０７，４０８，４１３，４１４は、入力データ数を２倍にアップサンプリングする機能を有する。制御部１１５はデータ転送制御部４１８を制御して、出力切替部４１７の出力を所定の回数だけ入力切替部４０２へ転送し、再度フィルタリング処理を行わせる。これにより、段階的に画像が再構成される。本実施形態では、Ｒ信号およびＢ信号のサイズをｓ／２×ｓ／２と想定しているため、１回のフィルタリング処理を行う。図５の（ｇ）は、逆ウェーブレット変換を行い再構築された再生画像を示す。

前記したように第１実施形態では、入力信号のうち最も画素数の多いＧ信号をウェーブレット変換により高周波成分と低周波成分に分解し、このうち低周波成分を用いて他の信号との相関係数を求め、得られた相関係数をＧ信号の高周波成分と乗算することで他の信号の高周波成分を生成する。このとき低周波成分については本来の信号をそのまま用い、高周波成分については適用的に、すなわち、生成される高周波成分を画素単位で制御しつつ付加するようにしたので、色信号の高周波成分を高精度で補正することができ、これによって、エラーの発生が少なく高精細な出力画像が得られる。

また、ウェーブレット変換は近傍画素の情報を共有し合うため、画素単位で高周波成分を制御しても連続性が良く、高画質な再生画像が得られる。

以下に、本発明の第２実施形態を説明する。図７は第２実施形態の構成を示す図である。図７において、ＴＶカメラなどの入力部５０１は、Ｒ信号用バッファ５０２、Ｇ信号用バッファ５０３、Ｂ信号用バッファ５０４を介して入力切替部５０５に接続されている。入力切替部５０５の出力は出力部５２０に直接接続されるとともに、ＤＣＴ変換部５０６、出力切替部５０７を介してＲ信号周波数成分バッファ５０８、Ｇ信号周波数成分バッファ５０９、Ｂ信号周波数成分バッファ５１０に接続されている。Ｒ信号周波数成分バッファ５０８の出力はＲ信号相関係数算出部５１１、入力切替部５１５に接続され、Ｇ信号周波数成分バッファ５０９の出力はＲ信号相関係数算出部５１１、Ｂ信号相関係数算出部５１２、Ｒ信号高周波生成部５１３、Ｂ信号高周波生成部５１４に接続され、Ｂ信号周波数成分バッファ５１０の出力はＢ信号相関係数算出部５１２、入力切替部５１５に接続されている。

さらにＲ信号高周波生成部５１３とＢ信号高周波生成部５１４の出力は、入力切替部５１５、逆ＤＣＴ変換部５１６、出力切替部５１７を介して補正Ｒ信号用バッファ５１８、補正Ｂ信号用バッファ５１９に接続されている。補正Ｒ信号用バッファ５１８、補正Ｂ信号用バッファ５１９は、磁気ディスクなどの出力部５２０に接続されている。また、マイクロコンピュータなどの制御部５２１は、入力部５０１、入力切替部５０５、出力切替部５０７、Ｒ信号相関係数算出部５１１、Ｂ信号相関係数算出部５１２、Ｒ信号高周波生成部５１３、Ｂ信号高周波生成部５１４、入力切替部５１５、出力切替部５１７、出力部５２０に接続されている。

以下に、前記した構成の作用を信号の流れに従って説明する。図７において、入力部５０１からのＲＧＢ三信号は、制御部５２１の制御により、Ｒ信号用バッファ５０２、Ｇ信号用バッファ５０３、Ｂ信号用バッファ５０４に転送される。各バッファ内の信号は、制御部５２１の制御に基づき、入力切替部５０５を通して順次所定サイズの領域がＤＣＴ変換部５０６に転送されて周波数分解される。本実施形態では、一例として８×８サイズを想定する。この領域は重複しないように設定され、ＲＧＢの順に同一座標の信号がＤＣＴ変換部５０６に転送される。

ＤＣＴ変換部５０６では、公知のＤＣＴ変換が施され、各出力信号が制御部５２１の制御に基づき出力切替部５０７を通して順次Ｒ信号周波数成分バッファ５０８、Ｇ信号周波数成分バッファ５０９、Ｂ信号周波数成分バッファ５１０へ転送される。Ｒ信号相関係数算出部５１１は、Ｒ信号周波数成分バッファ５０８とＧ信号周波数成分バッファ５０９内の所定の低周波成分、例えば２×２サイズの低周波成分間で相関係数を算出する。同様にＢ信号相関係数算出部５１２は、Ｂ信号周波数成分バッファ５１０とＧ信号周波数成分バッファ５０９内の低周波成分間で相関係数を算出する。各々の相関係数は、Ｒ信号高周波生成部５１３とＢ信号高周波生成部５１４へ転送されてＧ信号周波数成分バッファ５０９の高周波成分と乗算され、Ｒ信号およびＢ信号の高周波成分が合成される。この高周波成分は、前記２×２サイズの低周波成分を除く周波数成分を意味する。

Ｒ信号高周波生成部５１３とＢ信号高周波生成部５１４で生成された高周波成分と、Ｒ信号周波数成分バッファ５０８とＧ信号周波数成分バッファ５０９内の低周波成分は入力切替部５１５へ転送される。入力切替部５１５は、制御部５２１の制御に基づきＲ信号の高周波成分と低周波成分を逆ＤＣＴ変換部５１６へ転送し、次にＢ信号の高周波成分と低周波成分を逆ＤＣＴ変換部５１６へ転送する。逆ＤＣＴ変換部５１６では公知の逆ＤＣＴ変換がなされ、各出力信号が制御部５２１の制御に基づき、出力切替部５１７を通して順次補正Ｒ信号用バッファ５１８、補正Ｂ信号用バッファ５１９へ転送される。また、入力切替部５０５は出力部５２０に接続されておりＧ信号用バッファ５０３のＧ信号が出力部５２０へ出力される。出力部５２０には、制御部５２１の制御に基づき、補正Ｒ信号用バッファ５１８、入力切替部５０５、補正Ｂ信号用バッファ５１９からのＲＧＢ三信号が順次出力される。

図８は図７の入力部５０１の具体的構成の一例を示す図である。光学系６００に対向して単板ＣＣＤ６０１が配置されている。単板ＣＣＤ６０１は、例えば図１８に示されるような補色型のＣＣＤである。ＣＣＤ６０１からの出力信号は、Ａ／Ｄ６０２を介して、色分離回路６０３において前記した（１）、（２）、（３）式に示される輝度信号と２つの色差信号に分離される。分離された各信号はそれぞれプロセス回路６０４，６０５，６０６で処理された後、マトリックス回路６０７、ローパスフィルタ６０８，６０９，６１０を介してＲＧＢの三信号に変換され、Ｒ信号用バッファ５０２、Ｇ信号用バッファ５０３、Ｂ信号バッファ５０４に保存される。また、ＣＣＤ６０１にはクロックジェネレータ６１４からのクロックに基づいて動作するＣＣＤ駆動回路６１５が接続されている。ここで得られるＲＧＢの三信号はいずれも同サイズとなっているが、輝度信号に対応するＧ信号は撮像素子の画素数が多く、高周波成分を多く含む信号である。一方、その他のＲ、Ｂ信号は撮像素子の画素数の少ない色差信号から合成されるため、高周波成分が乏しい信号となっている。

図９の（ａ）〜（ｈ）は前記した信号処理の流れを示す図である。図９ではＲ信号とＧ信号に関して示してあるが、Ｂ信号とＧ信号に関しても同様である。図９の（ａ）、（ｂ）は、Ｒ信号用バッファ５０２上のＲ信号と、Ｇ信号用バッファ５０３上のＧ信号を示す。これらの信号は所定サイズ、本実施形態では８×８サイズの重複しない領域に分割される。図９の（ｃ）、（ｄ）、（ｅ）、（ｆ）は、それぞれＲ信号とＧ信号の同一座標の領域がＤＣＴ変換部５０６にて周波数分解されたデータを示す。本実施形態では原点となる左上に低周波成分を配置し、右下へ高周波成分を配置している。図９の（ｃ）、（ｅ）は２×２サイズの低周波成分を、（ｄ）、（ｆ）はその他の高周波成分を示している。Ｒ信号相関係数算出部５１１は、図９の（ｃ）、（ｅ）の低周波成分間で次式の相関係数を算出する。

ここで、ｊは領域を、ｋは低周波成分の座標を意味する。またσ^j は、ｊ番目の領域の共分散を意味し、Ｒ_a ^j，Ｇ_a ^jはｊ番目の領域の平均値を意味する。この相関係数ε^j _G,BはＲ信号高周波生成部５１３へ転送されて、Ｇ信号周波数成分バッファ５０９上の高周波成分と乗算され、図９の（ｇ）に示されるようなＲ信号の高周波成分が生成される。Ｒ信号用バッファ５０２上の本来のＲ信号の低周波成分と、Ｒ信号高周波生成部５１３で生成された高周波成分は、逆ＤＣＴ変換部５１６にて逆変換が施される。図９の（ｈ）は、前記した過程を全ての領域に対して反復的に行なって算出された高精細なＲ信号を示す。

前記したように第２実施形態では、入力信号を所定サイズの領域に分割して、各領域ごとに周波数分解し、最も画素数の多いＧ信号の低周波成分を用いて他の信号の低周波成分との相関係数を求め、この相関係数をＧ信号の高周波成分と乗算することで他の信号の高周波成分を生成する。このとき低周波成分については本来の信号をそのまま用い、高周波成分のみを各領域ごとに適用的に生成するようにしたので、色成分の高周波成分を高精度で補正することができ、これによって、エラーの発生が少なく高精細な出力画像が得られる。また、領域ごとに信号処理を反復的に行うため、必要とされるメモリ容量が少なく、装置を安価に構成することができる。

なお、第２実施形態では領域のサイズを８×８とし、低周波の領域のサイズを２×２としているがこれに限定される必要はなく、自由な設定が可能である。例えば領域のサイズを４×４とし、低周波の領域のサイズを１×１とすることも可能である。低周波の領域のサイズを１×１とすると、（１１）式での共分散が常に０となり相関係数が算出できないが、この場合は第１実施形態における（９）式を用いて算出すればよい。また、第２実施形態ではＤＣＴ変換部と逆ＤＣＴ変換部を１つとし、これを切り替えて三信号を処理しているがこれに限定される必要はない。処理速度を重視する場合は、三信号ごとに個別の変換部を設けてもよい。また、ＤＣＴ変換以外の変換方法として、フーリエ変換やアダマール変換など周波数分解の変換を用いることも可能である。

また、前記した第１実施形態では（９）式に基づいてＲ信号の相関係数を算出し、第２実施形態では（１１）式に基づいてＲ信号の相関係数を算出したが、（９）式を用いて第２実施形態における相関係数を算出し、（１１）式を用いた第１実施形態における相関係数を算出するようにしてもよい。

以下に本発明の第３実施形態を説明する。図１０は第３実施形態の構成を示す図である。図１０において、ＴＶカメラなどの入力部７０１は、Ｒ信号用バッファ７０２、Ｇ信号用バッファ７０３、Ｂ信号用バッファ７０４を介して入力切替部７０５に接続されている。入力切替部７０５の出力は出力部７２６に直接接続されるとともに、ウェーブレット変換部７０６、出力切替部７０７を介してＲ信号周波数成分バッファ７０８、Ｇ信号周波数成分バッファ７０９、Ｒ信号周波数成分バッファ７１０に接続されている。

Ｒ信号周波数成分バッファ７０８、Ｇ信号周波数成分バッファ７０９、Ｂ信号周波数成分バッファ７１０の出力は、それぞれＲ信号選択部７１１、Ｇ信号選択部７１２、Ｂ信号選択部７１３に接続されている。Ｇ信号選択部７１２は、係数再配置部７１４を介してＲ信号誤差算出部７１５、Ｂ信号誤差算出部７１６、Ｒ信号高周波生成部７１９、Ｂ信号高周波生成部７２０に接続されている。また、Ｒ信号選択部７１１はＲ信号誤差算出部７１５、入力切替部７２１に接続され、Ｂ信号選択部７１３はＢ信号誤差算出部７１６、入力切替部７２１に接続されている。

さらにＲ信号誤差算出部７１５はＲ信号最小誤差探索部７１７、Ｒ信号高周波生成部７１９を介して入力切替部７２１に接続され、Ｂ信号誤差算出部７１６はＢ信号最小誤差探索部７１８、Ｂ信号高周波生成部７２０を介して入力切替部７２１に接続されている。入力切替部７２１の出力は逆ウェーブレット変換部７２２、出力切替部７２３を介して補正Ｒ信号用バッファ７２４と補正Ｂ信号用バッファ７２５に接続されている。補正Ｒ信号用バッファ７２４、補正Ｂ信号用バッファ７２５は出力部７２６に接続されている。また、マイクロコンピュータなどの制御部７２７は、入力部７０１、入力切替部７０５、出力切替部７０７、Ｒ信号選択部７１１、Ｇ信号選択部７１２、Ｂ信号選択部７１３、係数再配置部７１４、Ｒ信号最小誤差探索部７１７、Ｂ信号最小誤差探索部７１８、Ｒ信号高周波生成部７１９、Ｂ信号高周波生成部７２０、入力切替部７２１、出力切替部７２３、出力部７２６に接続されている。

以下に前記した構成の作用を説明する。入力部７０１からのＲＧＢ三信号は、制御部７２７の制御により、Ｒ信号用バッファ７０２、Ｇ信号用バッファ７０３、Ｂ信号用バッファ７０４に転送される。ＲＧＢ三信号は第２実施形態と同様に、輝度信号に対応するＧ信号は高周波成分を多く含む信号であり、Ｒ、Ｂ信号は高周波成分が乏しい信号となっている。前記した各バッファ内の信号は、制御部７２７の制御に基づき入力切替部７０５を通して順次ウェーブレット変換部７０６に転送されて周波数分解される。第３実施形態では、２回の分解を想定するが、これはＧ信号と他の信号間の高周波成分の違いにより調整される。また、入力切替部７０５はＧ信号に関してのみ出力部７２６へ出力を行う。

ウェーブレット変換部７０６では、第１実施形態と同様に変換がなされ、各出力信号が制御部７２７の制御に基づき出力切替部７０７を通して順次Ｒ信号周波数成分バッファ７０８、Ｇ信号周波数成分バッファ７０９、Ｂ信号周波数成分バッファ７１０へ転送される。各バッファ内の周波数成分は、Ｒ信号選択部７１１、Ｇ信号選択部７１２、Ｂ信号選択部７１３に入力されて、原信号の所定サイズの領域、例えば４×４サイズの領域に対応する１６個の周波数成分が選択される。

Ｒ信号選択部７１１で選択された周波数成分は、Ｒ信号誤差算出部７１５、入力切替部７２１へ転送され、Ｂ信号選択部７１３で選択された周波数成分は、Ｂ信号誤差算出部７１６、入力切替部７２１へ転送される。一方、Ｇ信号選択部７１２で選択された周波数成分は、係数再配置部７１４にて所定の変換がなされた後、Ｒ信号誤差算出部７１５、Ｂ信号誤差算出部７１６、Ｒ信号高周波生成部７１９、Ｂ信号高周波生成部７２０へ転送される。Ｒ信号誤差算出部７１５では、Ｒ信号選択部７１１からのＲ信号周波数成分と係数再配置部７１４からのＧ信号周波数成分で所定数の低周波成分、例えば３個の低周波成分を用いて、その形態に関する類似性の誤差が求められる。ここでは制御部７２７がＲ信号選択部７１１、Ｇ信号選択部７１２、係数再配置部７１４を制御することで、Ｒ信号誤差算出部７１５において一つのＲ信号の領域に対してＧ信号の全ての領域での類似性の誤差が算出される。

Ｒ信号最小誤差探索部７１７は、前記Ｒ信号誤差算出部７１５で算出された誤差に基づき最小誤差を与える領域を探索し、この類似性に関する度合いを係数としてＲ信号高周波生成部７１９へ転送する。Ｒ信号高周波生成部７１９では、係数再配置部７１４から転送されたＧ信号周波数成分の高周波成分に関して、前記類似性に関する係数を乗算してＲ信号の高周波成分を生成する。同様に、Ｂ信号誤差算出部７１６、Ｂ信号最小誤差探索部７１８、Ｂ信号高周波生成部７２０においてもＢ信号とＧ信号間で類似する領域が探索され、これに基づきＢ信号の高周波成分が生成される。

入力切替部７２１は制御部７２７の制御に基づき、Ｒ信号選択部７１１からのＲ信号の低周波成分と、Ｒ信号高周波生成部７１９からのＲ信号の高周波成分とを切り替えて逆ウェーブレット変換部７２２に転送する。同様に入力切替部７２１は、Ｂ信号選択部７１３からのＢ信号の低周波成分と、Ｂ信号高周波生成部７２０からのＢ信号の高周波成分とを切り替えて逆ウェーブレット変換部７２２に転送する。

逆ウェーブレット変換部７２２では所定回数、本実施形態では２回の逆変換を行い、その結果を出力切替部７２３を介して補正Ｒ信号用バッファ７２４または補正Ｂ信号用バッファ７２５へ転送する。出力部７２６には制御部７２７の制御に基づき、補正Ｒ信号用バッファ７２４、入力切替部７０５、補正Ｂ信号用バッファ７２５からのＲＧＢ三信号が出力される。

図１１は、Ｒ信号とＧ信号の周波数成分による類似領域の探索法を示す。図１１の（ａ）はＲ信号の４×４サイズの領域ｒ_i を示し、図１１の（ｂ）はこの領域ｒ_i に近似するＧ信号の領域ｇ_j を示している。ここでｉ，ｊはそれぞれの信号の領域の番号を意味する。図１１の（ｃ）、（ｄ）は、図１１の（ａ）、（ｂ）の画像に２段階のウェーブレット変換を施した周波数成分を示す。４×４の領域ｒ_i は、図１１の（ｃ）に示すようにｒ_i,1 〜ｒ_i,16までの１６個の周波数成分に分解される。同様にｇ_j は、図１１の（ｄ）に示すようにｇ_j,1 〜ｇ_j,16までの１６個の周波数成分に分解される。ｒ_i とｇ_j 間で類似性の度合いを調べるにおいて、両者の低周波成分を用いる。ここではｒ_i,1 〜ｒ_i,4 とｇ_j,1 〜ｇ_j,4 の係数を比較するものとする。また、ｒ_i,1 とｇ_j,1 は、それぞれ各ブロックの平均濃度であるバイアスを意味するため使用しない。よって、ｒ_i とｇ_j 間の類似性を示す誤差Ｅｒｒは、次式で定義される。

ここで、ｓ_i は濃度のスケールを示すパラメータである。なお、ここでは類似領域の探索にＲ信号とＧ信号との間で同じサイズの領域を指定しているが、これらのサイズは異なっていてもよい。

図１２は、係数再配置部７１４における係数の再配置に関する説明図である。図１２の（ａ）は、Ｇ信号周波数成分バッファ７０９から転送された本来の展開係数ｇ_j,1 〜ｇ_j,16の配置と、その方向を示す矢印を示している。説明の便宜上、展開係数ｇ_j,1 〜ｇ_j,16をａ〜ｐまでのアルファベットで示す。また、これらの展開係数は展開のレベルによりＧ₁ とＧ₂ に、用いられたフィルタによりＧ_LL、Ｇ_LH、Ｇ_HH、Ｇ_HLに分類される。

第１実施形態の図３におけるサブサンプラ３１３の出力は水平垂直両方向の高周波成分Ｇ_HHを、サブサンプラ３１４の出力は垂直の高周波成分Ｇ_HLを、サブサンプラ３１５の出力は水平の高周波成分Ｇ_LHを、サブサンプラ３１６の出力は低周波成分Ｇ_LLを与える。展開係数ａ〜ｐはＧ_2LL にａ、Ｇ_2LH にｂ、Ｇ_2HH にｃ、Ｇ_2HL にｄ、Ｇ_1LH にｅ、ｆ、ｇ、ｈ、Ｇ_1HH にｉ、ｊ、ｋ、ｌ、Ｇ_1HL にｍ、ｎ、ｏ、ｐが属することになる。形状の類似性の探索には、Ｇ信号の領域をそのまま用いるだけではなく、９０度間隔での４回転と対称変換を組み合わせた計８種類のパターンとの比較を行うことでより多様な形状との比較が可能となる。

これら８種類のパターンを予め作成しておき、これらにウェーブレット変換を行うことも考えられるが、計算量及びメモリ容量の観点から問題となる。ここでは、展開係数の再配置と符号の反転操作により８種類のパターンと等価な効果を得る。図１２の（ｂ）は、図１２の（ａ）を９０度反時計方向に回転した例である。異なるのは、Ｇ_2LH とＧ_2HL 、Ｇ_1LH とＧ_1HL の配置が交換されていることと、Ｇ_2HH、Ｇ_2HL、Ｇ_1HH 、Ｇ_1HL の符号が反転していることである。以上をまとめると、
Ｇ_mLH ← →−Ｇ_mHL ，−Ｇ_mHH （１３）
ここで、ｍはウェーブレット変換の展開のレベルを意味し、本実施形態ではｍ＝１．２である。図１２の（ｃ）〜（ｈ）は、同様に回転と対称変換に関する係数の変換を示している。図１２は、二段階のウェーブレット変換の場合を図示するものであるが、これらの規則性は任意の段階のウェーブレット変換においても同等に成立する。

係数再配置部７１４にて前記の規則性に基づき変換された８種類のパターンに関して、（１２）式により誤差ＥｒｒがＲ信号誤差算出部７１５で算出される。Ｇ信号選択部７１２、係数再配置部７１４は制御部７２７の制御に基づき、一つのＲ信号の領域に対しＧ信号から得られる全ての領域に関するデータをＲ信号誤差算出部７１５に転送する。Ｒ信号最小誤差探索部７１７は、前記Ｒ信号誤差算出部７１５で算出された全ての誤差に基づき最小誤差を与える領域を探索し、この領域に関するスケールパラメータｓ_i と前記８種類のパターンを示す係数ｐ_i をＲ信号高周波生成部７１９へ転送する。

図１３は、前記類似性探索に関するフローチャートである。ここで、変数ｉはＲ信号の領域の番号を、ｊはＧ信号の領域の番号を、ｋはＧ信号の領域に関する８種類の回転パターンを、Ｒ（ ）はＲ信号の領域の周波数成分を保存する配列を、Ｇ（ ）はＧ信号の領域の周波数成分を保存する配列を、変数Ｅｒｒは（１２）式の誤差を、変数Ｓｃａｌｅは（１２）式のスケールパラメータｓ_i を示す。また、Ｒ信号およびＧ信号に含まれる領域の個数をＩｍａｇｅとする。

まず、Ｓ１にて、ｉに０が代入される。

Ｓ２にて、配列Ｒ（ ）にＲ信号のｉ番目の領域の周波数成分が、Ｇ（ ）にＧ信号の０番目の領域の０番目の回転パターンの周波数成分が代入される。

Ｓ３にて、前記Ｒ（ ）とＧ（ ）間で（１２）式に基づいて誤差とスケールパラメータが算出され、誤差が変数Ｂｅｓｔ＿Ｅｒｒへ、スケールパラメータが変数Ｂｅｓｔ＿Sｃａｌｅへ代入される。

また、変数Ｂｅｓｔ＿Ｇと変数Ｂｅｓｔ＿Ｐｉに０が代入される。Ｓ４、Ｓ５にてｊ、ｋに０が代入される。

Ｓ６で、配列Ｒ（ ）にＲ信号のｉ番目の領域の周波数成分が、Ｇ（ ）にＧ信号のｊ番目の領域のｋ番目の回転パターンの周波数成分が代入される。

Ｓ７にて、前記Ｒ（ ）とＧ（ ）間で（１２）式による誤差とスケールパラメータが算出され、誤差とスケールパラメータがＥｒｒとＳｃａｌｅに代入される。

Ｓ８にて、ＥｒｒとＢｅｓｔ＿Ｅｒｒが比較され、Ｂｅｓｔ＿Ｅｒｒが大なる場合はＳ９へ、小なる場合はＳ１０へ分岐する。

Ｓ９では、Ｂｅｓｔ＿ＳｃａｌｅにＳｃａｌｅが、Ｂｅｓｔ＿ＥｒｒにＥｒｒが、Ｂｅｓｔ＿Ｇにｊが、Ｂｅｓｔ＿Ｐｉにｋが代入される。

Ｓ１０〜Ｓ１３では、ｊ、ｋに１が加算され、ｋが８を、ｊがＩｍａｇｅを越えない限り前記処理を反復する。

Ｓ１４では、Ｂｅｓｔ＿Ｓｃａｌｅ、Ｂｅｓｔ＿Ｇ、Ｂｅｓｔ＿Ｐｉが出力される。

Ｓ１５、Ｓ１６では、ｉに１が加算され、Ｉｍａｇｅを越えない限り前記処理を反復する。

前記した過程により、一つのＲ信号の領域に対して、Ｇ信号から得られる全ての領域中の最も類似する領域が得られる。

図１４の（ａ）〜（ｈ）は、前記した信号処理の流れを示す図である。図１４においてはＲ信号とＧ信号に関して示してあるが、Ｂ信号とＧ信号に関しても同様である。図１４の（ａ）、（ｂ）は、Ｒ信号用バッファ７０２上のＲ信号Ｒ_0LL とＧ信号用バッファ７０３上のＧ信号Ｇ_0LL を示す。これらの信号は所定サイズ、本実施形態では４×４サイズの重複しない領域に分割される。図１４の（ｃ）、（ｄ）、（ｅ）、（ｆ）は、ウェーブレット変換部７０６で周波数分解されたＲ信号周波数成分バッファ７０８上のＲ_2LL 、Ｒ_2HH 、Ｒ_2HL 、Ｒ_2LH 、Ｒ_1HH 、Ｒ_1HL 、Ｒ_1LH とＧ信号周波数成分バッファ７０９上のＧ_2LL 、Ｇ_2HH 、Ｇ_2HL 、Ｇ_2LH 、Ｇ_1HH 、Ｇ_1HL 、Ｇ_1LH を示す。Ｒ信号誤差算出部７１５とＲ信号最小誤差探索部７１７は、図１４の（ｃ）のＲ_2HH 、Ｒ_2HL 、Ｒ_2LH と、図１４の（ｅ）のＧ_2HH 、Ｇ_2HL 、Ｇ_2LH との間で前記のスケールパラメータｓ_i と８種類のパターンを示す係数ｐ_i を算出する。この係数はＲ信号高周波生成部７１９へ転送され、係数ｐ_i からＧ_1HH 、Ｇ_1HL 、Ｇ_1LH に関して図１２に示す係数の再配置を行なった後、スケールパラメータｓ_i をＧ_1HH 、Ｇ_1HL 、Ｇ_1LH に乗算する。図１１の（ｃ）、（ｄ）に示される、領域ごとの成分については次式の処理がなされる。

ｒ_i,k ＝ｓ_iｇ_j,k （１４）
ここで、ｋは図１１の（ｃ）、（ｄ）に示される係数でｋ＝５〜１６である。図１４の（ｇ）は、生成されたＲ信号の高周波成分Ｒ_1HH 、Ｒ_1HL 、Ｒ_1LH を示す。図１４の（ｈ）は、生成された高周波成分Ｒ_1HH 、Ｒ_1HL 、Ｒ_1LH と、Ｒ信号周波数成分バッファ７０８上のＲ_2LL 、Ｒ_2HH 、Ｒ_2HL 、Ｒ_2LH とを逆ウェーブレット変換部７２２で逆ウェーブレット変換して算出した高精細なＲ信号Ｒ_0LL を示す。

前記したように第３実施形態では、入力信号を所定サイズの領域に分割して周波数分解し、最も画素数の多いＧ信号の低周波成分に対して他の信号の低周波成分と形状の類似する領域を求め、この領域のＧ信号の高周波成分に基づき他の信号の高周波成分を生成する。このとき低周波成分については本来の信号をそのまま用い、高周波成分のみを各領域ごとに適用的に生成するため、色信号の高周波成分を高精度で補正することができ、これによって、エラーの発生が少なく高精細な出力画像が得られる。また、形状の類似性に基づき高周波成分を求めるため、エッジなどで信号の連続性が損なわれる場合やＧ信号との相関性が低い場合についても高周波成分を得ることができ、多様な画像に関しても良好な出力画像が得られる。

なお、第３実施形態では領域のサイズを４×４としているがこれに限定される必要はなく、自由な設定が必要である。また、第３実施形態ではウェーブレット変換および逆ウェーブレット変換部を１つとし、これを切り替えて三信号を処理しているがこれに限定される必要はない。処理速度を重視する場合は、三信号ごとに個別の変換部を設けてもよい。

以下に本発明の第４実施形態を説明する。図１５は第４実施形態の構成を示す図である。基本的に第１実施形態の構成と同等であるが、第４実施形態では第１実施形態におけるＧ信号高周波用バッファ１０７以降の構成を変更し、高周波強調部８０１、Ｇ信号逆ウェーブレット変換部８０２、誤差算出部８０３を付加した構成になっている。

Ｇ信号高周波用バッファ１０７の出力は高周波強調部８０１を介して、Ｒ信号高周波生成部１１０、Ｂ信号高周波生成部１１１、Ｇ信号逆ウェーブレット変換部８０２に接続されている。Ｇ信号逆ウェーブレット変換部８０２は、高周波強調部８０１とＧ信号低周波用バッファ１０６からの入力を受け、出力部１１４、誤差算出部８０３に接続されている。誤差算出部８０３は高周波強調部８０１に接続され、制御部１１５は、Ｒ信号相関係数算出部１０８、Ｒ信号高周波生成部１１０、Ｂ信号相関係数算出部１０９、Ｂ信号高周波生成部１１１、高周波強調部８０１、誤差算出部８０３に接続されている。

以下に前記した構成の作用を説明する。入力部１０１からのＲＧＢ三信号は、制御部１１５の制御により、Ｒ信号用バッファ１０２、Ｂ信号用バッファ１０３、Ｇ信号用バッファ１０４に転送される。Ｇ信号用バッファ１０４内のＧ信号は、ウェーブレット変換部１０５に転送され、ウェーブレット変換される。ウェーブレット変換後の低周波成分はＧ信号低周波用バッファ１０６へ、高周波成分はＧ信号高周波用バッファ１０７へ出力される。Ｇ信号高周波用バッファ１０７の高周波成分は、高周波強調部８０１に転送され、所定の係数αで乗算される。

図１６は、高周波強調部８０１における係数αの決定法に関する説明図である。係数αの初期値としては、例えば１．５が設定されている。強調処理されたＧ信号の高周波成分とＧ信号低周波用バッファ１０６の低周波成分に基づいて、Ｇ信号逆ウェーブレット変換部８０２にてＧ信号が再構成される。誤差算出部８０３では再構成されたＧ信号の濃度範囲を調査し、所定の範囲、例えば８ｂｉｔの濃度レベルなら０〜２５５の範囲を逸脱する画素数の割合を調査する。図１６（ａ）に示されるように、この割合が所定の閾値、例えば１％を超えない場合、高周波強調部８０１は、係数αを増加させて再度強調処理を行う。一方、図１６（ｂ）に示されるように所定の閾値を超えている場合には、係数αを減少させて再度強調処理を行う。この誤差の割合が、超過から未満または未満から超過になった時点で強調処理を終了する。

Ｇ信号の高周波成分の処理が終了した後、Ｒ信号相関係数算出部１０８はＲ信号用バッファ１０２内のＲ信号とＧ信号低周波用バッファ１０６内のＧ信号の低周波成分との間で色相関係数を算出する。同様にＢ信号相関係数算出部１０９は、Ｂ信号用バッファ１０３内のＢ信号とＧ信号低周波用バッファ１０６内のＧ信号の低周波成分との間で色相関係数を算出する。各々の色相関係数は、Ｒ信号高周波生成部１１０とＢ信号高周波生成部１１１へ転送され、高周波強調部８０１内の強調処理されたＧ信号の高周波成分と乗算され、Ｒ信号およびＢ信号の高周波成分が合成される。

Ｒ信号逆ウェーブレット変換部１１２は、Ｒ信号用バッファ１０２内のＲ信号（低周波成分）と、Ｒ信号高周波生成部１１０で合成されたＲ信号の高周波成分とに基づいて逆ウェーブレット変換を行い、高精細なＲ信号を出力部１１４へ転送する。同様に、Ｂ信号逆ウェーブレット変換部１１３はＢ信号用バッファ１０３内のＢ信号（低周波成分）と、Ｂ信号高周波生成部１１１で合成されたＢ信号の高周波成分とに基づいて逆ウェーブレット変換を行い、高精細なＢ信号を出力部１１４へ転送する。また、Ｇ信号逆ウェーブレット変換部８０２のＧ信号も出力部１１４へ出力され、出力部１１４からはＲＧＢ三信号が出力される。

前記したように第４実施形態では、入力信号のうち最も画素数の多いＧ信号をウェーブレット変換により高周波と低周波に分割し、この高周波成分を強調処理する。そして、低周波成分を用いて他の信号との相関係数を求め、この相関係数を強調処理したＧ信号の高周波成分と乗算することで他の信号の高周波成分を生成する。このとき低周波成分については本来の信号をそのまま用い、高周波成分は画素単位で適用的に生成されるため、色信号の高周波成分を高精度で補正することができ、これによって、エラーの発生が少なく高精細な出力画素が得られる。また、高周波成分は誤差の割合が所定の閾値を超えない範囲で強調処理を行っているため、コントラストの強調された視覚的に良好な出力信号を得られる。

なお、第４実施形態では強調処理のための係数αを誤差の割合が閾値を越えないように自動的に調整しているが、これに限定される必要はない。手動で係数αを求めることも可能であり、この場合は誤差算出部８０３を省略することができる。

以下に本発明の第５実施形態を説明する。図１７は第５実施形態の構成を示す図である。第５実施形態の構成は基本的に第１実施形態の構成と同等であるが、第５実施形態は、第１実施形態にＲ信号低周波強調部９０１、Ｂ信号低周波強調部９０２、Ｇ信号低周波強調部９０３、Ｇ信号高周波強調部９０４、Ｇ信号逆ウェーブレット変換部９０５、誤差算出部９０６を付加した構成になっている。Ｒ信号用バッファ１０２の出力に接続されたＲ信号低周波強調部９０１は、Ｒ信号逆ウェーブレット変換部１１２に接続されている。Ｂ信号用バッファ１０３の出力に接続されたＢ信号低周波強調部９０２は、Ｂ信号逆ウェーブレット変換部１１３に接続されている。Ｇ信号低周波用バッファ１０６の出力に接続されたＧ信号低周波強調部９０３は、Ｇ信号逆ウェーブレット変換部９０５に接続されている。Ｇ信号高周波用バッファ１０７はＧ信号高周波強調部９０４を介して、Ｒ信号高周波生成部１１０、Ｂ信号高周波生成部１１１、Ｇ信号逆ウェーブレット変換部９０５に接続されている。Ｇ信号逆ウェーブレット変換部９０５は、Ｇ信号高周波強調部９０４とＧ信号低周波強調部９０３の出力に接続されるとともに、出力部１１４、誤差算出部９０６に接続されている。誤差算出部９０６は、Ｇ信号高周波強調部９０４に接続され、制御部１１５は、Ｒ信号相関係数算出部１０８、Ｒ信号高周波生成部１１０、Ｒ信号低周波強調部９０１、Ｂ信号相関係数算出部１０９、Ｂ信号高周波生成部１１１、Ｂ信号低周波強調部９０２、Ｇ信号低周波強調部９０３、Ｇ信号高周波強調部９０４、誤差算出部９０６に接続されている。

以下に前記した構成の作用を説明する。入力部１０１からのＲＧＢ三信号は、制御部１１５の制御により、Ｒ信号用バッファ１０２、Ｂ信号用バッファ１０３、Ｇ信号用バッファ１０４に転送される。Ｇ信号用バッファ１０４内のＧ信号は、ウェーブレット変換部１０５にてウェーブレット変換される。ウェーブレット変換後の低周波成分はＧ信号低周波用バッファ１０６へ、高周波成分はＧ信号高周波用バッファ１０７へ出力される。Ｇ信号低周波用バッファ１０６の低周波成分Ｇ_1LL は、Ｇ信号低周波強調部９０３にて次式に基づいて濃度の最大値Ｍ_max で正規化された後、所定の係数βでべき乗される。第５実施形態では８ｂｉｔの濃度レンジを想定しているためにＭ_max ＝２５５となる。

係数βは、β＜１の場合は暗部のレンジを拡張し、β＞１の場合は明部のレンジを拡張することになる。よって、Ｇ信号低周波強調部９０３ではＧ信号の低周波成分の平均濃度値から明部または暗部を判断して、係数βの初期値を設定する。一例として、８ｂｉｔの濃度レベルなら０〜２５５の範囲となるので、低周波成分の平均濃度値が１２８以下なら暗部、以上なら明部と判断する。係数βの初期値は暗部ならば０．５、明部なら１．５が設定される。係数βは全ての低周波成分に対して同一の値が用いられる。

制御部１１５の制御に基づき、強調処理がなされた低周波成分と、通常の高周波成分がＧ信号逆ウェーブレット変換部９０５に転送されてＧ信号が再構成される。誤差算出部９０６では、再構成されたＧ信号の濃度範囲を調査し、所定の範囲を逸脱する画素数の割合を調査する。第４実施形態と同様にして、最適な係数βが求められる。この係数βは、制御部１１５を介してＲ信号低周波強調部９０１とＢ信号低周波強調部９０２へ転送され、（１６）式と同様にして低周波成分のレンジが拡張される。

次に、制御部１１５はＧ信号高周波強調部９０４を起動する。Ｇ信号高周波強調部９０４では図１１の（ｄ）に示されるように、Ｇ信号の高周波成分Ｇ_1HH 、Ｇ_1HL 、Ｇ_1LH が所定のサイズ、例えば４×４に対応する領域に分割され、その成分ｇ_j,5 〜ｇ_j,16が抽出される。そしてこの領域ごとに、強調のための係数γ_j が次式により算出される。

ここで、ｊは高周波成分の領域の番号を、ｋは５〜１６の要素を、ｇ_j ^aはｊ番目の領域の平均濃度を意味する。（１７）式は、与えられた係数βに対して、各領域の濃度レンジが所定の範囲を逸脱しない条件を示す。Ｇ信号高周波用バッファ１０７の高周波成分は、高周波強調部９０１にて前記係数γで乗算される。この後、Ｒ信号相関係数算出部１０８はＲ信号用バッファ１０２内のＲ信号とＧ信号低周波用バッファ１０６内のＧ信号の低周波成分との間で色相関係数を算出する。同様にＢ信号相関係数算出部１０９は、Ｂ信号用バッファ１０３内のＢ信号とＧ信号低周波用バッファ１０６内のＧ信号の低周波成分との間で色相関係数を算出する。各々の色相関係数は、Ｒ信号高周波生成部１１０とＢ信号高周波生成部１１１へ転送され、高周波強調部９０４内の強調処理されたＧ信号の高周波成分と乗算され、Ｒ信号およびＢ信号の高周波成分が合成される。Ｒ信号逆ウェーブレット変換部１１２では、Ｒ信号低周波強調部９０１内の強調された低周波成分と、Ｒ信号高周波生成部１１０で合成されたＲ信号の高周波成分とに基づいて逆ウェーブレット変換を行い、高精細なＲ信号を出力部１１４へ転送する。同様に、Ｂ信号逆ウェーブレット変換部１１３はＢ信号低周波強調部９０２内の強調された低周波成分と、Ｂ信号高周波生成部１１１で合成されたＢ信号の高周波成分とに基づいて逆ウェーブレット変換を行い、高精細なＢ信号を出力部１１４へ転送する。また、Ｇ信号逆ウェーブレット変換部９０５のＧ信号も出力部１１４へ出力され、出力部１１４からはＲＧＢ三信号が出力される。

前記したように第５実施形態では、入力信号のうち最も画素数の多いＧ信号をウェーブレット変換により高周波と低周波に分解し、この高周波成分と低周波成分を強調処理する。その後、Ｇ信号の本来の低周波成分と他の信号間で相関係数を求め、この相関係数を強調処理したＧ信号の高周波成分と乗算することで他の信号の高周波成分を生成する。また、Ｇ信号の低周波成分と同様な強調処理を他の信号に対しても行う。高周波成分と低周波成分を最適に強調処理した後に高周波成分を領域ごとに適用的に生成するため、拡張されたダイナミックレンジと強調されたコントラストを持つ高精細な出力信号が得られる。また、拡張処理による誤差の発生を予め調査してパラメータを制御し、かつ強調処理のパラメータも併せて制御しているため、不自然な強調が発生しにくい。

なお、第５実施形態では強調処理のための係数βを誤差の割合が閾値を超えないように自動的に調整しているが、これに限定される必要はない。手動で係数βを決めることも可能であり、この場合は誤差算出部９０６を省略することができる。

１．なお、前記した具体的実施形態には以下の構成の発明が含まれている。

（構成１）
複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
情報量が多い分光感度特性の信号を低周波成分と高周波成分とに分解する周波数分解手段と、
この周波数分解手段から得られた低周波成分と、情報量が少ない分光感度特性の信号との間で相関係数を算出する相関係数算出手段と、
この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた高周波成分に基づいて、情報量が少ない分光感度特性の信号の高周波成分を生成する高周波生成手段と、
この高周波生成手段から得られた高周波成分と情報量が少ない分光感度特性の信号とを合成して高精細な出力信号を出力する周波数合成手段と、
を有することを特徴とする信号処理装置。

（構成２）
構成１において、
前記情報量が多い分光感度特性の信号が輝度信号に相当し、この信号以外の信号が色信号に相当すること
を特徴とする信号処理装置。

（構成３）
構成１において、
前記周波数分解手段および前記高周波合成手段は、基底関数としてＨａｒｒ関数またはDaubechies関数を用いて直交ウェーブレット変換または双直交ウェーブレット変換を行なうこと
を特徴とする信号処理装置。

（構成４）
構成１において、
前記相関係数算出手段は、複数の分光感度特性の信号間の色相関に基づき相関係数を算出すること
を特徴とする信号処理装置。

（構成５）
構成１において、
周波数分解手段および周波数合成手段は、所定サイズの領域ごとにＤＣＴ変換、フーリエ変換、アダマール変換の何れか一つの直交変換を用いること
を特徴とする信号処理装置。

（構成６）
複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
分布が局所的な関数を基底関数として信号を複数の周波数成分に分解する周波数分解手段と、
この周波数分解手段から得られた複数の周波数成分の係数から、情報量が多い分光感度特性の信号の第一の所定領域に対応する周波数成分と、情報量が少ない他の分光感度特性の信号の第二の所定領域に対応する周波数成分とを抽出する抽出手段と、
この抽出手段から得られた前記第一の所定領域と前記第二の所定領域の周波数成分間で、相似性の度合いを算出する相似性算出手段と、
この相似性算出手段から得られた相似性の度合いに基づき、前記第二の所定領域に対し最も相似性が高い前記第一の所定領域を探索する探索手段と、
この探索手段から得られた前記第一の所定領域に関する高周波成分から、相似性の度合いに基づき前記第二の所定領域の高周波成分を生成する高周波生成手段と、
この高周波生成手段から得られた高周波成分と情報量が少ない分光感度特性の信号とを合成して高精細な出力信号を出力する周波数合成手段と、
を具備することを特徴とする信号処理装置。

（構成７）
構成６において、
前記周波数分解手段および前記高周波合成手段は、基底関数としてＨａｒｒ関数またはDaubechies関数を用いて直交ウェーブレット変換または双直交ウェーブレット変換を行なうこと
を特徴とする信号処理装置。

（構成８）
複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
情報量が多い分光感度特性の信号を低周波成分と高周波成分とに分解する周波数分解手段と、
この周波数分解手段によって分解された高周波成分に対し、１より大なる係数αを乗算する高周波強調手段と、
この高周波強調手段で強調された高周波成分と前記低周波成分とを合成して得られる信号が所定の範囲を逸脱している割合を算出する誤差算出手段と、
この誤差算出手段による算出結果に基づき、前記係数αの値を制御する制御手段と、
を具備することを特徴とする信号処理装置。

（構成９）
複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
情報量が多い分光感度特性の信号を低周波成分と高周波成分とに分解する周波数分解手段と、
この周波数分解手段によって分解された低周波成分に対し、正規化された信号を係数βでべき乗して強調する基準信号低周波強調手段と、
この基準信号低周波強調手段によって強調された低周波成分と、前記高周波成分とを合成し、合成された信号が所定の範囲を逸脱している割合を算出する誤差算出手段と、
この誤差算出手段による算出結果に基づき、前記係数βの値を制御する制御手段と、
前記周波数分解手段によって分解された高周波成分を所定の領域に分割し、分割された各領域ごとに、前記基準信号低周波強調手段で用いた係数βから所定の関係式により導かれる係数γを乗算する基準信号高周波強調手段と、
情報量の少ない分光感度特性の信号に対し、正規化された信号を前記係数βでべき乗する従属信号低周波強調手段と、
を具備することを特徴とする信号処理装置。

２．前記した構成の発明が解決しようとする課題は以下の通りである。

（構成１乃至４）
従来技術は、線形補間や輝度信号を補正したもので置換することで色信号を補っているのみで、高精度な色信号の補正という点については対応することができない。本発明はこの点に着目し、色信号の高周波成分を高精度で補正できる信号処理装置を提供することを目的とする。

（構成５）
従来技術は、線形補間や輝度信号を補正したもので置換することで色信号を補っているのみで、高精度な色信号の補正という点については対応することができない。本発明はこの点に着目し、必要とするメモリ容量が少ない装置構成で色信号の高周波成分を高精度で補正できる信号処理装置を提供することを目的とする。

（構成６、７）
従来技術は、色信号を隣接画素を用いて補間したり、同一座標上にある輝度信号を補正したもので置換することで色信号を補っているのみで、エッジなどで信号の連続性が損なわれる場合や輝度信号との相関性が低い場合については対応することができない。本発明はこの点に着目し、連続性が損なわれる場合や相関性が低い場合でも色信号の高周波成分を補正できる信号処理装置を提供することを目的とする。

（構成８）
従来技術は、線形補間や輝度信号を補正したもので置換することにより色信号を補っているのみで、入力信号以上の高周波成分を生成するという点については対応することができない。本発明はこの点に着目し、入力信号以上の高周波成分を生成してコントラストを強調し視覚的に良好な出力信号が得られる信号処理装置を提供することを目的とする。

（構成９）
従来技術は、線形補間や輝度信号を補正したもので置換することで色信号を補っているのみで、高周波成分と低周波成分の最適な補正という点については対応することができない。本発明はこの点に着目し、ダイナミックレンジの拡張とコントラスト強調を行い高精細な出力信号が得られる信号処理装置を提供することを目的とする。

３．前記した構成の発明に対応する実施形態、作用、効果は以下の通りである。

（構成１乃至４）
（対応する発明の実施形態）
この発明に係る実施形態には、少なくとも前記した第１の実施形態が対応する。構成中の周波数分解手段には、図１及び図３に示されるウェーブレット変換部１０５が該当する。ウェーブレット変換の基底関数としては図４に示すＨａｒｒ関数が該当するが、Daubechies関数などの直交ウェーブレット関数や双直交ウェーブレット関数なども含む。構成中の相関係数算出手段には、図１のＲ信号相関係数算出部１０８、Ｂ信号相関係数算出部１０９が該当する。ここで相関係数算出手段は、複数の分光感度特性の出力信号間の色相関に基づき相関係数を算出することを含む。構成中の高周波生成手段には、図１のＲ信号高周波生成部１１０、Ｂ信号高周波生成部１１１が該当する。構成中の周波数合成手段には、図１及び図６に示すＲ信号逆ウェーブレット変換部１１２、Ｂ信号逆ウェーブレット変換部１１３が該当する。

この発明に係る信号処理装置の好ましい適用例は以下の通りである。図１に示す入力部１０１からの画像信号をＲ信号用バッファ１０２、Ｂ信号用バッファ１０３、Ｇ信号用バッファ１０４に保存し、最も画素数の多いＧ信号用バッファ１０４中のＧ信号をウェーブレット変換部１０５へ転送して高周波成分と低周波成分に周波数分解する。次に、この低周波成分とＲ信号およびＢ信号間の相関係数をＲ信号相関係数算出部１０８とＢ信号相関係数算出部１０９で算出し、得られた相関係数をＲ信号高周波生成部１１０とＢ信号高周波生成部１１１にてＧ信号の高周波成分と乗算することでＲ信号とＢ信号の高周波成分を生成する。そして、この生成された高周波成分と本来のＲ信号およびＢ信号をＲ信号逆ウェーブレット変換部１１２とＢ信号逆ウェーブレット変換部１１３にて合成する。

（作用）
入力信号のうち情報量が多い分光感度特性に関する信号（ここでは最も画素数の多いＧ信号）をウェーブレット変換などの周波数分解により高周波と低周波に分解する。このうち低周波成分を用いて情報量が少ない他の分光感度特性の信号（ここではＲ、Ｂ信号）との相関係数を求め、この相関係数をＧ信号の高周波成分と乗算することで、他の信号としてのＲ、Ｂ信号の高周波成分を生成する。

（効果）
低周波成分については本来の信号をそのまま用い、高周波成分については画素単位で適用的に生成して付加するようにしたので、色信号の高周波成分を高精度で補正することができ、エラーの発生が少なく高精細な出力画像が得られる。また、周波数分解手段としてウェーブレット変換を用いた場合は近傍画素の情報を共有し合うため、画素単位で高周波成分を制御しても連続性がよく、高画質な再生画像が得られる。また、周波数情報と位置情報が同時に得られるため、画素単位で相関係数を算出することで高周波成分が適用的に合成される。

（構成５）
（対応する発明の実施の形態）
この発明に係る実施形態には、前記した第２実施形態が対応する。構成中の周波数分解手段には、図７の入力切替部５０５、ＤＣＴ変換部５０６、出力切替部５０７が該当する。また、構成中の周波数合成手段には、図７の入力切替部５１５、逆ＤＣＴ変換部５１６、出力切替部５１７が該当する。

この発明に係る信号処理装置の好ましい適用例は以下の通りである。図７に示す入力部５０１からの画像信号をＲ信号用バッファ５０２、Ｇ信号用バッファ５０３、Ｂ信号用バッファ５０４にて保存し、所定サイズの領域ごとにＤＣＴ変換部５０６にて高周波成分と低周波成分に周波数分解する。次に、最も画素数の多いＧ信号の低周波成分とＲ信号およびＢ信号の低周波成分間の相関係数をＲ信号相関係数算出部５１１とＢ信号相関係数算出部５１２で算出し、これらの相関関係をＲ信号高周波生成部５１３とＢ信号高周波生成部５１４にてＧ信号の高周波成分と乗算することでＲ信号およびＢ信号の高周波成分を生成する。そして、この生成された高周波成分と本来のＲ信号およびＢ信号の低周波成分を逆ＤＣＴ変換部５１６にて合成する。

（作用）
入力信号を所定サイズの領域ごとに例えばＤＣＴ変換することにより高周波と低周波に分解する。この低周波成分を用いて最も画素数の多いＧ信号と他の信号としてのＲ、Ｂ信号との相関係数を求め、この相関係数をＧ信号の高周波成分と乗算することでＲ、Ｂ信号の高周波成分を生成する。

（効果）
小サイズの領域ごとに周波数分解および合成を行うため、必要となるメモリ容量が少ない装置構成が可能となる。また、低周波成分は本来の信号をそのまま用い、高周波成分については画素単位で適用的に生成して付加するようにしたので、色信号の高周波成分を高精度で補正することができ、エラーの発生が少なく高精細な出力画像が得られる。

（構成６、７）
（対応する発明の実施の形態）
この発明に係る実施形態には、前記した第３実施形態が対応する。構成中の周波数分解手段には、図１０に示されるウェーブレット変換部７０６が該当する。ウェーブレット変換の基底関数としては、図４に示すＨａｒｒ関数が該当するが、Daubechies関数などの直交ウェーブレット関数や双直交ウェーブレット関数なども含む。構成中の抽出手段には、図１０のＲ信号選択部７１１、Ｂ信号選択部７１２、Ｂ信号選択部７１３が該当する。構成中の相似性算出手段には、図１０のＲ信号誤差算出部７１５、Ｂ信号誤差算出部７１６が該当する。構成中の探索手段には、図１０のＲ信号最小誤差探索部７１７、Ｂ信号最小誤差探索部７１８が該当する。構成中の高周波生成手段には、図１０のＲ信号高周波生成部７１９、Ｂ信号高周波生成部７２０が該当する。構成中の周波数合成手段には、図１０に示す逆ウェーブレット変換部７２２が該当する。

この発明に係る信号処理装置の好ましい適用例は以下の通りである。図１０に示す入力部７０１からの画像信号をＲ信号用バッファ７０２、Ｇ信号用バッファ７０３、Ｂ信号用バッファ７０４にて保存し、各バッファ中の信号をウェーブレット変換部７０６へ転送して高周波成分と低周波成分に周波数分解する。次に、最も画素数の多いＧ信号の低周波成分とＲ信号およびＢ信号間の低周波成分とで形状の相似性の度合いを、所定サイズの領域ごとにＲ信号誤差算出部７１５とＢ信号誤差算出部７１６で算出し、最も相似性の高い領域をＲ信号最小誤差探索部７１７とＢ信号最小誤差探索部７１８で求める。次に、この領域に対応するＧ信号の高周波成分をＲ信号高周波生成部７１９とＢ信号高周波生成部７２０にて相似性の度合いに応じて補正し、この補正された高周波成分と本来のＲ信号およびＢ信号の低周波成分を逆ウェーブレット変換部７２２にて合成する。

（作用）
分布が局所的な関数を基底関数とした周波数分解、例えば、ウェーブレット変換により入力信号を複数の周波数成分に分解する。次に、情報量が多い分光感度特性の信号（ここでは最も画素数の多いＧ信号）の低周波成分と、情報量が少ない他の分光特性の信号（ここではＲ、Ｂ信号）の低周波成分間で形状の類似する領域を探索し、この領域のＧ信号の高周波成分を形状の相似性の度合いに応じて補正することでＲ、Ｂ信号の高周波成分を生成する。

（効果）
形状の相似性に基づき高周波成分を生成するため、エッジなどで信号の連続性が損なわれる場合やＧ信号との相関性が低い場合についても高周波成分を得ることができ、多様な画像に関しても良好な出力画像が得られる。

（構成８）
（対応する発明の実施の形態）
この発明に係る実施形態には、前記した第４実施形態が対応する。構成中の高周波強調手段には、図１５の高周波強調部８０１が該当する。構成中の誤差算出手段には、図１５のＧ信号逆ウェーブレット変換部８０２、誤差算出部８０３が該当する。構成中の制御手段には、図１５の制御部１１５が該当する。

この発明に係る信号処理装置の好ましい適用例は以下の通りである。図１５に示すＧ信号用バッファ１０４中のＧ信号をウェーブレット変換部１０５へ転送して高周波成分と低周波成分に周波数分解し、高周波成分を高周波強調部８０１にて係数αを乗算することで強調する。次に、この強調された高周波成分と低周波成分をＧ信号逆ウェーブレット変換部８０２で再構成し、この再構成画像が規定の濃度範囲を逸脱している割合を誤差算出部８０３にて算出する。そして、制御部１１５により誤差が所定の閾値を超えないよう係数αの値を制御し、強調された高周波成分を用いてＲ信号およびＢ信号の強調された高周波成分を生成し、強調された高周波成分と低周波成分からＲ、Ｇ、Ｂ三信号を再構成する。

（作用）
入力信号のうち情報量が多い分光感度特性の信号（ここでは最も画素数の多いＧ信号）をウェーブレット変換またはＤＣＴ変換などの周波数分解手段によって高周波成分と低周波成分に分解する。このうち高周波成分を係数αを乗算することで強調し、さらに強調処理した高周波成分を用いて原信号を再構成し、誤差の程度に基づき係数αの値を制御する。この後、Ｇ信号の低周波成分と情報量の少ない他の分光特性の信号（ここではＲ、Ｂ信号）との相関係数を求め、この相関係数をＧ信号を強調処理した高周波成分と乗算することでＲ、Ｂ信号を強調処理した高周波成分を生成する。

（効果）
コントラストが強調された視覚的に良好な出力信号が得られる。また、強調処理による誤差の発生を予め調査しているため、不自然な強調が発生しにくい。また、周波数分解手段としてウェーブレット変換を用いた場合は近傍画素の情報を共有し合うために連続性がよく高画質な再生画像が得られる。一方、周波数分解手段としてＤＣＴ変換を用いた場合はメモリ容量を小さくできる効果を奏する。

（構成９）
（対応する発明の実施の形態）
この発明に係る実施形態には、前記した第５実施形態が対応する。構成中の基準信号低周波強調手段には、図１７のＧ信号低周波強調部９０３が該当する。構成中の誤差算出手段には、図１７のＧ信号逆ウェーブレット変換部９０５、誤差算出部９０６が該当する。構成中の制御手段には、図１７の制御部１１５が該当する。構成中の基準信号高周波強調手段には、図１７のＧ信号高周波強調部９０４が該当する。構成中の従属信号低周波強調手段には、図１７のＲ信号低周波強調部９０１、Ｂ信号低周波強調部９０２が該当する。

この発明に係る信号処理装置の好ましい適用例は以下の通りである。図１７に示すＧ信号用バッファ１０４中のＧ信号をウェーブレット変換部１０５へ転送して高周波成分と低周波成分に周波数分解する。次に、正規化された低周波成分に対してＧ信号低周波強調部９０３にて係数βをべき乗することでダイナミックレンジを拡張し、この拡張された低周波成分と高周波成分をＧ信号逆ウェーブレット変換部９０５で再構成する。次に、この再構成画像が規定の濃度範囲を逸脱している割合を誤差算出部９０６にて算出し、制御部１１５により誤差が所定の閾値を超えないよう係数βの値を制御する。次に、適切に拡張された低周波成分に対応して所定サイズの領域ごとに高周波成分を係数βから所定の関係式により導かれる係数γを乗算することで強調する。次に、正規化されたＲ信号およびＢ信号の低周波成分をＲ信号低周波強調部９０１とＢ信号低周波強調部９０２にて前記を係数βを用いてべき乗し、強調されたＧ信号の高周波成分を用いてＲ信号およびＢ信号の強調された高周波成分を生成する。そして、強調された高周波成分とダイナミックレンジが拡張された低周波成分からＲ、Ｇ、Ｂ三信号を再構成する。

（作用）
入力信号のうち情報量が多い分光感度特性の信号（ここでは最も画素数の多いＧ信号）をウェーブレット変換またはＤＣＴ変換などの周波数分解手段によって高周波成分と低周波成分に分解する。このうち低周波成分を正規化して係数βでべき乗することでダイナミックレンジを拡張し、さらに拡張した低周波成分を用いて原信号を再構成し、誤差の程度に基づき係数βの値を制御する。この後、Ｇ信号の高周波成分を係数βから所定の関係式により導かれる係数γを乗算することで強調する。Ｇ信号の低周波成分と、情報量の少ない他の分光感度特性の信号（ここではＲ、Ｂ信号）との相関係数を求め、この相関係数をＧ信号を強調処理した高周波成分と乗算することでＲ、Ｂ信号を強調処理した高周波成分を生成する。さらに、Ｇ信号の低周波成分に対して適切に制御された係数βでＲ、Ｂ信号の低周波成分のダイナミックレンジを拡張する。最後に、強調された高周波成分とダイナミックレンジを拡張された低周波成分からＲ、Ｇ、Ｂ三信号を再構成する。

（効果）
拡張されたダイナミックレンジと強調されたコントラストを持つ高精細な出力信号が得られる。また、拡張処理による誤差の発生を予め調査してパラメータを制御し、かつ強調処理のパラメータも併せて制御しているため、不自然な強調が発生しにくい。また、周波数分解手段としてウェーブレット変換を用いた場合は近傍画素の情報を共有し合うために連続性がよく高画質な再生画像が得られる。一方、周波数分解手段としてＤＣＴ変換を用いた場合はメモリ容量を小さくできる効果を奏する。

本発明の第１実施形態に係る信号処理装置の構成を示す図である。 二板式ＣＣＤ入力部の説明図である。 ウェーブレット変換部の構成を示す図である。 Ｈａｒｒ関数に関する説明図である。 第１実施形態における信号処理の流れを示す図である。 逆ウェーブレット変換部の構成を示す図である。 本発明の第２実施形態に係る信号処理装置の構成を示す図である。 単板式ＣＣＤ入力部の説明図である。 第２実施形態における信号処理の流れを示す図である。 本発明の第３実施形態に係る信号処理装置の構成を示す図である。 周波数成分による類似領域探索の説明図である。 係数の再配置に関する説明図である。 類似領域探索のフローチャートである。 第３実施形態における信号処理の流れを示す図である。 本発明の第４実施形態に係る信号処理装置の構成を示す図である。 係数αの決定法の説明図である。 本発明の第４実施形態に係る信号処理装置の構成を示す図である。 単板式撮像素子のフィルタ配置を示す図である。

符号の説明

１０１…入力部、１０２…Ｒ信号用バッファ、１０３…Ｂ信号用バッファ、１０４…Ｇ信号用バッファ、１０５…ウェーブレット変換部、１０６…Ｇ信号低周波用バッファ、１０７…Ｇ信号高周波用バッファ、１０８…Ｒ信号相関係数算出部、１０９…Ｂ信号相関係数算出部、１１０…Ｒ信号相関係数算出部、１１１…Ｂ信号高周波生成部、１１２…Ｒ信号逆ウェーブレット変換部、１１３…Ｂ信号逆ウェーブレット変換部、１１４…出力部。

Claims (3)

1. 複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
   情報量が多い分光感度特性の信号を低周波成分と高周波成分とに分解する周波数分解手段と、
   この周波数分解手段によって分解された高周波成分に対し、１より大なる係数αを乗算する高周波強調手段と、
   この高周波強調手段で強調された高周波成分と前記低周波成分とを合成して得られる信号について所定の範囲を逸脱している画素数の割合を算出する誤差算出手段と、
   この誤差算出手段による算出結果に基づき、前記係数αの値を制御する制御手段と、
   を具備することを特徴とする信号処理装置。
2. 前記制御手段は、
   前記誤差算出手段により算出された割合が所定の閾値を超える場合には前記係数αを減少させ、前記誤差算出手段により算出された割合が所定の閾値を超えない場合には前記係数αを増加させて、前記高周波強調手段にて再度強調処理を行わせるように制御することを特徴とする請求項１に記載の信号処理装置。
3. 複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
   情報量が多い分光感度特性の信号を低周波成分と高周波成分とに分解する周波数分解手段と、
   この周波数分解手段によって分解された低周波成分に対し、正規化された信号を係数βでべき乗して強調する基準信号低周波強調手段と、
   この基準信号低周波強調手段によって強調された低周波成分と、前記高周波成分とを合成し、合成された信号が所定の範囲を逸脱している割合を算出する誤差算出手段と、
   この誤差算出手段による算出結果に基づき、前記係数βの値を制御する制御手段と、
   前記周波数分解手段によって分解された高周波成分を所定の領域に分割し、分割された各領域ごとに、前記基準信号低周波強調手段で用いた係数βから所定の関係式により導かれる係数γを乗算する基準信号高周波強調手段と、
   情報量の少ない分光感度特性の信号に対し、正規化された信号を前記係数βでべき乗する従属信号低周波強調手段と、
   を具備することを特徴とする信号処理装置。

Images