JP4216973B2 - 信号処理装置 - Google Patents
信号処理装置 Download PDFInfo
- Publication number
- JP4216973B2 JP4216973B2 JP31872999A JP31872999A JP4216973B2 JP 4216973 B2 JP4216973 B2 JP 4216973B2 JP 31872999 A JP31872999 A JP 31872999A JP 31872999 A JP31872999 A JP 31872999A JP 4216973 B2 JP4216973 B2 JP 4216973B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frequency
- spectral sensitivity
- photoelectric conversion
- frequency component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000035945 sensitivity Effects 0.000 claims description 160
- 230000003595 spectral effect Effects 0.000 claims description 160
- 238000006243 chemical reaction Methods 0.000 claims description 106
- 238000000034 method Methods 0.000 claims description 33
- 239000006185 dispersion Substances 0.000 claims description 31
- 238000000354 decomposition reaction Methods 0.000 claims description 22
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 15
- 230000002194 synthesizing effect Effects 0.000 description 8
- 230000005484 gravity Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は信号処理装置に関するものである。
【０００２】
【従来の技術】
信号処理装置に用いられる画像入力装置の一例として、例えば２次元配列ＣＣＤを用いた入力装置がある。又、色フィルターの２次元配列の１つとして例えばベイヤー配列がある。色フィルターがベイヤー配列を持つ２次元ＣＣＤから出力された画像データ中には、空間サンプリング周波数の低いレッド（以下Ｒで示す）、ブルー（以下Ｂで示す）の色信号と、空間サンプリング周波数が高く３色中輝度信号に最も近い信号であるグリーン（以下Ｇで示す）の輝度信号とがある。従って多くの場合に、入力信号を例えばウェーブレット変換により周波数分解した後、Ｇの輝度信号の高域情報に基づいてＲ、Ｂの色信号成分の高域情報を推定することが可能である。このような高域情報の推定を行った後で逆ウェーブレット変換を行うことにより、高域情報の回復された色信号が得られる。
【０００３】
図１１は上記したベイヤー配列をなす全画素配列を示す図である。図１１においてＲ信号は輝度成分より色度成分を多く含み、所定領域における画素数が２番目に多い。また、Ｇ信号は輝度成分を最も多く含み、所定領域における画素数が１番多い。また、Ｂ信号は輝度成分より色度成分を多く含み、所定領域における画素数が２番目に多い。
【０００４】
特開平０９−２８４７９８号公報は、ベイヤー配列における欠落したＧ画素を補間した図１２（Ａ）に示すような２×２画素配列のブロックにおいて、局所的関数を基底関数（ここではＨａｒｒ関数）としたウェーブレット変換による周波数域分解方法を開示している。Ｈａｒｒ関数を用いているので垂直方向の局所的関数は図１２（Ｂ）に示すようなＬＰＦ（ローパスフィルタ）とＨＰＦ（ハイパスフィルタ）とが適用され、水平方向の局所的関数は図１２（Ｃ）に示すようなＬＰＦ（ローパスフィルタ）とＨＰＦ（ハイパスフィルタ）とが適用される。また、このときのウェーブレット変換においては例えば以下の演算式が用いられる。
【０００５】
ＧLL＝｛（ＧUL＋ＧUR）＋（ＧDL＋ＧDR）｝／４
ＧHL＝｛（ＧUL−ＧUR）＋（ＧDL−ＧDR）｝／４
ＧLH＝｛（ＧUL＋ＧUR）−（ＧDL＋ＧDR）｝／４
ＧHH＝｛（ＧUL−ＧUR）−（ＧDL−ＧDR）｝／４
上記ウェーブレット変換により図１２（Ｄ）に示すように、周波数分解されたＧ画素の４つの成分、ＧLL、ＧHL、ＧLH、ＧHHが得られる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記した特開平０９−２８４７９８号公報を含む従来技術は以下の問題点を有する。
【０００７】
第一に、周波数域の分解において、周波数分解数をどのように決定するかについての具体的方法を開示していない。
【０００８】
また、異なる画素数を持つ所定領域情報間で高周波成分の生成を行った場合には、局所領域の重心位置に違いによってデータの急激な変化部分に偽色が発生する。
【０００９】
また、画像全体で相関係数、及び相似性算出を行ったときに、画像全体について高周波成分の存在する範囲が少ない場合は、高周波成分の生成が行われない。
【００１０】
また、被写体にＲ又はＢの高域情報よりも、Ｇの高域情報が少ない場合には、高域情報生成を用いた画素補間処理を行うと、推定に依らない補間手段を用いた場合と比較して高域情報が減少して画像の精細度が悪くなる。
【００１１】
また、高域情報を正確に求めると、演算量が多く実処理時間が長くなってしまう。
【００１２】
また、振幅の分散を用いた場合でも、演算量が多く実処理時間が長くなってしまう。
【００１３】
また、被写体に高域情報が少ない場合には、高域情報の推定による補間と、高域情報の推定を行わない補間とで出力結果に大きな差が無く、高域情報推定のための補間の演算量が多く実処理時間が長くなってしまう。
【００１４】
本発明は上記した課題に着目してなされたものであり、その目的とするところは、推定に用いる高域情報量に応じて周波数分解数を決定することにより、最小の演算時間となる少ない周波数分解数でそれ以上の分解数の場合とほぼ同等の画像が得られる信号処理装置を提供することにある。
【００１５】
また、本発明の他の目的は、局所領域の重心位置の違いによる、データの急激な変化部分での偽色発生を抑圧可能な信号処理装置を提供することにある。
【００１６】
また、本発明の他の目的は、高周波成分の推定が必要で有るにもかかわらず、高周波成分の生成が行われない場合が少なくなる信号処理装置を提供することにある。
【００１７】
また、本発明の他の目的は、Ｒ又はＢの高域情報よりも、Ｇの高域情報が少ない場合にも高域情報が減少せず、Ｒ又はＢがもとから持つ画像の精細度が劣化せず、かつ、情報量が同等の場合にキュービックやリニア等の推定に依らない補間を行った場合には、同等の画像が少ない演算量で求まる信号処理装置を提供することにある。
【００１８】
また、本発明の他の目的は、高域情報全てを比較する場合と比較して、ほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能な信号処理装置を提供することにある。
【００１９】
また、本発明の他の目的は、振幅の分散を用いた場合と比較してほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能な信号処理装置を提供することにある。
【００２０】
また、本発明の他の目的は、高周波推定による補間手段と、推定に依らない補間手段とによる出力結果に大きな差が無い場合には、少ない演算量で、信号処理を実現可能な信号処理装置を提供することにある。
【００２１】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第１の態様に係る信号処理装置は、複数の分光感度特性を持つ画像入力手段を持ち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段と、上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第１番目と第２番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の分散値を演算する分散演算手段と、得られたそれぞれの分散値を比較する比較手段とを具備する高周波信号比較手段と、キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、を具備する。
【００２２】
また、本発明の第２の態様に係る信号処理装置は、複数の分光感度特性を持つ画像入力手段を持ち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段と、上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第１番目と第２番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の最大値と最小値の差を演算する演算手段と、得られたそれぞれの最大値と最小値の差を比較する比較手段とを具備する高周波信号比較手段と、キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、を具備する。
【００２３】
また、本発明の第３の態様に係る信号処理装置は、複数の分光感度特性を持つ画像入力手段を持ち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段と、上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第１番目の分光感度特性を持つ光電変換領域からの信号の振幅の分散を演算する分散演算手段と、得られた分散値と閾値とを比較する分散値比較手段とを具備する高周波信号比較手段と、キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、を具備する。
【００２４】
また、本発明の第４の態様に係る信号処理装置は、複数の分光感度特性を持つ画像入力手段を持ち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段と、上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第１番目の分光感度特性を持つ光電変換領域からの信号振幅の最大値と最小値の差を演算する演算手段と、この信号振幅の最大値と最小値の差と閾値とを比較する比較手段とを具備する高周波信号比較手段と、キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、を具備する。
【００３１】
【発明の実施の形態】
以下に述べる本発明の各実施形態を実現するにあたって、ここでは、入力された信号を分光感度特性により周波数分解して、情報量が多い分光感度特性の高周波成分を、情報量が少ない他の分光感度特性の高周波成分の推定に用いることで高精細な信号を得る信号処理装置を用いる。このような信号処理装置は、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段とを備えている。上記した信号処理装置の構成は特開平０９−２８４７９８号公報に開示されている。
【００３２】
ここで、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性より多い信号とはＧ信号であり、Ｇの輝度信号の高域情報を元に、他の分光感度特性に関する信号としてのＲ、Ｂの色信号成分の高域情報を推定することが可能である。また、上記周波数分解手段は、ウェーブレット変換などのように、分布が局所的な関数を基底関数として周波数分解を行う。また、上記周波数合成手段は、逆ウェーブレット変換のような、分布が局所的な関数を基底関数として周波数合成を行う。
【００３３】
図１は上記した各手段を用いて信号処理を行うことによりＲの色信号成分の高域情報を推定するまでの手順を説明するための図である。まず図１を用いて特開平０９−２８４７９８号公報に記載の高域情報推定処理について説明する。ここではＲ信号とＧ信号に関してのみ説明するが、Ｂ信号とＧ信号に関しても同様である。図１の（ａ）、（ｂ）は、上記画像入力手段により入力されたＧ信号Ｇ0LLとＲ信号Ｒ0LLとを示す。また、図１の（ｃ）、（ｄ）は、それぞれ上記周波数分解手段での周波数分解処理１０４により得られたＧ信号低周波成分Ｇ1LLと、Ｇ信号高周波成分Ｇ1HH、Ｇ1HL、Ｇ1LHを示す。また、（ｂ’）は、Ｇ1LLと同一サイズのデータに変換されたＲ信号低周波成分Ｒ1LLを示す。
【００３４】
次に上記相関係数算出手段による相関係数算出処理１０３により信号Ｇ1LLと信号Ｒ1LLとの間で相関係数εR,Gが算出される。ここでの相関係数εR,Gは同一画素位置にある信号Ｇ1LLと信号Ｒ1LLとの間で画素単位で算出される。得られた相関係数εR,Gは、Ｇ信号高周波成分Ｇ1HH、Ｇ1HL、Ｇ1LHとともに上記高周波成分信号生成手段へ転送される。ここで図１の（ｆ）に示す高周波成分推定処理１０６により、上記相関係数εR,GとＧ信号高周波成分Ｇ1HH、Ｇ1HL、Ｇ1LHとが乗算されてＲ信号の高周波成分Ｒ1HH、Ｒ1HL、Ｒ1LHが生成される。次に上記周波数合成手段におけるウェーブレット逆変換処理により、Ｒ信号Ｒ1LLと、高周波成分Ｒ1HH、Ｒ1HL、Ｒ1LHとが周波数合成されて高精細なＲ信号Ｒ0LL（図１の（ｇ））が得られる。
【００３５】
本実施形態では上記した信号処理に加えて、重心合わせ処理１００、周波数分解数の決定処理１０１、ブロック分解処理１０２、さらに、図２に示すような構成をもつ切り替え手段１０７により、キュービックやリニアーなどの高周波成分の推定に依らない補間処理１０５と、高周波成分推定処理１０６とを切り替える切り替え処理とを別個にあるいは適宜組み合わせて行うことを特徴とする。以下、これらの処理について詳細に説明する。
【００３６】
（第１実施形態）
以下に本発明の第１実施形態を説明する。図３は本発明の第１実施形態において、ウェーブレット変換を用いた周波数分解における周波数分解数の決定方法を説明するための図である。第１実施形態では、上記周波数分解手段の分解数を、第１番目の分光感度特性を持つ光電変換単位領域の数（すなわち、光電変換領域の画素数）と、第２番目以降である他の分光感度特性を持つ光電変換単位領域の数との間の比率に応じて決定することを特徴とする。すなわち、分光感度特性の異なる光電変換単位領域の数の比率により周波数分解における周波数分解数を決定する。
【００３７】
このことを具体例を用いて説明する。図３の（Ａ）に示すようなベイヤー配列に従った全画素配列があったときに、高域情報を多く含む成分（図３の（Ｂ）に示すようなＧ輝度信号成分）の画素数は水平方向についてはｋ＝８であり、垂直方向についてはｊ＝４となり、高域情報を少なく含む成分（図３の（Ｃ）に示すようなＲ信号成分）の画素数は水平方向についてはｎ＝４であり、垂直方向についてはｍ＝２となっている。そこで本実施形態では、水平方向の周波数域分解数をｋ／ｎ以上の整数の最小値（ここでは２）に設定し、垂直方向の周波数域分解数をｊ／ｍ以上の整数の最小値（ここでは２）に設定するようにする。すなわち、ベイヤー配列の場合、水平垂直共にＧの画素数が、Ｒ、Ｂの画素数の２倍存在することから、２周波数域とする。
【００３８】
このように第１実施形態においては、ウェーブレット変換を行うにあたって、複数の周波数域を空間サンプリング周波数に応じて決定しており、空間サンプリング周波数の高い即ち高域情報を多く含むＧの輝度信号データをウェーブレット変換して、水平垂直それぞれについて２以上の複数の周波数域に分解し、同様にＲ、Ｇの色信号データについても、水平垂直それぞれに２以上の複数の周波数域に分解している。これによって推定に用いる高域情報量に応じて周波数分解数が決定されることになり、最小の演算時間となる少ない周波数分解数でそれ以上（ここでは２倍以上）の分解数の場合とほぼ同等の画質の画像を得ることができる。また、周波数分解数が多くなるほど特定周波数により発生するモアレは改善される。
【００３９】
（第２実施形態）
次に本発明の第２実施形態について説明する。本来ウェーブレット変換処理の対象は、本質的には連続な信号が対象となる。従って離散系を対象とした場合、相関を算出する部分で画素数が異なるとそれぞれ色データの重心が異なることから局所領域にずれが生じ、特定方向に偽色が発生する。そこで第２実施形態では、上記相関係数算出手段の２つの入力信号の所定領域における各分光感度特性の画素の重心を合わせるための画素補間手段を設け、ウェーブレット変換により周波数成分を分解する前に、この画素補間手段により、情報量の多い分光感度特性のデータ数と、情報量の少ない分光感度特性のデータ数を等しくする。すなわち、ＲとＢの高域情報を推定するときに、それぞれ画素補間によりＲ、Ｇ、Ｂ全画素を同一画素数にした後にウェーブレット変換処理（低域相関→高域推定）を行うようにすれば、上記したような偽色の発生を抑圧することが可能である。
【００４０】
上記のことを具体例を用いて説明する。図４の（Ａ）に示すようなベイヤー配列に従った全画素配列があったときに、このようなベイヤー配列のＧ画素配列（輝度成分）は図４の（Ｂ）、Ｒ画素配列（色度成分）は図４の（Ｃ）、Ｂ画素配列（色度成分）は図４の（Ｄ）に示すようになる。図４の（Ｂ）において、補間前の最も左上部の２×２画素のＧ信号の重心は２×２画素の中心（黒丸の部分）となる。また、図４の（Ｃ）に示す最も左上部の２×２画素のＲ信号の重心及び、図４の（Ｄ）に示す最も左上部の２×２画素のＢ信号の重心は各画素の中心（黒丸の部分）となる。このため、水平及び垂直方向に０．５画素のずれが生じ、これが原因となって方向性のある偽色が発生する。
【００４１】
そこで、画素補間により図４の（Ｅ）、（Ｆ）、（Ｇ）に示すようにＲ、Ｇ、Ｂ全画素が同一画素数になるようにすると、Ｒ、Ｇ、Ｂの各信号の重心はすべて２×２画素の中心となる。このようにして各色信号での重心の違いによる偽色の発生を防止することができる。
【００４２】
（第３実施形態）
次に本発明の第３実施形態を説明する。第３実施形態では、図５の（Ａ）に示すように１つの画像を複数のブロック（００ブロック〜ｍｎブロック）に分解する画像分解手段を設け、この画像分解手段により分解されたブロック毎に相関係数及び相似性の算出を行って各色信号の高域情報を推定することを特徴とする。
【００４３】
以下にこのことを具体的に説明する。図５の（Ｃ）は、処理前の１つの原画像を示している。２×２画素のブロック単位でその低周波成分と高周波成分とを図５の（Ｂ）のごとく規定すると、図５の（Ｃ）に示す画像では、最も右下部に高周波成分を含んでいることになる。このように画像の一部にしか高周波成分が含まれていない場合には、１つの画像を複数に分解した場合と分解しない場合とで以下の違いが発生する。
【００４４】
すなわち、図５の（Ｃ）に示す画像を分解することなしに推定処理を施すと、全画像での相関係数（高周波成分と低周波成分との比）が低いため、すなわち、位置による周波数成分の違いが発生するために高周波成分の推定が適切に行われなくなって、高周波成分は図５の（Ｄ）に示すように処理後に減少してしまう。
【００４５】
そこで図５の（Ｅ）に示すような１つの画像を複数ブロック（ここでは１ブロック＝２×２画素ごと）に分解した上で推定処理を行うと、最も右下部のブロックでの相関係数（高周波成分と低周波成分との比）が高いため、すなわち、位置による周波数成分の違いが少なくなるために適切な高周波成分の推定が行われ、高周波成分は図５の（Ｆ）に示すように推定処理後でも減少しない。
【００４６】
上記した第３実施形態によれば、１つの画像内で、高域情報量の部位依存がある場合でも、高域情報が少なくなることなしに高周波成分を推定することができる。
【００４７】
（第４実施形態）
以下に本発明の第４実施形態を説明する。第４実施形態では、上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較する高周波信号比較手段と、キュービックやリニアーなどの高周波成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段とを備えている。すなわち、高周波信号比較手段（高域情報比較手段）により各色信号の高域情報を比較し、Ｒ又はＢの高域情報よりもＧの高域情報が少ない場合には、ウェーブレット変換処理による高域情報の推定（高周波推定処理）に代わって、キュービックやリニアなどの高域情報生成を用いない補間処理に適応的に切り替えるようにする。
【００４８】
図６はこのような高周波推定方法の切り替えのようすを示している。すなわち、相関係数（第２番目以降の分光感度特性の高域情報量と第１番目の分光感度特性の高域情報量との比、すなわち、ＲまたはＢの高域情報量とＧの高域情報量との比）が１になる点を境にして、相関が小さい左側（高周波成分の推定量＜補間量）ではキュービックやリニアーなどの補間処理を行い、相関が大きい右側（高周波成分の推定量＞補間量）では高周波推定処理を行うようにする。
【００４９】
上記した第４実施形態によれば、Ｒ又はＢの高域情報よりも、Ｇの高域情報が少ない場合に発生するアーティファクト（色境界が斜めの場合はギザギザノイズ）の発生を抑圧することができる。
【００５０】
（第５実施形態）
以下に本発明の第５実施形態を説明する。第５実施形態では、上記高周波信号比較手段が第１番目と第２番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の分散値を演算する分散演算手段と、得られたそれぞれの分散値を比較する比較手段とを備えていることを特徴とする。すなわち、各色信号の高域情報を比較する手段として、Ｇの振幅の分散とＲ、Ｂの振幅の分散の比較手段を用いるようにする。
【００５１】
上記のことを具体例を用いて説明する。図７の（Ａ）に示すようなベイヤー配列をなすｎ×ｍ画素の全画素配列において、以下の分散に関する式
【００５２】
【数１】
【００５３】
を用いて各色Ｒ、Ｇ、Ｂごとに振幅の分散を求める。次に第２番目以降の分光感度特性の信号振幅の分散と第１番目の分光感度特性の信号振幅の分散（ＲまたはＢの信号振幅の分散とＧの信号振幅の分散の比）を求め、この比の値が１より大きいか否かで上記した高周波推定処理と補間処理とを切り替えるようにする（図７の（Ｂ））。
【００５４】
上記第５実施形態によれば、Ｇが変化せずＲ、Ｂの少なくとも一方が変化する画像におけるアーティファクトの発生を抑圧可能である。高域情報全てを比較する場合よりも演算量が少なく、少ない処理時間で実現可能になる。
【００５５】
（第６実施形態）
以下に本発明の第６実施形態を説明する。第６実施形態では、上記高周波信号比較手段が第１番目と第２番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の最大値と最小値の差を演算する演算手段と、得られたそれぞれの最大値と最小値の差を比較する比較手段とを備えていることを特徴とする。すなわち、高域情報を比較する手段として、Ｇの最大値と最小値の差とＲ、Ｂの最大値と最小値の差とを比較する手段を用いる。
【００５６】
より具体的には、第２番目以降の分光感度特性の｜信号最大値−信号最小値｜と、第１番目の分光感度特性の｜信号最大値−信号最小値｜との比（ここでは、｜ＲまたはＢの最大値−ＲまたはＢの最小値｜と、｜Ｇの最大値−Ｇの最小値｜との比を求め、この比の値が１よりも小さい場合には補間処理を行い、１よりも大きい場合には高周波推定処理を行うようにする（図８）。
【００５７】
第６実施形態では上記した第５実施形態と比較して、１ブロック中の少ない領域だけに最大振幅が発生している場合には、１ブロック中の他の広い領域においてアーティファクトが発生してしまう欠点があるが、演算量が少なく、少ない処理時間で推定処理を実現可能となる。
【００５８】
（第７実施形態）
以下に本発明の第７実施形態を説明する。第７実施形態では、上記高周波信号比較手段が第１番目の分光感度特性を持つ光電変換領域からの信号の振幅の分散値を演算する分散演算手段と、得られた分散値と閾値とを比較する分散値比較手段とを備えていることを特徴とする。すなわち、Ｇ信号の分散値を比較した結果、Ｇ信号の高域情報が閾値よりも低く、ウェーブレット変換による高域情報の推定を用いた場合と、キュービックやリニアなどの補間による場合とで画素補間結果に大きな違いがない場合には、高域情報生成を行わないキュービックやリニアなどの補間手段に適応的に切り替えるようにする。
【００５９】
より具体的には、第２番目以降の分光感度特性の信号振幅の分散と第１番目の分光感度特性の信号振幅の分散（ＲまたはＢの信号振幅の分散とＧの信号振幅の分散の比）を求め、この比の値が閾値（例えば１．１あるいは１．２）よりも小さい場合には、上記した高周波推定処理の代わりにキュービックやリニアなどの補間処理に切り替えるようにする（図９）。
【００６０】
上記した第７実施形態によれば、第５実施形態のように閾値を用いない場合よりも演算量が少なく、ほぼ同等の結果を得ることが可能である。
【００６１】
（第８実施形態）
以下に本発明の第８実施形態を説明する。第８実施形態では、上記高周波信号比較手段が第１番目の分光感度特性を持つ光電変換領域からの信号の振幅の最大値と最小値の差を演算する演算手段と、得られた信号振幅の最大値と最小値の差と閾値とを比較する比較手段とを備えていることを特徴とする。Ｇ信号の高域情報が閾値よりも低くく、ウェーブレット変換による高域情報の推定を用いた場合と、キュービックやリニアなどの補間による場合とで画素補間結果に大きな違いがない場合には、高域情報生成をしないキュービックやリニアなどの補間手段に適応的に切り替えるようにする。
【００６２】
より具体的には、第２番目以降の分光感度特性の｜信号最大値−信号最小値｜と、第１番目の分光感度特性の｜信号最大値−信号最小値｜との比（ここでは、｜ＲまたはＢの最大値−ＲまたはＢの最小値｜と、｜Ｇの最大値−Ｇの最小値｜との比を求め、この比の値が閾値（例えば１．１あるいは１．２）よりも小さい場合には、上記した高周波推定処理の代わりにキュービックやリニアなどの補間処理に切り替えるようにする（図１０）。
【００６３】
上記した第８実施形態によれば、第６実施形態のように閾値を用いない場合よりも演算量が少なく、ほぼ同等の結果を得ることが可能である。
【００６４】
【発明の効果】
請求項１に記載の発明によれば、推定に用いる高域情報量に応じて周波数分解数を決定可能にしたので、最小の演算時間となる少ない周波数分解数でそれ以上の分解数の場合とほぼ同等の画像が得られる信号処理装置を提供することができる。
【００６５】
また、請求項２に記載の発明によれば、局所領域の重心位置の違いによる、データの急激な変化部分での偽色発生を抑圧可能な信号処理装置を提供することができる。
【００６６】
また、請求項３に記載の発明によれば、高周波成分の推定が必要で有るにもかかわらず、高周波成分の生成が行われない場合が少なくなる信号処理装置を提供することができる。
【００６７】
また、請求項４に記載の発明によれば、少なくとも１つの分光感度特性に関する信号の情報量が他の分光感度特性より多い信号（例えばＧ信号）の高域情報が、他の分光感度特性に関する信号（例えばＲ又はＢ信号）よりも少ない場合であっても高域情報が減少せず、かつ、他の分光感度特性に関する信号（例えばＲ又はＢ信号）がもとから持つ画像の精細度が劣化せず、かつ、情報量が同等の場合にキュービックやリニア補間を行った場合には、同等の画像が少ない演算量で求まる信号処理装置を提供することができる。
【００６８】
また、請求項５に記載の発明によれば、高域情報全てを比較する場合と比較して、ほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能な信号処理装置を提供することができる。
【００６９】
また、請求項６に記載の発明によれば、振幅の分散を用いた場合と比較してほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能な信号処理装置を提供することができる。
【００７０】
また、請求項７または請求項８に記載の発明によれば、出力結果に大きな差が無い場合には、少ない演算量で、処理を実現可能な信号処理装置を提供することができる。
【００７１】
また、請求項９または請求項１０に記載の発明によれば、フーリエ変換等を用いて周波数分解するよりも少ない処理時間、回路規模で実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の方法によりＲの色信号成分の高域情報を推定するまでの手順を説明するための図である。
【図２】切り替え手段の構成を示す図である。
【図３】本発明の第１実施形態を具体的に説明するための図である。
【図４】本発明の第２実施形態を具体的に説明するための図である。
【図５】本発明の第３実施形態を具体的に説明するための図である。
【図６】本発明の第４実施形態を具体的に説明するための図である。
【図７】本発明の第５実施形態を具体的に説明するための図である。
【図８】本発明の第６実施形態を具体的に説明するための図である。
【図９】本発明の第７実施形態を具体的に説明するための図である。
【図１０】本発明の第８実施形態を具体的に説明するための図である。
【図１１】ベイヤー配列をなす全画素配列を示す図である。
【図１２】Ｇ画素を補間した画素配列に対してウェーブレット変換により周波数分解を行う手順を説明するための図である。
【符号の説明】
１００ 重心合わせ処理
１０１ 周波数分解数の決定処理
１０２ ブロック分解処理
１０３ 相関係数算出処理
１０４ 周波数分解処理
１０５ 補間処理
１０６ 高周波成分推定処理
１０７ 切り替え手段
【発明の属する技術分野】
本発明は信号処理装置に関するものである。
【０００２】
【従来の技術】
信号処理装置に用いられる画像入力装置の一例として、例えば２次元配列ＣＣＤを用いた入力装置がある。又、色フィルターの２次元配列の１つとして例えばベイヤー配列がある。色フィルターがベイヤー配列を持つ２次元ＣＣＤから出力された画像データ中には、空間サンプリング周波数の低いレッド（以下Ｒで示す）、ブルー（以下Ｂで示す）の色信号と、空間サンプリング周波数が高く３色中輝度信号に最も近い信号であるグリーン（以下Ｇで示す）の輝度信号とがある。従って多くの場合に、入力信号を例えばウェーブレット変換により周波数分解した後、Ｇの輝度信号の高域情報に基づいてＲ、Ｂの色信号成分の高域情報を推定することが可能である。このような高域情報の推定を行った後で逆ウェーブレット変換を行うことにより、高域情報の回復された色信号が得られる。
【０００３】
図１１は上記したベイヤー配列をなす全画素配列を示す図である。図１１においてＲ信号は輝度成分より色度成分を多く含み、所定領域における画素数が２番目に多い。また、Ｇ信号は輝度成分を最も多く含み、所定領域における画素数が１番多い。また、Ｂ信号は輝度成分より色度成分を多く含み、所定領域における画素数が２番目に多い。
【０００４】
特開平０９−２８４７９８号公報は、ベイヤー配列における欠落したＧ画素を補間した図１２（Ａ）に示すような２×２画素配列のブロックにおいて、局所的関数を基底関数（ここではＨａｒｒ関数）としたウェーブレット変換による周波数域分解方法を開示している。Ｈａｒｒ関数を用いているので垂直方向の局所的関数は図１２（Ｂ）に示すようなＬＰＦ（ローパスフィルタ）とＨＰＦ（ハイパスフィルタ）とが適用され、水平方向の局所的関数は図１２（Ｃ）に示すようなＬＰＦ（ローパスフィルタ）とＨＰＦ（ハイパスフィルタ）とが適用される。また、このときのウェーブレット変換においては例えば以下の演算式が用いられる。
【０００５】
ＧLL＝｛（ＧUL＋ＧUR）＋（ＧDL＋ＧDR）｝／４
ＧHL＝｛（ＧUL−ＧUR）＋（ＧDL−ＧDR）｝／４
ＧLH＝｛（ＧUL＋ＧUR）−（ＧDL＋ＧDR）｝／４
ＧHH＝｛（ＧUL−ＧUR）−（ＧDL−ＧDR）｝／４
上記ウェーブレット変換により図１２（Ｄ）に示すように、周波数分解されたＧ画素の４つの成分、ＧLL、ＧHL、ＧLH、ＧHHが得られる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記した特開平０９−２８４７９８号公報を含む従来技術は以下の問題点を有する。
【０００７】
第一に、周波数域の分解において、周波数分解数をどのように決定するかについての具体的方法を開示していない。
【０００８】
また、異なる画素数を持つ所定領域情報間で高周波成分の生成を行った場合には、局所領域の重心位置に違いによってデータの急激な変化部分に偽色が発生する。
【０００９】
また、画像全体で相関係数、及び相似性算出を行ったときに、画像全体について高周波成分の存在する範囲が少ない場合は、高周波成分の生成が行われない。
【００１０】
また、被写体にＲ又はＢの高域情報よりも、Ｇの高域情報が少ない場合には、高域情報生成を用いた画素補間処理を行うと、推定に依らない補間手段を用いた場合と比較して高域情報が減少して画像の精細度が悪くなる。
【００１１】
また、高域情報を正確に求めると、演算量が多く実処理時間が長くなってしまう。
【００１２】
また、振幅の分散を用いた場合でも、演算量が多く実処理時間が長くなってしまう。
【００１３】
また、被写体に高域情報が少ない場合には、高域情報の推定による補間と、高域情報の推定を行わない補間とで出力結果に大きな差が無く、高域情報推定のための補間の演算量が多く実処理時間が長くなってしまう。
【００１４】
本発明は上記した課題に着目してなされたものであり、その目的とするところは、推定に用いる高域情報量に応じて周波数分解数を決定することにより、最小の演算時間となる少ない周波数分解数でそれ以上の分解数の場合とほぼ同等の画像が得られる信号処理装置を提供することにある。
【００１５】
また、本発明の他の目的は、局所領域の重心位置の違いによる、データの急激な変化部分での偽色発生を抑圧可能な信号処理装置を提供することにある。
【００１６】
また、本発明の他の目的は、高周波成分の推定が必要で有るにもかかわらず、高周波成分の生成が行われない場合が少なくなる信号処理装置を提供することにある。
【００１７】
また、本発明の他の目的は、Ｒ又はＢの高域情報よりも、Ｇの高域情報が少ない場合にも高域情報が減少せず、Ｒ又はＢがもとから持つ画像の精細度が劣化せず、かつ、情報量が同等の場合にキュービックやリニア等の推定に依らない補間を行った場合には、同等の画像が少ない演算量で求まる信号処理装置を提供することにある。
【００１８】
また、本発明の他の目的は、高域情報全てを比較する場合と比較して、ほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能な信号処理装置を提供することにある。
【００１９】
また、本発明の他の目的は、振幅の分散を用いた場合と比較してほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能な信号処理装置を提供することにある。
【００２０】
また、本発明の他の目的は、高周波推定による補間手段と、推定に依らない補間手段とによる出力結果に大きな差が無い場合には、少ない演算量で、信号処理を実現可能な信号処理装置を提供することにある。
【００２１】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第１の態様に係る信号処理装置は、複数の分光感度特性を持つ画像入力手段を持ち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段と、上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第１番目と第２番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の分散値を演算する分散演算手段と、得られたそれぞれの分散値を比較する比較手段とを具備する高周波信号比較手段と、キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、を具備する。
【００２２】
また、本発明の第２の態様に係る信号処理装置は、複数の分光感度特性を持つ画像入力手段を持ち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段と、上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第１番目と第２番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の最大値と最小値の差を演算する演算手段と、得られたそれぞれの最大値と最小値の差を比較する比較手段とを具備する高周波信号比較手段と、キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、を具備する。
【００２３】
また、本発明の第３の態様に係る信号処理装置は、複数の分光感度特性を持つ画像入力手段を持ち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段と、上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第１番目の分光感度特性を持つ光電変換領域からの信号の振幅の分散を演算する分散演算手段と、得られた分散値と閾値とを比較する分散値比較手段とを具備する高周波信号比較手段と、キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、を具備する。
【００２４】
また、本発明の第４の態様に係る信号処理装置は、複数の分光感度特性を持つ画像入力手段を持ち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段と、上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第１番目の分光感度特性を持つ光電変換領域からの信号振幅の最大値と最小値の差を演算する演算手段と、この信号振幅の最大値と最小値の差と閾値とを比較する比較手段とを具備する高周波信号比較手段と、キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、を具備する。
【００３１】
【発明の実施の形態】
以下に述べる本発明の各実施形態を実現するにあたって、ここでは、入力された信号を分光感度特性により周波数分解して、情報量が多い分光感度特性の高周波成分を、情報量が少ない他の分光感度特性の高周波成分の推定に用いることで高精細な信号を得る信号処理装置を用いる。このような信号処理装置は、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段とを備えている。上記した信号処理装置の構成は特開平０９−２８４７９８号公報に開示されている。
【００３２】
ここで、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性より多い信号とはＧ信号であり、Ｇの輝度信号の高域情報を元に、他の分光感度特性に関する信号としてのＲ、Ｂの色信号成分の高域情報を推定することが可能である。また、上記周波数分解手段は、ウェーブレット変換などのように、分布が局所的な関数を基底関数として周波数分解を行う。また、上記周波数合成手段は、逆ウェーブレット変換のような、分布が局所的な関数を基底関数として周波数合成を行う。
【００３３】
図１は上記した各手段を用いて信号処理を行うことによりＲの色信号成分の高域情報を推定するまでの手順を説明するための図である。まず図１を用いて特開平０９−２８４７９８号公報に記載の高域情報推定処理について説明する。ここではＲ信号とＧ信号に関してのみ説明するが、Ｂ信号とＧ信号に関しても同様である。図１の（ａ）、（ｂ）は、上記画像入力手段により入力されたＧ信号Ｇ0LLとＲ信号Ｒ0LLとを示す。また、図１の（ｃ）、（ｄ）は、それぞれ上記周波数分解手段での周波数分解処理１０４により得られたＧ信号低周波成分Ｇ1LLと、Ｇ信号高周波成分Ｇ1HH、Ｇ1HL、Ｇ1LHを示す。また、（ｂ’）は、Ｇ1LLと同一サイズのデータに変換されたＲ信号低周波成分Ｒ1LLを示す。
【００３４】
次に上記相関係数算出手段による相関係数算出処理１０３により信号Ｇ1LLと信号Ｒ1LLとの間で相関係数εR,Gが算出される。ここでの相関係数εR,Gは同一画素位置にある信号Ｇ1LLと信号Ｒ1LLとの間で画素単位で算出される。得られた相関係数εR,Gは、Ｇ信号高周波成分Ｇ1HH、Ｇ1HL、Ｇ1LHとともに上記高周波成分信号生成手段へ転送される。ここで図１の（ｆ）に示す高周波成分推定処理１０６により、上記相関係数εR,GとＧ信号高周波成分Ｇ1HH、Ｇ1HL、Ｇ1LHとが乗算されてＲ信号の高周波成分Ｒ1HH、Ｒ1HL、Ｒ1LHが生成される。次に上記周波数合成手段におけるウェーブレット逆変換処理により、Ｒ信号Ｒ1LLと、高周波成分Ｒ1HH、Ｒ1HL、Ｒ1LHとが周波数合成されて高精細なＲ信号Ｒ0LL（図１の（ｇ））が得られる。
【００３５】
本実施形態では上記した信号処理に加えて、重心合わせ処理１００、周波数分解数の決定処理１０１、ブロック分解処理１０２、さらに、図２に示すような構成をもつ切り替え手段１０７により、キュービックやリニアーなどの高周波成分の推定に依らない補間処理１０５と、高周波成分推定処理１０６とを切り替える切り替え処理とを別個にあるいは適宜組み合わせて行うことを特徴とする。以下、これらの処理について詳細に説明する。
【００３６】
（第１実施形態）
以下に本発明の第１実施形態を説明する。図３は本発明の第１実施形態において、ウェーブレット変換を用いた周波数分解における周波数分解数の決定方法を説明するための図である。第１実施形態では、上記周波数分解手段の分解数を、第１番目の分光感度特性を持つ光電変換単位領域の数（すなわち、光電変換領域の画素数）と、第２番目以降である他の分光感度特性を持つ光電変換単位領域の数との間の比率に応じて決定することを特徴とする。すなわち、分光感度特性の異なる光電変換単位領域の数の比率により周波数分解における周波数分解数を決定する。
【００３７】
このことを具体例を用いて説明する。図３の（Ａ）に示すようなベイヤー配列に従った全画素配列があったときに、高域情報を多く含む成分（図３の（Ｂ）に示すようなＧ輝度信号成分）の画素数は水平方向についてはｋ＝８であり、垂直方向についてはｊ＝４となり、高域情報を少なく含む成分（図３の（Ｃ）に示すようなＲ信号成分）の画素数は水平方向についてはｎ＝４であり、垂直方向についてはｍ＝２となっている。そこで本実施形態では、水平方向の周波数域分解数をｋ／ｎ以上の整数の最小値（ここでは２）に設定し、垂直方向の周波数域分解数をｊ／ｍ以上の整数の最小値（ここでは２）に設定するようにする。すなわち、ベイヤー配列の場合、水平垂直共にＧの画素数が、Ｒ、Ｂの画素数の２倍存在することから、２周波数域とする。
【００３８】
このように第１実施形態においては、ウェーブレット変換を行うにあたって、複数の周波数域を空間サンプリング周波数に応じて決定しており、空間サンプリング周波数の高い即ち高域情報を多く含むＧの輝度信号データをウェーブレット変換して、水平垂直それぞれについて２以上の複数の周波数域に分解し、同様にＲ、Ｇの色信号データについても、水平垂直それぞれに２以上の複数の周波数域に分解している。これによって推定に用いる高域情報量に応じて周波数分解数が決定されることになり、最小の演算時間となる少ない周波数分解数でそれ以上（ここでは２倍以上）の分解数の場合とほぼ同等の画質の画像を得ることができる。また、周波数分解数が多くなるほど特定周波数により発生するモアレは改善される。
【００３９】
（第２実施形態）
次に本発明の第２実施形態について説明する。本来ウェーブレット変換処理の対象は、本質的には連続な信号が対象となる。従って離散系を対象とした場合、相関を算出する部分で画素数が異なるとそれぞれ色データの重心が異なることから局所領域にずれが生じ、特定方向に偽色が発生する。そこで第２実施形態では、上記相関係数算出手段の２つの入力信号の所定領域における各分光感度特性の画素の重心を合わせるための画素補間手段を設け、ウェーブレット変換により周波数成分を分解する前に、この画素補間手段により、情報量の多い分光感度特性のデータ数と、情報量の少ない分光感度特性のデータ数を等しくする。すなわち、ＲとＢの高域情報を推定するときに、それぞれ画素補間によりＲ、Ｇ、Ｂ全画素を同一画素数にした後にウェーブレット変換処理（低域相関→高域推定）を行うようにすれば、上記したような偽色の発生を抑圧することが可能である。
【００４０】
上記のことを具体例を用いて説明する。図４の（Ａ）に示すようなベイヤー配列に従った全画素配列があったときに、このようなベイヤー配列のＧ画素配列（輝度成分）は図４の（Ｂ）、Ｒ画素配列（色度成分）は図４の（Ｃ）、Ｂ画素配列（色度成分）は図４の（Ｄ）に示すようになる。図４の（Ｂ）において、補間前の最も左上部の２×２画素のＧ信号の重心は２×２画素の中心（黒丸の部分）となる。また、図４の（Ｃ）に示す最も左上部の２×２画素のＲ信号の重心及び、図４の（Ｄ）に示す最も左上部の２×２画素のＢ信号の重心は各画素の中心（黒丸の部分）となる。このため、水平及び垂直方向に０．５画素のずれが生じ、これが原因となって方向性のある偽色が発生する。
【００４１】
そこで、画素補間により図４の（Ｅ）、（Ｆ）、（Ｇ）に示すようにＲ、Ｇ、Ｂ全画素が同一画素数になるようにすると、Ｒ、Ｇ、Ｂの各信号の重心はすべて２×２画素の中心となる。このようにして各色信号での重心の違いによる偽色の発生を防止することができる。
【００４２】
（第３実施形態）
次に本発明の第３実施形態を説明する。第３実施形態では、図５の（Ａ）に示すように１つの画像を複数のブロック（００ブロック〜ｍｎブロック）に分解する画像分解手段を設け、この画像分解手段により分解されたブロック毎に相関係数及び相似性の算出を行って各色信号の高域情報を推定することを特徴とする。
【００４３】
以下にこのことを具体的に説明する。図５の（Ｃ）は、処理前の１つの原画像を示している。２×２画素のブロック単位でその低周波成分と高周波成分とを図５の（Ｂ）のごとく規定すると、図５の（Ｃ）に示す画像では、最も右下部に高周波成分を含んでいることになる。このように画像の一部にしか高周波成分が含まれていない場合には、１つの画像を複数に分解した場合と分解しない場合とで以下の違いが発生する。
【００４４】
すなわち、図５の（Ｃ）に示す画像を分解することなしに推定処理を施すと、全画像での相関係数（高周波成分と低周波成分との比）が低いため、すなわち、位置による周波数成分の違いが発生するために高周波成分の推定が適切に行われなくなって、高周波成分は図５の（Ｄ）に示すように処理後に減少してしまう。
【００４５】
そこで図５の（Ｅ）に示すような１つの画像を複数ブロック（ここでは１ブロック＝２×２画素ごと）に分解した上で推定処理を行うと、最も右下部のブロックでの相関係数（高周波成分と低周波成分との比）が高いため、すなわち、位置による周波数成分の違いが少なくなるために適切な高周波成分の推定が行われ、高周波成分は図５の（Ｆ）に示すように推定処理後でも減少しない。
【００４６】
上記した第３実施形態によれば、１つの画像内で、高域情報量の部位依存がある場合でも、高域情報が少なくなることなしに高周波成分を推定することができる。
【００４７】
（第４実施形態）
以下に本発明の第４実施形態を説明する。第４実施形態では、上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較する高周波信号比較手段と、キュービックやリニアーなどの高周波成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段とを備えている。すなわち、高周波信号比較手段（高域情報比較手段）により各色信号の高域情報を比較し、Ｒ又はＢの高域情報よりもＧの高域情報が少ない場合には、ウェーブレット変換処理による高域情報の推定（高周波推定処理）に代わって、キュービックやリニアなどの高域情報生成を用いない補間処理に適応的に切り替えるようにする。
【００４８】
図６はこのような高周波推定方法の切り替えのようすを示している。すなわち、相関係数（第２番目以降の分光感度特性の高域情報量と第１番目の分光感度特性の高域情報量との比、すなわち、ＲまたはＢの高域情報量とＧの高域情報量との比）が１になる点を境にして、相関が小さい左側（高周波成分の推定量＜補間量）ではキュービックやリニアーなどの補間処理を行い、相関が大きい右側（高周波成分の推定量＞補間量）では高周波推定処理を行うようにする。
【００４９】
上記した第４実施形態によれば、Ｒ又はＢの高域情報よりも、Ｇの高域情報が少ない場合に発生するアーティファクト（色境界が斜めの場合はギザギザノイズ）の発生を抑圧することができる。
【００５０】
（第５実施形態）
以下に本発明の第５実施形態を説明する。第５実施形態では、上記高周波信号比較手段が第１番目と第２番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の分散値を演算する分散演算手段と、得られたそれぞれの分散値を比較する比較手段とを備えていることを特徴とする。すなわち、各色信号の高域情報を比較する手段として、Ｇの振幅の分散とＲ、Ｂの振幅の分散の比較手段を用いるようにする。
【００５１】
上記のことを具体例を用いて説明する。図７の（Ａ）に示すようなベイヤー配列をなすｎ×ｍ画素の全画素配列において、以下の分散に関する式
【００５２】
【数１】
を用いて各色Ｒ、Ｇ、Ｂごとに振幅の分散を求める。次に第２番目以降の分光感度特性の信号振幅の分散と第１番目の分光感度特性の信号振幅の分散（ＲまたはＢの信号振幅の分散とＧの信号振幅の分散の比）を求め、この比の値が１より大きいか否かで上記した高周波推定処理と補間処理とを切り替えるようにする（図７の（Ｂ））。
【００５４】
上記第５実施形態によれば、Ｇが変化せずＲ、Ｂの少なくとも一方が変化する画像におけるアーティファクトの発生を抑圧可能である。高域情報全てを比較する場合よりも演算量が少なく、少ない処理時間で実現可能になる。
【００５５】
（第６実施形態）
以下に本発明の第６実施形態を説明する。第６実施形態では、上記高周波信号比較手段が第１番目と第２番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の最大値と最小値の差を演算する演算手段と、得られたそれぞれの最大値と最小値の差を比較する比較手段とを備えていることを特徴とする。すなわち、高域情報を比較する手段として、Ｇの最大値と最小値の差とＲ、Ｂの最大値と最小値の差とを比較する手段を用いる。
【００５６】
より具体的には、第２番目以降の分光感度特性の｜信号最大値−信号最小値｜と、第１番目の分光感度特性の｜信号最大値−信号最小値｜との比（ここでは、｜ＲまたはＢの最大値−ＲまたはＢの最小値｜と、｜Ｇの最大値−Ｇの最小値｜との比を求め、この比の値が１よりも小さい場合には補間処理を行い、１よりも大きい場合には高周波推定処理を行うようにする（図８）。
【００５７】
第６実施形態では上記した第５実施形態と比較して、１ブロック中の少ない領域だけに最大振幅が発生している場合には、１ブロック中の他の広い領域においてアーティファクトが発生してしまう欠点があるが、演算量が少なく、少ない処理時間で推定処理を実現可能となる。
【００５８】
（第７実施形態）
以下に本発明の第７実施形態を説明する。第７実施形態では、上記高周波信号比較手段が第１番目の分光感度特性を持つ光電変換領域からの信号の振幅の分散値を演算する分散演算手段と、得られた分散値と閾値とを比較する分散値比較手段とを備えていることを特徴とする。すなわち、Ｇ信号の分散値を比較した結果、Ｇ信号の高域情報が閾値よりも低く、ウェーブレット変換による高域情報の推定を用いた場合と、キュービックやリニアなどの補間による場合とで画素補間結果に大きな違いがない場合には、高域情報生成を行わないキュービックやリニアなどの補間手段に適応的に切り替えるようにする。
【００５９】
より具体的には、第２番目以降の分光感度特性の信号振幅の分散と第１番目の分光感度特性の信号振幅の分散（ＲまたはＢの信号振幅の分散とＧの信号振幅の分散の比）を求め、この比の値が閾値（例えば１．１あるいは１．２）よりも小さい場合には、上記した高周波推定処理の代わりにキュービックやリニアなどの補間処理に切り替えるようにする（図９）。
【００６０】
上記した第７実施形態によれば、第５実施形態のように閾値を用いない場合よりも演算量が少なく、ほぼ同等の結果を得ることが可能である。
【００６１】
（第８実施形態）
以下に本発明の第８実施形態を説明する。第８実施形態では、上記高周波信号比較手段が第１番目の分光感度特性を持つ光電変換領域からの信号の振幅の最大値と最小値の差を演算する演算手段と、得られた信号振幅の最大値と最小値の差と閾値とを比較する比較手段とを備えていることを特徴とする。Ｇ信号の高域情報が閾値よりも低くく、ウェーブレット変換による高域情報の推定を用いた場合と、キュービックやリニアなどの補間による場合とで画素補間結果に大きな違いがない場合には、高域情報生成をしないキュービックやリニアなどの補間手段に適応的に切り替えるようにする。
【００６２】
より具体的には、第２番目以降の分光感度特性の｜信号最大値−信号最小値｜と、第１番目の分光感度特性の｜信号最大値−信号最小値｜との比（ここでは、｜ＲまたはＢの最大値−ＲまたはＢの最小値｜と、｜Ｇの最大値−Ｇの最小値｜との比を求め、この比の値が閾値（例えば１．１あるいは１．２）よりも小さい場合には、上記した高周波推定処理の代わりにキュービックやリニアなどの補間処理に切り替えるようにする（図１０）。
【００６３】
上記した第８実施形態によれば、第６実施形態のように閾値を用いない場合よりも演算量が少なく、ほぼ同等の結果を得ることが可能である。
【００６４】
【発明の効果】
請求項１に記載の発明によれば、推定に用いる高域情報量に応じて周波数分解数を決定可能にしたので、最小の演算時間となる少ない周波数分解数でそれ以上の分解数の場合とほぼ同等の画像が得られる信号処理装置を提供することができる。
【００６５】
また、請求項２に記載の発明によれば、局所領域の重心位置の違いによる、データの急激な変化部分での偽色発生を抑圧可能な信号処理装置を提供することができる。
【００６６】
また、請求項３に記載の発明によれば、高周波成分の推定が必要で有るにもかかわらず、高周波成分の生成が行われない場合が少なくなる信号処理装置を提供することができる。
【００６７】
また、請求項４に記載の発明によれば、少なくとも１つの分光感度特性に関する信号の情報量が他の分光感度特性より多い信号（例えばＧ信号）の高域情報が、他の分光感度特性に関する信号（例えばＲ又はＢ信号）よりも少ない場合であっても高域情報が減少せず、かつ、他の分光感度特性に関する信号（例えばＲ又はＢ信号）がもとから持つ画像の精細度が劣化せず、かつ、情報量が同等の場合にキュービックやリニア補間を行った場合には、同等の画像が少ない演算量で求まる信号処理装置を提供することができる。
【００６８】
また、請求項５に記載の発明によれば、高域情報全てを比較する場合と比較して、ほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能な信号処理装置を提供することができる。
【００６９】
また、請求項６に記載の発明によれば、振幅の分散を用いた場合と比較してほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能な信号処理装置を提供することができる。
【００７０】
また、請求項７または請求項８に記載の発明によれば、出力結果に大きな差が無い場合には、少ない演算量で、処理を実現可能な信号処理装置を提供することができる。
【００７１】
また、請求項９または請求項１０に記載の発明によれば、フーリエ変換等を用いて周波数分解するよりも少ない処理時間、回路規模で実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の方法によりＲの色信号成分の高域情報を推定するまでの手順を説明するための図である。
【図２】切り替え手段の構成を示す図である。
【図３】本発明の第１実施形態を具体的に説明するための図である。
【図４】本発明の第２実施形態を具体的に説明するための図である。
【図５】本発明の第３実施形態を具体的に説明するための図である。
【図６】本発明の第４実施形態を具体的に説明するための図である。
【図７】本発明の第５実施形態を具体的に説明するための図である。
【図８】本発明の第６実施形態を具体的に説明するための図である。
【図９】本発明の第７実施形態を具体的に説明するための図である。
【図１０】本発明の第８実施形態を具体的に説明するための図である。
【図１１】ベイヤー配列をなす全画素配列を示す図である。
【図１２】Ｇ画素を補間した画素配列に対してウェーブレット変換により周波数分解を行う手順を説明するための図である。
【符号の説明】
１００ 重心合わせ処理
１０１ 周波数分解数の決定処理
１０２ ブロック分解処理
１０３ 相関係数算出処理
１０４ 周波数分解処理
１０５ 補間処理
１０６ 高周波成分推定処理
１０７ 切り替え手段
Claims (4)
- 複数の分光感度特性を持つ画像入力手段を持ち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、
上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、
この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、
この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段と、
上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第１番目と第２番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の分散値を演算する分散演算手段と、得られたそれぞれの分散値を比較する比較手段とを具備する高周波信号比較手段と、
キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、
上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、
を具備することを特徴とする信号処理装置。 - 複数の分光感度特性を持つ画像入力手段を持ち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、
上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、
この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、
この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段と、
上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周 波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第１番目と第２番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の最大値と最小値の差を演算する演算手段と、得られたそれぞれの最大値と最小値の差を比較する比較手段とを具備する高周波信号比較手段と、
キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、
上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、
を具備することを特徴とする信号処理装置。 - 複数の分光感度特性を持つ画像入力手段を持ち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、
上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、
この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、
この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段と、
上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第１番目の分光感度特性を持つ光電変換領域からの信号の振幅の分散を演算する分散演算手段と、得られた分散値と閾値とを比較する分散値比較手段とを具備する高周波信号比較手段と、
キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、
上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、
を具備することを特徴とする信号処理装置。 - 複数の分光感度特性を持つ画像入力手段を持ち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第１番目の分光感度特性をもつ光電変換単位領域の数が、第２番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、
上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、
この周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、
この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第１番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第２番目以降の出力信号を出力する周波数合成手段と、
上記周波数分解手段から得られた、第１番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第１番目の分光感度特性を持つ光電変換領域からの信号振幅の最大値と最小値の差を演算する演算手段と、この信号振幅の最大値と最小値の差と閾値とを比較する比較手段とを具備する高周波信号比較手段と、
キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、
上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、
を具備することを特徴とする信号処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31872999A JP4216973B2 (ja) | 1999-11-09 | 1999-11-09 | 信号処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31872999A JP4216973B2 (ja) | 1999-11-09 | 1999-11-09 | 信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001136542A JP2001136542A (ja) | 2001-05-18 |
| JP4216973B2 true JP4216973B2 (ja) | 2009-01-28 |
Family
ID=18102307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31872999A Expired - Fee Related JP4216973B2 (ja) | 1999-11-09 | 1999-11-09 | 信号処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4216973B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4713794B2 (ja) * | 2001-09-18 | 2011-06-29 | オリンパス株式会社 | 信号処理装置 |
| JP5035585B2 (ja) * | 2005-04-27 | 2012-09-26 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP4728265B2 (ja) * | 2007-02-20 | 2011-07-20 | 富士通セミコンダクター株式会社 | ノイズ特性測定装置及びノイズ特性測定方法 |
| JP5035646B2 (ja) * | 2010-07-20 | 2012-09-26 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP5105215B2 (ja) * | 2011-07-25 | 2012-12-26 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
-
1999
- 1999-11-09 JP JP31872999A patent/JP4216973B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001136542A (ja) | 2001-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4657564B2 (ja) | 電子スチルカメラ及び画像処理方法 | |
| Lukac et al. | Demosaicked image postprocessing using local color ratios | |
| US7710476B2 (en) | Color filter array, imaging device, and image processing unit | |
| US7986854B2 (en) | Method and apparatus for improving quality of composite video signal and method and apparatus for removing artifact of composite video signal | |
| JP5677040B2 (ja) | 画像処理装置およびその制御方法 | |
| JP3670754B2 (ja) | 信号処理装置 | |
| US9824424B2 (en) | Image amplifying method, image amplifying device, and display apparatus | |
| JP2010045751A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| KR101685885B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 | |
| US20080124000A1 (en) | Imaging device | |
| KR20080078606A (ko) | 단일화된 삼차원 비선형 필터링을 이용한 비디오 노이즈제거 장치 및 방법 | |
| JP5822157B2 (ja) | ノイズ低減装置、ノイズ低減方法及びプログラム | |
| JP3309941B2 (ja) | ノイズ検出回路、ノイズ除去回路及び輪郭強調回路 | |
| JP2008072377A (ja) | 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置 | |
| JP5129685B2 (ja) | 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置 | |
| US7679676B2 (en) | Spatial signal conversion | |
| JP4216973B2 (ja) | 信号処理装置 | |
| JP2001119705A (ja) | カラー撮像装置 | |
| JP4658875B2 (ja) | 画像処理装置 | |
| Sung et al. | Color filter array demosaicking by using subband synthesis scheme | |
| JP3813362B2 (ja) | 画像処理装置及び画像処理方法 | |
| EP1779655A1 (en) | A unit for and method of image conversion | |
| JPS6142910B2 (ja) | ||
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080922 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081107 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |