JP4970425B2 - 信号処理方法および信号処理回路 - Google Patents

Description

本発明は、空間画素ずらし法を用いた信号処理で生じる課題、例えば固体撮像装置において、彩度の高い被写体を撮影したときに生じるモアレ現象を、抑圧しながら高解像度の信号を取得するための信号処理方法および信号処理回路に関する。

従来、空間画素ずらし法を用いた３板式の固体撮像装置は、Ｇ（緑）、Ｂ（青）、Ｒ（赤）、の各信号用の固体撮像素子（ＣＣＤ等）を備えており、例えば、Ｒ用とＢ用のＣＣＤを、Ｇ用のＣＣＤに対して、水平方向に１／２画素ずらして配置している。

このような配置により、空間画素ずらし法では、画素をずらしていない場合に比べて２倍のサンプリング周波数で被写体を撮像したものと考えることができる。また、各色用のＣＣＤから得られるそれぞれの信号をみると、サンプリング周波数の１／２、すなわち、ナイキスト周波数以上の高域成分はサンプリングの定理により折り返し成分と呼ばれる偽信号となって含まれるが、このような配置により、ＲとＢ信号の位相はＧ信号に対して１８０度ずれ、同様に、含まれる折り返し成分の位相も１８０度ずれる。

この各信号に対し、空間画素ずらし法における高域置換処理として、例えば各色の折り返し成分を含む高域成分を、折り返し成分を低減した各色共通の高域成分で置き換えることが行われる。すなわち、各色の信号から、輝度信号に類する各色の共通信号を生成し、その共通信号の高域成分を各色共通の高域成分として用いる。共通信号は例えば次のようにして生成する。すなわち、ＲおよびＢの位相の信号の代表としてＲ信号を用い、このＲ信号とＧ信号とを、（（Ｇ＋Ｒ）／２）式に代入することで、共通信号を生成する。これにより、Ｇ信号に含まれる折り返し成分と、ＲおよびＢ信号に含まれる折り返し成分とが逆位相で加算されて、それぞれの折り返し成分がキャンセルされる。このようにして得られる共通信号の高域成分を用いて、各色の低域成分に共通信号の高域成分を加算する高域置換処理を実施することで、折り返し成分を低減した高域成分を有する各信号を得ることができる。

しかしながら、彩度の高い被写体を撮像した場合、例えば、ナイキスト周波数以上の高域成分を含む緑色に近い被写体を撮像した場合、Ｇ用のＣＣＤで得られる信号に対してＲ用やＢ用のＣＣＤで得られる信号が非常に小さいため、Ｇ用のＣＣＤでサンプルできなかったために発生する高域の折り返し成分をＲ用やＢ用のＣＣＤからの信号を用いてキャンセルすることができず、結果として、共通の高域成分も折り返し成分を含んだままとなり、モアレとなって見えてしまうという不都合がある。

上記不都合を解決する手段として、例えば、特許文献１に記載されている信号処理回路では、共通の高域成分を作成するためのＧ用とＲ用のＣＣＤからの各信号のレベルに応じて、彩度が高くなるほど各色の低域成分に加算する共通の高域成分の割合を減らすことで、モアレの発生を抑圧している。
特開２００４−３２５１４号公報

しかしながら、モアレを抑制した上記従来の方法では、彩度の高い被写体であればあるほど高域成分を含まない信号となる。つまり、彩度の高い被写体であればあるほど、高域成分における解像度を犠牲にせざるを得ない。

また、共通の高域成分を各色の低域成分に加算するため、高域成分を含む部分になるほど無彩色に近くなってしまう。

本発明は、上記課題を解決するために、サンプル前の各信号の振幅形状の局所的な相似に基づき、信号を調整して折り返し成分をキャンセルした各信号共通の共通高域成分を生成し、さらに、生成した共通高域成分を、元信号のバランスに応じた割合に戻したうえで、その調整済の高域成分をそれぞれの信号の低域成分に加算することを最も主要な特徴とする。

本発明によれば、彩度の高い被写体であってもモアレ現象を抑圧し、かつ、高域成分の無彩色化を抑え、高解像度の信号を提供することができる。さらに、彩度の低い被写体においても、従来の空間画素ずらし法を用いた高域置換処理の効果を減少させることなく、かつ、弊害を与えることなく、高解像度の信号を提供することができる。

また、映像特徴などによる複雑な場合分け等の処理を必要としないシンプルな信号処理方法であるため、容易な構成でありながら十分な効果を発揮する信号処理回路を提供することができる。

以下に、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態）
本実施形態は、映像信号の信号処理を行う信号処理回路において本発明を実施したものである。図１は本発明の一実施の形態における信号処理回路の構成図である。図２は本実施形態の信号処理回路の一部を構成する共通高域算出器の構成図である。図３は本実施形態の信号処理回路の一部を構成する調整値設定器の構成図である。図４,図５は被写体の一例を示す図である。図６−図１３は各色の信号波形とサンプル位置を示す図である。

映像情報を取得するための、Ｇ（緑）,Ｂ（青）,Ｒ（赤）、の各色用のＣＣＤを、空間画素ずらし法を用いて、Ｒ用とＢ用のＣＣＤをＧ用のＣＣＤに対して、水平方向に１／２画素ずらして配置して得られた信号を、各色の信号Ｇ,Ｂ,Ｒとする。

本実施形態の信号処理装置は、低域分離器２００と、高域生成器１００と、高域加算器３００とを備える。低域分離器２００は、各色の信号からそれぞれの低域成分ＬＧ,ＬＢ,ＬＲを分離する。高域生成器１００は、各信号の折り返し成分を除いた高域成分ＨＧ,ＨＢ,ＨＲを生成する。高域加算器３００は、生成した各色の高域成分をそれぞれの低域成分に加算することで高域成分を置き換えた各色の信号ｏｕｔＧ,ｏｕｔＢ,ｏｕｔＲを生成する。画像信号の場合、閾値以上の周波数を有する成分を高域成分といい、閾値未満の周波数を有する成分を低域成分という。ここでいう閾値としては、ナイキスト周波数より若干低い周波数を例としてあげることができる。ただし、この場合の閾値は画像信号特有のものであり、音声信号等の他の信号では、それ特有の閾値が設定される。

高域生成器１００は、各色用レベル算出器１０１,１０２,１０３と、調整値設定器１１０と、共通高域算出器１２０と、各色用高域調整器１３１,１３２,１３３とを備える。各色用レベル算出器１０１,１０２,１０３は、各色の小領域のＤＣ値を算出する。ここで、各信号Ｒ,Ｇ,Ｂの高域成分を抽出する空間位置を注目位置といい、注目位置とその近傍とを含む空間領域を小領域という。以下、各色の小領域のＤＣ値を、ＤＣ＿ Ｇ,ＤＣ＿Ｂ,ＤＣ＿Ｒという。

調整値設定器１１０は、各色用の信号を調整する第１の調整値ＧａｉｎＧ１,Ｂ１,Ｒ１と、第２の調整値ＧａｉｎＧ２,Ｂ２,Ｒ２とを設定する。以下、第１の調整値の総称として、ＧａｉｎＸ１を用い、第２の調整値の総称として、ＧａｉｎＸ２を用いる。共通高域算出器１２０は、各色共通の共通高域成分ＨＹを算出する。高域調整器１３１,１３２,１３３は、高域成分ＨＹから各色用の高域成分ＨＧ,ＨＢ,ＨＲを生成する。

共通高域算出器１２０は、図２に示すように共通信号算出器１２５と共通高域分離器１２６とを備える。共通信号算出器１２５は、各色の信号Ｇ,Ｂ,Ｒと第１の調整値ＧａｉｎＸ１とから各色用の基準値となる共通信号Ｙを算出する。共通高域分離器１２６は、共通信号Ｙから共通高域成分ＨＹを分離する。

調整値設定器１１０は、図３に示すように要素設定器１１５と、共通信号用調整値算出器１１６と、各色用調整値算出器１１７とを備える。要素設定器１１５は、各色のＤＣ値ＤＣ＿Ｇ,ＤＣ＿Ｂ,ＤＣ＿Ｒから第１、第２の調整値ＧａｉｎＸ１,ＧａｉｎＸ２を算出する際に用いる信号を設定する。共通信号用調整値算出器１１６は、第１の調整値ＧａｉｎＸ１を算出する。各色用調整値算出器１１７は第２の調整値ＧａｉｎＸ２を算出する。第２の調整値ＧａｉｎＸ２は、共通高域成分ＨＹを各色に加算する際における加算割合を示す調整値であって、各色に設定される。

次に、以上のように構成された本実施形態の信号処理回路の動作を説明する。ここでは、図５に示す、ナイキスト周波数以上の高域成分を含む黒色と緑色との縞模様を有する彩度の高い被写体５０１を撮像することで得られる信号を想定して説明を行う。ここでいうナイキスト周波数とは、ＣＣＤ をずらさない状態におけるナイキスト周波数のことである。

図９に示すように、サンプル前の各信号Ｇ,Ｂ,Ｒにおいて、信号Ｇのサンプル点を黒三角印で、信号Ｒ,Ｂのサンプル点を黒丸印でそれぞれ示す。空間画素ずらし法を用いた３板式の固体撮像装置では、各信号Ｇ,Ｂ,Ｒにおける位相が１８０度ずれてサンプルされる。そのため、サンプル後の信号Ｇと信号Ｒ,Ｂとには、図１０に示すように、それぞれ折り返し成分の偽信号が含まれる。

各信号Ｇ,Ｂ,Ｒは、各色用レベル算出器１０１,１０２,１０３と低域分離器２００の各色用低域分離器２０１,２０２,２０３とに供給される。各色用低域分離器２０１,２０２,２０３は、供給されるそれぞれの信号Ｇ,Ｂ,Ｒから低域成分ＬＧ,ＬＢ,ＬＲを抽出して高域加算器３００の各色用高域加算器３０１,３０２,３０３に供給する。各色用レベル算出器１０１,１０２,１０３は、供給される信号Ｒ,Ｇ,Ｂの信号レベルを算出する。ここでは、信号レベルとしてＤＣ値ＤＣ＿Ｇ,ＤＣ＿Ｂ,ＤＣ＿Ｒが算出される。つまり、ＤＣ値ＤＣ＿Ｇ,ＤＣ＿Ｂ,ＤＣ＿Ｒとして、図１１に示すように、信号Ｒ,Ｇ,Ｂの小領域におけるＤＣ値が算出される。各色用レベル算出器１０１,１０２,１０３は、算出したＤＣ値ＤＣ＿Ｇ,ＤＣ＿Ｂ,ＤＣ＿Ｒを調整値設定器１１０に供給する。

調整値設定器１１０の要素設定器１１５は次の処理を行う。すなわち、空間画素ずらし法を用いた３板式の固体撮像装置が撮像する映像信号では、信号Ｇが、他の信号（Ｒ,Ｂ）と１８０度位相が異なることが多い。そのため、このような特性を有する３板式の固体撮像装置における要素設定器１１５では、予め、信号ＧのＤＣ値ＤＣ＿Ｇを第１、第２の調整値の設定に用いる調整用主ＤＣ値として選択しておく。そのうえで、要素設定器１１５は、信号Ｇに対して位相が１８０度ずれる残余の信号Ｒ,ＢのＤＣ値ＤＣ＿Ｒ,ＤＣ値ＤＣ＿Ｂの中から、調整値の設定に用いる調整用副ＤＣ値を選択する。調整用副ＤＣ値としては、例えば、ノイズの小さいほうのＤＣ値が選択される。さらに要素設定器１１５は、調整用副ＤＣ値（この場合はＤＣ値ＤＣ＿Ｒ）のレベルと、調整用主ＤＣ値（この場合はＤＣ値ＤＣ＿Ｇ）のレベルとを比較し、レベルの大きい方を、レベル大ＤＣ値Ｌａｒｇｅとし、小さい方を、レベル小ＤＣ値Ｓｍａｌｌとして設定する。

以上の選択および設定を行ったうえで要素設定器１１５は、レベル大ＤＣ値Ｌａｒｇｅとレベル小ＤＣ値Ｓｍａｌｌと変数Ｓｅｌとを共通信号用調整値算出器１１６に供給し、レベル大ＤＣ値Ｌａｒｇｅとレベル小ＤＣ値Ｓｍａｌｌとを各色用調整値算出器１１７に供給する。ここで要素設定器１１５は、出力する変数Ｓｅｌに、調整用副ＤＣ値の供給元として選択した信号（この場合は信号Ｒ）を示すフラグと、レベル大ＤＣ値Ｌａｒｇｅとした信号（この場合は信号Ｇ）を示すフラグとを立てる。緑色の領域が多くて彩度が高い被写体５０１（図５参照）を撮像した場合、レベル大ＤＣ値Ｌａｒｇｅは、調整用主ＤＣ値（＝ＤＣ値ＤＣ＿Ｇ）となり、レベル小ＤＣ値Ｓｍａｌｌは、調整用副ＤＣ値（＝ＤＣ値ＤＣ＿Ｒ）となる。したがって、変数Ｓｅｌには調整用副ＤＣ値の供給元として信号Ｒを選択したことを示すフラグと、レベル大ＤＣ値Ｌａｒｇｅの供給元として信号Ｇを選択したことを示すフラグとが立つ。

共通信号用調整値算出器１１６は、信号Ｒ,Ｇ,Ｂの第１の調整値ＧａｉｎＸ１を算出する。第１の調整値ＧａｉｎＸ１は、共通信号算出器１２５が共通信号Ｙを算出する際において彩度が低い場合と同様の信号を算出する際の信号レベル調整に用いられる調整値であって、このようにして設定される第１の調整値ＧａｉｎＸ１により、信号Ｒ,Ｇ,Ｂのそれぞれの信号レベルは、無彩色に近い状態（各信号でバランスの取れた状態）に調整される。第１の調整値ＧａｉｎＸ１は、サンプル前の各信号Ｒ,Ｇ,Ｂの振幅形状の局所的な相似に基づいて設定される。具体的には例えば次のようにして第１の調整値ＧａｉｎＸ１は設定される。

共通信号用調整値算出器１１６は、要素設定器１１５から供給される変数Ｓｅｌにおけるフラグを読み取ることで、調整用主ＤＣ値、調整用副ＤＣ値、レベル大ＣＤ値Ｌａｒｇｅ、およびレベル小ＣＤ値Ｓｍａｌｌのそれぞれの供給元となる信号を確認する。そのうえで共通信号用調整値算出器１１６は、レベル大ＣＤ値Ｌａｒｇｅとなる信号のＤＣ値の第１の調整値ＧａｉｎＸ１を、“１”とする。また、レベル小ＣＤ値Ｓｍａｌｌとなる信号のＤＣ値の第１の調整値ＧａｉｎＸ１を、Ｌａｒｇｅ／Ｓｍａｌｌとする。さらには、レベル大ＣＤ値Ｌａｒｇｅにもレベル小ＣＤ値Ｓｍａｌｌにも使用していない信号のＤＣ値の第１の調整値ＧａｉｎＸ１を、“０”とする。緑色の領域が多くて彩度が高い被写体５０１を撮像した場合は、調整用主ＤＣ値を示す信号Ｇの第１の調整値ＧａｉｎＧ１を、“１”とし、調整用副ＤＣ値を示す信号Ｒの第１の調整値ＧａｉｎＲ１を、Ｌａｒｇｅ／Ｓｍａｌｌとし、残余の信号Ｂの第１の調整値ＧａｉｎＢ１を、“０”にする。共通信号用調整値算出器１１６は、算出した第１の調整値ＧａｉｎＸ１を共通高域算出器１２０に供給する。

共通高域算出器１２０の共通信号算出器１２５には、第１の調整値ＧａｉｎＸ１と信号Ｇ,Ｂ,Ｒとが供給される。共通信号算出器１２５は、これらを用いて各色信号の共通値（基準値）となる共通信号Ｙを算出する。緑色の領域が多くて彩度が高い被写体５０１（図５参照）を撮像した場合、小領域においては、サンプル前の信号Ｇ（レベル大ＣＤ値Ｌａｒｇｅの供給元）と信号Ｒ（レベル小ＣＤ値Ｓｍａｌｌの供給元）の振幅とが互いに局所的に相似であり、かつ信号Ｇに対して信号Ｒが小さい。

そこで、図１２に示すように、
Ｒ信号に第１の調整値ＧａｉｎＲ１（＝“Ｌａｒｇｅ／Ｓｍａｌｌ”）を乗算し、
Ｇ信号に第１の調整値ＧａｉｎＧ１（＝“１”）を乗算し、
Ｂ信号に第１の調整値ＧａｉｎＢ１（＝“０”）を乗算する
ことで、
彩度が低い場合と同様の状態を有して折り返し成分がキャンセルされた共通信号Ｙを作成する。なお、前述したように、各信号Ｒ,Ｇ,Ｂの高域成分を抽出する空間位置を注目位置といい、注目位置とその近傍とを含む空間領域を小領域という。共通信号算出器１２５は、作成した共通信号Ｙを共通高域分離器１２６に供給する。共通高域分離器１２６は、フィルタ等を用いて、共通信号Ｙの高域成分、すなわち共通高域成分ＨＹを抽出する。

調整値設定器１１０の各色用調整値算出器１１７には、各色用レベル算出器１０１,１０２,１０３からＤＣ値ＤＣ＿Ｇ,ＤＣ＿Ｂ,ＤＣ＿Ｒが供給される。さらに各色用調整値算出器１１７には、各色用レベル算出器１０１,１０２,１０３から要素設定器１１５からレベル大ＣＤ値Ｌａｒｇｅとレベル小ＣＤ値Ｓｍａｌｌとが供給される。各色用調整値算出器１１７は供給されるこれらの値から第２の調整値ＧａｉｎＸ２を設定する。

第２の調整値ＧａｉｎＸ２は、第１の調整値ＧａｉｎＸ１とは反対の作用を及ぼす調整値であって、調整済の高域成分ＨＧ,ＨＢ,ＨＲを生成するために設定される。すなわち、第２の調整値ＧａｉｎＸ２は、第１の調整値ＧａｉｎＸ１に基づいてレベルを上げた信号の高域成分の割合を、その色が有するもともとの色バランス（各色成分のバランス）に応じた割合に戻す働きをする。

具体的には、緑色の領域が多くて彩度が高い被写体５０１を撮像した場合、各色用調整値算出器１１７は、以下の算出式に基づいて第２の調整値ＧａｉｎＸ２を算出する。
ＧａｉｎＧ２＝（ＤＣ＿Ｇ／Ｌａｒｇｅ）＝１
ＧａｉｎＢ２＝（ＤＣ＿Ｂ／Ｌａｒｇｅ）
ＧａｉｎＲ２＝（ＤＣ＿Ｒ／Ｌａｒｇｅ）＝（Ｓｍａｌｌ／Ｌａｒｇｅ）
共通高域成分ＨＹを作成する際において共通高域算出器１２０は、信号Ｂを用いることなく信号Ｒで代用している（第１の調整値ＧａｉｎＢ１＝“０”）。しかしながら、第２の調整値ＧａｉｎＸ２の算出において各色用調整値算出器１１７は、信号Ｂでも同様に第１の調整値ＧａｉｎＢ１で信号レベルを上げて折り返し成分をキャンセルした共通の高域成分を作成していると見なしたうえで、第２の調整値ＧａｉｎＲ２と同様に第２の調整値ＧａｉｎＢ２を算出する。

共通高域算出器１２０の共通高域分離器１２６は、抽出した共通高域成分ＨＹを各色高域調整器１３１,１３２,１３３に供給する。調整値設定器１１０の各色用調整値算出器１１７は、設定した第２の調整値ＧａｉｎＸ２を各色用高域調整器１３１,１３２,１３３に供給する。

各色用高域調整器１３１,１３２,１３３は、供給される共通高域成分ＨＹに第２の調整値ＧａｉｎＸ２をそれぞれ乗算することで調整済の高域成分ＨＧ,ＨＢ,ＨＲを算出する。緑色の領域が多くて彩度が高い被写体５０１を撮像した場合であっても、共通高域成分ＨＹに、それぞれの色の第２の調整値ＧａｉｎＸ２を乗算することで、元の色のバランスが保持された各色用の調整済の高域成分ＨＧ,ＨＢ,ＨＲが得られる。各色用高域調整器１３１,１３２,１３３は、算出した調整済の高域成分ＨＧ,ＨＢ,ＨＲを、その色に対応する高域加算器３００の各色用高域加算器３０１,３０２,３０３にそれぞれ供給する。各色用高域加算器３０１,３０２,３０３は、供給される調整済の高域成分ＨＧ,ＨＢ,ＨＲを、低域成分ＬＧ,ＬＢ,ＬＲに加算することで、出力信号ｏｕｔＧ,ｏｕｔＢ,ｏｕｔＲをそれぞれ生成して信号処理回路の外部に出力する。

以上説明したように、本実施の形態の信号処理回路では、
・第１の調整値ＧａｉｎＸ１に基づいて調整した各色の信号を用いて折り返し成分をキャンセルした共通信号Ｙを生成する、
・生成した共通信号Ｙの共通高域成分ＨＹを、第２の調整値ＧａｉｎＸ２に基づいてもとの色のバランスに戻す調整を実施する、
・上記調整を行った調整済の高域成分ＨＧ,ＨＢ,ＨＲを、各信号Ｇ,Ｂ,Ｒの低域成分ＬＧ,ＬＢ,ＬＲに加算する、
という処理を実施する。

これにより本実施の形態の信号処理回路は、緑色の領域が多くて彩度が高い被写体５０１を撮像した場合であっても、図１３に示すように、折り返し成分が抑制されかつ高域成分の無彩色化が生じない信号を、解像度を高く維持した状態で得ることができる。

また、本実施の形態の信号処理回路は、図４に示す、ナイキスト周波数以上の高域成分を含む黒色と白色との縞模様を有する彩度の低い被写体４０１を撮像してなる信号も、不都合なく信号処理することができる。ここでいうナイキスト周波数とは、前述と同様、ＣＣＤ をずらさない状態におけるナイキスト周波数のことである。

図４に示す被写体４０１を撮像してなる信号も、前述した信号と同様、図６に示すようになるが、このようにして得られるサンプル後の信号Ｇと信号Ｒ,Ｂとには、図７に示されるように、それぞれ折り返し成分の偽信号が含まれるが、この偽信号は、前述した本実施形態の動作説明と同様、排除される。以下、説明する。

動作は前述と同様のため省略し、動作によって得られる各値について説明する。小領域におけるＤＣ値ＤＣ＿Ｇ,ＤＣ＿Ｂ,ＤＣ＿Ｒはほぼ等しい。よって、仮に、Ｌａｒｇｅ＝ＤＣ＿Ｇ、Ｓｍａｌｌ＝ＤＣ＿Ｒとした場合であっても、共通信号Ｙを生成するために用いる第１の調整値ＧａｉｎＸ１はそれぞれ、
ＧａｉｎＧ１＝１
ＧａｉｎＢ１＝０
ＧａｉｎＲ１＝（Ｌａｒｇｅ ／Ｓｍａｌｌ）＝１
となり、
従来の一般的な方法で共通信号Ｙを得ることと同等となる。

また、共通信号Ｙから得られた共通高域成分ＨＹを、各色用に調整するための第２の調整値ＧａｉｎＸ２も、
ＧａｉｎＧ２＝（ＤＣ＿Ｇ／Ｌａｒｇｅ）＝１
ＧａｉｎＢ２＝（ＤＣ＿Ｂ／Ｌａｒｇｅ）＝１
ＧａｉｎＲ２＝（ＤＣ＿Ｒ／Ｌａｒｇｅ）＝１
となり、
従来の一般的な方法で加算する高域成分と同等となる。

よって、図８に示すように、彩度が低い被写体４０１を撮像した場合であっても、従来の各色の信号を用いて折り返し成分をキャンセルした共通信号Ｙを作成し、その共通信号Ｙの調整済の高域成分ＨＧ,ＨＢ,ＨＲを従来の方法で加算することで、折り返し成分を抑制し、高解像度の信号を得ることができる。すなわち、従来の空間画素ずらし法を用いた高域置換処理の効果を減少させることなく、かつ、弊害を与えることなく、高解像度の信号を提供することができる。

なお、本実施の形態において、固体撮像素子の例として、ＣＣＤの場合を例にとって説明したが、もちろんＣＭＯＳのような別の撮像素子であってもよい。固体撮像素子で得る信号を、Ｒ,Ｇ,Ｂの場合を例にとって説明したが、Ｃ（シアン）,Ｍ（マゼンダ）,Ｙ（イエロー）の補色系などでもよい。固体撮像素子を３板の場合を例にとって説明したが、上記同様の効果を得ることができれば１板でのベイヤ配列等でもよいし、２板や４板以上であってもかまわない。固体撮像素子をずらす方向を水平方向の場合を例にとって説明したが、垂直方向であってもよいし、水平垂直両方向であってもよい。そして、固体撮像素子を１／２ずらす場合を例にとって説明したが、ベイヤ配列の色順を工夫したり２板以上を用いたりするなどして、１／ｎ（ｎは整数）画素ずらして、折り返し成分をキャンセルするという同様の効果を得てもよい。

また、図３における要素設定器１１５にて、信号Ｇに対して位相が１８０度ずれている信号として、信号Ｒを代表として用いる例を説明したが、信号Ｂを用いてもよいし、信号Ｒ,Ｂの混合信号等を用いてもよいし、それらを適宜切り替えて使用してもよい。

図３における共通信号用調整値算出器１１６にて、彩度が高い被写体５０１を撮像した場合における第１の調整値ＧａｉｎＸ１は、
ＧａｉｎＧ１＝１
ＧａｉｎＢ１＝０
ＧａｉｎＲ１＝（Ｌａｒｇｅ／Ｓｍａｌｌ）
というように、
比較において大値となる信号の信号レベルを基準値（共通値）としたうえで、この大値信号（基準値）に、比較において小値となる信号の信号レベルを合わせ込むようにした。

しかしながら、小値信号の信号レベルを基準値としたうえで、この小値信号（基準値）の信号レベルに大値信号の信号レベルを合わせ込むようにしてもよい。また、大値信号と小値信号とに基づいて基準値となる信号レベルを算定したうえで、両信号の信号レベルを、算定した基準値に合わせ込むようにしてもよい。基準値の算定方法としては、例えば、両信号の中間レベルや平均値を基準値として算定する方法がある。平均値を基準値として算定する場合、各信号に重み付けを施してもよい。

図１１に示した例では、小領域を、５〜６サンプル分の領域として設定したが、もちろんこれ以上の領域であってもこれ以下の領域であってもよい。さらに、水平方向に限らず、垂直方向の領域から小領域を構成してもよいし、両方向の領域を含んで小領域を構成してもよい。もちろん、小領域の形状は問わない。

用いる信号がノイズ等で信頼性が低いと考えられる場合は、各色用レベル算出器１０１,１０２,１０３において、信頼性の低い信号のレベルを低めに調整しておくなどの調整をすることもできる。

また、用いる信号がノイズ等で信頼性が低いと考えられる場合は、調整値設定器１１０において、共通信号Ｙや調整済の高域成分ＨＧ,ＨＢ,ＨＲの生成に対する第１の調整値ＧａｉｎＸ１,第２の調整値ＧａｉｎＸ２の影響が小さくなる方向に、第１の調整値ＧａｉｎＸ１,第２の調整値ＧａｉｎＸ２を調整するなど、各調整値を調整しておくこともできる。

なお、用いる信号にローパスフィルタやバンドパスフィルタ等をかける前処理が実施されている場合には、効率よく信号を利用するため、各色用レベル算出器１０１,１０２,１０３の入力にこれらフィルタのかかった信号を用いてもよい。また、用いる信号にローパスフィルタやバンドパスフィルタ等をかける後処理が実施される場合には、効率よく信号を利用するため、各色用レベル算出器１０１,１０２,１０３の入力にこれらフィルタをかけた信号を用いてもよいし、出力としてこれらフィルタをかけた信号を用いてもよい。

各色低域分離器２０１,２０２,２０３を各色用に分けて書いたが、共用の動作装置を使用しても良い。各色用のレベル算出器１０１,１０２,１０３、高域調整器１３１,１３２,１３３、および高域加算器３０１,３０２,３０３においても同じことが言える。

また、この信号処理回路は、例えば、ビデオカメラなどの撮像装置の回路の一部を示したものであって、ビデオカメラ等で行われる一般的な処理に関しては説明を省略している。よって、入力される信号Ｇ,Ｂ,Ｒとして、前処理を施された状態の信号Ｇ,Ｂ,Ｒであってもよい。例えば、前処理として、サンプルされなかった空間位置に相当するデータを、前置ホールドの形で１つ前の信号と同じものにしてもよいし、フィルタなど別の補間処理を用いてもよい。もちろん、デジタル処理でもアナログ処理であってもよい。

また、図１−図３における各動作器はそれぞれの動作を分かりやすく模式したものであり、本発明の処理方法を行うに相当する動作や信号があれば、それらでももちろんかまわない。

さらに、上述した実施形態では、映像信号の信号処理を行う信号処理回路において本発明を実施していたが、本発明は音声信号の信号処理回路においても同様に実施することができる。つまり、本発明は、ビデオカメラの音声取得やオーディオデコーダ等の用途にも適用できる。

右耳用音声信号と左耳用音声信号とを有するステレオ音声信号において、サンプルおよび間引きの位相をずらしたうえで、位相をずらした音声信号を合成する処理（空間画素ずらし法と同等の処理）を実施すれば、見かけ上のサンプル間隔や間引き間隔を狭くすることができる。その場合、例えば両音声信号の折り返し成分を含む高域成分を、折り返し成分を低減した各信号共通の共通高域成分で置き換えることで前記折り返し成分の抑制を図ることができる。しかしながら、一方の音声信号の信号レベルが他方に比して極端に小さい状態等では、信号レベルの大きい音声信号における高域の折り返し成分を信号レベルの小さい音声信号を用いてキャンセルすることができず、結果として、共通高域成分も折り返し成分を残存させたままとなって、合成した音声信号に折り返し成分に起因する音声うなり等の不都合が生じる。特許文献１に記載されている信号処理回路を音声信号に適用した場合では多少とも音声うなりを抑制することはできるものの、信号間の信号レベルにおいてバランスを欠いた音声信号であればあるほど高域成分を含まない音声信号となる。つまり、信号間の信号レベルにおけるバランスが崩れれば崩れるほど、高域成分における解像度を犠牲にせざるを得なくなって音声の定位精度等が低下する。このような不都合が生じる音声信号において本発明を実施すれば、高域成分における解像度を犠牲にすることなく音声うなりの抑制を図ることができる。なお、２ｃｈ音声信号において本発明を実施する場合には、低域分離器２００、レベル検出器１０２−１０３、高域調整器１３１−１３３、および高域加算器３００は、右耳用音声信号用と左耳用音声信号との一対を設ければよい。また、本発明は、２ｃｈ音声信号の他、５．１ｃｈ等の多ｃｈ音声信号においても同様に実施できる。

本発明による、空間画素ずらし法を用いた高域置換処理を行う信号処理方法は、彩度の高い被写体であってもモアレ現象を抑圧し、かつ、高域成分の無彩色化を抑えた高解像度の信号を提供することができる。さらに、彩度の低い被写体においても、従来の空間画素ずらし法を用いた高域置換処理の効果を減少させることなく、かつ、弊害を与えることなく、高解像度の信号を提供することができる。さらに、映像特徴などによる複雑な場合分け等の処理を必要としないシンプルな信号処理方法であるため、本発明を用いて容易な構成でありながら効果を発揮する信号処理回路を提供することができる。そのため、スチルカメラやビデオカメラ等の用途に有用である。

また、画素の間引きによる画像圧縮符号化において、各信号の間引き画素の位相をずらして圧縮符号化したものに対して、復号化する際にも同様に本発明の信号処理方法を適用することができる。そのため、本発明は、ビデオデコーダ等の用途にも有用である。

さらに、音声信号においても、本発明を適用することができるため、本発明は、ビデオカメラの音声取得やオーディオデコーダ等の用途にも有用である。

本発明の一実施の形態における信号処理回路の構成図。 本発明の一実施の形態における信号処理回路の共通高域算出器の構成図。 本発明の一実施の形態における信号処理回路の調整値設定器の構成図。 被写体の一例を示す図。 被写体の一例を示す図。 本発明の一実施の形態の信号処理回路における信号波形とサンプル位置を示す図。 本発明の一実施の形態の信号処理回路における信号波形とサンプル位置を示す図。 本発明の一実施の形態の信号処理回路における信号波形を示す図。 本発明の一実施の形態の信号処理回路における信号波形とサンプル位置を示す図。 本発明の一実施の形態の信号処理回路における信号波形とサンプル位置を示す図。 本発明の一実施の形態の信号処理回路における信号波形とサンプル位置を示す図。 本発明の一実施の形態の信号処理回路における信号波形とサンプル位置を示す図。 本発明の一実施の形態の信号処理回路における信号波形を示す図。

符号の説明

１００ 高域生成器
１０１ Ｇ用レベル算出器
１０２ Ｂ用レベル算出器
１０３ Ｒ用レベル算出器
１１０ 調整値設定器
１１５ 要素設定器
１１６ 共通信号用調整値算出器
１１７ 各色用調整値算出器
１２０ 共通高域算出器
１２５ 共通信号算出器
１２６ 共通高域分離器
１３１ Ｇ用高域調整器
１３２ Ｂ用高域調整器
１３３ Ｒ用高域調整器
２００ 低域分離器
２０１ Ｇ用低域分離器
２０２ Ｂ用低域分離器
２０３ Ｒ用低域分離器
３００ 高域加算器
３０１ Ｇ用高域加算器
３０２ Ｂ用高域加算器
３０３ Ｒ用高域加算器
４０１、５０１ 被写体

Claims (15)

1. 空間画素ずらし法を用いて得られる互いに位相の異なる少なくとも２つの信号を処理する信号処理方法であって、
   前記信号それぞれの低域成分を分離する低域分離ステップと、
   前記信号の信号レベルを各信号でバランスの取れた状態に調整したうえで、調整後の前記信号から共通高域成分を分離する共通高域算出ステップと、
   前記共通高域成分の信号レベルを前記信号それぞれの元信号レベルに戻す調整をすることで、各信号に応じた調整済の高域成分を生成する高域調整ステップと、
   前記高域調整ステップで調整した前記調整済の高域成分それぞれを、前記低域分離ステップで分離した前記低域成分それぞれに加算する高域加算ステップと、
   を含む、
   信号処理方法。
2. 空間画素ずらし法を用いて得られる互いに位相の異なる少なくとも２つの信号を処理する信号処理装置であって、
   前記信号それぞれの低域成分を分離する低域分離器と、
   前記信号の信号レベルを各信号でバランスの取れた状態に調整したうえで、調整後の前記信号から共通高域成分を分離する共通高域算出器と、
   前記共通高域成分の信号レベルを前記信号それぞれの元信号レベルに戻す調整をすることで、各信号に応じた調整済の高域成分を生成する高域調整器と、
   前記高域調整器で調整した前記調整済の高域成分それぞれを、前記低域分離器で分離した前記低域成分それぞれに加算する高域加算器と、
   を備える、
   信号処理装置。
3. 前記信号それぞれの低域成分を分離する低域分離器と、
   前記信号それぞれの信号レベルを各信号でバランスの取れた状態にする第１の調整値を、前記信号毎に設定する第１の調整値設定器と、
   前記第１の調整値によって信号レベルを各信号でバランスの取れた状態にされた前記信号の信号レベルを元の信号レベルに戻す第２の調整値を、前記信号毎に設定する第２の調整値設定器と、
   をさらに備え、
   前記共通高域算出器は、前記信号の信号レベルを、前記第１の調整値に基づいて各信号でバランスの取れた状態に調整し、
   前記高域調整器は、前記共通高域成分を、前記第２の調整値に基づいて前記信号それぞれの元信号レベルに戻す調整をする、
   請求項２の信号処理装置。
4. 前記信号の一つである第１の信号の信号レベルと前記信号の他の一つである第２の信号の信号レベルとを設定する要素設定器を、
   さらに備え、
   前記第１の調整値設定器は、前記第１の信号の信号レベルと前記第２の信号の信号レベルとに基づいて前記第１の調整値を設定し、
   前記第２の調整値設定器は、前記第１の信号の信号レベルと前記第２の信号の信号レベルとに基づいて前記第２の調整値を設定する、
   請求項３の信号処理装置。
5. 前記要素設定器は、
   前記第１、第２の信号を抽出する空間位置とその近傍とを含む空間領域における信号レベルを、前記第１、第２の信号の信号レベルとして設定する、
   請求項４の信号処理装置。
6. 前記第１の調整値設定器は、
   前記第１、第２の信号の信号レベルに基づいて、前記第１、第２の信号の信号レベルの基準値を設定したうえで、前記第１、第２の信号の信号レベルを、前記基準値に一致させる調整値を、前記第１の調整値として設定する、
   請求項３の信号処理装置。
7. 前記要素設定器は、
   前記第１、第２の信号の低域成分に基づいてそれらの信号レベルを設定する、
   請求項４の信号処理装置。
8. 前記要素設定器は、
   前記第１、第２の信号の任意の帯域成分に基づいてそれらの信号レベルを設定する、
   請求項４の信号処理装置。
9. 前記要素設定器は、
   前記信号に含まれるノイズに基づく信号信頼性が低い程、前記第１の調整値と前記第２の調整値とにおける当該信号の影響が少なくなるように、前記第１の信号の信号レベルと前記第２の信号の信号レベルとを調整する、
   請求項４の信号処理装置。
10. 前記第１の調整値設定器は、
    第１の調整値＝（基準値／各信号の信号レベル）
    の算定式に基づいて、
    前記第１の調整値を設定する、
    請求項６の信号処理装置。
11. 前記第２の調整値設定器は、
    第２の調整値＝（各信号の信号レベル／基準値）
    の算定式に基づいて、
    前記第２の調整値を設定する、
    請求項１０の信号処理装置。
12. 前記第１の調整値設定器と前記第２調整値設定器とは、
    前記信号に含まれるノイズに基づく信号信頼性が低い程、前記第１の調整値と前記第２の調整値とにおける当該信号の影響が少なくなるように、前記第１の調整値と前記第２の調整値とを調整する、
    請求項３の信号処理装置。
13. 前記第１の信号は、互いに同じ位相を有する１つ以上の第１の信号群であり、
    前記第２の信号は、互いに同じ位相を有する１つ以上の第２の信号群である、
    請求項４の信号処理装置。
14. 前記第１の調整値設定器は、前記第１の信号群を構成する信号それぞれから前記第１の調整値を設定し、
    前記第２の調整値設定器は、前記第２の信号群を構成する信号それぞれから前記第２の調整値を設定する、
    請求項１３の信号処理装置。
15. 前記第１、第２の信号は画像信号であり、
    前記第１の信号群は緑色の信号であり、前記第２の信号群は赤色および青色の信号である、
    請求項１３の信号処理装置。

Images