JP4934991B2 - 撮像信号処理装置及び方法並びに撮像装置 - Google Patents

Description

本発明は、ＣＭＯＳイメージセンサ等の固体撮像素子から出力された画像信号に対して信号処理を行う撮像信号処理装置及び方法、並びにＣＭＯＳイメージセンサ等の固体撮像素子を用いた撮像装置に関するものである。

近年ＣＭＯＳ（Complementary Mental-Oxide Semiconductor）の半導体製造プロセスを用いたイメージセンサ（以下ＣＭＯＳイメージセンサという。）が広く実用化されつつある。ＣＭＯＳイメージセンサでは、例えば、ｍ列×ｎ行のマトリクス状に各画素位置に配置された光電変換素子から得られる画素信号を、１画素ずつ順次読み出しをすることができる。具体的には、ＣＭＯＳイメージセンサは、垂直方向に並んだｎ個の画素から発生された画素信号を伝送するｍ本のカラム線と、水平方向に並んだｍ個毎に動作させる画素を選択するｎ本の水平選択線とが、格子状に配線されており、これらカラム信号線及び水平選択線によりｎ行×ｍ列の単位画素を１つずつ順次にラスタスキャンして画像信号を生成する。

また、単板式の撮像装置に用いられるＣＭＯＳイメージセンサでは、２次元のマトリクス状に配置された各画素上に、Ｒ（赤），Ｇ（緑），Ｂ（青）に対応した光を透過させるいずれかの色の色フィルタが配設されている。

２次元マトリクス状の画素に対する色フィルタの配列の方式のことをカラーコーディングと呼ぶ。カラーコーディングの方式には、色々な方式がある。例えば、Ｒ，Ｇ，Ｂが垂直方向にストライプ状に並べられて、水平方向には３画素毎に各色が配置されるストライプ方式と呼ばれる方式がある。また、図１１に示すように、Ｇが垂直方向及び水平方向ともに１画素飛ばしで（２画素毎繰り返しで）配置されたいわゆる市松状配置とされ、Ｒ及びＢが垂直方向には線順次で水平方向には１画素飛ばしで（２画素毎繰り返しで）配置されるＧ市松Ｒ／Ｂ線順次タイプ（又は、原色ベイヤ配列）と呼ばれる方式等がある。

ＣＭＯＳイメージセンサには、このような所定の配列の色フィルタを透過した光が入力されるＣＭＯＳイメージセンサは、色フィルタのＲ，Ｇ，Ｂの光を透過させた位置に対応した画素が光電変換を行い、赤色の画素データＲ，緑色の画素データＧ，青色の画素データＢをそれぞれ生成する。撮像装置では、ＣＭＯＳイメージセンサから出力される画素データＲ，Ｇ，Ｂに基づいて、輝度信号及び色差信号を生成する。

また、原色ベイヤ配列のＣＭＯＳイメージセンサでは、１つの画素に対してＲ，Ｇ，Ｂのいずれかの色フィルタが配され、Ｒ，Ｇ，Ｒ，Ｇ，…という水平方向の配列と、Ｂ，Ｇ，Ｂ，Ｇ，…という水平方向の配列とが、交互に繰り返されて配置されている。

従って、原色ベイヤ配列のＣＭＯＳイメージセンサでは、Ｒの光を透過させる色フィルタが配されている画素においてはＧ及びＢに対応した画素データＧ，Ｂが生成されないこととなり、その画素のＧ及びＢに対応した画素データを補間して生成する必要がある。また、Ｇ，Ｂの光を透過させる色フィルタが配置されている画素においても、同様なことが言える。

ところで、画素の補間を行うと、補間した画素が本来の色とは異なる色となる偽色が発生してしまう可能性がある。

偽色の発生メカニズム及び偽色が発生しづらい補間方法について簡単に説明する。

図１２は、原色ベイヤ配列における各画素から得られる信号レベルを示した例である。

なお、図１２では、各四角形が画素の位置を示しており、各四角形の中に記述されたＲ，Ｇ，Ｂはその画素に設けられている色フィルタの種類を示している。また、各四角形の中に記述されたＲ，Ｇ，Ｂの文字の右に並んで記述されている２つの数値は、その画素の位置を示している。左側の数値が、垂直方向に上から数えたときのその画素の位置を示しており、右側の数値が、水平方向に左から数えたときのその画素の位置を示している。例えば、「Ｒ３５」と記述されている画素は、その色フィルタが赤であり、垂直方向に上から３番目、水平方向に左から５番目の画素であることを意味している。さらに、図１２において、Ｒ，Ｇ，Ｂの下に記述されている数値は、各画素の信号レベルをそれぞれ表しているＣＭＯＳイメージセンサから出力される画像信号は、Ａ／Ｄ変換器によりデジタル信号に変換された後のものであるが、このＡ／Ｄ変換器が８ビット精度の場合、各画素からの信号レベルは“０”〜“２５５”の範囲の値をとる。Ｒ，Ｇ，Ｂの下に記述されている数値は、そのデジタル値を示している。

なお、このような図面の表記方法は、図１４、図１５、図１６においても同様である。

図１２の例であれば、水平方向の左から３番目の画素と４番目の画素の間で信号レベルが大きく変化している。このため、水平方向に３番目の画素と４番目の付近では、補間を正確に行えず偽色が発生しやすい。

そこで、従来の撮像装置では、ある画素の補間を行う場合、その画素に対して２方向以上の画素を参照して補間を行うと同時に、隣接画素との相関値をそれらの方向毎に算出して、それぞれの方向の補間値を相関値に応じて加重加算することで、偽色が少なく、解像度の劣化のない輝度信号及び色差信号を作成している（例えば、特許文献１参照。）。

特許文献１に記載されている撮像装置では、このような撮像信号に対して、水平方向にフィルタをかけて補間を行った水平方向の補間値と、垂直方向にフィルタをかけて補間を行った垂直方向の補間値を算出する。さらに、水平方向及び垂直方向のそれぞれに対して画素間の相関性の強さを検出し、水平方向の補間値と垂直方向の補間値とにそれぞれの方向の相関性の強さを重み付けして平均している。

このことにより、一方向にレベル変化が大きく発生しても、他の方向にレベル変化が発生していなければ、そのレベル変化の少ない方向にフィルタをかけて補間を行うことができるので、偽色を発生することなく各画素に各色信号を作成することができる。

以後、このような２方向以上の補間値とそれらの方向の相関性の強さを算出して、その相関性の強さを重み付けした後に補間値を平均化する補間方法を、相関補間方法と呼ぶ。

ところで、近年ＣＭＯＳイメージセンサから各色の信号を読み出す方式として、図１３に示すように、原色ベイヤ配列に対して、Ｒ及びＢに関しては、水平方向に並んだ２画素毎に加算平均をした値を読み出させることにより、Ｇに比べて水平方向のサンプリングレートを１／２に落とした配列に対応した画素の出力を行うものが提案されている。

このようにＲ及びＢについてサンプリングレートを落とすと、全体として読み出しレートを遅くすることが可能となりＣＭＯＳイメージセンサの画素数を増加させた場合であっても、低速で処理を行うことが可能となる。

しかしながら、このようにＣＭＯＳイメージセンサからの読み出す各色の画素のサンプリングレートが異なる場合、上記の相関補間方法を用いて補間を行うと、水平方向の各色の信号帯域及びサンプリング位相の違いから、偽色が発生する場合がある。

具体的に、原色ベイヤ配列の色フィルタが設けられたＣＭＯＳイメージセンサから、Ｒ／Ｂのそれぞれが水平方向に２画素の加算平均がされ、信号の読み出しがされた場合の補間について考える。

Ｒ／Ｂが水平方向に２画素の加算平均された読み出しが行われると、当該読み出された信号は、図１４に示すように、Ｒ信号であれば、(R11＋R13)/2、(R15＋R17)/2…、といった演算がされた信号となり、また、Ｂ信号であれば、 (B22＋B24)/2、(B26＋B28)/2…、といった演算がされた信号となる。

Ｇ信号については、何ら演算を行わずに読み出されるので、図１５に示すようにＣＭＯＳイメージセンサから読み出されたそのままの値となる。

このように出力された各色信号を各画素それぞれについて補間する場合、まず、加算されたＲ／Ｂ信号を、加算せずに原色ベイヤ配列で読み出した場合と同一の画素配置となるように、Ｒ／Ｂの画素に線形補間して埋め戻す。埋め戻すと、図１６のようになる。例えば、Ｒ１３の位置の画素の埋め戻しは、埋め戻し後のＲ１３の信号をＲ１３”とすると、R13”=3/4 *(R11+R13)/2 + 1/4 * (R15+R17)/2となる。また、Ｒ１５の埋め戻しは、埋め戻し後のＲ１５の信号をＲ１５”とするとR15”=1/4 *(R11+R13)/2 + 3/4 * (R15+R17)/2となる。

図１２と図１６とを比較するとわかるように、Ｒ／Ｂ信号を加算読み出ししてその後に埋め戻した場合、Ｒ／Ｂ信号とＧ信号の水平方向における帯域の違いから、埋め戻す前と埋め戻した後で垂直方向にレベルに違いが生じている。

このため、この状態で、上述の相関補間方法を用いたとしても、Ｒ／Ｂ信号とＧ信号とが、垂直方向も水平方向も両者とも正しく補間ができず、偽色が発生してしまう。

以上のように、原色ベイヤ配列の色フィルタが設けられたＣＭＯＳイメージセンサから、Ｒ信号／Ｂ信号が水平方向に２画素分の加算平均がされて信号の読み出しを行った場合、相関補間方法を用いたとしても、正確な補間ができず、偽色が発生してしまう可能性がある。

特開平１１−２２０７４３号公報

そこで、本発明は、このような課題を解決し、偽色の発生を抑制することができる撮像信号処理装置、撮像信号の信号処理方法及び撮像装置を提供することを目的としている。

本発明に係る撮像信号処理装置は、水平方向及び垂直方向に配列された画素から水平方向に並ぶ２画素毎に加算平均された赤色（Ｒ）信号及び青色（Ｂ）信号のサンプリングレートが緑色（Ｇ）信号のサンプリングレートよりも低く同一である撮像信号を読み出して出力する単板カラー撮像素子から出力された撮像信号に対して信号処理を行う撮像信号処理装置において、前記Ｇ信号に関して水平方向に並んだ２画素毎に加算平均を取ることによって、水平方向における前記Ｇ信号のサンプリングレートと、水平方向における前記Ｒ信号及び前記Ｂ信号のサンプリングレートとを均一にするサンプリングレート均一化手段と、前記サンプリングレート均一化手段によってサンプリングレートを均一にした信号のサンプリングレートを、前記単板カラー撮像素子の画素配置に合わせたサンプリングレートにアップコンバートした色差信号を生成する色差信号生成手段とを備えることを特徴とする。

本発明に係る撮像信号の信号処理方法は、水平方向及び垂直方向に配列された画素から水平方向に並ぶ２画素毎に加算平均された赤色（Ｒ）信号及び青色（Ｂ）信号のサンプリングレートが緑色（Ｇ）信号のサンプリングレートよりも低く同一である撮像信号を読み出して出力する単板カラー撮像素子から出力された撮像信号に対して信号処理を行う撮像信号処理方法において、前記Ｇ信号に関して水平方向に並んだ２画素毎に加算平均を取ることによって、水平方向における前記Ｇ信号のサンプリングレートと、水平方向における前記Ｒ信号及び前記Ｂ信号のサンプリングレートとを均一にするサンプリングレート均一化ステップと、前記サンプリングレート均一化ステップでサンプリングレートを均一にした信号のサンプリングレートを、前記単板カラー撮像素子の画素配置に合わせたサンプリングレートにアップコンバートした色差信号を生成する色差信号生成ステップとを含むことを特徴とする。

本発明に係る撮像装置は、水平方向及び垂直方向に配列された画素から水平方向に並ぶ２画素毎に加算平均された赤色（Ｒ）信号及び青色（Ｂ）信号のサンプリングレートが緑色（Ｇ）信号のサンプリングレートよりも低く同一である撮像信号を読み出して出力する単板カラー撮像素子と、上記単板カラー撮像素子から出力された撮像信号に含まれるＧ信号に関して水平方向に並んだ２画素毎に加算平均を取ることによって、水平方向における前記Ｇ信号のサンプリングレートと、水平方向における前記Ｒ信号及び前記Ｂ信号のサンプリングレートとを均一にするサンプリングレート均一化手段と、前記サンプリングレート均一化手段によってサンプリングレートを均一にした信号のサンプリングレートを、前記単板カラー撮像素子の画素配置に合わせたサンプリングレートにアップコンバートした色差信号を生成する色差信号生成手段とを備えることを特徴とする。

本発明に係る撮像信号処理装置は、水平方向及び垂直方向の２次元方向に画素が配置され、３色のうちいずれかの色の色フィルタが各前記画素上に配置され、水平方向又は垂直方向のいずれか一方向に並んだ画素から読み出した色信号のサンプリングレートが色毎に異なっている単板カラー撮像素子から出力された撮像信号に対して、信号処理を行う撮像信号処理装置において、色毎に異なっている色信号のサンプリングレートを均一にし、サンプリングレートを均一にした各色信号に基づき色差信号を生成する色差信号生成部を備えることを特徴とする。

本発明に係る撮像信号の信号処理方法は、水平方向及び垂直方向の２次元方向に画素が配置され、３色のうちいずれかの色の色フィルタが各前記画素上に配置され、水平方向又は垂直方向のいずれか一方向に並んだ画素から読み出した色信号のサンプリングレートが色毎に異なっている単板カラー撮像素子から出力された撮像信号に対して、信号処理を行う撮像信号の信号処理方法において、色毎に異なっている色信号のサンプリングレートを均一にし、サンプリングレートを均一にした各色信号に基づき色差信号を生成すること を特徴とする。

本発明に係る撮像装置は、水平方向及び垂直方向の２次元方向に画素が配置され、３色のうちいずれかの色の色フィルタが各前記画素上に配置され、水平方向又は垂直方向のいずれか一方向に並んだ画素から読み出した色信号のサンプリングレートが色毎に異なっている単板カラー撮像素子と、前記単板式カラー撮像素子から出力された撮像信号が入力され、入力された撮像信号の各色信号のサンプリングレートを均一にし、サンプリングレートを均一にした各色信号に基づき色差信号を生成する色差信号生成部を備えることを特徴とする。

以上のような本発明では、水平方向又は垂直方向のいずれか一方向に並んだ画素から読み出した色信号のサンプリングレートが、色毎に異なる単板カラー撮像素子から出力された撮像信号に対して、色毎に異なっている色信号のサンプリングレートを均一にし、サンプリングレートを均一にした各色信号に基づき色差信号を生成する。

このことにより、本発明では、偽色の発生を抑制することができる。

以下、本発明が適用された電子式の撮像装置（以下、単に撮像装置という。）について説明する。

本発明は、例えば図１に示すような撮像装置１に適用される。

撮像装置１は、図１に示すように、被写体からの光が入射されてその光を結像する光学系２と、ＣＭＯＳイメージセンサ３と、このＣＭＯＳイメージセンサ３を駆動するタイミングジェネレータ４と、ＣＭＯＳイメージセンサ３から撮像信号が入力されその撮像信号を一時的に保持するサンプル／ホールド回路５と、サンプル／ホールド回路５から撮像信号が入力されその撮像信号のゲインを調整するＡＧＣ回路６と、ＡＧＣ回路６から撮像信号が入力されその撮像信号をデジタルデータに変換するＡ／Ｄ変換回路７と、デジタルデータに変換された撮像信号が入力され、入力された撮像信号に対して各種のカメラ処理を行なうカメラ信号処理回路８と、カメラ信号処理回路８から出力された画像信号が入力され、解像度変換等の画像フォーマットの変換及びＭＰＥＧ等の圧縮処理を行い、記録媒体等に記録や外部へ出力する出力処理回路９と、これら各部を制御する制御部１０とを備えている。

撮像装置１では、被写体画像を撮像して、撮像した信号をビデオ信号として出力することができる。出力されたビデオ信号は、例えばハードディスクや光ディスクに記録され、また、ＬＣＤモニタ等のファインダに表示される。

ＣＭＯＳイメージセンサ
ＣＭＯＳイメージセンサ３について説明をする。
ＣＭＯＳイメージセンサ３には、光学系２からの被写体光が入射され、受光面上にその被写体光が結像される。
ＣＭＯＳイメージセンサ３は、受光面にマトリクス状に配置された光電変換素子である画素を有している。各画素は、照射された光を光電変換するＣＭＯＳイメージセンサ３では、各画素に対応してＣＭＯＳスイッチが設けられているととともに、各ＣＭＯＳスイッチをオン／オフするために、垂直及び水平選択線及びアドレス選択回路が設けられているＣＭＯＳイメージセンサ３では、ＣＭＯＳスイッチを順次スイッチングしてゆくことによって、２次元配列された画素の値をラスタスキャンして読み出し、撮像信号を生成する。

また、ＣＭＯＳイメージセンサ３は、図１１に示すような、原色ベイヤ配列（Ｇ市松Ｒ／Ｂ線順次タイプ）のカラーコーディングがされた色フィルタが設けられた単板式のカラー撮像素子である。すなわちＣＭＯＳイメージセンサ３は、Ｇ（緑）が、垂直方向及び水平方向ともに１画素飛ばしで（２画素毎繰り返しで）配置されたいわゆる市松状配置とされている。また、ＣＭＯＳイメージセンサ３は、Ｒ（赤）及び青（Ｂ）が、Ｇが配設されていない画素であり、且つ、垂直方向には線順次で水平方向には１画素飛ばしで（２画素毎繰り返しで）配置されている。

従って、ＣＭＯＳイメージセンサ３では、１つの画素毎にＲ，Ｇ，Ｂを有する色フィルタが配されており、つまり、Ｒ，Ｇ，Ｒ，Ｇ，…という水平配列と、Ｂ，Ｇ，Ｂ，Ｇ，…という水平配列とが、垂直方向に交互に繰り返されて配置されている。
ＣＭＯＳイメージセンサには、この色フィルタの各領域を透過した光が入力されるＣＭＯＳイメージセンサは、この色フィルタのＲ，Ｇ，Ｂの光を透過させた位置に対応した画素から画素データＧ，画素データＲ，画素データＢをそれぞれ生成する。撮像装置は、ＣＭＯＳイメージセンサに入力される光に基づいて輝度信号を作成するとともに、色信号を作成する。

さらに、ＣＭＯＳイメージセンサ３では、図１３に示すように、原色ベイヤ配列に対して、Ｒ及びＢに関しては、水平方向に並んだ２画素毎に加算平均をした値を読み出させている。このためＣＭＯＳイメージセンサ３では、Ｇに比べて、Ｒ及びＢの水平方向のサンプリングレートが１／２に削減された画素の出力を行っている。

このようにＲ及びＢについてサンプリングレートを落とすと、全体として読み出しレートを遅くすることが可能となりＣＭＯＳイメージセンサの画素数を増加させた場合であっても、低速で処理を行うことが可能となる。

なお、本例では、撮像素子としてＣＭＯＳイメージセンサ３を用いているが、本発明では、撮像素子は、ＣＭＯＳイメージセンサに限らず、ＣＣＤイメージセンサを用いてもよい。また、本発明では、撮像素子は、原色ベイヤ配列のＲ／Ｂの２画素平均読み出しのセンサに限らず、水平方向又は垂直方向のいずれか一方向に並んだ画素から読み出した色信号のサンプリングレートが、他の色のサンプリングレートと異なっている単板カラー撮像素子であれば、どのようなカラーコーディングであってもよい。

カメラ信号処理回路
カメラ信号処理回路８について説明をする。

カメラ信号処理回路８は、図２に示すように、Ａ／Ｄ変換回路７からデジタルの画像信号（Ｒ，Ｇ，Ｂ）が入力されるＣＬＰ回路１１と、ＣＬＰ回路１１から画像信号が入力されるホワイトバランス回路１２と、ホワイトバランス回路１２から画像信号が入力される欠陥補正回路１３と、補間回路１４と、Ｙ／Ｃ変換回路１５とを備える。

ＣＬＰ回路１１には、Ａ／Ｄ変換回路７から出力されたデジタル化された画像信号（Ｒ，Ｇ，Ｂ）が入力される。ＣＬＰ回路１１は、入力された画像信号からオプティカルブラックを差し引く。ＣＬＰ回路１１では、入力した画像信号からオプティカルブラックを差し引くことによって、黒レベルの補正をする。

ホワイトバランス回路１２には、ＣＬＰ回路１１から出力された画像信号（Ｒ，Ｇ，Ｂ）が入力される。ホワイトバランス回路１２は、入力された画像信号の各色成分（Ｒ，Ｇ，Ｂ）に対して、色毎のレベル調整を行う。

欠陥補正回路１３には、ホワイトバランス回路１２から出力された画像信号（Ｒ，Ｇ，Ｂ）が入力される。欠陥補正回路１３は、入力された画像信号に対して、欠陥画素部分の信号の補正を行う。すなわち、欠陥補正回路１３は、欠陥を有するために正確な画素値が生成されていない画素の欠陥を検出し、その補正を行う。

補間回路１４には、欠陥補正回路１３から出力された画像信号（Ｒ，Ｇ，Ｂ）が入力される。補間回路１４は、カラーコーディングの方式が原色ベイヤ配列とされているＣＭＯＳイメージセンサ３から読み出された画像信号に対して、値が存在しない画素部分の信号を補間して生成する処理を行う。つまり、補間回路１４は、各色信号（Ｒ信号，Ｇ信号，Ｂ信号）毎に、対応する色フィルタが配置されていな画素（すなわち、他の色の色フィルタが配置されている画素）位置の信号を、他の信号を参照して補間し、受光面の全画素の値を有する信号に変換する処理を行う。補間回路１４は、補間して生成した画像信号（Ｒ，Ｇ，Ｂ）を、Ｙ／Ｃ変換回路１５に供給する。

Ｙ／Ｃ変換回路１５は、補間回路１４から出力された画像信号が入力される。Ｙ／Ｃ変換回路１５は、入力された画像信号（Ｒ，Ｇ，Ｂ）からなる補間画素データを、輝度信号（Ｙ）と色差信号（Ｃ）とから構成される輝度／クロマ信号に変換する。そして、このＹ／Ｃ変換回路１５は、生成した輝度／クロマ信号を、出力処理回路９に出力する。

補間回路
補間回路１４について説明をする。

なお、補間回路１４の説明をするにあたり、欠陥補正回路１３から出力された画像信号の信号レベルの具体例として、図３に示すような例を用いるものとする。

図３は、原色ベイヤ配列における各画素から得られる信号レベルを示した例である。

なお、図３では、各四角形が画素の位置を示しており、各四角形の中に記述されたＲ，Ｇ，Ｂはその画素に設けられている色フィルタの種類を示している。また、各四角形の中に記述されたＲ，Ｇ，Ｂの文字の右に並んで記述されている２つの数値は、その画素の位置を示している。左側の数値が、垂直方向に上から数えたときのその画素の位置を示しており、右側の数値が、水平方向に左から数えたときのその画素の位置を示している。例えば、「Ｒ３５」と記述されている画素は、その色フィルタが赤であり、垂直方向に上から３番目、水平方向に左から５番目の画素であることを意味している。さらに、図３において、Ｒ，Ｇ，Ｂの下に記述されている数値は、各画素の信号レベルをそれぞれ表しているＣＭＯＳイメージセンサから出力される画像信号は、Ａ／Ｄ変換器によりデジタル信号に変換された後のものであるが、このＡ／Ｄ変換器が８ビット精度の場合、各画素からの信号レベルは“０”〜“２５５”の範囲の値をとる。Ｒ，Ｇ，Ｂの下に記述されている数値は、そのデジタル値を示している。

なお、このような図面の表記方法は、図５〜図１０においても同様である。

図４は、補間回路１４のブロック構成図である。

補間回路１４は、図４に示すように、Ｇ画像信号補間部２１と、サンプリングレート均一化部２２と、色差補間部２３と、相関値検出部２４と、加重加算部２５と、高域低域混合部２６とを備えている。

以下、各構成要素について詳細に説明をする。

（Ｇ画像信号補間部）
Ｇ画像信号補間部２１には、欠陥補正回路１３から出力された画像信号のうち、Ｇ成分の色信号（Ｇ信号）が入力される。入力されたＧ信号は、市松状の位置に画素にのみ、有効な信号が存在している。Ｇ画像信号補間部２１は、Ｇ信号について画素値が存在しない部分の補間処理を行って、各補間画素データＧ’を生成する。つまり、Ｇ画像信号補間部２１は、市松状の画素位置にのみ値が存在するＧ信号を、全ての画素位置で値が存在するＧ信号に変換する。

Ｇ画像信号補間部２１は、水平方向に配列された画素を用いて水平方向にＧ信号の画素データの補間を行なうＧ水平方向補間回路２１ｈと、垂直方向に配列された画素を用いて垂直方向にＧ信号の画素データの補間を行なうＧ垂直方向補間回路２１ｖとから構成されている。

Ｇ水平方向補間回路２１ｈには、原色ベイヤ配列のＣＭＯＳイメージセンサ３からの出力信号であることから、図５に示すような、市松状に配列された画素に対応するＧの画素データが入力される。

Ｇ水平方向補間回路２１ｈは、下記の（式１）又は（式２）に示す補間フィルタ演算を、入力されたＧ信号の水平方向に対して行って、水平方向の補間画素データＧｈ’を算出する。

[1 0 1] / 2 …（式１）
[1 0 6 0 1] / 8 … (式２)

なお、（式１）の補間フィルタ演算は、Ｇ色の色フィルタが設けられていない位置の画素（すなわち、Ｒ又はＢのフィルタが設けられている位置の画素）に対して適用される。例えば、図５の例であれば、（式１）の補間フィルタ演算は、１行３列の位置の画素に対して適用される。また、（式２）の補間フィルタ演算は、Ｇ色の色フィルタが設けられている位置の画素に対して適用される。例えば、図５であれば、（式２）の補間フィルタ演算は、１行４列の位置の画素に対して適用される。

Ｇ垂直方向補間回路２１ｖにも、上述のＧ水平方向補間回路２１ｈと同様に、図５に示すような、市松状に配列された画素に対応するＧの画素データが入力される。

Ｇ垂直方向補間回路２１ｖは、上記の（式１）又は（式２）に示す補間フィルタ演算を、入力されたＧ信号の垂直方向に対して行って、垂直方向の補間画素データＧｖ’を算出する。

なお、Ｇ垂直方向補間回路２１ｖも、水平方向のフィルタと同様に、（式１）の補間フィルタ演算はＧ色の色フィルタが設けられていない位置の画素に適用され、（式２）の補間フィルタ演算はＧ色の色フィルタが設けられている位置の画素に対して適用される。

Ｇ画像信号補間部２１では、以上のような補間処理を行うことによりＣＭＯＳイメージセンサ３の全ての画素位置について補間がされたＧ成分の画像信号を得ることができ、さらに、水平方向及び垂直方向の両者の方向で補間をして２つの画像信号を得ることができる。

Ｇ画像信号補間部２１により生成された水平方向の補間画素データＧｈ’及び垂直方向の補間画素データＧｖ’は、加重加算部２５に供給される。

（ サンプリングレート均一化部）
サンプリングレート均一化部２２には、欠陥補正回路１３から出力された画像信号（Ｒ，Ｇ，Ｂ）が入力される。サンプリングレート均一化回路２２は、各色の信号が有する信号帯域を同一にし、水平方向の帯域をそろえた色信号Ｇ”，Ｒ”，Ｂ”を生成する。

つまり、ＣＭＯＳイメージセンサ３の場合、Ｒ及びＢに関しては、水平方向に並んだ２画素毎に加算平均をした値を読み出させている。このため、ＣＭＯＳイメージセンサ３では、Ｇに比べて、Ｒ及びＢの水平方向のサンプリングレートが１／２に削減されて、信号帯域が１／２となっている。そのため、サンプリングレート均一化部２２では、Ｇ信号についても、Ｒ及びＢと同様に、水平方向に並んだ２画素毎に加算平均をする。このことにより、Ｒ，Ｇ，Ｂの全ての信号を、同一の帯域とすることが可能となる。

具体的には、サンプリングレート均一化部２２はＣＭＯＳイメージセンサ３で加算平均されたＲ／Ｂの信号と同じ加算平均をＧ信号に対して行なうＧ水平方向加算平均回路２２ａと、ＣＭＯＳイメージセンサ３で加算平均されたＲ／Ｂ信号並びにＧ水平方向加算平均回路２２ａにより水平方向に加算平均されたＧ信号を水平方向に線形補間して、もとの原色ベイヤ配列の対応する画素位置に各色信号を埋め戻し生成するR/G/Bアップコンバート回路２２ｂからなる。

Ｇ水平方向加算平均回路２２ａには、図５に示すような、市松状に配列された画素に対応するＧの画素データが入力される。Ｇ水平方向加算平均回路２２ａはＣＭＯＳイメージセンサ３で加算平均されたＲ/Ｂ信号と同じ加算平均をＲ/Ｂ信号の加算平均方向と同じ方向に行なう。本例では、Ｒ/Ｂ信号はＣＭＯＳイメージセンサ３によって、上記（式１）と同様の加算平均演算を水平方向に行なっているので、Ｇ水平方向加算平均回路２２ａでは、Ｇ信号に対して上記（式１）と同様の加算平均を、水平方向の２画素毎に行なう。この結果、図５で示すＧ水平方向加算平均回路２２ａの入力信号は、図６で示すような信号Ｇ’となる。

R/G/Bアップコンバート回路２２ｂには、図６で示すＧ水平方向加算平均回路２２ａで水平方向に加算平均されたＧ信号と、図７で示すＣＭＯＳイメージセンサ３で加算平均されてから出力されるＲ/Ｂ信号が入力される。R/G/Bアップコンバート回路２２ｂは、加算平均されたＧ/Ｒ/Ｂ信号をＣＭＯＳイメージセンサ３上の画素配列の位相と同一となるように画素値の線形補間を行なう。すなわち、原色ベイヤ配列と同一の画素配列となるように埋め戻しの処理を行なう。

例えば、図６で示す信号Ｇ’は、R/G/Bアップコンバート回路２２ｂにより線形補間を行うことにより、図８のような信号Ｇ”となる。

すなわち、例えば、画素G14”は下記（式３）で示す演算を行うことにより求められ、また、画素G16”は下記（式４）で示す演算を行うことにより求められる。画素G14”，G16”以外の信号は、（式３）、（式４）と同様に、隣接の入力信号に対して比例加算を行なって出力される。

G14” = (G13’ *3 + G17’) /4 …（式３）
G16” = (G13’ + G17’ *3) /4 …（式４）

また、図７示す信号Ｒ’及びＧ’は、R/G/Bアップコンバート回路２２ｂにより線形補間を行うことにより、図９のような信号Ｒ”及びＢ”となる。

すなわち、例えば画素R13”は下記（式５）で示す演算を行うことにより求められ、また、例えば画素R15”は下記（式６）で示す演算を行うことにより求められる。また、例えば画素B24”は（式７）で示す演算を行うことにより求められ、また、例えば画素B26”は（式８）で示す演算を行うことにより求められる。なお、画素R13”，R15”，B24”，B26”以外の信号は、（式５）及び（式６）と同様に、隣接の入力信号に対して比例加算を行なって出力される。

R13” = (R12’ *3 + R16’) /4 …（式５）
R15” = (R12’ + R16’ *3) /4 …（式６）
B24” = (B23’ *3 + B27’) /4 …（式７）
B26” = (B23’ + B27’ *3) /4 …（式８）

（色差補間部）
色差補間部２３には、図１０で示すような、サンプリングレート均一化部２２から出力されたアップコンバート後の画像信号（Ｒ，Ｇ，Ｂ）が入力される。

色差補間部２３は、入力された画像信号（Ｒ，Ｇ，Ｂ）に対して水平方向の補間処理を行って、色差信号を生成する水平方向補間色差生成回路２３ｈと、入力された画像信号（Ｒ，Ｇ，Ｂ）に対して垂直方向の補間処理を行って、色差信号を生成する垂直方向補間色差生成回路２３ｖとを有している。

水平方向補間色差生成回路２３ｈは、水平補間処理を行うことによって、色差信号（Ｒ−Ｇ，Ｂ−Ｇ）を生成する。垂直方向補間色差生成回路２３ｖは、垂直補間処理を行うことによって、色差信号（Ｒ−Ｇ，Ｂ−Ｇ）を生成する。
例えば、画素G34”の位相の水平方向補間による色差Ｒ−Ｇ（R34h−G34h）は、（式９）で示す演算を行うことによって算出され、また、画素G34”の位相の水平方向補間による色差Ｂ−Ｇ(B34h−G34h)は、（式１０）で示す演算を行うことによって算出される。

R34h−G34h = (R33” + R35”) / 2 - G34” …（式９）
B34h−G34h = (B24” - (G23” + G25”) / 2 + B44” - (G43” + G45”) / 2 ) / 2 …（式１０）

同様に、画素G34”の位相の垂直方向補間による色差Ｒ−Ｇ（R34ｖ−G34ｖ）は、（式１１）で示す演算を行うことによって算出され、また、画素G34”の位相の垂直方向補間による色差Ｂ−Ｇ(B34ｖ−G34ｖ)は（式１２）で示す演算を行うことによって算出される。

R34v−G34v = (R33” - (G23” + G43”) / 2 + R35” - (G25” + G45”) / 2 ) / 2 …（式１１）
B34v−G34v = (B24” + B44”) / 2 - G34” …（式１２）

また、画素R35”の位相の水平方向補間による色差Ｒ−Ｇ（R35h−G35h）は、（式１３）で示す演算を行うことにより算出され、また、画素R35”の位相の水平方向補間による色差Ｂ−Ｇ(B35h−G35h)は、（式１４）で示す演算を行うことによって算出される。

R35h−G35h = R35” - (G34” + G36”) /2 …（式１３）
B35h−G35h = ( (B24” + B26”) / 2 - G25” + (B44” + B46”) / 2 - G45” ) / 2 …（式１４）

同様に、画素R35”の位相の垂直方向補間による色差Ｒ−Ｇ（R35ｖ−G35ｖ）は、（式１５）で示す演算を行うことにより算出され、画素R35”の位相の垂直方向補間による色差Ｂ−Ｇ(B35ｖ−G35ｖ)は、（式１６）で示す演算を行うことによって算出される。

R35v−G35v = R35” - (G25” + G45”) / 2 …（式１５）
B35v−G35v = ( ( B24” + B44”) / 2 - G34” + ( ( B26” + B46”) / 2 - G36” ) / 2 …（式１６）

また、上記で示した位相以外の画素の色差については、次のように求められる。

すなわち、Ｇ”の位相の画素の色差は、上記の（式９）又は（式１０）と同式で水平方向の色差水平補間信号を生成し、上記の（式１１）又は（式１２）と同式で垂直方向の色差垂直補間信号を生成する。また、Ｒ”及びＧ”の位相の画素の色差は、上記の（式１３）又は（式１４）と同式で水平方向の色差水平補間信号を生成し、上記の（式１５）又は（式１６）と同式で垂直方向の色差垂直補間信号を生成する。

以上のような色差補間部２３により求められた、水平方向補間による色差信号（Ｒ−Ｇ）ｈ及び（Ｂ−Ｇ）ｈ、並びに、垂直方向補間による色差信号（Ｒ−Ｇ）ｖ及び（Ｒ−Ｂ）ｖは、加重加算部２５に供給される。

（相関検出部）
相関値検出部２４には、欠陥補正回路１３から出力された画像信号のうち、図５に示すような、市松状に配列された画素に対応するＧの画素データが入力される。

相関検出部２４は、各画素に対して、水平方向に存在する近接の画素との相関性の強さ（水平相関値Ｃｈ）と、垂直方向に存在する近接の画素との相関性の強さ（垂直相関値Ｃｖ）とを算出し、水平相関値Ｃｈと垂直相関値Ｃｖとを正規化した値を算出する。

相関検出部２４は、各画素に対して水平相関値Ｃｈを検出する水平方向相関検出回路２４ｈと、各画素に対して垂直相関値Ｃｖを検出する垂直方向相関検出回路２４ｖと、水平相関値Ｃｈ及び垂直相関値Ｃｖを正規化する相関値正規化回路２４ａとを備えている。

水平方向相関検出回路２４ｈは、画素データＧが存在する位置の画素に対しては、下記（式１７）に示すフィルタ演算を行い、画素データＧが存在しない位置の画素に対しては、下記（式１８）に示すフィルタ演算を行い、各画素位置における水平相関値Ｃｈ を算出する。

すなわち、水平相関値Ｃｈ は、垂直方向において、画素データＧが存在する場合には（式１７）を用いて［１，０，６，０，１］のローパスフィルタ演算、画素データＧが存在しない場合には（式１８）を用いて［１，０，１］のローパスフィルタ演算をかけて算出される。また、水平相関値Ｃｈ は、水平方向において、［−１，０，２，０，−１］のＢＰＦをかけて算出される。

一方、垂直方向相関検出回路２４ｖは、画素データＧが存在する位置の画素に対しては、下記（式１９）に示すフィルタ演算を用い、画素データＧが存在しない位置の画素に対しては、下記（式２０）に示すフィルタ演算を行い、各画素位置における垂直相関値Ｃｖ を算出する。

すなわち、垂直相関値Ｃｖ は、（式１９）及び（式２０）を用いることにより、垂直方向に対して［−１，０，２，０，−１］のバンドパスフィルタ演算をかけて算出される。また、垂直相関値Ｃｖ は、画素データＧが存在する場合、水平方向では（式１９）を用いて［１，０，６，０，１］のローパスフィルタ演算、画素データＧが存在しない場合には（式２０）を用いて［１，０，１］のローパスフィルタ演算をかけて算出される。

相関値正規化回路２４ａには、水平方向相関検出回路２４ｈから水平相関値Ｃｈが入力され、 垂直方向相関検出回路２４ｖから垂直相関値Ｃｖ が入力される。相関値正規化回路２４ａは、水平相関値Ｃｈ及び垂直相関値Ｃｖを正規化して、正規化水平相関値αｈ及び正規化垂直相関値αｖを算出する。具体的には、相関値正規化回路２４ａは、下記（式２１）の演算を行い正規化水平相関値αｈ を算出する。また、相関値正規化回路２４ａは、下記（式２２）に示す演算を行い、正規化水平相関値αｈ の相対値である正規化垂直相関値αｖを算出する。

α_ｖ = Cv / (Cv + Ch) …(式２１)
α_ｈ= 1 - Cv / (Cv + Ch) …(式２２)

正規化水平相関値αｈ及び正規化垂直相関値αｖは、０以上１以下の値に正規化されており、且つ、αｈ＋αｖ＝１となるように正規化がされた値となる。

以上のように相関検出部２４により算出された正規化水平相関値αｈ及び正規化垂直相関値αｖは、加重加算部２５に供給される。

（加重加算部）
加重加算部２５には、Ｇ画像信号補間部２１により生成された水平方向の補間画素データＧｈ’及び垂直方向の補間画素データＧｖ’、並びに、色差補間部２３により生成された水平方向補間による色差信号（Ｒ−Ｇ）ｈ及び（Ｂ−Ｇ）ｈ及び垂直方向補間による色差信号（Ｒ−Ｇ）ｖ及び（Ｒ−Ｂ）ｖが入力される。

加重加算部２５は、正規化水平相関値αｈ及び正規化垂直相関値αｖに応じて、補間画素データＧｈ’及び補間画素データＧｖ’を加重加算して、合成した補間画素データＧ’を生成する。また、加重加算部２５は、正規化水平相関値αｈ及び正規化垂直相関値αｖに応じて色差信号（Ｒ−Ｇ）ｈ及び色差信号（Ｒ−Ｇ）ｖを加重加算して、合成した色差信号（Ｒ−Ｇ）を生成するとともに、正規化水平相関値αｈ及び正規化垂直相関値αｖに応じて色差信号（Ｂ−Ｇ）ｈ及び色差信号（Ｂ−Ｇ）ｖを加重加算して、合成した色差信号（Ｂ−Ｇ）を生成する。

具体的には、加重加算部２５は、正規化水平相関値αｈと水平方向の補間画素データＧ’ｈとが入力される乗算器３１と、正規化垂直相関値αｖと垂直方向の補間画素データＧ’ｖとが入力される乗算器３２と、乗算器３１及び乗算器３２の出力を加算する加算器３３とを備えている。

乗算器３１は、正規化水平相関値αｈと水平方向の補間画素データＧ’ｈとを乗算して出力し、乗算器３２は、正規化垂直相関値αｖと垂直方向の補間画素データＧ’ｖとを乗算して出力する。加算器３３は、乗算器３１により水平相関性の重み付けがされた水平方向の補間画素データＧ’ｈと、乗算器３２により垂直相関性の重み付けがされた垂直方向の補間画素データＧ’ｖとを加算して、出力する。

このことにより、相関性の強さに応じて、水平方向の補間結果及び垂直方向の補間結果が加重加算されるので、加算器３３からは、偽色の発生が少なくされたＧの補間画素データＧ’が出力される。

また、加重加算部２５は、正規化水平相関値αｈと水平方向補間により生成された色差信号（Ｒ−Ｇ）ｈ及び（Ｂ−Ｇ）ｈとが入力される乗算器３４と、正規化垂直相関値αｖと垂直方向補間により生成された色差信号（Ｒ−Ｇ）ｖ及び（Ｂ−Ｇ）ｖとが入力される乗算器３５と、乗算器３１及び乗算器３２の出力を加算する加算器３３とを備えている。

乗算器３４は、正規化水平相関値αｈと水平方向補間により生成された色差信号（Ｒ−Ｇ）ｈ及び（Ｂ−Ｇ）ｈとを乗算して出力し、乗算器３５は、正規化垂直相関値αｖと垂直方向補間により生成された色差信号（Ｒ−Ｇ）ｖ及び（Ｂ−Ｇ）ｖとを乗算して出力する。加算器３６は、乗算器３４により水平相関性の重み付けがされた水平方向補間により生成された色差信号（Ｒ−Ｇ）ｈ及び（Ｂ−Ｇ）ｈと、乗算器３５により垂直相関性の重み付けがされた垂直方向補間により生成された色差信号（Ｒ−Ｇ）ｖ及び（Ｂ−Ｇ）ｖとを加算して、出力する。

このことにより、相関性の強さに応じて、水平方向の補間結果及び垂直方向の補間結果が加重加算されるので、加算器３６からは、偽色の発生が少なくされた色差信号（Ｒ−Ｇ）及び（Ｂ−Ｇ）が出力される。

以上のように加重加算部２５により生成されたＧ成分の補間画素データＧ’は、補間回路１４の出力信号として外部に出力されるとともに、高域低域混合部２６に供給される。

また、加重加算部２５により生成された色差信号（Ｒ−Ｇ）及び（Ｂ−Ｇ）は、高域低域混合部２６に供給される。

（高域低域混合部）
高域低域混合部２６には、加重加算部２５により生成されたＧ成分の補間画素データＧ’、及び、色差信号（Ｒ−Ｇ）及び（Ｂ−Ｇ）が入力される。

高域低域混合部２６は、色差信号（Ｒ−Ｇ）と補間画素データＧ’とを加算し、Ｒ成分の補間画素データＲ’を生成する。また、高域低域混合部２６は、色差信号（Ｂ−Ｇ）と補間画素データＧ’とを加算し、Ｂ成分の補間画素データＢ’を生成する。

高域低域混合部２６は、生成したＲ／Ｂ成分の補間画素データＲ’及びＢ’を、補間回路１４の出力信号として外部に出力する。

（補間回路による効果）
以上のように補間回路１４では、サンプリングレート均一化部２２が、Ｇ信号のサンプリングレートが、Ｒ/Ｂ信号と同一なるようにダウンコンバートした後に、原色ベイヤ配列と同様の画素配列となるようにアップコンバートしている。補間回路１４では、その後、アップコンバートした信号により、全画素に対する色差信号（Ｒ−Ｇ，Ｂ−Ｇ）を生成して、生成した色差信号（Ｒ−Ｇ，Ｂ−Ｇ）に、高い帯域の状態のままで全画素の補間をしたＧ信号を加算してＲ，Ｂ信号を生成している。

このため、補間回路１４では、色毎のサンプリングレートの違いが無くなり偽色の発生を抑制した補間処理を行うことができる。

本発明が適用された撮像装置のブロック構成図である。 撮像装置内のカメラ信号処理回路のブロック構成図である。 原色ベイヤ配列のＣＭＯＳイメージセンサの色フィルタの構成例、及び、検出された信号レベルの一例を示す図である。 カメラ信号処理回路内の補間回路のブロック構成図である。 図３の原色ベイヤ配列のＣＭＯＳイメージセンサの画像信号のうち、Ｇ信号のみを示した図である。 図５のＧ信号をサンプリングレート均一化部により水平方向の２画素毎の加算平均を行った後の信号レベルの例を示す図である。 図３の原色ベイヤ配列のＣＭＯＳイメージセンサからＲ／Ｂの画素を水平方向に２画素分の加算平均を行って読み出した信号レベルの例を示す図である。 図６のＧ信号を、原色ベイヤ配列どおりに埋め戻しをした場合の信号レベルの例を示す図である。 図７のＲ／Ｂ信号を、原色ベイヤ配列どおりに埋め戻しをした場合の信号レベルの例を示す図である。 図８及び図９を合成した図である。 原色ベイヤ配列のカラーコーディング方式を示す図である。 原色ベイヤ配列における各画素から得られる信号レベルの一例を示す図である。 原色ベイヤ配列の信号を読み出す際に、Ｒ／Ｂについて水平方向に２画素分の加算平均を行っている状態を示した図である。 図１２の原色ベイヤ配列の信号を読み出す際に、Ｒ／Ｂについては水平方向に２画素分の加算平均を行って読み出したＲ／Ｂの画素値を示した図である。 図１２の原色ベイヤ配列の信号から読み出したＧの画素値を示した図である。 水平方向に２画素分の加算平均を行って読み出したＲ／Ｂの画素値を、原色ベイヤ配列どおりに埋め戻しをした場合の画素値を示す図である。

符号の説明

１ 撮像装置、２ 光学系、３ ＣＭＯＳイメージセンサ、７ Ａ／Ｄ変換器７、８ カメラ信号処理部、１４ 補間回路、２１ Ｇ画像信号補間部、２２ サンプリングレート均一化部、２３ 色差補間部、２４ 相関値検出部、２５ 加重加算部、２６ 高域低域混合部

Claims (9)

1. 水平方向及び垂直方向に配列された画素から水平方向に並ぶ２画素毎に加算平均された赤色（Ｒ）信号及び青色（Ｂ）信号のサンプリングレートが緑色（Ｇ）信号のサンプリングレートよりも低く同一である撮像信号を読み出して出力する単板カラー撮像素子から出力された撮像信号に対して信号処理を行う撮像信号処理装置において、
   前記Ｇ信号に関して水平方向に並んだ２画素毎に加算平均を取ることによって、水平方向における前記Ｇ信号のサンプリングレートと、水平方向における前記Ｒ信号及び前記Ｂ信号のサンプリングレートとを均一にするサンプリングレート均一化手段と、
   前記サンプリングレート均一化手段によってサンプリングレートを均一にした信号のサンプリングレートを、前記単板カラー撮像素子の画素配置に合わせたサンプリングレートにアップコンバートした色差信号を生成する色差信号生成手段と
   を備える撮像信号処理装置。
2. 上記色差信号生成手段は、
   Ｇ信号を、前記単板カラー撮像素子の画素配置に合わせたサンプリングレートにアップコンバートする緑補間部と、
   生成した各色差信号に対して、前記緑補間部から出力されたＧ信号を加算して、Ｒ信号及びＢ信号を生成する加算部とを備える請求項１記載の撮像信号処理装置。
3. Ｇ信号の水平方向の画素間の相関性及び垂直方向の画素間の相関性を算出する相関性算出部とを更に備え、
   前記サンプリングレート均一化手段は、
   Ｇ信号を水平方向にアップコンバートすることにより色差信号を生成する水平方向色差補間部と、
   Ｇ信号を垂直方向にアップコンバートすることにより色差信号を生成する垂直方向色差補間部と、
   前記相関性算出部により算出された水平方向及び垂直方向の相関性に応じて、水平方向色差補間部及び垂直方向色差信号補間部から出力された２つの色差信号を合成する合成部と
   を有する請求項２記載の撮像信号処理装置。
4. 水平方向及び垂直方向に配列された画素から水平方向に並ぶ２画素毎に加算平均された赤色（Ｒ）信号及び青色（Ｂ）信号のサンプリングレートが緑色（Ｇ）信号のサンプリングレートよりも低く同一である撮像信号を読み出して出力する単板カラー撮像素子から出力された撮像信号に対して信号処理を行う撮像信号処理方法において、
   前記Ｇ信号に関して水平方向に並んだ２画素毎に加算平均を取ることによって、水平方向における前記Ｇ信号のサンプリングレートと、水平方向における前記Ｒ信号及び前記Ｂ信号のサンプリングレートとを均一にするサンプリングレート均一化ステップと、
   前記サンプリングレート均一化ステップでサンプリングレートを均一にした信号のサンプリングレートを、前記単板カラー撮像素子の画素配置に合わせたサンプリングレートにアップコンバートした色差信号を生成する色差信号生成ステップと
   を含む撮像信号処理方法。
5. 上記色差信号生成ステップでは、
   Ｇ信号を、前記単板カラー撮像素子の画素配置に合わせたサンプリングレートにアップコンバートし、
   生成した各色差信号に対して、アップコンバートした前記Ｇ信号を加算して、Ｒ信号及びＢ信号を生成する請求項４記載の撮像信号の信号処理方法。
6. Ｇ信号の水平方向の画素間の相関性及び垂直方向の画素間の相関性を算出する相関性算出ステップを更に含み、
   上記色差信号生成ステップでは、
   Ｇ信号を水平方向にアップコンバートすることにより色差信号を生成し、
   Ｇ信号を垂直方向にアップコンバートすることにより色差信号を生成し、
   上記相関性算出ステップで算出された水平方向及び垂直方向の相関性に応じて、２つの色差信号を合成する
   請求項５記載の撮像信号の信号処理方法。
7. 水平方向及び垂直方向に配列された画素から水平方向に並ぶ２画素毎に加算平均された赤色（Ｒ）信号及び青色（Ｂ）信号のサンプリングレートが緑色（Ｇ）信号のサンプリングレートよりも低く同一である撮像信号を読み出して出力する単板カラー撮像素子と、
   上記単板カラー撮像素子から出力された撮像信号に含まれるＧ信号に関して水平方向に並んだ２画素毎に加算平均を取ることによって、水平方向における前記Ｇ信号のサンプリングレートと、水平方向における前記Ｒ信号及び前記Ｂ信号のサンプリングレートとを均一にするサンプリングレート均一化手段と、
   前記サンプリングレート均一化手段によってサンプリングレートを均一にした信号のサンプリングレートを、前記単板カラー撮像素子の画素配置に合わせたサンプリングレートにアップコンバートした色差信号を生成する色差信号生成手段と
   を備える撮像装置。
8. 上記色差信号生成手段は、
   Ｇ信号を、前記単板カラー撮像素子の画素配置に合わせたサンプリングレートにアップコンバートする緑補間部と、
   前記色差信号生成部から出力された各色差信号に対して、前記緑補間部から出力されたＧ信号を加算して、Ｒ信号及びＢ信号を生成する加算部と
   を備える請求項７記載の撮像装置。
9. Ｇ信号の水平方向の画素間の相関性及び垂直方向の画素間の相関性を算出する相関性算出部とを更に備え、
   前記サンプリングレート均一化手段は、
   Ｇ信号を水平方向にアップコンバートすることにより色差信号を生成する水平方向色差補間部と、
   Ｇ信号を垂直方向にアップコンバートすることにより色差信号を生成する垂直方向色差補間部と、
   前記相関性算出部により算出された水平方向及び垂直方向の相関性に応じて、水平方向色差補間部及び垂直方向色差信号補間部から出力された２つの色差信号を合成する合成部とを有する請求項８記載の撮像装置。

Images