JP3660504B2 - カラー固体撮像装置 - Google Patents
カラー固体撮像装置 Download PDFInfo
- Publication number
- JP3660504B2 JP3660504B2 JP21740698A JP21740698A JP3660504B2 JP 3660504 B2 JP3660504 B2 JP 3660504B2 JP 21740698 A JP21740698 A JP 21740698A JP 21740698 A JP21740698 A JP 21740698A JP 3660504 B2 JP3660504 B2 JP 3660504B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- color
- green
- blue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラやディジタルカメラ等で用いられる単板式のカラー固体撮像装置に係り、特に色偽信号を抑圧する効果を持つ色分離処理回路を備えたカラー固体撮像装置に関する。
【０００２】
【従来の技術】
固体撮像素子を一つだけ用いた、いわゆる単板式のビデオカメラやディジタルカメラでは、固体撮像素子上の各画素に対応して特定の色フィルタ、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタが設けられている。各画素に対する色フィルタの配列は種々あり、それらの色フィルタ配列に対応した色分離のための信号処理も多数考案されている。図２を用いて、従来の色フィルタ配列と色分離の信号処理について説明する。
【０００３】
図２（ａ）は、一般的に原色ベイヤ配列と呼ばれる代表的な色フィルタ配列であり、例えば奇数ラインがＧフィルタ、Ｒフィルタが２画素周期で繰り返し配置され、偶数ラインがＢフィルタ、Ｇフィルタが２画素周期に繰り返し配置された２×２画素を１ユニットとする繰り返し構造となっている。
【０００４】
この原色ベイヤ配列の場合、固体撮像素子より出力される画像信号から各画素毎にＲ信号、Ｇ信号およびＢ信号を分離して生成する色分離処理が行われる。例えば、図２（ｂ）の３×３画素の領域の中央の画素に注目した場合、この注目画素はＲ画素、つまり色フィルタＲが設けられた画素であるため、直接にはＲ信号しか得られない。そこで、注目画素の他の色信号、例えばＢ信号は周囲のＢ画素（Ｂフィルタが設けられた画素）から得られる信号を用い、またＧ信号は周囲のＧ画素（Ｇフィルタが設けられた画素）から得られる信号を用いて生成する。例えば、この例のように注目画素がＲ画素である場合の注目画素のＢ信号は、注目画素に隣接する４つのＢ画素の信号の平均値を計算することで生成することができ、同様に注目画素のＧ信号は、注目画素に隣接する４つのＧ画素の信号の平均値を計算することで生成することができる。
【０００５】
しかし、このような単純な補間処理による色分離処理では、固体撮像素子上で明るい画素と暗い画素が隣接している場合の明るい画素と暗い画素の境界、すなわち画像のエッジ部に、本来の色と異なったいわゆる色偽信号が発生してしまうという問題がある。この色偽信号の発生メカニズムについて、図３を用いて簡単に説明する。
【０００６】
図３（ａ）は、図２（ａ）に示した原色ベイヤ配列における各画素から得られる信号レベルの例であり、Ｒ，Ｇ，Ｂの記号の下に書かれた数値がＲ画素、Ｇ画素、Ｂ画素の信号レベルをそれぞれ表している。固体撮像素子から出力される画像信号はＡ／Ｄ変換器によりディジタル信号に変換された後、色分離処理回路に入力されるのであるが、このＡ／Ｄ変換器が８ビット精度の場合、各画素からの信号レベルは“０”〜“２５５”の範囲の値をとる。この図３（ａ）の例では、水平方向の左から２番目の画素と３番目の画素の間で信号レベルが大きく変化しており、色偽信号が発生し易い状況にある。
【０００７】
図４は、原色ベイヤ配列に対する従来の色分離処理における色信号生成式を各画素配列に対応して示している。すなわち、注目画素（３×３画素の領域の中央の画素）がＧ画素の場合の画素配列は、図４の左側の上から１番目と４番目の二種類があり、注目画素がＢ画素の場合の画素配列は、図４の左側の上から２番目の一種類、注目画素がＲ画素の場合の画素配列は、図４の左側の上から３番目の一種類がそれぞれあり、これら合計４種類の画素配列に対して、注目画素のＲ信号、Ｇ信号、Ｂ信号は図中に示す色信号生成式に従う補間処理によって生成される。但し、注目画素がＢ画素のＢ信号、Ｒ画素の場合のＲ信号は、補間処理によらず注目画素からＢ信号、Ｒ信号がそのまま取り出される。
【０００８】
ここで、図３（ａ）のように信号レベルが水平方向に大きなレベル差を持つ場合、各画素からのＲ信号、Ｇ信号、Ｂ信号を図４に示される色信号生成式のように、注目画素およびその周囲の同じ色の画素の信号のみを用いて生成すると、Ｒ信号、Ｂ信号、Ｇ信号の信号レベルは、それぞれ図３（ｂ）、（ｃ）、（ｄ）となる。
【０００９】
これら図３（ｂ）、（ｃ）、（ｄ）に示すＲ信号、Ｂ信号、Ｇ信号の各１水平ライン分の一部を縦に並べた図が図３（ｅ）である。この図３（ｅ）から分かるように、図３（ａ）において信号レベルが“２０”から“２００”に変化する位置を中心に、生成されたＲ信号、Ｇ信号、Ｂ信号の間、特にＲ信号とＢ信号の間に、図３（ａ）では存在していなかった大きなレベル差（Ｒ信号レベル“２０”とＢ信号レベル“１１０”、またはＲ信号レベル“１１０”とＢ信号レベル“２００”）が生じており、このレベル差が色偽信号の原因となる。
【００１０】
このような色偽信号の発生を抑えるために、単板式カラービデオカメラの色分離処理回路において、水平補間回路および水平補間回路により注目画素の周囲の複数の画素の信号の水平方向および垂直方向の相関を利用して２つの補間信号を作成し、さらに相関値検出回路で水平方向および垂直方向の相関性を検出して、その相関値に基づき決定された加算比率で２つの補間信号を加算して注目画素の信号を生成する方式が提案されている（特開平７−２３６１４７号公報）。
【００１１】
しかし、この色偽信号抑圧機能を持たせた従来の色分離処理回路では、色分離処理に通常必要な水平および垂直補間回路の他に、水平および垂直方向の相関値検出回路を必要とし、相関値検出回路は相関演算に乗算器を必要とするため、回路規模が非常に大きくなってしまう。
【００１２】
【発明が解決しようとする課題】
上述したように、従来の単板式カラー固体撮像装置では、色偽信号が発生するという問題があり、また従来の色偽信号を抑圧する機能を持たせたものでは、水平および垂直補間回路の他に、水平および垂直方向の相関値検出回路を必要とするために、色分離処理回路の回路規模が大きくなってしまい、装置の低価格化の妨げとなっていた。
【００１３】
本発明は、上記のような問題点を解決するためになされたものであり、回路規模の増大を伴わずに色偽信号を効果的に抑圧できるカラー固体撮像装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係るカラー固体撮像装置は、原色ベイヤ配列に従って各画素に赤、青および緑の色フィルタを選択的に配置した赤画素、青画素および緑画素を有する固体撮像素子と、この固体撮像素子の各画素の画像信号から画素毎に赤信号、青信号および緑信号を生成する色信号生成手段とを具備し、色信号生成手段は、
（ａ）各画素について当該画素から得られる赤信号、または当該画素の周囲の赤画素から得られる赤信号の平均値に、少なくとも当該画素の周囲の緑画素から得られる緑信号の高周波成分を加算して広帯域赤信号を生成する赤信号生成手段と、
（ｂ）各画素について当該画素から得られる青信号、または当該画素の周囲の青画素から得られる青信号の平均値に、少なくとも当該画素の周囲の緑画素から得られる緑信号の高周波成分を加算して広帯域青信号を生成する青信号生成手段と、
（ｃ）各画素について少なくとも当該画素の周囲の緑画素から得られる緑信号の平均値を求めて狭帯域緑信号を生成する緑信号生成手段と、
（ｄ）広帯域赤信号および広帯域青信号を入力し、狭帯域緑信号と同一帯域の狭帯域赤信号および狭帯域青信号をそれぞれ生成する第１および第２の低域通過フィルタとを有する。
【００１５】
原色ベイヤ配列とは、画素が水平方向２画素×垂直方向２画素を基本ブロックとして周期的に配置され、この基本ブロックにおいて２つの緑画素が一方の対角上に配置され、赤画素と青画素が残りの対角上に配置された色フィルタ配列である。
【００１６】
また、上述した（ａ）（ｂ）（ｃ）の処理において、広帯域赤信号、広帯域青信号、狭帯域緑信号は、それぞれ注目画素を中心とした水平方向３画素×垂直方向３画素から得られる信号を用いて生成される。
【００１７】
上述した（ａ）（ｂ）（ｃ）の処理を行う色分離処理部からは、緑（Ｇ）信号は従来技術と同様に狭帯域信号（ＧＬ信号）として得られるが、赤（Ｒ）信号および青（Ｂ）信号はＧ信号の高周波成分が加算された広帯域信号（ＲＨ信号、ＢＨ信号）としてそれぞれ得られる。そして、ＲＨ信号、ＢＨ信号はさらに（ｄ）の低域通過フィルタにより帯域制限が与えられ、ＧＬ信号と同じ帯域の狭帯域信号（ＲＬ信号、ＢＬ信号）となる。
【００１８】
このような色分離処理と低域通過フィルタとによる色信号生成処理によって生成されるＲＬ信号、ＢＬ信号、ＧＬ信号は、帯域が揃えられ、さらにＲＬ信号、ＢＬ信号はＧＬ信号とほぼ同位相で信号レベルが変化するように位相が補正されるため、色偽信号の発生が抑えられる。
【００１９】
また、色分離処理部は加減算と２のべき乗の乗算の組み合わせでよく、２のべき乗の乗算はビットシフト処理で実現できるため、回路規模が小さくなり、低価格化が可能となる。また、この色分離処理をソフトウェア処理やファームウェア処理で実現する場合には、処理時間が短くて済む。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１に、本発明の一実施形態に係るカラー固体撮像装置の構成を示す。固体撮像素子１０は、マトリクス状に配列された各画素に色フィルタが原色ベイヤ配列で配置されている。原色ベイヤ配列は、図２（ａ）に示したように例えば奇数ラインにＧフィルタ、Ｒフィルタが２画素周期で繰り返し配置され、偶数ラインにＢフィルタ、Ｇフィルタが２画素周期に繰り返し配置された２×２画素を１ユニットとする繰り返し構造の色フィルタ配列である。固体撮像素子１０の各画素のうち、Ｒフィルタが配置された画素をＲ画素、Ｇフィルタが配置された画素をＧ画素、Ｂフィルタが配置された画素をＢ画素という。
【００２１】
また、固体撮像素子１０はこれに限られるものではないが、例えば画素を構成するマトリクス状に配列されたフォトダイオード上に色フィルタを設け、フォトダイオードの各列の間に設けられた垂直転送ＣＣＤによりフォトダイオードの蓄積電荷を一ライン分ずつ転送した後、水平転送ＣＣＤによって電気信号（画像信号）として取り出すインターライン転送方式の２次元ＣＣＤイメージセンサにより構成される。
【００２２】
固体撮像素子１０から出力された画像信号は、アナログ信号処理部１１に入力され、ここで映像信号の生成やノイズリダクション等の処理が行われる。アナログ信号処理部１１から出力される画像信号は、Ａ／Ｄ変換器１２でディジタル信号に変換された後、乗算器１３でホワイトバランス補正を受け、さらにガンマ補正回路１４によってガンマ補正が施される。
【００２３】
ガンマ補正回路１４から出力されるディジタル画像信号は、２個の１Ｈ遅延回路１５と６個の１画素遅延回路１６により３ライン×３列の画素信号にブロック化され、色分離処理部１７に入力される。１Ｈ遅延回路１５は、ディジタル画像信号の１Ｈ（１水平期間）分を記録できるメモリや遅延線を用いて構成され、１Ｈ分の時間遅延された出力信号を得るものである。１画素遅延回路１６は、１画素分が伝送されるに要する時間と等しい遅延時間を備えた遅延回路である。
【００２４】
すなわち、ディジタル化された画像信号と、１段の１Ｈ遅延回路１５を通った画像信号と、２段の１Ｈ遅延回路１５を通った画像信号とからなる３ラインの画像信号が生成され、さらに各ライン毎に２段の１画素遅延回路１６が設けられることにより、同時に３ライン×３列の信号が色分離処理部１７に入力されることになる。
【００２５】
色分離処理部１７では、Ｒ，Ｇ，Ｂの色分離処理が行われ、全画素についてＲ信号、Ｇ信号、Ｂ信号の生成が行われる。後に詳しく説明するが、色分離処理部１７から出力されるＲ信号は広帯域信号（ＲＨ信号）、Ｂ信号は広帯域信号（ＢＨ信号）、Ｇ信号は狭帯域信号（ＧＬ信号）である。そして、ＧＬ信号はそのまま取り出され、ＲＨ信号およびＢＨ信号はそれぞれ低域通過フィルタ１８を通過して、ＧＬ信号と同一帯域の狭帯域信号（ＲＬ信号、ＢＬ信号）として取り出される。色分離処理部１７での処理の詳細については、後述する。
【００２６】
こうして色分離処理回路１７と低域通過フィルタ１８からなる色信号生成回路で生成されたＲＬ信号、ＧＬ信号およびＢＬ信号は、マスキング補正部１９に入力され、固体撮像素子１０上で起こる隣接画素からの信号の漏れ込みを除去するためのマスキング補正が行われた後、色処理部２０に入力される。色処理部２０では、ＲＬ信号、ＧＬ信号、ＢＬ信号から低域輝度信号（ＹＬ）、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）への変換が行われる。
【００２７】
自動ホワイトバランス処理部（ＡＷＢ）２１は、色処理部２０から得られた色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を基にホワイトバランス処理に用いる係数を求め、これを乗算器１３によってＡ／Ｄ変換後のディジタル信号にフィードバックし、自動的にホワイトバランス処理を行う。例えば、ある被写体を撮影したときＡ／Ｄ変換器１２から出力されたディジタル画像信号のＲＧＢ信号比がＲ：Ｇ：Ｂ＝２：２：１のとき、被写体の白色領域を自動ホワイトバランス処理部２１によって検出し、ＲＧＢ信号比がＲ：Ｇ：Ｂ＝１：１：１になるような補正係数を生成してフィードバックを行う。これにより、ガンマ補正回路１４に入力される画像信号のＲＧＢ信号比は、ホワイトバランスがとれたものとなる。
【００２８】
Ｕ／Ｖ変換部２２では、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）をＵ信号、Ｖ信号に変換して出力する。一方、輪郭抽出部２３では、３ラインのＲ信号、Ｇ信号、Ｂ信号から高域輝度信号（ＹＨ）を作成し、さらに水平輪郭信号（ＨＤＴＬ）と垂直輪郭信号（ＶＤＴＬ）を生成する。そして、水平輪郭信号（ＨＤＴＬ）と垂直輪郭信号（ＶＤＴＬ）を第１の加算器２４で加算して得られた輪郭補正信号（ＤＴＬ）を第２の加算器２５で低域輝度信号（ＹＬ）と加算することにより、輝度信号（Ｙ）を生成して出力する。
【００２９】
次に、本発明の特徴部分である色分離処理部１７での処理について詳しく説明する。
色分離処理部１７に入力されるディジタル画像信号の３×３画素の配列には、図５（ａ）（ｂ）（ｃ）（ｄ）に示す配列Ａ、配列Ｂ、配列Ｃ、配列Ｄの４通りが存在する。３×３画素の各々の画素位置を表すために、図６に示すように水平方向位置をｘ、垂直方向位置をｙとする２次元座標表現を用いる。ここで、３×３画素の中央の座標(x,y) の画素を注目画素とし、この注目画素の色信号を求めることを考える。
【００３０】
色分離処理部１７に入力されるディジタル画像信号の３×３画素の４通りの配列（配列Ａ、配列Ｂ、配列Ｃ、配列Ｄ）に対応する注目画素の色信号（Ｒ信号、Ｇ信号、Ｂ信号）の生成式を以下に示す。この色信号生成式では、各画素から出力される画像信号の色の要素の頭文字（Ｒ，Ｇ，Ｂ）とｘ，ｙ座標によって各画素の位置を表している。ＲＨ(x,y) は注目画素の水平方向広帯域Ｒ信号、ＢＨ(x,y) は注目画素の水平方向広帯域Ｂ信号、ＧＬ(x,y) は注目画素の水平方向狭帯域Ｇ信号をそれぞれ表す。
【００３１】
＜配列Ａに対応する色信号生成式＞
＜配列Ｂに対応する色信号生成式＞
＜配列Ｃに対応する色信号生成式＞
＜配列Ｄに対応する色信号生成式＞
但し、式（１）〜（１２）において求められたＲＨ信号、ＢＨ信号が負の値であれば、ＲＨ信号、ＢＨ信号は零とするものとする。
以下、これらの色信号生成式（１）〜（１２）を用いて、色分離処理部１７に入力されるディジタル画像信号の３×３画素の配列が配列Ａ、配列Ｂ、配列Ｃ、配列Ｄの場合の色信号生成処理について説明する。
【００３２】
（配列Ａの場合）
配列Ａでは、注目画素（座標位置(x,y))がＧ画素であるため、注目画素のＧ信号は直接得られるが、注目画素のＲ信号、Ｂ信号は直接には得られない。
そこで、注目画素のＲ信号（広帯域Ｒ信号）ＲＨ(x,y) については、式（１）に示すように、注目画素に上下で隣接するＲ画素から得られるＲ信号（Ｒ(x,y-1),Ｒ(x,y+1))の平均値（補間信号）を求める。次に、この補間信号に注目画素から得られるＧ信号（Ｇ(x,y))とその周囲のＧ画素から得られるＧ信号（Ｇ(x-1,y-1),Ｇ(x-1,y+1),Ｇ(x+1,y-1),Ｇ(x+1,y+1))とから得られるＧ信号の高周波成分を加算することで、ＲＨ(x,y) を生成する。
【００３３】
ここで、注目画素とその周囲のＧ画素から得られるＧ信号の高周波成分は、広帯域Ｇ信号である注目画素から得られるＧ信号（Ｇ(x,y))から、狭帯域Ｇ信号である周囲のＧ画素から得られるＧ信号（Ｇ(x-1,y-1),Ｇ(x-1,y+1),Ｇ(x+1,y-1),Ｇ(x+1,y+1))の平均値を差し引くことで得られる。
【００３４】
注目画素のＢ信号（広帯域Ｂ信号）ＢＨ(x,y) についても同様に、式（２）に示すように、注目画素に左右で隣接するＢ画素から得られるＢ信号（Ｂ(x-1,y),Ｂ(x+1,y))の平均値（補間信号）を求め、この補間信号に注目画素とその周囲のＧ画素から得られるＧ信号の高周波成分を加算することで生成する。
【００３５】
注目画素のＧ信号（狭帯域Ｇ信号）ＧＬ(x,y) については、式（３）に示すように、注目画素のから得られるＧ信号（Ｇ(x,y))を４倍にした値と、注目画素の上下左右に隣接する４つのＧ画素から得られるＧ信号（Ｇ(x-1,y-1),Ｇ(x-1,y+1),Ｇ(x+1,y-1),Ｇ(x+1,y+1))を加算した値の平均値として求められる。
【００３６】
（配列Ｂの場合）
配列Ｂでは、注目画素（座標位置(x,y))はＢ画素であるため、注目画素のＢ信号は直接得られるが、注目画素のＲ信号、Ｇ信号は直接には得られない。
そこで、注目画素のＲ信号（広帯域Ｒ信号）ＲＨ(x,y) については、式（４）に示すように、注目画素に上下左右で隣接するＲ画素から得られるＲ信号（Ｒ(x,y-1),Ｒ(x,y+1),Ｒ(x-1,y+1),Ｒ(x+1,y+1))の平均値（補間信号）を求め、この補間信号に注目画素の周囲のＧ画素から得られるＧ信号（Ｇ(x,y-1),Ｇ(x,y+1),Ｇ(x-1,y),Ｇ(x+1,y))の高周波成分を加算することで生成する。
【００３７】
ここで、式（４）の例では、加算するＧ信号の高周波成分は、注目画素に上下で隣接する２つのＧ画素から得られるＧ信号の平均値（Ｇ(x,y-1) ＋（Ｇ(x,y+1))／２から注目画素に左右に隣接する２つのＧ画素から得られるＧ信号の平均値（Ｇ(x-1,y) ＋Ｇ(x+1,y))／２を差し引いて得られるため、水平方向の高周波成分となる。
【００３８】
注目画素のＢ信号（広帯域Ｂ信号）ＢＨ(x,y) については、注目画素がＢ画素であるため、式（５）に示すように、Ｂ画素から得られるＢ信号に注目画素の周囲のＧ画素から得られるＧ信号（Ｇ(x,y-1),Ｇ(x,y+1),Ｇ(x-1,y),Ｇ(x+1,y))の高周波成分を加算することで生成する。
【００３９】
この場合の加算するＧ信号の高周波成分も、注目画素に上下で隣接する２つのＧ画素から得られるＧ信号の平均値（Ｇ(x,y-1) ＋（Ｇ(x,y+1))／２から、注目画素に左右で隣接する２つのＧ画素から得られるＧ信号の平均値（Ｇ(x-1,y) ＋Ｇ(x+1,y))／２を差し引いて得られるため、水平方向の高周波成分となる。
【００４０】
注目画素のＧ信号（狭帯域Ｇ信号）ＧＬ(x,y) については、式（６）に示すように、注目画素の周囲の４つのＧ画素から得られるＧ信号（Ｇ(x,y-1),Ｇ(x,y+1),Ｇ(x-1,y),Ｇ(x+1,y))の平均値として求められる。
【００４１】
（配列Ｃの場合）
配列Ｃは、配列ＢにおけるＲ画素とＢ画素の位置が入れ替わった形となっている。従って、注目画素のＲ信号（水平方向広帯域Ｒ信号）ＲＨ(x,y) 、Ｂ信号（水平方向広帯域Ｂ信号）ＢＨ(x,y) の生成式は、それぞれ式（７）（８）に示すように、配列Ｂにおける式（４）（５）のＲＨ(x,y) ，ＢＨ(x,y) の生成式においてＲとＢを入れ替えた形とすればよい。注目画素のＧ信号（狭帯域Ｇ信号）ＧＬ(x,y) の生成式は、（９）式に示すように、配列Ｂにおける式（６）に示したＧＬ(x,y) の生成式と同じにすればよい。
【００４２】
（配列Ｄの場合）
配列Ｄの処理は、配列ＡにおけるＲ画素とＢ画素の位置が入れ替わった形となっている。従って、注目画素のＲ信号（水平方向広帯域Ｒ信号）ＲＨ(x,y) 、Ｂ信号（広帯域Ｂ信号）ＢＨ(x,y) の生成式は、それぞれ式（１０）（１１）に示すように、配列Ａにおける式（１）（２）のＲＨ(x,y) ，ＢＨ(x,y) の生成式においてＲとＢを入れ替えた形とすればよい。注目画素のＧ信号（狭帯域Ｇ信号）ＧＬ(x,y) の生成式については、（１２）式に示すように、配列Ａにおける式（３）に示したＧＬ(x,y) の生成式と同じにすればよい。
【００４３】
このようにして色分離処理部１７により、各全画素について広帯域Ｒ信号（ＲＨ信号）、狭帯域Ｇ信号（ＧＬ信号）および広帯域Ｂ信号（ＢＨ信号）が生成される。また、前述したようにＲＨ信号、ＢＨ信号の値が負の場合は、ＲＨ信号、ＢＨ信号を零で置き換える。さらに、色分離処理部１７に入力されるディジタル画像信号をＮビット精度とすれば、ＲＨ信号、ＢＨ信号の値が（２N ）以上になった場合は、ＲＨ信号、ＢＨ信号の値を（２N −１）で置き換える。具体的に、例えばＮ＝８の場合、ＲＨ信号、ＢＨ信号の値が“２５６”以上になるときは、“２５５”で置き換える。
【００４４】
ここで、色分離処理部１７から得られたＧＬ信号は、前述したように注目画素の周囲のＧ画素から得られるＧ信号を平均化した信号であるため、水平方向に帯域制限がかけられた形、つまり低域通過フィルタ特性が与えられた形となっている。そこで、ＲＨ信号、ＢＨ信号を低域通過フィルタ１８にそれぞれ入力し、ＧＬ信号に帯域制限で与えられた低域通過フィルタ特性と同じ低域通過フィルタ特性をＲＨ信号、ＢＨ信号に与えて帯域制限を行うことにより、Ｒ信号およびＢ信号の帯域をＧＬ信号と同じ帯域に揃え、ＲＬ信号、ＢＬ信号とする。低域通過フィルタ１８の伝達関数は、次式で与えられる。
Ｈ（ｚ）＝１／４（Ｚ-1＋２Ｚ0 ＋Ｚ+1）
以上のようにして生成されたＲＬ信号、ＧＬ信号、ＢＬ信号は、水平方向に帯域が揃っており、しかも水平方向のサンプリング位置が１画素おきであるＲＬ信号、ＢＬ信号に対して、ＧＬ信号とほぼ同位相で信号レベルが変化するように位相補正が行われるため、色偽信号が抑圧される。
【００４５】
言い換えれば、本発明では原色ベイヤ配列においてＧ画素がＲ画素およびＢ画素を取り囲む形で存在することを利用して、Ｒ画素、Ｂ画素から直接得られるＲ信号、Ｂ信号、あるいは、その周囲のＲ画素、Ｂ画素から得られるＲ信号、Ｂ信号の平均値として求められる狭帯域のＲ信号、Ｂ信号に、周囲のＧ画素から得られるＧ信号の高周波成分を加算した後、ＧＬ信号と同様に帯域制限を加えてＲＬ信号、ＢＬ信号としている。
【００４６】
このようにすると、色分離処理前の画像信号の段階で急激に信号レベルが変化するような位置でも、ＲＬ信号、ＢＬ信号の信号レベルは、ＧＬ信号と同様の変化を示す。これにより、隣接する画素位置間の信号レベル差が色毎に大きく異なることがなくなるため、色偽信号が抑圧されることになる。
【００４７】
次に、図７を用いて本実施形態による色偽信号の抑圧効果を具体的に数値例を挙げて説明する。
色信号分離処理部１７に入力されるディジタル画像信号の各画素の信号レベルは、図３（ａ）に示した通りであり、Ａ／Ｄ変換器１２の変換精度は先と同じく８ビット精度であるとする。この場合、色分離処理部１７では図７（ａ）に示すＲＨ信号、図７（ｂ）に示すＢＨ信号、および図７（ｃ）に示すＧＬ信号が生成される。ＲＨ信号、ＢＨ信号を低域通過フィルタ１８にそれぞれ通した後のＲＬ信号、ＢＬ信号は、図７（ｄ）（ｅ）となる。
【００４８】
図７（ｆ）は、図７（ｄ）に示すＲＬ信号、図７（ｅ）に示すＢＬ信号、および図７（ｃ）に示すＧＬ信号の１水平ライン分の一部を縦に並べた図である。この図７（ｆ）から分かるように、図３（ａ）の信号レベルが“２０”から“２００”に変化する位置を中心にしたＲ信号、Ｇ信号、Ｂ信号のばらつきが従来の同色だけで補間を行った図３（ｅ）の場合と比べて、大きく軽減されている。
【００４９】
また、式（１）〜（１２）に示した色分離処理部１７でのＲ信号、Ｇ信号、Ｂ信号の生成式は、加減算と１／２、１／４、１／８といった２のべき乗の乗算の組み合わせとなっている。２のべき乗の乗算は、ディジタル信号のビットシフト処理により実現できるので、色分離処理１７をハードウェア化したときの回路規模を小さくできる。同じ理由により、この色信号生成処理をソフトウェアやファームウェアで行うときは、処理時間を短縮できるという利点がある。
【００５０】
ところで、上述した色信号生成処理では、特に式（４）（５）（７）（８）に示したように、注目画素のＲ信号、Ｂ信号またはその補間信号に、周囲のＧ画素から得られるＧ信号の水平方向の高周波成分を加算しているため、特に水平方向に関して色偽信号抑圧効果が得られる。一般に、人間の目の視感度は水平方向に高く、色偽信号も水平方向の方が目につきやすいため、このように水平方向の色偽信号を抑圧する方が効果的である。
【００５１】
ただし、絵柄によっては垂直方向の色偽信号が発生する場合もあり、このような場合は、式（１）〜（１２）中、式（４）（５）（７）（８）に代えて、これらを変形した式（４′）（５′）（７′）（８′）を用い、注目画素のＲ信号、Ｂ信号またはその補間信号に、周囲のＧ画素から得られるＧ信号の垂直方向の高周波成分を加算することにより、垂直方向に関して色偽信号抑圧効果を得るようにすることができる。
【００５２】
この場合、低域通過フィルタ１８も垂直方向に低域通過フィルタ処理を施すことにより、垂直方向の色偽信号を抑圧することができる。
【００５３】
また、このように色偽信号の抑圧効果を水平方向または垂直方向にいずれか一方向に限定すると、色分離処理部１７と低域通過フィルタ１８を含めた色信号生成処理回路全体の回路規模をより効果的に縮小できる。
【００５４】
また、さらに別の実施形態として、回路規模は若干増えるが、式（４）（５）（７）（８）と、式（４′）（５′）（７′）（８′）の生成式を切り替えて、あるいは併用して使用することによって、水平、垂直両方向について色偽信号抑圧効果を得るようにすることも可能である。
【００５５】
【発明の効果】
以上述べたように、本発明によれば単板式のビデオカメラやディジタルカメラで問題となる色偽信号を効果的に低減でき、画質が改善される。また、色信号生成のための色分離処理回路をディジタル信号の加減算、ビットシフト処理の組み合わせで構成できるため、従来の色偽信号を低減させた色分離処理回路に比較して回路規模を小さくできる。従って、集積回路のチップサイズを小さくして低コスト化が可能となる。さらに、ソフトウェアやファームウェアで色分離処理を実現する場合でも、処理時間を短くすることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るカラー固体撮像装置の構成を示すブロック図
【図２】本実施形態における固体撮像素子の色フィルタ配列である原色ベイヤ配列を示す図
【図３】従来技術における色偽信号の発生メカニズムを説明するための図
【図４】従来技術における色分離処理の色信号生成式と色フィルタ配列の対応関係を示す図
【図５】同実施形態における色分離処理部に入力される画像信号の色フィルタ配列の種類を示す図
【図６】色フィルタ配列と各画素位置の座標との対応関係を示す図
【図７】同実施形態における色分離処理部での色偽信号抑圧効果を説明するための図
【符号の説明】
１０…固体撮像素子
１１…アナログ信号処理部
１２…Ａ／Ｄ変換器
１３…自動ホワイトバランス処理用乗算器
１４…ガンマ補正回路
１５…１Ｈ遅延回路
１６…１画素遅延回路
１７…色分離処理部
１８…低域通過フィルタ
１９…マスキング補正部
２０…色処理部
２１…自動ホワイトバランス処理部
２２…Ｕ／Ｖ変換部
２３…輪郭抽出回路
【発明の属する技術分野】
本発明は、ビデオカメラやディジタルカメラ等で用いられる単板式のカラー固体撮像装置に係り、特に色偽信号を抑圧する効果を持つ色分離処理回路を備えたカラー固体撮像装置に関する。
【０００２】
【従来の技術】
固体撮像素子を一つだけ用いた、いわゆる単板式のビデオカメラやディジタルカメラでは、固体撮像素子上の各画素に対応して特定の色フィルタ、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタが設けられている。各画素に対する色フィルタの配列は種々あり、それらの色フィルタ配列に対応した色分離のための信号処理も多数考案されている。図２を用いて、従来の色フィルタ配列と色分離の信号処理について説明する。
【０００３】
図２（ａ）は、一般的に原色ベイヤ配列と呼ばれる代表的な色フィルタ配列であり、例えば奇数ラインがＧフィルタ、Ｒフィルタが２画素周期で繰り返し配置され、偶数ラインがＢフィルタ、Ｇフィルタが２画素周期に繰り返し配置された２×２画素を１ユニットとする繰り返し構造となっている。
【０００４】
この原色ベイヤ配列の場合、固体撮像素子より出力される画像信号から各画素毎にＲ信号、Ｇ信号およびＢ信号を分離して生成する色分離処理が行われる。例えば、図２（ｂ）の３×３画素の領域の中央の画素に注目した場合、この注目画素はＲ画素、つまり色フィルタＲが設けられた画素であるため、直接にはＲ信号しか得られない。そこで、注目画素の他の色信号、例えばＢ信号は周囲のＢ画素（Ｂフィルタが設けられた画素）から得られる信号を用い、またＧ信号は周囲のＧ画素（Ｇフィルタが設けられた画素）から得られる信号を用いて生成する。例えば、この例のように注目画素がＲ画素である場合の注目画素のＢ信号は、注目画素に隣接する４つのＢ画素の信号の平均値を計算することで生成することができ、同様に注目画素のＧ信号は、注目画素に隣接する４つのＧ画素の信号の平均値を計算することで生成することができる。
【０００５】
しかし、このような単純な補間処理による色分離処理では、固体撮像素子上で明るい画素と暗い画素が隣接している場合の明るい画素と暗い画素の境界、すなわち画像のエッジ部に、本来の色と異なったいわゆる色偽信号が発生してしまうという問題がある。この色偽信号の発生メカニズムについて、図３を用いて簡単に説明する。
【０００６】
図３（ａ）は、図２（ａ）に示した原色ベイヤ配列における各画素から得られる信号レベルの例であり、Ｒ，Ｇ，Ｂの記号の下に書かれた数値がＲ画素、Ｇ画素、Ｂ画素の信号レベルをそれぞれ表している。固体撮像素子から出力される画像信号はＡ／Ｄ変換器によりディジタル信号に変換された後、色分離処理回路に入力されるのであるが、このＡ／Ｄ変換器が８ビット精度の場合、各画素からの信号レベルは“０”〜“２５５”の範囲の値をとる。この図３（ａ）の例では、水平方向の左から２番目の画素と３番目の画素の間で信号レベルが大きく変化しており、色偽信号が発生し易い状況にある。
【０００７】
図４は、原色ベイヤ配列に対する従来の色分離処理における色信号生成式を各画素配列に対応して示している。すなわち、注目画素（３×３画素の領域の中央の画素）がＧ画素の場合の画素配列は、図４の左側の上から１番目と４番目の二種類があり、注目画素がＢ画素の場合の画素配列は、図４の左側の上から２番目の一種類、注目画素がＲ画素の場合の画素配列は、図４の左側の上から３番目の一種類がそれぞれあり、これら合計４種類の画素配列に対して、注目画素のＲ信号、Ｇ信号、Ｂ信号は図中に示す色信号生成式に従う補間処理によって生成される。但し、注目画素がＢ画素のＢ信号、Ｒ画素の場合のＲ信号は、補間処理によらず注目画素からＢ信号、Ｒ信号がそのまま取り出される。
【０００８】
ここで、図３（ａ）のように信号レベルが水平方向に大きなレベル差を持つ場合、各画素からのＲ信号、Ｇ信号、Ｂ信号を図４に示される色信号生成式のように、注目画素およびその周囲の同じ色の画素の信号のみを用いて生成すると、Ｒ信号、Ｂ信号、Ｇ信号の信号レベルは、それぞれ図３（ｂ）、（ｃ）、（ｄ）となる。
【０００９】
これら図３（ｂ）、（ｃ）、（ｄ）に示すＲ信号、Ｂ信号、Ｇ信号の各１水平ライン分の一部を縦に並べた図が図３（ｅ）である。この図３（ｅ）から分かるように、図３（ａ）において信号レベルが“２０”から“２００”に変化する位置を中心に、生成されたＲ信号、Ｇ信号、Ｂ信号の間、特にＲ信号とＢ信号の間に、図３（ａ）では存在していなかった大きなレベル差（Ｒ信号レベル“２０”とＢ信号レベル“１１０”、またはＲ信号レベル“１１０”とＢ信号レベル“２００”）が生じており、このレベル差が色偽信号の原因となる。
【００１０】
このような色偽信号の発生を抑えるために、単板式カラービデオカメラの色分離処理回路において、水平補間回路および水平補間回路により注目画素の周囲の複数の画素の信号の水平方向および垂直方向の相関を利用して２つの補間信号を作成し、さらに相関値検出回路で水平方向および垂直方向の相関性を検出して、その相関値に基づき決定された加算比率で２つの補間信号を加算して注目画素の信号を生成する方式が提案されている（特開平７−２３６１４７号公報）。
【００１１】
しかし、この色偽信号抑圧機能を持たせた従来の色分離処理回路では、色分離処理に通常必要な水平および垂直補間回路の他に、水平および垂直方向の相関値検出回路を必要とし、相関値検出回路は相関演算に乗算器を必要とするため、回路規模が非常に大きくなってしまう。
【００１２】
【発明が解決しようとする課題】
上述したように、従来の単板式カラー固体撮像装置では、色偽信号が発生するという問題があり、また従来の色偽信号を抑圧する機能を持たせたものでは、水平および垂直補間回路の他に、水平および垂直方向の相関値検出回路を必要とするために、色分離処理回路の回路規模が大きくなってしまい、装置の低価格化の妨げとなっていた。
【００１３】
本発明は、上記のような問題点を解決するためになされたものであり、回路規模の増大を伴わずに色偽信号を効果的に抑圧できるカラー固体撮像装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係るカラー固体撮像装置は、原色ベイヤ配列に従って各画素に赤、青および緑の色フィルタを選択的に配置した赤画素、青画素および緑画素を有する固体撮像素子と、この固体撮像素子の各画素の画像信号から画素毎に赤信号、青信号および緑信号を生成する色信号生成手段とを具備し、色信号生成手段は、
（ａ）各画素について当該画素から得られる赤信号、または当該画素の周囲の赤画素から得られる赤信号の平均値に、少なくとも当該画素の周囲の緑画素から得られる緑信号の高周波成分を加算して広帯域赤信号を生成する赤信号生成手段と、
（ｂ）各画素について当該画素から得られる青信号、または当該画素の周囲の青画素から得られる青信号の平均値に、少なくとも当該画素の周囲の緑画素から得られる緑信号の高周波成分を加算して広帯域青信号を生成する青信号生成手段と、
（ｃ）各画素について少なくとも当該画素の周囲の緑画素から得られる緑信号の平均値を求めて狭帯域緑信号を生成する緑信号生成手段と、
（ｄ）広帯域赤信号および広帯域青信号を入力し、狭帯域緑信号と同一帯域の狭帯域赤信号および狭帯域青信号をそれぞれ生成する第１および第２の低域通過フィルタとを有する。
【００１５】
原色ベイヤ配列とは、画素が水平方向２画素×垂直方向２画素を基本ブロックとして周期的に配置され、この基本ブロックにおいて２つの緑画素が一方の対角上に配置され、赤画素と青画素が残りの対角上に配置された色フィルタ配列である。
【００１６】
また、上述した（ａ）（ｂ）（ｃ）の処理において、広帯域赤信号、広帯域青信号、狭帯域緑信号は、それぞれ注目画素を中心とした水平方向３画素×垂直方向３画素から得られる信号を用いて生成される。
【００１７】
上述した（ａ）（ｂ）（ｃ）の処理を行う色分離処理部からは、緑（Ｇ）信号は従来技術と同様に狭帯域信号（ＧＬ信号）として得られるが、赤（Ｒ）信号および青（Ｂ）信号はＧ信号の高周波成分が加算された広帯域信号（ＲＨ信号、ＢＨ信号）としてそれぞれ得られる。そして、ＲＨ信号、ＢＨ信号はさらに（ｄ）の低域通過フィルタにより帯域制限が与えられ、ＧＬ信号と同じ帯域の狭帯域信号（ＲＬ信号、ＢＬ信号）となる。
【００１８】
このような色分離処理と低域通過フィルタとによる色信号生成処理によって生成されるＲＬ信号、ＢＬ信号、ＧＬ信号は、帯域が揃えられ、さらにＲＬ信号、ＢＬ信号はＧＬ信号とほぼ同位相で信号レベルが変化するように位相が補正されるため、色偽信号の発生が抑えられる。
【００１９】
また、色分離処理部は加減算と２のべき乗の乗算の組み合わせでよく、２のべき乗の乗算はビットシフト処理で実現できるため、回路規模が小さくなり、低価格化が可能となる。また、この色分離処理をソフトウェア処理やファームウェア処理で実現する場合には、処理時間が短くて済む。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１に、本発明の一実施形態に係るカラー固体撮像装置の構成を示す。固体撮像素子１０は、マトリクス状に配列された各画素に色フィルタが原色ベイヤ配列で配置されている。原色ベイヤ配列は、図２（ａ）に示したように例えば奇数ラインにＧフィルタ、Ｒフィルタが２画素周期で繰り返し配置され、偶数ラインにＢフィルタ、Ｇフィルタが２画素周期に繰り返し配置された２×２画素を１ユニットとする繰り返し構造の色フィルタ配列である。固体撮像素子１０の各画素のうち、Ｒフィルタが配置された画素をＲ画素、Ｇフィルタが配置された画素をＧ画素、Ｂフィルタが配置された画素をＢ画素という。
【００２１】
また、固体撮像素子１０はこれに限られるものではないが、例えば画素を構成するマトリクス状に配列されたフォトダイオード上に色フィルタを設け、フォトダイオードの各列の間に設けられた垂直転送ＣＣＤによりフォトダイオードの蓄積電荷を一ライン分ずつ転送した後、水平転送ＣＣＤによって電気信号（画像信号）として取り出すインターライン転送方式の２次元ＣＣＤイメージセンサにより構成される。
【００２２】
固体撮像素子１０から出力された画像信号は、アナログ信号処理部１１に入力され、ここで映像信号の生成やノイズリダクション等の処理が行われる。アナログ信号処理部１１から出力される画像信号は、Ａ／Ｄ変換器１２でディジタル信号に変換された後、乗算器１３でホワイトバランス補正を受け、さらにガンマ補正回路１４によってガンマ補正が施される。
【００２３】
ガンマ補正回路１４から出力されるディジタル画像信号は、２個の１Ｈ遅延回路１５と６個の１画素遅延回路１６により３ライン×３列の画素信号にブロック化され、色分離処理部１７に入力される。１Ｈ遅延回路１５は、ディジタル画像信号の１Ｈ（１水平期間）分を記録できるメモリや遅延線を用いて構成され、１Ｈ分の時間遅延された出力信号を得るものである。１画素遅延回路１６は、１画素分が伝送されるに要する時間と等しい遅延時間を備えた遅延回路である。
【００２４】
すなわち、ディジタル化された画像信号と、１段の１Ｈ遅延回路１５を通った画像信号と、２段の１Ｈ遅延回路１５を通った画像信号とからなる３ラインの画像信号が生成され、さらに各ライン毎に２段の１画素遅延回路１６が設けられることにより、同時に３ライン×３列の信号が色分離処理部１７に入力されることになる。
【００２５】
色分離処理部１７では、Ｒ，Ｇ，Ｂの色分離処理が行われ、全画素についてＲ信号、Ｇ信号、Ｂ信号の生成が行われる。後に詳しく説明するが、色分離処理部１７から出力されるＲ信号は広帯域信号（ＲＨ信号）、Ｂ信号は広帯域信号（ＢＨ信号）、Ｇ信号は狭帯域信号（ＧＬ信号）である。そして、ＧＬ信号はそのまま取り出され、ＲＨ信号およびＢＨ信号はそれぞれ低域通過フィルタ１８を通過して、ＧＬ信号と同一帯域の狭帯域信号（ＲＬ信号、ＢＬ信号）として取り出される。色分離処理部１７での処理の詳細については、後述する。
【００２６】
こうして色分離処理回路１７と低域通過フィルタ１８からなる色信号生成回路で生成されたＲＬ信号、ＧＬ信号およびＢＬ信号は、マスキング補正部１９に入力され、固体撮像素子１０上で起こる隣接画素からの信号の漏れ込みを除去するためのマスキング補正が行われた後、色処理部２０に入力される。色処理部２０では、ＲＬ信号、ＧＬ信号、ＢＬ信号から低域輝度信号（ＹＬ）、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）への変換が行われる。
【００２７】
自動ホワイトバランス処理部（ＡＷＢ）２１は、色処理部２０から得られた色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を基にホワイトバランス処理に用いる係数を求め、これを乗算器１３によってＡ／Ｄ変換後のディジタル信号にフィードバックし、自動的にホワイトバランス処理を行う。例えば、ある被写体を撮影したときＡ／Ｄ変換器１２から出力されたディジタル画像信号のＲＧＢ信号比がＲ：Ｇ：Ｂ＝２：２：１のとき、被写体の白色領域を自動ホワイトバランス処理部２１によって検出し、ＲＧＢ信号比がＲ：Ｇ：Ｂ＝１：１：１になるような補正係数を生成してフィードバックを行う。これにより、ガンマ補正回路１４に入力される画像信号のＲＧＢ信号比は、ホワイトバランスがとれたものとなる。
【００２８】
Ｕ／Ｖ変換部２２では、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）をＵ信号、Ｖ信号に変換して出力する。一方、輪郭抽出部２３では、３ラインのＲ信号、Ｇ信号、Ｂ信号から高域輝度信号（ＹＨ）を作成し、さらに水平輪郭信号（ＨＤＴＬ）と垂直輪郭信号（ＶＤＴＬ）を生成する。そして、水平輪郭信号（ＨＤＴＬ）と垂直輪郭信号（ＶＤＴＬ）を第１の加算器２４で加算して得られた輪郭補正信号（ＤＴＬ）を第２の加算器２５で低域輝度信号（ＹＬ）と加算することにより、輝度信号（Ｙ）を生成して出力する。
【００２９】
次に、本発明の特徴部分である色分離処理部１７での処理について詳しく説明する。
色分離処理部１７に入力されるディジタル画像信号の３×３画素の配列には、図５（ａ）（ｂ）（ｃ）（ｄ）に示す配列Ａ、配列Ｂ、配列Ｃ、配列Ｄの４通りが存在する。３×３画素の各々の画素位置を表すために、図６に示すように水平方向位置をｘ、垂直方向位置をｙとする２次元座標表現を用いる。ここで、３×３画素の中央の座標(x,y) の画素を注目画素とし、この注目画素の色信号を求めることを考える。
【００３０】
色分離処理部１７に入力されるディジタル画像信号の３×３画素の４通りの配列（配列Ａ、配列Ｂ、配列Ｃ、配列Ｄ）に対応する注目画素の色信号（Ｒ信号、Ｇ信号、Ｂ信号）の生成式を以下に示す。この色信号生成式では、各画素から出力される画像信号の色の要素の頭文字（Ｒ，Ｇ，Ｂ）とｘ，ｙ座標によって各画素の位置を表している。ＲＨ(x,y) は注目画素の水平方向広帯域Ｒ信号、ＢＨ(x,y) は注目画素の水平方向広帯域Ｂ信号、ＧＬ(x,y) は注目画素の水平方向狭帯域Ｇ信号をそれぞれ表す。
【００３１】
＜配列Ａに対応する色信号生成式＞
以下、これらの色信号生成式（１）〜（１２）を用いて、色分離処理部１７に入力されるディジタル画像信号の３×３画素の配列が配列Ａ、配列Ｂ、配列Ｃ、配列Ｄの場合の色信号生成処理について説明する。
【００３２】
（配列Ａの場合）
配列Ａでは、注目画素（座標位置(x,y))がＧ画素であるため、注目画素のＧ信号は直接得られるが、注目画素のＲ信号、Ｂ信号は直接には得られない。
そこで、注目画素のＲ信号（広帯域Ｒ信号）ＲＨ(x,y) については、式（１）に示すように、注目画素に上下で隣接するＲ画素から得られるＲ信号（Ｒ(x,y-1),Ｒ(x,y+1))の平均値（補間信号）を求める。次に、この補間信号に注目画素から得られるＧ信号（Ｇ(x,y))とその周囲のＧ画素から得られるＧ信号（Ｇ(x-1,y-1),Ｇ(x-1,y+1),Ｇ(x+1,y-1),Ｇ(x+1,y+1))とから得られるＧ信号の高周波成分を加算することで、ＲＨ(x,y) を生成する。
【００３３】
ここで、注目画素とその周囲のＧ画素から得られるＧ信号の高周波成分は、広帯域Ｇ信号である注目画素から得られるＧ信号（Ｇ(x,y))から、狭帯域Ｇ信号である周囲のＧ画素から得られるＧ信号（Ｇ(x-1,y-1),Ｇ(x-1,y+1),Ｇ(x+1,y-1),Ｇ(x+1,y+1))の平均値を差し引くことで得られる。
【００３４】
注目画素のＢ信号（広帯域Ｂ信号）ＢＨ(x,y) についても同様に、式（２）に示すように、注目画素に左右で隣接するＢ画素から得られるＢ信号（Ｂ(x-1,y),Ｂ(x+1,y))の平均値（補間信号）を求め、この補間信号に注目画素とその周囲のＧ画素から得られるＧ信号の高周波成分を加算することで生成する。
【００３５】
注目画素のＧ信号（狭帯域Ｇ信号）ＧＬ(x,y) については、式（３）に示すように、注目画素のから得られるＧ信号（Ｇ(x,y))を４倍にした値と、注目画素の上下左右に隣接する４つのＧ画素から得られるＧ信号（Ｇ(x-1,y-1),Ｇ(x-1,y+1),Ｇ(x+1,y-1),Ｇ(x+1,y+1))を加算した値の平均値として求められる。
【００３６】
（配列Ｂの場合）
配列Ｂでは、注目画素（座標位置(x,y))はＢ画素であるため、注目画素のＢ信号は直接得られるが、注目画素のＲ信号、Ｇ信号は直接には得られない。
そこで、注目画素のＲ信号（広帯域Ｒ信号）ＲＨ(x,y) については、式（４）に示すように、注目画素に上下左右で隣接するＲ画素から得られるＲ信号（Ｒ(x,y-1),Ｒ(x,y+1),Ｒ(x-1,y+1),Ｒ(x+1,y+1))の平均値（補間信号）を求め、この補間信号に注目画素の周囲のＧ画素から得られるＧ信号（Ｇ(x,y-1),Ｇ(x,y+1),Ｇ(x-1,y),Ｇ(x+1,y))の高周波成分を加算することで生成する。
【００３７】
ここで、式（４）の例では、加算するＧ信号の高周波成分は、注目画素に上下で隣接する２つのＧ画素から得られるＧ信号の平均値（Ｇ(x,y-1) ＋（Ｇ(x,y+1))／２から注目画素に左右に隣接する２つのＧ画素から得られるＧ信号の平均値（Ｇ(x-1,y) ＋Ｇ(x+1,y))／２を差し引いて得られるため、水平方向の高周波成分となる。
【００３８】
注目画素のＢ信号（広帯域Ｂ信号）ＢＨ(x,y) については、注目画素がＢ画素であるため、式（５）に示すように、Ｂ画素から得られるＢ信号に注目画素の周囲のＧ画素から得られるＧ信号（Ｇ(x,y-1),Ｇ(x,y+1),Ｇ(x-1,y),Ｇ(x+1,y))の高周波成分を加算することで生成する。
【００３９】
この場合の加算するＧ信号の高周波成分も、注目画素に上下で隣接する２つのＧ画素から得られるＧ信号の平均値（Ｇ(x,y-1) ＋（Ｇ(x,y+1))／２から、注目画素に左右で隣接する２つのＧ画素から得られるＧ信号の平均値（Ｇ(x-1,y) ＋Ｇ(x+1,y))／２を差し引いて得られるため、水平方向の高周波成分となる。
【００４０】
注目画素のＧ信号（狭帯域Ｇ信号）ＧＬ(x,y) については、式（６）に示すように、注目画素の周囲の４つのＧ画素から得られるＧ信号（Ｇ(x,y-1),Ｇ(x,y+1),Ｇ(x-1,y),Ｇ(x+1,y))の平均値として求められる。
【００４１】
（配列Ｃの場合）
配列Ｃは、配列ＢにおけるＲ画素とＢ画素の位置が入れ替わった形となっている。従って、注目画素のＲ信号（水平方向広帯域Ｒ信号）ＲＨ(x,y) 、Ｂ信号（水平方向広帯域Ｂ信号）ＢＨ(x,y) の生成式は、それぞれ式（７）（８）に示すように、配列Ｂにおける式（４）（５）のＲＨ(x,y) ，ＢＨ(x,y) の生成式においてＲとＢを入れ替えた形とすればよい。注目画素のＧ信号（狭帯域Ｇ信号）ＧＬ(x,y) の生成式は、（９）式に示すように、配列Ｂにおける式（６）に示したＧＬ(x,y) の生成式と同じにすればよい。
【００４２】
（配列Ｄの場合）
配列Ｄの処理は、配列ＡにおけるＲ画素とＢ画素の位置が入れ替わった形となっている。従って、注目画素のＲ信号（水平方向広帯域Ｒ信号）ＲＨ(x,y) 、Ｂ信号（広帯域Ｂ信号）ＢＨ(x,y) の生成式は、それぞれ式（１０）（１１）に示すように、配列Ａにおける式（１）（２）のＲＨ(x,y) ，ＢＨ(x,y) の生成式においてＲとＢを入れ替えた形とすればよい。注目画素のＧ信号（狭帯域Ｇ信号）ＧＬ(x,y) の生成式については、（１２）式に示すように、配列Ａにおける式（３）に示したＧＬ(x,y) の生成式と同じにすればよい。
【００４３】
このようにして色分離処理部１７により、各全画素について広帯域Ｒ信号（ＲＨ信号）、狭帯域Ｇ信号（ＧＬ信号）および広帯域Ｂ信号（ＢＨ信号）が生成される。また、前述したようにＲＨ信号、ＢＨ信号の値が負の場合は、ＲＨ信号、ＢＨ信号を零で置き換える。さらに、色分離処理部１７に入力されるディジタル画像信号をＮビット精度とすれば、ＲＨ信号、ＢＨ信号の値が（２N ）以上になった場合は、ＲＨ信号、ＢＨ信号の値を（２N −１）で置き換える。具体的に、例えばＮ＝８の場合、ＲＨ信号、ＢＨ信号の値が“２５６”以上になるときは、“２５５”で置き換える。
【００４４】
ここで、色分離処理部１７から得られたＧＬ信号は、前述したように注目画素の周囲のＧ画素から得られるＧ信号を平均化した信号であるため、水平方向に帯域制限がかけられた形、つまり低域通過フィルタ特性が与えられた形となっている。そこで、ＲＨ信号、ＢＨ信号を低域通過フィルタ１８にそれぞれ入力し、ＧＬ信号に帯域制限で与えられた低域通過フィルタ特性と同じ低域通過フィルタ特性をＲＨ信号、ＢＨ信号に与えて帯域制限を行うことにより、Ｒ信号およびＢ信号の帯域をＧＬ信号と同じ帯域に揃え、ＲＬ信号、ＢＬ信号とする。低域通過フィルタ１８の伝達関数は、次式で与えられる。
Ｈ（ｚ）＝１／４（Ｚ-1＋２Ｚ0 ＋Ｚ+1）
以上のようにして生成されたＲＬ信号、ＧＬ信号、ＢＬ信号は、水平方向に帯域が揃っており、しかも水平方向のサンプリング位置が１画素おきであるＲＬ信号、ＢＬ信号に対して、ＧＬ信号とほぼ同位相で信号レベルが変化するように位相補正が行われるため、色偽信号が抑圧される。
【００４５】
言い換えれば、本発明では原色ベイヤ配列においてＧ画素がＲ画素およびＢ画素を取り囲む形で存在することを利用して、Ｒ画素、Ｂ画素から直接得られるＲ信号、Ｂ信号、あるいは、その周囲のＲ画素、Ｂ画素から得られるＲ信号、Ｂ信号の平均値として求められる狭帯域のＲ信号、Ｂ信号に、周囲のＧ画素から得られるＧ信号の高周波成分を加算した後、ＧＬ信号と同様に帯域制限を加えてＲＬ信号、ＢＬ信号としている。
【００４６】
このようにすると、色分離処理前の画像信号の段階で急激に信号レベルが変化するような位置でも、ＲＬ信号、ＢＬ信号の信号レベルは、ＧＬ信号と同様の変化を示す。これにより、隣接する画素位置間の信号レベル差が色毎に大きく異なることがなくなるため、色偽信号が抑圧されることになる。
【００４７】
次に、図７を用いて本実施形態による色偽信号の抑圧効果を具体的に数値例を挙げて説明する。
色信号分離処理部１７に入力されるディジタル画像信号の各画素の信号レベルは、図３（ａ）に示した通りであり、Ａ／Ｄ変換器１２の変換精度は先と同じく８ビット精度であるとする。この場合、色分離処理部１７では図７（ａ）に示すＲＨ信号、図７（ｂ）に示すＢＨ信号、および図７（ｃ）に示すＧＬ信号が生成される。ＲＨ信号、ＢＨ信号を低域通過フィルタ１８にそれぞれ通した後のＲＬ信号、ＢＬ信号は、図７（ｄ）（ｅ）となる。
【００４８】
図７（ｆ）は、図７（ｄ）に示すＲＬ信号、図７（ｅ）に示すＢＬ信号、および図７（ｃ）に示すＧＬ信号の１水平ライン分の一部を縦に並べた図である。この図７（ｆ）から分かるように、図３（ａ）の信号レベルが“２０”から“２００”に変化する位置を中心にしたＲ信号、Ｇ信号、Ｂ信号のばらつきが従来の同色だけで補間を行った図３（ｅ）の場合と比べて、大きく軽減されている。
【００４９】
また、式（１）〜（１２）に示した色分離処理部１７でのＲ信号、Ｇ信号、Ｂ信号の生成式は、加減算と１／２、１／４、１／８といった２のべき乗の乗算の組み合わせとなっている。２のべき乗の乗算は、ディジタル信号のビットシフト処理により実現できるので、色分離処理１７をハードウェア化したときの回路規模を小さくできる。同じ理由により、この色信号生成処理をソフトウェアやファームウェアで行うときは、処理時間を短縮できるという利点がある。
【００５０】
ところで、上述した色信号生成処理では、特に式（４）（５）（７）（８）に示したように、注目画素のＲ信号、Ｂ信号またはその補間信号に、周囲のＧ画素から得られるＧ信号の水平方向の高周波成分を加算しているため、特に水平方向に関して色偽信号抑圧効果が得られる。一般に、人間の目の視感度は水平方向に高く、色偽信号も水平方向の方が目につきやすいため、このように水平方向の色偽信号を抑圧する方が効果的である。
【００５１】
ただし、絵柄によっては垂直方向の色偽信号が発生する場合もあり、このような場合は、式（１）〜（１２）中、式（４）（５）（７）（８）に代えて、これらを変形した式（４′）（５′）（７′）（８′）を用い、注目画素のＲ信号、Ｂ信号またはその補間信号に、周囲のＧ画素から得られるＧ信号の垂直方向の高周波成分を加算することにより、垂直方向に関して色偽信号抑圧効果を得るようにすることができる。
【００５２】
【００５３】
また、このように色偽信号の抑圧効果を水平方向または垂直方向にいずれか一方向に限定すると、色分離処理部１７と低域通過フィルタ１８を含めた色信号生成処理回路全体の回路規模をより効果的に縮小できる。
【００５４】
また、さらに別の実施形態として、回路規模は若干増えるが、式（４）（５）（７）（８）と、式（４′）（５′）（７′）（８′）の生成式を切り替えて、あるいは併用して使用することによって、水平、垂直両方向について色偽信号抑圧効果を得るようにすることも可能である。
【００５５】
【発明の効果】
以上述べたように、本発明によれば単板式のビデオカメラやディジタルカメラで問題となる色偽信号を効果的に低減でき、画質が改善される。また、色信号生成のための色分離処理回路をディジタル信号の加減算、ビットシフト処理の組み合わせで構成できるため、従来の色偽信号を低減させた色分離処理回路に比較して回路規模を小さくできる。従って、集積回路のチップサイズを小さくして低コスト化が可能となる。さらに、ソフトウェアやファームウェアで色分離処理を実現する場合でも、処理時間を短くすることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るカラー固体撮像装置の構成を示すブロック図
【図２】本実施形態における固体撮像素子の色フィルタ配列である原色ベイヤ配列を示す図
【図３】従来技術における色偽信号の発生メカニズムを説明するための図
【図４】従来技術における色分離処理の色信号生成式と色フィルタ配列の対応関係を示す図
【図５】同実施形態における色分離処理部に入力される画像信号の色フィルタ配列の種類を示す図
【図６】色フィルタ配列と各画素位置の座標との対応関係を示す図
【図７】同実施形態における色分離処理部での色偽信号抑圧効果を説明するための図
【符号の説明】
１０…固体撮像素子
１１…アナログ信号処理部
１２…Ａ／Ｄ変換器
１３…自動ホワイトバランス処理用乗算器
１４…ガンマ補正回路
１５…１Ｈ遅延回路
１６…１画素遅延回路
１７…色分離処理部
１８…低域通過フィルタ
１９…マスキング補正部
２０…色処理部
２１…自動ホワイトバランス処理部
２２…Ｕ／Ｖ変換部
２３…輪郭抽出回路
Claims (2)
- 原色ベイヤ配列に従って各画素に赤、青および緑の色フィルタを選択的に配置した赤画素、青画素および緑画素を有する固体撮像素子と、
前記固体撮像素子の各画素の画像信号から画素毎に赤信号、青信号および緑信号を生成する色信号生成手段とを具備し、
前記色信号生成手段は、
各画素について当該画素から得られる赤信号、または当該画素の周囲の赤画素から得られる赤信号の平均値に、少なくとも当該画素の周囲の緑画素から得られる緑信号の高周波成分を加算して広帯域赤信号を生成する赤信号生成手段と、
各画素について当該画素から得られる青信号、または当該画素の周囲の青画素から得られる青信号の平均値に、少なくとも当該画素の周囲の緑画素から得られる緑信号の高周波成分を加算して広帯域青信号を生成する青信号生成手段と、
各画素について少なくとも当該画素の周囲の緑画素から得られる緑信号の平均値を求めて狭帯域緑信号を生成する緑信号生成手段と、
前記広帯域赤信号および広帯域青信号を入力し、前記狭帯域緑信号と同一帯域の狭帯域赤信号および狭帯域青信号をそれぞれ生成する第１および第２の低域通過フィルタとを有することを特徴とするカラー固体撮像装置。 - 前記赤信号生成手段、青信号生成手段および緑信号生成手段は、加減算処理とビットシフト処理により前記広帯域赤信号、広帯域青信号および狭帯域緑信号をそれぞれ生成することを特徴とする請求項１記載のカラー固体撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21740698A JP3660504B2 (ja) | 1998-07-31 | 1998-07-31 | カラー固体撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21740698A JP3660504B2 (ja) | 1998-07-31 | 1998-07-31 | カラー固体撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000050290A JP2000050290A (ja) | 2000-02-18 |
| JP3660504B2 true JP3660504B2 (ja) | 2005-06-15 |
Family
ID=16703705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21740698A Expired - Fee Related JP3660504B2 (ja) | 1998-07-31 | 1998-07-31 | カラー固体撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3660504B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003283873A (ja) | 2002-03-20 | 2003-10-03 | Sanyo Electric Co Ltd | 輪郭強調回路 |
| JP4717371B2 (ja) * | 2004-05-13 | 2011-07-06 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
| JP4810807B2 (ja) * | 2004-07-30 | 2011-11-09 | ソニー株式会社 | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
| JP5787856B2 (ja) | 2012-09-24 | 2015-09-30 | 株式会社東芝 | 固体撮像装置 |
-
1998
- 1998-07-31 JP JP21740698A patent/JP3660504B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000050290A (ja) | 2000-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2816095B2 (ja) | ビデオカメラの信号処理回路 | |
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| JP4161295B2 (ja) | 画像センサのダイナミックレンジを拡大するカラー画像撮像システム | |
| TWI458333B (zh) | 用於使用雜訊模型減少影像雜訊之方法及裝置 | |
| KR100780932B1 (ko) | 컬러 보간 방법 및 장치 | |
| JP4960309B2 (ja) | 固体撮像装置 | |
| JP2000023174A (ja) | 画像処理装置及び画像処理方法 | |
| JP5414691B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2005012479A (ja) | データ処理装置、画像処理装置、カメラおよびデータ処理方法 | |
| JP5268321B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
| JP3660504B2 (ja) | カラー固体撮像装置 | |
| JP3633561B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP4135197B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP4178919B2 (ja) | ノイズ除去方法、撮像装置およびノイズ除去プログラム | |
| JP4178571B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP2001186534A (ja) | 固体撮像装置 | |
| JP6705054B2 (ja) | 撮像装置 | |
| KR100960176B1 (ko) | 화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체 | |
| JP3617455B2 (ja) | 画像処理装置、画像処理方法および記録媒体 | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
| JP3733182B2 (ja) | 撮像装置および縦縞除去方法 | |
| JP5269016B2 (ja) | 画像処理装置 | |
| JP3974988B2 (ja) | 画像復元装置 | |
| JP3663105B2 (ja) | ディジタルカメラ | |
| JP4269369B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050317 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080325 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090325 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100325 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100325 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110325 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120325 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130325 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130325 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140325 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |