JP3649841B2

JP3649841B2 - 単板式カラーカメラ

Info

Publication number: JP3649841B2
Application number: JP03620397A
Authority: JP
Inventors: 秀史岡田
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1997-02-20
Filing date: 1997-02-20
Publication date: 2005-05-18
Anticipated expiration: 2017-02-20
Also published as: KR100468169B1; CN1192632A; US6133953A; EP0861005A3; KR19980071454A; EP0861005A2; JPH10234047A; CN1171465C

Description

【０００１】
【発明の属する技術分野】
この発明は、カラーカメラに関し、特に、色差順次方式によりアレイ状に配列された色フィルタに対応して、アレイ状に配置される光電変換素子を含む固体撮像デバイスからの信号を処理する色分離回路を有する単板式カラーカメラに関する。
【０００２】
【従来の技術】
カラーカメラにおいて、現在撮像デバイスとして広く用いられているＣＣＤ（Charge Coupled Device ）は、受けた光の明暗に応じて出力する信号の振幅を変化させるだけで、その出力信号にはカラー情報が含まれない。したがって、カラー情報を得るためには光学的な手段を用いて、ＣＣＤに入射する光にフィルタをかける等の工夫が必要となる。
【０００３】
家庭用のカラーカメラにおいては、単一のＣＣＤから三原色信号を取出す、いわゆる単板式方式が採用され、このＣＣＤの受光面側に色フィルタアレイを用いた、いわゆる同時式のカラー撮像方式が採用されている。
【０００４】
［インターライン転送ＣＣＤの構成］
図１０は、家庭用カラーカメラにおけるＣＣＤの構成として、一般に用いられているインターライン転送ＣＣＤ１０の構成を示す概略ブロック図である。
【０００５】
インターライン転送ＣＣＤ１０は、アレイ状に配置されたｐｎ接合型フォトダイオードからなる感光部１２と、ＣＣＤにより構成されるアナログシフトレジスタを含む転送部１４と、転送部１４により転送された電荷を受けて、順次転送された信号電荷を電圧に変換した信号を水平方向に転送して出力する水平転送レジスタ１６とを含む。
【０００６】
図１０においては、簡単のためｐｎ接合型フォトダイオードは、垂直水平とも３画素が配置された構成としている。実際に、カラーカメラに使用されるＣＣＤでは、たとえば、垂直方向に５００画素、水平方向には５００〜８００画素に対応するフォトダイオードがアレイ状に配置されている。
【０００７】
次に、その動作について簡単に説明する。
フォトダイオードに光が入射すると電荷が発生し、ダイオード内に蓄積されていく。次に、シフトゲートに所定の電圧を印加することにより、蓄積された電荷は一斉にアナログシフトレジスタ１４に転送される。ＣＣＤアナログシフトレジスタ１４は、クロックパルス電圧φ_V1，φ_V2，φ_V3が印加されることにより、電荷を順次水平転送レジスタ１６に向かって転送していく。水平転送レジスタ１６では、送られてきた信号電荷を電圧に変換した後、外部から与えられる水平駆動信号φ_H1，φ_H2，φ_H3に駆動されて、順次撮像信号出力として外部に出力する。
【０００８】
［インターライン転送ＣＣＤの駆動方式］
インターライン転送ＣＣＤの駆動方法としては、一般にフレーム蓄積方式とフィールド蓄積方式の２つのモードが存在する。カラーカメラにおいては、色差順次方式の色フィルタアレイに対応しても、全画素読み出し動作を前提としたフレーム蓄積方式が用いられる場合がある。
【０００９】
以下では、インターライン転送ＣＣＤは、１画素ごとに読み出すことが可能なフレーム蓄積モードで動作している場合について考えることにする。
【００１０】
［色差信号の分離方式］
図１１は、色差順次方式で配列されている色フィルタアレイの構成を示す模式図である。
【００１１】
図１１に示すように、色差順次方式の色フィルタにおいては、色フィルタとしてマゼンダ（以下、Ｍｇで表わす），緑色（以下、Ｇで表わす），シアン（以下、Ｃｙで表わす），黄色（以下、Ｙｅで表わす）の色フィルタがモザイク状に配置されている。
【００１２】
ここで、光の色の混合においては、いわゆる加色法が成り立つので、三原色である赤（Ｒ），緑（Ｇ），青（Ｂ）に対して、補色関係にあるＭｇ，Ｙｅ，Ｃｙとの間には以下の関係が成り立つ。
【００１３】
Ｍｇ＝Ｒ＋Ｂ …（１）
Ｙｅ＝Ｒ＋Ｇ …（２）
Ｃｙ＝Ｂ＋Ｇ …（３）
したがって、色フィルタの色として、上記のＭｇ，Ｇ，Ｙｅ，Ｃｙを用いることで、三原色のＲ，Ｇ，Ｂのうち輝度信号に対して大きな比重を有するＧ信号の強度をＲ信号およびＢ信号よりも大きくとることが可能となる。
【００１４】
図１１に示した例においては、色差順次方式の色フィルタアレイのうち、４行４列のアレイ部分を抜き出して示している。奇数番目の行（ｘ＝１、３）においてはＧの色フィルタとＭｇの色フィルタが水平方向（ｙ方向）に交互に配置されている。
【００１５】
一方、偶数番目の行（ｘ＝０、２）においてはＹｅの色フィルタとＣｙの色フィルタとが水平方向に交互に配置される構成となっている。
【００１６】
図１２は、図１１に示した４行４列の色フィルタの配列が、水平方向に１画素分だけずれた場合の色フィルタの配列を示す。
【００１７】
たとえば、光電変換素子からの出力をｙ方向に順次読み出す場合、ある時点でＣＣＤから読み出された４行４列分の光電変換素子からの出力は、図１１に示す色フィルタアレイからの出力に対応する場合と、図１２に示す色フィルタアレイからの出力に対応する場合とが交互に繰り返されることになる。図１１に示すような色差順次方式の色フィルタの配列では、任意の４行４列の色フィルタの配列は図１１または図１２に示した場合のほか、図１１または図１２の配置をそれぞれｘ方向に１画素分ずらせた場合とを合わせた４通りの配列のいづれかとなる。
【００１８】
図１３は、従来の色分離方式を説明するための概念図である。図１３では、図１１に示した４行４列の配列のうち２行２列を抜き出して示す。従来の色分離方式においては、ＣＣＤから全画素読み出しにより得られた信号のうち、このような２行２列の画素に対応する信号から、２行２列の画素の中央位置についての輝度信号Ｙ、第１の色差信号Ｃｂ、第２の色差信号Ｃｒを生成する。
【００１９】
ここで、輝度信号Ｙ、第１の色差信号Ｃｂ、第２の色差信号Ｃｒは、三原色に対応する信号強度をそれぞれＲ、Ｇ、Ｂとするとき、以下の式で表現される信号である。
【００２０】

したがって、図１３に示した２行２列の光電変換素子からの信号さえ得られれば、原理的に輝度信号Ｙ、第１の色差信号Ｃｂ、第２の色差信号Ｃｒを得ることができ、これにもとづいて以下に示すような演算により３原色信号を分離することも可能である。
【００２１】
Ｇ＝（２Ｙ−２Ｃｒ−２Ｃｂ）／１０ …（７）
Ｒ＝（Ｙ＋４Ｃｒ−Ｃｂ）／１０ …（８）
Ｂ＝（Ｙ−Ｃｒ＋４Ｃｂ）／１０ …（９）
【００２２】
【発明が解決しようとする課題】
しかしながら、上述したような色分離方式では以下に説明するような問題点が存在する。
【００２３】
図１４は、図１３に示すような従来の色分離方式をデジタルフィルタにより実現した場合の出力信号Ｙｅ＋Ｇ，Ｃｙ＋Ｍｇ，Ｇ＋Ｃｙ，Ｙｅ＋Ｍｇの水平方向の周波数特性を示す図である。
【００２４】
図１３において、ＣＣＤからの信号の読み出しが、ｙ方向に順次行われるとすると、信号Ｙｅ＋Ｇ，Ｃｙ＋Ｍｇについては同一時点でサンプリングされた信号から生成されるのに対し、信号Ｇ＋Ｃｙ，Ｙｅ＋Ｍｇについては、１サンプリング時間だけ信号をホールドすることが必要となる。
【００２５】
このため、信号Ｙｅ＋Ｇ，Ｃｙ＋Ｍｇの利得は周波数依存性を持たないのに対し、信号Ｇ＋Ｃｙ，Ｙｅ＋Ｍｇはナイキスト周波数に近づくにしたがって、単調に利得が減少するという特性を示す。
【００２６】
このような第１および第２の色差信号Ｃｂ、Ｃｒを生成するもととなる信号の水平方向の周波数特性が異なると、偽色信号が発生し、画質を損なってしまうという問題があった。
【００２７】
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、各色成分信号の帯域をそろえ、偽色信号の発生を抑制して画質を向上させることが可能な単板式カラーカメラを提供することである。
【００２８】
この発明の他の目的は、各色信号成分の帯域をそろえた場合でも、解像度の低下を抑制するすることが可能な単板式カラーカメラを提供することである。
【００２９】
【課題を解決するための手段】
請求項１記載の単板式カラーカメラは、画素に各々対応する光電変換素子が、アレイ状に配列された固体撮像手段を備え、固体撮像手段は、受光面側に、対応する光電変換素子に対して色差順次方式で色フィルタがモザイク状に配列される色フィルタアレイを含み、任意の４行４列の画素に対応して、色フィルタアレイの４行４列の偶数番目の行は、交互に配置される緑色フィルタおよびマゼンダに対応する第１の補色フィルタを有し、４行４列の奇数番目の行は、交互に配置される黄色に対応する第２の補色フィルタおよびシアンに対応する第３の補色フィルタを有し、固体撮像手段の出力を４行ごとに順次受けて、４行４列の画素の中央位置に対応する色データを生成する色分離手段をさらに備え、色分離手段は、緑色ならびに第１ないし第３の補色のそれぞれについて、順次受け取る４行４列の画素に対応する複数の光電変換素子からの出力のうち、対応する色フィルタの配置された光電変換素子からの出力を加重平均して出力する色補間手段と、色補間手段からの出力を受けて、中央位置に対応する色データを分離する第１の演算手段とを含み、４行４列の画素に対応する光電変換素子からの出力をＤ（ｘ、ｙ）（ｘ＝０〜３、ｙ＝０〜３）とし、加重平均処理において、Ｄ（ｘ、ｙ）に対応する重み付け係数をｗ（ｘ、ｙ）とするとき、色補間手段は、第１の重み付け係数として、ｗ（１，２）＝２，ｗ＝（１，０）＝１およびｗ（３，２）＝１とする第１の加重平均処理、第２の重み付け係数として、ｗ（１，１）＝２，ｗ＝（３，１）＝１およびｗ（１，３）＝１とする第２の加重平均処理、第３の重み付け係数として、ｗ（２，２）＝２，ｗ＝（０，２）＝１およびｗ（２，０）＝１とする第３の加重平均処理および第４の重み付け係数として、ｗ（２，１）＝２，ｗ＝（２，３）＝１およびｗ（０，１）＝１とする第４の加重平均処理を、順次受け取る４行４列の画素に対応する色フィルタの配列に応じて、緑色ならびに第１ないし第３の補色に対してそれぞれ実行する。
【００３２】
請求項２記載の単板式カラーカメラは、請求項１記載の単板式カラーカメラの構成において、色分離手段は、４行４列の画素に対応する光電変換素子からの出力のうち、中央位置を囲む２行２列の光電変換素子からの出力を加算することで輝度信号を出力する第２の演算手段を含む。
【００３３】
請求項３記載の単板式カラーカメラは、請求項２記載の単板式カラーカメラの構成において、４行４列の画素に対応する光電変換素子からの出力のうち、Ｄ（０，１）、Ｄ（０，２）、Ｄ（１，１）およびＤ（１，２）の和である第１の信号と、Ｄ（１，０）、Ｄ（１，１）、Ｄ（２，０）およびＤ（２，１）の和である第２の信号と、Ｄ（２，１）、Ｄ（２，２）、Ｄ（３，１）およびＤ（３，２）の和である第３の信号と、Ｄ（１，２）、Ｄ（１，３）、Ｄ（２，２）およびＤ（２，３）の和である第４の信号と、輝度信号とに基づいてアパーチャ信号を出力するアパーチャ信号生成手段と、アパーチャ信号に応じて、アパーチャ補正を行う補正手段とをさらに備える。
【００３４】
【発明の実施の形態】
図１は、本発明の実施の形態の単板式カラーカメラの構成のうち、撮像素子であるＣＣＤ１０に撮像対象の光学像を結ぶ光学系２から色分離回路１００までを含む色信号処理系１０００の構成を示す概略ブロック図である。
【００３５】
色信号処理系１０００は、撮像対象の光を受ける光学系２と、光学系２により結像された光学像を電気信号に変換するＣＣＤ１０と、ＣＣＤ１０に対して全画素独立読出駆動を行なう駆動回路４０と、ＣＣＤ１０の出力信号を受けて、撮像信号から周知の方法でノイズ除去を行う相関２重サンプリング回路（以下、ＣＤＳ回路と呼ぶ）４４と、ＣＤＳ回路４４の出力を増幅するオートゲインコントロール回路（以下、ＡＧＣ回路と呼ぶ）４６と、ＡＧＣ回路４６の出力をデジタル信号に変換するＡ／Ｄ変換回路４８と、Ａ／Ｄ変換回路４８からのＣＣＤ１０の偶数ラインの出力信号と奇数ラインの出力信号を入れ子状に保持するフレームメモリ５０と、駆動回路４０からのＣＣＤ駆動信号を受けて、出力信号が読み出される画素の水平アドレスＨＡ，垂直アドレスＶＡを出力する制御回路４２を含む。
【００３６】
色信号処理系１０００は、さらに、フレームメモリ５０からの第１入力信号を１走査線時間分だけ遅延して第２入力信号を出力する走査線遅延器１８と、第２入力信号を１走査線時間分だけ遅延して第３入力信号を出力する走査線遅延器２０と、第３入力信号を１走査線時間分だけ遅延して第４入力信号を出力する走査線遅延器２２と、第１〜第４入力信号を受けて、輝度信号Ｙ、第１の色差信号Ｃｂ、第２の色差信号Ｃｒを出力する２次元非巡回型デジタルフィルタである色分離回路１００とを含む。
【００３７】
色分離回路１００は、第１〜第４入力信号を並列に順次受けて、４行４列分の画素からのデータ（その時点で信号の読み出されたＣＣＤの色フィルタの配列に対応して、緑色、黄色、シアン、マゼンダの色信号を含む。）を保持する２次元レジスタアレイ３０と、２次元レジスタアレイ３０からの信号を受けて、緑色、黄色、シアン、マゼンダの各色信号ごとに加重平均処理を行うことで、４行４列の画素の中央位置に対応する色信号を補間生成する補間処理回路３４と、補間により生成された色信号から色差信号Ｃｂ、Ｃｒを生成する色差信号生成回路３６と、２次元レジスタアレイ３０からの信号を受けて、輝度信号Ｙを生成する輝度信号生成回路３２と、輝度信号Ｙおよび２次元レジスタアレイ３０からの信号を受けてアパーチャ信号ＡＰを出力するアパーチャ信号生成回路３８とを含む。
【００３８】
ここで、光学系２に含まれる撮像レンズは、通常、絞り、フォーカス、ズーム等の可変機構を備える。
【００３９】
色信号処理系１０００は、さらに、アパーチャ信号に応じてアパーチャ補正（輪郭強調処理）を行うアパーチャ補正回路（図示せず）を含む。
【００４０】
以上の構成において、第１から第４の４種類の入力信号は、４走査線分（４ライン分）の撮像信号に該当し、これらの信号は４ライン１まとめにして色分離回路１００に入力されることになる。
【００４１】
こうして、色分離回路１００と３個の走査線遅延器１８〜２２により、ＦＩＲ（Finite Impulse Response ）フィルタが実現される。
【００４２】
［補間処理および色分離処理］
図２は、本実施の形態における補間処理動作を説明するための模式図である。図２（ａ）は、４行４列の色フィルタアレイの配列の一例を示し、図２（ｂ）は、図２（ａ）のマゼンダ色フィルタの配列の場合の補間処理時の重付け係数の配置を示し、図２（ｃ）は、図２（ａ）の緑色フィルタの配列の場合の補間処理時の重付け係数の配置を示し、図２（ｄ）は、図２（ａ）のシアン色フィルタの配列の場合の補間処理時の重付け係数の配置を示し、図２（ｅ）は、図２（ａ）の黄色フィルタの配列の場合の補間処理時の重付け係数の配置を示す。
【００４３】
すなわち、本実施の形態においては、以下の加重平均による補間処理により、４行４列の画素の中央位置に対応するマゼンダ色信号成分、緑色信号成分、シアン色信号成分および黄色信号成分を生成する。
【００４４】
Ｍｇ＝２×Ｍｇ１１＋Ｍｇ１３＋Ｍｇ３１ …（１０）
Ｇ＝２×Ｇ１２＋Ｇ１０＋Ｇ３２ …（１１）
Ｃｙ＝２×Ｃｙ２１＋Ｃｙ０１＋Ｃｙ２３ …（１２）
Ｙｅ＝２×Ｙｅ２２＋Ｙｅ０２＋Ｙｅ２０ …（１３）
なお、図１１および図１２において説明したとおり、４行４列の画素に対応した色フィルタの配列は４種類あり、図２（ａ）以外の配列の場合は、それに応じて、各色フィルタに対する加重平均の重付け係数の配列も図２（ｂ）〜（ｅ）の中の他の配列にそれぞれ対応することになる。
【００４５】
前述したとおり、本実施の形態では、ＣＣＤ１０は全画素独立読出動作を行なう。すなわち、図２（ａ）に示すように、垂直方向（ｘ方向）０番目の第０ラインについては、水平方向（ｙ方向）に色フィルタＹｅおよびＣｙが交互に配置されることに対応して、ＣＣＤ１０からの読出信号は、このラインに対応する走査線については、ＹｅとＣｙとが交互に出力される信号となる。次の第１ライン（ｘ＝１に相当）については、信号Ｍｇと信号Ｇとが交互に出力される。
【００４６】
図３は、図１に示した構成のうち、このようなＣＣＤ１０からの読み出し信号を受ける走査線遅延回路１８、２０、２２および２次元レジスタアレイ３０の構成をさらに詳しく示すブロック図である。
【００４７】
２次元レジスタアレイ３０は、Ａ／Ｄ変換器１６からの出力信号を保持するフレームメモリ５０からの出力を受け、１クロック分遅延して信号ｄ０１を出力するレジスタ３０２と、信号ｄ０１を受けて１クロック分遅延して信号ｄ０１を出力するレジスタ３０２とを含む。
【００４８】
２次元アレイレジスタ３０は、さらに、走査線遅延器１８からの信号ｄ１０を受けて、１クロック分遅延して信号ｄ１１を出力するレジスタ３０６と、信号ｄ１１を受けて１クロック分遅延して信号ｄ１２を出力するレジスタ３０８と、信号ｄ１２を受けて１クロック分遅延して信号ｄ１３を出力するレジスタ３１０と、走査線遅延器２０からの信号ｄ２０を受けて、１クロック分遅延して信号ｄ２１を出力するレジスタ３１２と、信号ｄ２１を受けて１クロック分遅延して信号ｄ２２を出力するレジスタ３１４と、信号ｄ２２を受けて１クロック分遅延して信号ｄ２３を出力するレジスタ３１６と、走査線遅延器２２からの信号を受けて、１クロック分遅延して信号ｄ３１を出力するレジスタ３１８と、信号ｄ３１を受けて１クロック分遅延して信号ｄ３２を出力するレジスタ３２０とを含む。
【００４９】
すなわち、二次元レジスタアレイ３０により、シリアルに読み出されたＣＣＤ１０からの信号は、４行４列の画素に対応する光電変換素子からの信号がそれぞれ並列に出力されるように変換される。
【００５０】
つまり、上述した信号ｄ０１〜ｄ３２は、ＣＣＤ１０中の画素（ｘ，ｙ）に対応する光電変換素子からの出力信号を、記号ｄｘｙで表わしたことに相当する。
【００５１】
図４は、図１に示した補間処理回路３４の構成をより詳しく示すブロック図である。
【００５２】
補間処理回路３４は、信号ｄ１２，ｄ１０，ｄ３２を受けて第１の補間信号を出力する補間演算部３４２と、信号ｄ１１，ｄ１３，ｄ３１を受けて第２の補間信号を出力する補間演算部３４４と、信号ｄ２１，ｄ０１，ｄ２３を受けて第３の補間信号を出力する補間演算部３４６と、信号ｄ２２，ｄ０２，ｄ２０を受けて第４の補間信号を出力する補間演算部３４８と、制御回路４２に制御されて、第１〜第４の補間信号のそれぞれを、緑色信号Ｇ、シアン色信号Ｃｙ、マゼンダ色信号Ｍｇおよび黄色信号Ｙｅとして出力する選択回路３５０とを含む。
【００５３】
ここで、補間演算部３４２は、信号ｄ１２を受けて２倍にして出力する乗算器３４２２と、信号ｄ１０および信号ｄ３２の加算結果を出力する加算器３４２４と、加算器３４２４と乗算器３４２２の加算結果を第１の補間信号として出力する加算器３４２６とを含む。補間演算部３４４、３４６および３４８の構成も、受ける信号が異なる以外、基本的に補間演算部３４２の構成と同様である。
【００５４】
したがって、補間演算部３４２は、色フィルタの配置が図２（ａ）である場合、図２（ｃ）に示した重付け係数の配置による加重平均処理を行うことに対応し、補間演算部３４４は図２（ｂ）に示した重付け係数の配置による加重平均処理を行うことに、補間演算部３４６は図２（ｄ）に示した重付け係数の配置による加重平均処理を行うことに、補間演算部３４８は図２（ｅ）に示した重付け係数の配置による加重平均処理を行うことに、それぞれ対応する。
【００５５】
選択回路３５０は、制御回路４２から出力されるＣＣＤ１０からの現在の読み出し位置を示す水平アドレスＨＡの最下位ビットｈ−ａｄｄＬＳＢおよび垂直アドレスＶＡの最下位ビットｖ−ａｄｄＬＳＢに応じて、第１〜第４の補間信号と緑色信号Ｇ、シアン色信号Ｃｙ、マゼンダ色信号Ｍｇおよび黄色信号Ｙｅとの対応づけを切り換えて出力する。
【００５６】
たとえば、色フィルタが図２（ａ）である場合は、第１の補間信号が緑色信号Ｇに、第２の補間信号がマゼンダ色信号Ｍｇに、第３の補間信号がシアン色信号Ｃｙに、第４の補間信号が黄色信号Ｙｅにそれぞれ対応するため、選択回路３５０は、このような対応づけとなるように信号を出力する。
【００５７】
信号を読み出す４行４列の画素に対応する色フィルタの配列が変化した場合は、それに応じて、選択回路３５０は上述した対応づけを変化させる。
【００５８】
以上の補間処理回路３４の動作により、緑色信号Ｇ、シアン色信号Ｃｙ、マゼンダ色信号Ｍｇおよび黄色信号Ｙｅのそれぞれについて、４行４列の画素に対応する光電変換素子からの読み出し信号に対する所定の加重平均処理により、４行４列の画素の中央位置に対応した信号が生成されることになる。
【００５９】
図５は、図４に示すようなデジタルフィルタにより補間処理を実現した場合の出力信号Ｙｅ＋Ｇ，Ｃｙ＋Ｍｇ，Ｇ＋Ｃｙ，Ｙｅ＋Ｍｇの周波数特性を示す図であり、図１４と対比される図である。
【００６０】
補間処理により、出力信号Ｙｅ＋Ｇ，Ｃｙ＋Ｍｇ，Ｇ＋Ｃｙ，Ｙｅ＋Ｍｇの周波数特性が１／２ナイキスト周波数付近までそろっている。このため、これらの信号に基づいて色分離処理を行い色差信号ＣｂおよびＣｒを得た場合、偽色の発生を抑制することが可能で、画質を向上させることができる。
【００６１】
なお、以上の説明では、４行４列の画素に対応する光電変換素子からの出力信号に対して図２（ｂ）〜（ｅ）で示される重付け係数の配置の加重平均による補間処理を行う場合について説明したが、本発明はこのような場合に限定されない。たとえば、補間処理を行う対象となる画素は、より一般に、ｋを偶数とするとき、ｋ行ｋ列の画素であってもかまわない。また、重付け係数の配置も、４つの色信号、すなわち緑色信号、シアン色信号、マゼンダ色信号および黄色信号のそれぞれに対応する重付け係数の配置が、中央位置に対して相互に９０度づつ回転した関係となっていればよい。
【００６２】
さらに、色信号についても、必ずしも、緑色信号、シアン色信号、マゼンダ色信号および黄色信号に限定されることなく、他の色信号の組み合わせ、たとえばフレーム色差順次方式の色フィルタで用いられるＹＭ、ＣＧ、ＹＧ、ＣＭの組み合わせに対して適用することも可能である。
【００６３】
図６は、図１に示した色差信号生成回路３６の構成をより詳しく示すブロック図である。
【００６４】
図６を参照して、色差信号生成回路３６は、黄色信号Ｙｅとマゼンダ信号Ｍｇを受けて加算する加算器３６２と、緑信号Ｇとシアン信号Ｃｙとを受けて加算する加算器３６８と、加算器３６８の出力に−１を乗算する乗算器３７４と、加算器３６２の出力と乗算器３７４の出力を加算して信号Ｃｒを出力する加算機３７６とを含む。
【００６５】
色差信号生成回路３６は、さらに、マゼンダ信号Ｍｇとシアン色信号Ｃｙとを受けて加算する加算器３６４と、緑信号Ｇと黄色信号Ｙｅとを受けて加算する加算器３６６と、加算器３６６の出力に−１を乗算する乗算器３７２と、加算器３６４の出力と乗算器３７２の出力を加算して信号Ｃｂを出力する加算機３７０とを含む。
【００６６】
すなわち、色差信号生成回路３６は、以下に示す演算処理により、緑色信号Ｇ、シアン色信号Ｃｙ、マゼンダ色信号Ｍｇおよび黄色信号Ｙｅから色差信号ＣｂおよびＣｒを生成する。
【００６７】

［輝度信号生成およびアパーチャ信号生成］
ここで、輝度信号としては、上記補間処理により得られた緑色信号Ｇ、シアン色信号Ｃｙ、マゼンダ色信号Ｍｇおよび黄色信号Ｙｅから以下の演算により、生成する構成とすることも可能である。
【００６８】

しかしながら、輝度信号としては、４行４列の画素に対応する光電変換素子からの信号のうち、中央位置を囲む２行２列の画素に対応する信号から直接上記の式に基づいて演算し、生成する構成とすることも可能である。すなわち、この場合は、輝度信号Ｙの生成に関しては、図１３で説明した従来の色分離方式と同様の方法で行うことになる。
【００６９】
補間処理を行うことで、偽色の発生を抑制するが可能であるが、同時に補間により解像度は低下してしまう。人間の目の感度は、色情報に比べて輝度情報に対して高いので、輝度信号Ｙについては補間処理を行わない信号を直接用いることで、人間の感じる解像度の低下を抑制することが可能となる。
【００７０】
このことは、たとえば、アパーチャ補正を行うためのアパーチャ信号の生成にも同様に当てはまる。すなわち、アパーチャ信号を生成する基礎となる輝度信号は、なるべく高い解像度を持つことが望ましく、補間処理等を行った後の信号を用いたのでは、やはり解像度の低下を招いてしまう。
【００７１】
図７は、上述したような輝度信号Ｙの生成とアパーチャ信号ＡＰの第１の生成過程を説明するための図である。また、図８は、アパーチャ信号ＡＰの第２の生成課程を示す図である。
【００７２】
図７を参照して、まず、以下に示す演算によって、信号Ｙ０１、Ｙ１０、Ｙ１１、Ｙ１２、Ｙ２１を生成する。
【００７３】
Ｙ０１＝Ｙｅ０２＋Ｃｙ０１＋Ｍｇ１１＋Ｇ１２ …（１７）
Ｙ１０＝Ｙｅ２０＋Ｃｙ２１＋Ｍｇ１１＋Ｇ１０ …（１８）
Ｙ１１＝Ｙｅ２２＋Ｃｙ２１＋Ｍｇ１１＋Ｇ１２ …（１９）
Ｙ１２＝Ｙｅ２２＋Ｃｙ２３＋Ｍｇ１３＋Ｇ１２ …（２０）
Ｙ２１＝Ｙｅ２２＋Ｃｙ２１＋Ｍｇ３１＋Ｇ３２ …（２１）
すなわち、Ｙ１１は輝度信号Ｙに対応する。また、信号Ｙ０１、Ｙ１０、Ｙ１２、Ｙ２１は、それぞれＹ１１を生成するのに用いた中央の２行２列の画素のうち、２つを含む２行２列の画素に対応する光電変換素子からの信号から生成されることになる。
【００７４】
つづいて、図８を参照して、以上のようにして生成された信号Ｙ０１、Ｙ１０、Ｙ１１、Ｙ１２、Ｙ２１に基づいて、以下の式による演算でアパーチャ信号ＡＰが生成される。
【００７５】
ＡＰ＝４×Ｙ１１−Ｙ０１−Ｙ１０−Ｙ１２−Ｙ２１ …（２２）
図９は、図１に示した輝度信号生成回路３２およびアパーチャ信号３８の構成をより詳しく説明するための模式図である。
【００７６】
輝度信号生成回路３２は、信号ｄ１１およびｄ２１を受けて加算する加算器３２２と、信号ｄ１２およびｄ２２を受けて加算する加算器３２４と、加算器３２２および３２４の出力を受けて加算し輝度信号Ｙ（Ｙ１１）を出力する加算器３２６とを含む。
【００７７】
アパーチャ信号生成回路３８は、信号ｄ０１およびｄ１１を受けて加算する加算器３８２と、信号ｄ０２およびｄ１２を受けて加算する加算器３８６と、加算器３８２および３８６の出力を受けて加算する加算器３８４と、信号ｄ１０およびｄ２０を受けて加算する加算器３８８と、加算器３８８および輝度信号生成回路３２中の加算器３２２の出力を受けて加算する加算器３９２と、加算器３８４および３９２の出力を加算する加算器３９０とを含む。
【００７８】
アパーチャ信号生成回路３８は、さらに、信号ｄ２１およびｄ３１を受けて加算する加算器３９８と、信号ｄ２２およびｄ３２を受けて加算する加算器４０２と、加算器３９８および４０２の出力を受けて加算する加算器４００と、信号ｄ１３およびｄ２３を受けて加算する加算器３９６と、加算器３９６および輝度信号生成回路３２中の加算器３２４の出力を受けて加算する加算器３９４と、加算器３９４および４００の出力を加算する加算器４０４と、加算器３９０および４０４の出力を加算する加算器４０６と、加算器４０６の出力に−１を乗算する乗算器４１０と、輝度信号Ｙと４とを乗算する乗算器４０８と、乗算器４０８および４１０の出力を受けて加算し、信号ＡＰを出力する加算器４１２とを含む。
【００７９】
すなわち、輝度信号生成回路３２は、式（１９）に示した演算により輝度信号Ｙを出力し、アパーチャ信号生成回路３８は式（１７）〜（２２）に示した演算によりアパーチャ信号ＡＰを生成して出力する。
【００８０】
以上のような構成とすることで、アパーチャ信号ＡＰを生成する際には、４行４列の中央位置に対して、それを囲む２行２列の画素に対応する光電変換素子からの信号に基づいた輝度信号Ｙを用いるため、補間処理による解像度の低下を抑制することが可能となる。
【００８１】
【発明の効果】
以上説明したとおり、本発明によれば、色分離処理を行う前に、補間処理することで各色成分の帯域をそろえることで、信号Ｙｅ＋Ｇ，Ｃｙ＋Ｍｇと信号Ｇ＋Ｃｙ，Ｙｅ＋Ｍｇの帯域が１／２ナイキスト周波数付近まで非常に近くなるため、結果として１／２ナイキスト周波数付近の色偽信号を大幅に減らすことが可能である。さらに、アパーチャ信号の生成に対しては、補間処理による解像度低下を抑制することが可能である。
【図面の簡単な説明】
【図１】本発明の色信号処理系１０００の構成を示す概略ブロック図である。
【図２】本発明の補間処理を説明するための模式図であり、図２（ａ）は、色差順次方式の色フィルタアレイの配列を、図２（ｂ）〜（ｅ）は、各色信号成分に対する補間処理時の重付け係数の配置を説明するための模式図である。
【図３】図１に示した色信号処理系１０００の２次元レジスタアレイ３０の構成を示すブロック図である。
【図４】図１に示した色信号処理系１０００の補間処理回路３４の構成を示すブロック図である。
【図５】本発明の色信号の周波数特性を示す図である。
【図６】図１に示した色信号処理系１０００の色分離回路３６の構成を示すブロック図である。
【図７】アパーチャ信号の生成過程を説明する第１の模式図である。
【図８】アパーチャ信号の生成過程を説明する第２の模式図である。
【図９】図１に示した色信号処理系１０００の輝度信号生成回路３２およびアパーチャ信号生成回路３８の構成を示すブロック図である。
【図１０】ＣＣＤ１０の構成を示す概略ブロック図である。
【図１１】色差順次方式の色フィルタ配列中の４行４列の色フィルタの配列の一例を示す模式図である。
【図１２】色差順次方式の色フィルタ配列中の４行４列の色フィルタの配列の他の例を示す模式図である。
【図１３】従来の色分離方式を説明する概念図である。
【図１４】従来の色分離方式の出力信号の周波数特性を示す図である。
【符号の説明】
１０ＣＣＤ
１２感光部
１４転送部
１６水平転送レジスタ
１８、２０、２２走査線遅延器
３０２次元レジスタアレイ
３２輝度信号生成回路
３４補間処理回路
３６色差信号生成回路
３８アパーチャ信号生成回路
４０駆動回路
４２制御回路
４４ＣＤＳ回路
４６ＡＧＣ回路
４８Ａ／Ｄ変換回路
１００色分離回路

Claims

単板式デジタルカラーカメラであって、
画素に各々対応する光電変換素子が、アレイ状に配列された固体撮像手段を備え、
前記固体撮像手段は、
受光面側に、対応する前記光電変換素子に対して色差順次方式で色フィルタがモザイク状に配列される色フィルタアレイを含み、
任意の４行４列の画素に対応して、前記色フィルタアレイの前記４行４列の偶数番目の行は、交互に配置される緑色フィルタおよびマゼンダに対応する第１の補色フィルタを有し、前記４行４列の奇数番目の行は、交互に配置される黄色に対応する第２の補色フィルタおよびシアンに対応する第３の補色フィルタを有し、
前記固体撮像手段の出力を前記４行ごとに順次受けて、前記４行４列の画素の中央位置に対応する色データを生成する色分離手段をさらに備え、
前記色分離手段は、
緑色ならびに第１ないし第３の補色のそれぞれについて、順次受け取る前記４行４列の画素に対応する複数の前記光電変換素子からの出力のうち、対応する色フィルタの配置された光電変換素子からの出力を加重平均して出力する色補間手段と、
前記色補間手段からの出力を受けて、前記中央位置に対応する色データを分離する第１の演算手段とを含み、
前記４行４列の画素に対応する光電変換素子からの出力をＤ（ｘ、ｙ）（ｘ＝０〜３、ｙ＝０〜３）とし、加重平均処理において、前記Ｄ（ｘ、ｙ）に対応する重み付け係数をｗ（ｘ、ｙ）とするとき、
前記色補間手段は、
前記第１の重み付け係数として、ｗ（１，２）＝２，ｗ＝（１，０）＝１およびｗ（３，２）＝１とする第１の加重平均処理、
前記第２の重み付け係数として、ｗ（１，１）＝２，ｗ＝（３，１）＝１およびｗ（１，３）＝１とする第２の加重平均処理、
前記第３の重み付け係数として、ｗ（２，２）＝２，ｗ＝（０，２）＝１およびｗ（２，０）＝１とする第３の加重平均処理および
前記第４の重み付け係数として、ｗ（２，１）＝２，ｗ＝（２，３）＝１およびｗ（０，１）＝１とする第４の加重平均処理を、順次受け取る前記４行４列の画素に対応する色フィルタの配列に応じて、前記緑色ならびに前記第１ないし第３の補色に対してそれぞれ実行する、単板式カラーカメラ。
前記色分離手段は、
前記４行４列の画素に対応する前記光電変換素子からの出力のうち、前記中央位置を囲む２行２列の前記光電変換素子からの出力を加算することで輝度信号を出力する第２の演算手段を含む、請求項１記載の単板式カラーカメラ。
前記４行４列の画素に対応する前記光電変換素子からの出力のうち、Ｄ（０，１）、Ｄ（０，２）、Ｄ（１，１）およびＤ（１，２）の和である第１の信号と、Ｄ（１，０）、Ｄ（１，１）、Ｄ（２，０）およびＤ（２，１）の和である第２の信号と、Ｄ（２，１）、Ｄ（２，２）、Ｄ（３，１）およびＤ（３，２）の和である第３の信号と、Ｄ（１，２）、Ｄ（１，３）、Ｄ（２，２）およびＤ（２，３）の和である第４の信号と、前記輝度信号とに基づいてアパーチャ信号を出力するアパーチャ信号生成手段と、
前記アパーチャ信号に応じて、アパーチャ補正を行う補正手段とをさらに備える、請求項２記載の単板式カラーカメラ。