JPH0523114B2 - - Google Patents

Description

【発明の詳細な説明】 ＜技術分野＞ 本発明は、フイルタが２次元に配列された固体
撮像素子を１個用いてカラービデオ信号を得る単
板カラー撮像装置に関し、特に水平及び垂直両方
向の解像度を高める手段に関するものである。

＜従来技術＞ 固体撮像素子を単板にてカラー化するには通常
色フイルタを撮像素子の受光面に配置し、各色フ
イルタと画素を対応させることにより色成分毎に
別々に空間サンプリングする手法が用いられる。
この場合カラービデオ信号を構成する各成分信号
の解像度は色フイルタ配列と信号処理の手法によ
り大幅に変化する。なお、ビデオ信号は通常イン
ターレース走査を行なうため以下の説明では撮像
素子はインターレーサ読み出しを前提とする。

高い解像度を得るため従来良く知られている色
フイルタ配列は、視覚的に高い解像度が求められ
る輝度信号の大半を占める縁色(G)フイルタを市松
状に配し、残りの位置に赤色(R)フイルタと青色Ｂ
フイルタを一定周期で配したものであり、第１図
ａに示すベイヤー配列ではＲフイルタとＢフイル
タが走査線周期で垂直方向に交互し、第１図ｂに
示すインターライン配列ではＲフイルタとＢフイ
ルタが２垂直列毎に水平方向に交互する。これら
の場合輝度信号は高い解像度が得られるが、色信
号はＲ信号、Ｂ信号とも解像度は不十分である。
即ちベイヤー配列ではＲ信号、Ｂ信号とも交互に
１水平走査期間（1H）毎に欠落するため1H遅延
した信号によつて交互に補間する必要があるが、
このため垂直解像度は低くなる。特にインターレ
ース読出しであることにより垂直方向ナイキスト
限界周波数の1/2においてさえ応答は０となる。
一方、インターライン配列ではＲ信号、Ｂ信号と
も垂直方向での解像度の劣化はないが、水平方向
には解像度は低く、水平方向ナイキスト限界周波
数の1/2において応答は０となる。

以上はＧ、Ｒ、Ｂの３原色フイルタを用いた場
合であるが、補色フイルタを用いた場合でも基本
的には同じ問題が存在する。例えば第１図ａ及び
ｂにおいて、Ｇ→Ｗ＝Ｇ＋Ｒ＋Ｂ（透明）、Ｒ→
Cy＝Ｇ＋Ｂ（シアン色）、Ｂ→Ye＝Ｇ＋Ｒ（黄色）
とした場合を考える。このときＧ信号は基底バン
ド成分として高解像度の信号が得られ、又Ｒ及び
Ｂ信号は変調成分として得られる。しかしＲ及び
Ｂ信号の変調される空間領域は３原色フイルタに
おけるＲ及びＢ画素の空間領域と同じである。従
つて解像度に関し前記と同じ問題を生じる。

＜発明の目的＞ 本発明は以上の問題点に鑑みてなされたもので
あり、輝度信号の解像度を高く保つたまま色信号
を解像度を水平・垂直の両方向とも高くし得る固
体カラー撮像装置を提供するものである。

＜発明の構成＞ 本発明の固体カラー撮像装置は、各々感応スペ
クトル特性の相異なる第１の受光素子、第２の受
光素子、第３の受光素子及び第４の受光素子から
成り、第１の水平列は前記第１の受光素子と第２
の受光素子が交互に繰り返し配列され、第２の水
平列は前記第３の受光素子と第４の受光素子が交
互に繰り返し配列され、さらに、第３の水平例は
前記第１の水平列に対し同じ受光素子組が位相を
180°移して配列され、第４の水平列は前記第２の
水平列に対し同じ受光素子組が位相を180°移して
配列され、前記４水平列が順次繰り返し配列され
て成る固体撮像素子と、垂直方向に隣接する二つ
の受光素子信号を加算し、加算の組み合わせをフ
イールド毎に垂直方向に１素子交互にずらせて、
各加算信号を順次読み出し、固体撮像素子出力信
号を形成する読み出し手段と、該読み出し手段よ
り出力される前記固体撮像素子出力信号から、水
平方向に隣接する信号の和を取り、実時間輝度信
号を形成する実時間輝度信号形成回路と、前記固
体撮像素子出力信号から、水平方向に隣接する信
号の差を取り、実時間色信号を形成する実時間色
信号形成回路と、前記固体撮像素子出力信号を１
フイールド遅延させたフイールド遅延出力信号か
ら、水平方向に隣接する信号の差を取り、フイー
ルド遅延色信号を形成するフイールド遅延色信号
回路とを設けて成ることを特徴とするものであ
る。

また、各々感応スペクトル特性の相異なる第１
の応受光素子、第２の受光素子、第３の受光素子
及び第４の受光素子から成り、第１の水平列は前
記第１の受光素子と第２の受光素子が交互に繰り
返し配列され、第２の水平列は前記第３の受光素
子と第４の受光素子が交互に繰り返し配列され、
さらに、第３の水平列は前記第１の水平列に対し
同じ受光素子が位相を180°移して配列され、第４
の水平列は前記第２の水平列に対し同じ受光素子
組が位相を180°移して配列され、前記４水平列が
順次繰り返し配列されて成る固体撮像素子と、垂
直方向に隣接する二つの受光素子信号を加算し、
加算の組み合わせをフイールド毎に垂直方向に１
素子交互にずらせて、各加算信号を順次読み出
し、固体撮像素子出力信号を形成する読み出し手
段と、該読み出し手段より出力される前記固体撮
像素子出力信号から、水平方向に隣接する信号の
和を取り、実時間輝度信号を形成する実時間輝度
信号形成回路と、前記固体撮像素子出力信号か
ら、水平方向に隣接する信号の差を取り、実時間
色信号を形成する実時間色信号形成回路と、前記
固体撮像素子出力信号を１フイールド遅延させた
フイールド遅延出力信号から、水平方向に隣接す
る信号の和を取り、フイールド遅延輝度信号を形
成するフイールド遅延輝度信号形成回路と、前記
固体撮像素子出力信号を１フイールド遅延させた
フイールド遅延出力信号から、水平方向に隣接す
る信号の差を取り、フイールド遅延色信号を形成
するフイールド遅延色信号形成回路と、前記実時
間輝度信号から前記フイールド遅延輝度信号を減
算して色補正信号を形成し、該色補正信号を前記
フイールド遅延色信号に加算することにより、補
正フイールド遅延色信号を形成する補正フイール
ド遅延色信号形成回路とを設けて成ることを特徴
とするものである。

＜実施例＞ 第１図ａの場合Ｒ信号、Ｂ信号とも水平解像度
は高い利点を持つ。従つて垂直解像度の劣化を防
ぐ手法があれば水平・垂直の両方向とも高い解像
度が得られる。いま第２図に示すようにフイルタ
配列の垂直方向繰返し単位を１画素とし、Ｒ信
号、Ｂ信号を１フイールド前の信号によつて補間
したとすると、Ｒ信号、Ｂ信号とも垂直解像度は
２倍高められる。しかしながらこの場合は、各画
素の信号を読み出す周期は第３図ａに示すように
１フレーム（２フイールド）であり、１フレーム
期間積分した信号である。従つて実時間信号と１
フイールド期間（1F）遅延した信号との間には
最大３フイールドに及ぶ時間差が生じ、動きのあ
る光像を撮像した場合には補間した色信号が実信
号と大きくずれることにより色割れ現象が顕蓄と
なる。

以上の問題を解決するには、光像の積分期間を
半分の１フイールドとするフイールド読出しと
し、実時間信号と1F遅延信号の時間差を小さく
すれば良い。これにより第３図ｂに示すように実
時間信号と1F遅延信号との時間差には最大でも
２フイールドになるとともに、積分期間が1/2と
なつたことによつて時間分解能が向上する。さら
に、フイールト読出しにおいてもなお存在するフ
イールド補間に伴なう偽信号には後述するよう
に、補正信号が容易に得られるから色割れ現象は
実質的になしとすることが可能である。

第４ａ及びｂは、フイールド読出しを行ない、
かつフイールド補間を可能とする本発明による一
実施例の色フイルタ配列の例を示したものであ
る。これらはともに４種の絵素を用い、そのうち
の１種は他の３種の分光特性を加算した、ないし
その定数倍の分光特性を備えており、４水平列毎
の繰返し単位で配列されたものである。なおMa
はＲ＋Ｂより構成されるマゼンダ色のフイルタで
ある。また第４図ａでは、Ye、Cyの間で、ｂで
はＢ、Ｒの間で配列を入れ替えても信号処理及び
画質は同様である。第４図ａ及び及びｂともに、
奇数フイールドでは偶数番目水平列とその上の奇
数番目水平列間で上下２画素信号を加算し、偶数
フイールドては偶数番目水平列とその下の奇数番
目水平列間で上下２画素信号を加算する。これに
より各画素信号はフイールド周期で取り出されフ
イールド読出しとなる。さらにこのとき以下のよ
うにしてフイールド補間が有用となる。

第４図ａでは奇数フイールドではＲ−（Ｇ＋Ｂ）
信号がナイキスト限界周波数（f_N）で変調され、
３（Ｒ＋Ｇ＋Ｂ）信号が基底バンド信号となる。
基底バンド信号の帯域はf_Nで存在するが、f_N近傍
に存在する変調成分を除去するためf_Nより若干狭
い帯域とする。この場合でも十分広い帯域であり
高解像度信号となる。偶数フイールドではＢ−
（Ｇ＋Ｒ）信号がf_Nで変調され、３（Ｒ＋Ｇ＋Ｂ）
信号が基底バンド信号となる。以上より基底バン
ド信号の1/3より広帯域のＲ＋Ｇ＋Ｂよりなる輝
度信号が常時得られるとともに、変調信号に輝度
信号を加算し1/2倍することにより水平解像度の
高いＲ信号とＢ信号がフイールド周期で交互に得
られる。よつて1F遅延回路によつてフイールド
補間することにより、垂直解像度を劣化させるこ
となく高い水平解像度のＲ信号とＢ信号が常に得
られる。

第４図ｂでは、奇数フイールドでは2R信号が
f_Nで変調され、２（Ｒ＋Ｇ＋Ｂ）信号が基底バン
ド信号となる。同様に偶数フイールドでは2B信
号がf_Nで変調され２（Ｒ＋Ｇ＋Ｂ）信号が基底バ
ンド信号となる。従つて基底バンド信号の1/2よ
りＲ＋Ｇ＋Ｂよりなる輝度信号が常時得られる。
一方Ｒ信号とＢ信号は変調信号の1/2からフイー
ルド周期で交互に得られるから、1F遅延回路に
よつてフイールド補間することにより水平・垂直
方向とも高い解像度のＲ信号とＢ信号が常に得ら
れることになる。

以上述べたフイールド読出しにおいても、フレ
ーム読出し程ではないかフイールド補間を行なう
と動きのある光像に対し為信号が生じる。即ち例
えば第５図に示すように白色光像が時間的に変動
した場合、フイールド番号２ではＲ信号が欠落す
るため白色像がシアン色になり、フイールド番号
５ではＢ信号が余分となりため黒色像が青色とな
る。この現象は以下のようにして解消される。輝
度信号は各フイールドにおいて実時間で得られる
から輝度実時間信号Ｙ（OF）から輝度1F遅延信
号Ｙ（1F）を減算し、フイールド補正信号Ｙ
（OF）−Ｙ（1F）を形成する。このフイールド補
正信号をフイールド遅延した色信号に加算する
と、丁度前記為信号が消去され、正常な色信号が
得られる。

第６図は以上に示した実施例を実現するための
回路ブロツク図を示したもので、第４図ａの色フ
イルタ配列に適合するものである。まず、第４図
ａの色フイルタを備えた固体撮像素子１からの信
号は分岐され、一方は直接他方は1F遅延回路２
を介して、サンプルホールド回路３，４ないし
５，６へ導びかれる。奇数フイールドでは、上記
回路３でYe＋Ma、回路４でCy＋Ｗ、回路５で
Cy＋Ma、回路６でYe＋Ｗ信号が夫々サンプル
ホールドされ、偶数フイールドでは、回路３で
Cy＋Ma、回路４でYe＋Ｗ、回路５でYe＋Ma、
回路６でCy＋Ｗ信号が夫々サンプルホールドさ
れる。回路３及び４からの信号は一方は両者が加
算され1/3倍されてＲ＋Ｇ＋Ｂ信号７が得られ、
他方は回路３の出力から回路４の出力が減算さ
れ、奇数フイールドでＲ−Cy、偶数フイールド
でＢ−Yeとなる信号８が得られる。同様にして
回路５及び６の出力信号から加算と1/3倍により
Ｒ＋Ｇ＋Ｂ信号が、減算により奇数フイールドで
Ｒ−Ye、偶数フイールドでＲ−Cyとなる信号１
０が得られる。 ここでサンプルホールド信号間
の加算は丁度水平方向に隣接し合う画素信号間の
和を順次取つたこと同じとなり、基底バンド信号
からf_N近傍の成分を除去した信号である。またサ
ンプルホールド信号間の減算は水平方向に隣接し
合う画素信号間の差を順次取つたことと同じとな
り、f_N近傍の変調成分を取り出し低域変換したこ
とと同じである。さて、信号７は低域通過フイル
タ１１により帯域をf_N／２に制限された後信号８
に加算されさらに1/2倍されて、奇数フイールド
でＲ、偶数フイールドでＢとなる信号１３が得ら
れる。同様に信号９に低域通過フイルタ１２より
帯域をf_N／２に制限された後信号１０に加算され
さらに1/2倍されて、奇数フイールドでＢ、偶数
フイールドでＲとなる信号１４が得られる。一
方、低域通過フイルタ１１及び１２の分岐された
各々別の出力は前者から後者が減算され、適当な
大きさに調整されてフイールド補正信号１５が得
られる。この信号１５を信号１４に加算すること
によりフイールド補間による為信号を消去した信
号１６を得る。信号１３と１６はフイールド毎に
交互する切換スイツチ１７によりＲ信号のみ及び
Ｂ信号のみに振り分けられ、ゲイン調整されてＲ
信号出力、Ｂ信号出力が各々得られる。輝度信号
Ｙは信号７をゲイン調整して得られる。

第７図は本発明の他の実施例による回路ブロツ
ク図の例を示したもので、第４図ｂの色フイルタ
配列に適合するものである。まず第４図ｂの色フ
イルタを備えた固体撮像素子１からの信号は分岐
され、一方は直接他方は1F遅延回路２を介して
サンプルホールド回路１８，１９ないし２０，２
１へ導かれる。奇数フイールドでは回路１８でＢ
＋Ｇ、回路１９でＲ＋Ｗ、回路２０でＲ＋Ｇ、回
路２１でＢ＋Ｗ信号がサンプルホールドされ、偶
数フイールドでは回路１８でＲ＋Ｇ、回路１９で
Ｂ＋Ｗ、回路２０でＢ＋Ｇ、回路２１でＲ＋Ｗ信
号がサンプルホールドされる。上記回路１８及び
１９からの信号は一方が両者が加算されて２（Ｒ
＋Ｇ＋Ｂ）信号２２が得られ、他方は回路１９の
出力から回路１８の出力が減算され、奇数フイー
ルドでは2R、偶数フイールドでは2Bとなる信号
２３が得られる。同様にして回路２０及び２１の
出力信号から加算により２（Ｒ＋Ｇ＋Ｂ）信号２
４が、減算により奇数フイールドで2B、偶数フ
イールドで2Rとなる信号２５が得られる。次に
信号２２及び信号２４の帯域は、低域通過フイル
タ２６，２７によりともにf_N／２に制限された
後、前者から後者が減算され適当な大きさに調整
されてフイールド補正信号２８が得られる。この
信号を信号２５に加算すことによりフイールド補
間による偽信号を消去した信号２９が得られる。
信号２３と２９はフイールド毎に交互する切換ス
イツチ３０によりＲ信号のみ及びＢ信号のみに振
り分けられ、ゲイン調整されてＲ信号出力、Ｂ信
号出力が各々得られる。輝度信号Ｙは信号２２を
ゲイン調整して得られる。

第８図ａ及びｂはフイールド読出しを行ない、
かつフイールド補間を可能とする色フイルタ配列
の他の例を示したものである。これらはとくに３
種の絵素を用い、すべての絵素がＧ色に感応する
とともに、Ｒ色ないしＢ色にそれぞれ感応する絵
素２種と、Ｒ色及びＢ色ともに感応するないしは
どちらにも感応しない絵素から構成されている。
なお第８図ａ，ｂともにYeとCyの間で配列を入
れ替えても信号処理及び画質は同様である。さら
に第８図ｂはａに対し画質は同様で、信号処理も
ａの場合から容易に考察されるから、以下の説明
ではａの場合についてのみ行なう。

第８図ａの場合、輝度信号は隣接画素間の加算
Cy＋Ye＋2W＝3W＋4G＋3Bから容易に得られ
る。色信号は隣接画素間の差を取ることにより、
奇数フイールドでＲ＋Ｂ、偶数フイールドでＲ＋
Ｂ信号が得られるから、フイールド補間を用い、 Ｒ＝１／２｛（Ｒ＋Ｂ）＋（Ｒ−Ｂ）｝、Ｂ＝１／２｛
（Ｒ＋Ｂ）−（Ｒ−Ｂ）｝ により得られる。

第９図は第８図ａの場合のフイールド補間によ
り偽信号を解消する手法を示したものである。ま
ず輝度実時間信号Ｙ（0F）から輝度1F遅延信号Ｙ
（1F）を減算しフイールド補正信号Ｙ（0F）−Ｙ
（1F）を形成する。次にこの補正信号を、1F色信
号がＲ＋Ｂのフイールドの時のみ1F色信号に増
加する。これによりフイールド補間により偽信号
は消去され、常に正常な色信号が得られる。

第１０図は第８図ａの色フイルタ配列において
上記実施例を実現するための回路ブロツク図の例
を示したものである。第８図ａの色フイルタを備
えた固体撮像素子１からの信号は分岐され、一方
は直接他方な1F遅延回路２を介して、サンプル
ホールド回路３１，３２ないし３３，３４へ導か
れる。奇数フイールドては回路３１でYe＋Cy、
回路３２でＷ＋Ｗ、回路３３でCy＋Ｗ、回路３
４でYe＋Ｗ信号がサンプルホールドされ、偶数
フイールドでは回路３１でCy＋Ｗ、回路３２で
Ye＋Ｗ、回路３３でYe＋Cy、回路３４でＷ＋Ｗ
信号がサンプルホールドされる。回路３１及び３
２からの信号は一方が両者が加算されて3G＋
＋／4G＋3B信号３５が得られ、他方は回路３２
の出力から回路３３の出力が減算され、奇数フイ
ールドでＲ＋Ｂ、偶数フイールドでＲ−Ｂとなる
信号３６が得られる。同様にして回路３３及び３
４の出力信号から加算により3R＋4G＋3B信号３
７が、減算により奇数フイールドでＲ−Ｂ、偶数
フイールドでＲ＋Ｂとなる信号３８が得られる。
次に信号３５及び３７の帯域は低域通過フイルタ
３９，４０のよりともにf_N／２に制限された後、
前者から後者が減算され適当な大きさに調整され
てスイツチ回路４１へ導かれる。スイツチ回路４
１では信号３８がＲ＋Ｂとなるフイールドでオン
となり、フイールト補正信号が信号３８へ加算さ
れて、信号４２が得られる。信号３６と信号４２
は一方は両者が加算されて2R信号４３が得られ、
他方は信号３６から信号４２が減算されてフイー
ルド毎に符号が反転する2B信号が得られる。こ
の減算信号や同期検波回路４４により常に正符号
とされる。以上より信号３５、信号４３及び同期
検波回路４４からの信号がそれぞれゲイン調整さ
れて、Ｙ、Ｒ、Ｂ各信号が得られる。

＜効果＞ 以上述べたように、本発明によれば輝度信号は
水平・垂直方向ともに高い解像度を保つた上で、
２つの色信号は水平解像度を高く取り、垂直解像
度もフイールド補間によつて高く保つことが可能
となる。またフイールド補間による時間変動画像
に対する偽信号も消去することが可能であり、動
的にも高画質の撮像信号を得ることが可能であ
る。

【図面の簡単な説明】

第１図ａ，ｂ及び第２図は従来の固体カラー撮
像装置における色フイルタ配列の構成図、第３図
は固体カラー撮像装置における信号読み出しのタ
イミングを従来の場合と本発明における場合とで
比較した図、第４図ａ，ｂは本発明による色フイ
ルタ配列の構成図、第８図ａ，ｂは本発明に関連
する色フイルタ配列の構成図、第５図及び第９図
は偽信号の消去法を説明するための図で前者は第
４図、後者は第８図の色フイルタ配列の場合に対
応する。第６図及び第７図はそれぞれ第４図ａ及
びｂに対応し本発明を実施するための回路ブロツ
ク図、第１０図は第８図ａに対応する回路ブロツ
ク図である。 １……固体カラー撮像素子、２……1F遅延回
路、３〜６，１８〜２１……サンプルホールド回
路、１１，１２，２６，２７……低域通過フイル
タ、１７，３０……スイツチ回路。

Claims (1)

1. 【特許請求の範囲】 １ 各々感応スペクトル特性の相異なる第１の受
   光素子、第２の受光素子、第３の受光素子及び第
   ４の受光素子から成り、第１の水平列は前記第１
   の受光素子と第２の受光素子が交互に繰り返し配
   列され、第２の水平列は前記第３の受光素子と第
   ４の受光素子が交互に繰り返し配列され、さら
   に、第３の水平例は前記第１の水平列に対し同じ
   受光素子組が位相を180°移して配列され、第４の
   水平列は前記第２の水平列に対し同じ受光素子組
   が位相を180°移して配列され、前記４水平列が順
   次繰り返し配列されて成る固体撮像素子と、 垂直方向に隣接する二つの受光素子信号を加算
   し、加算の組み合わせをフイールド毎に垂直方向
   に１素子交互にずらせて、各加算信号を順次読み
   出し、固体撮像素子出力信号を形成する読み出し
   手段と、 該読み出し手段より出力される前記固体撮像素
   子出力信号から、水平方向に隣接する信号の和を
   取り、実時間輝度信号を形成する実時間輝度信号
   形成回路と、 前記固体撮像素子出力信号から、水平方向に隣
   接する信号の差を取り、実時間色信号を形成する
   実時間色信号形成回路と、 前記固体撮像素子出力信号を１フイールド遅延
   させたフイールド遅延出力信号から、水平方向に
   隣接する信号の差を取り、フイールド遅延色信号
   を形成するフイールド遅延色信号形成回路と を設けて成ることを特徴とする固体カラー撮像装
   置。 ２ 各々感応スペクトル特性の相異なる第１の受
   光素子、第２の受光素子、第３の受光素子及び第
   ４の受光素子から成り、第１の水平列は前記第１
   の受光素子と第２の受光素子が交互に繰り返し配
   列され、第２の水平列は前記第３の受光素子と第
   ４の受光素子が交互に繰り返し配列され、さら
   に、第３の水平列は前記第１の水平列に対し同じ
   受光素子組が位相を180°移して配列され、第４の
   水平列は前記第２の水平列に対し同じ受光素子組
   が位相を180°移して配列され、前記４水平列が順
   次繰り返し配列されて成る固体撮像素子と、 垂直方向に隣接する二つの受光素子信号を加算
   し、加算の組み合わせをフイールド毎に垂直方向
   に１素子交互にずらせて、各加算信号を順次読み
   出し、固体撮像素子出力信号を形成する読み出し
   手段と、 該読み出し手段より出力される前記固体撮像素
   子出力信号から、水平方向に隣接する信号の和を
   取り、実時間輝度信号を形成する実時間輝度信号
   形成回路と、 前記固体撮像素子出力信号から、水平方向に隣
   接する信号の差を取り、実時間色信号を形成する
   実時間色信号形成回路と、 前記固体撮像素子出力信号を１フイールド遅延
   させたフイールド遅延出力信号から、水平方向に
   隣接する信号の和を取り、フイールド遅延輝度信
   号を形成するフイールド遅延輝度信号形成回路
   と、 前記固体撮像素子出力信号を１フイールド遅延
   させたフイールド遅延出力信号から、水平方向に
   隣接する信号の差を取り、フイールド遅延色信号
   を形成するフイールド遅延色信号形成回路と、 前記実時間輝度信号から前記フイールド遅延輝
   度信号を減算して色補正信号を形成し、該色補正
   信号を前記フイールド遅延色信号に加算すること
   により、補正フイールド遅延色信号を形成する補
   正フイールド遅延色信号形成回路と を設けて成ることを特徴とする固体カラー撮像装
   置。