JPH0998437A

JPH0998437A - 撮像装置

Info

Publication number: JPH0998437A
Application number: JP7253885A
Authority: JP
Inventors: Toshiaki Nakakuki; 俊朗中莖
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1995-09-29
Filing date: 1995-09-29
Publication date: 1997-04-08
Anticipated expiration: 2015-09-29
Also published as: JP3499985B2

Abstract

(57)【要約】【課題】モザイク型のカラーフィルタを装着した固体
撮像素子を用いる撮像装置でモアレの発生を防止する。【解決手段】画像データＩ(n)をラインメモリ１１に
３行分記憶し、各行を表す画像データＩl、Ｉm、Ｉnを
取り出して２次元フィルタ回路１２に入力する。２次元
フィルタ回路１２の前段フィルタ１３で２種類の色成分
を繰り返す画像データＩp、Ｉqを生成し、この画像デー
タＩp、Ｉqを色分離回路１５で各色成分に対応した画像
データＩg1、Ｉw1、Ｉy1、Ｉc1に分離する。バランス補
正回路１６で各画像データＩg1、Ｉw1、Ｉy1、Ｉc1に固
有のゲインを与えて感度のばらつきを補正し、画像デー
タＩg2、Ｉw2、Ｉy2、Ｉc2を生成する。２次元フィルタ
回路１２の後段フィルタ１４で、各画像データＩg2、Ｉ
w2、Ｉy2、Ｉc2を加算た後、水平方向のフィルタリング
処理を施して輝度データＹを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、モザイク型のカラ
ーフィルタが装着された固体撮像素子を用いる撮像装置
に関し、特に、ＶＧＡ(Video Graphics Array)に対応し
て画像データを得られるようにした撮像装置に関する。

【０００２】

【従来の技術】単一の撮像素子を用いてカラー撮像を行
う場合には、撮像素子の受光部にストライプ型やモザイ
ク型のカラーフィルタが装着され、受光部の各画素が所
定の色成分に対応付けられる。このような撮像素子から
出力される画像信号は、装着されるカラーフィルタの配
列構成に対応し、各色成分を表す画像情報が所定の順序
で連続する。そして、撮像素子から出力される画像信号
に対する信号処理の過程では、色成分情報の生成と輝度
情報の生成とがそれぞれ独立して行われる。例えば、各
色成分に対応付けられた画像情報をマトリクス処理する
ことにより所望の色成分情報が生成され、各色成分を表
す画像情報を所定の割合で合成することにより輝度情報
が生成される。これらの輝度情報及び色成分情報は、所
定の変調処理を経て、表示側のテレビジョン方式に従う
フォーマットのテレビジョン信号に変換された後に表示
装置や記録装置等に供給される。

【０００３】図１３は、カラー撮像を行う撮像装置の構
成を示すブロック図である。ＣＣＤ固体撮像素子１は、
行列配置される複数の受光画素及び各受光画素に対応す
る複数のシフトレジスタを有し、受光面には、各受光画
素を所定の色成分に対応付けるカラーフィルタが装着さ
れる。このＣＣＤ１は、水平同期信号及び垂直同期信号
に従う多相のクロックパルスによってパルス駆動され、
各受光画素に蓄積される情報電荷が、それぞれ所定のタ
イミングでシフトレジスタを介して順次転送出力され
る。そして、ＣＣＤ１の出力側において、情報電荷の電
荷量が１画素単位で電圧値に変換され、１行単位で連続
する画像信号Ｙ0(t)として出力される。この画像信号Ｙ
0(t)は、１画素分の画像情報が１つの色成分を表してお
り、その色成分の出力順序が、ＣＣＤ１に装着されるカ
ラーフィルタの配列構成に対応する。アナログ処理回路
２は、ＣＣＤ１から出力される画像信号Ｙ0(t)に対して
サンプルホールド、ＡＧＣ（自動利得制御）等の処理を
施し、波形整形された画像信号Ｙ1(t)としてＡ／Ｄ変換
回路３に供給する。例えば、サンプルホールド処理で
は、ＣＣＤ１の出力動作に同期して基準電位と信号電位
とが繰り返される画像信号Ｙ0(t)を受け、基準電位部分
と信号電位部分とをそれぞれサンプリングし、その電位
差を取り出す。これにより、ＣＣＤ１の各受光画素に蓄
積される情報電荷の量に対応した電位レベルが１クロッ
ク期間維持される画像信号を得ている。そして、ＡＧＣ
処理では、サンプルホールド処理された画像信号に対
し、１垂直走査期間の平均レベルに応じたゲインを与
え、各垂直走査期間毎の平均レベルが略均一になるよう
に制御する。このアナログ処理回路２においては、画像
信号の各色成分は区別されず、共通の処理が施される。
Ａ／Ｄ変換回路３は、アナログ信号処理部２から出力さ
れる画像信号Ｙ1(t)を、ＣＣＤ１の出力動作、即ち、ア
ナログ信号処理部２の信号処理動作に同期して順次アナ
ログ／デジタル変換し、ＣＣＤ１の各受光画素に対応す
る画像データＩ(n)を生成する。

【０００４】色成分データ生成回路４は、Ａ／Ｄ変換回
路３から出力される画像データを取り込み、所定のマト
リクス演算を施すことで所望の色成分の情報を表す色成
分データを生成する。同時に、各色成分毎のバランスを
調整（ホワイトバランス調整）して、再生側で表示され
る画面の色を被写体の色に近付けるようにしている。輝
度データ生成回路５は、Ａ／Ｄ変換回路３から出力され
る画像データを取り込み、各色成分を所定の割合で合成
することにより輝度データを生成する。これら色成分デ
ータ生成回路４及び輝度データ生成回路５は、それぞれ
デジタル処理回路によって構成される。

【０００５】ところで、ＣＣＤ１の受光部に装着される
カラーフィルタについては、モザイク型の場合、ストラ
イプ型と比較してフィルタの構成が複雑になるが、水平
解像度を高くすることができるという利点を有してい
る。このため、高解像度化が望まれるビデオカメラ等に
おいては、主としてモザイク型のカラーフィルタを装着
した固体撮像素子が採用される。

【０００６】図１４は、モザイク型のカラーフィルタの
一例を示す平面図である。ＣＣＤ１の受光部の各画素に
対応して複数のセグメントに分割され、各セグメントに
例えば、Ｙｅ（イエロー）、Ｃｙ（シアン）、Ｗ（ホワ
イト）及びＧ（グリーン）の各色成分が周期的に割り当
てられる。ここでは、Ｗ及びＧの各成分が奇数行に交互
に配置され、Ｙｅ及びＣｙの各成分が偶数行に交互に配
置されている。このようなカラーフィルタがＣＣＤ１に
装着された場合、色成分データ生成回路４においては、
Ｗ成分とＹｅ成分との差またはＣｙ成分とＧ成分との差
からＢ（ブルー）成分を表す色成分データが生成され、
Ｗ成分とＣｙ成分との差またはＹｅ成分とＧ成分との差
からＲ（レッド）成分を表す色成分データが生成され
る。そして、輝度データ生成回路５においては、各色成
分を平均化することにより、輝度データが生成される。
即ち、４つの色成分をそのまま合成すれば、Ｙｅ＋Ｃｙ＋Ｇ＋Ｗ＝（Ｂ＋Ｇ）＋（Ｒ＋Ｇ）＋Ｇ＋（Ｒ＋Ｇ＋Ｂ）＝２Ｒ＋４Ｇ＋２Ｂとなり、Ｒ、Ｇ及びＢの各成分が１：２：１の割合で合
成された輝度信号を得ることができる。本来、輝度信号
は、ＮＴＳＣ方式の規格によれば、Ｒ、Ｇ及びＢの各成
分を３：６：１の割合で合成して生成されるものである
が、これに近い割合で合成して生成したものであれば、
実用的に問題は生じない。

【０００７】

【発明が解決しようとする課題】各種の色成分からなる
カラーフィルタが装着されたＣＣＤ１では、各色成分に
対応する受光画素の感度にばらつきが生じる。即ち、カ
ラーフィルタを構成する各セグメント毎に光の透過効率
が異なるため、ＣＣＤ１の各受光画素自体が同じ感度を
有しているとしても、各色成分毎の感度は一致しなくな
る。例えば、カラーフィルタのＧ層をＹｅ層とＣｙ層と
の重ね合わせにより形成する場合、Ｇ成分の受光画素の
感度がＹｅ成分及びＣｙ成分の受光画素の感度より低く
なるのに対して、着色層が形成されないＷ成分の受光画
素の感度はＹｅ成分及びＣｙ成分の受光画素の感度より
高くなる。従って、図１５に示すように、各色成分毎に
受光感度がばらつくことになる。さらに、各受光画素の
情報電荷の蓄積容量は均一であるため、出力電圧の飽和
レベルは各色成分で一定の電圧Ｖsaとなるが、各受光画
素がその飽和レベルに達する入射光量は、感度の高い受
光画素ほど少なくなる。例えば、感度の高いＷ成分の画
素が入射光量Ａの時点で出力電圧がＶsaに達するのに対
し、Ｙｅ成分またはＣｙ成分の画素は、入射光量Ａより
も高い入射光量Ｂの時点までＶsaには達しない。さらに
感度の低いＧ成分の画素では、入射光量Ｂよりも高い入
射光量Ｃの時点までＶsaには達しない。

【０００８】このような各色成分毎の受光画素の光学的
特性の差は、輝度データにノイズ成分を重畳させるた
め、再生画面上で被写体の輪郭を乱す、いわゆるモアレ
を発生させる原因となる。そこで本発明は、モザイク型
のカラーフィルタを装着した固体撮像素子を用いた撮像
装置でモアレの発生を抑圧することを目的とする。

【０００９】

【課題を解決するための手段】本発明は、上述の課題を
解決するために成されたもので、各種の色成分にそれぞ
れ対応付けられた複数の受光画素がマトリクス配置さ
れ、入射光に応答して発生する情報電荷を各受光画素に
蓄積する固体撮像素子と、この固体撮像素子の出力に対
して素子の出力動作に同期したタイミングで信号処理を
施し、所定のフォーマットに従う画像信号を生成する信
号処理回路と、上記画像信号をデジタル化して上記固体
撮像素子の各受光画素に対応する第１の画像データを生
成するＡ／Ｄ変換回路と、上記各色成分に対応して個別
に設定されるゲインを上記第１の画像データに与えて各
色成分毎の平均レベルが均一化された第２の画像信号を
生成するバランス補正回路と、上記第２の画像データに
対して水平方向及び垂直方向の適数画素を合成して輝度
データを生成する２次元フィルタ回路と、を備えたこと
を特徴としている。

【００１０】これにより、各色成分毎の受光感度のばら
つきがバランス補正回路によってほぼ均一になるように
補正され、さらに、水平方向及び垂直方向に隣接する受
光画素間の高周波成分が除去されることになる。従っ
て、輝度データの生成時にモアレの原因となるノイズ成
分が発生しにくくなる。さらに本発明は、上記第２の画
像データが一定のクリップレベルを越えたときに上記第
２の画像データをクリップレベルに固定するクリップ回
路と、上記第２の画像データの内、特定の色成分に対応
するデータを選択的に取り出し、上記クリップ回路のク
リップレベルとの差に対して一定の係数を乗じて補償デ
ータを生成する補償データ生成回路と、上記第２の画像
データが上記クリップ回路のクリップレベルを越えたと
きに上記補償データを上記クリップ回路のクリップレベ
ルに加算して第３の画像データを生成する加算回路と、
をさらに備えたことを特徴としている。

【００１１】これにより、相対的に感度の高い色成分に
対応する受光画素がオーバーフロー状態となり、その受
光画素に対応する画像データが飽和したとき、その他の
感度の低い受光画素に対応する画像データから生成され
る補償データによって画像データが擬似的に生成され
る。従って、オーバーフロー状態にある受光画素に対応
する画像データが入射光量の増大に応じて見かけ上大き
くなるため、固体撮像素子のダイナミックレンジを拡大
することができる。

【００１２】

【発明の実施の形態】図１は、本発明の撮像装置の構成
を示すブロック図であり、図２及び図３は各部の動作を
説明するタイミング図である。図２は、奇数ラインの画
素に対応した輝度データを得る場合を示し、図３は、偶
数ラインの画素に対応した輝度データを得る場合を示
す。尚、図１では、輝度データＹの生成過程のみを示
し、色成分データの生成過程は省略してある。

【００１３】ＣＣＤ１、アナログ信号処理回路２及びＡ
／Ｄ変換回路３は、図１３と同一のものであり、ＣＣＤ
１から出力される画像信号Ｙ0(t)から画像データＹ1(t)
が生成され、この画像データＹ1(t)がデジタルデータに
変換されて画像データＩ(n)が生成されるように構成さ
れる。ラインメモリ回路１１は、Ａ／Ｄ変換回路３から
１行単位で連続して出力される画像データＩ(n)を目標
画素が含まれる１行とその上下２行との合計３行分記憶
する。３行分記憶された画像データＩ(n)は、各行毎に
画像データＩl、Ｉm、Ｉnとして同時に出力される。こ
れらの画像データＩl、Ｉm、Ｉnは、ＣＣＤ１に装着さ
れるカラーフィルタの構成に対応し、所定の色成分が連
続する。例えば、カラーフィルタが図１４に示す構成の
場合、目標画素が奇数行にあるときには、図２に示すよ
うに、画像データＩmでＣｙ（シアン）成分とＹｅ（イ
エロー）成分とが交互に繰り返され、画像データＩl、
ＩnでＷ（ホワイト）成分とＧ（グリーン）成分とが交
互に繰り返される。そして、目標画素が偶数行にあると
きには、色成分の配列が入れ代わり、画像データＩmで
Ｗ成分とＧ成分とが交互に繰り返され、画像データＩ
l、ＩnでＹｅ成分とＣｙ成分とが交互に繰り返される。

【００１４】２次元フィルタ回路１２は、前段フィルタ
１３及び後段フィルタ１４からなり、ラインメモリ回路
１１から出力される画像データＩl、Ｉm、Ｉnに基づい
て、目標画素の上下２行の受光画素と左右２列の受光画
素の合計９画素の画像データＩ(n)に対してフィルタリ
ング処理を施し、輝度データＹを生成する。まず、前段
フィルタ１３は、画像データＩl、Ｉm、Ｉnを受け、目
標画素の画像データＩmから画像データＩpを生成し、目
標画素の上下の受光画素の画像データＩl、Ｉnから画像
データＩqを生成する。即ち、前段フィルタ１３は、目
標画素が含まれる行から得ることのできない色成分を目
標画素の上下の行から生成することにより、目標画素が
含まれる行から全ての色成分を擬似的に得られるように
する。例えば、目標画素が奇数行にあるとき、画像デー
タＩmにＷ成分とＧ成分とが含まれていないため、画像
データＩl及びＩnからＷ成分とＧ成分とを得るようにし
ている。同様に、目標画素が偶数行にあるときには、画
像データＩmにＹｅ成分とＣｙ成分とが含まれていない
ため、画像データＩl及びＩnからＹｅ成分とＣｙ成分と
を得るようにしている。これにより、前段フィルタ１３
から出力される画像データＩp、Ｉqで表される画像の重
心を一致させることができる。

【００１５】色分離回路１５は、１行毎に反転する第１
の分離パルスＤ１及び１列毎に反転する第２の分離パル
スＤ２に応答して、前段フィルタ１３から出力される画
像データＩp、Ｉqを各色成分別に分離し、Ｇ、Ｗ、Ｙｅ
及びＣｙの各色成分に対応した画像データＩg1、Ｉw1、
Ｉy1、Ｉc1を出力する。例えば、図２に示すように、画
像データＩpがＹｅ成分とＣｙ成分とを繰り返し、画像
データＩqがＧ成分とＷ成分とを繰り返しているときに
は、画像データＩpを振り分けて画像データＩy1、Ｉc1
を生成し、画像データＩqを振り分けて画像データＩg
1、Ｉw1を生成する。また、図３に示すように、画像デ
ータＩpがＧ成分とＷ成分とを繰り返し、画像データＩq
がＹｅ成分とＣｙ成分とを繰り返しているときには、画
像データＩpを振り分けて画像データＩg1、Ｉw1を生成
し、画像データＩqを振り分けて画像データＩy1、Ｉc1
を生成する。尚、第１及び第２の分離パルスＤ１、Ｄ２
は、ＣＣＤ１の駆動タイミングを決定するタイミングパ
ルスと同時に生成され、第１の分離パルスＤ１は水平走
査のタイミングに同期し、第２の分離パルスＤ２はＣＣ
Ｄ１の出力動作に同期する。

【００１６】バランス補正回路１６は、各色成分毎に個
別のゲイン係数を設定し、そのゲイン係数を各画像デー
タＩg1、Ｉw1、Ｉy1、Ｉc1に乗算することにより、各色
成分毎の見かけ上の感度のバランスを調整する。即ち、
ＣＣＤ１においては、各色成分毎に感度が異なるため、
同じ輝度の光に対しても色成分毎の画像データＩg1、Ｉ
w1、Ｉy1、Ｉc1のレベルがばらつくため、色成分毎に個
別に設定されるゲイン係数を乗算することにより、ばら
つきをなくした画像データＩg2、Ｉw2、Ｉy2、Ｉc2を生
成する。例えば、最も感度の高いＷ成分を表す画像デー
タＩw1をそのまま画像データＩw2とし、この画像データ
Ｉw2に合わせるようにしてその他の色成分を表す画像デ
ータＩg1、Ｉy1、Ｉc1に対する乗数を設定するように構
成される。従って、各画素の入射光量に対する各画像デ
ータＩg2、Ｉw2、Ｉy2、Ｉc2の変化は、図４に示すよう
に、各色成分で一致することになる。但し、各画像デー
タＩg2、Ｉw2、Ｉy2、Ｉc2毎に掛けられたゲイン係数が
異なっているため、それぞれの飽和レベルＤsa、Ｄsb、
Ｄscは一致しない。

【００１７】後段フィルタ１４は、画像データＩg2、Ｉ
w2、Ｉy2、Ｉc2を取り込み、それらを全て加算すること
で、前段フィルタ１３の処理と合わせて垂直方向の３画
素に対するフィルタリング処理を完了させる。さらに、
各画像データＩg2、Ｉw2、Ｉy2、Ｉc2の加算値に基づい
て、水平方向の３画素に対するフィルタリング処理を施
し、輝度データＹを生成する。この結果、２次元フィル
タ回路１２は、画像データＩ(n)に対して、水平方向及
び垂直方向の２方向でノッチフィルタを構成し、所定の
周波数成分を取り除く。詳しくは、図５に示すように、
サンプリング周波数ｆSの１／２の周波数成分を取り除
くことができる。尚、サンプリング周波数ｆsとは、Ａ
／Ｄ変換回路３のサンプリング周波数であり、アナログ
信号処理回路２でのサンプルホールド処理及びＣＣＤ１
の出力動作の周波数に一致する。また、サンプリング周
波数ｆsの１／２以下の周波数成分については、ＣＣＤ
１に照射される光の光路に回折格子等の光学的なローパ
スフィルタを設けることにより予め除去されており、２
次元フィルタ回路１２の出力側には表れない。

【００１８】以上のようにして生成される輝度データＹ
については、バランス補正回路１６によって色成分毎の
ばらつきが補正されており、さらには、２次元フィルタ
回路１２によってサンプリングノイズが取り除かれてい
るため、再生画像の輪郭を乱すモアレの原因となるノイ
ズ成分が大幅に抑圧されている。図６は、ラインメモリ
回路１１及び２次元フィルタ回路１２の前段フィルタ１
３の構成を示すブロック図で、図７は、２次元フィルタ
回路１２の後段フィルタ１４の構成を示すブロック図で
ある。

【００１９】ラインメモリ回路１１は、第１〜第３のラ
インメモリ２１、２２、２３により構成される。第１〜
第３のラインメモリ２１、２２、２３は、それぞれ１行
分の画像データＩ(n)を記憶する容量を有し、互いに直
列に接続されて画像データＩ(n)を１行単位で順次記憶
する。即ち、第１のラインメモリ２１の読み出し出力が
第２のラインメモリ２２の書き込み入力に接続され、さ
らに、第２のラインメモリ２２の読み出し出力が第３の
ラインメモリ２３の書き込み入力に接続され、第１及び
第２のラインメモリ２１、２２から読み出される画像デ
ータＹ2がそのまま第２及び第３のラインメモリ２２、
２３に書き込まれるように構成される。これにより、第
１〜第３のラインメモリ２１、２２、２３には、連続す
る３行（ｊ＋１行、ｊ行、ｊ−１行）の画像データＹ2
(j+1)、Ｙ2(j)、Ｙ2(j-1)が記憶される。

【００２０】前段フィルタ１３は、乗算器２４及び加算
器２５により構成される。乗算器２４は、第２のライン
メモリ２２から読み出される画像データＩmに乗数
「２」を乗算し、画像データＩpとして出力する。加算
器２５は、第１のラインメモリ２１から読み出される画
像データＩlと、第３のラインメモリ２３から読み出さ
れる画像データＩnとを加算し、画像データＩqとして出
力する。このようにして生成される画像データＩp、Ｉq
については、それぞれが表す画像の重心が一致すると同
時に、互いのゲインも一致している。

【００２１】後段フィルタ１４は、加算器２６、第１〜
第３のラッチ２７、２８、２９、乗算器３０、加算器３
１及び除算器３２より構成される。加算器２６は、各画
像データＩg2、Ｉw2、Ｉy2、Ｉc2をそれぞれ加算し、画
像データＩ2として第１のラッチ２７に供給する。ここ
で、各画像データＩg2、Ｉw2、Ｉy2、Ｉc2については、
図２及び図３に示す画像データＩg1、Ｉw1、Ｉy1、Ｉc1
と同様に、それぞれ１画素（１列）おきの間欠的なデー
タであるため、加算器２６では、常に２つの成分のみが
加算されることになる。この結果、画像データＩ2は、
目標画素が奇数行にあるとき、Ｗ(l)＋Ｗ(n)＋２Ｃｙ(m)（＝２Ｗ＋２Ｃｙ）Ｇ(l)＋Ｇ(n)＋２Ｙｅ(m)（＝２Ｇ＋２Ｙｅ）の２種類の成分が交互に繰り返され、目標画素が偶数行
にあるとき、Ｃｙ(l)＋Ｃｙ(n)＋２Ｗ(m)（＝２Ｗ＋２Ｃｙ）Ｙｅ(l)＋Ｙｅ(n)＋２Ｇ(m)（＝２Ｇ＋２Ｙｅ）の２種類の成分が交互に繰り返されることになる。第１
〜第３のラッチ２７、２８、２９は、直列に接続されて
シフトレジスタを成し、連続する画像データＩ2(i+1)、
Ｉ2(i)、Ｉ2(i-1)をそれぞれ記憶する。乗算器３０は、
第２のラッチ２８にラッチされた画像データＩ2(i)に係
数「２」を乗算し、乗算結果を加算器３１に供給する。
加算器３１は、乗算器３０から得られる乗算結果に、第
１のラッチ２７にラッチされた画像データＩ2(i+1)と第
３のラッチ２９にラッチされた画像データＩ2(i-1)とを
加算し、その加算結果を除算器３２に供給する。除算器
３２は、加算器３１から与えられる加算結果を除数「１
６」で除算し、除算結果を輝度データＹとして出力す
る。以上のように、輝度データＹは、Ｙ=（Ｉ2(i+1)＋２Ｉ2(i)＋Ｉ2(i-1)）／１６によって与えられることになる。尚、乗算器３２の除数
については、輝度データＹのビット数を画像データＩ
(n)と一致させる場合に「１６」となるのであり、輝度
データＹのビット数に制限がなければ、その他の値とす
ることも可能である。ここで、画像データＩ2が２Ｗ＋
２Ｃｙ及び２Ｇ＋２Ｙｅの成分の繰り返しであることを
考えると、輝度データは、以下のようになる。

【００２２】Ｙ＝（２Ｗ＋２Ｃｙ＋２（２Ｇ＋２Ｙｅ）＋２Ｗ＋２Ｃｙ）／１６＝（８Ｒ＋１６Ｇ＋８Ｂ）／１６＝Ｒ／２＋Ｇ＋Ｂ／２このような演算は、全ての受光画素に対して同一の結果
となり、全ての受光画素から同一成分により構成される
輝度データＹを得ることができる。

【００２３】ところで、バランス補正回路１６から得ら
れる画像データＩg2、Ｉw2、Ｉy2、Ｉc2については、画
像データＩg1、Ｉw1、Ｉy1、Ｉc1にそれぞれ異なるゲイ
ン係数を乗算して得られるものであるため、図４に示す
ように、それぞれの飽和レベルが互いに異なっている。
例えば、相対的な感度が最も高く、最小のゲイン係数が
乗算されるＷ成分を表す画像データＩw2の飽和レベルが
Ｄsaであるとすると、Ｗ成分よりも感度の低いＹｅ成分
及びＣｙ成分を表す画像データＩy2、Ｉc2の飽和レベル
はＤsaよりも高いＤsbとなる。さらに感度の低いＧ成分
を表す画像データＩg2の飽和レベルについては、Ｄsbよ
りもさらに高いＤscとなる。このため、Ｗ成分に対応し
た受光画素が飽和状態になった後、即ち、図４で入射光
量がＡを越えた時点から、バランス補正回路１６では各
色成分のバランスの調整が不可能になる。従って、特定
の色成分（ここではＷ成分）が飽和状態となった時点
で、各色成分を表す画像データのレベルをクリップする
必要が生じる。しかしながら、各色成分を飽和レベルよ
りも小さいレベルでクリップすると、ＣＣＤ１のダイナ
ミックレンジを十分に活用することができなる。

【００２４】そこで、飽和状態となった受光画素に対応
する画像データをその他の画像データを用いて補償する
ように構成すれば、ＣＣＤ１のダイナミックレンジの低
下を少なくすることが可能である。図８は、特定の色成
分を表す画像データが飽和したとき、その他の色成分を
表す画像データを用いて補償するようにした撮像装置の
構成を示すブロック図である。

【００２５】この図において、ＣＣＤ１からＡ／Ｄ変換
回路３までと、ラインメモリ回路１１、色分離回路１５
及びバランス補正回路１６は、図１と同一である。ま
た、２次元フィルタ回路１２は、前段フィルタ１３のみ
図１と同一である。オーバークリップ回路１７は、バラ
ンス補正回路１６と後段フィルタ１４’との間に設けら
れ、バランス補正回路１６から入力される画像データＩ
g2、Ｉw2、Ｉy2、Ｉc2を所定のレベル以下にクリップし
て画像データＩg3、Ｉw3、Ｉy3、Ｉc3として出力する。
即ち、入力される画像データＩg2、Ｉw2、Ｉy2、Ｉc2が
クリップレベルＬに達していないときには、画像データ
Ｉg2、Ｉw2、Ｉy2、Ｉc2がそのまま画像データＩg3、Ｉ
w3、Ｉy3、Ｉc3として出力され、画像データＩg2、Ｉw
2、Ｉy2、Ｉc2がクリップレベルＬを越えたときには、
一定値であるクリップレベルＬが画像データＩg3、Ｉw
3、Ｉy3、Ｉc3として出力される。このオーバークリッ
プ回路１７のクリップレベルＬは、画像データＩg2、Ｉ
w2、Ｉy2、Ｉc2の各飽和レベルの内、最も低いレベルに
対応して設定される。例えば、図４に示すような特性を
示す画像データＩg2、Ｉw2、Ｉy2、Ｉc2に対しては、ク
リップレベルはＤsaまたはＤsa以下に設定される。

【００２６】補償データ生成回路１８は、バランス補正
回路１６で生成される画像データＩg2、Ｉw2、Ｉy2、Ｉ
c2の内、最も飽和レベルが高くなるもの、例えば、Ｇ成
分を表す画像データＩg2を取り込み、この画像データＩ
g2及びクリップレベルＬに基づいて補償データＣを生成
する。そして、後段フィルタ１４’は、画像データＩg
3、Ｉw3、Ｉy3、Ｉc3を取り込み、各画像データＩg3、
Ｉw3、Ｉy3、Ｉc3にそれぞれ補償データＳを加算した
後、図１に示す後段フィルタ１４と同一のフィルタリン
グ処理を施す。これにより、所定の周波数成分（サンプ
リング周波数ｆsの１／２の周波数）が取り除かれて輝
度データＹが生成される。

【００２７】このようにして輝度データＹが生成される
と、感度の高い画素が飽和状態となっている場合でも、
補償データＳを得る画素が飽和レベルに達するまでは、
図９に示すように、補償データＳの増加に応じて感度の
高い画素に対応する画像データの値を擬似的に増加させ
ることができる。図１０は、補償データ生成回路１８の
構成を示すブロック図である。

【００２８】補償データ生成回路１８は、減算器３３、
除算器３４、アンダーフロー回路３５及びラッチ３６よ
り構成される。減算器３３は、画像データＩg2からオー
バークリップ回路１７のクリップレベルＬを減算し、そ
の減算結果を除算器３４に供給する。除算器３４は、減
算器３３の減算結果を所定の係数ｎで除算し、その除算
結果をアンダーフロー回路３５に供給する。即ち、減算
器３３及び除算器３４により、画像データＩg2に対し
て、（Ｉg2−Ｌ）／ｎなる演算が実行される。アンダー
フロー回路３５は、その演算結果の正負を判定し、演算
結果が正の値のときには、演算結果をそのまま補償デー
タＳとし、負の値となったときには、演算結果を「０」
に置き換えて補償データＳとする。ラッチ３６は、アン
ダーフロー回路３５から供給される補償データＳを２デ
ータ期間だけ保持し、各データ期間に補償データＳを後
段フィルタ１４’に供給する。即ち、バランス補正回路
１６から取り出される画像データＩg2については、１画
素おきに間欠的に得られるため、補償データＳも間欠的
になり、ラッチ３６によって１画素分だけ補償データＳ
を保持することで後段フィルタ１４’に補償データＳを
連続的に供給できるようにしている。

【００２９】図１１は、補償データ生成回路１８の他の
構成を示すブロック図である。この補償データ生成回路
１８’は、図１０に示す補償データ生成回路１８のラッ
チ３６に代えて、第１〜第３のラッチ３７〜３９、乗算
器４０、加算器４１及び除算器４２が画像データＩg2の
入力側に接続される。各ラッチ３７〜３９は、直列に接
続されて３段のシフトレジスタを構成し、画像データＩ
g2を３画素分保持する。但し、画像データＩg2は、１画
素おきの間欠的なデータであるため、各ラッチ３７〜３
９には１つおきにデータが保持される。例えば、第２の
ラッチ３８に画像データＩg2が保持されているときに
は、第１及び第３のラッチ３７、３９に画像データＩg2
は保持されず、第１及び第３のラッチ３７、３９に画像
データＩg2が保持されているときには、第２のラッチ３
８に画像データＩg2は保持されない。乗算器４０は、第
２のラッチ３８に保持された画像データＩg2に乗数
「２」を乗算し、乗算結果を加算器４２に供給する。加
算器４１は、乗算器４０の乗算結果に第１及び第３のラ
ッチ３７、３９に保持された画像データＩg2をそれぞれ
加算し、加算結果を除算器４２に供給する。そして、除
算器４２は、加算器４１の加算結果を除数「２」で除算
し、除算結果を加算器３３に供給する。この加算器３３
以降の処理については、ラッチ３６を除いて図１０の補
償データ生成回路１８と同一である。これらの第１〜第
３のラッチ３７〜３９、乗算器４０、加算器４１及び除
算器４２によれば、第２のラッチ３８にのみ画像データ
Ｉg2が保持されているときには、その画像データＩg2が
そのまま加算器３３に供給されることになり、第１及び
第３のラッチ３７、３９にのみ画像データＩg2が保持さ
れているときには、各ラッチ３７、３９にそれぞれ保持
されている画像データＩg2の平均値が加算器３３に供給
される。従って、加算器３３の入力段階で、画像データ
Ｉg2の間欠部分がその前後のデータで補間されており、
連続的に補償データＳを生成することができる。この場
合、画像データＩg2の間欠部分をその前後のデータの平
均値で補間しているため、図１０に示す補償データ生成
回路１８においてラッチ３６で補間して補償データＳを
生成する場合と比べて、より円滑な補償処理が可能にな
る。

【００３０】図１２は、後段フィルタ１４’の構成を示
すブロック図である。後段フィルタ１４’は、図７に示
す後段フィルタ１４に４つの加算器４３〜４６が付加さ
れて構成される。４つの加算器４３〜４６は、入力側に
接続され、各画像データＩg3、Ｉw3、Ｉy3、Ｉc3にそれ
ぞれ補償データＳを加算する。これら各加算器４３〜４
６の加算結果は、加算器２６に供給され、全てが加算さ
れる。この加算器２６以降の処理については、図７と同
一である。尚、各加算器４３〜４６については、画像デ
ータＩg3、Ｉw3、Ｉy3、Ｉc3が入力されないときには、
加算を行わず、加算器２６にデータを供給しない。実際
に各画像データＩg3、Ｉw3、Ｉy3、Ｉc3は、画像データ
Ｉg1、Ｉw1、Ｉy1、Ｉc1と同様に、１画素おきの間欠的
なデータであるため、各加算器４３〜４６では、常に画
像データＩg3、Ｉw3、Ｉy3、Ｉc3の内の２つに対して補
償データＳの加算が行われることになる。また、４つの
加算器４３〜４６に代えて、補償データＳを２倍する乗
算器を設け、その乗算結果を画像データＩg3、Ｉw3、Ｉ
y3、Ｉc3と共に加算器２６で加算するようにしても同じ
演算結果を得ることができる。

【００３１】以上の実施例においては、垂直方向の３画
素及び水平方向の３画素の合計９画素の画像データに対
して２次元のフィルタリング処理を施す場合を例示した
が、フィルタリング処理を施す際の画素数については、
５画素あるいは７画素以上とすることも可能である。

【００３２】

【発明の効果】本発明によれば、モザイク型のカラーフ
ィルタが装着されたＣＣＤを用いた撮像装置において、
色成分毎の感度のばらつきを補正し、さらに、２次元の
フィルタを構成することにより、輝度データに重畳され
るノイズを抑圧してモアレの発生を防止することができ
る。

【００３３】さらに、特定の色成分の画素でオーバーフ
ローが生じたとき、その色成分を他の色成分を用いて表
すようにしたことで、補償用の画像データを得る色成分
でオーバーフローが生じるまでは、各色成分のバランス
が大きくくずれることがなくなる。従って、特定の色成
分の画素のオーバーフローによるノイズ成分の発生を抑
圧すると同時に、撮像素子のダイナミックレンジが狭く
なるの防止することができる。

【図面の簡単な説明】

【図１】本発明の撮像装置の第１の実施形態を示すブロ
ック図である。

【図２】本発明の撮像装置の第１の動作を説明するタイ
ミング図である。

【図３】本発明の撮像装置の第２の動作を説明するタイ
ミング図である。

【図４】バランス補正回路で補正した画像データの特性
を示す図である。

【図５】２次元フィルタ回路の周波数特性を示す図であ
る。

【図６】ラインメモリ及び前段フィルタの構成を示すブ
ロック図である。

【図７】後段フィルタの構成を示すブロック図である。

【図８】本発明の撮像装置の第２の実施形態を示すブロ
ック図である。

【図９】補償データにより補償される画像データの特性
を示す図である。

【図１０】補償データ生成回路の構成を示すブロック図
である。

【図１１】補償データ生成回路のその他の構成を示すブ
ロック図である。

【図１２】後段フィルタの構成を示すブロック図であ
る。

【図１３】従来の撮像装置の構成を示すブロック図であ
る。

【図１４】固体撮像素子に装着されるカラーフィルタの
構成図である。

【図１５】固体撮像素子の色成分毎の出力電圧の特性を
表す図である。

【符号の説明】

１ＣＣＤ固体撮像素子２アナログ信号処理回路３Ａ／Ｄ変換回路４色成分データ生成回路５輝度データ生成回路１１ラインメモリ１２２次元フィルタ回路１３前段フィルタ１４後段フィルタ１５色分離回路１６バランス補正回路１７オーバークリップ回路１８補償データ生成回路２１〜２３ラインメモリ２４、３０、４０乗算器２５、２６、３１、３３、４１、４３〜４６加算器２７〜２９、３６、３７〜３９ラッチ３２、３４、４２除算器３５アンダーフロー回路

Claims

【特許請求の範囲】

【請求項１】各種の色成分にそれぞれ対応付けられた
複数の受光画素がマトリクス配置され、入射光に応答し
て発生する情報電荷を各受光画素に蓄積する固体撮像素
子と、この固体撮像素子の出力に対して素子の出力動作
に同期したタイミングで信号処理を施し、所定のフォー
マットに従う画像信号を生成する信号処理回路と、上記
画像信号をデジタル化して上記固体撮像素子の各受光画
素に対応する第１の画像データを生成するＡ／Ｄ変換回
路と、上記各色成分に対応して個別に設定されるゲイン
を上記第１の画像データに与えて各色成分毎の平均レベ
ルが均一化された第２の画像信号を生成するバランス補
正回路と、上記第２の画像データに対して水平方向及び
垂直方向の適数画素を合成して輝度データを生成する２
次元フィルタ回路と、を備えたことを特徴とする撮像装
置。
【請求項２】上記第２の画像データが一定のクリップ
レベルを越えたときに上記第２の画像データをクリップ
レベルに固定するクリップ回路と、上記第２の画像デー
タの内、特定の色成分に対応するデータを選択的に取り
出し、上記クリップ回路のクリップレベルとの差に対し
て一定の係数を乗じて補償データを生成する補償データ
生成回路と、上記第２の画像データが上記クリップ回路
のクリップレベルを越えたときに上記補償データを上記
クリップ回路のクリップレベルに加算して第３の画像デ
ータを生成する加算回路と、をさらに備えたことを特徴
とする請求項１に記載の撮像装置。
【請求項３】上記補償データ生成回路は、上記バラン
ス補正回路で最大のゲイン係数が乗算される色成分のデ
ータを取り込んで補償データを生成することを特徴とす
る請求項２に記載の撮像装置。