JPH08331573A - 映像信号処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 カラーフィルタの各色成分の感度の差による
各画素のオーバーフローレベルの違いを補償する。 【構成】 ３行分の映像データＹＤを３つのラインメモ
リ１１Ａ、１１Ｂ、１１Ｃに一旦記憶させ、各ラインメ
モリ１１Ａ、１１Ｂ、１１Ｃから同時に読み出した映像
信号ＹＤ1、ＹＤ2、ＹＤ3からデジタルローパスフィル
タ１２を通して映像データＹＤ0を生成する。同時に、
映像信号ＹＤ1、ＹＤ2、ＹＤ3のオーバーフローをオー
バーフロー検出回路１３Ａ、１３Ｂ、１３Ｃで検出し、
その検出出力Ｓ１、Ｓ２、Ｓ３に基づいて映像データＹ
Ｄ2あるいは映像データＹＤ0を取り出して輝度データを
生成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、各種の色成分に対応付
けられた複数種類の映像情報が所定の順序で連続する映
像信号から輝度情報を生成する映像信号処理装置に関す
る。

【０００２】

【従来の技術】単一の撮像素子を用いてカラー撮像を行
う場合には、撮像素子の受光部にストライプ状やモザイ
ク状のカラーフィルタが装着され、受光部の各画素が所
定の色成分に対応付けられる。このような撮像素子から
出力される映像信号は、装着されるカラーフィルタの配
列構成に対応し、各色成分を表す映像情報が所定の順序
で連続する。そして、撮像素子から出力される映像信号
に対する信号処理の過程では、色成分情報の生成と輝度
情報の生成とがそれぞれ独立して行われる。例えば、各
色成分に対応付けられた映像情報をマトリクス処理する
ことにより所望の色成分情報が生成され、各色成分を表
す映像情報を所定の割合で合成することにより輝度情報
が生成される。これらの輝度情報及び色成分情報は、所
定の変調処理を経て、表示側のテレビジョン方式に従う
フォーマットのテレビジョン信号に変換された後に表示
装置や記録装置等に供給される。

【０００３】図４は、カラー撮像を行う撮像装置の構成
を示すブロック図である。ＣＣＤ固体撮像素子１は、受
光部に複数の画素が行列配置され、各画素を所定の色成
分と対応付けるカラーフィルタが装着される。ドライバ
２は、水平同期信号及び垂直同期信号に応答して多相の
クロックパルスを発生し、ＣＣＤ１に供給する。これに
より、ＣＣＤ１がパルス駆動されて受光部の各画素に蓄
積される情報電荷が出力部へ順次転送され、出力部でそ
の情報電荷が電圧値に変換された後、各画素に対応する
映像情報が１行単位で連続する映像信号として出力され
る。この映像信号は、１画素分の映像情報が１つの色成
分を表しており、その色成分の出力順序が、ＣＣＤ１に
装着されるカラーフィルタの配列構成に対応する。アナ
ログ処理回路３は、ＣＣＤ１から出力される映像信号に
対してサンプルホールド、ＡＧＣ（自動利得制御）等の
処理を施し、映像信号の波形を整えてＡ／Ｄ変換回路４
に供給する。このアナログ処理回路３においては、映像
信号の各色成分は区別されず、共通の処理が施される。
Ａ／Ｄ変換回路４は、ＣＣＤ１の駆動タイミングに同期
し、アナログ処理回路３から出力される映像信号を１画
素分ずつデジタル化して映像データを生成する。色成分
データ生成回路５は、Ａ／Ｄ変換回路４から出力される
映像データを取り込み、各色成分の差を取ることで所望
の色成分の情報を表す色成分データを生成する。同時
に、各色成分毎のバランスを調整（ホワイトバランス調
整）して、再生側で表示される画面の色を被写体の色に
近付けるようにしている。輝度データ生成回路６は、Ａ
／Ｄ変換回路４から出力される映像データを取り込み、
各色成分を所定の割合で合成することにより輝度データ
を生成する。これら色成分データ生成回路５及び輝度デ
ータ生成回路６は、それぞれデジタル処理回路によって
構成される。さらに、基準クロックに基づいて水平同期
信号及び垂直同期信号を生成するタイミング制御回路が
設けられ、これにより、各部の回路動作を基準クロック
に同期させ、ＣＣＤ１から出力される映像信号を１画素
単位で映像データに変換すると共に、その映像データに
対して正確な処理を施すことができるようにしている。

【０００４】ところで、ＣＣＤ１の受光部に装着される
カラーフィルタについては、モザイク型の場合、ストラ
イプ型と比較してフィルタの構成が複雑になるが、水平
解像度を高くすることができるという利点を有してい
る。このため、高解像度化が望まれるビデオカメラ等に
おいては、モザイク状のカラーフィルタを装着した固体
撮像素子が多く採用される。

【０００５】図５は、モザイク型のカラーフィルタの一
例を示す平面図である。ＣＣＤ１の受光部の各画素に対
応して複数のセグメントに分割され、各セグメントに例
えば、Ｙｅ（イエロー）、Ｃｙ（シアン）、Ｗ（ホワイ
ト）及びＧ（グリーン）の各色成分が周期的に割り当て
られる。ここでは、Ｙｅ及びＣｙの成分が偶数行に交互
に配置され、Ｗ及びＧの成分が奇数行に交互に配置され
ている。

【０００６】ところで、ＣＣＤ１がフレーム転送方式で
ある場合、受光部の各画素が１画素毎に独立して情報電
荷を転送することができないため、２画素の情報電荷を
混合して転送するようにしている。即ち、情報電荷の転
送段階で、垂直方向（転送方向）に隣り合う２画素の情
報電荷を混合して２画素単位で転送するようにしてお
り、得られる映像情報は、垂直方向に隣接する２画素の
色成分が互いに合成された成分を表すことになる。例え
ば、Ｙｅ、Ｃｙ、Ｗ及びＧの各色成分に対して、Ｇ＋Ｃ
ｙ、Ｇ＋Ｙｅ、Ｗ＋Ｃｙ及びＷ＋Ｙｅの４種類の成分を
表す映像情報が出力される。

【０００７】ここで、ＣＣＤ１の受光部のｎ行目及びｎ
＋１行目の受光画素からＧ＋Ｃｙ及びＷ＋Ｙｅの成分を
表す映像情報が得られたとすると、色成分データ生成回
路５では、これらの情報の差から、次式に示すように、
Ｒ（レッド）成分の情報が生成される。 （Ｗ＋Ｙｅ）−（Ｇ＋Ｃｙ）＝（２Ｒ＋２Ｇ＋Ｂ）−（２Ｇ＋Ｂ） ＝ ２Ｒ （尚、Ｙｅ＝Ｒ＋Ｇ、Ｃｙ＝Ｇ＋Ｂである。） さらに、次のｎ＋２行目及びｎ＋３行目の受光画素から
Ｗ＋Ｃｙ及びＧ＋Ｙｅの成分を表す映像情報が得られた
とすると、色成分データ生成回路５では、これらの成分
の信号の差から、次式に示すように、Ｂ（ブルー）成分
の情報が生成される。

【０００８】 （Ｗ＋Ｃｙ）−（Ｇ＋Ｙｅ）＝（Ｒ＋２Ｇ＋２Ｂ）−（２Ｇ＋Ｒ） ＝ ２Ｂ 一方、輝度データ生成回路６では、各受光画素から得ら
れるＷ＋Ｙｅ及びＧ＋ＣｙあるいはＷ＋Ｃｙ及びＧ＋Ｙ
ｅの成分の信号の互いの和から、次式に示すように、
Ｒ、Ｇ及びＢの各成分が１：２：１の割合で合成された
輝度信号が生成される。

【０００９】 （Ｗ＋Ｙｅ）＋（Ｇ＋Ｃｙ）＝（Ｗ＋Ｃｙ）＋（Ｇ＋Ｙｅ） ＝Ｙｅ＋Ｃｙ＋Ｇ＋Ｗ ＝２Ｒ＋４Ｇ＋２Ｂ 本来、輝度信号は、ＮＴＳＣ方式の規格によれば、Ｒ、
Ｇ及びＢの各成分を３０％、５９％及び１１％の割合で
合成して生成されるものであるが、これに近い割合で合
成して生成したものであれば、実用的には問題がない。

【００１０】

【発明が解決しようとする課題】各種の色成分からなる
カラーフィルタが装着されたＣＣＤ１では、各色成分に
対応する画素の感度にばらつきが生じるため、各画素が
オーバーフローする入射光量にもばらつきが生じる。例
えば、カラーフィルタのＧ層をＹｅ層とＣｙ層との重ね
合わせにより形成する場合、Ｇ成分画素の感度がＹｅ成
分及びＣｙ成分の画素の感度より低くなるのに対して、
着色層が形成されないＷ成分の画素の感度はＹｅ成分及
びＣｙ成分の画素の感度より高くなる。また、Ｙｅ層と
Ｃｙ層との光の透過率についても、差が生じるおそれが
あり、Ｙｅ成分の画素の感度とＣｙ成分の画素の感度と
が一致するとは限らない。例えば、Ｙｅ成分の画素の感
度がＣｙ成分の画素の感度よりも高くなった場合には、
２つの成分が合成されたＧ＋Ｃｙ、Ｇ＋Ｙｅ、Ｗ＋Ｃｙ
及びＷ＋Ｙｅにおいて、図６に示すように、入射光量に
対する出力電圧に差が生じる。即ち、Ｗ＋Ｙｅの成分を
表す出力電圧が入射光量Ａの時点で飽和レベルＶsに達
するのに対して、Ｗ＋Ｃｙの成分を表す出力電圧はＡよ
りも高い入射光量Ｂの時点まで飽和レベルＶsには達し
ない。さらに、Ｇ＋Ｙｅ及びＧ＋Ｃｙの各成分を表す出
力電圧についても、さらに高い入射光量Ｃ及びＤの時点
まで飽和レベルＶsには達しない。従って、各成分を加
算して得られる輝度信号は、Ｗ＋Ｃｙの成分を表す出力
電圧にＧ＋Ｙｅの成分を表す出力電圧を加算した場合
と、Ｗ＋Ｙｅの成分を表す出力電圧にＧ＋Ｃｙの成分を
表す出力電圧を加算した場合とで図６に示すような差が
生じる。このような各画素の光学的特性の差は、輝度デ
ータにノイズ成分を重畳させるため、再生画面上で被写
体の輪郭を乱す、いわゆるモアレを発生させる原因とな
る。

【００１１】そこで、各画素の光学的な特性の差を輝度
データ生成の際のデジタル処理の段階で映像データを補
正し、各色成分の見かけ上の感度を均一にしている。と
ころが、このような補正は、何れかの色成分が飽和レベ
ルに達した後には、正しい補正が行われなくなるため、
入射光量が多い場合には再生画面の画質の劣化を防止す
ることはできない。例えば、図６において、入射光量が
Ａを越えた時点では、Ｗ＋Ｙｅの成分がオーバーフロー
しているのに対して、その他の成分はオーバーフローし
ていないため、各色成分の映像データに対して補正処理
を施したとしても、適正なバランスを保てなくなる。こ
のため、通常は、何れかの色成分が飽和したとき、その
他の色成分の映像データをクリップしてバランスが崩れ
るの防止するようにしている。しかしながら、最も飽和
し易い色成分を基準として全ての色成分の映像データの
クリップレベルを決定すことになるため、結果的にＣＣ
Ｄ１のダイナミックレンジが狭くなるという問題が生じ
る。

【００１２】そこで本発明は、撮像素子のダイナミック
レンジを狭くすることなく、各色成分の映像信号のバラ
ンスがくずれにくいようにすることを目的とする。

【００１３】

【課題を解決するための手段】本発明は、上述の課題を
解決するために成されたもので、その特徴とするところ
は、複数の色成分にそれぞれ対応付けられた複数種類の
映像情報が１水平ライン毎に所定の順序で連続する映像
信号を入力し、各色成分に対応する映像情報を合成して
輝度情報を生成する映像信号処理装置において、１水平
ライン毎に連続する映像情報を各ライン毎に記憶する第
１のラインメモリと、この第１のラインメモリに記憶さ
れる映像情報の上下のラインの映像情報をそれぞれ記憶
する第２及び第３のラインメモリと、上記第１のライン
メモリから読み出す映像情報に対して上記第２及び第３
のラインメモリから読み出す映像情報と平均して補償映
像情報を生成するローパスフィルタと、上記第１乃至第
３のラインメモリから読み出される映像情報がそれぞれ
所定のレベルに達しているか否かを検出する第１乃至第
３のオーバーフロー検出回路と、この第１乃至第３のオ
ーバーフロー検出回路の検出結果に基づいて、上記第１
のラインメモリから読み出される映像情報あるいは上記
ローパスフィルタで生成される補償映像情報の一方を切
り換えて出力する切り換え回路と、を含み、選択出力さ
れる映像情報から輝度情報を得ることにある。

【００１４】

【作用】本発明によれば、特定の色成分に対応する画素
でオーバーフローが生じたとき、その画素の上下に位置
する画素に対応した映像情報から生成される補償映像情
報が置き換えられて出力される。このため、相対的に感
度の高い色成分に対応する画素でオーバーフローが生
じ、その画素からの出力が飽和レベルに達したとして
も、輝度情報の生成段階での補償により、各色成分のバ
ランスがすぐには崩れなくなる。従って、各色成分の映
像データのレベルをクリップする必要はなくなる。

【００１５】

【実施例】図１は、本発明の映像信号処理装置の構成を
示すブロック図である。この図においては、デジタル化
された映像データから輝度データを生成するまでの構成
を示している。３つのラインメモリ１１Ａ、１１Ｂ、１
１Ｃは、それぞれ１行分の映像データを記憶できる容量
を有しており、それぞれ直列に接続されて１行単位で連
続して入力される映像データＹＤを順次記憶する。即
ち、ラインメモリ１１Ａの読み出し出力がラインメモリ
１１Ｂの書き込み入力に接続され、さらに、ラインメモ
リ１１Ｂの読み出し出力がラインメモリ１１Ｃの書き込
み入力に接続されて、ラインメモリ１１Ａ、１１Ｂから
読み出される映像データがそのままラインメモリ１１
Ｂ、１１Ｃに書き込まれるように構成される。これによ
り、３つのラインメモリ１１Ａ、１１Ｂ、１１Ｃには、
連続する３ライン分の映像データが常時記憶される。デ
ジタルローパスフィルタ１２は、各ラインメモリ１１
Ａ、１１Ｂ、１１Ｃから読み出される映像データＹＤ
1、ＹＤ2、ＹＤ3に対して「１」、「２」、「１」の係
数をそれぞれ乗算し、その乗算値を互いに加算した後、
加算値を１／４にして新たな映像データＹＤ0を出力す
る。即ち、 ＹＤ0＝（ＹＤ1＋２ＹＤ2＋ＹＤ3）／４ なる式に従うデジタルフィルタを構成し、各映像データ
ＹＤ1、ＹＤ2、ＹＤ3に含まれる高周波成分を取り除く
ようにしている。

【００１６】３つのオーバーフロー検出回路１３Ａ、１
３Ｂ、１３Ｃは、それぞれラインメモリ１１Ａ、１１
Ｂ、１１Ｃから読み出される映像データＹＤ1、ＹＤ2、
ＹＤ3を取り込み、それらが飽和レベルに達しているか
否かを個別に検出して、１ビットの検出出力Ｓ１、Ｓ
２、Ｓ３を発生する。判定回路１４は、オーバーフロー
検出回路１３Ａ、１３Ｂ、１３Ｃから出力される３つの
検出出力Ｓ１、Ｓ２、Ｓ３を取り込み、それらの総合的
な判定により切換回路１５を切り換え制御する切換パル
スＳを発生する。この判定回路１４での検出出力Ｄ１、
Ｄ２、Ｄ３に対する判定は、例えば表１に従うように設
定される。

【００１７】

【表１】

【００１８】この表１では、特定の色成分に対応する画
素のみが飽和状態となっているのか、あるいは、画面上
の明暗部分の境界部分で色成分に関係なく一部の画素で
飽和状態となっているのかを区別するようにしている。
切換回路１５は、ラインメモリ１１Ｂから読み出される
映像データＹＤ2（３ラインの中間ラインを表す）と、
デジタルローパスフィルタ１２から出力される映像デー
タＹＤ0とを取り込み、判定回路１４の判定結果に従っ
て何れか一方を取り出す。即ち、各ラインメモリ１１
Ａ、１１Ｂ、１１Ｃから読み出され映像データＹＤ1、
ＹＤ2、ＹＤ3で特定の色成分が飽和状態となっていると
きに限ってデジタルローパスフィルタ１２から出力され
る映像データＹＤ0を取り出し、その他の期間にはライ
ンメモリ１１Ｂから読み出される映像データＹＤ2を取
り出すように構成される。

【００１９】ラッチ１６は、切換回路１５から出力され
る映像データＹＤ2（ＹＤ0）を各データ毎に順次ラッチ
する。そして、加算回路１７は、切換回路１５から出力
される映像データＹＤ2（ＹＤ0）とラッチ１６にラッチ
された映像データＹＤ2（ＹＤ0）とを加算し、輝度デー
タを生成する。即ち、ラッチ１６によって映像データＹ
Ｄ2（ＹＤ0）を１データ期間遅らせ、次に切換回路１５
から出力される映像データＹＤ2（ＹＤ0）と加算回路１
７で加算できるようにしている。これにより、隣り合う
２画素の映像データＹＤ2（ＹＤ0）が加算された輝度デ
ータが生成されることになる。

【００２０】図２は、デジタルローパスフィルタ１２の
構成の一例を示すブロック図である。デジタルローパス
フィルタ１２は、乗算器２１、加算器２２及び除算器２
３により構成される。乗算器２１は、ラインメモリ１１
Ｂから読み出される映像データＹＤ2に乗数「２」を乗
算して加算器２２に供給する。この乗算器２１は、例え
ば、映像データＹＤ2を上位ビット側へ１桁シフトする
ことにより、映像データＹＤ2を２倍にしている。加算
器２２は、乗算器２１から出力される２倍された映像デ
ータ２ＹＤ2と、ラインメモリ１１Ａ、１１Ｃからそれ
ぞれ読み出される映像データＹＤ1、ＹＤ3とを加算して
除算器２３へ供給する。そして、除算器２３は、加算器
２２の加算出力を除数「４」で除算し、映像データＹＤ
0として出力する。この除算器２３は、例えば、加算器
２２の加算出力を下位ビット側へ２桁シフトすることで
加算器２２の加算出力を１／４にしている。また、除算
によって切り捨てられる下位２ビットについては、四捨
五入して上位ビットに加算するようにしている。具体的
には、切り捨てられるビットの最上位が「１」であると
きに除算結果に「１」を加算するように構成している。
この結果、各映像データＹＤ1、ＹＤ2、ＹＤ3 ＹＤ0＝（ＹＤ1＋２ＹＤ2＋ＹＤ3）／４ に従う映像データＹＤ0を得られる。

【００２１】図３は、図５に示すカラーフィルタに対応
して出力される映像信号ＹＤに対して図１に示す装置の
動作を説明するタイミング図である。ｎ行目の画素に対
してＷ＋Ｃｙ及びＧ＋Ｙｅの色成分が交互に対応付けら
れている場合、その上下の行（ｎ−１行目及びｎ＋１行
目）に対してはＧ＋Ｃｙ及びＷ＋Ｙｅの色成分が交互に
対応付けられている。このとき、ｎ行目の画素に対応し
た映像データＹＤが第２のラインメモリ１１Ｂに格納さ
れたとすると、第１及び第３のラインメモリ１１Ａ、１
１Ｃにはｎ−１行目及びｎ＋１行目の画素に対応した映
像データＹＤが格納される。そこで、３番目から６番目
の間でＷ＋Ｃｙ及びＷ＋Ｙｅの色成分にオーバーフロー
が生じたとすると、各ラインメモリ１１Ａ、１１Ｂ、１
１Ｃから読み出される映像信号ＹＤ1、ＹＤ2、ＹＤ3の
Ｗ＋Ｃｙ及びＷ＋Ｙｅの色成分に対応するタイミングで
各オーバーフロー検出回路１３Ａ、１３Ｂ、１３Ｃの検
出出力Ｓ１、Ｓ２、Ｓ３が立ち上がる。そして、これら
の検出出力Ｓ１、Ｓ２、Ｓ３を受ける判定回路１４は、
この３列目から４列目までの間で映像データＹＤがオー
バーフローしているとして切換パルスＳを立ち上げる。
この切換パルスＳが立ち上げられると、通常はラインメ
モリ１１Ｂから読み出される映像データＹＤ2を取り出
している切換回路１５がデジタルローパスフィルタ１２
側に切り換えられ、デジタルローパスフィルタ１２から
出力される映像データＹＤ0が出力されるようになる。
即ち、この３番目から６番目までの間は、デジタルロー
パスフィルタ１２での演算処理で生成された補正データ
Ｒ１〜Ｒ４にＷ＋Ｃｙ及びＧ＋Ｙｅの色成分が置き換え
られる。デジタルローパスフィルタ１２から出力される
補正データＲ１〜Ｒ４（映像データＹＤ0）について
は、３行分の映像データＹＤ1、ＹＤ2、ＹＤ3から生成
されているため、一部の色成分で生じたオーバーフロー
が補償されており、輝度データとなったときにモアレが
発生しにくくなっている。従って、感度の高い色成分の
画素でオーバーフローが生じたとしても感度の低い画素
でオーバーフローが生じるまでは、ほぼ適正な輝度デー
タを得ることができるようになる。

【００２２】

【発明の効果】本発明によれば、 特定の色成分の画素
でオーバーフローが生じたとき、その色成分を他の色成
分を用いて表すようにしたことで、補償用の映像データ
を得る色成分でオーバーフローが生じるまでは、各色成
分のバランスが大きくくずれることがなくなる。従っ
て、特定の色成分の画素のオーバーフローによるノイズ
成分の発生を抑圧すると同時に、撮像素子のダイナミッ
クレンジが狭くなるの防止することができる。

【図面の簡単な説明】

【図１】本発明の映像信号処理装置の構成を示すブロッ
ク図である。

【図２】デジタルローパスフィルタの構成の一例を示す
ブロック図である。

【図３】本発明の映像信号処理装置の動作を説明するタ
イミング図である。

【図４】従来の撮像装置の構成を示すブロック図であ
る。

【図５】固体撮像素子に装着されるカラーフィルタの構
成図である。

【図６】ＣＣＤ固体撮像素子の色成分毎の出力電圧を表
す特性図である。

【符号の説明】

１ ＣＣＤ固体撮像素子 ２ ドライバ ３ アナログ信号処理回路 ４ Ａ／Ｄ変換回路 ５ 色成分データ生成回路 ６ 輝度データ生成回路 １１Ａ、１１Ｂ、１１Ｃ ラインメモリ １２ デジタルローパスフィルタ １３Ａ、１３Ｂ、１３Ｃ オーバーフロー検出回路 １４ 判定回路 １５ 切換回路 １６ ラッチ １７ 加算回路 ２１ 乗算器 ２２ 加算器 ２３ 除算器

Claims (2)

【特許請求の範囲】
1. 【請求項１】 複数の色成分にそれぞれ対応付けられた
   複数種類の映像情報が１水平ライン毎に所定の順序で連
   続する映像信号を入力し、各色成分に対応する映像情報
   を合成して輝度情報を生成する映像信号処理装置におい
   て、１水平ライン毎に連続する映像情報を各ライン毎に
   記憶する第１のラインメモリと、この第１のラインメモ
   リに記憶される映像情報の上下のラインの映像情報をそ
   れぞれ記憶する第２及び第３のラインメモリと、上記第
   １のラインメモリから読み出す映像情報に対して上記第
   ２及び第３のラインメモリから読み出す映像情報と平均
   して補償映像情報を生成するローパスフィルタと、上記
   第１乃至第３のラインメモリから読み出される映像情報
   がそれぞれ所定のレベルに達しているか否かを検出する
   第１乃至第３のオーバーフロー検出回路と、この第１乃
   至第３のオーバーフロー検出回路の検出結果に基づい
   て、上記第１のラインメモリから読み出される映像情報
   あるいは上記ローパスフィルタで生成される補償映像情
   報の一方を切り換えて出力する切り換え回路と、を含
   み、選択出力される映像情報から輝度情報を得ることを
   特徴とする映像信号処理装置。
2. 【請求項２】 上記第１のラインメモリから読み出され
   る映像情報が所定のレベルに達しているとき、上記第２
   及び第３のラインメモリから読み出される映像情報が共
   に所定のレベルに達しているとき、に上記切り換え回路
   に上記ローパスフィルタから出力される映像信号を選択
   させる判定回路を含むことを特徴とする請求項１記載の
   映像信号処理装置。