JP3663862B2

JP3663862B2 - カラービデオカメラ用輝度信号処理回路

Info

Publication number: JP3663862B2
Application number: JP33454897A
Authority: JP
Inventors: 弘之宮原
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1997-12-04
Filing date: 1997-12-04
Publication date: 2005-06-22
Anticipated expiration: 2017-12-04
Also published as: JPH11168739A

Description

【０００１】
【発明の属する技術分野】
本発明は、カラービデオカメラの信号処理回路、特に輝度の補正を含む輝度信号処理回路に関する。
【０００２】
【従来の技術】
カラービデオカメラは、固体撮像素子、特にＣＣＤ固体撮像素子を用いたものが主流となっている。その基本的な処理過程は、固体撮像素子で画像イメージを光電変換素子に蓄積された電荷として検出する処理と、電荷量を量子化したデジタル信号をローパスフィルタ等により、アナログの画像信号に変換するという処理が含まれている。
【０００３】
一方、ＣＣＤ固体撮像素子の持つ画素数によって実質的な解像度が決まるが、サンプリングと復元過程を経た後には、本質的に高い空間周波数成分に起因する偽信号の発生が避けられない。
【０００４】
【発明が解決しようとする課題】
図３に、従来のカラーフィルタアレイの１例を示す。ここでは、Ｗ（白）、Ｇｒ（緑），Ｃｙ（シアン），Ｙｅ（黄）からなる色配列のものが用いられ、この４画素を基本単位とする。図３において、Ｐｘは水平方向の画素ピッチを、Ｐｙは垂直方向の画素ピッチをそれぞれ表わす。
【０００５】
ここで、水平方向に関しては、１／Ｐｘの空間周波数に対応する輝度解像度が期待できる。しかし、例えば、Ｗ，Ｇｒの強度の違いにより、fsを搬送波周波数として、以下の様な偽信号が生じる。
【０００６】
(π/2)・（ＷーＧｒ）sin(2π・fs・t）
本発明は、このような偽信号を低減することを目的とする。
【０００７】
【課題を解決するための手段】
前記目的を達成する為に、本発明は、カラーフィルタを備えた１対の画素の繰り返しからなるラインを複数備えた固体撮像素子からの映像信号から輝度信号を生成する回路において、上記映像信号に前記カラーフィルタの光透過率に応じた係数を乗算して上記映像信号から前記カラーフィルタの光透過率の相違に起因して発生する偽信号を除去するメイン信号処理回路と、上記映像信号のコアリング処理後の垂直方向の輪郭成分、上記メイン信号処理回路よりの前記偽信号を除去したメイン信号、および上記映像信号から前記カラーフィルタの相関を用いて低域成分を抽出するモアレ処理を施した後の水平方向高周波成分を混合して、輪郭補償の施された輝度信号をえる輪郭補償回路と、を有することを特徴とする。
また、前記メイン信号処理回路では、前記１対の画素の一方の光透過率をＴ１、他方の光透過率をＴ２として、予め前記１対の画素の一方からの光検出信号に（Ｔ１＋Ｔ２）/（２・Ｔ１）を乗算し、前記１対の画素の他方からの光検出信号に（Ｔ１＋Ｔ２）/（２・Ｔ２）を乗算し、それらを合わせた信号の低周波数成分から前記輝度信号を生成している。
【０００８】
又、本発明は、前記固体撮像素子が、ＣＣＤ固体撮像素子であることを特徴とする。
【０００９】
更に、本発明は、前記１対の画素のカラーフィルタの組み合わせは、色温度の変動の少ない組み合わせであることを特徴とする。
【００１０】
更に、本発明は、前記カラーフィルタの組み合わせは、透明又は透明に近い分光を持つフィルタと緑のフィルタの組み合わせであることを特徴とする。
【００１１】
更に、本発明は、前記カラーフィルタの組み合わせは、マゼンダのフィルタと緑のフィルタの組み合わせであることを特徴とする。
【００１２】
【発明の実施の形態】
以下，本発明の実施の形態につき好ましい実施例により図面を参照しながら説明する。
【００１３】
図１は本発明の回路をカラービデオカメラに採用した場合の実施例の概略構成図である。なお、この図１では、図示を簡略化するため、レンズ光学系や記録媒体への記録系、各種信号処理系、操作系など、カラービデオカメラに一般的に備えられているものについては省略している。
【００１４】
まず，全体の概略構成につき説明する。
【００１５】
この図１において、固体操像素子（以下ＣＣＤ１とする）上には、図示しないレンズ光学系を介し、さらに補色系の色フィルタを介した被写体等からの光が入射されて結像される。このＣＣＤ１では、入射光を光電変換し、得られた撮像信号を相関二重サンプリング回路（correlated double sampling；ＣＤＳ）２に供給する。
【００１６】
この相関二重サンプリング回路２では、ＣＣＤのランダム雑音（信号と暗電流のショット雑音）を除く雑音低減手法の１つである、いわゆる相関二重サンプリング処理を行う回路であつで、具体的には、信号期間レベルからフィールドスルー期間のレベルを差し引くことによってリセット雑音を抑圧するような処理が行われる。該相関二重サンプリング回路２の出力は、アナログ／デジタル（Ａ／Ｄ）変換器３に送られる。
【００１７】
このアナログ／デジタル変換器３は、入力側にサンプルホールド回路を含み、相関二重サンプリング回路２を介し、さらに該サンプルホールド回路にてサンプルホールドされたアナログ撮像信号を、所定のサンプル周波数にてサンプリングしてデジタル信号（以下、デジタル映像信号と呼ぶ）に変換する。該アナログ／デジタル変換器３から出力されたデジタル映像信号は、垂直フィルタ回路４及び詳細に後述する本発明の要部となるメイン信号処理回路６、画素分離回路８に送られる。
【００１８】
垂直フィルタ回路４は、デジタル映像信号から垂直方向の所定周波数帯域成分を抽出する垂直バンドパスフィルタ（Ｖ−ＢＰＦ）と、デジタル映像信号から垂直方向の高周波数帯域成分を抽出する垂直ハイパスフィルタ（Ｖ―ＨＰＦ）とを少なくとも有してなり、デジタル映像信号から垂直方向の輪郭成分を抽出するものである。なお、垂直バンドパスフィルタと垂直ハイパスフィルタは、共に巡回型（ＩＩＲ）或いは非巡回型（ＦＩＲ）のデジタルフィルタであり、垂直ハイパスフィルタは例ぇは５タップのフィルタ係数が設定され、垂直バンドパスフィルタは例えば３タップのフィルタ係数が設定されている。該垂直フィルタ回路４からの出力信号、すなわちデジタル映像信号から抽出された垂直方向の輪郭成分は、コアリング処理回路５に送られる。
【００１９】
コアリング処理回路５は、映像の輪郭成分に含まれる雑音成分を抑圧し、信号対雑音比（Ｓ／Ｎ）を改善する、いわゆるコアリング処理を行うものである。このコアリング処理回路５によってコアリング処理がなされた後の信号は，後述するγ（ガンマ）前輪郭補償回路１２及び、γ後輪郭補償回路１４に送られる。
【００２０】
一方、後述するメイン信号処理回路６において偽信号が除去されたデジタル映像信号（以下、メイン信号と呼ぶ）は、垂直ローパスフィルタ（Ｖ−ＬＰＦ）７ａ及び水平ローパスフィルタ（Ｈ−ＬＰＦ）７ｂに順次供給される。
【００２１】
この垂直ローパスフイルタ７ａ及び水平ローパスフィルタ７ｂは、後段のγ前輪郭補償回路１２においてメイン信号に輪郭成分すなわち高周波数成分を加算することになるので、その前段の処理として該メイン信号から高周波数成分を除去する。当該垂直ローパスフイルタ７ａは巡回型若しくは非巡回型のデジタルフイルタであり、例えば５タップのフィルタ係数が設定されていろものである。この垂直ローパスフイルタ７ａ及び水平ローパスフィルタ７ｂにて高周波数成分が除去されたメイン信号は、γ前輪郭補償回路１２に供給される。
【００２２】
次に、画素分離回路８は、アナログ／デジタル変換器３から供給されるデジタル映像信号が、Ｗ（白）、Ｇｒ（緑），Ｃｙ（シアン），Ｙｅ（黄）の補色フィルタの配列に応じて順次供給される信号であるため、これら順次供給される信号からＷ，Ｇ，Ｃｙ，Ｙｅにそれぞれ対応する画素の信号を各々分離するものである。また、この画素分離回路８では、当該画素分離を行うことにより抜けた画素に対応する部分を補問するために（すなわち抜けた部分に補色信号が存在するように）に、例えば水平方向の画素補間を行うことも可能である。この画素分離回路８から出力された信号は、モアレ処理回路９に供給される。
【００２３】
このモアレ処理回路９は、画素分離回路８から供給されたＷ，Ｇ，Ｃｙ，Ｙｅの補色俳号の各レベルバランスをとってモアレを抑圧するモアレ処理を行う。すなわち、デジタル映像信号から固体撮像素子のカラーフィルタの相関を用いて低域成分を抽出する。該モアレ処理回路９からの出力信号は、水平ハイパスフィルタ（Ｈ−ＨＰＦ）１０に供給される。また、該モアレ処理回路９からは、コアリング処理回路５にて使用する前述した制御信号ｙｆ１も出力される。
【００２４】
水平ハイパスフィルタ１０では、供給された信号から高周波数帯域成分を抽出する。すなわち、この水平ハイパスフィルタ１０からはモアレ処理後の水平方向の高周波数成分が出力されることになる。該水平ハイパスフィルタ１０からの出力信号は、コアリング処理回路１１に供給される。
【００２５】
当該コアリング処理回路１１は、コアリング処理回路５と略々同様の構成を有してなるものであり、水平ハイパスフィルタ１０から供給された信号の高周波数成分に含まれる雑音成分を抑圧し、信号対雑音比（Ｓ／Ｎ）を改善するコアリング処理を行うものである。このコアリング処理回路１１にてコアリング処理が施されたモアレ処理後の水平方向高周波数成分は、γ前輪郭補償回路１２に送られる。
【００２６】
γ前輪郭補償回路１２は、垂直フィルタ回路４及びコアリング処理回路５にて得られた垂直方向の輪郭成分と、メイン信号処理回路６、垂直ローパスフイルタ７ａ及び水平ローパスフィルタ７ｂにて得られた高周波数成分が除去されたメイン信号と、画素分離回路８からコアリング処理回路１１までの構成により得られたモアレ処理及びコアリング処理後の水平方向高周波数成分とを混合し、輝度信号を構成すると共に、該輝度信号の輪郭補償を行う。該γ前輪郭補償回路１２にて輪郭補償が施された映像信号は、ガンマ処理回路１３に供給される。
【００２７】
該ガンマ処理回路１３は、表示デバイスとして使用されることになるＣＲＴ（陰極線管）のガンマ特性を補正するためのγ（ガンマ）補正処理を、γ前輪郭補償回路１２から供給されたデジタル映像信号に施す。このガンマ処理回路１３にてガンマ補正処理された映像信号は、γ後輪郭補償回路１４と水平アパコン回路１６とに送られる。
【００２８】
水平アパコン回路１６では、ガンマ処理回路１３にてガンマ補正処理された映像信号に対して、水平方向（及び垂直方向）のアパーチャ補正を行い、該アパーチャ補正後の映像信号をコアリング処理回路１５に供給する。
【００２９】
該コアリング処理回路１５も、コアリング処理回路１１やコアリング処理回路５と略々同様の構成を有するものであり、映像信号の高周波数帯域成分に含まれる雑音成分を抑圧し、信号対雑音比（Ｓ／Ｎ）を改善するコアリング処理を行うものである。このコアリング処理回路５の出力信号は、γ後輪郭補償回路１４に送られる。
【００３０】
γ後輪郭補償回路１４は、垂直フィルタ回路４及びコアリング処理にて得られた垂直方向の輪郭成分と、ガンマ処理回路１３からのガンマ補正処理後の映像信号と、水平方向のアパ−チャ補正後の信号とを混合し、ガンマ補正処理後の輝度信号の輪郭補償を行う。
【００３１】
このγ後輪郭補償回路１４の出力信号が、本実施の形態のカラービデオカメラのデジタル映像信号として出力、若しくは記録媒体に記録される。本実施例のビデオカメラは，以上の様な構成となっている。
【００３２】
次に、本発明の要部となるメイン信号処理回路６の処理につき詳述する。
【００３３】
このカメラに使用されているＣＣＤ１のカラーフィルタアレイは、図３に示すように、Ｗ、Ｇｒ，Ｃｙ，Ｙｅの４画素を１単位とした色配列のものが用いられている。図２において、Ｐｘは水平方向の画素ピッチを、Ｐｙは垂直方向の画素ピッチをそれぞれ表わす。
【００３４】
又、ＣＣＤ１では、図２に示したように、各画素に設けられた光電変換素子１８に蓄積されている電荷は、全画素分、垂直ＣＣＤ１９に転送され、ライン毎に水平ＣＣＤ２０によって読出される。又、１行おきに読出すインターリーブ方式や、水平ＣＣＤを２本用いる方式等もあるが、何れも全く同様の処理が可能である。
【００３５】
従って、Ｗ、Ｇｒ、Ｗ、Ｇｒ・・・という系列と、Ｃｙ、Ｙｅ、Ｃｙ、Ｙｅ・・・という系列の信号が得られる。本実施の形態ではＷＧｒ系列の信号に対して、変換処理を行う。
【００３６】
ここで、水平方向に関しては、一般に１／Ｐｘの空間周波数に対応する輝度解像度が期待できる。しかし、ローパスフィルタを経ることにより、ＷＧｒ系列の信号Ｓは、Ｗ信号とＧｒ信号の強度の差分により偽信号を含み、fsを搬送波周波数として、次の様なものとなる。
【００３７】
【数１】
Ｓ＝（Ｗ＋Ｇｒ）／２＋ (π/2)・(ＷーＧｒ)sin(2π・fs・t）・・・・・・（１）
ここで、第１項は本来の輝度信号であり、第２項は偽信号である。一方、Ｗ信号とＧｒ信号の強度の違いは、カラーフィルタの光透過率の違いによる部分が大きい。従って、次の様な変換を行う。
【００３８】
Ｋｗ＝（Ｔｗ＋Ｔｇ）／２Ｔｗ
Ｋｇ＝（Ｔｗ＋Ｔｇ）／２Ｔｇ
Ｗ’＝Ｋｗ・Ｗ
Ｇｒ’＝Ｋｇ・Ｇｒ
この変換は、アナログ／デジタル変換器３から供給されるデジタル映像信号に所定の定数Ｋｗ、Ｋｇを乗算するものであり、メイン信号処理回路６内に設けられている乗算器で行われる。
【００３９】
ここで、ＴｗはＷ画素の光透過率であり、ＴｇはＧｒ画素の光透過率である。尚、ここで、Ｗ画素では、基本的に入射した光を全て透過するので、実質的にカラーフィルタは存在しない。即ち、Ｗ画素のカラーフィルタは、透明又は透明に近い分光を持つ。
【００４０】
しかし、ここでは便宜上、Ｗ画素のカラーフィルタの光透過率を、通常のカラーフィルタと同様に、定義しておく。即ち、Ｗ画素の光透過率は、通常１と考えられる。この場合、平坦な白色光を入射した場合には、次の関係がある。
【００４１】
Ｗ’＋Ｇｒ’＝Ｋｗ・Ｗ＋Ｋｇ・Ｇｒ
Ｋｗ・Ｗ’＝Ｋｇ・Ｇｒ’
この様にして、Ｗ、ＧｒをＷ’、Ｇｒ’に変換し、これを式（１）に代入すると、以下の様に偽信号を含まない信号Ｓ’が得られる。
【００４２】
【数２】

一般の場合でも、（Ｗ’ーＧｒ’）は（ＷーＧｒ）よりも大幅に縮小されるので、偽信号が低減されることが分かる。
【００４３】
この様にして，メイン信号処理回路６において，偽信号が低減された信号は，後段部のローパスフィルタ７ａ，７ｂにおいて所定の高域成分が除去されて輝度信号とされる。
【００４４】
尚、Ｗ、Ｇｒ以外のフィルタでも、Ｗ、Ｇｒと同様に色温度の影響が小さい場合には入射光スペクトルへの依存度が小さいので、前記変換は有効である。例えば、図４に示した様なＭｇ（マゼンダ）、Ｇｒ（緑），Ｃｙ（シアン），Ｙｅ（黄）の４画素を１単位とした色配列を持ったＣＣＤ固体撮像素子でも、同様の処理が効果的である。この場合、変換処理は、次の様なものとなる。
【００４５】
Ｋｍ＝（Ｔｍ＋Ｔｇ）／２Ｔｍ
Ｋｇ＝（Ｔｍ＋Ｔｇ）／２Ｔｇ
Ｍｇ’＝Ｋｍ・Ｍｇ
Ｇｒ’＝Ｋｇ・Ｇｒ
ここで、ＴｍはＭｇ画素の光透過率であり、ＴｇはＧｒ画素の光透過率である。
【００４６】
【発明の効果】
以上説明したように、この発明によって、カラービデオカメラ用輝度信号処理において発生していた偽信号の大幅な抑制が可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態によるカラービデオカメラ用輝度信号処理回路を用いたシステムのブロック図。
【図２】本発明の実施形態によるカラービデオカメラ用輝度信号処理回路を備えたカラービデオカメラのＣＣＤ固体撮像素子における電荷の転送を説明する図。
【図３】本発明の実施形態によるカラービデオカメラ用輝度信号処理回路を備えたカラービデオカメラのＣＣＤ固体撮像素子のカラーフィルタアレイを示す図。
【図４】本発明の実施形態によるカラービデオカメラのＣＣＤ固体撮像素子で用いられるカラーフィルタアレイの別の例を示す図。
【符号の説明】
１固体撮像素子
２相関二重サンプリング回路
３デジタル変換器
４垂直フィルタ回路
５コアリング処理回路
６メイン信号処理回路
７ａ垂直ローパスフイルタ
７ｂ水平ローパスフィルタ
８水平ローパスフィルタ
９モアレ処理回路
１０水平ハイパスフィルタ
１１コアリング処理回路
１２前輪郭補償回路
１３ガンマ処理回路
１４後輪郭補償回路
１５コアリング処理回路
１６水平アパコン回路
１８光電変換素子
１９垂直ＣＣＤ
２０水平ＣＣＤ

Claims

カラーフィルタを備えた１対の画素の繰り返しからなるラインを複数備えた固体撮像素子からの映像信号から輝度信号を生成する回路において、
上記映像信号に前記カラーフィルタの光透過率に応じた係数を乗算して上記映像信号から前記カラーフィルタの光透過率の相違に起因して発生する偽信号を除去するメイン信号処理回路と、
上記映像信号のコアリング処理後の垂直方向の輪郭成分、上記メイン信号処理回路よりの前記偽信号を除去したメイン信号、および上記映像信号から前記カラーフィルタの相関を用いて低域成分を抽出するモアレ処理を施した後の水平方向高周波成分を混合して、輪郭補償の施された輝度信号をえる輪郭補償回路と、を有することを特徴とするカラービデオカメラ用輝度信号処理回路。
前記固体撮像素子は、ＣＣＤ固体撮像素子であることを特徴とする請求項１に記載のカラービデオカメラ用輝度信号処理回路。
前記カラーフィルタの組み合わせは、透明又は透明に近い分光を持つフィルタと緑のフィルタの組み合わせであることを特徴とする請求項２に記載のカラービデオカメラ用輝度信号処理回路。
前記カラーフィルタの組み合わせは、マゼンダのフィルタと緑のフィルタの組み合わせであることを特徴とする請求項２に記載のカラービデオカメラ用輝度信号処理回路。