JP4175100B2

JP4175100B2 - 信号処理回路および信号処理方法

Info

Publication number: JP4175100B2
Application number: JP2002354765A
Authority: JP
Inventors: 淳喜多村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-12-06
Filing date: 2002-12-06
Publication date: 2008-11-05
Anticipated expiration: 2022-12-06
Also published as: JP2004187203A

Description

【０００１】
【発明の属する技術分野】
本発明は、サンプルホールド回路を経た周期性を持つ信号の処理回路および処理方法に関し、特にカラー固体撮像素子の出力信号をサンプルホールドし、しかる後ディジタル化して得られる周期性を持つ信号を処理する信号処理回路および信号処理方法に関する。
【０００２】
【従来の技術】
カラーＣＣＤ(Charge Coupled Device)型撮像素子などの固体撮像素子を使用するシステムでは、通常、図６に示すように、固体撮像素子１０１の出力信号を、ＣＤＳ(Correlated Double Sampling;相関二重サンプリング）回路１０２を通すことによってリセットノイズを低減し、さらに波形整形を行う。その後に、適正な値になるように、増幅回路１０３で適当な増幅率で増幅する。
【０００３】
この増幅された信号は、増幅回路１０３を通ることによってその波形が崩れるため、再度サンプルホールド（Ｓ／Ｈ）回路１０４で波形整形され、しかる後Ａ／Ｄ変換器１０５でディジタル化されてＤＳＰ(Digital Signal Processor;ディジタル信号処理）回路１０６に送られる。このＤＳＰ１０６回路では、種々の信号処理がディジタル的に行われる。
【０００４】
一般的に、カラーＣＣＤ固体撮像素子１０１の出力信号を、サンプルホールド回路１０４を通すことで、当該サンプルホールド回路１０４で連続する２画素の信号が干渉して本来の信号レベルとは異なってしまうことがある。その原因となるサンプルホールド回路１０４の回路構成の一例を図７に示す。
【０００５】
図７において、入力される信号は、ＭＯＳトランジスタＱ１を介してＭＯＳトランジスタＱ２のゲートに印加される。ＭＯＳトランジスタＱ１は、そのゲートにクロックＣｌｋが印加されたときにオン状態となる。ＭＯＳトランジスタＱ２のドレインは電源Ｖｄｄに接続され、そのソースは抵抗Ｒ１を介してグランドＧｎｄに接続されている。また、ＭＯＳトランジスタＱ２のゲートとグランドの間には、コンデンサＣ１が接続されている。
【０００６】
上記構成のサンプルホールド回路１０４において、当該回路に入力される２画素の信号を時間の順に信号１／信号２とすると、信号１が入力され、この信号１がオン状態のＭＯＳトランジスタＱ１を介してＭＯＳトランジスタＱ２のゲートに印加される。そして、ＭＯＳトランジスタＱ２のゲート電圧が信号１の信号レベルに達した後、クロックＣｌｋが低レベルになることによってＭＯＳトランジスタＱ１がオフ状態となる。
【０００７】
信号１の次に信号２が入力される。このとき、ＭＯＳトランジスタＱ１の前後では信号レベルは異なっている。すなわち、図７には示していないが、ＭＯＳトランジスタＱ１のソース−ドレイン間には寄生容量が存在するため、信号２の入力によりＭＯＳトランジスタＱ２のゲート電圧は若干ではあるが変化し、実際の信号レベルとは異なった値となる。この変化は、信号１と信号２のレベル差にほぼ比例する。この現象をクロストーク（または、混色）と呼ぶ。
【０００８】
図８は、クロストーク現象を示す波形図である。同図において、実線が入力信号であり、それがクロストークにより変化したものを点線で示している。Δ１およびΔ２は入力信号の信号ごとのレベル差であり、Δ１およびΔ２に混色率を掛け合わせたものが入力信号と出力信号の変化分となる。ここに、混色率とは、信号１と信号２のレベル差に対して実際に信号１が変化する割合であり、サンプルホールド回路ごとに変わる値である。換言すれば、混色率はサンプルホールド回路の特性によって決まる。
【０００９】
ところで、色配列が例えば原色Ｒ（赤）Ｇ（緑）Ｂ（青）ベイヤ配列のカラーフィルタを持つカラー固体撮像素子を使用した場合を考えると、１ラインごとにＧ信号／Ｂ信号が出力するライン（以下、Ｒラインと称す）とＲ信号／Ｂ信号が出力するライン（以下、Ｂラインと称す）が入れ替わる。赤い被写体を撮像した場合では、Ｇ信号／Ｂ信号がほとんど０に近いにもかかわらず、Ｒ信号はかなり大きくなる。
【００１０】
そのため、ＲラインのＧ信号はＲ信号の影響を受けて信号レベルが大きくなるが、Ｇ信号とＢ信号とがほぼ等しいため、ＢラインのＧ信号はほとんど変化しない。この結果、ＲラインのＧ信号とＢラインのＧ信号では信号レベルが異なり、結果として、これらの信号に基づいて信号処理を行っても良好な画像が再現されないことになる。
【００１１】
このような不具合を解消するために、従来は、カラー固体撮像素子の出力信号をサンプルホールドした後、ディジタル化した信号を処理する信号処理回路において、１ビット先に入力された信号の信号レベルから、次に入力される１ビット後の信号の信号レベルを減算し、その減算出力に正の補正係数を掛け合わせた結果を補正量（補正値）とし、この補正量を１ビット先に入力された周期性を持つ信号に加算して出力することにより、サンプルホールドで発生したクロストーク（混色）を補正するようにしていた（例えば、特許文献１参照）。
【００１２】
【特許文献１】
特開平１１−１７７９９８号公報
【００１３】
【発明が解決しようとする課題】
上述した従来例に係る信号処理回路および信号処理方法では、画像信号中にノイズ成分が混在していない場合には良好な処理結果が得られる。しかしながら、通常、画像信号には1画素単位でレベルが変化するノイズ成分が混在している。このノイズ成分は、大きく、固定パターンノイズとランダムノイズとに分類される。そして、この２種類のノイズ成分のうち、画像信号中に混在するノイズ成分としてはランダムノイズが支配的である。
【００１４】
固定パターンノイズは、主に、画素を構成する例えばフォトダイオードの暗電流、画素の開口バラツキや開口ムラに起因して発生するノイズ成分である。これに対して、ランダムノイズは、入射光のフォトン数の揺らぎ、フォトダイオードや垂直転送部の暗電流の揺らぎ、ＦＤ（フローティングディフュージョン）をリセットするときに発生するｋＴＣノイズ、ＦＤに接続されたアンプのノイズなどである。すなわち、ランダムノイズは画素単位でレベル差が生ずるものであり、隣接画素間には相関性を認めるのが難しい。
【００１５】
したがって、ある画素の信号レベルと直後の画素の信号レベルとを直接減算処理すると、両者にランダムノイズが重畳している場合、その減算値はクロストーク分とランダムノイズの差分の合算値になってしまう。このランダムノイズの差分は、隣接画素間には相関性を認めるのが難しいことから、当該差分の減算値への影響が無視できない。そのため、ランダムノイズの差分をそのまま補正値演算して補正処理を行うと、クロストーク成分の除去以上にノイズを増長させてしまう可能性がある。
【００１６】
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、ランダムノイズ成分を増長させることなく、サンプルホールドで発生したクロストーク（混色）を良好に補正して、クロストークのない原信号を得ることが可能な信号処理回路および信号処理方法を提供することにある。
【００１７】
【課題を解決するための手段】
上記目的を達成するために、本発明では、サンプルホールド回路を経た周期性を持つ信号を処理する信号処理回路において、先ず、周期性を持つ信号に含まれるランダムノイズ成分をノイズ低減手段で低減する。そして、そのノイズ低減後の信号の信号レベルを１ビット先に入力された周期性を持つ信号の信号レベルから減算し、その減算出力にサンプルホールド回路の特性に基づいて決定される正の補正係数を掛け合わせた結果を、１ビット先に入力された周期性を持つ信号に加算して出力する。
【００１８】
上記構成の信号処理回路において、回路入力となる周期性を持つ信号は、サンプルホールド回路で発生するクロストーク成分を含んでいる。この信号を先ずノイズ低減手段を通すことで、当該信号に含まれているランダムノイズ成分を低減する。次に、このランダムノイズ成分が低減された信号の信号レベルを、１ビット先に入力された周期性を持つ信号の信号レベルから減算することで、ランダムノイズの差分が減算出力へ及ぼす影響をほぼ無視できる程度まで低減される。そして、この減算出力にサンプルホールド回路の特性に基づいて決定される正の補正係数を掛け合わせたものが補正量となる。したがって、この補正量を１ビット前の信号に加算することで、クロストーク成分がキャンセルされる。その結果、ランダムノイズ成分を増長させることなく、サンプルホールドで発生したクロストーク（混色）を良好に補正できる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の一実施形態に係る信号処理回路の構成例を示すブロック図である。
【００２０】
本実施形態に係る信号処理回路は、例えばカラーＣＣＤ固体撮像素子の出力信号をサンプルホールドし、しかる後ディジタル化した信号を処理対象とする。また、カラーＣＣＤ固体撮像素子は、色配列として例えば図２に示す如き原色ＲＧＢベイヤ配列のカラーフィルタを受光面上に有するものとする。
【００２１】
なお、色配列は原色ベイヤ配列に限定されるものではない。また、カラーフィルタについても、ＲＧＢの原色の色配列に限られるものではなく、他の原色の色配列の場合でも、あるいは補色を使用した色配列（例えば、Ｙｅ（イエロー）／Ｃｙ（シアン）／Ｍｇ（マゼンタ）／Ｇ（グリーン））の場合でも同様に適応可能である。
【００２２】
図１から明らかなように、本実施形態に係る信号処理回路は、入力信号に含まれるランダムノイズ成分を低減するノイズ低減手段、例えばローパスフィルタ１１と、入力信号をローパスフィルタ１１のレイテンシー（遅延時間）＋１ビット分の遅延時間だけ遅延する遅延手段であるレジスタ１２と、このレジスタ１２の出力信号Ａからローパスフィルタ１１の出力信号Ｂを減算する減算器１３と、外部で設定された正の補正係数を減算器１３の減算出力（Ａ−Ｂ）に掛け合わせる乗算器１４と、レジスタ１２の出力信号Ａに乗算器１４の乗算結果を加算する加算器１５とを有する構成となっている。
【００２３】
上記構成の信号処理回路は、先述したように、例えばカラーＣＣＤ固体撮像素子の出力信号をサンプルホールドし、しかる後ディジタル化して得られる信号を処理対象とするものである。このとき、カラーＣＣＤ固体撮像素子から出力される信号は、各画素に対応した点順次の信号である。したがって、カラーＣＣＤ固体撮像素子から出力される信号、即ち本実施形態に係る信号処理回路に入力される信号は周期性を持つ信号となる。
【００２４】
そして、本実施形態に係る信号処理回路は、隣り合った画素の信号の影響を受けた際の補正を行うために、即ちサンプルホールドで発生したクロストーク（混色）を補正するために、図６に示すＣＣＤ固体撮像素子の出力信号の信号処理系において、ＤＳＰ回路１０６の例えば初段回路として用いられる。この場合、本実施形態に係る信号処理回路には、上記信号処理系におけるサンプルホールド回路１０４で発生したクロストーク成分を含む信号が入力されることになる。
【００２５】
入力された信号は、レジスタ１２を通った信号Ａとローパスフィルタ１１を通った信号Ｂとして減算器１３にそれぞれ供給される。ローパスフィルタ１１は、同色画素だけを選択的に処理できるような構造、即ち同色画素同士を抜き出して処理するような係数配分がされている。このローパスフィルタ１１としては、例えば図３に示すように、５×５タップ構造であって、同色画素部分のみを処理するラプラシアンフィルタが考えられる。
【００２６】
ローパスフィルタ１１の具体的な構成の一例を図４に示す。ここで、Ｄは単位遅延量（時間）を表している。この例に係るローパスフィルタ１１の場合には、係数が１，０，２，０，１に設定されている。ただし、ローパスフィルタ１１の構成はこの限りではなく、同色画素を違った比率で、他のタップ数で処理する構成のものであっても構わない。
【００２７】
レジスタ１２は、入力された信号をローパスフィルタ１１のレイテンシー＋１画素に相当する１ビット分（１クロック分）の遅延時間だけ遅延する遅延機能を持つ。これにより、図５に示すように、信号Ａはレジスタ１２でローパスフィルタ１１のレイテンシー＋１ビット分の遅延時間だけ遅延されることによって信号Ｂと同時化される。その結果、信号Ｂは信号Ａの次の画素の信号に対応し、図２の原色ＲＧＢベイヤ配列図から明らかなように、例えば信号ＡがＲ信号ならば信号ＢはＧ信号（Ｒライン）となる。
【００２８】
次に、減算器１３において、信号Ａから信号Ｂを引き算する。この減算器１３の減算結果（Ａ−Ｂ）に外部で設定された正の補正係数を乗算器１４を用いて掛け合わせる。この乗算器１４の乗算結果、即ち減算出力（Ａ−Ｂ）に正の補正係数を掛け合わせた信号が、サンプルホールドで発生したクロストーク成分を補正する際の補正量（補正値）となる。この補正量は、加算器１５においてレジスタ１２の出力信号Ａに加算される。
【００２９】
ここで、上述したクロストーク補正の原理について、以下に式をもって説明する。なお、クロストークの発生していないときの信号量を信号１／信号２とし、信号１／信号２に対応する信号がクロストークによってそれぞれ信号１′／信号２′になるものとする。
【００３０】
クロストークの発生により、クロストークの起きている信号１′は、
信号１′＝信号１−（信号１−信号２）×混色率
と表される。ここに、混色率は、先述したように、ＣＣＤ型撮像素子の出力信号処理系（図６を参照）におけるサンプルホールド回路１０４の特性によって決まる値である。
【００３１】
このクロストークの起きている信号１′を、本実施形態に係る信号処理回路において補正することにより、その出力信号は、
出力信号＝信号１′＋（信号１′−信号２′）×補正係数
となる。
【００３２】
ここで、補正係数および混色率が共に１に比べて十分に小さい正の値と仮定すれば、

となる。
【００３３】
さらに、混色率≒補正係数となるように補正係数を選定すれば、
出力信号≒信号１
となり、クロストークによる信号の変化を補正できることになる。このことから明らかなように、混色率に対応して外部で設定される補正係数も、ＣＣＤ固体撮像素子の出力信号処理系におけるサンプルホールド回路１０４の特性によって決まる値である。
【００３４】
ところで、既に述べたように、画像信号には通常ノイズ成分が混在している。ノイズには種類があるが、支配的なものとしてランダムノイズが挙げられる。このランダムノイズは、その発生原因からして画素単位でレベル差が生ずるものなので、隣接画素間には相関性を認めるのが難しく、ひどい場合には画質を著しく劣化させる。しかし、ランダムノイズはその性格上、帯域としては画像信号に比較して高域に存在している。したがって、エリア的もしくは時間的に平均化などの高域低減処理を行うことで、ランダムノイズ成分を抑圧することができる。
【００３５】
この点に着目し、本実施形態に係る信号処理回路において、信号Ｂについてはローパスフィルタ１１を通してエリア的もしくは時間的に平均化などの高域低減処理を施し、当該信号Ｂに含まれるランダムノイズ成分を低減させてしまうことにより、ランダムノイズの差分を低減させるようにしている。そのために、ローパスフィルタ１１の係数は、ランダムノイズ成分の帯域に基づいて決定されることになる。
【００３６】
具体的には、ＣＣＤ固体撮像素子から出力される信号を先ずローパスフィルタ１１を通すことで、当該信号に含まれるランダムノイズ成分が低減される。このランダムノイズ成分が低減された信号Ｂは、信号Ａの１ビット（1画素）後に入力される信号位置を重心とする。そして、この信号Ｂの信号レベルを、１ビット先に入力された信号Ａの信号レベルから減算器１３で減算する。このとき、ランダムノイズの差分については、減算器１３の減算出力（Ａ−Ｂ）への影響をほぼ無視できる程度まで低減されている。
【００３７】
この減算器１３の減算出力（Ａ−Ｂ）に対して正の補正係数を乗算器１４で掛け合わせたものが補正量（補正値）となる。したがって、この補正量をレジスタ１２を経た１ビット前の信号Ａに加算器１５で加算することで、着目している画素の信号Ａについて、ランダムノイズ成分を増長させることなく、クロストーク成分をキャンセルすることができる。
【００３８】
ここで、信号Ａについても、信号Ｂと同様にローパスフィルタを通してランダムノイズ成分を低減させる手法を採ることも考えられる。しかし、この手法を採ると、画像信号の高域帯を落とすことになる。したがって、信号Ｂについてのみローパスフィルタを通過させる手法を採る方が好ましい。
【００３９】
上述したように、ＣＣＤ固体撮像素子に代表されるカラー固体撮像素子の出力信号をサンプルホールドし、しかる後ディジタル化して得られる周期性を持つ信号を処理する信号処理回路において、着目している画素の信号Ａの信号レベルから、信号Ａの1画素後に入力される信号位置を重心とするローパスフィルタ１１の出力信号Ｂを減算し、その減算出力（Ａ−Ｂ）に正の補正係数を掛け合わせた結果を補正量とし、この補正量を信号Ａに加算して出力することにより、ランダムノイズ成分を増長させることなく、サンプルホールドで発生したクロストーク（混色）を良好に補正できる。
【００４０】
その結果、クロストークのない原信号を得ることができるため、それ以降の信号処理系（図６のＤＳＰ回路１０６）で種々の信号処理が行われた撮像信号を用いることで、良好な画像を再現できる。しかも、図１から明らかなように、補正のための信号処理回路は、ローパスフィルタ１１、レジスタ１２、減算器１３、乗算器１４および加算器１５からなる極めて簡単な回路であるため、複雑な回路を付加することなしに、所期の目的を達成できる。
【００４１】
なお、上記実施形態では、カラー固体撮像素子の出力信号をサンプルホールドし、しかる後ディジタル化して得られる周期性を持つ信号を本実施形態に係る信号処理回路の処理対象とした場合について説明したが、本発明はこれに限定されるものではなく、一般的に、サンプルホールド回路を経た周期性を持つ信号、特に１ビットごとに信号レベルの変化量の大きい周期性を持つ信号全般を処理対象とすることができる。
【００４２】
また、上記実施形態においては、ノイズ低減手段としてローパスフィルタを用いるとしたが、ローパスフィルタに限られるものではなく、周期性を持つ信号に含まれるランダムノイズ成分を低減可能な構成のものであれば良い。
【００４３】
【発明の効果】
以上説明したように、本発明によれば、サンプルホールド回路を経た周期性を持つ信号を処理する信号処理回路において、１ビット先に入力された信号の信号レベルから次に入力される１ビット後の信号に高域低減処理を施してランダムノイズ成分を低減させた信号の信号レベルを減算し、その減算出力にサンプルホールド回路の特性に基づいて決定される正の補正係数を掛け合わせた結果を補正量とし、この補正量を１ビット先に入力された信号に加算して出力することにより、ノイズを増長させることなく、サンプルホールドで発生したクロストークを良好に補正することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る信号処理回路の構成例を示すブロック図である。
【図２】カラーフィルタの原色ベイヤ配列を示す図である。
【図３】信号Ｂの生成の概念図である。
【図４】ローパスフィルタの具体的な構成の一例を示す回路図である。
【図５】信号Ａと信号Ｂの同時化の概念図である。
【図６】ＣＣＤ固体撮像素子の出力信号処理系の構成の一例を示すブロック図である。
【図７】サンプルホールド回路の回路構成の一例を示す回路図である。
【図８】クロストーク現象を示す波形図である。
【符号の説明】
１１…ローパスフィルタ、１２…レジスタ、１３…減算器、１４…乗算器、１５…加算器、１０１…ＣＣＤ固体撮像素子、１０２…ＣＤＳ（相関二重サンプリング）回路、１０４…サンプルホールド回路、１０６…ＤＳＰ（ディジタル信号処理）回路

Claims

サンプルホールド回路を経た周期性を持つ信号の処理に当たって、
前記周期性を持つ信号に含まれるランダムノイズ成分を低減するノイズ低減手段と、
前記周期性を持つ信号を前記ノイズ低減手段の遅延時間＋１ビット分だけ遅延する遅延手段と、
前記遅延手段の出力信号の信号レベルから前記ノイズ低減手段の出力信号の信号レベルを減算する減算手段と、
前記減算手段の減算結果に前記サンプルホールド回路の特性に基づいて決定される正の補正係数を掛け合わせる乗算手段と、
前記遅延手段の出力信号に前記乗算手段の乗算結果を加算する加算手段と
を備える信号処理回路。
前記ノイズ低減手段は、前記ランダムノイズ成分の帯域に基づいて係数が決定されたローパスフィルタである
ことを特徴とする請求項１記載の信号処理回路。
前記サンプルホールド回路に入力される信号は、所定の色配列のカラーフィルタを受光面上に有する固体撮像素子の出力信号である
ことを特徴とする請求項１記載の信号処理回路。
前記ノイズ低減手段は、同色画素同士を抜き出して処理するような係数配分がされたローパスフィルタである
ことを特徴とする請求項３記載の信号処理回路。
サンプルホールド回路を経た周期性を持つ信号の処理に当たって、
前記周期性を持つ信号に含まれるランダムノイズ成分を低減し、そのノイズ低減後の信号の信号レベルを１ビット先に入力された周期性を持つ信号の信号レベルから減算し、
その減算出力に前記サンプルホールド回路の特性に基づいて決定される正の補正係数を掛け合わせた結果を前記１ビット先に入力された周期性を持つ信号に加算して出力する
ことを特徴とする信号処理方法。
前記サンプルホールド回路に入力される信号は、所定の色配列のカラーフィルタを受光面上に有する固体撮像素子の出力信号である
ことを特徴とする請求項５記載の信号処理方法。