JP4536762B2 - 固体撮像装置 - Google Patents

Description

本発明は、ビデオ信号を扱う機器、特にビデオカメラやカメラ装置に関し、特に固体撮像素子における画素加算による高感度撮影に関する。

３板式のビデオカメラでは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色用にＣＣＤ等の固体撮像素子を備えており、その感度は技術の進歩により着実に向上している。このような感度の向上したビデオカメラを用いる場合においても、夜間の撮影などでは通常撮影モード時以上の感度が要求される場合がある。
感度を向上させる場合において、信号レベルを電気的に増幅するのは簡単であるが、この場合、信号と同じくノイズも同様に増幅されてしまう。したがって、多大なゲインで増幅した場合には、画像がノイズに覆われることになり、好ましいものではなかった。
そこで、隣り合う水平方向あるいは垂直方向の画素同士を加算処理して、高感度化を図る方法があった。特に、ＣＣＤカメラにおいては、撮像素子の出力アンプ部でノイズが多く混入するので、この出力アンプ部からの出力信号を増幅処理すると問題があった。そこで、ＣＣＤ内において信号を加算処理すれば、ほとんどノイズを増大させずに、信号レベルのみを増大させることが可能である。

垂直方向の画素を加算処理することにより高感度化を図る固体撮像装置の従来技術としては、例えば特開平３−１６６８７５号公報に開示された駆動方法がある。この公報に開示されている技術は、例えば垂直方向に隣り合う２画素分の電荷を加算して、撮像素子から出力させるものであり、ほぼ２倍の高感度化を実現できる。この技術を使用した固体撮像装置の構成を図１１に示す。
図１１の構成において、ＣＣＤなどの固体撮像素子１１０は撮像画像の光学信号を電気信号へと変換し、その電気信号はＣＣＤ駆動回路１１１からの信号に基づき出力される。固体撮像素子１１０の出力は、プリアンプ１１２において相関二重サンプリング（ＣＤＳ）や増幅が行われ、アナログプロセス回路１１３においてオフセット調整やゲイン調整が行われる。アナログプロセス回路１１３の出力信号は、Ａ／Ｄ変換回路１１４を介して垂直補間回路１１５へ入力される。垂直補間回路１１５においては、垂直画素加算処理により消失した信号が生成される。この垂直補間回路１１５の出力信号は、ディジタルプロセス回路１１７へと供給される。

ディジタルプロセス回路１１７では、まずガンマニー回路１２２によりガンマ補正やニー補正などの非線形処理が行われ、輪郭強調回路１２３において映像信号の輪郭を強調する処理が行われる。さらに、マトリクス変換回路１２４においてＲＧＢの３原色信号から、例えばＹ，Ｐｂ，Ｐｒといった輝度色差信号にマトリクス変換処理を行い、ディジタル・アナログ（Ｄ／Ａ）変換回路１１８及びパラレル・シリアル（Ｐ／Ｓ）変換回路１１９へ出力する。Ｄ／Ａ変換回路１１８では、ディジタル信号をアナログ信号へと変換し、出力端子１２０へと出力し、Ｐ／Ｓ変換回路１１９では、ディジタル信号をパラレル／シリアル変換して、ディジタル・シリアル信号として、出力端子１２１へ出力する。

次に、従来の固体撮像装置における垂直補間回路１１５の構成及び動作を図１２及び図１３を参照しながら説明する。図１２は従来の固体撮像装置における垂直補間回路１１５の構成を示すブロック図である。図１３は図１２の垂直補間回路１１５における信号波形図である。
垂直補間回路１１５は、例えば２つの１水平走査線期間遅延回路（以下、１Ｈ遅延回路と称す）１４１，１４２、平均回路１５０、及びセレクタ１６１を有する。第１の１Ｈ遅延回路１４１と第２の１Ｈ遅延回路１４２は、それぞれに入力された映像信号を１水平走査線期間（１Ｈ）だけ遅延させるものである。したがって、第１の１Ｈ遅延回路１４１は、入力信号Ｖinに対して１Ｈだけ遅延した映像信号である１Ｈ遅延信号Ｖ１を出力する。第２の１Ｈ遅延回路１４２は、入力信号Ｖinに対して２Ｈだけ遅延した映像信号である２Ｈ遅延信号Ｖ２を出力する。平均回路１５０には、入力映像信号Ｖin及び２Ｈ遅延信号Ｖ２が入力され、それらを平均した信号Ｖ１１を出力する。すなわち、平均回路１５０では、乗算器２０１，２０２において、入力映像信号Ｖinと２Ｈ遅延信号Ｖ２のそれぞれに１／２を乗算した後、それぞれの信号が加算器２０３にて加算される。また、セレクタ１６１は、制御信号Ｖselに従い、平均回路１５０の出力Ｖ１１と１Ｈ遅延信号Ｖ１からいずれか一つの信号を選択して出力する。

上記の固体撮像素子１１０においては、垂直画素を加算しているために垂直補間回路１１５への入力信号Ｖinは、図１３に示すように１水平走査線期間（１Ｈ）毎に信号が存在する。１Ｈ遅延信号Ｖ１、２Ｈ遅延信号Ｖ２、及び平均回路１５０の出力信号Ｖ１１についても同様に１Ｈ毎に信号が存在する。そこで、セレクタ１６１の制御信号Ｖselを図１３に示すように１Ｈ毎にＨ（ハイレベル）とＬ（ローレベル）を所定幅を有して繰り返すことにより、１Ｈ遅延信号Ｖ１と平均回路５０の出力信号Ｖ１１の信号が存在するいずれか一方の信号を選択することができる。すなわち、垂直補間回路１１５の出力としては、図１３のＶoutに示すように、垂直画素加算処理により消失した信号の代わりに、前後の信号を加算平均した信号を挿入して、映像信号の高感度化を図っている。

次に、ディジタルプロセス回路１１７における輪郭強調回路１２３の構成を図１４を参照しながら説明する。
輪郭強調回路１２３は、例えば垂直輪郭抽出回路１３１、水平輪郭抽出回路１３２、２つの乗算器１３３，１３４及び加算器１３５を有する。また、垂直輪郭抽出回路１３１は２つの１Ｈ遅延回路１４５，１４６と積和回路１５５を有しており、積和回路１５５は３つの乗算器２０７，２０８，２０９及び加算器２１６を有している。
輪郭強調回路１２３へ入力された映像信号Ｖinは、垂直輪郭抽出回路１３１の第１の１Ｈ遅延回路１４５を介して積和回路１５５へ入力される。第１の１Ｈ遅延回路１４５は、入力された映像信号を１Ｈ期間遅延するものである。第１の１Ｈ遅延回路１４５の出力信号である１Ｈ遅延信号Ｖ１は、積和回路１５５、第２の１Ｈ遅延回路１４６、水平輪郭抽出回路１３２及び加算器１３５へと供給される。また、第２の１Ｈ遅延回路１４６は、映像信号を１Ｈ期間遅延するものであり、入力された映像信号Ｖinに対して２Ｈ期間遅延した２Ｈ遅延信号Ｖ２を出力する。その２Ｈ遅延信号Ｖ２は積和回路１５５に供給される。

積和回路１５５において、入力映像信号Ｖin、１Ｈ遅延信号Ｖ１及び２Ｈ遅延信号Ｖ２が入力され、それぞれの信号に所定の係数が乗算されて加算される。すなわち、積和回路１５５では、乗算器２０７において入力映像信号Ｖinに係数-1/4が乗算され、乗算器２０８において１Ｈ遅延信号Ｖ１に係数1/2が乗算され、そして乗算器２０９において２Ｈ遅延信号Ｖ２に係数-1/4が乗算される。
以上の処理により、垂直輪郭抽出回路１３１の出力信号ＤＶは、次式（１）に示す信号となる。

ＤＶ ＝ −1/4*Ｖin＋1/2*Ｖ１−1/4*Ｖ２ ・・・・・（１）

垂直輪郭抽出回路１３１は式（１）に示す垂直輪郭成分に相当する高周波成分を出力する。なお、この垂直輪郭抽出回路１３１の出力信号ＤＶは、乗算器１３３において垂直輪郭強調ゲインＫＶを乗算された後、加算器１３５へと入力される。
また、水平輪郭抽出回路１３２は入力された１Ｈ遅延信号Ｖ１を画像の水平方向の輪郭成分のみとする水平輪郭信号ＤＨを出力する。この水平輪郭信号ＤＨは、乗算器１３４において水平輪郭強調ゲインＫＨが乗算された後、加算器１３５へ入力される。すなわち、加算器１３５には、１Ｈ遅延信号Ｖ１、垂直輪郭信号（ＫＶ＊ＤＶ）及び水平輪郭信号（ＫＨ＊ＤＨ）が入力される。加算器１３５において、１Ｈ遅延信号Ｖ１、垂直輪郭信号（ＫＶ＊ＤＶ）、及び水平輪郭信号（ＫＨ＊ＤＨ）が加算され、水平方向と垂直方向とも輪郭成分が強調された信号となって出力される。
なお、輪郭強調回路１２３における水平輪郭抽出回路１３２の構成及び動作については、本発明に直接関係しないので、その説明は省略する。
特開平３−１６６８７５号公報

前述のように構成された従来の固体撮像装置において、夜間撮影時などの高感度撮影モードでは通常撮影モードの時の感度処理に比べて、垂直方向に画像のずれが生じるという問題があった。すなわち、高感度処理において第１ラインとして出力された映像信号Ｌ１は、通常の感度処理の第１ラインと第２ラインの映像信号を混合した信号であり、その映像信号Ｌ１による画像の垂直位置は、通常の感度処理の第１ラインと第２ラインの中間位置に相当する。また、高感度処理において第２ラインとして出力される映像信号(Ｌ１＋Ｌ３)／２は、通常の感度処理の第１ラインから第４ラインの映像信号の平均信号であり、その画像の垂直位置は、通常の感度処理の第２ラインと第３ラインの中間位置に相当する。したがって、前述の従来の固体撮像装置において、高感度撮影モードにおいて撮影された映像は、垂直画素加算処理を行わない通常撮影モードの場合と比較して、垂直方向に1/2ライン分の画像のずれが生じている。

また、従来の固体撮像装置においては、垂直画素加算処理により消失した映像信号を復元するため、図１２に示したような垂直補間回路１１５を設ける必要がある。この垂直補間回路１１５における１Ｈ遅延回路は大きなメモリ容量が必要であるため、固体撮像装置としては回路規模が大きくなり、消費電力が増大するという問題があった。

本発明は、前述の従来の固体撮像装置における問題を解決するものであり、固体撮像素子における垂直画素加算処理による高感度化において、画像の垂直方向のずれを無くすことを目的とする。また、固体撮像素子の高感度化に伴う垂直補間処理において、回路規模を小さくして消費電力の増大を抑制し、小型の個体撮像装置の提供を目的とする。

上記目的を達成するために、本発明に係る固体撮像装置は、
２次元マトリクス状に配列された複数の光電変換素子からなる固体撮像素子を備えた固体撮像装置において、
前記固体撮像素子に垂直方向の複数の画素の信号電荷を加算処理させる垂直画素加算指令手段と、
前記固体撮像素子の加算処理した映像信号を１水平走査線期間毎に出力する垂直補間回路と、
垂直輪郭抽出回路と演算回路とを有する輪郭処理回路と、を具備し、
前記垂直補間回路は、垂直画素加算処理された映像信号を１水平走査線期間だけ遅延させた１水平走査線期間遅延信号を出力する１水平走査線期間遅延回路と、
前記映像信号と前記１水平走査線期間遅延信号が入力されて、１水平走査線期間毎に切り替わる制御信号に基づきいずれか一方の信号を選択して出力するセレクタと、を有し、
前記垂直輪郭抽出回路は、当該輪郭処理回路への入力信号から垂直方向の画像の輪郭成分を抽出した垂直輪郭信号を出力するよう構成されており、
前記演算回路は、固体撮像素子において垂直画素加算処理を行う時に前記垂直輪郭抽出回路の出力信号を当該輪郭処理回路の入力信号から減算するよう構成されており、固体撮像素子において垂直画素加算処理を行わない時に前記垂直輪郭抽出回路の出力信号を当該輪郭処理回路の入力信号に加算するよう構成されている。

他の観点の発明に係る固体撮像装置は、
２次元マトリクス状に配列された複数の光電変換素子からなる固体撮像素子を備えた固体撮像装置において、
前記固体撮像素子に垂直方向の複数の画素の信号電荷を加算処理させる垂直画素加算指令手段と、
前記固体撮像素子の加算処理した映像信号を１水平走査線期間毎に出力する垂直補間回路と、
垂直輪郭抽出回路と符号反転回路と加算回路とを有する輪郭処理回路と、を具備し、
前記垂直補間回路は、垂直画素加算処理された映像信号を１水平走査線期間だけ遅延させた１水平走査線期間遅延信号を出力する１水平走査線期間遅延回路と、
前記映像信号と前記１水平走査線期間遅延信号が入力されて、１水平走査線期間毎に切り替わる制御信号に基づきいずれか一方の信号を選択して出力するセレクタと、を有し、
前記垂直輪郭抽出回路は、当該輪郭処理回路への入力信号から垂直方向の画像の輪郭成分を抽出した垂直輪郭信号を出力するよう構成されており、
前記符号反転回路は、固体撮像素子において垂直画素加算処理を行う時に前記垂直輪郭抽出回路の出力信号の符号を反転するよう構成されており、
前記加算回路は、前記符号反転回路の出力信号を当該輪郭処理回路への入力信号に加算するよう構成されている。

上記のように構成された本発明の固体撮像装置は、固体撮像素子における垂直画素加算による高感度化において、画像の垂直方向のずれを無くすことが可能となる。また、本発明によれば固体撮像素子の高感度化に伴う垂直補間処理において、回路規模と消費電力の増大を抑制することが可能となる。さらに、本発明の固体撮像装置は、高感度撮影時の垂直平滑化手段として輪郭処理回路を設けることにより、回路規模の大きな１水平走査線遅延回路を削減することが可能となり、小型の固体撮像装置を提供することができる。

以下、本発明に係る固体撮像装置の好ましい一実施の形態である実施の形態１から４について添付の図面を参照しつつ説明する。

《実施の形態１》
図１は本発明に係る実施の形態１の固体撮像装置の構成を示すブロック図である。図１に示すように、実施の形態１の固体撮像装置においては、ＣＣＤなどの固体撮像素子１０が撮像した画像の光学信号を電気信号へと変換し、その電気信号が垂直画素加算指令手段としてのＣＣＤ駆動回路１１からの信号に基づきプリアンプ１２へ出力される。固体撮像素子１０からの信号は、プリアンプ１２において相関二重サンプリング（ＣＤＳ）や増幅が行われてアナログプロセス回路１３へ出力される。アナログプロセス回路１３においては、オフセット調整やゲイン調整が行われる。アナログプロセス回路１３の出力信号は、Ａ／Ｄ変換回路１４においてディジタル信号に変換されて垂直補間回路１５へ入力される。垂直補間回路１５においては、垂直画素加算処理により消失した信号の補間処理が行われる。垂直補間回路１５の出力信号は、ディジタルプロセス回路１７へ出力される。

ディジタルプロセス回路１７は、ガンマニー回路２２、輪郭強調回路２３、及びマトリクス変換回路２４により構成されている。ガンマニー回路２２においては、ガンマ補正やニー補正などの非線形処理が行われる。輪郭強調回路２３においては、映像信号の輪郭を強調する処理が行われる。そして、マトリクス変換回路２４においては、ＲＧＢの３原色信号から、例えばＹ，Ｐｂ，Ｐｒといった輝度色差信号に変換するマトリクス変換処理を行う。マトリクス変換回路２４からの出力は、ディジタル・アナログ変換回路（Ｄ／Ａ変換回路と略称）１８及びパラレル・シリアル変換回路（Ｐ／Ｓ変換回路と略称）１９へ出力される。Ｄ／Ａ変換回路１８は、ディジタル信号をアナログ信号へ変換して、出力端子２０へ出力する。Ｐ／Ｓ変換回路１９は、ディジタル信号をパラレル／シリアル変換してディジタル・シリアル信号として出力端子２１へ出力する。

図２は、実施の形態１における垂直補間回路１５の構成を示すブロック図である。図２に示すように、垂直補間回路１５は、１水平走査線期間遅延回路（以下、１Ｈ遅延回路と略称）４１とセレクタ６１とにより構成されている。１Ｈ遅延回路４１は垂直画素加算処理が行われた映像信号Ｖinを１水平走査線期間（１Ｈ）だけ遅延させた１Ｈ遅延信号Ｖ１を出力する。セレクタ６１は、映像信号Ｖinと１Ｈ遅延回路４１からの１Ｈ遅延信号Ｖ１が入力されて、制御信号Ｖselに基づきいずれか一方の信号を出力（Ｖout）するよう構成されている。

以上のように構成された実施の形態１の固体撮像装置について、特に垂直補間回路１５の動作について図３を参照して説明する。図３は垂直補間回路１５において形成される信号を示す波形図である。
実施の形態１の固体撮像装置の高感度化において、固体撮像素子１０では垂直方向の隣り合う２画素を加算している。このように垂直画素加算処理を行っているため、垂直補間回路１５への入力信号Ｖinは、図３に示すように１水平走査線（１Ｈ）毎に信号が存在している。図３において、破線で示す波形は垂直画素加算処理により消滅した波形を示している。

図３に示すように、映像信号である入力信号Ｖinを１Ｈだけ遅延させた１Ｈ遅延信号Ｖ１も、入力信号Ｖinと同様に１Ｈおきに信号が存在している。セレクタ６１に入力される制御信号Ｖselは、図３に示すように、１Ｈ毎に「Ｈ」（ハイレベル）と「Ｌ」（ローレベル）を繰り返すパルス波形である。この制御信号Ｖselがセレクタ６１に入力されて、セレクタ６１は入力信号Ｖinと１Ｈ遅延信号Ｖ１のうち、信号が存在する方の信号を選択する。この結果、垂直補間回路１５からの出力信号Ｖoutは、図３に示すように、いずれのラインにも映像信号が存在するようになる。

次に、実施の形態１における垂直補間回路１５からの出力信号Ｖoutは、通常撮影モードにおける感度処理のライン位置に比べて、高感度撮影モードにおける高感度処理のライン位置が垂直方向に１／２ライン分の位置ずれを生じていないことを説明する。
垂直画素加算処理が行われた映像信号の第１ライン信号Ｌ１は、本来の第１ラインと第２ラインの映像信号を混合したものであり、その画像の垂直位置としては、その中間、すなわち第1.5ラインの位置に相当する。同様に、第３ライン信号Ｌ３は、本来第３ライン及び第４ラインの映像信号を混合したものであり、その画像の垂直位置としては、その中間、すなわち第3.5ラインの位置に相当する。

実施の形態１の固体撮像装置においては、例えば通常撮影モードの感度処理した第１ライン信号Ｌ１を高感度撮影モードの高感度処理においては第１ラインと第２ラインのそれぞれで出力するよう構成されている。したがって、実施の形態１の固体撮像装置では垂直画素加算処理された信号が補間されて、実質的に各ラインにおいて映像信号が出力されている。
上記のように、実施の形態１の固体撮像装置によれば、固体撮像素子１０において垂直画素加算処理を行った信号に対して、垂直補間回路１５で同じ映像信号を２回続けて出力するよう構成されているため、簡単な構成で垂直画素加算処理に伴う1/2ライン相当の垂直方向の画像ずれを防止することができる。

なお、上記の実施の形態の説明では、固体撮像素子１０において垂直方向の２画素を加算する垂直画素加算処理の場合について説明したが、垂直方向の３画素以上を加算する垂直画素加算処理おいても実施の形態１の構成と実質的に同様の構成で、１Ｈ遅延回路の出力を複数回使用することにより、同様の効果を得ることができる。

《実施の形態２》
次に、本発明に係る実施の形態２の固体撮像装置について図面を参照しつつ説明する。図４は本発明に係る実施の形態２の固体撮像装置の構成を示すブロック図である。図４において、前述の実施の形態１の構成と実質的に同じ機能、構成を有するものには同じ符号を付して、その説明は省略する。実施の形態２の固体撮像装置は、前述の実施の形態１の固体撮像装置に垂直ＬＰＦ回路１６を付加した装置である。この垂直ＬＰＦ回路１６には実施の形態２で説明した垂直補間回路１５からの信号が入力されるよう構成されている。

図５は、実施の形態２における垂直ＬＰＦ回路１６の構成を示すブロック図である。図５に示すように、垂直ＬＰＦ回路１６は２つの１Ｈ遅延回路４２，４３と積和回路５３とを有している。積和回路５３は３つの乗算器１０３，１０４，１０５と加算器１１３により構成されている。実施の形態２の垂直ＬＰＦ回路１６において、垂直補間回路１５からの入力信号Ｖinが積和回路５３と、第１の１Ｈ遅延回路４２に入力されており、第１の１Ｈ遅延回路４２は１Ｈだけ遅延させた１Ｈ遅延信号Ｖ１を積和回路５３と第２の１Ｈ遅延回路４３に出力する。第２の１Ｈ遅延回路４３は入力された１Ｈ遅延信号Ｖ１に対してさらに１Ｈだけ遅延させた２Ｈ遅延信号Ｖ２を積和回路５３へ出力する。積和回路５３においては、入力信号Ｖin、１Ｈ遅延信号Ｖ１、２Ｈ遅延信号Ｖ２のそれぞれに係数が乗算され、そして乗算された値を加算して出力するよう構成されている。

次に、上記のように構成された実施の形態２の固体撮像装置における垂直ＬＰＦ回路１６の動作を図６を用いて説明する。図６は実施の形態２の垂直ＬＰＦ回路１６における各信号を示す波形図である。
図６に示した垂直ＬＰＦ回路１５に入力される映像信号Ｖinは、前述の図３において垂直補間回路１５からの出力信号Ｖoutとして説明した信号である。したがって、第１の１Ｈ遅延回路４２からの１Ｈ遅延信号Ｖ１は、図６に示した映像信号Ｖinを１Ｈだけ遅延した信号であり、第２の１Ｈ遅延回路４３からの２Ｈ遅延信号Ｖ２は映像信号Ｖinを２Ｈだけ遅延した信号である。

積和回路５３には、映像信号Ｖin、１Ｈ遅延信号Ｖ１及び２Ｈ遅延信号Ｖ２が入力されている。積和回路５３に入力された映像信号Ｖinは、乗算器１０３において１／４が乗算されて加算器１１３へ出力される。同様に、積和回路５３に入力された１Ｈ遅延信号Ｖ１は、乗算器１０４において１／２が乗算されて加算器１１３へ出力され、２Ｈ遅延信号Ｖ２は乗算器１０５において１／４が乗算されて加算器１１３へ出力される。
積和回路５３における加算器１１３では、乗算器１０３，１０４，１０５の各出力を加算して、出力信号Ｖoutとして出力する。すなわち、垂直ＬＰＦ回路１６の出力信号Ｖoutは、次式（２）により示される。

Ｖout ＝ 1/4*Ｖin＋1/2*Ｖ１＋1/4*Ｖ２ ・・・・・（２）

すなわち、実施の形態２における垂直ＬＰＦ回路１５は、係数（1/4，1/2，1/4）を持つ３タップの垂直ＬＰＦ（垂直ローパスフィルタ）となっている。

上記のように、積和回路５３において、式（２）に示すように、入力映像信号Ｖin、１Ｈ遅延信号Ｖ１及び２Ｈ遅延信号Ｖ２に、それぞれ1/4、1/2、1/4が乗算された後、加算される。したがって、例えば図６の（１）で示す水平走査線期間では、入力された映像信号Ｖinが第３ラインＬ３であり、１Ｈ遅延信号Ｖ１が第１ラインＬ１であり、そして２Ｈ遅延信号Ｖ２が第１ラインＬ１である。このため、（１）で示す水平走査線期間における出力信号Ｖoutは、前記式（２）により、 3/4*Ｌ１＋1/4*Ｌ３ となる。

また、図６の（２）で示す水平走査線期間では、映像信号Ｖinが第３ラインＬ３であり、１Ｈ遅延信号Ｖ１が第３ラインＬ３であり、そして２Ｈ遅延信号Ｖ２が第１ラインＬ１である。このため、（２）で示す水平走査線期間における出力信号Ｖoutは、 1/4*Ｌ１＋3/4*Ｌ３ となる。すなわち、垂直ＬＰＦ回路１６の出力信号Ｖoutは、各ラインで平均化されて各ライン毎の変化が平滑され、垂直方向の不連続性が除去されている。

以上のように、実施の形態２の固体撮像装置によれば、固体撮像素子１０において垂直画素加算処理した信号に対して、垂直補間回路１５で同じ映像信号を２回続けて出力するよう構成されているため、垂直画素加算処理に伴う1/2ライン相当の垂直方向の画像ずれを防止することができるとともに、垂直ＬＰＦ回路１６により垂直方向に滑らかな画像を得るという垂直ＬＰＦ特性を奏する。

なお、上記実施の形態２においては、垂直ＬＰＦ回路１６に乗算器と加算器を用いた構成で説明したが、本発明はこの構成に限定されるものではなく、乗算器に代わって一般的に用いられている回路構成も本発明に含まれることは云うまでもない。特に、固定係数であれば、垂直ＬＰＦ回路としてはビットシフタと加算器でも構成することが可能である。また、実施の形態２の垂直ＬＰＦ回路としては、３タップ（係数：1/4，1/2，1/4）のＦＩＲフィルタ回路で構成したが、係数及びタップ数は用いられる装置の構成に応じて所望の数値に設定される。

《実施の形態３》
次に、本発明に係る実施の形態３の固体撮像装置について図面を参照しつつ説明する。図７は本発明に係る実施の形態３の固体撮像装置における垂直ＬＰＦ回路の構成を示すブロック図である。実施の形態３の固体撮像装置は、前述の実施の形態１の固体撮像装置に垂直ＬＰＦ回路１６０を付加した装置であり、前述の実施の形態２における垂直ＬＰＦ回路１６に代わり垂直ＬＰＦ回路１６０を用いたものである。したがって、実施の形態３の固体撮像装置において、垂直ＬＰＦ回路１６０以外の構成は、前述の図１及び図４に示した構成と同様である。図７において、前述の実施の形態１の構成と実質的に同じ機能、構成を有するものには同じ符号を付して、その説明は省略する。

図７に示すように、実施の形態３における垂直ＬＰＦ回路１６０は、セレクタ６２と１Ｈ遅延回路４４と積和回路５３とを有している。積和回路５３は、実施の形態２と同様に、３つの乗算器１０３，１０４，１０５と加算器１１３により構成されている。実施の形態３の垂直ＬＰＦ回路１６０において、垂直補間回路１５からの入力信号Ｖinが積和回路５３と、セレクタ６２に入力されている。セレクタ６２の出力信号は積和回路５３と第１の１Ｈ遅延回路４４に入力され、１Ｈ遅延回路４４の出力信号は積和回路５３とセレクタ６２に入力される。

次に、以上のように構成された実施の形態３の固体撮像装置における垂直ＬＰＦ回路１６０の動作を図８を参照して説明する。図８は実施の形態３の垂直ＬＰＦ回路１６０において形成される信号を示す波形図である。
垂直ＬＰＦ回路１６０におけるセレクタ６２は、制御信号Ｖselに従い、垂直補間回路１５からの入力信号Ｖinと１Ｈ遅延回路４４の出力信号Ｖ２とのいずれか一方の信号を選択して出力する。このようにセレクタ６２を設けることにより、セレクタ６２は入力信号Ｖinに対して１水平走査線期間（１Ｈ）だけ遅延した１Ｈ遅延信号Ｖ１を出力することが可能となる。セレクタ６２に接続されている１Ｈ遅延回路４４は、入力された映像信号を１水平走査線期間だけ遅延させるものであり、セレクタ６２からの１Ｈ遅延信号Ｖ１に対してさらに１Ｈだけ遅延した２Ｈ遅延信号Ｖ２を出力する。
実施の形態３の積和回路５３は、前述の実施の形態２と同様に、入力信号Ｖin、１Ｈ遅延信号Ｖ１及び２Ｈ遅延信号Ｖ２が入力されて、乗算、加算処理が行われる。

次に、実施の形態３において、セレクタ６２により１Ｈ遅延信号Ｖ１を生成する動作について説明する。
セレクタ６２は、制御信号Ｖselに従い、２つの入力信号から一つを選択して出力するよう構成されており、制御信号Ｖselが「Ｈ」（ハイレベル）の時には入力端子ａの信号を出力し、制御信号Ｖselが「Ｌ」（ローレベル）の時には入力端子ｂの信号を出力する。図８に示すように、制御信号Ｖselは１水平走査線期間（１Ｈ）毎に「Ｈ」と「Ｌ」を繰り返す信号である。例えば、図８に示す水平走査期間（１）では、制御信号Ｖselが「Ｈ」であるので、入力信号Ｖinが選択されて、セレクタ６２は出力信号Ｖ１として第１ラインＬ１を積和回路５３へ出力する。また、このセレクタ６２の出力信号Ｖ１は１Ｈ遅延回路４４にも入力されるので、１水平走査線期間（１Ｈ）後、すなわち図８に示す水平走査期間（２）では、１Ｈ遅延回路４４の出力信号Ｖ２が第１ラインＬ１となる。

図８に示す水平走査期間（２）では制御信号Ｖselが「Ｌ」であるので、セレクタ６２は入力端子ｂの信号である１Ｈ遅延回路４４の出力信号である第１ラインＬ１を選択して積和回路５３へ出力する。このとき、セレクタ６２の出力信号Ｖ１は１Ｈ遅延回路４４にも入力されるため、１水平走査線期間（１Ｈ）後、すなわち図８に示す水平走査期間（３）では、１Ｈ遅延回路４４の出力信号Ｖ２が第１ラインＬ１となる。

以上の動作を繰り返すことにより、セレクタ６２からの出力信号Ｖ１は、図８に示すように、前述の実施の形態２と同様に、入力信号Ｖinを１水平走査線期間だけ遅延した信号となる。
したがって、実施の形態３によれば、垂直ＬＰＦ回路１６０において１つの１Ｈ遅延回路４４とセレクタ６２を用いることにより、前述の実施の形態２の垂直ＬＰＦ回路１６と同様の動作を実現することが可能となる。

以上のように、実施の形態３の固体撮像装置によれば、固体撮像素子において垂直画素加算処理した信号に対して、垂直補間回路１５により垂直画素加算処理に伴う1/2ライン相当の垂直方向の画像ずれを防止することができ、垂直ＬＰＦ回路１６０により垂直方向に滑らかな画像を得ることができるとともに、高感度化においても回路規模の増大を抑えることが可能となる。
なお、上記実施の形態３においては、垂直ＬＰＦ回路１６０に乗算器と加算器を用いた構成で説明したが、本発明はこの構成に限定されるものではなく、乗算器に代わって一般的に用いられる回路構成も本発明に含まれることは云うまでもない。特に、固定係数であれば、垂直ＬＰＦ回路としてはビットシフタと加算器でも構成することが可能である。また、実施の形態３の垂直ＬＰＦ回路１６０としては、３タップ（係数：1/4，1/2，1/4）のＦＩＲフィルタ回路で構成したが、係数及びタップ数は用いられる装置の構成に応じて所望の数値に設定される。

《実施の形態４》
次に、本発明に係る実施の形態４の固体撮像装置について図面を参照しつつ説明する。図９は本発明に係る実施の形態４の固体撮像装置の構成を示すブロック図である。図９において、前述の実施の形態１の構成と実質的に同じ機能、構成を有するものには同じ符号を付して、その説明は省略する。実施の形態４の固体撮像装置は、前述の実施の形態１の固体撮像装置における輪郭強調回路２３の代わりに輪郭処理回路２５を設けた装置である。

図１０は実施の形態４における輪郭処理回路２５の構成を示すブロック図である。
輪郭処理回路２５は、垂直輪郭抽出回路３１、水平輪郭抽出回路３２、２つの乗算器３３，３４、加算器３５及び符号反転器３６を有する。垂直輪郭抽出回路３１は２つの１Ｈ遅延回路４５，４６と積和回路５５を有しており、積和回路５５は３つの乗算器１０７，１０８，１０９及び加算器１１６を有している。

輪郭処理回路２５へ入力された映像信号Ｖinは、垂直輪郭抽出回路３１の第１の１Ｈ遅延回路４５を介して積和回路５５へ入力される。第１の１Ｈ遅延回路４５は、入力された映像信号を１水平走査線期間（１Ｈ）だけ遅延するものである。第１の１Ｈ遅延回路４５の出力信号である１Ｈ遅延信号Ｖ１は、積和回路５５、第２の１Ｈ遅延回路４６、水平輪郭抽出回路３２及び加算器３５へと供給される。また、第２の１Ｈ遅延回路４６は入力された１Ｈ遅延信号Ｖ１を１Ｈだけ遅延するものであり、映像信号Ｖinに対して２Ｈだけ遅延した２Ｈ遅延信号Ｖ２を出力する。その２Ｈ遅延信号Ｖ２は積和回路５５に供給される。

図１０に示すように、積和回路５５において、入力信号Ｖin、１Ｈ遅延信号Ｖ１及び２Ｈ遅延信号Ｖ２が入力され、それぞれの信号に所定の係数が乗算されて加算される。すなわち、積和回路５５では、乗算器１０７において入力信号Ｖinに係数-1/4が乗算され、乗算器１０８において１Ｈ遅延信号Ｖ１に係数1/2が乗算され、そして乗算器１０９において２Ｈ遅延信号Ｖ２に係数-1/4が乗算される。このように乗算された各信号は加算器１１６に入力され加算される。
以上の処理により、垂直輪郭抽出回路３１の出力信号ＤＶは、次式（３）に示す信号となる。

ＤＶ ＝ −1/4*Ｖin＋1/2*Ｖ１−1/4*Ｖ２ ・・・・・（３）

垂直輪郭抽出回路３１は式（３）に示す垂直輪郭成分に相当する高周波成分を出力する。この垂直輪郭抽出回路３１の出力信号ＤＶは、乗算器３３において垂直輪郭強調ゲインＫＶが乗算された後、符号反転器（Sign）３６に入力される。符号反転器３６においては、その時の撮影モードに応じて入力信号の符号を反転させる。符号反転器３６からの出力信号は加算器３５へ入力される。

第１の１Ｈ遅延回路４５からの１Ｈ遅延信号Ｖ１は、加算器３５へ入力されると共に水平輪郭抽出回路３２へも入力される。水平輪郭抽出回路３２は、水平方向の輪郭成分のみを取り出して水平輪郭信号ＤＨを乗算器３４へ出力する。乗算器３４は、水平輪郭信号ＤＨに水平輪郭強調ゲインＫＨを乗算して、加算器３５へ出力する。
上記のように、加算器３５には垂直輪郭信号（ＫＶ＊ＤＶ）と、１Ｈ遅延信号Ｖ１と、水平輪郭信号（ＫＨ＊ＤＨ）が入力されて加算され、出力される。

次に、上記のように構成された実施の形態４の固体撮像装置における動作について説明する。
図９に示すように、実施の形態４の固体撮像装置においては、ＣＣＤなどの固体撮像素子１０からの撮像画像の光学信号が、プリアンプ１２、アナログプロセス回路１３及びＡ／Ｄ変換回路１４を介して垂直補間回路１５に入力されるよう構成されている。固体撮像素子１０において垂直画素加算処理を行うと、前述のように、その時出力される映像信号は１水平走査線期間（１Ｈ）毎にしか映像信号が存在しない。そこで、前述の各実施の形態で説明したように実施の形態４においても垂直補間回路１５を設けて、同じ映像信号を２回続けて出力することにより、各ラインとも映像信号が存在するよう構成されている。

垂直補間回路１５の出力は、ディジタルプロセス回路１７へと供給され、ガンマニー回路２２によりガンマ補正やニー補正などの非線形処理が行われ、輪郭処理回路２５へ入力される。輪郭処理回路２５の垂直輪郭抽出回路３１では、入力した映像信号の垂直方向の輪郭成分のみが取り出され、垂直輪郭信号ＤＶを形成し、乗算器３３において垂直輪郭強調ゲインＫＶが乗算された垂直輪郭信号（ＫＶ＊ＤＶ）が形成される。

この垂直輪郭信号は、符号反転器３６に入力され、固体撮像装置の高感度処理である高感度撮像動作のとき、符号の反転が行われる。すなわち、固体撮像装置が垂直画素加算処理による高感度撮影モードで動作している時、図示しないマイクロ・コンピュータから符号反転器３６へ符号反転指示信号Ｖsignが入力される。この符号反転指示信号Ｖsignが符号反転器３６に入力されることにより、垂直輪郭信号（ＫＶ＊ＤＶ）の符号が反転されて加算器３５へ出力される。反対に、固体撮像装置が通常の感度処理である通常撮影モードの時、すなわち垂直画素加算処理が行われていない時、符号反転器３６には符号反転指示信号Ｖsignが入力されず、符号反転は行われない。

上記のように、実施の形態４の固体撮像装置において、高感度撮影モードでは、垂直輪郭信号（ＫＶ＊ＤＶ）の符号が反転しているので、加算器３５には垂直輪郭信号（−ＫＶ＊ＤＶ）と、１Ｈ遅延信号Ｖ１と、水平輪郭信号（ＫＨ＊ＤＨ）が入力されて、加算される。このときの加算処理において、垂直方向だけに着目すると、加算器３５の出力信号Ｖoutは、次式（４）となる。

Ｖout ＝ Ｖ１−ＫＶ＊ＤＶ
＝ Ｖ１−ＫＶ＊(−1/4*Ｖin＋1/2*Ｖ１−1/4*Ｖ２) ・・・・・（４）

ここで、例えば垂直輪郭強調ゲインＫＶ＝１の場合を考えると、式（４）は次式（５）となる。

Ｖout ＝ Ｖ１−(−1/4*Ｖin＋1/2*Ｖ１−1/4*Ｖ２)
＝ 1/4*Ｖin＋1/2*Ｖ１＋1/4*Ｖ２ ・・・・・（５）

したがって、実施の形態４の固体撮像装置は、前述の実施の形態２の固体撮像装置と同様に、垂直方向に滑らかな画像を得るという垂直ＬＰＦ特性を有する。すなわち、垂直輪郭抽出回路３１の出力に係数を乗算した垂直輪郭信号（ＫＶ＊ＤＶ）を１Ｈ遅延信号Ｖ１から減算することにより、実施の形態４の固体撮像装置は垂直方向に滑らかな画像を形成するＬＰＦ効果を奏する。

以上のように、実施の形態４の固体撮像装置によれば、固体撮像素子において垂直画素加算処理した信号に対して、垂直補間回路１５により垂直画素加算処理に伴う1/2ライン相当の垂直方向の画像ずれを防止することができるとともに、輪郭処理回路２５により垂直方向に滑らかな画像を得ることができる。実施の形態４においては、実施の形態２において用いた垂直ＬＰＦ回路１６と輪郭強調回路２３との両機能を有する輪郭処理回路２５が設けられているため、回路規模の大きい１Ｈ遅延回路の削減を削減することができ、装置の高感度化においても装置の小型化を達成することができる。

なお、実施の形態４においては、垂直輪郭抽出回路３１に乗算器を用いた構成で説明したが、本発明はこの構成に限定されるものではなく、乗算器に代わって一般的に用いられる回路構成も本発明に含まれることは云うまでもない。特に、固定係数であれば、垂直輪郭抽出回路としてはビットシフタと加算器を用いて構成することが可能である。
また、実施の形態４の垂直輪郭抽出回路３１としては、３タップ（係数：1/4，1/2，1/4）のＦＩＲフィルタ回路で構成した例で説明したが、係数及びタップ数は用いられる装置の構成に応じて所望の数値に設定され得る。なお、高感度撮影モードにおいては、上記フィルタ係数を通常撮影モードと異なる値に変更するよう構成することも可能である。

また、実施の形態４においては、符号反転器３６を用いた例で説明したが、この符号反転器３６の代わりに乗算器３３で垂直輪郭強調ゲインとして負の数値を与えても、同様の効果を奏する。さらに、垂直輪郭抽出回路３１として（−1/4，1/2，−1/4）の３タップＦＩＲ回路を構成したが、その係数及びタップ数は、他の数値でも構わない。
また、実施の形態４においては、垂直輪郭抽出回路３１と乗算器３３により垂直フィルタ回路を構成した例で説明したが、これらを一つの回路とした垂直フィルタ回路を用いることが可能であり、この場合、高感度撮影モードではフィルタ係数を変化させることにより、垂直ＬＰＦ（垂直ローパスフィルタ）として動作させても、実施の形態４と同様の効果を奏する。

以上、実施の形態により詳細に説明したところから明らかなように本発明に係る固体撮像装置は次の効果を有する。
本発明によれば、垂直画素加算処理による高感度撮影モード時において、従来の固体撮像装置に比して簡単な構成により、垂直画素加算処理に伴う垂直方向の画像のずれを防止できるという優れた効果が有する固体撮像装置を提供することができる。
また、本発明の固体撮像装置よれば、垂直方向の信号成分において滑らかな画像を提供することができる。
また、本発明の固体撮像装置においては、回路規模を増加させることなく垂直方向の平滑化を達成することができる。
さらに、本発明の固体撮像装置においては、高感度撮影モード時の垂直平滑化手段として輪郭処理回路を設けることにより、回路規模の大きな１水平走査線期間遅延回路を削減することが可能となり、大きなメモリ容量を必要としない小型の固体撮像装置を提供することが可能となる。

本発明は、ビデオ信号を扱う機器、特にビデオカメラやカメラ装置において有用である。

本発明に係る実施の形態１の固体撮像装置の構成を示すブロック図である。 実施の形態１の固体撮像装置における垂直補間回路の構成を示すブロック図である。 図２の垂直補間回路において生成される信号を示す波形図である。 本発明に係る実施の形態２の固体撮像装置の構成を示すブロック図である。 実施の形態２の固体撮像装置における垂直ＬＰＦ回路の構成を示すブロック図である。 図５の垂直ＬＰＦ回路において生成される信号を示す波形図である。 本発明に係る実施の形態３の固体撮像装置における垂直ＬＰＦ回路の構成を示すブロック図である。 図７の垂直ＬＰＦ回路において生成される信号を示す波形図である。 本発明に係る実施の形態４の固体撮像装置の構成を示すブロック図である。 実施の形態４の固体撮像装置における輪郭処理回路の構成を示すブロック図である。 従来の固体撮像装置の構成を示すブロック図である。 従来の固体撮像装置における垂直補間回路の構成を示すブロック図である。 従来の固体撮像装置における垂直補間回路において生成される信号を示す波形図である。 従来の固体撮像装置における輪郭強調回路の構成を示すブロック図である。

符号の説明

１０ 固体撮像素子
１１ ＣＣＤ駆動回路
１２ プリアンプ
１３ アナログプロセス回路
１４ Ａ／Ｄ変換回路
１５ 垂直補間回路
１６ 垂直ＬＰＦ回路
１７ ディジタルプロセス回路
１８ Ｄ／Ａ変換回路
１９ Ｐ／Ｓ変換回路
２２ ガンマニー回路
２３ 輪郭強調回路
２４ マトリクス変換回路
３１ 垂直輪郭抽出回路
３２ 水平輪郭抽出回路
３６ 符号反転器
４１、４２、４３、４４、４５、４６ １水平走査線期間遅延回路
５３ 積和回路
６１、６２ セレクタ

Claims (2)

1. ２次元マトリクス状に配列された複数の光電変換素子からなる固体撮像素子を備えた固体撮像装置において、
   前記固体撮像素子に垂直方向の複数の画素の信号電荷を加算処理させる垂直画素加算指令手段と、
   前記固体撮像素子の加算処理した映像信号を１水平走査線期間毎に出力する垂直補間回路と、
   垂直輪郭抽出回路と演算回路とを有する輪郭処理回路と、を具備し、
   前記垂直補間回路は、垂直画素加算処理された映像信号を１水平走査線期間だけ遅延させた１水平走査線期間遅延信号を出力する１水平走査線期間遅延回路と、
   前記映像信号と前記１水平走査線期間遅延信号が入力されて、１水平走査線期間毎に切り替わる制御信号に基づきいずれか一方の信号を選択して出力するセレクタと、を有し、
   前記垂直輪郭抽出回路は、当該輪郭処理回路への入力信号から垂直方向の画像の輪郭成分を抽出した垂直輪郭信号を出力するよう構成されており、
   前記演算回路は、固体撮像素子において垂直画素加算処理を行う時に前記垂直輪郭抽出回路の出力信号を当該輪郭処理回路の入力信号から減算するよう構成されており、固体撮像素子において垂直画素加算処理を行わない時に前記垂直輪郭抽出回路の出力信号を当該輪郭処理回路の入力信号に加算するよう構成された固体撮像装置。
2. ２次元マトリクス状に配列された複数の光電変換素子からなる固体撮像素子を備えた固体撮像装置において、
   前記固体撮像素子に垂直方向の複数の画素の信号電荷を加算処理させる垂直画素加算指令手段と、
   前記固体撮像素子の加算処理した映像信号を１水平走査線期間毎に出力する垂直補間回路と、
   垂直輪郭抽出回路と符号反転回路と加算回路とを有する輪郭処理回路と、を具備し、
   前記垂直補間回路は、垂直画素加算処理された映像信号を１水平走査線期間だけ遅延させた１水平走査線期間遅延信号を出力する１水平走査線期間遅延回路と、
   前記映像信号と前記１水平走査線期間遅延信号が入力されて、１水平走査線期間毎に切り替わる制御信号に基づきいずれか一方の信号を選択して出力するセレクタと、を有し、
   前記垂直輪郭抽出回路は、当該輪郭処理回路への入力信号から垂直方向の画像の輪郭成分を抽出した垂直輪郭信号を出力するよう構成されており、
   前記符号反転回路は、固体撮像素子において垂直画素加算処理を行う時に前記垂直輪郭抽出回路の出力信号の符号を反転するよう構成されており、
   前記加算回路は、前記符号反転回路の出力信号を当該輪郭処理回路への入力信号に加算するよう構成された固体撮像装置。

Images