JP3660915B2 - 撮像装置とその信号処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カラー撮像が行える撮像装置とその信号処理方法に関するものである。
【０００２】
【従来の技術】
単板式の固体撮像装置では、単一の撮像素子の上に色フィルタ配列が重ねられる。例えばＣＣＤ（Charge Coupled Device）型の撮像素子は、複数のフォトダイオード（ＰＤ）が２次元配列され、これらＰＤの垂直列に対してそれぞれ垂直ＣＣＤ（ＶＣＣＤ）が設けられ、これらＶＣＣＤの一方端に１本の水平ＣＣＤ（ＨＣＣＤ）が共通に連結されてなる。各ＰＤは、入射光をその光量に応じた信号電荷に変換するための画素を構成する。色フィルタ配列は、２次元配列された複数のフィルタ単位を有する。例えば、複数のフィルタ単位の各々は第１、第２、第３及び第４の色要素の２×２配列からなり、かつ各色要素が撮像素子の各画素に対応するように当該撮像素子上に重ねられる。原色ベイヤ（Bayer）配列と呼ばれる色フィルタ配列では、第１、第２、第３及び第４の色要素がそれぞれ、例えばレッド（Ｒ）、グリーン（Ｇ）、グリーン（Ｇ）及びブルー（Ｂ）の選択的透過特性を有する。２つのＲに挟まれたＧを「Ｇｒ」と表記し、２つのＢに挟まれたＧを「Ｇｂ」と表記するのが便利である。また、補色フィルタ配列の１つとして、第１、第２、第３及び第４の色要素がそれぞれ、マゼンタ（Ｍｇ）、グリーン（Ｇ）、シアン（Ｃｙ）及びイエロー（Ｙｅ）の選択的透過特性を有する色フィルタ配列も知られている。
【０００３】
近年、一層の高解像度撮像を実現するために撮像素子の多画素化が進んでいる。現在、２００万画素、あるいは４００万画素のＣＣＤ型撮像素子を搭載したデジタルスチルカメラ（ＤＳＣ）が商品化されており、１０００万画素を超える多画素を持つ撮像素子の試作報告もある。
【０００４】
一方、ＤＳＣで静止画のみならず動画をも得ることが求められている。静止画撮像の場合にはシャッタが切られた後の時間的な制約があまりないので、多画素撮像素子の場合でもＶＣＣＤ及びＨＣＣＤを使って全画素の信号電荷を個別にゆっくりと読み出すことが可能である。ところが、例えばシャッタチャンスを窺えるように液晶モニタに被写体の動画を映し出すモニタリングモードでは、ＶＣＣＤ及びＨＣＣＤの各々の最高駆動周波数がＨＣＣＤ出力側に設けられるアンプの周波数特性の制約を受ける結果、撮像素子の多画素化に伴って動画のフレームレートが低下する。
【０００５】
そこで、特開２０００−２０９５９９号公報に開示された技術によれば、モニタリングモードで３列毎に２列についてＶＣＣＤからＨＣＣＤへの信号電荷の転送が禁止される。これにより、３列毎に２列について画素の信号電荷が捨てられる結果、フレームレートを上げることができる。また、ＶＣＣＤにおいて３行毎に２行について画素の信号電荷を捨てることによってもフレームレートが上がることが知られている。しかも、色要素の２×２配列からなるフィルタ単位を採用する限り、捨てられずに残された信号電荷から所要の色情報が得られる。
【０００６】
【発明が解決しようとする課題】
ところが、上記のように画素の信号電荷を選択的に捨てる技術を採用する場合には、光の利用効率が悪くなり、特に低照度での撮像に適さないという難点があった。また、行、列のいずれか一方のみで画素の信号電荷を捨てる場合には、垂直方向と水平方向で空間周波数特性のアンバランスが生じる結果、映像品質が劣化する。
【０００７】
本発明の目的は、多画素の撮像素子を持つ撮像装置において、動画撮像におけるフレームレートを上げつつ光の利用効率を向上させ、かつ映像品質の劣化を防止することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明では、各々フィルタ単位（２×２配列）より大きい奇数×奇数画素の正方配列からなる複数の画素ブロックの中で、それぞれ当該画素ブロックに属する全画素の信号電荷を加算することとした。
【０００９】
具体的に説明すると、本発明は、カラー撮像が行える撮像装置において、各々入射光をその光量に応じた信号電荷に変換するように２次元配列された複数の画素を有する撮像素子と、２次元配列された複数のフィルタ単位を有し、当該複数のフィルタ単位の各々は第１、第２、第３及び第４の色要素の２×２配列からなり、かつ各色要素が撮像素子の各画素に対応するように撮像素子上に重ねられた色フィルタ配列と、各々フィルタ単位より大きい奇数×奇数画素の正方配列からなる複数の画素ブロックに撮像素子の複数の画素をグループ分けし、複数の画素ブロックの各々について当該画素ブロックに属する全ての画素の信号電荷を加算するように撮像素子を駆動するための駆動回路と、画素ブロックの２×２配列を大きいフィルタ単位として画素ブロック毎の加算の結果から画素ブロック毎の凝縮された色情報を得るための信号処理回路とを備えることとしたものである。複数の画素ブロックの各々は、例えば３×３画素配列からなる。第１、第２、第３及び第４の色要素のうち２つは、同色であってよい。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１１】
図１は、本発明に係る撮像装置の構成例を示している。この撮像装置は、静止画モード（全画素モード又はモード１とも言う）と動画モード（モニタリングモード又はモード２とも言う）とを持つカラー撮像可能なＤＳＣであって、ＣＣＤ型撮像素子１０、色フィルタ配列１１、レンズ１２、駆動回路１３、信号処理回路１４及びモード切換部１５を備えている。ＣＣＤ型撮像素子１０は、各々入射光をその光量に応じた信号電荷に変換するように２次元配列された複数の画素を有する撮像素子である。色フィルタ配列１１は、２次元配列された３色以上の色要素を有し、各色要素が撮像素子１０の各画素に対応するように当該撮像素子１０の上に重ねられている。レンズ１２は、被写体からの入射光を色フィルタ配列１１へ導く。駆動回路１３は、撮像素子１０を駆動するための複数の駆動パルスを供給するための回路である。信号処理回路１４は、撮像素子１０から得られたＣＣＤ出力信号Ｖｏｕｔに基づいて輝度信号Ｙ並びに色差信号Ｃｒ及びＣｂを作り、これらを映像信号として出力するための回路である。ただし、映像信号としてＲＧＢ信号を出力する場合もある。モード切換部１５は、モード１又はモード２の指定を表すモード信号ＭＤを駆動回路１３及び信号処理回路１４へ供給することにより、両回路１３，１４が指定モードで動作するように制御するための手段である。
【００１２】
図２は、図１中のＣＣＤ型撮像素子１０の概略構成を示している。図２の撮像素子１０は、複数のＰＤ２０が２次元配列され、これらＰＤ２０の垂直列に対してそれぞれＶＣＣＤ２２が設けられ、これらＶＣＣＤ２２の一方端に１本のＨＣＣＤ２３が共通に連結されてなるものである。各ＰＤ２０は、入射光をその光量に応じた信号電荷に変換し、これを蓄積する。各ＰＤ２０とＶＣＣＤ２２との間に読み出しゲート２１が介在しており、ＰＤ２０に蓄積された信号電荷をＶＣＣＤ２２に読み出すようになっている。各ＰＤ２０に対して４相の転送ゲートφＶ１，φＶ２，φＶ３，φＶ４が設けられ、そのうちφＶ３は読み出しゲート２１を兼ねている。ＨＣＣＤ２３には２相の転送ゲートφＨ１，φＨ２が設けられている。ＨＣＣＤ２３の電荷転送先は、アウトプットゲート（ＯＧ）２４を介してフローティングディフュージョン（ＦＤ）２５に接続されている。ＦＤ２５に貯められた電荷は、アンプ２６で検出・増幅され、電圧信号Ｖｏｕｔとして出力されるようになっている。ＦＤ２５に残った電荷は、リセットゲート（ＲＧ）２７へリセットパルスφＲを印加することによりリセットドレイン（ＲＤ）２８へ排出されるようにもなっている。なお、ＶＣＣＤ２２の４相転送ゲートφＶ１〜φＶ４、及びＨＣＣＤ２３の２相の転送ゲートφＨ１，φＨ２の各々への駆動パルスと、ＲＧ２７へのリセットパルスφＲとは、図１中の駆動回路１３から供給される。
【００１３】
図３は、図１中の色フィルタ配列１１の一例を示している。図３の色フィルタ配列１１は、前述の原色ベイヤ配列であって、２次元配列された複数のフィルタ単位を有し、各フィルタ単位は色要素Ｒ，Ｇｒ，Ｇｂ及びＢの２×２配列からなる。
【００１４】
さて、図１のＤＳＣでモード１が指定されると、ＣＣＤ型撮像素子１０の個々の画素の信号電荷から個別の色情報を得るように駆動回路１３及び信号処理回路１４が動作することで、高解像度の静止画撮像が実行される。
【００１５】
図４は、図２中のＶＣＣＤ２２におけるモード１の電荷転送の様子を駆動パルス波形とともに示している。図４の上段は、ＨＣＣＤ２３に隣接する３つのＰＤ（画素）２０から読み出された信号電荷の流れを表している。ＰＤ２０に蓄積された信号電荷は、φＶ３に高電圧（ＶＨ）の読み出しパルスを与えることによりＶＣＣＤ２２に読み出される。ＶＣＣＤ２２に読み出された信号電荷は、φＶ１〜φＶ４にそれぞれ図４に示すタイミングで中間電圧（ＶＭ）と低電圧（ＶＬ）とに変化する駆動パルスを印加することにより、ＶＣＣＤ２２の中で１画素分転送される。この動作により、各ＶＣＣＤ２２の最終段の信号電荷、すなわち１水平ラインのＰＤ２０の信号電荷がＨＣＣＤ２３内に転送される。そして、ＨＣＣＤ２３による１水平ライン転送の後、次の水平ラインのＰＤ２０の信号電荷がＨＣＣＤ２３内に転送される。この動作を繰り返すことで、１画面分の静止画が得られる。
【００１６】
図５は、図２中のＨＣＣＤ２３におけるモード１の駆動パルス波形をＣＣＤ出力信号Ｖｏｕｔの波形とともに示している。ＨＣＣＤ２３に転送された信号電荷は、互いに逆位相の２値駆動パルスを転送ゲートφＨ１，φＨ２に印加することにより、順次ＯＧ２４を通過し、ＦＤ２５に貯められる。ＦＤ２５に貯められた電荷は、アンプ２６で検出・増幅され、電圧信号Ｖｏｕｔとして出力される。ＦＤ２５に蓄積され検出された電荷は、ＨＣＣＤ２３の１段転送毎にＲＧ２７にリセットパルスφＲを印加することにより、ＲＤ２８に排出される。この動作を繰り返すことで、１水平ラインの信号電荷が検出され、電圧信号Ｖｏｕｔとして出力される。なお、信号処理回路１４における処理は従来と同様であるので、詳細な説明は省略する。
【００１７】
モード２では、ＣＣＤ撮像素子１０内の信号電荷加算が行われるように駆動回路１３が動作し、かつそれに応じた処理を信号処理回路１４が行うことで、高フレームレート、かつ高感度の動画撮像が実行される。
【００１８】
図６は、図３の色フィルタ配列１１を用いた場合の信号電荷加算の範囲を示している。撮像素子１０の複数の画素は、各々３×３画素の正方配列からなる複数の画素ブロックにグループ分けされる。図６は、これに対応する色要素ブロックを破線で表している。図６中の左上隅の色要素ブロック（第１の色要素ブロック）は、４個のＲと、２個のＧｒと、２個のＧｂと、１個のＢとを含む。その右隣の色要素ブロック（第２の色要素ブロック）は、２個のＲと、４個のＧｒと、１個のＧｂと、２個のＢとを含む。第１の色要素ブロックの下隣の色要素ブロック（第３の色要素ブロック）は、２個のＲと、１個のＧｒと、４個のＧｂと、２個のＢとを含む。そして、その右隣の色要素ブロック（第４の色要素ブロック）は、１個のＲと、２個のＧｒと、２個のＧｂと、４個のＢとを含む。これら第１〜第４の色要素ブロックに対応する第１〜第４の画素ブロック内の信号電荷加算の結果をそれぞれＡ、Ｂａ、Ｂｃ、Ｃとし、６×６画素の領域の新たな色情報をＲ^*、Ｇｒ^*、Ｇｂ^*、Ｂ^*で表すこととすると、
Ａ＝４Ｒ^*＋２Ｇｒ^*＋２Ｇｂ^*＋１Ｂ^* （１）
Ｂａ＝２Ｒ^*＋４Ｇｒ^*＋１Ｇｂ^*＋２Ｂ^* （２）
Ｂｃ＝２Ｒ^*＋１Ｇｒ^*＋４Ｇｂ^*＋２Ｂ^* （３）
Ｃ＝１Ｒ^*＋２Ｇｒ^*＋２Ｇｂ^*＋４Ｂ^* （４）
が成り立つ。駆動回路１３は、このように複数の画素ブロックの各々について当該画素ブロックに属する全ての画素の信号電荷を加算するように撮像素子１０を駆動するのである。
【００１９】
図７は、図６に基づく信号電荷加算の結果を示している。等式（１）〜（４）をＲ^*、Ｇｒ^*、Ｇｂ^*、Ｂ^*について解くと、
Ｒ^*＝ （４Ａ−２Ｂａ−２Ｂｃ＋１Ｃ）／９ （５）
Ｇｒ^*＝（−２Ａ＋４Ｂａ＋１Ｂｃ−２Ｃ）／９ （６）
Ｇｂ^*＝（−２Ａ＋１Ｂａ＋４Ｂｃ−２Ｃ）／９ （７）
Ｂ^*＝ （１Ａ−２Ｂａ−２Ｂｃ＋４Ｃ）／９ （８）
が得られる。信号処理回路１４は、画素ブロックの２×２配列、すなわち６×６画素の領域を大きいフィルタ単位として、画素ブロック毎の信号電荷加算の結果から当該画素ブロック毎の凝縮された色情報Ｒ^*，Ｇｒ^*，Ｇｂ^*，Ｂ^*を等式（５）〜（８）に従って得たうえ、従来と同様にしてＹ・Ｃｒ・Ｃｂ映像信号又はＲＧＢ映像信号を作るのである。
【００２０】
次に、図８及び図９を用いて画素ブロック毎の信号電荷加算の方法の一例を簡単に説明する。図８はＶＣＣＤ２２におけるモード２の電荷転送の様子を示しており、垂直方向の信号電荷加算は、ＶＣＣＤ２２から３画素の信号電荷を連続してＨＣＣＤ２３へ転送することにより、ＨＣＣＤ２３内で行われる。図９はＨＣＣＤ２３におけるモード２の駆動パルス波形を示しており、水平方向の信号電荷加算は、ＨＣＣＤ２３の３段転送毎に１回の割合でリセットパルスφＲを印加することにより、アンプ２６の入力側にて行われるのである。
【００２１】
図４と図８とを比較して分かるように、モード２ではモード１に比べてＨＣＣＤ２３による水平ライン転送回数が３分の１になる。ＶＣＣＤ２２による１又は３画素の信号電荷の転送に要する時間は、ＨＣＣＤ２３による１水平ラインの転送に要する時間に比べて十分に短い。したがって、モード２では、上記画素ブロック毎の信号電荷加算を行わない場合に比べて約３倍の高フレームレートを実現できる。また、モード２でも全ての画素の信号電荷が有効利用されるので、光の利用効率が向上し、低照度での撮像にも適する。しかも、垂直方向と水平方向で映像の空間周波数特性にアンバランスが生じることもない。
【００２２】
なお、色フィルタ配列１１は図３に示した原色ベイヤ配列に限定されるものではない。例えば、前述のＭｇ、Ｇ、Ｃｙ及びＹｅからなる補色フィルタ配列を採用することも可能である。図１０及び図１１は、このような補色フィルタ配列を用いた場合の図である。モード２では、画素ブロック毎の信号電荷加算結果α，β，γ，δ及び新たな色情報Ｍｇ^*、Ｇ^*、Ｃｙ^*、Ｙｅ^*について、
α＝４Ｍｇ^*＋２Ｇ^*＋２Ｃｙ^*＋１Ｙｅ^* （９）
β＝２Ｍｇ^*＋４Ｇ^*＋１Ｃｙ^*＋２Ｙｅ^* （１０）
γ＝２Ｍｇ^*＋１Ｇ^*＋４Ｃｙ^*＋２Ｙｅ^* （１１）
δ＝１Ｍｇ^*＋２Ｇ^*＋２Ｃｙ^*＋４Ｙｅ^* （１２）
が成り立ち、これらの等式（９）〜（１２）から、
Ｍｇ^*＝ （４α−２β−２γ＋１δ）／９ （１３）
Ｇ^*＝（−２α＋４β＋１γ−２δ）／９ （１４）
Ｃｙ^*＝（−２α＋１β＋４γ−２δ）／９ （１５）
Ｙｅ^*＝ （１α−２β−２γ＋４δ）／９ （１６）
が得られる。信号処理回路１４は、画素ブロック毎の凝縮された色情報Ｍｇ^*，Ｇ^*，Ｃｙ^*，Ｙｅ^*を等式（１３）〜（１６）に従って得る。なお、等式（１３）〜（１６）中の１６個の係数は、人間の視覚特性に応じて適宜変更することができる。等式（５）〜（８）中の係数についても同様である。更に、例えば５×５画素配列を画素ブロックのサイズとして採用してもよい。
【００２３】
また、本発明はＤＳＣに限らず、ビデオカメラにも適用可能である。この場合、モード１では高解像度かつ低フレームレートの動画撮像が、モード２では低解像度かつ高フレームレートの動画撮像がそれぞれ達成される。
【００２４】
また、本発明はＣＣＤ型撮像素子１０に限らず、ＭＯＳイメージセンサ等の他の種類の撮像素子を搭載した撮像装置にも、信号電荷の加算手段又は加算平均手段を備える限り適用可能である。
【００２５】
【発明の効果】
以上説明してきたとおり、本発明によれば、各々フィルタ単位（２×２配列）より大きい奇数×奇数画素の正方配列からなる複数の画素ブロックの中で、それぞれ当該画素ブロックに属する全画素の信号電荷を加算することとしたので、動画撮像におけるフレームレートを上げつつ光の利用効率を向上させ、かつ映像品質の劣化を防止することができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の構成例を示すブロック図である。
【図２】図１中のＣＣＤ型撮像素子の概略構成図である。
【図３】図１中の色フィルタ配列の一例を示す説明図である。
【図４】図２中の垂直ＣＣＤにおけるモード１の電荷転送の様子を駆動パルス波形とともに示すタイミングチャート図である。
【図５】図２中の水平ＣＣＤにおけるモード１の駆動パルス波形をＣＣＤ出力信号の波形とともに示すタイミングチャート図である。
【図６】図３の色フィルタ配列を用いた場合の信号電荷加算の範囲を示す説明図である。
【図７】図６に基づく信号電荷加算の結果を示す説明図である。
【図８】図２中の垂直ＣＣＤにおけるモード２の電荷転送の様子を駆動パルス波形とともに示すタイミングチャート図である。
【図９】図２中の水平ＣＣＤにおけるモード２の駆動パルス波形をＣＣＤ出力信号の波形とともに示すタイミングチャート図である。
【図１０】図３の色フィルタ配列に代えて補色フィルタ配列を用いた場合の信号電荷加算の範囲を示す説明図である。
【図１１】図１０に基づく信号電荷加算の結果を示す説明図である。
【符号の説明】
１０ ＣＣＤ型撮像素子
１１ 色フィルタ配列
１２ レンズ
１３ 駆動回路
１４ 信号処理回路
１５ モード切換部
２０ フォトダイオード（ＰＤ）
２１ 読み出しゲート
２２ 垂直ＣＣＤ（ＶＣＣＤ）
２３ 水平ＣＣＤ（ＨＣＣＤ）
２４ アウトプットゲート（ＯＧ）
２５ フローティングディフュージョン（ＦＤ）
２６ アンプ
２７ リセットゲート（ＲＧ）
２８ リセットドレイン（ＲＤ）

Claims (6)

1. カラー撮像が行える撮像装置であって、
   各々入射光をその光量に応じた信号電荷に変換するように２次元配列された複数の画素を有する撮像素子と、
   ２次元配列された複数のフィルタ単位を有し、前記複数のフィルタ単位の各々は第１、第２、第３及び第４の色要素の２×２配列からなり、かつ各色要素が前記撮像素子の各画素に対応するように前記撮像素子上に重ねられた色フィルタ配列と、
   各々前記各フィルタ単位より大きい奇数×奇数画素の正方配列からなる複数の画素ブロックに前記撮像素子の複数の画素をグループ分けし、前記複数の画素ブロックの各々について当該画素ブロックに属する全ての画素の信号電荷を加算するように前記撮像素子を駆動するための駆動回路と、
   前記画素ブロックの２×２配列を大きいフィルタ単位として、前記画素ブロック毎の加算の結果から前記画素ブロック毎の凝縮された色情報を得るための信号処理回路とを備えたことを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記画素ブロック毎の加算によらず、前記撮像素子の個々の画素の信号電荷から個別の色情報を得るように前記駆動回路及び前記信号処理回路を制御するための手段を更に備えたことを特徴とする撮像装置。
3. 請求項１記載の撮像装置において、
   前記複数の画素ブロックの各々は、３×３画素配列からなることを特徴とする撮像装置。
4. 請求項１記載の撮像装置において、
   前記第１、第２、第３及び第４の色要素はそれぞれ、レッド、グリーン、グリーン及びブルーの選択的透過特性を有することを特徴とする撮像装置。
5. 請求項１記載の撮像装置において、
   前記第１、第２、第３及び第４の色要素はそれぞれ、マゼンタ、グリーン、シアン及びイエローの選択的透過特性を有することを特徴とする撮像装置。
6. 各々入射光をその光量に応じた信号電荷に変換するように２次元配列された複数の画素を有する撮像素子と、２次元配列されかつ各々色要素の２×２配列からなる複数のフィルタ単位を有し、かつ各色要素が前記撮像素子の各画素に対応するように前記撮像素子上に重ねられた色フィルタ配列とを備えた撮像装置の信号処理方法であって、
   各々前記各フィルタ単位より大きい奇数×奇数画素の正方配列からなる複数の画素ブロックに前記撮像素子の複数の画素をグループ分けし、前記複数の画素ブロックの各々について当該画素ブロックに属する全ての画素の信号電荷を加算するステップと、
   前記画素ブロックの２×２配列を大きいフィルタ単位として、前記画素ブロック毎の加算の結果から前記画素ブロック毎の凝縮された色情報を得るステップとを備えたことを特徴とする信号処理方法。

Images