JP3877565B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3877565B2 JP3877565B2 JP2001308396A JP2001308396A JP3877565B2 JP 3877565 B2 JP3877565 B2 JP 3877565B2 JP 2001308396 A JP2001308396 A JP 2001308396A JP 2001308396 A JP2001308396 A JP 2001308396A JP 3877565 B2 JP3877565 B2 JP 3877565B2
- Authority
- JP
- Japan
- Prior art keywords
- mixing
- pixels
- transfer unit
- horizontal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 17
- 230000000750 progressive effect Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000006837 decompression Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000000113 differential scanning calorimetry Methods 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ型撮像素子を持つ撮像装置に関するものである。
【０００２】
【従来の技術】
ＣＣＤ型の撮像素子を持つデジタルスチルカメラ（ＤＳＣ）の市場拡大が著しい。この撮像素子は、被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部と、各画素の電荷を垂直方向に転送するための垂直転送部と、該垂直転送部で転送された電荷を水平方向に転送するための水平転送部と、該水平転送部から得られた電荷信号を電圧信号に変換し、撮像信号として出力するための電荷検出増幅器とから構成される。垂直転送部には、１つの光電変換部に対し２つの電荷保持部で構成されるインターレース型と、１つの光電変換部に対し３つないしは４つの電荷保持部で構成されるプログレッシブ型とがある。
【０００３】
【発明が解決しようとする課題】
近年のＤＳＣでは、高精細の静止画像に加え、従来のＴＶ映像より高精細の動画像を低コストで得ることが望まれている。また、ＴＶに限らずパーソナルコンピュータの表示装置でも、高精細の動画像表示が求められている。
【０００４】
例えば、１３０万画素のＣＣＤ型撮像素子を使用したＤＳＣの場合、有効画素数は水平１２８０画素、垂直９６０画素であり、いわゆるインターレース読み出しを実行すれば、ハイビジョンに近い画質の動画像を得ることができる。
【０００５】
しかしながら、この場合、水平転送部の駆動周波数は約５０ＭＨｚにもなる。このような高速で水平転送部を駆動することは、消費電力の増大に加え、技術的な難易度が高く、性能保証のマージンも小さくなり調整等が必要になるためコストが極めて高くなる。
【０００６】
本発明の目的は、水平転送部の駆動周波数を低減しつつも高精細の動画像が得られる撮像装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明は、撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力することとしたものである。
【０００９】
具体的に説明すると、本発明に係る撮像装置は、被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部を有する撮像素子と、該撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力するための混合手段と、４画素混合を行わずに全画素の信号を独立して出力する動作モードと、４画素混合後の信号を出力する動作モードとを選択制御するための制御手段とを備え、両動作モードのいずれにおいても３つ以上の独立した色信号が得られるカラーフィルタ配列を撮像素子に設けたものである。しかも、カラーフィルタ配列は、混合される４画素の範囲内に少なくとも２種類のカラーフィルタを有することとした。これにより、従来と同等の静止画像に加えて、高精細の動画像を得ることができる。
【００１１】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００１２】
図１は、本発明の実施形態に係る撮像装置（ＤＳＣ）の全体構成を示している。このＤＳＣは、レンズ１０１と、ＣＣＤ型の撮像素子１０２と、撮像素子駆動部１０３と、アナログ信号処理部１０４と、アナログ・デジタル変換部（Ａ／Ｄ）１０５と、デジタル信号処理部１０６と、画像圧縮伸長部１０７と、画像記録部１０８と、表示部１０９とで構成される。
【００１３】
図１のＤＳＣによれば、レンズ１０１を通過した被写体の像は撮像素子１０２に結像される。撮像素子１０２は、撮像素子駆動部１０３により駆動されて光電変換を行い、撮像信号を出力する。次に、アナログ信号処理部１０４は、ノイズ除去や増幅等の処理を行い、アナログ・デジタル変換部１０５が撮像信号をデジタル信号に変換する。デジタル信号処理部１０６は、デジタル化された撮像信号を入力し、輝度信号と色信号とを含んだ映像信号を生成する。この映像信号を受け取った表示部１０９は、画像を表示する。この画像表示と並行して、画像圧縮伸長部１０７はデジタル信号処理部１０６から受け取った画像情報を圧縮し、画像記録部１０８に圧縮された画像情報が記録される。この画像記録部１０８に記録された画像情報を画像圧縮伸長部１０７で伸長し、デジタル信号処理部１０６を介して表示部１０９に画像を再生することもできる。
【００１４】
さて、撮像素子１０２の垂直転送部には、前述のとおりインターレース型とプログレッシブ型とがある。プログレッシブ型は全ての光電変換部の電荷を一度に転送することができるが、インターレース型は奇数ラインと偶数ラインの電荷を別々に転送する。そのため、インターレース型では電荷の読み出しタイミングが異なり、読み出し時まで光電変換部に光が当たり続けていると露光時刻がずれて、動いている被写体がブレてしまうという問題がある。そのため、読み出す前に光を遮断するためのシャッターが必要になる。しかしながら、ローコストで作れるため、インターレース型の撮像素子がＤＳＣに使用されることも多い。
【００１５】
図２及び図３に、インターレース型の撮像素子１０２を示す。１ａは光電変換部を、１ｂは２相駆動の垂直転送部を、１ｃは４相駆動の水平転送部を、１ｄは電荷検出増幅器をそれぞれ示す。簡略化のため、低減された数の画素のみが図示されている点に注意を要する。
【００１６】
図４に、プログレッシブ型の撮像素子１０２を示す。２ａは光電変換部を、２ｂは４相駆動の垂直転送部を、２ｃは４相駆動の水平転送部を、２ｄは電荷検出増幅器をそれぞれ示す。ここでも簡略化のため、低減された数の画素のみが図示されている点に注意を要する。
【００１７】
図５は、図２〜図４中の水平転送部１ｃ，２ｃの構造例を示している。図５において、３はＮ型拡散領域を、４はＰ型ウェルを、Ｈ１（ｎ）〜Ｈ４（ｎ）は４相ゲートを、Ｈ１（n+1）〜Ｈ４（n+1）は隣接４相ゲートを、φＨ１〜φＨ４は４相の駆動パルスをそれぞれ表している。ここに、ｎは任意の整数である。
【００１８】
以下、図１のＤＳＣの静止画撮影モードと動画撮影モードとの各々における動作を説明する。
【００１９】
〈静止画撮影モード〉
静止画撮影モードは、全画素の信号を独立して出力する「全画素読み出し」モードである。
【００２０】
図２及び図３に示したインターレース型撮像素子１０２の場合、全画素の電荷を同時に垂直転送部１ｂに転送すると必ず混合され、独立に転送することができない。したがって、奇数ラインの電荷と偶数ラインの電荷を別々のタイミングで転送する。このままでは、奇数ラインと偶数ラインの露光時間が異なってしまうので、光を遮断するシャッターを設け、遮光した後に転送を行うことにより露光時間をそろえる。
【００２１】
具体的に説明すると、まずシャッターを閉じて光電変換部１ａでの光電変換を停止させた後、光電変換部１ａの奇数ラインの信号電荷を垂直転送部１ｂへ転送する。次に垂直転送部１ｂで信号電荷を垂直方向に転送し、水平転送部１ｃにまで転送する。次に水平転送部１ｃは信号電荷を水平方向に転送し、そして電荷検出増幅器１ｄを経て撮像信号が出力される。奇数ラインの転送が終了した後、今度は偶数ラインの信号電荷を垂直転送部１ｂに転送し、以下奇数ラインと同様に信号電荷を転送し撮像信号を出力する。
【００２２】
図４に示したプログレッシブ型撮像素子１０２の場合には、垂直転送部２ｂで１画素毎に独立に信号電荷を転送できるので、転送における電荷混合の問題はない。水平転送部２ｃは信号電荷を水平方向に転送し、そして電荷検出増幅器２ｄを経て撮像信号が出力される。
【００２３】
図６に静止画撮影モードにおける図５中の各駆動パルスφＨ１〜φＨ４の波形を、図７に同モードにおける水平方向の電荷転送（画素混合なし）の様子をそれぞれ示す。ｔ１〜ｔ８は所定の長さを持つ期間を表している。図７は電位ポテンシャルの変化を示しており、一番低い所に電荷が保持される。丸で表しているものが電荷である。
【００２４】
図７によれば、期間ｔ１，ｔ２では、ゲートＨ１（ｎ）、Ｈ３（ｎ）、Ｈ１（n+1）及びＨ３（n+1）にそれぞれ電荷が保持されている。期間ｔ３，ｔ４では、Ｈ１（ｎ）の電荷がＨ２（ｎ）に、Ｈ３（ｎ）の電荷がＨ４（ｎ）に、Ｈ１（n+1）の電荷がＨ２（n+1）に、Ｈ３（n+1）の電荷がＨ４（n+1）にそれぞれ転送される。以下同様に、画素混合なしに電荷が転送される。なお、静止画撮影モードでは、動画撮影モードよりも低い速度で水平電荷転送を行うことが許される。
【００２５】
〈動画撮影モード〉
動画撮影モードは、撮像素子１０２の水平方向及び垂直方向に隣り合う４画素の電荷を混合して得られた撮像信号を出力する「４画素混合読み出し」モードである。
【００２６】
図２及び図３に示したインターレース型撮像素子１０２の場合、まず光電変換部１ａの信号電荷を垂直転送部１ｂへ転送する。次に垂直転送部１ｂは、垂直転送する際に隣り合う２画素の信号電荷を混合することにより垂直方向の２画素混合を行って、水平転送部１ｃにまで転送する。次に水平転送部１ｃは、水平転送する際に隣り合う２画素の信号電荷を混合することにより水平方向の２画素混合を行って、電荷検出増幅器１ｄにまで転送する。以上のようにして、結果として水平方向及び垂直方向の４画素混合が行われ、電荷検出増幅器１ｄを経て４画素混合後の撮像信号が出力される。
【００２７】
図２は第１フィールドにおける動作を、図３は第２フィールドにおける動作をそれぞれ示している。つまり、垂直転送部１ｂにおける垂直方向の画素混合の組み合わせをフィールド毎に変化させることにより、インターレース画像が得られることとなる。
【００２８】
図４に示したプログレッシブ型撮像素子１０２の場合、まず全ての光電変換部２ａの信号電荷を垂直転送部２ｂへ同時に転送する。次に垂直転送部２ｂで信号電荷を垂直方向に転送するが、インターレース型の場合と異なり、画素混合なしに独立して転送できる。次に垂直転送部２ｂから水平転送部２ｃへ信号電荷を転送する際に、水平転送部２ｃが水平転送を開始する前に２回続けて垂直転送部２ｂから水平転送部２ｃへ信号電荷を転送する。これによって、垂直方向に隣り合う２画素の信号電荷が混合され、結果として垂直方向の２画素混合が達成される。次に水平転送部２ｃは、水平転送する際に隣り合う２画素の信号電荷を混合することにより水平方向の２画素混合を行って、電荷検出増幅器２ｄにまで転送する。以上のようにして、結果として水平方向及び垂直方向の４画素混合が行われ、電荷検出増幅器２ｄを経て４画素混合後の撮像信号が出力される。
【００２９】
図８に動画撮影モードにおける図５中の各駆動パルスφＨ１〜φＨ４の波形を、図９に同モードにおける水平方向の電荷転送（画素混合あり）の様子をそれぞれ示す。図８及び図９はインターレース型（図２及び図３）とプログレッシブ型（図４）との双方に共通であるが、前者の水平転送部１ｃについて詳細な説明を進める。なお、垂直方向の２画素混合は公知であるので詳細説明を省く。
【００３０】
図８及び図９によれば、期間ｔ１は、垂直転送部１ｂから水平転送部１ｃへ電荷が転送された直後の状態を示している。この期間ｔ１では駆動パルスφＨ１及びφＨ３が高（Ｈｉｇｈ）レベルになっており、ゲートＨ１（ｎ）、Ｈ３（ｎ）、Ｈ１（n+1）及びＨ３（n+1）のポテンシャルが低くなる結果、これら各ゲートに電荷が保持されている。期間ｔ２になるとφＨ１、φＨ２及びφＨ３がＨｉｇｈレベルとなり、Ｈ２（ｎ）及びＨ２（n+1）のポテンシャルも低くなる。期間ｔ３になると、Ｈ１（ｎ）及びＨ１（n+1）のポテンシャルが高くなり、Ｈ１（ｎ）の電荷がＨ２（ｎ）に、Ｈ１（n+1）の電荷がＨ２（n+1）にそれぞれ転送される。期間ｔ４ではＨ２（ｎ）及びＨ２（n+1）のポテンシャルが高くなり、Ｈ２（ｎ）の電荷がＨ３（ｎ）に、Ｈ２（n+1）の電荷がＨ３（n+1）にそれぞれ転送される。このことにより、元々Ｈ３（ｎ）に保持されていた電荷とＨ３（ｎ）に転送された電荷とが混合され、元々Ｈ３（n+1）に保持されていた電荷とＨ３（n+1）に転送された電荷とが混合される。つまり、元々Ｈ１（ｎ）及びＨ３（ｎ）にそれぞれ保持されていた電荷が混合され、元々Ｈ１（n+1）及びＨ３（n+1）にそれぞれ保持されていた電荷が混合されるのである。また、Ｈ４（ｎ）及びＨ４（n+1）のポテンシャルが低くなる。期間ｔ５では、Ｈ３（ｎ）及びＨ３（n+1）のポテンシャルが高くなり、Ｈ３（ｎ）の混合電荷がＨ４（ｎ）に、Ｈ３（n+1）の混合電荷がＨ４（n+1）にそれぞれ転送される。以下同様に、混合電荷が転送される。図８の４相駆動パルスφＨ１〜φＨ４の各々の周波数を見れば判るように、従来の半分の駆動周波数で従来と同等の水平方向の電荷転送速度が得られる。
【００３１】
上記のとおり、図８及び図９によればＨ１（ｎ）の電荷とＨ３（ｎ）の電荷とが混合される。これに対して図１０及び図１１は、Ｈ３（ｎ）の電荷とＨ１（n+1）の電荷との混合を示している。つまり、駆動パルスφＨ１〜φＨ４の波形を図８から図１０に変えることにより、水平方向の画素混合の組み合わせを変えることができるのである。
【００３２】
ここで、図１２及び図１３を用いて、４画素混合後の信号がライン毎にオフセットサンプリングの関係になるように、水平方向の画素混合の組み合わせをライン毎に変化させる技術について説明する。
【００３３】
図１２は、動画撮影モードの第１フィールドにおける４画素混合の様子を示している。ただし、図１２では垂直転送部１ｂ（２ｂ）の図示を省略している。図１２によれば、Ｐ１１で示したラインでは図８及び図９によるＨ１（ｎ）とＨ３（ｎ）との水平画素混合が、Ｐ１２で示した次のラインでは図１０及び図１１によるＨ３（ｎ）とＨ１（n+1）との水平画素混合がそれぞれ実行される。このように４画素混合後の信号がライン毎にオフセットサンプリングの関係になるようにすることで、水平方向の２画素混合に起因した水平解像度の劣化を抑えることができる。
【００３４】
図１３は、動画撮影モードの第２フィールドにおける４画素混合の様子を示しており、同フィールドでもライン毎のオフセットサンプリングとなる。しかも、インターレースに対応させるため、図１２中のＰ１１及びＰ１２に対してＰ２１及びＰ２２で示したように、垂直方向の画素混合の組み合わせをフィールド毎に変更している。
【００３５】
さて、カラー画像を得るには、３原色又はそれに準じる独立した３つ以上の色信号が必要になる。したがって、静止画撮影モード（全画素読み出しモード）及び動画撮影モード（４画素混合読み出しモード）のいずれにおいても３つ以上の独立した色信号が得られるカラーフィルタ配列を、図１中の撮像素子１０２に設けることが必要である。そのために、混合される４画素の範囲内に少なくとも２種類のカラーフィルタを設ける。
【００３６】
図１４は、図１中の撮像素子１０２に好適なＲＧＢ原色ストライプ配列を示している。図１４のカラーフィルタ配列によれば、４画素混合後の信号は補色信号Ｙｅ（＝Ｒ＋Ｇ），Ｍｇ（＝Ｂ＋Ｒ），Ｃｙ（＝Ｇ＋Ｂ）となる。ただし、全画素を独立に読み出した場合、同一色が水平方向に３画素ごとにしか存在しないので、水平解像度で不利である。
【００３７】
図１５は、図１中の撮像素子１０２に好適なカラーフィルタ配列の他の例である、ベイヤー変形型フィルタ配列を示している。図１５のカラーフィルタ配列は、Ｇフィルタを通常のベイヤー配列と同様の千鳥状に配列し、かつ残りの画素につき３種類のカラーフィルタＲ，Ｂ，Ｍｇをストライプ状に配列したものである。このフィルタ配列における４画素混合後の信号は、２Ｇ＋Ｒ＋Ｂ（Ｇ’と名付ける）、２Ｇ＋２Ｒ＋Ｂ（Ｙｅ’と名付ける）、２Ｇ＋２Ｂ＋Ｒ（Ｃｙ’と名付ける）となる。これにより、輝度信号に最も大きく寄与するＧ成分が水平方向の全ての画素に存在するため、水平解像度を上げることができる。
【００３８】
なお、図１５中のＭｇをＧに置き換えたカラーフィルタ配列も採用し得る。ＭｇにはＲ及びＢ成分が含まれているのに対しＧには無いので全画素読み出し時の色解像度の点で不利であるが、４画素混合時の色変調度が若干上り、動画像の色Ｓ／Ｎでは有利になる。
【００３９】
次に、動画像の解像度を更に高めるための技術を説明する。図１２及び図１３に示したオフセットサンプリングでは水平解像度を上げることはできるが、斜め解像度は良くならない。そこで、上記４画素混合における水平方向の画素混合の組み合わせをフレーム毎に変化させるものとする。
【００４０】
図１６（ａ）は第１フレームにおける４画素混合を、図１６（ｂ）は第２フレームにおける４画素混合をそれぞれ示している。ここでは、図１５のベイヤー変形型フィルタ配列を例にとって、水平方向の画素混合の組み合わせをフレーム毎に変化させている。
【００４１】
図１７は、図１６（ａ）の第１フレームと図１６（ｂ）の第２フレームとを合成することにより、水平１ラインにおいて２倍のサンプリングポイントを得ることができ、斜め解像度が向上することを示している。
【００４２】
図１８は、図１中のデジタル信号処理部１０６の構成例を示している。図１８において、２０１及び２０２はそれぞれ１フレーム分の画像を記憶するためのフレームメモリ、２０３はフレームメモリ２０２のアクセス制御を行うメモリコントローラ、２０４は２フレームの画像間の動きベクトルを検出するための動きベクトル検出部、２０５は２フレームの画像の合成を行う画像合成部、２０６は合成された画像から輝度信号及び色信号を生成するための輝度・色信号生成部である。
【００４３】
画像合成部２０５は、図１７に示した、水平方向の画素混合の組み合わせが異なる２フレームの画像を合成する機能を有する。ただし、画像に動きがある場合には、２フレームの画像をそのまま合成するとかえってボケてしまう。そのために、動きベクトル検出部２０４で画像の動きベクトルを検出して動き補償を施しつつ、フレーム合成を行うこととしたものである。
【００４４】
図１８によれば、第１フレーム、第２フレームの順に画像が入力され、フレームメモリ２０２に第１フレームの画像が、フレームメモリ２０１に第２フレームの画像がそれぞれ記憶される。動きベクトル検出部２０４は、所定の領域毎にブロックマッチング法により動きベクトルを検出する。所定の領域として例えば１６×１６画素の正方形の領域等が考えられる。これは、動画像の圧縮符号化方式であるＭＰＥＧで用いられる動きベクトル検出の領域サイズと同じであり、ＭＰＥＧ圧縮機能を装備した撮像装置においては回路を共用してもよい。次に、検出された動きベクトルに基づき、メモリコントローラ２０３がフレームメモリ２０２の読み出しアドレスを制御して、フレームメモリ２０１に記憶された第２フレームの画像と同じ位置に最も近い第１フレームの画像を出力する。画像合成部２０５では、フレームメモリ２０１から出力された第２フレームの画像に、フレームメモリ２０２から出力された第１フレームの画像を所定の割合で合成する。合成する割合については、動きベクトル検出部２０４からの画像の相関度合い、動きベクトル値が画素補間の効果が出る値に近いかどうかに基づき判断する。例えば、画像の動きが各色のサンプリングポイントを補間する関係にない場合には、補間の効果が出ないので合成は行わない。輝度・色信号生成部２０６では、画像合成部２０５で合成された画像から輝度信号及び色信号を生成する。この際、動きベクトル検出部２０４からの情報に基づき、合成画像のサンプリング位置に基づいた最適なフィルタ係数を設定するなどの最適な処理を行うことにより、高画質化を実現する。
【００４５】
なお、本発明はＤＳＣ以外にも、静止画撮影モードと動画撮影モードとを持つ撮像装置に広く適用可能である。
【００４６】
【発明の効果】
以上説明してきたとおり、本発明によれば、撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力することとしたので、水平転送部の駆動周波数を低減しつつも高精細の動画像が得られる撮像装置を提供することができ、低消費電力かつ低コストの高精細動画撮像装置を実現できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る撮像装置の全体構成図である。
【図２】図１中のＣＣＤ型撮像素子の一例（インターレース型）と、動画撮影モードの第１フィールドにおける同撮像素子の動作とを示す図である。
【図３】図２の撮像素子（インターレース型）の動画撮影モードの第２フィールドにおける動作を示す図である。
【図４】図１中の撮像素子の他の例（プログレッシブ型）を示す構成図である。
【図５】図２〜図４中の水平転送部の構造例を示す断面図である。
【図６】静止画撮影モードにおける図５中の各駆動パルスの波形図である。
【図７】図６の駆動パルスを与えた場合の図５の水平転送部における電荷転送（画素混合なし）の様子を示す図である。
【図８】動画撮影モードにおける図５中の各駆動パルスの波形図である。
【図９】図８の駆動パルスを与えた場合の図５の水平転送部における電荷転送（画素混合あり）の様子を示す図である。
【図１０】動画撮影モードにおける図５中の各駆動パルスの他の波形図である。
【図１１】図１０の駆動パルスを与えた場合の図５の水平転送部における電荷転送（画素混合あり）の様子を示す図である。
【図１２】図１中のＣＣＤ型撮像素子による動画撮影モードの第１フィールドにおける４画素混合の様子を示す図である。
【図１３】図１中のＣＣＤ型撮像素子による動画撮影モードの第２フィールドにおける４画素混合の様子を示す図である。
【図１４】図１中のＣＣＤ型撮像素子に好適なカラーフィルタ配列の例（ＲＧＢ原色ストライプ配列）を示す図である。
【図１５】図１中のＣＣＤ型撮像素子に好適なカラーフィルタ配列の他の例（ベイヤー変形型フィルタ配列）を示す図である。
【図１６】図１５のベイヤー変形型フィルタ配列を例にとり、フレーム毎に４画素混合の組み合わせを変えることを示す図であって、（ａ）は第１フレームを、（ｂ）は第２フレームをそれぞれ表す。
【図１７】図１６（ａ）の第１フレームと図１６（ｂ）の第２フレームとを合成することにより、斜め解像度が向上することを示す図である。
【図１８】図１中のデジタル信号処理部の例（動き補償付きフレーム合成）を示す構成図である。
【符号の説明】
１ａ，２ａ 光電変換部
１ｂ，２ｂ 垂直転送部
１ｃ，２ｃ 水平転送部
１ｄ，２ｄ 電荷検出増幅器
３ Ｎ型拡散領域
４ Ｐ型ウェル
１０１ レンズ
１０２ 撮像素子
１０３ 撮像素子駆動部
１０４ アナログ信号処理部
１０５ アナログ・デジタル変換部（Ａ／Ｄ）
１０６ デジタル信号処理部
１０７ 画像圧縮伸長部
１０８ 画像記録部
１０９ 表示部
２０１，２０２ フレームメモリ
２０３ メモリコントローラ
２０４ 動きベクトル検出部
２０５ 画像合成部
２０６ 輝度・色信号生成部
【発明の属する技術分野】
本発明は、ＣＣＤ型撮像素子を持つ撮像装置に関するものである。
【０００２】
【従来の技術】
ＣＣＤ型の撮像素子を持つデジタルスチルカメラ（ＤＳＣ）の市場拡大が著しい。この撮像素子は、被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部と、各画素の電荷を垂直方向に転送するための垂直転送部と、該垂直転送部で転送された電荷を水平方向に転送するための水平転送部と、該水平転送部から得られた電荷信号を電圧信号に変換し、撮像信号として出力するための電荷検出増幅器とから構成される。垂直転送部には、１つの光電変換部に対し２つの電荷保持部で構成されるインターレース型と、１つの光電変換部に対し３つないしは４つの電荷保持部で構成されるプログレッシブ型とがある。
【０００３】
【発明が解決しようとする課題】
近年のＤＳＣでは、高精細の静止画像に加え、従来のＴＶ映像より高精細の動画像を低コストで得ることが望まれている。また、ＴＶに限らずパーソナルコンピュータの表示装置でも、高精細の動画像表示が求められている。
【０００４】
例えば、１３０万画素のＣＣＤ型撮像素子を使用したＤＳＣの場合、有効画素数は水平１２８０画素、垂直９６０画素であり、いわゆるインターレース読み出しを実行すれば、ハイビジョンに近い画質の動画像を得ることができる。
【０００５】
しかしながら、この場合、水平転送部の駆動周波数は約５０ＭＨｚにもなる。このような高速で水平転送部を駆動することは、消費電力の増大に加え、技術的な難易度が高く、性能保証のマージンも小さくなり調整等が必要になるためコストが極めて高くなる。
【０００６】
本発明の目的は、水平転送部の駆動周波数を低減しつつも高精細の動画像が得られる撮像装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明は、撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力することとしたものである。
【０００９】
具体的に説明すると、本発明に係る撮像装置は、被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部を有する撮像素子と、該撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力するための混合手段と、４画素混合を行わずに全画素の信号を独立して出力する動作モードと、４画素混合後の信号を出力する動作モードとを選択制御するための制御手段とを備え、両動作モードのいずれにおいても３つ以上の独立した色信号が得られるカラーフィルタ配列を撮像素子に設けたものである。しかも、カラーフィルタ配列は、混合される４画素の範囲内に少なくとも２種類のカラーフィルタを有することとした。これにより、従来と同等の静止画像に加えて、高精細の動画像を得ることができる。
【００１１】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００１２】
図１は、本発明の実施形態に係る撮像装置（ＤＳＣ）の全体構成を示している。このＤＳＣは、レンズ１０１と、ＣＣＤ型の撮像素子１０２と、撮像素子駆動部１０３と、アナログ信号処理部１０４と、アナログ・デジタル変換部（Ａ／Ｄ）１０５と、デジタル信号処理部１０６と、画像圧縮伸長部１０７と、画像記録部１０８と、表示部１０９とで構成される。
【００１３】
図１のＤＳＣによれば、レンズ１０１を通過した被写体の像は撮像素子１０２に結像される。撮像素子１０２は、撮像素子駆動部１０３により駆動されて光電変換を行い、撮像信号を出力する。次に、アナログ信号処理部１０４は、ノイズ除去や増幅等の処理を行い、アナログ・デジタル変換部１０５が撮像信号をデジタル信号に変換する。デジタル信号処理部１０６は、デジタル化された撮像信号を入力し、輝度信号と色信号とを含んだ映像信号を生成する。この映像信号を受け取った表示部１０９は、画像を表示する。この画像表示と並行して、画像圧縮伸長部１０７はデジタル信号処理部１０６から受け取った画像情報を圧縮し、画像記録部１０８に圧縮された画像情報が記録される。この画像記録部１０８に記録された画像情報を画像圧縮伸長部１０７で伸長し、デジタル信号処理部１０６を介して表示部１０９に画像を再生することもできる。
【００１４】
さて、撮像素子１０２の垂直転送部には、前述のとおりインターレース型とプログレッシブ型とがある。プログレッシブ型は全ての光電変換部の電荷を一度に転送することができるが、インターレース型は奇数ラインと偶数ラインの電荷を別々に転送する。そのため、インターレース型では電荷の読み出しタイミングが異なり、読み出し時まで光電変換部に光が当たり続けていると露光時刻がずれて、動いている被写体がブレてしまうという問題がある。そのため、読み出す前に光を遮断するためのシャッターが必要になる。しかしながら、ローコストで作れるため、インターレース型の撮像素子がＤＳＣに使用されることも多い。
【００１５】
図２及び図３に、インターレース型の撮像素子１０２を示す。１ａは光電変換部を、１ｂは２相駆動の垂直転送部を、１ｃは４相駆動の水平転送部を、１ｄは電荷検出増幅器をそれぞれ示す。簡略化のため、低減された数の画素のみが図示されている点に注意を要する。
【００１６】
図４に、プログレッシブ型の撮像素子１０２を示す。２ａは光電変換部を、２ｂは４相駆動の垂直転送部を、２ｃは４相駆動の水平転送部を、２ｄは電荷検出増幅器をそれぞれ示す。ここでも簡略化のため、低減された数の画素のみが図示されている点に注意を要する。
【００１７】
図５は、図２〜図４中の水平転送部１ｃ，２ｃの構造例を示している。図５において、３はＮ型拡散領域を、４はＰ型ウェルを、Ｈ１（ｎ）〜Ｈ４（ｎ）は４相ゲートを、Ｈ１（n+1）〜Ｈ４（n+1）は隣接４相ゲートを、φＨ１〜φＨ４は４相の駆動パルスをそれぞれ表している。ここに、ｎは任意の整数である。
【００１８】
以下、図１のＤＳＣの静止画撮影モードと動画撮影モードとの各々における動作を説明する。
【００１９】
〈静止画撮影モード〉
静止画撮影モードは、全画素の信号を独立して出力する「全画素読み出し」モードである。
【００２０】
図２及び図３に示したインターレース型撮像素子１０２の場合、全画素の電荷を同時に垂直転送部１ｂに転送すると必ず混合され、独立に転送することができない。したがって、奇数ラインの電荷と偶数ラインの電荷を別々のタイミングで転送する。このままでは、奇数ラインと偶数ラインの露光時間が異なってしまうので、光を遮断するシャッターを設け、遮光した後に転送を行うことにより露光時間をそろえる。
【００２１】
具体的に説明すると、まずシャッターを閉じて光電変換部１ａでの光電変換を停止させた後、光電変換部１ａの奇数ラインの信号電荷を垂直転送部１ｂへ転送する。次に垂直転送部１ｂで信号電荷を垂直方向に転送し、水平転送部１ｃにまで転送する。次に水平転送部１ｃは信号電荷を水平方向に転送し、そして電荷検出増幅器１ｄを経て撮像信号が出力される。奇数ラインの転送が終了した後、今度は偶数ラインの信号電荷を垂直転送部１ｂに転送し、以下奇数ラインと同様に信号電荷を転送し撮像信号を出力する。
【００２２】
図４に示したプログレッシブ型撮像素子１０２の場合には、垂直転送部２ｂで１画素毎に独立に信号電荷を転送できるので、転送における電荷混合の問題はない。水平転送部２ｃは信号電荷を水平方向に転送し、そして電荷検出増幅器２ｄを経て撮像信号が出力される。
【００２３】
図６に静止画撮影モードにおける図５中の各駆動パルスφＨ１〜φＨ４の波形を、図７に同モードにおける水平方向の電荷転送（画素混合なし）の様子をそれぞれ示す。ｔ１〜ｔ８は所定の長さを持つ期間を表している。図７は電位ポテンシャルの変化を示しており、一番低い所に電荷が保持される。丸で表しているものが電荷である。
【００２４】
図７によれば、期間ｔ１，ｔ２では、ゲートＨ１（ｎ）、Ｈ３（ｎ）、Ｈ１（n+1）及びＨ３（n+1）にそれぞれ電荷が保持されている。期間ｔ３，ｔ４では、Ｈ１（ｎ）の電荷がＨ２（ｎ）に、Ｈ３（ｎ）の電荷がＨ４（ｎ）に、Ｈ１（n+1）の電荷がＨ２（n+1）に、Ｈ３（n+1）の電荷がＨ４（n+1）にそれぞれ転送される。以下同様に、画素混合なしに電荷が転送される。なお、静止画撮影モードでは、動画撮影モードよりも低い速度で水平電荷転送を行うことが許される。
【００２５】
〈動画撮影モード〉
動画撮影モードは、撮像素子１０２の水平方向及び垂直方向に隣り合う４画素の電荷を混合して得られた撮像信号を出力する「４画素混合読み出し」モードである。
【００２６】
図２及び図３に示したインターレース型撮像素子１０２の場合、まず光電変換部１ａの信号電荷を垂直転送部１ｂへ転送する。次に垂直転送部１ｂは、垂直転送する際に隣り合う２画素の信号電荷を混合することにより垂直方向の２画素混合を行って、水平転送部１ｃにまで転送する。次に水平転送部１ｃは、水平転送する際に隣り合う２画素の信号電荷を混合することにより水平方向の２画素混合を行って、電荷検出増幅器１ｄにまで転送する。以上のようにして、結果として水平方向及び垂直方向の４画素混合が行われ、電荷検出増幅器１ｄを経て４画素混合後の撮像信号が出力される。
【００２７】
図２は第１フィールドにおける動作を、図３は第２フィールドにおける動作をそれぞれ示している。つまり、垂直転送部１ｂにおける垂直方向の画素混合の組み合わせをフィールド毎に変化させることにより、インターレース画像が得られることとなる。
【００２８】
図４に示したプログレッシブ型撮像素子１０２の場合、まず全ての光電変換部２ａの信号電荷を垂直転送部２ｂへ同時に転送する。次に垂直転送部２ｂで信号電荷を垂直方向に転送するが、インターレース型の場合と異なり、画素混合なしに独立して転送できる。次に垂直転送部２ｂから水平転送部２ｃへ信号電荷を転送する際に、水平転送部２ｃが水平転送を開始する前に２回続けて垂直転送部２ｂから水平転送部２ｃへ信号電荷を転送する。これによって、垂直方向に隣り合う２画素の信号電荷が混合され、結果として垂直方向の２画素混合が達成される。次に水平転送部２ｃは、水平転送する際に隣り合う２画素の信号電荷を混合することにより水平方向の２画素混合を行って、電荷検出増幅器２ｄにまで転送する。以上のようにして、結果として水平方向及び垂直方向の４画素混合が行われ、電荷検出増幅器２ｄを経て４画素混合後の撮像信号が出力される。
【００２９】
図８に動画撮影モードにおける図５中の各駆動パルスφＨ１〜φＨ４の波形を、図９に同モードにおける水平方向の電荷転送（画素混合あり）の様子をそれぞれ示す。図８及び図９はインターレース型（図２及び図３）とプログレッシブ型（図４）との双方に共通であるが、前者の水平転送部１ｃについて詳細な説明を進める。なお、垂直方向の２画素混合は公知であるので詳細説明を省く。
【００３０】
図８及び図９によれば、期間ｔ１は、垂直転送部１ｂから水平転送部１ｃへ電荷が転送された直後の状態を示している。この期間ｔ１では駆動パルスφＨ１及びφＨ３が高（Ｈｉｇｈ）レベルになっており、ゲートＨ１（ｎ）、Ｈ３（ｎ）、Ｈ１（n+1）及びＨ３（n+1）のポテンシャルが低くなる結果、これら各ゲートに電荷が保持されている。期間ｔ２になるとφＨ１、φＨ２及びφＨ３がＨｉｇｈレベルとなり、Ｈ２（ｎ）及びＨ２（n+1）のポテンシャルも低くなる。期間ｔ３になると、Ｈ１（ｎ）及びＨ１（n+1）のポテンシャルが高くなり、Ｈ１（ｎ）の電荷がＨ２（ｎ）に、Ｈ１（n+1）の電荷がＨ２（n+1）にそれぞれ転送される。期間ｔ４ではＨ２（ｎ）及びＨ２（n+1）のポテンシャルが高くなり、Ｈ２（ｎ）の電荷がＨ３（ｎ）に、Ｈ２（n+1）の電荷がＨ３（n+1）にそれぞれ転送される。このことにより、元々Ｈ３（ｎ）に保持されていた電荷とＨ３（ｎ）に転送された電荷とが混合され、元々Ｈ３（n+1）に保持されていた電荷とＨ３（n+1）に転送された電荷とが混合される。つまり、元々Ｈ１（ｎ）及びＨ３（ｎ）にそれぞれ保持されていた電荷が混合され、元々Ｈ１（n+1）及びＨ３（n+1）にそれぞれ保持されていた電荷が混合されるのである。また、Ｈ４（ｎ）及びＨ４（n+1）のポテンシャルが低くなる。期間ｔ５では、Ｈ３（ｎ）及びＨ３（n+1）のポテンシャルが高くなり、Ｈ３（ｎ）の混合電荷がＨ４（ｎ）に、Ｈ３（n+1）の混合電荷がＨ４（n+1）にそれぞれ転送される。以下同様に、混合電荷が転送される。図８の４相駆動パルスφＨ１〜φＨ４の各々の周波数を見れば判るように、従来の半分の駆動周波数で従来と同等の水平方向の電荷転送速度が得られる。
【００３１】
上記のとおり、図８及び図９によればＨ１（ｎ）の電荷とＨ３（ｎ）の電荷とが混合される。これに対して図１０及び図１１は、Ｈ３（ｎ）の電荷とＨ１（n+1）の電荷との混合を示している。つまり、駆動パルスφＨ１〜φＨ４の波形を図８から図１０に変えることにより、水平方向の画素混合の組み合わせを変えることができるのである。
【００３２】
ここで、図１２及び図１３を用いて、４画素混合後の信号がライン毎にオフセットサンプリングの関係になるように、水平方向の画素混合の組み合わせをライン毎に変化させる技術について説明する。
【００３３】
図１２は、動画撮影モードの第１フィールドにおける４画素混合の様子を示している。ただし、図１２では垂直転送部１ｂ（２ｂ）の図示を省略している。図１２によれば、Ｐ１１で示したラインでは図８及び図９によるＨ１（ｎ）とＨ３（ｎ）との水平画素混合が、Ｐ１２で示した次のラインでは図１０及び図１１によるＨ３（ｎ）とＨ１（n+1）との水平画素混合がそれぞれ実行される。このように４画素混合後の信号がライン毎にオフセットサンプリングの関係になるようにすることで、水平方向の２画素混合に起因した水平解像度の劣化を抑えることができる。
【００３４】
図１３は、動画撮影モードの第２フィールドにおける４画素混合の様子を示しており、同フィールドでもライン毎のオフセットサンプリングとなる。しかも、インターレースに対応させるため、図１２中のＰ１１及びＰ１２に対してＰ２１及びＰ２２で示したように、垂直方向の画素混合の組み合わせをフィールド毎に変更している。
【００３５】
さて、カラー画像を得るには、３原色又はそれに準じる独立した３つ以上の色信号が必要になる。したがって、静止画撮影モード（全画素読み出しモード）及び動画撮影モード（４画素混合読み出しモード）のいずれにおいても３つ以上の独立した色信号が得られるカラーフィルタ配列を、図１中の撮像素子１０２に設けることが必要である。そのために、混合される４画素の範囲内に少なくとも２種類のカラーフィルタを設ける。
【００３６】
図１４は、図１中の撮像素子１０２に好適なＲＧＢ原色ストライプ配列を示している。図１４のカラーフィルタ配列によれば、４画素混合後の信号は補色信号Ｙｅ（＝Ｒ＋Ｇ），Ｍｇ（＝Ｂ＋Ｒ），Ｃｙ（＝Ｇ＋Ｂ）となる。ただし、全画素を独立に読み出した場合、同一色が水平方向に３画素ごとにしか存在しないので、水平解像度で不利である。
【００３７】
図１５は、図１中の撮像素子１０２に好適なカラーフィルタ配列の他の例である、ベイヤー変形型フィルタ配列を示している。図１５のカラーフィルタ配列は、Ｇフィルタを通常のベイヤー配列と同様の千鳥状に配列し、かつ残りの画素につき３種類のカラーフィルタＲ，Ｂ，Ｍｇをストライプ状に配列したものである。このフィルタ配列における４画素混合後の信号は、２Ｇ＋Ｒ＋Ｂ（Ｇ’と名付ける）、２Ｇ＋２Ｒ＋Ｂ（Ｙｅ’と名付ける）、２Ｇ＋２Ｂ＋Ｒ（Ｃｙ’と名付ける）となる。これにより、輝度信号に最も大きく寄与するＧ成分が水平方向の全ての画素に存在するため、水平解像度を上げることができる。
【００３８】
なお、図１５中のＭｇをＧに置き換えたカラーフィルタ配列も採用し得る。ＭｇにはＲ及びＢ成分が含まれているのに対しＧには無いので全画素読み出し時の色解像度の点で不利であるが、４画素混合時の色変調度が若干上り、動画像の色Ｓ／Ｎでは有利になる。
【００３９】
次に、動画像の解像度を更に高めるための技術を説明する。図１２及び図１３に示したオフセットサンプリングでは水平解像度を上げることはできるが、斜め解像度は良くならない。そこで、上記４画素混合における水平方向の画素混合の組み合わせをフレーム毎に変化させるものとする。
【００４０】
図１６（ａ）は第１フレームにおける４画素混合を、図１６（ｂ）は第２フレームにおける４画素混合をそれぞれ示している。ここでは、図１５のベイヤー変形型フィルタ配列を例にとって、水平方向の画素混合の組み合わせをフレーム毎に変化させている。
【００４１】
図１７は、図１６（ａ）の第１フレームと図１６（ｂ）の第２フレームとを合成することにより、水平１ラインにおいて２倍のサンプリングポイントを得ることができ、斜め解像度が向上することを示している。
【００４２】
図１８は、図１中のデジタル信号処理部１０６の構成例を示している。図１８において、２０１及び２０２はそれぞれ１フレーム分の画像を記憶するためのフレームメモリ、２０３はフレームメモリ２０２のアクセス制御を行うメモリコントローラ、２０４は２フレームの画像間の動きベクトルを検出するための動きベクトル検出部、２０５は２フレームの画像の合成を行う画像合成部、２０６は合成された画像から輝度信号及び色信号を生成するための輝度・色信号生成部である。
【００４３】
画像合成部２０５は、図１７に示した、水平方向の画素混合の組み合わせが異なる２フレームの画像を合成する機能を有する。ただし、画像に動きがある場合には、２フレームの画像をそのまま合成するとかえってボケてしまう。そのために、動きベクトル検出部２０４で画像の動きベクトルを検出して動き補償を施しつつ、フレーム合成を行うこととしたものである。
【００４４】
図１８によれば、第１フレーム、第２フレームの順に画像が入力され、フレームメモリ２０２に第１フレームの画像が、フレームメモリ２０１に第２フレームの画像がそれぞれ記憶される。動きベクトル検出部２０４は、所定の領域毎にブロックマッチング法により動きベクトルを検出する。所定の領域として例えば１６×１６画素の正方形の領域等が考えられる。これは、動画像の圧縮符号化方式であるＭＰＥＧで用いられる動きベクトル検出の領域サイズと同じであり、ＭＰＥＧ圧縮機能を装備した撮像装置においては回路を共用してもよい。次に、検出された動きベクトルに基づき、メモリコントローラ２０３がフレームメモリ２０２の読み出しアドレスを制御して、フレームメモリ２０１に記憶された第２フレームの画像と同じ位置に最も近い第１フレームの画像を出力する。画像合成部２０５では、フレームメモリ２０１から出力された第２フレームの画像に、フレームメモリ２０２から出力された第１フレームの画像を所定の割合で合成する。合成する割合については、動きベクトル検出部２０４からの画像の相関度合い、動きベクトル値が画素補間の効果が出る値に近いかどうかに基づき判断する。例えば、画像の動きが各色のサンプリングポイントを補間する関係にない場合には、補間の効果が出ないので合成は行わない。輝度・色信号生成部２０６では、画像合成部２０５で合成された画像から輝度信号及び色信号を生成する。この際、動きベクトル検出部２０４からの情報に基づき、合成画像のサンプリング位置に基づいた最適なフィルタ係数を設定するなどの最適な処理を行うことにより、高画質化を実現する。
【００４５】
なお、本発明はＤＳＣ以外にも、静止画撮影モードと動画撮影モードとを持つ撮像装置に広く適用可能である。
【００４６】
【発明の効果】
以上説明してきたとおり、本発明によれば、撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力することとしたので、水平転送部の駆動周波数を低減しつつも高精細の動画像が得られる撮像装置を提供することができ、低消費電力かつ低コストの高精細動画撮像装置を実現できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る撮像装置の全体構成図である。
【図２】図１中のＣＣＤ型撮像素子の一例（インターレース型）と、動画撮影モードの第１フィールドにおける同撮像素子の動作とを示す図である。
【図３】図２の撮像素子（インターレース型）の動画撮影モードの第２フィールドにおける動作を示す図である。
【図４】図１中の撮像素子の他の例（プログレッシブ型）を示す構成図である。
【図５】図２〜図４中の水平転送部の構造例を示す断面図である。
【図６】静止画撮影モードにおける図５中の各駆動パルスの波形図である。
【図７】図６の駆動パルスを与えた場合の図５の水平転送部における電荷転送（画素混合なし）の様子を示す図である。
【図８】動画撮影モードにおける図５中の各駆動パルスの波形図である。
【図９】図８の駆動パルスを与えた場合の図５の水平転送部における電荷転送（画素混合あり）の様子を示す図である。
【図１０】動画撮影モードにおける図５中の各駆動パルスの他の波形図である。
【図１１】図１０の駆動パルスを与えた場合の図５の水平転送部における電荷転送（画素混合あり）の様子を示す図である。
【図１２】図１中のＣＣＤ型撮像素子による動画撮影モードの第１フィールドにおける４画素混合の様子を示す図である。
【図１３】図１中のＣＣＤ型撮像素子による動画撮影モードの第２フィールドにおける４画素混合の様子を示す図である。
【図１４】図１中のＣＣＤ型撮像素子に好適なカラーフィルタ配列の例（ＲＧＢ原色ストライプ配列）を示す図である。
【図１５】図１中のＣＣＤ型撮像素子に好適なカラーフィルタ配列の他の例（ベイヤー変形型フィルタ配列）を示す図である。
【図１６】図１５のベイヤー変形型フィルタ配列を例にとり、フレーム毎に４画素混合の組み合わせを変えることを示す図であって、（ａ）は第１フレームを、（ｂ）は第２フレームをそれぞれ表す。
【図１７】図１６（ａ）の第１フレームと図１６（ｂ）の第２フレームとを合成することにより、斜め解像度が向上することを示す図である。
【図１８】図１中のデジタル信号処理部の例（動き補償付きフレーム合成）を示す構成図である。
【符号の説明】
１ａ，２ａ 光電変換部
１ｂ，２ｂ 垂直転送部
１ｃ，２ｃ 水平転送部
１ｄ，２ｄ 電荷検出増幅器
３ Ｎ型拡散領域
４ Ｐ型ウェル
１０１ レンズ
１０２ 撮像素子
１０３ 撮像素子駆動部
１０４ アナログ信号処理部
１０５ アナログ・デジタル変換部（Ａ／Ｄ）
１０６ デジタル信号処理部
１０７ 画像圧縮伸長部
１０８ 画像記録部
１０９ 表示部
２０１，２０２ フレームメモリ
２０３ メモリコントローラ
２０４ 動きベクトル検出部
２０５ 画像合成部
２０６ 輝度・色信号生成部
Claims (9)
- 被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部を有する撮像素子と、
前記撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力するための混合手段と、
前記４画素混合を行わずに全画素の信号を独立して出力する動作モードと、前記４画素混合後の信号を出力する動作モードとを選択制御するための制御手段とを備え、
前記両動作モードのいずれにおいても３つ以上の独立した色信号が得られるカラーフィルタ配列が前記撮像素子に設けられ、
前記カラーフィルタ配列は、混合される４画素の範囲内に少なくとも２種類のカラーフィルタを有することを特徴とする撮像装置。 - 請求項１記載の撮像装置において、
前記カラーフィルタ配列は、ＲＧＢ原色ストライプ配列であることを特徴とする撮像装置。 - 請求項１記載の撮像装置において、
前記カラーフィルタ配列は、Ｇフィルタを千鳥状に配列し、かつ残りの画素につき３種類のカラーフィルタをストライプ状に配列したものであることを特徴とする撮像装置。 - 請求項１記載の撮像装置において、
前記撮像素子がＣＣＤ型撮像素子であることを特徴とする撮像装置。 - 請求項１記載の撮像装置において、
前記全画素の信号を独立して出力する動作モードは静止画の撮影に用いられる静止画撮影モードであり、
前記４画素混合後の信号を出力する動作モードは動画の撮影に用いられる動画撮影モードであることを特徴とする撮像装置。 - 請求項１記載の撮像装置において、
前記４画素混合後の信号が、ライン毎にオフセットサンプリングの関係になるように、水平方向の画素混合の組み合わせをライン毎に変化させることを特徴とする撮像装置。 - 請求項１記載の撮像装置において、
垂直方向の画素混合の組み合わせをフィールド毎に変化させることを特徴とする撮像装置。 - 請求項１記載の撮像装置において、
前記混合手段は、
前記各画素の電荷を垂直方向に転送するための垂直転送部と、
前記垂直転送部で転送された電荷を水平方向に転送するための水平転送部と、
前記垂直転送部内で隣り合う２画素の電荷を混合することにより垂直方向の２画素混合を行い、前記水平転送部内で隣り合う２画素の電荷を混合することにより水平方向の２画素混合を行い、結果として水平方向及び垂直方向の４画素混合を行うための混合制御手段とを備えたことを特徴とする撮像装置。 - 請求項１記載の撮像装置において、
前記混合手段は、
前記各画素の電荷を垂直方向に転送するための垂直転送部と、
前記垂直転送部で転送された電荷を水平方向に転送するための水平転送部と、
前記垂直転送部で転送された電荷を前記水平転送部へ転送する動作を水平転送開始前に連続して２回行うことにより垂直方向の２画素混合を行い、前記水平転送部内で隣り合う２画素の電荷を混合することにより水平方向の２画素混合を行い、結果として水平方向及び垂直方向の４画素混合を行うための混合制御手段とを備えたことを特徴とする撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001308396A JP3877565B2 (ja) | 2001-10-04 | 2001-10-04 | 撮像装置 |
| US10/261,696 US6757015B2 (en) | 2001-10-04 | 2002-10-02 | Image sensing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001308396A JP3877565B2 (ja) | 2001-10-04 | 2001-10-04 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003116061A JP2003116061A (ja) | 2003-04-18 |
| JP3877565B2 true JP3877565B2 (ja) | 2007-02-07 |
Family
ID=19127718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001308396A Expired - Fee Related JP3877565B2 (ja) | 2001-10-04 | 2001-10-04 | 撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6757015B2 (ja) |
| JP (1) | JP3877565B2 (ja) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3893424B2 (ja) * | 1998-11-06 | 2007-03-14 | 富士フイルム株式会社 | 固体撮像装置および信号読出し方法 |
| JP2004112768A (ja) * | 2002-08-29 | 2004-04-08 | Sanyo Electric Co Ltd | 撮像装置 |
| JP2005109968A (ja) * | 2003-09-30 | 2005-04-21 | Matsushita Electric Ind Co Ltd | カラー固体撮像装置 |
| JP4458236B2 (ja) | 2003-09-30 | 2010-04-28 | パナソニック株式会社 | 固体撮像装置 |
| JP4207736B2 (ja) * | 2003-10-01 | 2009-01-14 | ソニー株式会社 | 固体撮像装置 |
| JP4695888B2 (ja) * | 2004-01-21 | 2011-06-08 | パナソニック株式会社 | 固体撮像装置及びその駆動方法 |
| JP4183635B2 (ja) * | 2004-02-16 | 2008-11-19 | 富士フイルム株式会社 | 固体撮像装置 |
| US7385638B2 (en) | 2004-04-28 | 2008-06-10 | Eastman Kodak Company | Image sensor for still or video photography |
| JP4450187B2 (ja) | 2004-06-08 | 2010-04-14 | パナソニック株式会社 | 固体撮像装置 |
| US20050280726A1 (en) * | 2004-06-18 | 2005-12-22 | Eastman Kodak Company | Image sensor for still or video photography |
| US8497927B2 (en) * | 2004-07-01 | 2013-07-30 | Broadcom Corporation | Method for using wide dynamic range sensor in low light conditions |
| JP4295703B2 (ja) * | 2004-08-23 | 2009-07-15 | 富士フイルム株式会社 | 固体撮像装置の駆動方法及び固体撮像装置 |
| US20060044441A1 (en) * | 2004-08-27 | 2006-03-02 | Eastman Kodak Company | Image sensor for still or video photography |
| JP2006086933A (ja) * | 2004-09-17 | 2006-03-30 | Canon Inc | 撮像装置及び制御方法 |
| US20060082670A1 (en) * | 2004-10-14 | 2006-04-20 | Eastman Kodak Company | Interline CCD for still and video photography with extended dynamic range |
| US7379107B2 (en) * | 2004-12-10 | 2008-05-27 | Eastman Kodak Company | Image sensor for still or video photography |
| JP2006287464A (ja) * | 2005-03-31 | 2006-10-19 | Fuji Photo Film Co Ltd | 固体撮像装置及び固体撮像装置の動作方法 |
| JP4530961B2 (ja) * | 2005-06-30 | 2010-08-25 | オリンパスイメージング株式会社 | 電子的ぶれ補正装置 |
| JP5039966B2 (ja) | 2005-07-05 | 2012-10-03 | 国立大学法人東京工業大学 | 画素混合方法 |
| US7630000B2 (en) * | 2005-07-29 | 2009-12-08 | Olympus Imaging Corp. | Electronic blurring correction apparatus |
| JP4475225B2 (ja) * | 2005-09-08 | 2010-06-09 | ソニー株式会社 | 映像信号伝送システム、撮像装置、信号処理装置および映像信号伝送方法 |
| US20070086067A1 (en) * | 2005-10-13 | 2007-04-19 | Fujifilm Corporation | Imaging apparatus having output circuits selectably operative dependant upon usage and a method therefor |
| WO2007052452A1 (ja) * | 2005-11-07 | 2007-05-10 | Sharp Kabushiki Kaisha | 画像表示装置及び方法 |
| US7636119B2 (en) | 2005-12-21 | 2009-12-22 | Eastman Kodak Company | Image sensor for still or video photography |
| JP2008177746A (ja) * | 2007-01-17 | 2008-07-31 | Fujifilm Corp | 固体撮像素子、固体撮像素子の駆動方法及び撮像装置 |
| JP2009246745A (ja) * | 2008-03-31 | 2009-10-22 | Panasonic Corp | 撮像装置、撮像モジュール、電子スチルカメラ、及び電子ムービーカメラ |
| WO2010089830A1 (ja) * | 2009-02-03 | 2010-08-12 | パナソニック株式会社 | 撮像装置 |
| JP2009201139A (ja) * | 2009-04-30 | 2009-09-03 | Fujifilm Corp | 固体撮像装置 |
| JP4778079B2 (ja) * | 2009-04-30 | 2011-09-21 | 富士フイルム株式会社 | 固体撮像装置 |
| US20140333669A1 (en) * | 2013-05-08 | 2014-11-13 | Nvidia Corporation | System, method, and computer program product for implementing smooth user interface animation using motion blur |
| JP6209890B2 (ja) * | 2013-07-29 | 2017-10-11 | ソニー株式会社 | 裏面照射型イメージセンサ、撮像装置、および電子機器 |
| EP4131947B1 (en) | 2021-08-02 | 2024-04-17 | Imec VZW | An imaging system and a method for acquisition of multi-spectral images |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4290671A (en) * | 1980-02-19 | 1981-09-22 | Rca Corporation | Color encoding filter |
| JPS59186489A (ja) * | 1983-04-07 | 1984-10-23 | Victor Co Of Japan Ltd | 映像信号処理装置 |
| JP2816173B2 (ja) * | 1989-04-21 | 1998-10-27 | 株式会社日立製作所 | 撮像装置及び撮像装置の信号処理方法 |
| JP3156503B2 (ja) * | 1994-05-27 | 2001-04-16 | 松下電器産業株式会社 | 固体撮像装置の駆動方法及び固体撮像装置の信号処理回路 |
| JP2000023046A (ja) | 1998-07-02 | 2000-01-21 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| US6611289B1 (en) * | 1999-01-15 | 2003-08-26 | Yanbin Yu | Digital cameras using multiple sensors with multiple lenses |
| JP3636291B2 (ja) * | 2000-01-31 | 2005-04-06 | オリンパス株式会社 | 撮像装置 |
| JP4195169B2 (ja) * | 2000-03-14 | 2008-12-10 | 富士フイルム株式会社 | 固体撮像装置および信号処理方法 |
| US7218348B2 (en) * | 2000-06-02 | 2007-05-15 | Fujifilm Corporation | Solid-state electronic imaging device and method of controlling opertion thereof |
-
2001
- 2001-10-04 JP JP2001308396A patent/JP3877565B2/ja not_active Expired - Fee Related
-
2002
- 2002-10-02 US US10/261,696 patent/US6757015B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20030067550A1 (en) | 2003-04-10 |
| JP2003116061A (ja) | 2003-04-18 |
| US6757015B2 (en) | 2004-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3877565B2 (ja) | 撮像装置 | |
| US7349016B2 (en) | Solid-state color imaging apparatus capable of reducing false signals with regard to both luminance and chrominance | |
| JP3991543B2 (ja) | 撮像装置 | |
| US6342921B1 (en) | Lattice-type solid state image pickup device | |
| JP2004064165A (ja) | 撮像装置および撮像方法 | |
| JP3854662B2 (ja) | 撮像装置 | |
| KR100448302B1 (ko) | 선간 시스템의 고체 영상 픽업 장치 | |
| JP2009005390A (ja) | 固体撮像装置 | |
| JP4294810B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP3967853B2 (ja) | 固体撮像装置および信号読出し方法 | |
| US7236194B2 (en) | Image signal processing apparatus | |
| JP3674420B2 (ja) | 固体撮像装置 | |
| JP3985275B2 (ja) | 撮像装置および撮像方法 | |
| JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP2000308076A (ja) | 撮像装置 | |
| JP2004096611A (ja) | 撮像装置 | |
| JP3925479B2 (ja) | 撮像装置 | |
| JP3948456B2 (ja) | 固体撮像素子および固体撮像素子の制御方法 | |
| JP3849230B2 (ja) | 信号処理装置 | |
| JP3666563B2 (ja) | 撮像装置 | |
| JP4311473B2 (ja) | 撮像装置 | |
| JP2000261817A (ja) | 撮像装置 | |
| JP2000295531A (ja) | 撮像装置 | |
| JPH09191432A (ja) | 撮像装置 | |
| JPH0998347A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060808 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060922 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061031 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091110 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131110 Year of fee payment: 7 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |