JP4377976B2 - カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体 - Google Patents
カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体 Download PDFInfo
- Publication number
- JP4377976B2 JP4377976B2 JP21243498A JP21243498A JP4377976B2 JP 4377976 B2 JP4377976 B2 JP 4377976B2 JP 21243498 A JP21243498 A JP 21243498A JP 21243498 A JP21243498 A JP 21243498A JP 4377976 B2 JP4377976 B2 JP 4377976B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- row
- reading
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 140
- 238000003384 imaging method Methods 0.000 title claims description 97
- 238000012545 processing Methods 0.000 title claims description 93
- 238000012937 correction Methods 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 4
- 239000003990 capacitor Substances 0.000 description 83
- 238000004364 calculation method Methods 0.000 description 47
- 230000015654 memory Effects 0.000 description 42
- 238000007781 pre-processing Methods 0.000 description 41
- 238000009792 diffusion process Methods 0.000 description 30
- 238000001514 detection method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 25
- 230000006835 compression Effects 0.000 description 21
- 238000007906 compression Methods 0.000 description 21
- 230000000295 complement effect Effects 0.000 description 19
- 238000012935 Averaging Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 230000006837 decompression Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Description
【０００１】
【発明の属する技術分野】
本発明は、色フィルタアレイを介して撮像素子に入射した被写体光から該被写体のカラー画像信号を生成するカラー撮像装置、及びそのカラー撮像装置から画像信号を読み出す画像信号読み出し方法、それを用いた画像処理装置、画像処理システム、及び該読み出し方法を実施するための処理ステップをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
従来より、撮像素子（固体撮像素子：ＣＣＤ等、以下、単に「撮像素子」と言う）よりカラー画像信号を生成するカラー撮像装置がある。このカラー撮像装置では、被写体光が色フィルタ（フィルタアレイ）を介して、撮像素子における複数のホトダイオード（以下、「画素」又は「光検出素子」とも言う）が配列されてなる受光面に入射されるようになされている。
色フィルタの種類としては、原色フィルタと補色フィルタがある。原色フィルタは、レッド（Ｒ）、グリーン（Ｇ）、及びブルー（Ｂ）の３原色の色フィルタが、受光面上の各画素に対応して、所定の順で配列された構成としている。補色フィルタも同様に、シアン（Ｃｙ）、イエロ（Ｙｅ）、マゼンタ（Ｍｇ）、グリーン（Ｇ）の補色系の４色の色フィルタが所定の順で配列された構成としている。
【０００３】
ここで、撮像素子に対して用いる色フィルタを、その一例として上記の補色フィルタとし、該撮像素子で得られる信号、及び該信号を用いての処理等について、以下説明する。
【０００４】
まず、補色フィルタにおいて、シアンの色フィルタは、可視光範囲において赤色光のみを遮断し、イエロの色フィルタは、可視光範囲において青色光のみを遮断するようになされている。また、マゼンタの色フィルタは、可視光範囲において緑色光のみを遮断し、グリーンの色フィルタは緑色光のみを透過するようになされている。
尚、これらの各色フィルタの配列については後述する。
【０００５】
したがって、このような補色フィルタを介した被写体光が入射される撮像素子では、シアンの色フィルタを介した光が入射される画素の受光量に対応した画素信号Ｃｙ、イエロの色フィルタを介した光が入射される画素の受光量に対応した画素信号Ｙｅ、マゼンタの色フィルタを介した光が入射される画素の受光量に対応した画素信号Ｍｇ、及びグリーンの色フィルタを介した光が入射される画素の受光量に対応した画素信号Ｇが得られる。
【０００６】
上述のようにして撮像素子で得られた画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇは、例えば、ディジタルスチルカメラにおけるアイリスやホワイトバランスの調整やオートフォーカス検出用の信号、或いは画像処理装置における圧縮処理や伸張処理等に用いられるが、輝度信号Ｙ及び色差信号ＣＢ，ＣＲのかたちで用いられる。
輝度信号Ｙ、及び色差信号ＣＢ，ＣＲは、画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇを持って、次の式（１）〜（３）により表される。
Ｙ＝Ｙｅ＋Ｇ＋Ｃｙ＋Ｍｇ ・・・（１）
ＣＢ＝（Ｇ＋Ｙｅ）一（Ｍｇ＋Ｃｙ） ・・・（２）
ＣＲ＝（Ｃｙ＋Ｇ）一（Ｙｅ＋Ｍｇ） ・・・（３）
【０００７】
そこで、図２３及び図２４は、撮像素子に対して用いられる補色フィルタでの色フィルタの配列パターンの一例を示したものである。
上記図２３に示すパターンの補色フィルタは、水平方向（図中Ｃ１，Ｃ２，Ｃ３，・・・の方向）に２画素、垂直方向（図中Ｌ１，Ｌ２，Ｌ３，・・・の方向）に４画素の周期性を持つように、色フィルタが配列されたものである。一方、上記図２４に示すパターンの補色フィルタは、水平方向に２画素、垂直方向に８画素の周期性を持つように、色フィルタが配列されたものである。
何れの補色フィルタを用いた場合でも、輝度信号Ｙは、水平方向に２画素、垂直方向に２画素の４（２×２）画素ブロック内の画素からの画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇ（上記図２３及び図２４中斜線部分参照）を用いた上記式（１）の演算を行うことにより得られる。色差信号ＣＢ，ＣＲについても同様に各々、２×２画素ブロック内の画素からの画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇを用いた上記式（２）、（３）の演算を行うことにより得られる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記図２３や図２４に示したような色フィルタを介して被写体光が入射される従来の撮像素子を、例えば、ディジタルスチルカメラに使用した場合、次のような問題があった。
【０００９】
（１）ディジタルスチルカメラでは、シャッターが押される前に、解像度を犠牲にして、撮像素子で得られる画素信号（ここでは、上述の画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇ）を高速に読み出し（高速読み出しモード）、その読出信号を基に、液晶ファインダで画面表示したり、アイリスの調整やホワイトバランスの調整等を行う。
【００１０】
しかしながら、上記図２４に示した色フィルタが撮像素子に対して用いられた場合には、高速読み出しモードで撮像素子の画素信号を読み出して、それを基にホワイトバランスの調整を行うことができるが、上記図２３に示した色フィルタが撮像素子に対して用いられた場合、垂直方向に１画素毎に間引いて画素信号を読み出すことで、解像度を犠牲にして、高速読み出しを行うと、画素信号Ｃｙと画素信号Ｙｅのみしか得られず、すなわちシアンとイエロの２色についての画素信号しか得られず、ホワイトバランスを調整することができなかった。
【００１１】
（２）最近ではＣＣＤ等の撮像素子において、信号読出方法を工夫して、素子内の受光面で被写体光を受光し、該受光面において垂直方向に隣接する２つの画素の画素信号を加算した後に、その加算信号を素子内の転送部に転送して出力するようになされているものもある。したがって、撮像素子から出力される信号は、２つの画素信号がペアを組んだ状態で出力される。
【００１２】
具体的には例えば、上記図２３に示した色フィルタが撮像素子に対して用いられた場合、先ず、行Ｌ１，Ｌ２について、（Ｃ１，Ｌ１）に位置する画素の画素信号Ｃｙと、（Ｃ１，Ｌ２）に位置する画素の画素信号Ｍｇとのペアが出力された後に、（Ｃ２，Ｌ１）に位置する画素の画素信号Ｙｅと、（Ｃ２，Ｌ２）に位置する画素の画素信号Ｇとのペアが出力される。以降同様にして順次出力がなされ、該行Ｌ１，Ｌ２についての出力が終了すると、次の行Ｌ３，Ｌ４について、（Ｃ１，Ｌ３）に位置する画素の画素信号Ｃｙと、（Ｃ１，Ｌ４）に位置する画素の画素信号Ｇとのペアが出力された後に、（Ｃ２，Ｌ３）に位置する画素の画素信号Ｙｅと、（Ｃ２，Ｌ４）に位置する画素の画素信号Ｍｇとのペアが出力される。以降同様にして順次出力がなされ、該行Ｌ３，Ｌ４についての出力が終了する。
すなわち、行Ｌ１，Ｌ２についての出力は、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
となり、次の行Ｌ３，Ｌ４についての出力は、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
となる。
【００１３】
しかしながら、上記の出力から輝度信号Ｙや色差信号ＣＢ，ＣＲを得るために、上記式（１）〜（３）の演算を行う際、色差信号ＣＢ，ＣＲを得るための上記式（２）及び式（３）については、演算が行えない出力が存在していた。
すなわち、上記式（２）は、（Ｇ＋Ｙｅ）と（Ｍｇ＋Ｃｙ）からなるが、行Ｌ３，Ｌ４についての出力は、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
であるため、これらの行についての上記式（２）の演算は行うことができない。また、上記式（３）は、（Ｃｙ＋Ｇ）と（Ｙｅ＋Ｍｇ）からなるが、行Ｌ１，Ｌ２についての出力は、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
であるため、これらの行についての上記式（３）の演算は行うことができない。このように、上記式（２）の演算は、行Ｌ１，Ｌ２についての出力に対しては行えるが、行Ｌ３，Ｌ４についての出力に対しては行うことができない。また、上記式（３）の演算は、行Ｌ３，Ｌ４についての出力に対しては行えるが、行Ｌ１，Ｌ２についての出力に対しては行うことができない。
したがって、各色の色差信号ＣＢ，ＣＲは、撮像素子から出力される４行分の画素信号から、１行分の画素信号に対してのものしか得ることができず、すなわち４行分の画素信号を使用して初めて輝度信号Ｙ及び色差信号ＣＢ，ＣＲが得られるため、その分、垂直方向の解像度が低下していた。
【００１４】
また、上記図２４に示した色フィルタが撮像素子に対して用いられた場合も同様に、先ず、行Ｌ１，Ｌ２について、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
の出力がなされ、次の行Ｌ３，Ｌ４について、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
の出力がなされ、次の行Ｌ５，Ｌ６について、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
の出力がなされ、次の行Ｌ７，Ｌ８について、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
の出力がなされる。
【００１５】
しかしながら、上記の出力から輝度信号Ｙや色差信号ＣＢ，ＣＲを得るために、上記式（１）〜（３）の演算を行う際、この場合も上述の上記図２３の色フィルタを用いた場合と同様に、色差信号ＣＢ，ＣＲを得るための上記式（２）及び式（３）については、演算が行えない出力が存在していた。
すなわち、上記式（２）は、（Ｇ＋Ｙｅ）と（Ｍｇ＋Ｃｙ）からなるが、行Ｌ５，Ｌ６及び行Ｌ７，Ｌ８についての出力は、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
であるため、これらの行についての上記式（２）の演算は行うことができない。また、上記式（３）は、（Ｃｙ＋Ｇ）と（Ｙｅ＋Ｍｇ）からなるが、行Ｌ１，Ｌ２及び行Ｌ３，Ｌ４についての出力は、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
であるため、これらの行についての上記式（３）の演算は行うことができない。
このように、上記式（２）の演算は、行Ｌ１〜Ｌ４についての出力に対しては行えるが、行Ｌ５〜Ｌ８についての出力に対しては行うことができない。また、上記式（３）の演算は、行Ｌ５〜Ｌ８についての出力に対しては行えるが、行Ｌ１〜Ｌ４についての出力に対しては行うことができない。
したがって、各色の色差信号ＣＢ，ＣＲは、撮像素子から出力される８行分の画素信号から、２行分の画素信号に対してのものしか得ることができず、その分、垂直方向の解像度が低下していた。
【００１６】
そこで、本発明は、上記の欠点を除去するために成されたもので、水平方向と垂直方向共に解像度が高い画像信号を得るカラー撮像装置、画像処理装置、及び画像処理システムを提供することを目的とする。
また、本発明は、水平方向と垂直方向共に解像度が高い画像信号を得ることが可能な画像信号読み出し方法、及び該読み出し方法を実施するための処理ステップをコンピュータに実行させるためのプログラムを記憶した記憶媒体を提供することを目的とする。
【００１７】
また、本発明は、高解像度のカラー画像信号を効率的に得るカラー撮像装置、画像処理装置、及び画像処理システムを提供することを目的とする。
また、本発明は、高解像度のカラー画像信号を効率的に得ることが可能な画像信号読み出し方法、及び該読み出し方法を実施するための処理ステップをコンピュータに実行させるためのプログラムを記憶した記憶媒体を提供することを目的とする。
【００１８】
また、本発明は、簡易カラー表示、オートフォーカス、及びオートホワイトバランス等に使用する際に、低解像度の画像信号を高速に出力できるモード、高解像度の画像信号を低速に出力できるモード等のマルチモードを備えるカラー撮像装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
斯かる目的下において、本発明に係るカラー撮像装置は、４色の色フィルタアレイを介して撮像素子に入射した入射光よりカラー画像信号を生成するカラー撮像装置であって、少なくとも行方向及び列方向の何れかの方向に所定画素分シフトしながら、Ｎ行×Ｎ列（Ｎ：整数）の画素ブロック単位で前記撮像素子から信号を読み出す読出手段と、前記読出手段で読み出された今回の読出画素ブロックの信号のうち、該読出画素ブロックに対して１画素シフトした次の読出画素ブロックと重なり合う領域の信号を保持する保持手段とを備え、前記読出手段は、次の画素ブロックの信号の読み出しに、前記保持手段に保持された信号を用い、前記色フィルタアレイは、４行×４列の周期性を持ち、４行×４列の周期単位の中で、第１行には、左から右の順又は右から左の順に第１の色フィルタ、第２の色フィルタ、第３の色フィルタ、第４の色フィルタが配列され、第２行には、左又は右から順に前記第３の色フィルタ、前記第４の色フィルタ、前記第１の色フィルタ、前記第２の色フィルタが配列され、第３行には、左又は右から順に前記第２の色フィルタ、前記第１の色フィルタ、前記第４の色フィルタ、前記第３の色フィルタが配列され、第４行には、左又は右から順に前記第４の色フィルタ、前記第３の色フィルタ、前記第２の色フィルタ、前記第１の色フィルタが配列され、前記第１行から前記第４行までは、上から下の順又は下から上の順に並んでおり、前記第１の色フィルタは、可視光範囲において緑色光のみを透過するフィルタであり、前記第２の色フィルタは、可視光範囲において青色光のみを遮断するフィルタであり、前記第３の色フィルタは、可視光範囲において赤色光のみを遮断するフィルタであり、前記第４の色フィルタは、可視光範囲において緑色光のみを遮断するフィルタであることを特徴とする。
【００２０】
また、本発明に係る画像信号読み出し方法は、前記カラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、２行×２列の領域の第１行第１列の信号と第１行第２列の信号との加算信号と、前記２行×２列の領域の第２行第１列の信号と第２行第２列の信号との加算信号との差を第１の色差信号として読み出すステップと、前記２行×２列の領域の第１行第１列の信号と第２行第１列の信号との加算信号と、前記２行×２列の領域の第１行第２列の信号と第２行第２列の信号との加算信号との差を第２の色差信号として読み出すステップとを含むことを特徴とする。
本発明に係る画像信号読み出し方法は、前記カラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、４行×１列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする。
本発明に係る画像信号読み出し方法は、前記カラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、４行×２列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする。
本発明に係る画像信号読み出し方法は、前記カラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、１行×４列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする。
本発明に係る画像信号読み出し方法は、前記カラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、２行×４列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする。
本発明に係る画像信号読み出し方法は、前記カラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、２行×２列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする。
【００２１】
また、本発明に係る画像処理装置は、カラー撮像素子により被写体を撮像し、該撮像素子の出力信号に対して所定の画像処理を行う画像処理装置であって、前記カラー撮像素子は、前記カラー撮像装置が有する機能を備えることを特徴とする。
【００２２】
また、本発明に係る画像処理システムは、カラー撮像素子を含む撮像装置と、該撮像装置の出力信号に対して所定の画像処理を行う画像処理装置とが少なくとも接続されてなる画像処理システムであって、前記撮像装置は、前記カラー撮像装置であることを特徴とする。
本発明に係る画像処理システムは、撮像素子を含み、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理を経ずに該撮像素子から出力される画像信号の情報量を圧縮して送信する撮像装置と、該圧縮された画像信号を受信して伸張した後で前記色処理を行うようになされた受信装置とが接続されてなる画像処理システムであって、前記撮像装置は、前記カラー撮像装置であることを特徴とする。
【００２３】
また、本発明に係るコンピュータ読み取り可能な記憶媒体は、前記画像信号読み出し方法のステップをコンピュータに実行させるためのプログラムを記憶したことを特徴とする。
【００５５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００５６】
（第１の実施の形態）
本発明は、例えば、図１に示すようなカラー撮像装置７００に適用される。
このカラー撮像装置（以下、単に「撮像装置」と言う）７００は、ディジタルスチルカメラ等に設けられており、入射される被写体光から得られた画素信号を出力する撮像部７１０と、撮像部７１０からの画素信号を用いて輝度信号Ｙ及び色差信号ＣＢ，ＣＲを生成する輝度／色差前処理部７２０とを備えている。
【００５７】
撮像部７１０は、色フィルタ７１１と、色フィルタ７１１を介して被写体光が入射される撮像素子７１２と、撮像素子７１２で得られた画素信号を読み出す信号読出部７１３とを含み、信号読出部７１３の出力が、輝度／色差前処理部７２０に供給される。
ここで、撮像部７１０において、詳細は後述するが、色フィルタ７１１としては、イエロー（Ｙｅ）、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、グリーン（Ｇ）の４色の補色フィルタを用いることとする。したがって、撮像素子７１２では、４色の補色系の画素信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇが得られ、これらの画素信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇが信号読出部７１３により読み出され輝度／色差前処理部７２０に供給されることになる。
【００５８】
輝度／色差前処理部７２０は、撮像部７１０からの画素信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇを用いて、輝度信号Ｙ及び色差信号ＣＢ，ＣＲを得る。これらの輝度信号Ｙ及び色差信号ＣＢ，ＣＲが、ディジタルスチルカメラ等における液晶ファインダでの低解像度での画面表示や、アイリスの調整、及びホワイトバランスの調整、オートフォーカス用検出信号等に用いられる。
【００５９】
そこで、上述のような撮像装置７００の最も特徴とするところは、撮像部７１０にある。以下、この撮像部７１０について具体的に説明する。
【００６０】
まず、色フィルタ７１１の構成について説明する。
図２は、上記図１の色フィルタ（補色フィルタ）７１１のフィルタ配列（パターン）を示したものである。
【００６１】
この図２に示すように、色フィルタ７１１は、水平方向に４画素、垂直方向に４画素の周期性を有するように、フィルタ配列がなされている。このようなフィルタ配列がなされた色フィルタ７１１において、第１行Ｌ１には、左から順にＧ１，Ｙｅ１，Ｃｙ２，Ｍｇ２の色フィルタが配列され、第２行Ｌ２には、左から順にＣｙ１，Ｍｇ１，Ｇ２，Ｙｅ２の色フィルタが配列され、第３行Ｌ３には、左から順にＹｅ３，Ｇ３，Ｍｇ４，Ｃｙ４の色フィルタが配列され、第４行Ｌ４には、左から順にＭｇ３，Ｃｙ３，Ｙｅ４，Ｇ４の色フィルタが配列されている。
【００６２】
上述のように、色フィルタ７１１では、水平方向に４画素、垂直方向に４画素の中で、どの行にも重複した色フィルタが無く、全ての色フィルタが異なり、また、どの列にも重複した色フィルタが無く、全ての色フィルタが異なるようなフィルタ配列としている。
尚、上記図２のフィルタ配列において、各色フィルタの配列は、左右又は上下が反転していても良い。
【００６３】
上述のようなフィルタ配列がなされた色フィルタ７１１を介した被写体光は、撮像素子７１２の受光面（図示せず）に入射され、撮像素子７１２では、光電変換により、該受光面上の各画素の受光量に対応した画素信号が得られる。信号読出部７１３は、撮像素子７１２で得られた画素信号を、後述する読み出し方法に従って読み出して、輝度／色差前処理部７２０に供給する。輝度／色差前処理部７２０は、信号読出部７１３からの様々なサイズや形状の領域の画素信号を用いて、輝度信号Ｙ、青の色差信号ＣＢ、及び赤の色差信号ＣＲを得る。
【００６４】
つぎに、信号読出部７１３での画素信号の読み出し方法、及び該読み出し方法に従って読み出された画素信号を用いての輝度／色差前処理部７２０での演算処理について説明する。
【００６５】
［読み出し方法１］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接する画素のペア（加算信号）から求める。例えば、
ＣＢ１＝ （Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
ＣＢ２＝−（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１）、（Ｙｅ１＋Ｍｇ１）、（Ｃｙ２＋Ｇ２）、
（Ｍｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝（Ｇ１＋Ｃｙ１）−（Ｙｅ１＋Ｍｇ１）
ＣＲ２＝（Ｃｙ２＋Ｇ２）−（Ｍｇ２＋Ｙｅ２）
なる演算により求める。
このような読み出し方法１によれば、従来のように、色差信号ＣＢ，ＣＲを得るための演算を行うことができない行が発生することはなく、色差信号ＣＢ，ＣＲは、水平方向と垂直方向共に、常に２つの画素信号に対して１個得られる。したがって、水平方向と垂直方向共に、高解像度となる。
【００６６】
［読み出し方法２］
この読み出し方法２から、後述する読み出し方法５までは、輝度信号Ｙを高解像度で出力することが可能な読み出し方法である。これらは、輝度信号Ｙのみを用いて演算することにより行うオートフォーカス等に用いて好適な方法である。
そこで、読み出し方法２では、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３）、
（Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３
Ｙ２＝Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３
なる演算により求める。
このような読み出し方法２によれば、輝度信号Ｙは、水平方向に１画素毎に１個得られるため、水平方向について高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターンなどの水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【００６７】
［読み出し方法３］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３）、
（Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝ （Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３）
＋（Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３）
なる演算により求める。
このような読み出し方法３によれば、輝度信号Ｙは、水平方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として用いるのに最適である。
【００６８】
［読み出し方法４］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１＋Ｃｙ２＋Ｍｇ２）、
（Ｃｙ１＋Ｍｇ１＋Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｙｅ１＋Ｃｙ２＋Ｍｇ２
Ｙ２＝Ｃｙ１＋Ｍｇ１＋Ｇ２＋Ｙｅ２
なる演算により求める。
このような読み出し方法４によれば、輝度信号Ｙは、垂直方向に１画素毎に１個得られるため、垂直方向に高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい横縞パターン等の水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【００６９】
［読み出し方法５］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１＋Ｃｙ２＋Ｍｇ２）、
（Ｃｙ１＋Ｍｇ１＋Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝ （Ｇ１＋Ｙｅ１＋Ｃｙ２＋Ｍｇ２）
＋（Ｃｙ１＋Ｍｇ１＋Ｇ２＋Ｙｅ２）
なる演算により求める。
このような読み出し方法５によれば、輝度信号Ｙは、垂直方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい横縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として最適である。
【００７０】
［読み出し方法６］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝ （Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
ＣＢ２＝−（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｙｅ３＋Ｍｇ３）、（Ｇ３＋Ｃｙ３）、（Ｍｇ４＋Ｙｅ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲｌ＝−（Ｙｅ３＋Ｍｇ３）＋（Ｇ３＋Ｃｙ３）
ＣＲ２＝−（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法６によれば、色差線順次の信号が得られる。また、この方法は、被写体が動画であるときに最適であり、また、高速で画像信号を出力することができる。これは、上述の読み出し方法１に対して、読み出し信号の数（読み出す色差信号の画素数）が半分であるからである。
【００７１】
［読み出し方法７］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝ （Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
ＣＢ２＝−（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｃｙ２＋Ｇ２）、（Ｍｇ２＋Ｙｅ２）、（Ｍｇ４＋Ｙｅ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝ （Ｃｙ２＋Ｇ２）−（Ｍｇ２＋Ｙｅ２）
ＣＲ２＝−（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法７も、上述の読み出し方法６と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。
【００７２】
［読み出し方法８］
色差信号ＣＢについては、上述の読み出し方法７と同様にして求める。
色差信号ＣＲについて、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１）、（Ｙｅ１＋Ｍｇ１）、（Ｙｅ３＋Ｍｇ３）、
（Ｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＲ１＝ （Ｇ１＋Ｃｙ１）−（Ｙｅ１＋Ｍｇ１）
ＣＲ２＝−（Ｙｅ３＋Ｍｇ３）＋（Ｇ３＋Ｃｙ３）
なる演算により求める。
このような読み出し方法８も、上述の読み出し方法６〜７と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。
【００７３】
［読み出し方法９］
色差信号ＣＢについては、上述の読み出し方法７と同様にして求める。
色差信号ＣＲについて、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１）、（Ｙｅ１＋Ｍｇ１）、（Ｃｙ２＋Ｇ２）、
（Ｍｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝（Ｇ１＋Ｃｙ１）−（Ｙｅ１＋Ｍｇ１）
ＣＲ２＝（Ｃｙ２＋Ｇ２）−（Ｍｇ２＋Ｙｅ２）
なる演算により求める。
このような読み出し方法９も、上述の読み出し方法６〜８と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。更に、色差信号ＣＢと色差信号ＣＲとを同一の領域の画素信号から求めることを特徴としている。
【００７４】
［読み出し方法１０〜１３］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｙｅ３＋Ｇ３）、
（Ｍｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝（Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
ＣＢ２＝（Ｙｅ３＋Ｇ３）−（Ｍｇ３＋Ｃｙ３）
なる演算により求める。
色差信号ＣＲについては、上述の読み出し６〜９と同様にして得る。
このような読み出し方法１０〜１３も、上述の読み出し方法６〜９と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。
【００７５】
［読み出し方法１４］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝（Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｍｇ４＋Ｙｅ４）、（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝−（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法１４も、上述の読み出し方法６〜１３と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。特に、この方法では、上述の読み出し方法１に対して、読み出す信号（色差信号に必要な読み出す画素数）が１／４になるため、さらに高速で画像信号を出力することができる。
【００７６】
［読み出し方法１５］
上述した読み出し方法１、６〜１４では、色差信号を生成するときの方法のみを説明したが、輝度信号については、次のような読み出し方法１５により生成することができる。
すなわち、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、
（Ｙｅ３＋Ｇ３）、（Ｍｇ３＋Ｃｙ３）、（Ｍｇ４＋Ｃｙ４）、
（Ｙｅ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、隣接するペアから求める。例えば、
Ｙ１＝（Ｇ１＋Ｙｅ１）＋（Ｃｙ１＋Ｍｇ１）
Ｙ２＝（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
Ｙ３＝（Ｙｅ３＋Ｇ３）＋（Ｍｇ３＋Ｃｙ３）
Ｙ４＝（Ｍｇ４＋Ｃｙ４）＋（Ｙｅ４＋Ｇ４）
なる演算により求める。
このような読み出し方法１５によれば、輝度信号を、水平及び垂直方向共に２画素単位で得ることができる。
【００７７】
［読み出し方法１６］
上述した読み出し方法１、６〜１４では、色差信号を生成するときの方法のみを説明したが、輝度信号については、次のような読み出し方法１６により生成することができる。
すなわち、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１）、（Ｙｅ１＋Ｍｇ１）、（Ｃｙ２＋Ｇ２）、
（Ｍｇ２＋Ｙｅ２）、
（Ｙｅ３＋Ｍｇ３）、（Ｇ３＋Ｃｙ３）、（Ｍｇ４＋Ｙｅ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、隣接するペアから求める。例えば、
Ｙ１＝（Ｇ１＋Ｃｙ１）＋（Ｙｅ１＋Ｍｇ１）
Ｙ２＝（Ｃｙ２＋Ｇ２）＋（Ｍｇ２＋Ｙｅ２）
Ｙ３＝（Ｙｅ３＋Ｍｇ３）＋（Ｇ３＋Ｃｙ３）
Ｙ４＝（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法１６によれば、輝度信号を、水平及び垂直方向共に２画素単位で得ることができる。
【００７８】
尚、上述の本実施の形態では、撮像素子７１２に対して用いる色フィルタ７１１のフィルタ配列を、上記図２に示したようなものとしたが、例えば、図３に示すように、上記図２でのフィルタ配列において、第３行Ｌ３と第４行Ｌ４とを入れ替えたものとしても、上述した読み出し方法１〜１６を適用することができる。
【００７９】
また、上述した読み出し方法１〜１６では、４×４又は２×２画素ブロック単位で信号を読み出すようにしたが、これに限られるものではない。また、読み出す画素ブロックは、必ずしも前に読み出しが行われた画素ブロックに対して密に隣接している必要はなく、これらの画素ブロック同士は、例えば、所定のブロック単位の間隔を隔てていても良い。こうすることにより、更に読み出す信号の画素数（色差信号の画素信号の数）を減らして、さらなる高速化を図ることができる。
例えば、低解像度で高速な出力を行う際には、水平方向Ｃ１，Ｃ２，・・・，Ｃ８、垂直方向Ｌ１，Ｌ２，・・・，Ｌ８の８×８画素ブロック内で、
(C1,L1),(C1,L2),(C2,L1),(C2,L2) から色差信号ＣＲ１を、
(C3,L3),(C3,L4),(C4,L3),(C4,L4) から色差信号ＣＢ１を、
(C5,L5),(C5,L6),(C6,L5),(C6,L6) から色差信号ＣＲ２を、
(C7,L7),(C7,L8),(C8,L7),(C8,L8) から色差信号ＣＢ２を、
求める、というようにしてもよい。
【００８０】
（第２の実施の形態）
本実施の形態では、上記図１に示した撮像装置７００において、色フィルタ７１１のフィルタ配列を、例えば、図４に示すようなものとする。
【００８１】
上記図４に示すように、ここでの色フィルタ７１１は、水平方向に４画素、垂直方向に４画素の周期性を持つように、フィルタ配列がなされている。このようなフィルタ配列がなされた色フィルタ７１１において、第１行Ｌ１には、左から順にＧ１，Ｙｅ１，Ｍｇ２，Ｃｙ２の色フィルタが配列され、第２行Ｌ２には、第１行Ｌ１に対して左に２列ずれたかたちで、左から順にＭｇ１，Ｃｙ１，Ｇ２，Ｙｅ２の色フィルタが配列され、第３行Ｌ３には、第１行Ｌ１に対して左に３列ずれてかたちで、左から順にＣｙ３，Ｇ３，Ｙｅ４、Ｍｇ４の色フィルタが配列され、第４行Ｌ４には、第１行Ｌ１に対して左に１列ずれたかたちで、左から順にＹｅ３，Ｍｇ３，Ｃｙ４，Ｇ４の色フィルタが配列されている。
【００８２】
上述のように、色フィルタ７１１では、水平方向に４画素、垂直方向に４画素の中で、どの行にも重複した色フィルタが無く、全ての色フィルタが異なり、また、どの列にも重複した色フィルタが無く、全ての色フィルタが異なるようなフィルタ配列としている。
尚、上記図４のフィルタ配列において、各色フィルタの配列は、左右又は上下が反転していても良い。
【００８３】
上述のようなフィルタ配列がなされた色フィルタ７１１を介した被写体光は、第１の実施の形態と同様にして、撮像素子７１２の受光面に入射され、撮像素子７１２では、光電変換により、該受光面上の各画素の受光量に対応した画素信号が得られる。信号読出部７１３は、撮像素子７１２で得られた画素信号を、後述する読み出し方法に従って読み出して、輝度／色差前処理部７２０に供給する。輝度／色差前処理部７２０は、信号読出部７１３からの様々な形状の領域の画素信号を用いて、輝度信号Ｙ、青の色差信号ＣＢ、及び赤の色差信号ＣＲを得る。
【００８４】
そこで、本実施の形態での、信号読出部７１３での画素信号の読み出し方法、及び該読み出し方法に従って読み出された画素信号を用いての輝度／色差前処理部７２０での演算処理について、以下説明する。
尚、本実施の形態における撮像装置７００の全体動作については、第１の実施の形態での動作と同様であるため、ここでは説明の簡単のために省略し、第１の実施の形態とことなる構成についてのみ、具体的に説明するものとする。
【００８５】
［読み出し方法２１］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３）、
（Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３
Ｙ２＝Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３
なる演算により求める。
このような読み出し方法２１によれば、輝度信号Ｙは、水平方向に１画素毎に１個得られるため、水平方向に高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターン等の水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【００８６】
［読み出し方法２２］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３）、
（Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝ （Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３）
＋（Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３）
なる演算により求める。
このような読み出し方法２２によれば、輝度信号Ｙは、水平方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として用いるのに最適である。
【００８７】
［読み出し方法２３］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１＋Ｍｇ２＋Ｃｙ２）、
（Ｍｇ１＋Ｃｙ１＋Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｙｅ１＋Ｍｇ２＋Ｃｙ２
Ｙ２＝Ｍｇ１＋Ｃｙ１＋Ｇ２＋Ｙｅ２
なる演算により求める。
このような読み出し方法２３によれば、輝度信号Ｙは、垂直方向に１画素毎に１個得られるため、垂直方向に高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい横縞パターン等の水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【００８８】
［読み出し方法２４］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１＋Ｍｇ２＋Ｃｙ２）、
（Ｍｇ１＋Ｃｙ１＋Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝ （Ｇ１＋Ｙｅ１＋Ｍｇ２＋Ｃｙ２）
＋（Ｍｇ１＋Ｃｙ１＋Ｇ２＋Ｙｅ２）
なる演算により求める。
このような読み出し方法２４によれば、輝度信号Ｙは、垂直方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい横縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として用いるのに最適である。
【００８９】
［読み出し方法２５］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｍｇ１＋Ｃｙ１）、（Ｍｇ２＋Ｃｙ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝ （Ｇ１＋Ｙｅ１）−（Ｍｇ１＋Ｃｙｌ）
ＣＢ２＝−（Ｍｇ２＋Ｃｙ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｃｙ３＋Ｇ３）、（Ｙｅ３＋Ｍｇ３）、（Ｙｅ４、Ｍｇ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝ （Ｃｙ３＋Ｇ３）−（Ｙｅ３＋Ｍｇ３）
ＣＲ２＝−（Ｙｅ４＋Ｍｇ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法２５によれば、色差線順次の信号が得られる。また、この方法は、全画素を基にする場合と比べて、読み出す信号数（色差信号に必要な読み出す画素数）が半分になるため、被写体が動画であるときに最適であり、また、高速で画像信号を出力することができる。
【００９０】
［読み出し方法２６］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｍｇ１＋Ｃｙ１）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢｌ＝（Ｇ１＋Ｙｅ１）−（Ｍｇ１＋Ｃｙ１）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｙｅ４＋Ｍｇ４）、（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝（Ｙｅ４＋Ｍｇ４）−（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法２６も、上述の読み出し方法２５と同様に、被写体が動画であるときに最適であり、また、高速で画像信号を出力することができる。特に、全画素を基にする場合に比べて、読み出す信号数が１／４になるため、さらに高速で画像信号を出力する。
【００９１】
［読み出し方法２７］
上述した読み出し方法２５、２６では、色差信号を生成するときの方法のみを説明したが、輝度信号については、次のような読み出し方法２７により生成することができる。
すなわち、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｍｇ１＋Ｃｙ１）、（Ｍｇ２＋Ｃｙ２）、
（Ｇ２＋Ｙｅ２）、
（Ｃｙ３＋Ｇ３）、（Ｙｅ３＋Ｍｇ３）、（Ｙｅ４＋Ｍｇ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、隣接するペアから求める。例えば、
Ｙ１＝（Ｃ１＋Ｙｅ１）＋（Ｍｇ１＋Ｃｙ１）
Ｙ２＝（Ｍｇ２＋Ｃｙ２）＋（Ｇ２＋Ｙｅ２）
Ｙ３＝（Ｃｙ３＋Ｇ３）＋（Ｙｅ３＋Ｍｇ３）
Ｙ４＝（Ｙｅ４＋Ｍｇ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法２７によれば、輝度信号を、水平及び垂直方向共に２画素単位で得ることができる。
【００９２】
［読み出し方法２８］
上述した読み出し方法２５、２６では、色差信号を生成するときの方法のみを説明したが、輝度信号については、次のような読み出し方法２８により生成することができる。
すなわち、 信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｍｇ１）、（Ｙｅ１＋Ｃｙ１）、（Ｍｇ２＋Ｇ２）、
（Ｃｙ２＋Ｙｅ２）、
（Ｃｙ３＋Ｙｅ３）、（Ｇ３＋Ｍｇ３）、（Ｙｅ４＋Ｃｙ４）、
（Ｍｇ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、隣接するペアから求める。例えば、
Ｙ１＝（Ｇ１＋Ｍｇ１）＋（Ｙｅ１＋Ｃｙ１）
Ｙ２＝（Ｍｇ２＋Ｇ２）＋（Ｃｙ２＋Ｙｅ２）
Ｙ３＝（Ｃｙ３＋Ｙｅ３）＋（Ｇ３＋Ｍｇ３）
Ｙ４＝（Ｙｅ４＋Ｃｙ４）＋（Ｍｇ４＋Ｇ４）
なる演算により求める。
このような読み出し方法２８によれば、輝度信号を、水平及び垂直方向共に２画素単位で得ることができる。
【００９３】
尚、上述の本実施の形態では、撮像素子７１２に対して用いる色フィルタ７１１のフィルタ配列を、上記図４に示したようなものとしたが、例えば、図５に示すように、上記図４でのフィルタ配列において、第３行Ｌ３と第４行Ｌ４とを入れ替えたものとしても、上述した読み出し方法２１〜２８を適用することができる。
【００９４】
また、上述した読み出し方法２１〜２６では、４×４画素ブロック単位で信号を読み出すようにしたが、これに限られるものではない。また、読み出す画素ブロックは、必ずしも前に読み出しが行われた画素ブロックに対して密に隣接している必要はなく、これらの画素ブロック同士は、例えば、所定のブロック単位の間隔を隔てていても良い。こうすることにより、更に読み出す信号の画素数（色差信号の画素信号の数）を減らして、さらなる高速化を図ることができる。
【００９５】
（第３の実施の形態）
本実施の形態では、上記図１の撮像装置７００において、例えば、撮像部７１０を所謂ＣＭＯＳセンサに適用する。この場合、該撮像部７１０の回路構成を、以下に説明するような構成とすることで、上述した第１及び第２の実施の形態での読み出し方法１〜２８が実現できる。
【００９６】
図６は、ここでの撮像部７１０（以下、「ＣＭＯＳセンサ７１０」と言う）の回路構成を示したものである。
このＣＭＯＳセンサ７１０は、垂直方向に隣接する２個の画素（光検出素子）の受光量（検出光量）の平均値と、その隣の列で垂直方向に隣接する２個の光検出素子の検出光量の平均値との差分を出力する第１の出力系列と、水平方向に隣接する２つの光検出素子の検出光量の平均値と、その隣の行の水平方向に隣接する２つの光検出器の検出光量の平均値の差分を出力する第２の出力系列とを備える。このような回路構成により、ＣＭＯＳセンサ７１０は、読み出し方法１を実施することが可能となる。
【００９７】
具体的には、上記図６において、まず、１は、垂直方向に順次アクティブになる信号であって、各行のコントロール信号をイネーブルさせるためのイネーブル信号を発生する垂直走査回路である。１００は、入射されてきた光を電荷に変換する光検出素子としてのフォトダイオードであり、１０１は、光検出素子１００で発生した電荷を浮遊拡散領域１０２に転送する転送用トランジスタである。浮遊拡散領域１０２は、光検出素子１００で発生した電荷を一時的の蓄積するものである。
１０３は、アンプ用トランジスタ１０４のゲートに蓄積された電荷を放電するリセット用トランジスタ１０３であり、１２１は、スイッチ用トランジスタ、１１２は、端子７より印加される電圧で決定される定電流源用トランジスタである。
１０５は、コンデンサ１０９，１１０，１１７，１１８の電荷を放電するためのトランジスタであり、１０６は、アンプ用トランジスタ１０４のソースと、コンデンサ１０９とを繋ぐ分配用トランジスタである。１０７は、アンプ用トランジスタ１０４のソースと、コンデンサ１１０とを繋ぐ分配用トランジスタである。
コンデンサ１０９，１１０は、アンプ用トランジスタ１０４からの供給電圧により充電されるラインメモリとして機能するコンデンサである。
１０８は、コンデンサ１０９の蓄積電荷と、コンデンサ１１０の蓄積電荷との平均化をコントロールするための平均化用トランジスタである。１１１は、ラインメモリとして機能するコンデンサ１０９の電圧を、差動増幅器１２２の前段のバッファ１２３に印加させるためのスイッチトランジスタである。
１２２は、コンデンサ１０９の電圧と、コンデンサ１０９'の電圧との差分を増幅する差動増幅器である。
１１３は、アンプ用トランジスタ１０４のソースと、コンデンサ１１７とを接続するスイッチトランジスタであり、１１４は、アンプ用トランジスタ１０４のソースと、コンデンサ１１８とを接続するスイッチトランジスタである。
１１７，１１８は、アンプ用トランジスタ１０４のソースから供給される電流により充電されるラインメモリとしてのコンデンサである。１１５は、コンデンサ１１７の蓄積電荷と、コンデンサ１１７'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
１１６は、コンデンサ１１８の蓄積電荷と、コンデンサ１１８'の蓄積電荷との平均化をコントロールするためのスイッチコンデンサであり、１１９は、ラインメモリとしてのコンデンサ１１７の電圧を差動増幅器１２７の前段のバッファ１２８に印加させるためのスイッチトランジスタである。
１２７は、コンデンサ１１７の電圧と、コンデンサ１１８'の電圧との差分を増幅する差動増幅器である。
上述の低電流源用トランジスタ１１２は、行単位に活性化され、アンプ用トランジスタ１０４と対でアンプを構成する。
【００９８】
図７は、上記図６のＣＭＯＳセンサ７１０の動作タイミングを表すタイミングチャートである。以下、上記図６及び図７を用いて、ＣＭＯＳセンサ７１０の動作を説明する。
【００９９】
先ず、タイミングＴ２０１において、端子１１への入力パルスは、ＨＩＧＨ状態となっている。この状態で、端子３０，３１，５０，５１への入力パルスが、ＨＩＧＨとなると、ラインメモリとしてのコンデンサ１０９，１１０，１１７，１１８は、全て初期電位にリセットされる。また、端子２から入力される垂直走査回路１のスタートパルス、端子３から入力される走査パルスが、ＨＩＧＨとなると、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。また、端子８には、ＨＩＧＨのパルスが入力されており、これにより、画素部の浮遊拡散領域がリセットされる。
次に、タイミングＴ２０２において、端子８に入力されているリセットパルスがＬＯＷ状態となる（立ち下がる）。これにより、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ２０３において、端子９への入力パルスがＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ２０４において、端子１０，３０，５０への入力パルスがＨＩＧＨとなると、第１行目の光検出素子で検出された光量に比例した電圧が、アンプ用トランジスタ１０４により、コンデンサ１０９，１１７に対して読み出される。
次に、タイミングＴ２０５において、端子３へ入力されている垂直走査パルスがＬＯＷ状態となる（立ち下がる）。
次に、タイミングＴ２０６において、端子３へ入力されている垂直パルスが再びＨＩＧＨとなると（立ち上がると）、第２行目（Ｒ２）が選択される。
次に、タイミングＴ２０７において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がり）、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ２０８においては、上述のタイミングＴ２０３と同様に、端子９への入力パルスがＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ２０９においても、上述のタイミングＴ２０４と同様に、端子１０，３１，５１への入力パルスがＨＩＧＨとなると、第２行目の光検出素子で検出された光量に比例した電圧が、第２行目のアンプ用トランジスタ１０４により、コンデンサ１１０，１１８に対して読み出される。
次に、タイミングＴ２１０において、端子４０，６０，６１への入力パルスがＨＩＧＨパルスとなると、ラインメモリとしてのコンデンサ１１７上で、蓄積電荷の平均化が行われる。
【０１００】
そして、タイミングＴ２１１において、このタイミングから、水平走査回路４が動作を開始し、平均化された後の電圧が水平方向に順次、差動増幅器（アンプ）１２２，１２７に印加される。
これにより、差動増幅器１２２，１２７からは、青の色差信号ＣＢ、赤の色差信号ＣＲが出力されることになる。
更に、端子７０，７１又は８０，８１の出力を、オペアンプ等により構成される加算器（不図示）により加算することで、輝度信号Ｙも得られる。また、平均化用トランジスタ１０８による平均化を行わず、全行の光検出素子での電荷をコンデンサ１０９に一時蓄積すれば、端子７１から奇数列の１画素毎の出力を得ることができる。同様に、偶数列の１画素毎の出力については、出力端子７０から得ることができる。
【０１０１】
（第４の実施の形態）
上述の第３の実施の形態では、ＣＭＯＳセンサ７１０の回路構成を上記図６に示したような構成としたが、本実施の形態では、例えば、図８に示すような構成とする。
尚、上記図８の回路構成において、上記図６の回路構成と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【０１０２】
ここでのＣＭＯＳセンサ７１０は、水平方向に隣接する２個の光検出素子の検出光量の平均値、又は水平方向に隣接する４個の光検出素子の検出光量の平均値を出力する出力系列を備えている。このような回路構成により、ＣＭＯＳセンサ７１０は、読み出し方法４、及び読み出し方法２３を実施することが可能となる。
【０１０３】
具体的には、上記図８において、まず、３０１は、コンデンサ１０９の蓄積電荷と、コンデンサ１０９'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、３０２は、コンデンサ１１０の蓄積電荷と、コンデンサ１１０'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
３０１'は、コンデンサ１０９"の蓄積電荷と、コンデンサ１０９"'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、３０２'は、コンデンサ１１０"の蓄積電荷と、コンデンサ１１０"'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
３０３は、コンデンサ１０９'の蓄積電荷と、コンデンサ１０９"の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、３０４は、コンデンサ１１０'の蓄積電荷と、コンデンサ１１０"の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
【０１０４】
尚、スイッチトランジスタ３０１，３０１'，３０３が連動すれば、これらは、コンデンサ１０９，１０９'，１０９"，１０９"'の蓄積電荷を平均化するようになされている。すなわち、例えば、スイッチトランジスタ３０１，３０１'をオンにした後で、又はオンにするときに、スイッチトランジスタ３０３をオンにすれば、これらは、コンデンサ１０９，１０９'，１０９"，１０９"'の蓄積電荷を平均化する。
また、スイッチトランジスタ３０２，３０２'，３０４が連動すれば、これらは、コンデンサ１１０，１１０'，１１０"，１１０"'の蓄積電荷を平均化するようになされている。すなわち、例えば、スイッチトランジスタ３０２，３０４'をオンにした後で、又はオンにするときに、スイッチ３０４をオンにすれば、これらは、コンデンサ１１０，１１０'，１１０"，１１０"'の蓄積電荷を平均化する。
【０１０５】
図９は、上記図８のＣＭＯＳセンサ７１０の動作タイミングを表すタイミングチャートである。以下、上記図８及び図９を用いて、ＣＭＯＳセンサ７１０の動作を説明する。
【０１０６】
先ず、タイミングＴ４０１において、端子２へ入力されている垂直走査回路１のスタートパルスと、端子３に入力されている垂直走査パルスとが各々ＨＩＧＨとなると、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。このとき、端子８へ入力されているリセットパルスはＨＩＧＨであり、これにより画素部の浮遊拡散領域がリセットされる。
次に、タイミングＴ４０２において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ４０３において、端子９への入力パルスがＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ４０４において、端子１０，５０への入力パルスが各々ＨＩＧＨとなると、第１行目の光検出素子で検出された光量に比例した電圧が、アンプ用トランジスタ１０４によって、コンデンサ１０９に対して読み出される。
次に、タイミングＴ４０５において、端子３へ入力されている垂直走査パルスがＬＯＷになる（立ち下がる）。
次に、タイミングＴ４０６において、端子３に入力されている垂直走査パルスが再びＨＩＧＨとなると（立ち上がると）、第２行目（Ｒ２）が選択される。
次に、タイミングＴ４０７において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ４０８において、上述のタイミングＴ４０３と同様に、端子９への入力パルスがＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ４０９においても、上述のタイミングＴ４０４と同様に、端子１０，５１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子で検出された光量に比例した電圧が、第２行目のアンプ用トランジスタ１０４によってコンデンサ１１０に対して読み出される。
次に、タイミングＴ４１０において、端子６０，６１，９０，９１への入力パルスが各々ＨＩＧＨとなると、ラインメモリ上で、コンデンサ１０９，１０９'，１０９"，１０９"'の蓄積電荷の平均化、及びコンデンサ１１０，１１０'，１１０"，１１０"'の蓄積電荷の平均化が行われる。
【０１０７】
そして、タイミングＴ４１１において、水平走査回路４が動作を開始し、平均化された後の電圧が水平方向に順次出力される。
【０１０８】
尚、ここでは、輝度信号Ｙの出力を目的としているため、上記図８の回路構成では、ＣＭＯＳセンサ７１０としての出力がなされる端子は、端子１６の１系統のみとしているが、例えば、上記図６に示した回路構成と同様に、ＣＭＯＳセンサ７１０としての出力がなされる端子（出力線）を複数設けるようにすることで、色差信号ＣＢ，ＣＲを得ることも可能となる。
【０１０９】
（第５の実施の形態）
上述の第３の実施の形態では、ＣＭＯＳセンサ７１０の回路構成を上記図６に示したような構成としたが、本実施の形態では、例えば、図１０に示すような構成とする。
尚、上記図１０の回路構成において、上記図６の回路構成と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【０１１０】
ここでのＣＭＯＳセンサ７１０は、垂直方向に隣接する２個の光検出素子の検出光量の平均値、又は垂直方向に隣接する４個の光検出素子の検出光量の平均値を出力する出力系列を備えている。このような回路構成により、ＣＭＯＳセンサ７１０は、読み出し方法２、及び読み出し方法２１を実施することが可能となる。
【０１１１】
具体的には、上記図１０において、まず、５０１，５０２，５０３，５０４は各々、トランジスタ１０４から供給される電流を、対応するコンデンサ５０８，５０９，５１０，５１１に供給する分配用トランジスタである。
５０８は、第１行目（Ｒ１）の光検出素子での電荷を蓄積するためのコンデンサであり、５０９は、第２行目（Ｒ２）の光検出素子での電荷を蓄積するためのコンデンサであり、５１０は、第３行目（Ｒ３）の光検出素子での電荷を蓄積するためのコンデンサであり、５１１は、第４行目（Ｒ４）の光検出素子での電荷を蓄積するためのコンデンサである。
５０５は、コンデンサ５０８の蓄積電荷と、コンデンサ５０９の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、５０６は、コンデンサ５０９の蓄積電荷と、コンデンサ５１０の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、５０７は、コンデンサ５１０の蓄積電荷と、コンデンサ５１１の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
【０１１２】
尚、スイッチ５０５，５０６，５０７が連動すれば、これらは、コンデンサ５０８，５０９，５１０，５１１の蓄積電荷を平均化するようになされている。すなわち、例えば、スイッチトランジスタ５０５，５０７をオンにした後で、又はオンにするときに、スイッチトランジスタ５０６をオンにすれば、これらは、コンデンサ５０８，５０９，５１０，５１１の蓄積電荷を平均化する。
【０１１３】
図１１は、上記図１０のＣＭＯＳセンサ７１０の動作タイミングを表すタイミングチャートである。以下、上記図１０及び図１１を用いて、ＣＭＯＳセンサ７１０の動作を説明する。
【０１１４】
先ず、タイミングＴ６０１において、端子２へ入力されている垂直走査回路１のスタートパルス、及び端子３へ入力されている垂直走査パルスが各々ＨＩＧＨとなると、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。このとき、端子８へ入力されているリセットパルスはＨＩＧＨであり、これにより画素部の浮遊拡散領域がリセットされる。
次に、タイミングＴ６０２において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ６０３において、端子９への入力パルスがＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ６０４において、端子１０，３０への入力パルスが各々ＨＩＧＨになると、第１行目の光検出素子で検出された光量に比例した電荷がコンデンサ５０８に蓄積される。
次に、タイミングＴ６０５において、端子３へ入力されている垂直走査パルスがＬＯＷとなる（立ち下がる）。
次に、タイミングＴ６０６において、端子３へ入力されている垂直走査パルスが再びＨＩＧＨとなると（立ち上がると）、第２行目（Ｒ２）が選択される。
次に、タイミングＴ６０７において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ６０８において、上述のタイミングＴ６０３と同様に、端子９への入力パルスがＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ６０９においても、上述のタイミングＴ６０４と同様に、端子１０，３１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子で検出された光量に比例した電荷が、コンデンサ５０９に蓄積される。
同様にして、タイミングＴ６１０において、端子１０，３２への入力パルスが各々ＨＩＧＨとなると、第３行目の光検出素子で検出された光量に比例した電荷が、コンデンサ５１０に蓄積される。
更に、タイミングＴ６１１において、端子１０，３３への入力パルスがＨＩＧＨとなると、第４行目の光検出素子で検出された光量に比例した電荷が、コンデンサ５１１に蓄積される。
そして、タイミングＴ６１２において、端子４０，４１への入力パルスがＨＩＧＨとなると、ラインメモリ上でコンデンサ５０８，５０９，５１０，５１１の蓄積電荷の平均化が行われる。
タイミングＴ６１３において、このタイミングから、水平走査回路４が動作を開始し、平均化された後の電圧が水平方向に順次出力される。したがって、出力端子７０からは、第１行〜第４行（Ｒ１，Ｒ２，Ｒ３，Ｒ４）までの光検出素子の検出光量の平均値に比例した電圧が、列方向に順次出力される。
【０１１５】
尚、上記図１０に示した回路構成において、スイッチトランジスタ５０６による平均化を行わないように構成するとこで、第１列（Ｃ１）と第２列（Ｃ２）の平均値を出力端子７０から得ることができ、第３列（Ｃ３）と第４列（Ｃ４）の平均値を出力端子７１から得ることができ、第１列（Ｃ１）と第２列（Ｃ２）の平均値と、第３列（Ｃ３）と第４列（Ｃ４）の平均値との差分を出力端子７２から得ることができる。
【０１１６】
また、上記図６〜図１１を用いて説明したＣＭＯＳセンサ７１０の動作において、画素の電荷（光信号）を読み出す前に、その拡散浮遊領域のリセット電圧を別のラインメモリに読み出すようにしてもよい。このリセット電圧と光信号出力の差分をとることで、トランジスタ１０４の閾値電圧のばらつきによる出力電圧のばらつきを除去することができる。したがって、各光検出素子で検出した光量による信号にばらつきによるノイズ成分が混入しない、Ｓ／Ｎの高い信号を得ることができる。
また、垂直及び水平走査を、１ブロック毎、又は複数ブロック毎に間引いて行うようにしてもよい。これにより、更に、圧縮した信号が得られる。
また、ＣＭＯＳセンサに限らず、別種の光電変換素子に本発明を適用することは可能であり、この場合も、上記の各実施の形態と同様な効果を得ることができる。
【０１１７】
（第６の実施の形態）
上述の各実施の形態では、画素ブロック単位の信号の読み出しを行う際、次に読み出す画素ブロックを、前に読み出しが行われた画素ブロックに対して密に隣接するようにしたが、本実施の形態では、次に読み出す画素ブロックを、前に読み出しが行われた画素ブロックに対して、例えば、１画素ずらすようにする（オーバーラップ読出）。
【０１１８】
例えば、図１２は、上記図１の撮像装置７００において、４画素ブロック単位で信号を読み出す場合の、本実施の形態における撮像部７１０の最も特徴とする回路構成の概要を示したものである。また、図１３は、該撮像部７１０の各部の動作タイミングを示す図である。
【０１１９】
上記図１２及び図１３に示すように、ここでの撮像部７１０では、先ず、垂直走査パルスＶ1 が与えられたタイミングでゲートパルスＳ1 が与えられると、画素Ｙ11信号（Ｙ12信号も同様）が読みだされ、メモリ用コンデンサＣ1 に保持される。また、垂直走査パルスＶ2 が与えられたタイミングでゲートパルスＳ2 が与えられると、画素Ｙ21信号（画素Ｙ22信号）が読みだされ、同じくメモリ用コンデンサＣ2 に保持される。
【０１２０】
次に、ゲートパルスＨ1 が与えられると、メモリ用コンデンサＣ1 に保持されていた画素Ｙ11信号及び画素Ｙ21信号が読みだされる。
また、画素Ｙ12信号及び画素Ｙ22信号も上述と同様に読みだされ、画素Ｙ11信号がメモリ用コンデンサＣ3 に保持され、画素Ｙ12信号がメモリ用コンデンサＣ4 に保持され、画素Ｙ21信号がメモリ用コンデンサＣ5 に保持され、画素Ｙ22信号がメモリ用コンデンサＣ6 に保持される。
【０１２１】
そして、時点ｔ1 においてゲートパルスＴ1 が与えられると、メモリ用コンデンサＣ3 〜Ｃ6 にそれぞれ保持されていた画素信号が同時に出力され、画素信号Ｙ11，Ｙ12，Ｙ21，Ｙ22が並列に出力される。
【０１２２】
次に、時点ｔ2 においてゲートパルスＴ2 が与えられると、１画素分だけ水平方向にずれた１ブロック分の画素信号Ｙ13，Ｙ12，Ｙ23，Ｙ22が並列に出力される。この場合、画素信号Ｙ12及び画素信号Ｙ22はメモリ用コンデンサＣ4 ，Ｃ6 にそれぞれ保持されていた画素信号が出力される。
【０１２３】
上述のように、本実施の形態では、次の画素ブロックＢ２の読み出しの際には、前の画素ブロックＢ１の読み出しにて、メモリ用コンデンサＣ4 ，Ｃ6 に保存した画素信号Ｙ12及びＹ22（各画素ブロックＢ１及びＢ２の重なりあった部分に存在する画素から得られる信号）を読み出すようにして、画素ブロックＢ１の次に読み出す画素ブロックＢ２を、画素ブロックＢ１に対して水平方向に１画素分だけ水平方向にずれたブロックとして、順次画素ブロック単位での信号の読み出しを行うようにする。
【０１２４】
このように構成することで、次のような効果を得ることができる。
まず、上述の各実施の形態では、図１４に示すように、次に読み出す画素ブロックＢ２’を、前に読み出しが行われた画素ブロックＢ１’に対して密に隣接するように構成したため、この読み出しにて得られる画素信号からは、撮像素子上の各画素に対して、水平方向又は垂直方向に１つ置きの輝度信号Ｙ及び色差信号ＣＢ，ＣＲが得られることになる。これに対して、本実施の形態では、図１５に示すように、次に読み出す画素ブロックＢ２を前の画素ブロック１に対するように構成したので、この読み出しにて得られる画素信号からは、撮像素子上の水平方向の各画素に対応した輝度信号Ｙ及び色差信号ＣＢ，ＣＲが得られることになる。したがって、水平方向の解像度を２倍に上げることができる。
また、保持用の４つのコンデンサＣ3 ，Ｃ4 ，Ｃ5 ，Ｃ6 のうちの２つのコンデンサ（上記図１２中の矢印参照）を、前回の読出画素を保持しておく保持手段として用いるようにして、該保持手段に保持しておいた画素信号を、次の読み出す画素ブロックの画素信号として出力するように構成したので、外部にメモリを設けることなく、１画素シフトした画素ブロック単位の出力を得ることができる。
さらに、撮像部７１０内部（同一素子上）で、１画素シフトした画素ブロック単位の出力を得るように構成しているため、この出力を高速に行うことができる。
【０１２５】
尚、ここでは、２×２の画素ブロックを読み出し単位としているため、保持用の４つのコンデンサのうちの２つのコンデンサを、前回の読出画素信号の保持手段として設けているが、例えば、４×４画素ブロックが読み出し単位であれば、該保持手段として１２個のコンデンサを設ければよい。すなわち、Ｎ×Ｎの画素ブロックの読み出し単位に対して、該保持手段をＮ×（Ｎ−１）個設けることで、上述した２×２の画素ブロック単位の読み出しと同様に、Ｎ×Ｎの画素ブロック単位の読み出しを水平方向に１画素シフトしながら行うことができる。
また、垂直方向についても、水平方向の場合と同様の構成により、１画素シフトしながら画素ブロック単位の信号の読み出しを行うようにすれば、垂直方向の解像度も上げることができる。
さらに、ノイズ除去機能を持たせるように構成すれば、より良好な画像信号を得ることができる。
【０１２６】
ここで、図１６及び図１８は、上述したような本実施の形態を、より具体化した撮像部７１０の回路構成の一例（［例１］、［例２］）を示したものであり、図１７及び図１９は、上記図１６及び図１８の回路での動作タイミングを示したものである。
以下、［例１］、［例２］での回路構成及びその動作について順次説明する。
【０１２７】
尚、上記図１６及び図１８は、上述した第３〜第５の実施の形態と同様に、撮像部７１０を所謂ＣＭＯＳセンサに適用した場合の回路構成を示したものである（以下、ここでも「撮像部７１０」を「ＣＭＯＳセンサ７１０」と言う）。このため、上記図１６及び図１８の各回路構成において、上記図６の回路構成と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【０１２８】
［例１］
上記図１６に示すＣＭＯＳセンサ７１０は、色差信号ＣＢを得るための垂直方向の画素信号の演算を実現できるものであり、第１列目、第２列目、第２列目、第３列目、第３列目、第４列目、・・・のように、１列毎の上記の演算が可能なように構成されている。
【０１２９】
そこで、ここでのＣＭＯＳセンサ７１０では、先ず、端子８へ入力されているリセットパルスは、ＨＩＧＨ状態となっている。この状態で、タイミングＴ７１１において、端子２へ入力されている垂直走査回路１のスタートパルス、及び端子３へ入力されている垂直走査回路１の走査パルスが各々ＨＩＧＨとなると、画素部の浮遊拡散領域がリセットされる。これにより、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。また、端子１１への入力パルスもＨＩＧＨ状態となっており、この状態で、端子３０及び３１への各入力パルスがＨＩＧＨとなると、ラインメモリとして機能するコンデンサ２２１，２２２，２２３，２２４（各ラインに設けた容量、上記図１２のコンデンサＣ3 ，Ｃ4 ，Ｃ5 ，Ｃ6 に相当、以下、「ラインメモリ」と言う）がリセットされる。
次に、タイミングＴ７１２において、端子８へ入力されているリセットパルスがＬＯＷとなると、これにより、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。また、ラインメモリも浮遊状態になる。
次に、タイミングＴ７１３において、端子９及び１１への入力パルスが各々ＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ７１４において、端子１０及び３０，５０への入力パルスが各々ＨＩＧＨとなると、タイミングＴ７１３で転送された第１行目の電荷が、ラインメモリに対して読み出される。
次に、タイミングＴ７１５において、端子３へ入力されている垂直走査パルスがＬＯＷ状態となると、第２行目（Ｒ２）が選択される。
次に、タイミングＴ７１６において、端子８へ入力されているリセットパルスがＬＯＷとなると、これにより、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。また、ラインメモリも浮遊状態になる。
次に、タイミングＴ７１７において、端子９及び１１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ７１８において、端子１０及び３０，５０への入力パルスが各々ＨＩＧＨとなると、タイミングＴ７１７で転送された第２行目の電荷が、他のラインメモリ（タイミングＴ７１４でのラインメモリとは別のラインメモリ）に対して読み出される。
次に、タイミングＴ７１９において、端子４０への入力パルスがＨＩＧＨとなると、ラインメモリ上で、第１行目及び第２行目の２行分の混合信号が生成される。
そして、タイミングＴ７２０において、このタイミングから、水平走査回路４が動作を開始し、ラインメモリの混合信号が順次読み出される。このとき、隣接した２列の混合信号が同時に２本の水平出力線を各々介して端子７０，７１から出力されると同時に、後段の差動回路（図示せず）で減算されるため、したがって、ＣＭＯＳセンサ７１０からは、色差信号が直接出力されることになる。また、上記２本の水平出力線の信号を、後段の加算器（図示せず）で加算すれば、輝度信号も得られることになる。
【０１３０】
［例２］
上記図１８に示すＣＭＯＳセンサ７１０は、色差信号ＣＲを得るための垂直方向の画素信号の演算を実現できるものであり、第１列目、第２列目、第２列目、第３列目、第３列目、第４列目、・・・のように、１列毎の上記の演算が可能なように構成されている。
【０１３１】
そこで、ここでのＣＭＯＳセンサ７１０では、先ず、端子８へ入力されているリセットパルスは、ＨＩＧＨ状態となっている。この状態で、タイミングＴ７３１において、端子２へ入力されている垂直走査回路１のスタートパルス、及び端子３へ入力されている垂直走査回路１の走査パルスが各々ＨＩＧＨとなると、画素部の浮遊拡散領域がリセットされる。これにより、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。また、端子１１への入力パルスもＨＩＧＨ状態となっており、この状態で、端子５０及び５１への各入力パルスがＨＩＧＨとなると、ラインメモリとして機能するコンデンサ２２５，２２６，２２７，２２８（各ラインに設けた容量、上記図１２のコンデンサＣ3 ，Ｃ4 ，Ｃ5 ，Ｃ6 に相当、以下、「ラインメモリ」と言う）がリセットされる。
次に、タイミングＴ７３２において、端子８へ入力されているリセットパルス、端子１１への入力パルス、端子５０への入力パルス、及び端子５１への入力パルスが各々ＬＯＷとなると、これにより、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になり、また、ラインメモリも浮遊状態になる。
次に、タイミングＴ７３３において、端子９及び１１への入力パルスが各々ＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ７３４において、端子１０及び５０への入力パルスが各々ＨＩＧＨとなると、タイミングＴ７３３で転送された第１行目の電荷が、ラインメモリに対して読み出される。
次に、タイミングＴ７３５において、端子３へ入力されている垂直走査パルスがＬＯＷ状態となると、第２行目（Ｒ２）が選択される。
次に、タイミングＴ７３６において、端子８へ入力されているリセットパルス、及び端子１１への入力パルスが各々ＬＯＷとなると、これにより、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になり、また、ラインメモリも浮遊状態になる。
次に、タイミングＴ７３７において、端子９及び１１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ７３８において、端子１０及び５１への入力パルスが各々ＨＩＧＨとなると、タイミングＴ７３７で転送された第２行目の電荷が、他のラインメモリ（タイミングＴ７３４でのラインメモリとは別のラインメモリ）に対して読み出される。
次に、タイミングＴ７３９において、端子６０及び６１への入力パルスが各々ＨＩＧＨとなると、ラインメモリ上で、第１行目及び第２行目の２行分の混合信号が生成される。
そして、タイミングＴ７４０において、このタイミングから、水平走査回路４が動作を開始し、ラインメモリの混合信号が順次読み出される。このとき、隣接した２列の混合信号が同時に２本の水平出力線を各々介して端子７０，７１から出力されると同時に、後段の差動回路（図示せず）で減算されるため、したがって、ＣＭＯＳセンサ７１０からは、色差信号が直接出力されることになる。また、上記２本の水平出力線の信号を、後段の加算器（図示せず）で加算すれば、輝度信号も得られることになる。
【０１３２】
尚、上述の［例１］及び［例２］では、垂直方向の画素信号の演算を実現する具体例を説明したが、水平方向の画素信号の演算についても同様な構成とすることで、第１行目、第２行目、第２行目、第３行目、第３行目、第４行目、・・・のように、１行毎の上記の演算も可能となる。
また、上記図１６の回路構成と、上記図１８の回路構成とを用いて、例えば、図２０に示すような回路を構成し、その動作タイミングを、図２１に示すようにすれば、色差信号ＣＢと色差信号ＣＲを同時に出力することができ、輝度信号をも同時に出力することができる。
【０１３３】
また、上記図１６〜図２１を用いて説明したＣＭＯＳセンサ７１０の動作において、画素の電荷（光信号）を読み出す前に、その拡散浮遊領域のリセット電圧を別のラインメモリに読み出すようにしてもよい。このリセット電圧と光信号出力の差分をとることで、トランジスタ１０４の閾値電圧のばらつきによる出力電圧のばらつきを除去することができる。したがって、各光検出素子で検出した光量による信号にばらつきによるノイズ成分が混入しない、Ｓ／Ｎの高い信号を得ることができる。
また、ＣＭＯＳセンサに限らず、別種の光電変換素子に本発明を適用することは可能であり、この場合も、上記の各実施の形態と同様な効果を得ることができる。
【０１３４】
（第７の実施の形態）
まず、一般的に、カラー画像信号を取り扱う画像信号処理システムでは、先ず、撮像素子から出力される原信号（画素信号）に所定の前処理を行って、疑似的な輝度信号Ｙ’、及び色差信号Ｕ’（ＣＲ）、Ｖ’（ＣＢ）を生成する。そして、該疑似輝度信号Ｙ’及び擬似色差信号Ｕ’（ＣＲ）、Ｖ’（ＣＢ）を用いて、色情報に対してホワイトバランス補正、γ補正、その他の色補正処理等を行って、輝度信号Ｙ、及び色差信号Ｕ，Ｖを生成する。これらの輝度信号Ｙ、及び色差信号Ｕ，Ｖが、圧縮処理や伸張処理等の画像処理、或いは、画面表示や記録媒体への記録に用いられる。
【０１３５】
そこで、本実施の形態では、本発明を、上述のようなカラー画像信号を取り扱う画像信号処理システムに適用する。
本発明を適用した画像信号処理システムは、例えば、図２２に示すように、撮像素子ＩＣチップ８１０及び圧縮処理装置８２０からなる送信側（撮像装置）と、伸張処理装置８３０、色処理装置８４０、及び表示／記録装置８５０からなる受信側（再生装置）との間でデータ通信するようになされている。
【０１３６】
このような画像信号処理システム８００の最も特徴とするところは、撮像素子ＩＣチップ８１０にある。
すなわち、撮像素子ＩＣチップ（以下、「撮像部」と言う）８１０は、上記図１の撮像装置７００と同様の機能を有するものであり、上記図１に示した色フィルタ７１１、撮像素子７１２、信号読出部７１３、及び輝度／色差前処理部７２０を備え、これらは同一撮像素子ＩＣチップ上に設けられている。
以下、画像信号処理システム８００の動作について説明する。
【０１３７】
先ず、送信側において、撮像部８１０では、被写体光が、上記図２〜図５に示したようなフィルタ配列から構成される色フィルタを介して、撮像素子（受光素子）７１２に入射される。
この撮像素子７１２で得られた画素信号（原信号）Ｙｅ，Ｃｙ，Ｍｇ，Ｇは、上述した第１〜第７の各実施の形態で説明したようにして、信号読出部７１３により読み出され、輝度／色差前処理部７２０により、該読出原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇから擬似輝度信号Ｙ’及び色差信号ＣＲ’（Ｕ’），ＣＢ’（Ｖ’）が生成される。
【０１３８】
圧縮処理装置８２０は、撮像部８１０で生成された擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’に対して、色情報に対するホワイトバランスやγ補正を行わない状態で、ＪＰＥＧ，ＭＰＥＧ、Ｈ．２６１、ベクトル量子化等の情報圧縮技術を用いた圧縮処理を行う。
具体的には例えば、先ず、所定の画素ブロック毎にＤＣＴ（Discrete Cosine Transform : 離散コサイン変換）を行う。次に、ＤＣＴした擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’を量子化することで、高周波成分を除去した圧縮データを得る。そして、その圧縮データを符号化する。ここでの符号化処理は、種々の方式を用いることが可能であるが、データの発生頻度に応じた符号長を割り当てる可変長符号化を用いることで圧縮率をさらに高めることが可能となる。
このようにして、圧縮処理装置８２０にて、圧縮及び符号化されたデータは、例えば、通信回線等の媒体を介して、受信側の伸張処理装置８３０に対して送信される。
【０１３９】
受信側において、情報伸張装置８３０は、送信側から送られてきたデータに対して、上述の圧縮処理装置８２０におけるＤＣＴ及び量子化処理の逆の処理を行うことで、擬似輝度信号Ｙ'及び擬似色差信号Ｕ'，Ｖ'を復元する。
【０１４０】
色処理装置８４０は、情報伸張装置８３０で得られた擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’に対して、ホワイトバランス補正やγ補正等の色処理のような、良好な画質を得るために必要な種々の補正を行うことで、輝度信号Ｙ及び色差信号Ｕ，Ｖを生成する。
【０１４１】
表示／記録装置８５０は、色処理装置８４０にて生成された輝度信号Ｙ及び色差信号Ｕ，Ｖを画面表示したり、記録媒体に記録したりする。
【０１４２】
上述のように、本実施の形態では、色フィルタ７１１を、上記図２〜図５に示したようなフィルタ配列で構成し、撮像素子７１２で得られた画素信号を、上述した第１〜第７の各実施の形態で説明したようにして読み出す構成とした。これにより、カラー画像信号を取り扱う画像処理システムにおいても、上述した第１〜第７の各実施の形態での効果を得ることができる。すなわち、水平方向及び垂直方向に高解像度なカラー画像信号を、高速に得ることができる。
【０１４３】
また、撮像素子７１２で得られた原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇから擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’を得るための輝度／色差前処理部７２０を、撮像素子７１２と同一チップ上に設けるように構成した。これにより、擬似輝度信号Ｙ’、及び擬似色差信号Ｕ’，Ｖ’を得るための演算処理を高速化することができる。したがって、後段の圧縮処理や伸張処理等の画像処理を効率的に行うことができる。
【０１４４】
そして、上述の構成により、処理が高速化した分を、圧縮処理や伸張処理等の画像処理の精度向上のためにあてることもでき、さらに高画質のカラー画像信号を得ることができる。
【０１４５】
また、撮像部８１０にて得られる擬似輝度信号Ｙ’、及び擬似色差信号Ｕ’，Ｖ’に対して、圧縮処理装置８２０にて圧縮及び符号化を行って、伸張処理装置８３０にて伸張した後に、色処理装置８４０にて高品位の画質を得るための、ホワイトバランス補正やγ補正等の色処理を行うように構成した。これにより、圧縮処理後の伸張処理に伴って発生するブロックノイズや高周波ノイズによる画質の劣化を最小限に抑えることもできる。したがって、表示／記録装置８５０により記録媒体に記憶したり、通信回線を介して伝送したりする際の情報量を大幅に削減できるとともに、画質の劣化を可及的に防止して高品位の画質を得ることもできる。
【０１４６】
尚、上述の第７の実施の形態では、圧縮処理装置８２０での圧縮処理として、ＤＣＴ及び可変長符号化を用いたが、これに限らず、例えば、コードブック圧縮技術（ベクトル量子化技術）を用いることもできる。
このコードブック圧縮技術を用いる場合、先ず、圧縮処理装置８２０は、撮像部８１０で得られた擬似輝度信号Ｙ’、及び擬似色差信号Ｕ’，Ｖ’と、予め記憶している複数のコードブック（パターン）と比較し、その中で最も似通ったパターンを見つけ出して、そのパターンに対応するコード番号を、受信側の伸張処理装置８３０に対して送信する。
伸張処理装置８３０は、圧縮処理装置８２０から送られてきたコード番号に対応するパターンを、予め記憶している複数のコードブック取り出すことにより、圧縮処理装置８２０側で圧縮された画像信号を再現する。
【０１４７】
また、上記の各実施の形態では、色フィルタ７１１として、イエロ（Ｙｅ）、マゼンタ（Ｍｇ）、シアン（Ｃｙ）、グリーン（Ｇ）の補色系４色の色フィルタが配列されてなる補色フィルタを用いるとしたが、これに限らず、輝度信号又は色差信号が得られるものであれば、他のフィルタを用いるようにしてもよい。
しかしながら、例えば、Ｒ，Ｇ，Ｂの３色の色フィルタから構成される原色フィルタを色フィルタ７１１として用いた場合と、上記の各実施の形態のように、４色の色フィルタから構成される補色フィルタを色フィルタ７１１として用いた場合とを比較すると、補色フィルタは、それを構成する各色フィルタが全て色成分を有するため、後者の補色フィルタを用いた場合のほうが、輝度偽信号が小さく、更に、入射光の利用率が少なく低感度になるという欠点を防ぐことができる。したがって、補色フィルタを用いたほうが、より高い効果を得ることができる。
【０１４８】
また、本発明の目的は、上述した各実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が各実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【０１４９】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【０１５０】
また、コンピュータが読みだしたプログラムコードを実行することにより、実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１５１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１５２】
【発明の効果】
以上説明したように本発明によれば、所定の画素ブロック単位で、該画素ブロックの画素信号を用いて輝度信号及び色差信号を得る際に、どの画素ブロックからも輝度信号及び色差信号を得るために必要な画素信号を得ることができるため、高解像度の輝度信号及び色差信号を得ることができる。これを、簡易カラー表示、オートフォーカス用検出信号、ホワイトバランスの調整、或いは画像圧縮処理等に用いることで、良好なカラー画像を提供することができる。
【０１５３】
具体的には、例えば、第１の色〜第４の色（シアンＣｙ，イエロＹｅ，マゼンダＭｇ，グリーンＧ等）の４種類の色のフィルタが、４行×４列の周期性を持って配列されてなる色フィルタアレイの場合、該４行×４列の周期単位の中で、
第１行目：第１の色、第２の色、第３の色、第４の色
第２行目：第３の色、第４の色、第１の色、第２の色
第３行目：第２の色、第１の色、第４の色、第３の色
第４行目：第４の色、第３の色、第２の色、第１の色
のように、行方向及び列方向共に、同じ色のフィルタが重複しないように、フィルタを配列する。
これにより、２行×２列の画素ブロック単位で、該画素ブロックの画素信号を用いて輝度信号及び色差信号を得る際に、どの画素ブロックからも第１の色〜第４の色の各画素信号が得られるため、すなわち輝度信号及び色差信号を得るための演算に必要な画素信号が得られるため、従来のように、ある行に対しては輝度信号及び色差信号を得るための演算を行うことができない、ということはない。
【０１５４】
また、前記色フィルタアレイを介した被写体光から得られた画素信号を、Ｎ行×Ｎ列の画素ブロック単位で読み出す際、次に読み出しを行う画素ブロックを、前回読み出しを行った画素ブロックに対して、水平方向又は垂直方向、或いは水平方向と共に垂直方向に、所定の画素分シフトした位置のブロックとして、該ブロックに対して読み出しを行うように構成すれば、解像度を更に上げることができる。
【０１５５】
具体的には例えば、２行×２列の画素ブロック単位での読み出しを行う場合、先ず、第１の画素ブロックの読み出しを行った結果、第１行、第１列の画素信号Ｙ11、第１行、第２列の画素信号Ｙ12、第２行、第１列の画素信号Ｙ21、及び第２行、第２列の画素信号Ｙ22が得られる。これらの画素信号のうち、次に読み出しを行う第２の画素ブロック（第１の画素ブロックに対して１画素分水平方向にシフトした位置のブロック）と重なりあう領域（第１行、第２列及び第２行、第２列）の画素信号Ｙ12，Ｙ21を保持しておく。そして、次の画素ブロックの読み出しに、上記重なりあう領域の画素信号として、該保持しておいた画素信号Ｙ12，Ｙ21を用いるようにする。
これにより、２行×２列の画素ブロック単位で、該画素ブロックの画素信号を用いて輝度信号及び色差信号を得る際に、水平方向の各画素に対応した輝度信号及び色差信号を得ることができる。したがって、この場合には、水平方向の解像度を２倍に上げることができる。
【０１５６】
また、例えば、２行×２列の画素ブロック単位で、第１行第１列の画素信号と第１行第２列の画素信号の加算信号と、第２行第１列の画素信号と第２行第２列の画素信号の加算信号との差を読み出し、第１行第１列の画素信号と第２行第１列の画素信号の加算信号と、第１行第２列の画素信号と第２行第２列の画素信号の加算信号との差を読み出すようなモード（読み出し１のモード）を利用すれば、水平方向、垂直方向共に解像度が高い色差信号を持ったカラー画像信号が得られる。
【０１５７】
また、本発明によれば、同一の色フィルタパターンを用いながらも、様々な読み出し方法があるので、簡易カラー表示、オートフォーカス、オートホワイトバランスに使用できる画像信号を高速に出力できるモードや高解像度の画像信号を出力するモードなどのマルチモードに対応できる。
【０１５８】
また、本発明では、撮像素子から上記の読み出しにより擬似輝度信用及び色差信号を得て、さらにホワイトバランスやγ補正等の色処理を行わない状態で圧縮を行って伸張後に上記色処理を行うため、高い効率で圧縮することができ、色処理後の画質劣化を防ぐことができる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した撮像装置の構成を示すブロック図である。
【図２】上記撮像装置で用いる色フィルタのフィルタ配列の一例を説明するための図である。
【図３】上記フィルタ配列の他の一例を説明するための図である。
【図４】第２の実施の形態において、上記撮像装置で用いる色フィルタのフィルタ配列の一例を説明するための図である。
【図５】上記フィルタ配列の他の一例を説明するための図である。
【図６】第３の実施の形態において、上記第１及び第２の実施の形態での画素信号の読み出し方法を実施する上記撮像装置の回路構成を説明するための図である。
【図７】上記回路構成での撮像装置の動作を説明するための図である。
【図８】第４の実施の形態において、上記第１及び第２の実施の形態での画素信号の読み出し方法１を実施する上記撮像装置の回路構成を説明するための図である。
【図９】上記回路構成での撮像装置の動作を説明するための図である。
【図１０】第５の実施の形態において、上記第１及び第２の実施の形態での画素信号の読み出し方法１を実施する上記撮像装置の回路構成を説明するための図である。
【図１１】上記回路構成での撮像装置の動作を説明するための図である。
【図１２】第６の実施の形態において、オーバーラップ読出を実施する上記撮像装置の回路構成を説明するための図である。
【図１３】上記回路構成での撮像装置の動作を説明するための図である。
【図１４】上記オーバーラップ読出を行わない場合の画素信号から得られる輝度信号及び色差信号を説明するための図である。
【図１５】上記オーバーラップ読出を行った場合の画素信号から得られる輝度信号及び色差信号を説明するための図である。
【図１６】上記撮像装置をより具体化した回路構成の一例（例１）を説明するための図である。
【図１７】上記回路構成での撮像装置の動作を説明するための図である。
【図１８】上記撮像装置をより具体化した回路構成の一例（例２）を説明するための図である。
【図１９】上記回路構成での撮像装置の動作を説明するための図である。
【図２０】上記例１及び例２の各回路構成の両機能を有する回路構成を説明するための図である。
【図２１】上記回路構成での撮像装置の動作を説明するための図である。
【図２２】第７の実施の形態において、本発明を適用した画像処理システムの構成を示すブロック図である。
【図２３】水平方向に２画素、垂直方向に４画素の周期性を持つ従来の色フィルタのフィルタ配列を説明するための図である。
【図２４】水平方向に２画素、垂直方向に８画素の周期性を持つ従来の色フィルタのフィルタ配列を説明するための図である。
【符号の説明】
１００ 光検出素子
１０１ 転送用トランジスタ
１０２ 拡散浮遊領域
１０３ リセット用トランジスタ
１０４ アンブ用トランジスタ
１０６，１０７，５０１，５０２，５０３，５０４ 分配用トランジスタ
１２１ スイッチ用トランジスタ
１０５ 放電用トランジスタ
１０８，１１５，１’。１６，３０１，３０２，３０３，３０４，５０５，
５０６，５０７ 平均化用トランジスタ
１０９，１１０，１１７，１１８ コンデンサ（ラインメモリ）
１２２，１２７ 差動アンブ
７００ 撮像装置
７１０ 撮像部
７１１ 色フィルタ
７１２ 撮像素子
７１３ 信号読出部
７２０ 輝度／色差前処理部
【発明の属する技術分野】
本発明は、色フィルタアレイを介して撮像素子に入射した被写体光から該被写体のカラー画像信号を生成するカラー撮像装置、及びそのカラー撮像装置から画像信号を読み出す画像信号読み出し方法、それを用いた画像処理装置、画像処理システム、及び該読み出し方法を実施するための処理ステップをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
従来より、撮像素子（固体撮像素子：ＣＣＤ等、以下、単に「撮像素子」と言う）よりカラー画像信号を生成するカラー撮像装置がある。このカラー撮像装置では、被写体光が色フィルタ（フィルタアレイ）を介して、撮像素子における複数のホトダイオード（以下、「画素」又は「光検出素子」とも言う）が配列されてなる受光面に入射されるようになされている。
色フィルタの種類としては、原色フィルタと補色フィルタがある。原色フィルタは、レッド（Ｒ）、グリーン（Ｇ）、及びブルー（Ｂ）の３原色の色フィルタが、受光面上の各画素に対応して、所定の順で配列された構成としている。補色フィルタも同様に、シアン（Ｃｙ）、イエロ（Ｙｅ）、マゼンタ（Ｍｇ）、グリーン（Ｇ）の補色系の４色の色フィルタが所定の順で配列された構成としている。
【０００３】
ここで、撮像素子に対して用いる色フィルタを、その一例として上記の補色フィルタとし、該撮像素子で得られる信号、及び該信号を用いての処理等について、以下説明する。
【０００４】
まず、補色フィルタにおいて、シアンの色フィルタは、可視光範囲において赤色光のみを遮断し、イエロの色フィルタは、可視光範囲において青色光のみを遮断するようになされている。また、マゼンタの色フィルタは、可視光範囲において緑色光のみを遮断し、グリーンの色フィルタは緑色光のみを透過するようになされている。
尚、これらの各色フィルタの配列については後述する。
【０００５】
したがって、このような補色フィルタを介した被写体光が入射される撮像素子では、シアンの色フィルタを介した光が入射される画素の受光量に対応した画素信号Ｃｙ、イエロの色フィルタを介した光が入射される画素の受光量に対応した画素信号Ｙｅ、マゼンタの色フィルタを介した光が入射される画素の受光量に対応した画素信号Ｍｇ、及びグリーンの色フィルタを介した光が入射される画素の受光量に対応した画素信号Ｇが得られる。
【０００６】
上述のようにして撮像素子で得られた画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇは、例えば、ディジタルスチルカメラにおけるアイリスやホワイトバランスの調整やオートフォーカス検出用の信号、或いは画像処理装置における圧縮処理や伸張処理等に用いられるが、輝度信号Ｙ及び色差信号ＣＢ，ＣＲのかたちで用いられる。
輝度信号Ｙ、及び色差信号ＣＢ，ＣＲは、画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇを持って、次の式（１）〜（３）により表される。
Ｙ＝Ｙｅ＋Ｇ＋Ｃｙ＋Ｍｇ ・・・（１）
ＣＢ＝（Ｇ＋Ｙｅ）一（Ｍｇ＋Ｃｙ） ・・・（２）
ＣＲ＝（Ｃｙ＋Ｇ）一（Ｙｅ＋Ｍｇ） ・・・（３）
【０００７】
そこで、図２３及び図２４は、撮像素子に対して用いられる補色フィルタでの色フィルタの配列パターンの一例を示したものである。
上記図２３に示すパターンの補色フィルタは、水平方向（図中Ｃ１，Ｃ２，Ｃ３，・・・の方向）に２画素、垂直方向（図中Ｌ１，Ｌ２，Ｌ３，・・・の方向）に４画素の周期性を持つように、色フィルタが配列されたものである。一方、上記図２４に示すパターンの補色フィルタは、水平方向に２画素、垂直方向に８画素の周期性を持つように、色フィルタが配列されたものである。
何れの補色フィルタを用いた場合でも、輝度信号Ｙは、水平方向に２画素、垂直方向に２画素の４（２×２）画素ブロック内の画素からの画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇ（上記図２３及び図２４中斜線部分参照）を用いた上記式（１）の演算を行うことにより得られる。色差信号ＣＢ，ＣＲについても同様に各々、２×２画素ブロック内の画素からの画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇを用いた上記式（２）、（３）の演算を行うことにより得られる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記図２３や図２４に示したような色フィルタを介して被写体光が入射される従来の撮像素子を、例えば、ディジタルスチルカメラに使用した場合、次のような問題があった。
【０００９】
（１）ディジタルスチルカメラでは、シャッターが押される前に、解像度を犠牲にして、撮像素子で得られる画素信号（ここでは、上述の画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇ）を高速に読み出し（高速読み出しモード）、その読出信号を基に、液晶ファインダで画面表示したり、アイリスの調整やホワイトバランスの調整等を行う。
【００１０】
しかしながら、上記図２４に示した色フィルタが撮像素子に対して用いられた場合には、高速読み出しモードで撮像素子の画素信号を読み出して、それを基にホワイトバランスの調整を行うことができるが、上記図２３に示した色フィルタが撮像素子に対して用いられた場合、垂直方向に１画素毎に間引いて画素信号を読み出すことで、解像度を犠牲にして、高速読み出しを行うと、画素信号Ｃｙと画素信号Ｙｅのみしか得られず、すなわちシアンとイエロの２色についての画素信号しか得られず、ホワイトバランスを調整することができなかった。
【００１１】
（２）最近ではＣＣＤ等の撮像素子において、信号読出方法を工夫して、素子内の受光面で被写体光を受光し、該受光面において垂直方向に隣接する２つの画素の画素信号を加算した後に、その加算信号を素子内の転送部に転送して出力するようになされているものもある。したがって、撮像素子から出力される信号は、２つの画素信号がペアを組んだ状態で出力される。
【００１２】
具体的には例えば、上記図２３に示した色フィルタが撮像素子に対して用いられた場合、先ず、行Ｌ１，Ｌ２について、（Ｃ１，Ｌ１）に位置する画素の画素信号Ｃｙと、（Ｃ１，Ｌ２）に位置する画素の画素信号Ｍｇとのペアが出力された後に、（Ｃ２，Ｌ１）に位置する画素の画素信号Ｙｅと、（Ｃ２，Ｌ２）に位置する画素の画素信号Ｇとのペアが出力される。以降同様にして順次出力がなされ、該行Ｌ１，Ｌ２についての出力が終了すると、次の行Ｌ３，Ｌ４について、（Ｃ１，Ｌ３）に位置する画素の画素信号Ｃｙと、（Ｃ１，Ｌ４）に位置する画素の画素信号Ｇとのペアが出力された後に、（Ｃ２，Ｌ３）に位置する画素の画素信号Ｙｅと、（Ｃ２，Ｌ４）に位置する画素の画素信号Ｍｇとのペアが出力される。以降同様にして順次出力がなされ、該行Ｌ３，Ｌ４についての出力が終了する。
すなわち、行Ｌ１，Ｌ２についての出力は、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
となり、次の行Ｌ３，Ｌ４についての出力は、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
となる。
【００１３】
しかしながら、上記の出力から輝度信号Ｙや色差信号ＣＢ，ＣＲを得るために、上記式（１）〜（３）の演算を行う際、色差信号ＣＢ，ＣＲを得るための上記式（２）及び式（３）については、演算が行えない出力が存在していた。
すなわち、上記式（２）は、（Ｇ＋Ｙｅ）と（Ｍｇ＋Ｃｙ）からなるが、行Ｌ３，Ｌ４についての出力は、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
であるため、これらの行についての上記式（２）の演算は行うことができない。また、上記式（３）は、（Ｃｙ＋Ｇ）と（Ｙｅ＋Ｍｇ）からなるが、行Ｌ１，Ｌ２についての出力は、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
であるため、これらの行についての上記式（３）の演算は行うことができない。このように、上記式（２）の演算は、行Ｌ１，Ｌ２についての出力に対しては行えるが、行Ｌ３，Ｌ４についての出力に対しては行うことができない。また、上記式（３）の演算は、行Ｌ３，Ｌ４についての出力に対しては行えるが、行Ｌ１，Ｌ２についての出力に対しては行うことができない。
したがって、各色の色差信号ＣＢ，ＣＲは、撮像素子から出力される４行分の画素信号から、１行分の画素信号に対してのものしか得ることができず、すなわち４行分の画素信号を使用して初めて輝度信号Ｙ及び色差信号ＣＢ，ＣＲが得られるため、その分、垂直方向の解像度が低下していた。
【００１４】
また、上記図２４に示した色フィルタが撮像素子に対して用いられた場合も同様に、先ず、行Ｌ１，Ｌ２について、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
の出力がなされ、次の行Ｌ３，Ｌ４について、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
の出力がなされ、次の行Ｌ５，Ｌ６について、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
の出力がなされ、次の行Ｌ７，Ｌ８について、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
の出力がなされる。
【００１５】
しかしながら、上記の出力から輝度信号Ｙや色差信号ＣＢ，ＣＲを得るために、上記式（１）〜（３）の演算を行う際、この場合も上述の上記図２３の色フィルタを用いた場合と同様に、色差信号ＣＢ，ＣＲを得るための上記式（２）及び式（３）については、演算が行えない出力が存在していた。
すなわち、上記式（２）は、（Ｇ＋Ｙｅ）と（Ｍｇ＋Ｃｙ）からなるが、行Ｌ５，Ｌ６及び行Ｌ７，Ｌ８についての出力は、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
であるため、これらの行についての上記式（２）の演算は行うことができない。また、上記式（３）は、（Ｃｙ＋Ｇ）と（Ｙｅ＋Ｍｇ）からなるが、行Ｌ１，Ｌ２及び行Ｌ３，Ｌ４についての出力は、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
であるため、これらの行についての上記式（３）の演算は行うことができない。
このように、上記式（２）の演算は、行Ｌ１〜Ｌ４についての出力に対しては行えるが、行Ｌ５〜Ｌ８についての出力に対しては行うことができない。また、上記式（３）の演算は、行Ｌ５〜Ｌ８についての出力に対しては行えるが、行Ｌ１〜Ｌ４についての出力に対しては行うことができない。
したがって、各色の色差信号ＣＢ，ＣＲは、撮像素子から出力される８行分の画素信号から、２行分の画素信号に対してのものしか得ることができず、その分、垂直方向の解像度が低下していた。
【００１６】
そこで、本発明は、上記の欠点を除去するために成されたもので、水平方向と垂直方向共に解像度が高い画像信号を得るカラー撮像装置、画像処理装置、及び画像処理システムを提供することを目的とする。
また、本発明は、水平方向と垂直方向共に解像度が高い画像信号を得ることが可能な画像信号読み出し方法、及び該読み出し方法を実施するための処理ステップをコンピュータに実行させるためのプログラムを記憶した記憶媒体を提供することを目的とする。
【００１７】
また、本発明は、高解像度のカラー画像信号を効率的に得るカラー撮像装置、画像処理装置、及び画像処理システムを提供することを目的とする。
また、本発明は、高解像度のカラー画像信号を効率的に得ることが可能な画像信号読み出し方法、及び該読み出し方法を実施するための処理ステップをコンピュータに実行させるためのプログラムを記憶した記憶媒体を提供することを目的とする。
【００１８】
また、本発明は、簡易カラー表示、オートフォーカス、及びオートホワイトバランス等に使用する際に、低解像度の画像信号を高速に出力できるモード、高解像度の画像信号を低速に出力できるモード等のマルチモードを備えるカラー撮像装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
斯かる目的下において、本発明に係るカラー撮像装置は、４色の色フィルタアレイを介して撮像素子に入射した入射光よりカラー画像信号を生成するカラー撮像装置であって、少なくとも行方向及び列方向の何れかの方向に所定画素分シフトしながら、Ｎ行×Ｎ列（Ｎ：整数）の画素ブロック単位で前記撮像素子から信号を読み出す読出手段と、前記読出手段で読み出された今回の読出画素ブロックの信号のうち、該読出画素ブロックに対して１画素シフトした次の読出画素ブロックと重なり合う領域の信号を保持する保持手段とを備え、前記読出手段は、次の画素ブロックの信号の読み出しに、前記保持手段に保持された信号を用い、前記色フィルタアレイは、４行×４列の周期性を持ち、４行×４列の周期単位の中で、第１行には、左から右の順又は右から左の順に第１の色フィルタ、第２の色フィルタ、第３の色フィルタ、第４の色フィルタが配列され、第２行には、左又は右から順に前記第３の色フィルタ、前記第４の色フィルタ、前記第１の色フィルタ、前記第２の色フィルタが配列され、第３行には、左又は右から順に前記第２の色フィルタ、前記第１の色フィルタ、前記第４の色フィルタ、前記第３の色フィルタが配列され、第４行には、左又は右から順に前記第４の色フィルタ、前記第３の色フィルタ、前記第２の色フィルタ、前記第１の色フィルタが配列され、前記第１行から前記第４行までは、上から下の順又は下から上の順に並んでおり、前記第１の色フィルタは、可視光範囲において緑色光のみを透過するフィルタであり、前記第２の色フィルタは、可視光範囲において青色光のみを遮断するフィルタであり、前記第３の色フィルタは、可視光範囲において赤色光のみを遮断するフィルタであり、前記第４の色フィルタは、可視光範囲において緑色光のみを遮断するフィルタであることを特徴とする。
【００２０】
また、本発明に係る画像信号読み出し方法は、前記カラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、２行×２列の領域の第１行第１列の信号と第１行第２列の信号との加算信号と、前記２行×２列の領域の第２行第１列の信号と第２行第２列の信号との加算信号との差を第１の色差信号として読み出すステップと、前記２行×２列の領域の第１行第１列の信号と第２行第１列の信号との加算信号と、前記２行×２列の領域の第１行第２列の信号と第２行第２列の信号との加算信号との差を第２の色差信号として読み出すステップとを含むことを特徴とする。
本発明に係る画像信号読み出し方法は、前記カラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、４行×１列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする。
本発明に係る画像信号読み出し方法は、前記カラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、４行×２列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする。
本発明に係る画像信号読み出し方法は、前記カラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、１行×４列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする。
本発明に係る画像信号読み出し方法は、前記カラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、２行×４列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする。
本発明に係る画像信号読み出し方法は、前記カラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、２行×２列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする。
【００２１】
また、本発明に係る画像処理装置は、カラー撮像素子により被写体を撮像し、該撮像素子の出力信号に対して所定の画像処理を行う画像処理装置であって、前記カラー撮像素子は、前記カラー撮像装置が有する機能を備えることを特徴とする。
【００２２】
また、本発明に係る画像処理システムは、カラー撮像素子を含む撮像装置と、該撮像装置の出力信号に対して所定の画像処理を行う画像処理装置とが少なくとも接続されてなる画像処理システムであって、前記撮像装置は、前記カラー撮像装置であることを特徴とする。
本発明に係る画像処理システムは、撮像素子を含み、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理を経ずに該撮像素子から出力される画像信号の情報量を圧縮して送信する撮像装置と、該圧縮された画像信号を受信して伸張した後で前記色処理を行うようになされた受信装置とが接続されてなる画像処理システムであって、前記撮像装置は、前記カラー撮像装置であることを特徴とする。
【００２３】
また、本発明に係るコンピュータ読み取り可能な記憶媒体は、前記画像信号読み出し方法のステップをコンピュータに実行させるためのプログラムを記憶したことを特徴とする。
【００５５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００５６】
（第１の実施の形態）
本発明は、例えば、図１に示すようなカラー撮像装置７００に適用される。
このカラー撮像装置（以下、単に「撮像装置」と言う）７００は、ディジタルスチルカメラ等に設けられており、入射される被写体光から得られた画素信号を出力する撮像部７１０と、撮像部７１０からの画素信号を用いて輝度信号Ｙ及び色差信号ＣＢ，ＣＲを生成する輝度／色差前処理部７２０とを備えている。
【００５７】
撮像部７１０は、色フィルタ７１１と、色フィルタ７１１を介して被写体光が入射される撮像素子７１２と、撮像素子７１２で得られた画素信号を読み出す信号読出部７１３とを含み、信号読出部７１３の出力が、輝度／色差前処理部７２０に供給される。
ここで、撮像部７１０において、詳細は後述するが、色フィルタ７１１としては、イエロー（Ｙｅ）、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、グリーン（Ｇ）の４色の補色フィルタを用いることとする。したがって、撮像素子７１２では、４色の補色系の画素信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇが得られ、これらの画素信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇが信号読出部７１３により読み出され輝度／色差前処理部７２０に供給されることになる。
【００５８】
輝度／色差前処理部７２０は、撮像部７１０からの画素信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇを用いて、輝度信号Ｙ及び色差信号ＣＢ，ＣＲを得る。これらの輝度信号Ｙ及び色差信号ＣＢ，ＣＲが、ディジタルスチルカメラ等における液晶ファインダでの低解像度での画面表示や、アイリスの調整、及びホワイトバランスの調整、オートフォーカス用検出信号等に用いられる。
【００５９】
そこで、上述のような撮像装置７００の最も特徴とするところは、撮像部７１０にある。以下、この撮像部７１０について具体的に説明する。
【００６０】
まず、色フィルタ７１１の構成について説明する。
図２は、上記図１の色フィルタ（補色フィルタ）７１１のフィルタ配列（パターン）を示したものである。
【００６１】
この図２に示すように、色フィルタ７１１は、水平方向に４画素、垂直方向に４画素の周期性を有するように、フィルタ配列がなされている。このようなフィルタ配列がなされた色フィルタ７１１において、第１行Ｌ１には、左から順にＧ１，Ｙｅ１，Ｃｙ２，Ｍｇ２の色フィルタが配列され、第２行Ｌ２には、左から順にＣｙ１，Ｍｇ１，Ｇ２，Ｙｅ２の色フィルタが配列され、第３行Ｌ３には、左から順にＹｅ３，Ｇ３，Ｍｇ４，Ｃｙ４の色フィルタが配列され、第４行Ｌ４には、左から順にＭｇ３，Ｃｙ３，Ｙｅ４，Ｇ４の色フィルタが配列されている。
【００６２】
上述のように、色フィルタ７１１では、水平方向に４画素、垂直方向に４画素の中で、どの行にも重複した色フィルタが無く、全ての色フィルタが異なり、また、どの列にも重複した色フィルタが無く、全ての色フィルタが異なるようなフィルタ配列としている。
尚、上記図２のフィルタ配列において、各色フィルタの配列は、左右又は上下が反転していても良い。
【００６３】
上述のようなフィルタ配列がなされた色フィルタ７１１を介した被写体光は、撮像素子７１２の受光面（図示せず）に入射され、撮像素子７１２では、光電変換により、該受光面上の各画素の受光量に対応した画素信号が得られる。信号読出部７１３は、撮像素子７１２で得られた画素信号を、後述する読み出し方法に従って読み出して、輝度／色差前処理部７２０に供給する。輝度／色差前処理部７２０は、信号読出部７１３からの様々なサイズや形状の領域の画素信号を用いて、輝度信号Ｙ、青の色差信号ＣＢ、及び赤の色差信号ＣＲを得る。
【００６４】
つぎに、信号読出部７１３での画素信号の読み出し方法、及び該読み出し方法に従って読み出された画素信号を用いての輝度／色差前処理部７２０での演算処理について説明する。
【００６５】
［読み出し方法１］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接する画素のペア（加算信号）から求める。例えば、
ＣＢ１＝ （Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
ＣＢ２＝−（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１）、（Ｙｅ１＋Ｍｇ１）、（Ｃｙ２＋Ｇ２）、
（Ｍｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝（Ｇ１＋Ｃｙ１）−（Ｙｅ１＋Ｍｇ１）
ＣＲ２＝（Ｃｙ２＋Ｇ２）−（Ｍｇ２＋Ｙｅ２）
なる演算により求める。
このような読み出し方法１によれば、従来のように、色差信号ＣＢ，ＣＲを得るための演算を行うことができない行が発生することはなく、色差信号ＣＢ，ＣＲは、水平方向と垂直方向共に、常に２つの画素信号に対して１個得られる。したがって、水平方向と垂直方向共に、高解像度となる。
【００６６】
［読み出し方法２］
この読み出し方法２から、後述する読み出し方法５までは、輝度信号Ｙを高解像度で出力することが可能な読み出し方法である。これらは、輝度信号Ｙのみを用いて演算することにより行うオートフォーカス等に用いて好適な方法である。
そこで、読み出し方法２では、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３）、
（Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３
Ｙ２＝Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３
なる演算により求める。
このような読み出し方法２によれば、輝度信号Ｙは、水平方向に１画素毎に１個得られるため、水平方向について高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターンなどの水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【００６７】
［読み出し方法３］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３）、
（Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝ （Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３）
＋（Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３）
なる演算により求める。
このような読み出し方法３によれば、輝度信号Ｙは、水平方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として用いるのに最適である。
【００６８】
［読み出し方法４］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１＋Ｃｙ２＋Ｍｇ２）、
（Ｃｙ１＋Ｍｇ１＋Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｙｅ１＋Ｃｙ２＋Ｍｇ２
Ｙ２＝Ｃｙ１＋Ｍｇ１＋Ｇ２＋Ｙｅ２
なる演算により求める。
このような読み出し方法４によれば、輝度信号Ｙは、垂直方向に１画素毎に１個得られるため、垂直方向に高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい横縞パターン等の水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【００６９】
［読み出し方法５］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１＋Ｃｙ２＋Ｍｇ２）、
（Ｃｙ１＋Ｍｇ１＋Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝ （Ｇ１＋Ｙｅ１＋Ｃｙ２＋Ｍｇ２）
＋（Ｃｙ１＋Ｍｇ１＋Ｇ２＋Ｙｅ２）
なる演算により求める。
このような読み出し方法５によれば、輝度信号Ｙは、垂直方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい横縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として最適である。
【００７０】
［読み出し方法６］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝ （Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
ＣＢ２＝−（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｙｅ３＋Ｍｇ３）、（Ｇ３＋Ｃｙ３）、（Ｍｇ４＋Ｙｅ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲｌ＝−（Ｙｅ３＋Ｍｇ３）＋（Ｇ３＋Ｃｙ３）
ＣＲ２＝−（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法６によれば、色差線順次の信号が得られる。また、この方法は、被写体が動画であるときに最適であり、また、高速で画像信号を出力することができる。これは、上述の読み出し方法１に対して、読み出し信号の数（読み出す色差信号の画素数）が半分であるからである。
【００７１】
［読み出し方法７］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝ （Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
ＣＢ２＝−（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｃｙ２＋Ｇ２）、（Ｍｇ２＋Ｙｅ２）、（Ｍｇ４＋Ｙｅ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝ （Ｃｙ２＋Ｇ２）−（Ｍｇ２＋Ｙｅ２）
ＣＲ２＝−（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法７も、上述の読み出し方法６と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。
【００７２】
［読み出し方法８］
色差信号ＣＢについては、上述の読み出し方法７と同様にして求める。
色差信号ＣＲについて、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１）、（Ｙｅ１＋Ｍｇ１）、（Ｙｅ３＋Ｍｇ３）、
（Ｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＲ１＝ （Ｇ１＋Ｃｙ１）−（Ｙｅ１＋Ｍｇ１）
ＣＲ２＝−（Ｙｅ３＋Ｍｇ３）＋（Ｇ３＋Ｃｙ３）
なる演算により求める。
このような読み出し方法８も、上述の読み出し方法６〜７と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。
【００７３】
［読み出し方法９］
色差信号ＣＢについては、上述の読み出し方法７と同様にして求める。
色差信号ＣＲについて、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１）、（Ｙｅ１＋Ｍｇ１）、（Ｃｙ２＋Ｇ２）、
（Ｍｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝（Ｇ１＋Ｃｙ１）−（Ｙｅ１＋Ｍｇ１）
ＣＲ２＝（Ｃｙ２＋Ｇ２）−（Ｍｇ２＋Ｙｅ２）
なる演算により求める。
このような読み出し方法９も、上述の読み出し方法６〜８と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。更に、色差信号ＣＢと色差信号ＣＲとを同一の領域の画素信号から求めることを特徴としている。
【００７４】
［読み出し方法１０〜１３］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｙｅ３＋Ｇ３）、
（Ｍｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝（Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
ＣＢ２＝（Ｙｅ３＋Ｇ３）−（Ｍｇ３＋Ｃｙ３）
なる演算により求める。
色差信号ＣＲについては、上述の読み出し６〜９と同様にして得る。
このような読み出し方法１０〜１３も、上述の読み出し方法６〜９と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。
【００７５】
［読み出し方法１４］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝（Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｍｇ４＋Ｙｅ４）、（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝−（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法１４も、上述の読み出し方法６〜１３と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。特に、この方法では、上述の読み出し方法１に対して、読み出す信号（色差信号に必要な読み出す画素数）が１／４になるため、さらに高速で画像信号を出力することができる。
【００７６】
［読み出し方法１５］
上述した読み出し方法１、６〜１４では、色差信号を生成するときの方法のみを説明したが、輝度信号については、次のような読み出し方法１５により生成することができる。
すなわち、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、
（Ｙｅ３＋Ｇ３）、（Ｍｇ３＋Ｃｙ３）、（Ｍｇ４＋Ｃｙ４）、
（Ｙｅ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、隣接するペアから求める。例えば、
Ｙ１＝（Ｇ１＋Ｙｅ１）＋（Ｃｙ１＋Ｍｇ１）
Ｙ２＝（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
Ｙ３＝（Ｙｅ３＋Ｇ３）＋（Ｍｇ３＋Ｃｙ３）
Ｙ４＝（Ｍｇ４＋Ｃｙ４）＋（Ｙｅ４＋Ｇ４）
なる演算により求める。
このような読み出し方法１５によれば、輝度信号を、水平及び垂直方向共に２画素単位で得ることができる。
【００７７】
［読み出し方法１６］
上述した読み出し方法１、６〜１４では、色差信号を生成するときの方法のみを説明したが、輝度信号については、次のような読み出し方法１６により生成することができる。
すなわち、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１）、（Ｙｅ１＋Ｍｇ１）、（Ｃｙ２＋Ｇ２）、
（Ｍｇ２＋Ｙｅ２）、
（Ｙｅ３＋Ｍｇ３）、（Ｇ３＋Ｃｙ３）、（Ｍｇ４＋Ｙｅ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、隣接するペアから求める。例えば、
Ｙ１＝（Ｇ１＋Ｃｙ１）＋（Ｙｅ１＋Ｍｇ１）
Ｙ２＝（Ｃｙ２＋Ｇ２）＋（Ｍｇ２＋Ｙｅ２）
Ｙ３＝（Ｙｅ３＋Ｍｇ３）＋（Ｇ３＋Ｃｙ３）
Ｙ４＝（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法１６によれば、輝度信号を、水平及び垂直方向共に２画素単位で得ることができる。
【００７８】
尚、上述の本実施の形態では、撮像素子７１２に対して用いる色フィルタ７１１のフィルタ配列を、上記図２に示したようなものとしたが、例えば、図３に示すように、上記図２でのフィルタ配列において、第３行Ｌ３と第４行Ｌ４とを入れ替えたものとしても、上述した読み出し方法１〜１６を適用することができる。
【００７９】
また、上述した読み出し方法１〜１６では、４×４又は２×２画素ブロック単位で信号を読み出すようにしたが、これに限られるものではない。また、読み出す画素ブロックは、必ずしも前に読み出しが行われた画素ブロックに対して密に隣接している必要はなく、これらの画素ブロック同士は、例えば、所定のブロック単位の間隔を隔てていても良い。こうすることにより、更に読み出す信号の画素数（色差信号の画素信号の数）を減らして、さらなる高速化を図ることができる。
例えば、低解像度で高速な出力を行う際には、水平方向Ｃ１，Ｃ２，・・・，Ｃ８、垂直方向Ｌ１，Ｌ２，・・・，Ｌ８の８×８画素ブロック内で、
(C1,L1),(C1,L2),(C2,L1),(C2,L2) から色差信号ＣＲ１を、
(C3,L3),(C3,L4),(C4,L3),(C4,L4) から色差信号ＣＢ１を、
(C5,L5),(C5,L6),(C6,L5),(C6,L6) から色差信号ＣＲ２を、
(C7,L7),(C7,L8),(C8,L7),(C8,L8) から色差信号ＣＢ２を、
求める、というようにしてもよい。
【００８０】
（第２の実施の形態）
本実施の形態では、上記図１に示した撮像装置７００において、色フィルタ７１１のフィルタ配列を、例えば、図４に示すようなものとする。
【００８１】
上記図４に示すように、ここでの色フィルタ７１１は、水平方向に４画素、垂直方向に４画素の周期性を持つように、フィルタ配列がなされている。このようなフィルタ配列がなされた色フィルタ７１１において、第１行Ｌ１には、左から順にＧ１，Ｙｅ１，Ｍｇ２，Ｃｙ２の色フィルタが配列され、第２行Ｌ２には、第１行Ｌ１に対して左に２列ずれたかたちで、左から順にＭｇ１，Ｃｙ１，Ｇ２，Ｙｅ２の色フィルタが配列され、第３行Ｌ３には、第１行Ｌ１に対して左に３列ずれてかたちで、左から順にＣｙ３，Ｇ３，Ｙｅ４、Ｍｇ４の色フィルタが配列され、第４行Ｌ４には、第１行Ｌ１に対して左に１列ずれたかたちで、左から順にＹｅ３，Ｍｇ３，Ｃｙ４，Ｇ４の色フィルタが配列されている。
【００８２】
上述のように、色フィルタ７１１では、水平方向に４画素、垂直方向に４画素の中で、どの行にも重複した色フィルタが無く、全ての色フィルタが異なり、また、どの列にも重複した色フィルタが無く、全ての色フィルタが異なるようなフィルタ配列としている。
尚、上記図４のフィルタ配列において、各色フィルタの配列は、左右又は上下が反転していても良い。
【００８３】
上述のようなフィルタ配列がなされた色フィルタ７１１を介した被写体光は、第１の実施の形態と同様にして、撮像素子７１２の受光面に入射され、撮像素子７１２では、光電変換により、該受光面上の各画素の受光量に対応した画素信号が得られる。信号読出部７１３は、撮像素子７１２で得られた画素信号を、後述する読み出し方法に従って読み出して、輝度／色差前処理部７２０に供給する。輝度／色差前処理部７２０は、信号読出部７１３からの様々な形状の領域の画素信号を用いて、輝度信号Ｙ、青の色差信号ＣＢ、及び赤の色差信号ＣＲを得る。
【００８４】
そこで、本実施の形態での、信号読出部７１３での画素信号の読み出し方法、及び該読み出し方法に従って読み出された画素信号を用いての輝度／色差前処理部７２０での演算処理について、以下説明する。
尚、本実施の形態における撮像装置７００の全体動作については、第１の実施の形態での動作と同様であるため、ここでは説明の簡単のために省略し、第１の実施の形態とことなる構成についてのみ、具体的に説明するものとする。
【００８５】
［読み出し方法２１］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３）、
（Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３
Ｙ２＝Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３
なる演算により求める。
このような読み出し方法２１によれば、輝度信号Ｙは、水平方向に１画素毎に１個得られるため、水平方向に高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターン等の水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【００８６】
［読み出し方法２２］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３）、
（Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝ （Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３）
＋（Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３）
なる演算により求める。
このような読み出し方法２２によれば、輝度信号Ｙは、水平方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として用いるのに最適である。
【００８７】
［読み出し方法２３］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１＋Ｍｇ２＋Ｃｙ２）、
（Ｍｇ１＋Ｃｙ１＋Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｙｅ１＋Ｍｇ２＋Ｃｙ２
Ｙ２＝Ｍｇ１＋Ｃｙ１＋Ｇ２＋Ｙｅ２
なる演算により求める。
このような読み出し方法２３によれば、輝度信号Ｙは、垂直方向に１画素毎に１個得られるため、垂直方向に高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい横縞パターン等の水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【００８８】
［読み出し方法２４］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１＋Ｍｇ２＋Ｃｙ２）、
（Ｍｇ１＋Ｃｙ１＋Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝ （Ｇ１＋Ｙｅ１＋Ｍｇ２＋Ｃｙ２）
＋（Ｍｇ１＋Ｃｙ１＋Ｇ２＋Ｙｅ２）
なる演算により求める。
このような読み出し方法２４によれば、輝度信号Ｙは、垂直方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい横縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として用いるのに最適である。
【００８９】
［読み出し方法２５］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｍｇ１＋Ｃｙ１）、（Ｍｇ２＋Ｃｙ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝ （Ｇ１＋Ｙｅ１）−（Ｍｇ１＋Ｃｙｌ）
ＣＢ２＝−（Ｍｇ２＋Ｃｙ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｃｙ３＋Ｇ３）、（Ｙｅ３＋Ｍｇ３）、（Ｙｅ４、Ｍｇ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝ （Ｃｙ３＋Ｇ３）−（Ｙｅ３＋Ｍｇ３）
ＣＲ２＝−（Ｙｅ４＋Ｍｇ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法２５によれば、色差線順次の信号が得られる。また、この方法は、全画素を基にする場合と比べて、読み出す信号数（色差信号に必要な読み出す画素数）が半分になるため、被写体が動画であるときに最適であり、また、高速で画像信号を出力することができる。
【００９０】
［読み出し方法２６］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｍｇ１＋Ｃｙ１）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢｌ＝（Ｇ１＋Ｙｅ１）−（Ｍｇ１＋Ｃｙ１）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｙｅ４＋Ｍｇ４）、（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝（Ｙｅ４＋Ｍｇ４）−（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法２６も、上述の読み出し方法２５と同様に、被写体が動画であるときに最適であり、また、高速で画像信号を出力することができる。特に、全画素を基にする場合に比べて、読み出す信号数が１／４になるため、さらに高速で画像信号を出力する。
【００９１】
［読み出し方法２７］
上述した読み出し方法２５、２６では、色差信号を生成するときの方法のみを説明したが、輝度信号については、次のような読み出し方法２７により生成することができる。
すなわち、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｍｇ１＋Ｃｙ１）、（Ｍｇ２＋Ｃｙ２）、
（Ｇ２＋Ｙｅ２）、
（Ｃｙ３＋Ｇ３）、（Ｙｅ３＋Ｍｇ３）、（Ｙｅ４＋Ｍｇ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、隣接するペアから求める。例えば、
Ｙ１＝（Ｃ１＋Ｙｅ１）＋（Ｍｇ１＋Ｃｙ１）
Ｙ２＝（Ｍｇ２＋Ｃｙ２）＋（Ｇ２＋Ｙｅ２）
Ｙ３＝（Ｃｙ３＋Ｇ３）＋（Ｙｅ３＋Ｍｇ３）
Ｙ４＝（Ｙｅ４＋Ｍｇ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法２７によれば、輝度信号を、水平及び垂直方向共に２画素単位で得ることができる。
【００９２】
［読み出し方法２８］
上述した読み出し方法２５、２６では、色差信号を生成するときの方法のみを説明したが、輝度信号については、次のような読み出し方法２８により生成することができる。
すなわち、 信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｍｇ１）、（Ｙｅ１＋Ｃｙ１）、（Ｍｇ２＋Ｇ２）、
（Ｃｙ２＋Ｙｅ２）、
（Ｃｙ３＋Ｙｅ３）、（Ｇ３＋Ｍｇ３）、（Ｙｅ４＋Ｃｙ４）、
（Ｍｇ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、隣接するペアから求める。例えば、
Ｙ１＝（Ｇ１＋Ｍｇ１）＋（Ｙｅ１＋Ｃｙ１）
Ｙ２＝（Ｍｇ２＋Ｇ２）＋（Ｃｙ２＋Ｙｅ２）
Ｙ３＝（Ｃｙ３＋Ｙｅ３）＋（Ｇ３＋Ｍｇ３）
Ｙ４＝（Ｙｅ４＋Ｃｙ４）＋（Ｍｇ４＋Ｇ４）
なる演算により求める。
このような読み出し方法２８によれば、輝度信号を、水平及び垂直方向共に２画素単位で得ることができる。
【００９３】
尚、上述の本実施の形態では、撮像素子７１２に対して用いる色フィルタ７１１のフィルタ配列を、上記図４に示したようなものとしたが、例えば、図５に示すように、上記図４でのフィルタ配列において、第３行Ｌ３と第４行Ｌ４とを入れ替えたものとしても、上述した読み出し方法２１〜２８を適用することができる。
【００９４】
また、上述した読み出し方法２１〜２６では、４×４画素ブロック単位で信号を読み出すようにしたが、これに限られるものではない。また、読み出す画素ブロックは、必ずしも前に読み出しが行われた画素ブロックに対して密に隣接している必要はなく、これらの画素ブロック同士は、例えば、所定のブロック単位の間隔を隔てていても良い。こうすることにより、更に読み出す信号の画素数（色差信号の画素信号の数）を減らして、さらなる高速化を図ることができる。
【００９５】
（第３の実施の形態）
本実施の形態では、上記図１の撮像装置７００において、例えば、撮像部７１０を所謂ＣＭＯＳセンサに適用する。この場合、該撮像部７１０の回路構成を、以下に説明するような構成とすることで、上述した第１及び第２の実施の形態での読み出し方法１〜２８が実現できる。
【００９６】
図６は、ここでの撮像部７１０（以下、「ＣＭＯＳセンサ７１０」と言う）の回路構成を示したものである。
このＣＭＯＳセンサ７１０は、垂直方向に隣接する２個の画素（光検出素子）の受光量（検出光量）の平均値と、その隣の列で垂直方向に隣接する２個の光検出素子の検出光量の平均値との差分を出力する第１の出力系列と、水平方向に隣接する２つの光検出素子の検出光量の平均値と、その隣の行の水平方向に隣接する２つの光検出器の検出光量の平均値の差分を出力する第２の出力系列とを備える。このような回路構成により、ＣＭＯＳセンサ７１０は、読み出し方法１を実施することが可能となる。
【００９７】
具体的には、上記図６において、まず、１は、垂直方向に順次アクティブになる信号であって、各行のコントロール信号をイネーブルさせるためのイネーブル信号を発生する垂直走査回路である。１００は、入射されてきた光を電荷に変換する光検出素子としてのフォトダイオードであり、１０１は、光検出素子１００で発生した電荷を浮遊拡散領域１０２に転送する転送用トランジスタである。浮遊拡散領域１０２は、光検出素子１００で発生した電荷を一時的の蓄積するものである。
１０３は、アンプ用トランジスタ１０４のゲートに蓄積された電荷を放電するリセット用トランジスタ１０３であり、１２１は、スイッチ用トランジスタ、１１２は、端子７より印加される電圧で決定される定電流源用トランジスタである。
１０５は、コンデンサ１０９，１１０，１１７，１１８の電荷を放電するためのトランジスタであり、１０６は、アンプ用トランジスタ１０４のソースと、コンデンサ１０９とを繋ぐ分配用トランジスタである。１０７は、アンプ用トランジスタ１０４のソースと、コンデンサ１１０とを繋ぐ分配用トランジスタである。
コンデンサ１０９，１１０は、アンプ用トランジスタ１０４からの供給電圧により充電されるラインメモリとして機能するコンデンサである。
１０８は、コンデンサ１０９の蓄積電荷と、コンデンサ１１０の蓄積電荷との平均化をコントロールするための平均化用トランジスタである。１１１は、ラインメモリとして機能するコンデンサ１０９の電圧を、差動増幅器１２２の前段のバッファ１２３に印加させるためのスイッチトランジスタである。
１２２は、コンデンサ１０９の電圧と、コンデンサ１０９'の電圧との差分を増幅する差動増幅器である。
１１３は、アンプ用トランジスタ１０４のソースと、コンデンサ１１７とを接続するスイッチトランジスタであり、１１４は、アンプ用トランジスタ１０４のソースと、コンデンサ１１８とを接続するスイッチトランジスタである。
１１７，１１８は、アンプ用トランジスタ１０４のソースから供給される電流により充電されるラインメモリとしてのコンデンサである。１１５は、コンデンサ１１７の蓄積電荷と、コンデンサ１１７'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
１１６は、コンデンサ１１８の蓄積電荷と、コンデンサ１１８'の蓄積電荷との平均化をコントロールするためのスイッチコンデンサであり、１１９は、ラインメモリとしてのコンデンサ１１７の電圧を差動増幅器１２７の前段のバッファ１２８に印加させるためのスイッチトランジスタである。
１２７は、コンデンサ１１７の電圧と、コンデンサ１１８'の電圧との差分を増幅する差動増幅器である。
上述の低電流源用トランジスタ１１２は、行単位に活性化され、アンプ用トランジスタ１０４と対でアンプを構成する。
【００９８】
図７は、上記図６のＣＭＯＳセンサ７１０の動作タイミングを表すタイミングチャートである。以下、上記図６及び図７を用いて、ＣＭＯＳセンサ７１０の動作を説明する。
【００９９】
先ず、タイミングＴ２０１において、端子１１への入力パルスは、ＨＩＧＨ状態となっている。この状態で、端子３０，３１，５０，５１への入力パルスが、ＨＩＧＨとなると、ラインメモリとしてのコンデンサ１０９，１１０，１１７，１１８は、全て初期電位にリセットされる。また、端子２から入力される垂直走査回路１のスタートパルス、端子３から入力される走査パルスが、ＨＩＧＨとなると、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。また、端子８には、ＨＩＧＨのパルスが入力されており、これにより、画素部の浮遊拡散領域がリセットされる。
次に、タイミングＴ２０２において、端子８に入力されているリセットパルスがＬＯＷ状態となる（立ち下がる）。これにより、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ２０３において、端子９への入力パルスがＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ２０４において、端子１０，３０，５０への入力パルスがＨＩＧＨとなると、第１行目の光検出素子で検出された光量に比例した電圧が、アンプ用トランジスタ１０４により、コンデンサ１０９，１１７に対して読み出される。
次に、タイミングＴ２０５において、端子３へ入力されている垂直走査パルスがＬＯＷ状態となる（立ち下がる）。
次に、タイミングＴ２０６において、端子３へ入力されている垂直パルスが再びＨＩＧＨとなると（立ち上がると）、第２行目（Ｒ２）が選択される。
次に、タイミングＴ２０７において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がり）、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ２０８においては、上述のタイミングＴ２０３と同様に、端子９への入力パルスがＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ２０９においても、上述のタイミングＴ２０４と同様に、端子１０，３１，５１への入力パルスがＨＩＧＨとなると、第２行目の光検出素子で検出された光量に比例した電圧が、第２行目のアンプ用トランジスタ１０４により、コンデンサ１１０，１１８に対して読み出される。
次に、タイミングＴ２１０において、端子４０，６０，６１への入力パルスがＨＩＧＨパルスとなると、ラインメモリとしてのコンデンサ１１７上で、蓄積電荷の平均化が行われる。
【０１００】
そして、タイミングＴ２１１において、このタイミングから、水平走査回路４が動作を開始し、平均化された後の電圧が水平方向に順次、差動増幅器（アンプ）１２２，１２７に印加される。
これにより、差動増幅器１２２，１２７からは、青の色差信号ＣＢ、赤の色差信号ＣＲが出力されることになる。
更に、端子７０，７１又は８０，８１の出力を、オペアンプ等により構成される加算器（不図示）により加算することで、輝度信号Ｙも得られる。また、平均化用トランジスタ１０８による平均化を行わず、全行の光検出素子での電荷をコンデンサ１０９に一時蓄積すれば、端子７１から奇数列の１画素毎の出力を得ることができる。同様に、偶数列の１画素毎の出力については、出力端子７０から得ることができる。
【０１０１】
（第４の実施の形態）
上述の第３の実施の形態では、ＣＭＯＳセンサ７１０の回路構成を上記図６に示したような構成としたが、本実施の形態では、例えば、図８に示すような構成とする。
尚、上記図８の回路構成において、上記図６の回路構成と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【０１０２】
ここでのＣＭＯＳセンサ７１０は、水平方向に隣接する２個の光検出素子の検出光量の平均値、又は水平方向に隣接する４個の光検出素子の検出光量の平均値を出力する出力系列を備えている。このような回路構成により、ＣＭＯＳセンサ７１０は、読み出し方法４、及び読み出し方法２３を実施することが可能となる。
【０１０３】
具体的には、上記図８において、まず、３０１は、コンデンサ１０９の蓄積電荷と、コンデンサ１０９'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、３０２は、コンデンサ１１０の蓄積電荷と、コンデンサ１１０'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
３０１'は、コンデンサ１０９"の蓄積電荷と、コンデンサ１０９"'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、３０２'は、コンデンサ１１０"の蓄積電荷と、コンデンサ１１０"'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
３０３は、コンデンサ１０９'の蓄積電荷と、コンデンサ１０９"の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、３０４は、コンデンサ１１０'の蓄積電荷と、コンデンサ１１０"の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
【０１０４】
尚、スイッチトランジスタ３０１，３０１'，３０３が連動すれば、これらは、コンデンサ１０９，１０９'，１０９"，１０９"'の蓄積電荷を平均化するようになされている。すなわち、例えば、スイッチトランジスタ３０１，３０１'をオンにした後で、又はオンにするときに、スイッチトランジスタ３０３をオンにすれば、これらは、コンデンサ１０９，１０９'，１０９"，１０９"'の蓄積電荷を平均化する。
また、スイッチトランジスタ３０２，３０２'，３０４が連動すれば、これらは、コンデンサ１１０，１１０'，１１０"，１１０"'の蓄積電荷を平均化するようになされている。すなわち、例えば、スイッチトランジスタ３０２，３０４'をオンにした後で、又はオンにするときに、スイッチ３０４をオンにすれば、これらは、コンデンサ１１０，１１０'，１１０"，１１０"'の蓄積電荷を平均化する。
【０１０５】
図９は、上記図８のＣＭＯＳセンサ７１０の動作タイミングを表すタイミングチャートである。以下、上記図８及び図９を用いて、ＣＭＯＳセンサ７１０の動作を説明する。
【０１０６】
先ず、タイミングＴ４０１において、端子２へ入力されている垂直走査回路１のスタートパルスと、端子３に入力されている垂直走査パルスとが各々ＨＩＧＨとなると、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。このとき、端子８へ入力されているリセットパルスはＨＩＧＨであり、これにより画素部の浮遊拡散領域がリセットされる。
次に、タイミングＴ４０２において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ４０３において、端子９への入力パルスがＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ４０４において、端子１０，５０への入力パルスが各々ＨＩＧＨとなると、第１行目の光検出素子で検出された光量に比例した電圧が、アンプ用トランジスタ１０４によって、コンデンサ１０９に対して読み出される。
次に、タイミングＴ４０５において、端子３へ入力されている垂直走査パルスがＬＯＷになる（立ち下がる）。
次に、タイミングＴ４０６において、端子３に入力されている垂直走査パルスが再びＨＩＧＨとなると（立ち上がると）、第２行目（Ｒ２）が選択される。
次に、タイミングＴ４０７において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ４０８において、上述のタイミングＴ４０３と同様に、端子９への入力パルスがＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ４０９においても、上述のタイミングＴ４０４と同様に、端子１０，５１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子で検出された光量に比例した電圧が、第２行目のアンプ用トランジスタ１０４によってコンデンサ１１０に対して読み出される。
次に、タイミングＴ４１０において、端子６０，６１，９０，９１への入力パルスが各々ＨＩＧＨとなると、ラインメモリ上で、コンデンサ１０９，１０９'，１０９"，１０９"'の蓄積電荷の平均化、及びコンデンサ１１０，１１０'，１１０"，１１０"'の蓄積電荷の平均化が行われる。
【０１０７】
そして、タイミングＴ４１１において、水平走査回路４が動作を開始し、平均化された後の電圧が水平方向に順次出力される。
【０１０８】
尚、ここでは、輝度信号Ｙの出力を目的としているため、上記図８の回路構成では、ＣＭＯＳセンサ７１０としての出力がなされる端子は、端子１６の１系統のみとしているが、例えば、上記図６に示した回路構成と同様に、ＣＭＯＳセンサ７１０としての出力がなされる端子（出力線）を複数設けるようにすることで、色差信号ＣＢ，ＣＲを得ることも可能となる。
【０１０９】
（第５の実施の形態）
上述の第３の実施の形態では、ＣＭＯＳセンサ７１０の回路構成を上記図６に示したような構成としたが、本実施の形態では、例えば、図１０に示すような構成とする。
尚、上記図１０の回路構成において、上記図６の回路構成と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【０１１０】
ここでのＣＭＯＳセンサ７１０は、垂直方向に隣接する２個の光検出素子の検出光量の平均値、又は垂直方向に隣接する４個の光検出素子の検出光量の平均値を出力する出力系列を備えている。このような回路構成により、ＣＭＯＳセンサ７１０は、読み出し方法２、及び読み出し方法２１を実施することが可能となる。
【０１１１】
具体的には、上記図１０において、まず、５０１，５０２，５０３，５０４は各々、トランジスタ１０４から供給される電流を、対応するコンデンサ５０８，５０９，５１０，５１１に供給する分配用トランジスタである。
５０８は、第１行目（Ｒ１）の光検出素子での電荷を蓄積するためのコンデンサであり、５０９は、第２行目（Ｒ２）の光検出素子での電荷を蓄積するためのコンデンサであり、５１０は、第３行目（Ｒ３）の光検出素子での電荷を蓄積するためのコンデンサであり、５１１は、第４行目（Ｒ４）の光検出素子での電荷を蓄積するためのコンデンサである。
５０５は、コンデンサ５０８の蓄積電荷と、コンデンサ５０９の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、５０６は、コンデンサ５０９の蓄積電荷と、コンデンサ５１０の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、５０７は、コンデンサ５１０の蓄積電荷と、コンデンサ５１１の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
【０１１２】
尚、スイッチ５０５，５０６，５０７が連動すれば、これらは、コンデンサ５０８，５０９，５１０，５１１の蓄積電荷を平均化するようになされている。すなわち、例えば、スイッチトランジスタ５０５，５０７をオンにした後で、又はオンにするときに、スイッチトランジスタ５０６をオンにすれば、これらは、コンデンサ５０８，５０９，５１０，５１１の蓄積電荷を平均化する。
【０１１３】
図１１は、上記図１０のＣＭＯＳセンサ７１０の動作タイミングを表すタイミングチャートである。以下、上記図１０及び図１１を用いて、ＣＭＯＳセンサ７１０の動作を説明する。
【０１１４】
先ず、タイミングＴ６０１において、端子２へ入力されている垂直走査回路１のスタートパルス、及び端子３へ入力されている垂直走査パルスが各々ＨＩＧＨとなると、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。このとき、端子８へ入力されているリセットパルスはＨＩＧＨであり、これにより画素部の浮遊拡散領域がリセットされる。
次に、タイミングＴ６０２において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ６０３において、端子９への入力パルスがＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ６０４において、端子１０，３０への入力パルスが各々ＨＩＧＨになると、第１行目の光検出素子で検出された光量に比例した電荷がコンデンサ５０８に蓄積される。
次に、タイミングＴ６０５において、端子３へ入力されている垂直走査パルスがＬＯＷとなる（立ち下がる）。
次に、タイミングＴ６０６において、端子３へ入力されている垂直走査パルスが再びＨＩＧＨとなると（立ち上がると）、第２行目（Ｒ２）が選択される。
次に、タイミングＴ６０７において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ６０８において、上述のタイミングＴ６０３と同様に、端子９への入力パルスがＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ６０９においても、上述のタイミングＴ６０４と同様に、端子１０，３１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子で検出された光量に比例した電荷が、コンデンサ５０９に蓄積される。
同様にして、タイミングＴ６１０において、端子１０，３２への入力パルスが各々ＨＩＧＨとなると、第３行目の光検出素子で検出された光量に比例した電荷が、コンデンサ５１０に蓄積される。
更に、タイミングＴ６１１において、端子１０，３３への入力パルスがＨＩＧＨとなると、第４行目の光検出素子で検出された光量に比例した電荷が、コンデンサ５１１に蓄積される。
そして、タイミングＴ６１２において、端子４０，４１への入力パルスがＨＩＧＨとなると、ラインメモリ上でコンデンサ５０８，５０９，５１０，５１１の蓄積電荷の平均化が行われる。
タイミングＴ６１３において、このタイミングから、水平走査回路４が動作を開始し、平均化された後の電圧が水平方向に順次出力される。したがって、出力端子７０からは、第１行〜第４行（Ｒ１，Ｒ２，Ｒ３，Ｒ４）までの光検出素子の検出光量の平均値に比例した電圧が、列方向に順次出力される。
【０１１５】
尚、上記図１０に示した回路構成において、スイッチトランジスタ５０６による平均化を行わないように構成するとこで、第１列（Ｃ１）と第２列（Ｃ２）の平均値を出力端子７０から得ることができ、第３列（Ｃ３）と第４列（Ｃ４）の平均値を出力端子７１から得ることができ、第１列（Ｃ１）と第２列（Ｃ２）の平均値と、第３列（Ｃ３）と第４列（Ｃ４）の平均値との差分を出力端子７２から得ることができる。
【０１１６】
また、上記図６〜図１１を用いて説明したＣＭＯＳセンサ７１０の動作において、画素の電荷（光信号）を読み出す前に、その拡散浮遊領域のリセット電圧を別のラインメモリに読み出すようにしてもよい。このリセット電圧と光信号出力の差分をとることで、トランジスタ１０４の閾値電圧のばらつきによる出力電圧のばらつきを除去することができる。したがって、各光検出素子で検出した光量による信号にばらつきによるノイズ成分が混入しない、Ｓ／Ｎの高い信号を得ることができる。
また、垂直及び水平走査を、１ブロック毎、又は複数ブロック毎に間引いて行うようにしてもよい。これにより、更に、圧縮した信号が得られる。
また、ＣＭＯＳセンサに限らず、別種の光電変換素子に本発明を適用することは可能であり、この場合も、上記の各実施の形態と同様な効果を得ることができる。
【０１１７】
（第６の実施の形態）
上述の各実施の形態では、画素ブロック単位の信号の読み出しを行う際、次に読み出す画素ブロックを、前に読み出しが行われた画素ブロックに対して密に隣接するようにしたが、本実施の形態では、次に読み出す画素ブロックを、前に読み出しが行われた画素ブロックに対して、例えば、１画素ずらすようにする（オーバーラップ読出）。
【０１１８】
例えば、図１２は、上記図１の撮像装置７００において、４画素ブロック単位で信号を読み出す場合の、本実施の形態における撮像部７１０の最も特徴とする回路構成の概要を示したものである。また、図１３は、該撮像部７１０の各部の動作タイミングを示す図である。
【０１１９】
上記図１２及び図１３に示すように、ここでの撮像部７１０では、先ず、垂直走査パルスＶ1 が与えられたタイミングでゲートパルスＳ1 が与えられると、画素Ｙ11信号（Ｙ12信号も同様）が読みだされ、メモリ用コンデンサＣ1 に保持される。また、垂直走査パルスＶ2 が与えられたタイミングでゲートパルスＳ2 が与えられると、画素Ｙ21信号（画素Ｙ22信号）が読みだされ、同じくメモリ用コンデンサＣ2 に保持される。
【０１２０】
次に、ゲートパルスＨ1 が与えられると、メモリ用コンデンサＣ1 に保持されていた画素Ｙ11信号及び画素Ｙ21信号が読みだされる。
また、画素Ｙ12信号及び画素Ｙ22信号も上述と同様に読みだされ、画素Ｙ11信号がメモリ用コンデンサＣ3 に保持され、画素Ｙ12信号がメモリ用コンデンサＣ4 に保持され、画素Ｙ21信号がメモリ用コンデンサＣ5 に保持され、画素Ｙ22信号がメモリ用コンデンサＣ6 に保持される。
【０１２１】
そして、時点ｔ1 においてゲートパルスＴ1 が与えられると、メモリ用コンデンサＣ3 〜Ｃ6 にそれぞれ保持されていた画素信号が同時に出力され、画素信号Ｙ11，Ｙ12，Ｙ21，Ｙ22が並列に出力される。
【０１２２】
次に、時点ｔ2 においてゲートパルスＴ2 が与えられると、１画素分だけ水平方向にずれた１ブロック分の画素信号Ｙ13，Ｙ12，Ｙ23，Ｙ22が並列に出力される。この場合、画素信号Ｙ12及び画素信号Ｙ22はメモリ用コンデンサＣ4 ，Ｃ6 にそれぞれ保持されていた画素信号が出力される。
【０１２３】
上述のように、本実施の形態では、次の画素ブロックＢ２の読み出しの際には、前の画素ブロックＢ１の読み出しにて、メモリ用コンデンサＣ4 ，Ｃ6 に保存した画素信号Ｙ12及びＹ22（各画素ブロックＢ１及びＢ２の重なりあった部分に存在する画素から得られる信号）を読み出すようにして、画素ブロックＢ１の次に読み出す画素ブロックＢ２を、画素ブロックＢ１に対して水平方向に１画素分だけ水平方向にずれたブロックとして、順次画素ブロック単位での信号の読み出しを行うようにする。
【０１２４】
このように構成することで、次のような効果を得ることができる。
まず、上述の各実施の形態では、図１４に示すように、次に読み出す画素ブロックＢ２’を、前に読み出しが行われた画素ブロックＢ１’に対して密に隣接するように構成したため、この読み出しにて得られる画素信号からは、撮像素子上の各画素に対して、水平方向又は垂直方向に１つ置きの輝度信号Ｙ及び色差信号ＣＢ，ＣＲが得られることになる。これに対して、本実施の形態では、図１５に示すように、次に読み出す画素ブロックＢ２を前の画素ブロック１に対するように構成したので、この読み出しにて得られる画素信号からは、撮像素子上の水平方向の各画素に対応した輝度信号Ｙ及び色差信号ＣＢ，ＣＲが得られることになる。したがって、水平方向の解像度を２倍に上げることができる。
また、保持用の４つのコンデンサＣ3 ，Ｃ4 ，Ｃ5 ，Ｃ6 のうちの２つのコンデンサ（上記図１２中の矢印参照）を、前回の読出画素を保持しておく保持手段として用いるようにして、該保持手段に保持しておいた画素信号を、次の読み出す画素ブロックの画素信号として出力するように構成したので、外部にメモリを設けることなく、１画素シフトした画素ブロック単位の出力を得ることができる。
さらに、撮像部７１０内部（同一素子上）で、１画素シフトした画素ブロック単位の出力を得るように構成しているため、この出力を高速に行うことができる。
【０１２５】
尚、ここでは、２×２の画素ブロックを読み出し単位としているため、保持用の４つのコンデンサのうちの２つのコンデンサを、前回の読出画素信号の保持手段として設けているが、例えば、４×４画素ブロックが読み出し単位であれば、該保持手段として１２個のコンデンサを設ければよい。すなわち、Ｎ×Ｎの画素ブロックの読み出し単位に対して、該保持手段をＮ×（Ｎ−１）個設けることで、上述した２×２の画素ブロック単位の読み出しと同様に、Ｎ×Ｎの画素ブロック単位の読み出しを水平方向に１画素シフトしながら行うことができる。
また、垂直方向についても、水平方向の場合と同様の構成により、１画素シフトしながら画素ブロック単位の信号の読み出しを行うようにすれば、垂直方向の解像度も上げることができる。
さらに、ノイズ除去機能を持たせるように構成すれば、より良好な画像信号を得ることができる。
【０１２６】
ここで、図１６及び図１８は、上述したような本実施の形態を、より具体化した撮像部７１０の回路構成の一例（［例１］、［例２］）を示したものであり、図１７及び図１９は、上記図１６及び図１８の回路での動作タイミングを示したものである。
以下、［例１］、［例２］での回路構成及びその動作について順次説明する。
【０１２７】
尚、上記図１６及び図１８は、上述した第３〜第５の実施の形態と同様に、撮像部７１０を所謂ＣＭＯＳセンサに適用した場合の回路構成を示したものである（以下、ここでも「撮像部７１０」を「ＣＭＯＳセンサ７１０」と言う）。このため、上記図１６及び図１８の各回路構成において、上記図６の回路構成と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【０１２８】
［例１］
上記図１６に示すＣＭＯＳセンサ７１０は、色差信号ＣＢを得るための垂直方向の画素信号の演算を実現できるものであり、第１列目、第２列目、第２列目、第３列目、第３列目、第４列目、・・・のように、１列毎の上記の演算が可能なように構成されている。
【０１２９】
そこで、ここでのＣＭＯＳセンサ７１０では、先ず、端子８へ入力されているリセットパルスは、ＨＩＧＨ状態となっている。この状態で、タイミングＴ７１１において、端子２へ入力されている垂直走査回路１のスタートパルス、及び端子３へ入力されている垂直走査回路１の走査パルスが各々ＨＩＧＨとなると、画素部の浮遊拡散領域がリセットされる。これにより、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。また、端子１１への入力パルスもＨＩＧＨ状態となっており、この状態で、端子３０及び３１への各入力パルスがＨＩＧＨとなると、ラインメモリとして機能するコンデンサ２２１，２２２，２２３，２２４（各ラインに設けた容量、上記図１２のコンデンサＣ3 ，Ｃ4 ，Ｃ5 ，Ｃ6 に相当、以下、「ラインメモリ」と言う）がリセットされる。
次に、タイミングＴ７１２において、端子８へ入力されているリセットパルスがＬＯＷとなると、これにより、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。また、ラインメモリも浮遊状態になる。
次に、タイミングＴ７１３において、端子９及び１１への入力パルスが各々ＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ７１４において、端子１０及び３０，５０への入力パルスが各々ＨＩＧＨとなると、タイミングＴ７１３で転送された第１行目の電荷が、ラインメモリに対して読み出される。
次に、タイミングＴ７１５において、端子３へ入力されている垂直走査パルスがＬＯＷ状態となると、第２行目（Ｒ２）が選択される。
次に、タイミングＴ７１６において、端子８へ入力されているリセットパルスがＬＯＷとなると、これにより、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。また、ラインメモリも浮遊状態になる。
次に、タイミングＴ７１７において、端子９及び１１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ７１８において、端子１０及び３０，５０への入力パルスが各々ＨＩＧＨとなると、タイミングＴ７１７で転送された第２行目の電荷が、他のラインメモリ（タイミングＴ７１４でのラインメモリとは別のラインメモリ）に対して読み出される。
次に、タイミングＴ７１９において、端子４０への入力パルスがＨＩＧＨとなると、ラインメモリ上で、第１行目及び第２行目の２行分の混合信号が生成される。
そして、タイミングＴ７２０において、このタイミングから、水平走査回路４が動作を開始し、ラインメモリの混合信号が順次読み出される。このとき、隣接した２列の混合信号が同時に２本の水平出力線を各々介して端子７０，７１から出力されると同時に、後段の差動回路（図示せず）で減算されるため、したがって、ＣＭＯＳセンサ７１０からは、色差信号が直接出力されることになる。また、上記２本の水平出力線の信号を、後段の加算器（図示せず）で加算すれば、輝度信号も得られることになる。
【０１３０】
［例２］
上記図１８に示すＣＭＯＳセンサ７１０は、色差信号ＣＲを得るための垂直方向の画素信号の演算を実現できるものであり、第１列目、第２列目、第２列目、第３列目、第３列目、第４列目、・・・のように、１列毎の上記の演算が可能なように構成されている。
【０１３１】
そこで、ここでのＣＭＯＳセンサ７１０では、先ず、端子８へ入力されているリセットパルスは、ＨＩＧＨ状態となっている。この状態で、タイミングＴ７３１において、端子２へ入力されている垂直走査回路１のスタートパルス、及び端子３へ入力されている垂直走査回路１の走査パルスが各々ＨＩＧＨとなると、画素部の浮遊拡散領域がリセットされる。これにより、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。また、端子１１への入力パルスもＨＩＧＨ状態となっており、この状態で、端子５０及び５１への各入力パルスがＨＩＧＨとなると、ラインメモリとして機能するコンデンサ２２５，２２６，２２７，２２８（各ラインに設けた容量、上記図１２のコンデンサＣ3 ，Ｃ4 ，Ｃ5 ，Ｃ6 に相当、以下、「ラインメモリ」と言う）がリセットされる。
次に、タイミングＴ７３２において、端子８へ入力されているリセットパルス、端子１１への入力パルス、端子５０への入力パルス、及び端子５１への入力パルスが各々ＬＯＷとなると、これにより、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になり、また、ラインメモリも浮遊状態になる。
次に、タイミングＴ７３３において、端子９及び１１への入力パルスが各々ＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ７３４において、端子１０及び５０への入力パルスが各々ＨＩＧＨとなると、タイミングＴ７３３で転送された第１行目の電荷が、ラインメモリに対して読み出される。
次に、タイミングＴ７３５において、端子３へ入力されている垂直走査パルスがＬＯＷ状態となると、第２行目（Ｒ２）が選択される。
次に、タイミングＴ７３６において、端子８へ入力されているリセットパルス、及び端子１１への入力パルスが各々ＬＯＷとなると、これにより、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になり、また、ラインメモリも浮遊状態になる。
次に、タイミングＴ７３７において、端子９及び１１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ７３８において、端子１０及び５１への入力パルスが各々ＨＩＧＨとなると、タイミングＴ７３７で転送された第２行目の電荷が、他のラインメモリ（タイミングＴ７３４でのラインメモリとは別のラインメモリ）に対して読み出される。
次に、タイミングＴ７３９において、端子６０及び６１への入力パルスが各々ＨＩＧＨとなると、ラインメモリ上で、第１行目及び第２行目の２行分の混合信号が生成される。
そして、タイミングＴ７４０において、このタイミングから、水平走査回路４が動作を開始し、ラインメモリの混合信号が順次読み出される。このとき、隣接した２列の混合信号が同時に２本の水平出力線を各々介して端子７０，７１から出力されると同時に、後段の差動回路（図示せず）で減算されるため、したがって、ＣＭＯＳセンサ７１０からは、色差信号が直接出力されることになる。また、上記２本の水平出力線の信号を、後段の加算器（図示せず）で加算すれば、輝度信号も得られることになる。
【０１３２】
尚、上述の［例１］及び［例２］では、垂直方向の画素信号の演算を実現する具体例を説明したが、水平方向の画素信号の演算についても同様な構成とすることで、第１行目、第２行目、第２行目、第３行目、第３行目、第４行目、・・・のように、１行毎の上記の演算も可能となる。
また、上記図１６の回路構成と、上記図１８の回路構成とを用いて、例えば、図２０に示すような回路を構成し、その動作タイミングを、図２１に示すようにすれば、色差信号ＣＢと色差信号ＣＲを同時に出力することができ、輝度信号をも同時に出力することができる。
【０１３３】
また、上記図１６〜図２１を用いて説明したＣＭＯＳセンサ７１０の動作において、画素の電荷（光信号）を読み出す前に、その拡散浮遊領域のリセット電圧を別のラインメモリに読み出すようにしてもよい。このリセット電圧と光信号出力の差分をとることで、トランジスタ１０４の閾値電圧のばらつきによる出力電圧のばらつきを除去することができる。したがって、各光検出素子で検出した光量による信号にばらつきによるノイズ成分が混入しない、Ｓ／Ｎの高い信号を得ることができる。
また、ＣＭＯＳセンサに限らず、別種の光電変換素子に本発明を適用することは可能であり、この場合も、上記の各実施の形態と同様な効果を得ることができる。
【０１３４】
（第７の実施の形態）
まず、一般的に、カラー画像信号を取り扱う画像信号処理システムでは、先ず、撮像素子から出力される原信号（画素信号）に所定の前処理を行って、疑似的な輝度信号Ｙ’、及び色差信号Ｕ’（ＣＲ）、Ｖ’（ＣＢ）を生成する。そして、該疑似輝度信号Ｙ’及び擬似色差信号Ｕ’（ＣＲ）、Ｖ’（ＣＢ）を用いて、色情報に対してホワイトバランス補正、γ補正、その他の色補正処理等を行って、輝度信号Ｙ、及び色差信号Ｕ，Ｖを生成する。これらの輝度信号Ｙ、及び色差信号Ｕ，Ｖが、圧縮処理や伸張処理等の画像処理、或いは、画面表示や記録媒体への記録に用いられる。
【０１３５】
そこで、本実施の形態では、本発明を、上述のようなカラー画像信号を取り扱う画像信号処理システムに適用する。
本発明を適用した画像信号処理システムは、例えば、図２２に示すように、撮像素子ＩＣチップ８１０及び圧縮処理装置８２０からなる送信側（撮像装置）と、伸張処理装置８３０、色処理装置８４０、及び表示／記録装置８５０からなる受信側（再生装置）との間でデータ通信するようになされている。
【０１３６】
このような画像信号処理システム８００の最も特徴とするところは、撮像素子ＩＣチップ８１０にある。
すなわち、撮像素子ＩＣチップ（以下、「撮像部」と言う）８１０は、上記図１の撮像装置７００と同様の機能を有するものであり、上記図１に示した色フィルタ７１１、撮像素子７１２、信号読出部７１３、及び輝度／色差前処理部７２０を備え、これらは同一撮像素子ＩＣチップ上に設けられている。
以下、画像信号処理システム８００の動作について説明する。
【０１３７】
先ず、送信側において、撮像部８１０では、被写体光が、上記図２〜図５に示したようなフィルタ配列から構成される色フィルタを介して、撮像素子（受光素子）７１２に入射される。
この撮像素子７１２で得られた画素信号（原信号）Ｙｅ，Ｃｙ，Ｍｇ，Ｇは、上述した第１〜第７の各実施の形態で説明したようにして、信号読出部７１３により読み出され、輝度／色差前処理部７２０により、該読出原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇから擬似輝度信号Ｙ’及び色差信号ＣＲ’（Ｕ’），ＣＢ’（Ｖ’）が生成される。
【０１３８】
圧縮処理装置８２０は、撮像部８１０で生成された擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’に対して、色情報に対するホワイトバランスやγ補正を行わない状態で、ＪＰＥＧ，ＭＰＥＧ、Ｈ．２６１、ベクトル量子化等の情報圧縮技術を用いた圧縮処理を行う。
具体的には例えば、先ず、所定の画素ブロック毎にＤＣＴ（Discrete Cosine Transform : 離散コサイン変換）を行う。次に、ＤＣＴした擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’を量子化することで、高周波成分を除去した圧縮データを得る。そして、その圧縮データを符号化する。ここでの符号化処理は、種々の方式を用いることが可能であるが、データの発生頻度に応じた符号長を割り当てる可変長符号化を用いることで圧縮率をさらに高めることが可能となる。
このようにして、圧縮処理装置８２０にて、圧縮及び符号化されたデータは、例えば、通信回線等の媒体を介して、受信側の伸張処理装置８３０に対して送信される。
【０１３９】
受信側において、情報伸張装置８３０は、送信側から送られてきたデータに対して、上述の圧縮処理装置８２０におけるＤＣＴ及び量子化処理の逆の処理を行うことで、擬似輝度信号Ｙ'及び擬似色差信号Ｕ'，Ｖ'を復元する。
【０１４０】
色処理装置８４０は、情報伸張装置８３０で得られた擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’に対して、ホワイトバランス補正やγ補正等の色処理のような、良好な画質を得るために必要な種々の補正を行うことで、輝度信号Ｙ及び色差信号Ｕ，Ｖを生成する。
【０１４１】
表示／記録装置８５０は、色処理装置８４０にて生成された輝度信号Ｙ及び色差信号Ｕ，Ｖを画面表示したり、記録媒体に記録したりする。
【０１４２】
上述のように、本実施の形態では、色フィルタ７１１を、上記図２〜図５に示したようなフィルタ配列で構成し、撮像素子７１２で得られた画素信号を、上述した第１〜第７の各実施の形態で説明したようにして読み出す構成とした。これにより、カラー画像信号を取り扱う画像処理システムにおいても、上述した第１〜第７の各実施の形態での効果を得ることができる。すなわち、水平方向及び垂直方向に高解像度なカラー画像信号を、高速に得ることができる。
【０１４３】
また、撮像素子７１２で得られた原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇから擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’を得るための輝度／色差前処理部７２０を、撮像素子７１２と同一チップ上に設けるように構成した。これにより、擬似輝度信号Ｙ’、及び擬似色差信号Ｕ’，Ｖ’を得るための演算処理を高速化することができる。したがって、後段の圧縮処理や伸張処理等の画像処理を効率的に行うことができる。
【０１４４】
そして、上述の構成により、処理が高速化した分を、圧縮処理や伸張処理等の画像処理の精度向上のためにあてることもでき、さらに高画質のカラー画像信号を得ることができる。
【０１４５】
また、撮像部８１０にて得られる擬似輝度信号Ｙ’、及び擬似色差信号Ｕ’，Ｖ’に対して、圧縮処理装置８２０にて圧縮及び符号化を行って、伸張処理装置８３０にて伸張した後に、色処理装置８４０にて高品位の画質を得るための、ホワイトバランス補正やγ補正等の色処理を行うように構成した。これにより、圧縮処理後の伸張処理に伴って発生するブロックノイズや高周波ノイズによる画質の劣化を最小限に抑えることもできる。したがって、表示／記録装置８５０により記録媒体に記憶したり、通信回線を介して伝送したりする際の情報量を大幅に削減できるとともに、画質の劣化を可及的に防止して高品位の画質を得ることもできる。
【０１４６】
尚、上述の第７の実施の形態では、圧縮処理装置８２０での圧縮処理として、ＤＣＴ及び可変長符号化を用いたが、これに限らず、例えば、コードブック圧縮技術（ベクトル量子化技術）を用いることもできる。
このコードブック圧縮技術を用いる場合、先ず、圧縮処理装置８２０は、撮像部８１０で得られた擬似輝度信号Ｙ’、及び擬似色差信号Ｕ’，Ｖ’と、予め記憶している複数のコードブック（パターン）と比較し、その中で最も似通ったパターンを見つけ出して、そのパターンに対応するコード番号を、受信側の伸張処理装置８３０に対して送信する。
伸張処理装置８３０は、圧縮処理装置８２０から送られてきたコード番号に対応するパターンを、予め記憶している複数のコードブック取り出すことにより、圧縮処理装置８２０側で圧縮された画像信号を再現する。
【０１４７】
また、上記の各実施の形態では、色フィルタ７１１として、イエロ（Ｙｅ）、マゼンタ（Ｍｇ）、シアン（Ｃｙ）、グリーン（Ｇ）の補色系４色の色フィルタが配列されてなる補色フィルタを用いるとしたが、これに限らず、輝度信号又は色差信号が得られるものであれば、他のフィルタを用いるようにしてもよい。
しかしながら、例えば、Ｒ，Ｇ，Ｂの３色の色フィルタから構成される原色フィルタを色フィルタ７１１として用いた場合と、上記の各実施の形態のように、４色の色フィルタから構成される補色フィルタを色フィルタ７１１として用いた場合とを比較すると、補色フィルタは、それを構成する各色フィルタが全て色成分を有するため、後者の補色フィルタを用いた場合のほうが、輝度偽信号が小さく、更に、入射光の利用率が少なく低感度になるという欠点を防ぐことができる。したがって、補色フィルタを用いたほうが、より高い効果を得ることができる。
【０１４８】
また、本発明の目的は、上述した各実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が各実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【０１４９】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【０１５０】
また、コンピュータが読みだしたプログラムコードを実行することにより、実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１５１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１５２】
【発明の効果】
以上説明したように本発明によれば、所定の画素ブロック単位で、該画素ブロックの画素信号を用いて輝度信号及び色差信号を得る際に、どの画素ブロックからも輝度信号及び色差信号を得るために必要な画素信号を得ることができるため、高解像度の輝度信号及び色差信号を得ることができる。これを、簡易カラー表示、オートフォーカス用検出信号、ホワイトバランスの調整、或いは画像圧縮処理等に用いることで、良好なカラー画像を提供することができる。
【０１５３】
具体的には、例えば、第１の色〜第４の色（シアンＣｙ，イエロＹｅ，マゼンダＭｇ，グリーンＧ等）の４種類の色のフィルタが、４行×４列の周期性を持って配列されてなる色フィルタアレイの場合、該４行×４列の周期単位の中で、
第１行目：第１の色、第２の色、第３の色、第４の色
第２行目：第３の色、第４の色、第１の色、第２の色
第３行目：第２の色、第１の色、第４の色、第３の色
第４行目：第４の色、第３の色、第２の色、第１の色
のように、行方向及び列方向共に、同じ色のフィルタが重複しないように、フィルタを配列する。
これにより、２行×２列の画素ブロック単位で、該画素ブロックの画素信号を用いて輝度信号及び色差信号を得る際に、どの画素ブロックからも第１の色〜第４の色の各画素信号が得られるため、すなわち輝度信号及び色差信号を得るための演算に必要な画素信号が得られるため、従来のように、ある行に対しては輝度信号及び色差信号を得るための演算を行うことができない、ということはない。
【０１５４】
また、前記色フィルタアレイを介した被写体光から得られた画素信号を、Ｎ行×Ｎ列の画素ブロック単位で読み出す際、次に読み出しを行う画素ブロックを、前回読み出しを行った画素ブロックに対して、水平方向又は垂直方向、或いは水平方向と共に垂直方向に、所定の画素分シフトした位置のブロックとして、該ブロックに対して読み出しを行うように構成すれば、解像度を更に上げることができる。
【０１５５】
具体的には例えば、２行×２列の画素ブロック単位での読み出しを行う場合、先ず、第１の画素ブロックの読み出しを行った結果、第１行、第１列の画素信号Ｙ11、第１行、第２列の画素信号Ｙ12、第２行、第１列の画素信号Ｙ21、及び第２行、第２列の画素信号Ｙ22が得られる。これらの画素信号のうち、次に読み出しを行う第２の画素ブロック（第１の画素ブロックに対して１画素分水平方向にシフトした位置のブロック）と重なりあう領域（第１行、第２列及び第２行、第２列）の画素信号Ｙ12，Ｙ21を保持しておく。そして、次の画素ブロックの読み出しに、上記重なりあう領域の画素信号として、該保持しておいた画素信号Ｙ12，Ｙ21を用いるようにする。
これにより、２行×２列の画素ブロック単位で、該画素ブロックの画素信号を用いて輝度信号及び色差信号を得る際に、水平方向の各画素に対応した輝度信号及び色差信号を得ることができる。したがって、この場合には、水平方向の解像度を２倍に上げることができる。
【０１５６】
また、例えば、２行×２列の画素ブロック単位で、第１行第１列の画素信号と第１行第２列の画素信号の加算信号と、第２行第１列の画素信号と第２行第２列の画素信号の加算信号との差を読み出し、第１行第１列の画素信号と第２行第１列の画素信号の加算信号と、第１行第２列の画素信号と第２行第２列の画素信号の加算信号との差を読み出すようなモード（読み出し１のモード）を利用すれば、水平方向、垂直方向共に解像度が高い色差信号を持ったカラー画像信号が得られる。
【０１５７】
また、本発明によれば、同一の色フィルタパターンを用いながらも、様々な読み出し方法があるので、簡易カラー表示、オートフォーカス、オートホワイトバランスに使用できる画像信号を高速に出力できるモードや高解像度の画像信号を出力するモードなどのマルチモードに対応できる。
【０１５８】
また、本発明では、撮像素子から上記の読み出しにより擬似輝度信用及び色差信号を得て、さらにホワイトバランスやγ補正等の色処理を行わない状態で圧縮を行って伸張後に上記色処理を行うため、高い効率で圧縮することができ、色処理後の画質劣化を防ぐことができる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した撮像装置の構成を示すブロック図である。
【図２】上記撮像装置で用いる色フィルタのフィルタ配列の一例を説明するための図である。
【図３】上記フィルタ配列の他の一例を説明するための図である。
【図４】第２の実施の形態において、上記撮像装置で用いる色フィルタのフィルタ配列の一例を説明するための図である。
【図５】上記フィルタ配列の他の一例を説明するための図である。
【図６】第３の実施の形態において、上記第１及び第２の実施の形態での画素信号の読み出し方法を実施する上記撮像装置の回路構成を説明するための図である。
【図７】上記回路構成での撮像装置の動作を説明するための図である。
【図８】第４の実施の形態において、上記第１及び第２の実施の形態での画素信号の読み出し方法１を実施する上記撮像装置の回路構成を説明するための図である。
【図９】上記回路構成での撮像装置の動作を説明するための図である。
【図１０】第５の実施の形態において、上記第１及び第２の実施の形態での画素信号の読み出し方法１を実施する上記撮像装置の回路構成を説明するための図である。
【図１１】上記回路構成での撮像装置の動作を説明するための図である。
【図１２】第６の実施の形態において、オーバーラップ読出を実施する上記撮像装置の回路構成を説明するための図である。
【図１３】上記回路構成での撮像装置の動作を説明するための図である。
【図１４】上記オーバーラップ読出を行わない場合の画素信号から得られる輝度信号及び色差信号を説明するための図である。
【図１５】上記オーバーラップ読出を行った場合の画素信号から得られる輝度信号及び色差信号を説明するための図である。
【図１６】上記撮像装置をより具体化した回路構成の一例（例１）を説明するための図である。
【図１７】上記回路構成での撮像装置の動作を説明するための図である。
【図１８】上記撮像装置をより具体化した回路構成の一例（例２）を説明するための図である。
【図１９】上記回路構成での撮像装置の動作を説明するための図である。
【図２０】上記例１及び例２の各回路構成の両機能を有する回路構成を説明するための図である。
【図２１】上記回路構成での撮像装置の動作を説明するための図である。
【図２２】第７の実施の形態において、本発明を適用した画像処理システムの構成を示すブロック図である。
【図２３】水平方向に２画素、垂直方向に４画素の周期性を持つ従来の色フィルタのフィルタ配列を説明するための図である。
【図２４】水平方向に２画素、垂直方向に８画素の周期性を持つ従来の色フィルタのフィルタ配列を説明するための図である。
【符号の説明】
１００ 光検出素子
１０１ 転送用トランジスタ
１０２ 拡散浮遊領域
１０３ リセット用トランジスタ
１０４ アンブ用トランジスタ
１０６，１０７，５０１，５０２，５０３，５０４ 分配用トランジスタ
１２１ スイッチ用トランジスタ
１０５ 放電用トランジスタ
１０８，１１５，１’。１６，３０１，３０２，３０３，３０４，５０５，
５０６，５０７ 平均化用トランジスタ
１０９，１１０，１１７，１１８ コンデンサ（ラインメモリ）
１２２，１２７ 差動アンブ
７００ 撮像装置
７１０ 撮像部
７１１ 色フィルタ
７１２ 撮像素子
７１３ 信号読出部
７２０ 輝度／色差前処理部
Claims (17)
- ４色の色フィルタアレイを介して撮像素子に入射した入射光よりカラー画像信号を生成するカラー撮像装置であって、
少なくとも行方向及び列方向の何れかの方向に所定画素分シフトしながら、Ｎ行×Ｎ列（Ｎ：整数）の画素ブロック単位で前記撮像素子から信号を読み出す読出手段と、
前記読出手段で読み出された今回の読出画素ブロックの信号のうち、該読出画素ブロックに対して１画素シフトした次の読出画素ブロックと重なり合う領域の信号を保持する保持手段とを備え、
前記読出手段は、次の画素ブロックの信号の読み出しに、前記保持手段に保持された信号を用い、
前記色フィルタアレイは、４行×４列の周期性を持ち、４行×４列の周期単位の中で、
第１行には、左から右の順又は右から左の順に第１の色フィルタ、第２の色フィルタ、第３の色フィルタ、第４の色フィルタが配列され、
第２行には、左又は右から順に前記第３の色フィルタ、前記第４の色フィルタ、前記第１の色フィルタ、前記第２の色フィルタが配列され、
第３行には、左又は右から順に前記第２の色フィルタ、前記第１の色フィルタ、前記第４の色フィルタ、前記第３の色フィルタが配列され、
第４行には、左又は右から順に前記第４の色フィルタ、前記第３の色フィルタ、前記第２の色フィルタ、前記第１の色フィルタが配列され、
前記第１行から前記第４行までは、上から下の順又は下から上の順に並んでおり、
前記第１の色フィルタは、可視光範囲において緑色光のみを透過するフィルタであり、
前記第２の色フィルタは、可視光範囲において青色光のみを遮断するフィルタであり、
前記第３の色フィルタは、可視光範囲において赤色光のみを遮断するフィルタであり、
前記第４の色フィルタは、可視光範囲において緑色光のみを遮断するフィルタであることを特徴とするカラー撮像装置。 - 前記第３行と前記第４行とが入れ替わっていることを特徴とする請求項１記載のカラー撮像装置。
- ２行×２列の領域の第１行第１列の信号と第１行第２列の信号との加算信号と、前記２行×２列の領域の第２行第１列の信号と第２行第２列の信号との加算信号との差を読み出す手段と、
前記２行×２列の領域の第１行第１列の信号と第２行第１列の信号との加算信号と、前記２行×２列の領域の第１行第２列の信号と第２行第２列の信号との加算信号との差を読み出す手段とを備えることを特徴とする請求項１又は２記載のカラー撮像装置。 - 前記２行×２列の領域は隙間なく配列されることを特徴とする請求項３記載のカラー撮像装置。
- ４行×１列の領域の全信号の加算値を読み出す手段を備えることを特徴とする請求項１又は２記載のカラー撮像装置。
- １行×４列の領域の全信号の加算値を読み出す手段を備えることを特徴とする請求項１又は２記載のカラー撮像装置。
- 請求項１又は２記載のカラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、
２行×２列の領域の第１行第１列の信号と第１行第２列の信号との加算信号と、前記２行×２列の領域の第２行第１列の信号と第２行第２列の信号との加算信号との差を第１の色差信号として読み出すステップと、
前記２行×２列の領域の第１行第１列の信号と第２行第１列の信号との加算信号と、前記２行×２列の領域の第１行第２列の信号と第２行第２列の信号との加算信号との差を第２の色差信号として読み出すステップとを含むことを特徴とする画像信号読み出し方法。 - 前記２行×２列の領域が隙間なく配列されるステップを含むことを特徴とする請求項７記載の画像信号読み出し方法。
- 請求項１又は２記載のカラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、
４行×１列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする画像信号読み出し方法。 - 請求項１又は２記載のカラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、
４行×２列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする画像信号読み出し方法。 - 請求項１又は２記載のカラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、
１行×４列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする画像信号読み出し方法。 - 請求項１又は２記載のカラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、
２行×４列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする画像信号読み出し方法。 - 請求項１又は２記載のカラー撮像装置から画像信号を読み出す画像信号読み出し方法であって、
２行×２列の領域の全信号の加算値を輝度信号として読み出すステップを含むことを特徴とする画像信号読み出し方法。 - カラー撮像素子により被写体を撮像し、該撮像素子の出力信号に対して所定の画像処理を行う画像処理装置であって、
前記カラー撮像素子は、請求項１〜６の何れか１項に記載のカラー撮像装置が有する機能を備えることを特徴とする画像処理装置。 - カラー撮像素子を含む撮像装置と、該撮像装置の出力信号に対して所定の画像処理を行う画像処理装置とが少なくとも接続されてなる画像処理システムであって、
前記撮像装置は、請求項１〜６の何れか１項に記載のカラー撮像装置であることを特徴とする画像処理システム。 - 請求項７〜１３の何れか１項に記載の画像信号読み出し方法のステップをコンピュータに実行させるためのプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
- 撮像素子を含み、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理を経ずに該撮像素子から出力される画像信号の情報量を圧縮して送信する撮像装置と、該圧縮された画像信号を受信して伸張した後で前記色処理を行うようになされた受信装置とが接続されてなる画像処理システムであって、
前記撮像装置は、請求項１〜６の何れか１項に記載のカラー撮像装置であることを特徴とする画像処理システム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21243498A JP4377976B2 (ja) | 1997-12-26 | 1998-07-28 | カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体 |
| US09/219,754 US6757016B1 (en) | 1997-12-26 | 1998-12-23 | Image pickup apparatus with color filter array and means for adding and subtracting signals |
| DE69833738T DE69833738D1 (de) | 1997-12-26 | 1998-12-23 | Farbbildaufnahmegerät |
| EP98310696A EP0926901B1 (en) | 1997-12-26 | 1998-12-23 | Colour image pickup apparatus |
| CNB981240801A CN1161962C (zh) | 1997-12-26 | 1998-12-25 | 图象拾取装置 |
| KR1019980058934A KR100307471B1 (ko) | 1997-12-26 | 1998-12-26 | 촬상장치,화상신호판독방법및화상신호처리시스템 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-361086 | 1997-12-26 | ||
| JP36108697 | 1997-12-26 | ||
| JP21243498A JP4377976B2 (ja) | 1997-12-26 | 1998-07-28 | カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008006239A Division JP4262290B2 (ja) | 1997-12-26 | 2008-01-15 | 撮像素子、画像処理装置、画像処理システム、及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11243553A JPH11243553A (ja) | 1999-09-07 |
| JP4377976B2 true JP4377976B2 (ja) | 2009-12-02 |
Family
ID=26519222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21243498A Expired - Lifetime JP4377976B2 (ja) | 1997-12-26 | 1998-07-28 | カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6757016B1 (ja) |
| EP (1) | EP0926901B1 (ja) |
| JP (1) | JP4377976B2 (ja) |
| KR (1) | KR100307471B1 (ja) |
| CN (1) | CN1161962C (ja) |
| DE (1) | DE69833738D1 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4006075B2 (ja) * | 1998-01-30 | 2007-11-14 | キヤノン株式会社 | Ｃｍｏｓセンサ及び撮像システム |
| EP0969674A3 (en) | 1998-07-03 | 2004-01-02 | Canon Kabushiki Kaisha | Image sensing device processing image signals in blocks |
| US7015964B1 (en) | 1998-11-02 | 2006-03-21 | Canon Kabushiki Kaisha | Solid-state image pickup device and method of resetting the same |
| US6850278B1 (en) * | 1998-11-27 | 2005-02-01 | Canon Kabushiki Kaisha | Solid-state image pickup apparatus |
| US6356672B1 (en) * | 1999-03-08 | 2002-03-12 | Sharp Laboratories Of America, Inc. | Method and apparatus for reducing the color registration artifact of image capture devices |
| US6714243B1 (en) | 1999-03-22 | 2004-03-30 | Biomorphic Vlsi, Inc. | Color filter pattern |
| US7158183B1 (en) * | 1999-09-03 | 2007-01-02 | Nikon Corporation | Digital camera |
| US6995800B2 (en) * | 2000-01-27 | 2006-02-07 | Canon Kabushiki Kaisha | Image pickup apparatus utilizing a plurality of converging lenses |
| US6965408B2 (en) * | 2000-02-28 | 2005-11-15 | Canon Kabushiki Kaisha | Solid-state image pickup device having a photoelectric conversion unit and a punch-through current suppression circuit |
| JP3667214B2 (ja) * | 2000-08-25 | 2005-07-06 | キヤノン株式会社 | 固体撮像装置およびその駆動方法 |
| JP4154268B2 (ja) * | 2003-03-27 | 2008-09-24 | キヤノン株式会社 | 撮像装置 |
| US7859581B2 (en) | 2003-07-15 | 2010-12-28 | Eastman Kodak Company | Image sensor with charge binning and dual channel readout |
| KR101081000B1 (ko) * | 2003-10-23 | 2011-11-09 | 소니 가부시키가이샤 | 화상 처리 장치 및 화상 처리 방법과 기록 매체 |
| JP4018644B2 (ja) * | 2004-01-29 | 2007-12-05 | キヤノン株式会社 | 光電変換装置及び同光電変換装置を用いた撮像システム |
| US7880785B2 (en) * | 2004-07-21 | 2011-02-01 | Aptina Imaging Corporation | Rod and cone response sensor |
| JP4984634B2 (ja) * | 2005-07-21 | 2012-07-25 | ソニー株式会社 | 物理情報取得方法および物理情報取得装置 |
| US7830430B2 (en) * | 2005-07-28 | 2010-11-09 | Eastman Kodak Company | Interpolation of panchromatic and color pixels |
| KR100623036B1 (ko) * | 2005-09-22 | 2006-09-13 | 삼익전자공업 주식회사 | 다이나믹 보간 주사에 의해 해상도를 향상시킨 전광판시스템 |
| JP4144892B2 (ja) * | 2006-08-28 | 2008-09-03 | キヤノン株式会社 | 光電変換装置及び撮像装置 |
| CN100430759C (zh) * | 2006-11-01 | 2008-11-05 | 友达光电股份有限公司 | 彩色滤光片的制造方法 |
| KR101475464B1 (ko) | 2008-05-09 | 2014-12-22 | 삼성전자 주식회사 | 적층형 이미지 센서 |
| JP2009296451A (ja) * | 2008-06-06 | 2009-12-17 | Hamamatsu Photonics Kk | 固体撮像装置 |
| JP5225145B2 (ja) * | 2009-02-23 | 2013-07-03 | キヤノン株式会社 | 固体撮像装置 |
| US9467665B1 (en) * | 2015-06-29 | 2016-10-11 | Omnivision Technologies, Inc. | Color filter array patterns for reduction of color aliasing |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4591900A (en) * | 1983-03-14 | 1986-05-27 | Rca Corporation | Encoding pattern for single chip CCD camera processing scheme |
| JPS631276A (ja) * | 1986-06-20 | 1988-01-06 | Olympus Optical Co Ltd | カラ−撮像装置 |
| US5202756A (en) * | 1988-11-09 | 1993-04-13 | Canon Kabushiki Kaisha | Color signal processing apparatus using plural luminance signals |
| US5262870A (en) | 1989-02-10 | 1993-11-16 | Canon Kabushiki Kaisha | Image sensor in which reading and resetting are simultaneously performed |
| KR920006601Y1 (ko) * | 1989-12-31 | 1992-09-21 | 삼성전자 주식회사 | 보색 필터 ccd를 이용한 원색 신호 출력회로 |
| EP0570204B1 (en) * | 1992-05-13 | 1996-07-10 | Matsushita Electric Industrial Co., Ltd. | Solid state image pickup device using a colour filter array |
| KR0146260B1 (ko) * | 1993-06-16 | 1998-09-15 | 모리시타 요이찌 | 고체촬상장치 |
| JPH07288824A (ja) * | 1994-04-14 | 1995-10-31 | Asahi Optical Co Ltd | 輝度信号生成装置 |
| US5724450A (en) * | 1994-09-30 | 1998-03-03 | Apple Computer, Inc. | Method and system for color image compression in conjunction with color transformation techniques |
| US5568192A (en) | 1995-08-30 | 1996-10-22 | Intel Corporation | Method and apparatus for processing digital video camera signals |
| US6035077A (en) * | 1996-05-03 | 2000-03-07 | Omnivision Technologies, Inc. | Single-chip color CMOS image sensor with two or more line reading structure and high-sensitivity interlace color structure |
| JPH09312848A (ja) | 1996-05-21 | 1997-12-02 | Hitachi Ltd | 撮像装置 |
| US5631703A (en) * | 1996-05-29 | 1997-05-20 | Eastman Kodak Company | Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values |
| JP3854662B2 (ja) * | 1996-06-12 | 2006-12-06 | キヤノン株式会社 | 撮像装置 |
| JPH10145582A (ja) * | 1996-11-05 | 1998-05-29 | Canon Inc | 画像処理方法及び装置 |
| JPH10336486A (ja) * | 1997-05-30 | 1998-12-18 | Matsushita Electric Ind Co Ltd | 映像信号処理装置 |
| US6285398B1 (en) * | 1997-11-17 | 2001-09-04 | Sony Corporation | Charge-coupled device video camera with raw data format output and software implemented camera signal processing |
| JP4212134B2 (ja) * | 1997-12-25 | 2009-01-21 | 三洋電機株式会社 | 画像信号処理装置 |
-
1998
- 1998-07-28 JP JP21243498A patent/JP4377976B2/ja not_active Expired - Lifetime
- 1998-12-23 DE DE69833738T patent/DE69833738D1/de not_active Expired - Lifetime
- 1998-12-23 EP EP98310696A patent/EP0926901B1/en not_active Expired - Lifetime
- 1998-12-23 US US09/219,754 patent/US6757016B1/en not_active Expired - Fee Related
- 1998-12-25 CN CNB981240801A patent/CN1161962C/zh not_active Expired - Fee Related
- 1998-12-26 KR KR1019980058934A patent/KR100307471B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| CN1234680A (zh) | 1999-11-10 |
| EP0926901B1 (en) | 2006-03-08 |
| DE69833738D1 (de) | 2006-05-04 |
| JPH11243553A (ja) | 1999-09-07 |
| EP0926901A2 (en) | 1999-06-30 |
| KR19990063505A (ko) | 1999-07-26 |
| EP0926901A3 (en) | 2000-11-22 |
| KR100307471B1 (ko) | 2001-11-02 |
| US6757016B1 (en) | 2004-06-29 |
| CN1161962C (zh) | 2004-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4377976B2 (ja) | カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体 | |
| US7724292B2 (en) | Color filter array for a CMOS sensor for generating a color signal in an image pickup apparatus | |
| JP5442556B2 (ja) | センサ回路の列回路における画素信号のビニングおよび補間 | |
| US20100328485A1 (en) | Imaging device, imaging module, electronic still camera, and electronic movie camera | |
| JP2021506173A (ja) | ハイダイナミックイメージセンサー | |
| US20040262493A1 (en) | Solid-state image pickup device, image pickup unit and image processing method | |
| JP3902525B2 (ja) | 画像信号処理装置 | |
| US20070085924A1 (en) | Control circuit for reading out signal charges from main and subsidiary pixels of a solid-state image sensor separately from each other in interlace scanning | |
| JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
| JP2001016598A (ja) | カラー撮像素子及び撮像装置 | |
| JP2008199403A (ja) | 撮像装置、撮像方法および集積回路 | |
| JP4262290B2 (ja) | 撮像素子、画像処理装置、画像処理システム、及び記憶媒体 | |
| JP2004172859A (ja) | 撮像装置および撮像方法 | |
| JP2004172858A (ja) | 撮像装置および撮像方法 | |
| JP4164161B2 (ja) | 画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 | |
| JP2000261817A (ja) | 撮像装置 | |
| JP2005341561A (ja) | 画像処理回路 | |
| JP3652123B2 (ja) | 撮像素子、画像処理装置、画像処理システム、及び記憶媒体 | |
| JP2000032481A (ja) | 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 | |
| JP2931531B2 (ja) | 固体撮像装置 | |
| JP2940820B2 (ja) | 単板式カラーカメラおよび色信号の分離方法 | |
| JP4249152B2 (ja) | 画像処理回路 | |
| JP3970069B2 (ja) | 撮像装置 | |
| JP3239029B2 (ja) | 固体撮像装置 | |
| JP2003274423A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090908 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090914 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |