WO2002093939A1 - Dispositif d'imagerie et procede de traitement de signaux associe - Google Patents

Dispositif d'imagerie et procede de traitement de signaux associe Download PDF

Info

Publication number
WO2002093939A1
WO2002093939A1 PCT/JP2002/004541 JP0204541W WO02093939A1 WO 2002093939 A1 WO2002093939 A1 WO 2002093939A1 JP 0204541 W JP0204541 W JP 0204541W WO 02093939 A1 WO02093939 A1 WO 02093939A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
array
color
image sensor
pixels
Prior art date
Application number
PCT/JP2002/004541
Other languages
English (en)
French (fr)
Inventor
Yasuhiro Morinaka
Hiroyoshi Komobuchi
Akito Kidera
Toshiya Fujii
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP02769558A priority Critical patent/EP1395063A4/en
Priority to US10/311,672 priority patent/US7148926B2/en
Publication of WO2002093939A1 publication Critical patent/WO2002093939A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]

Definitions

  • the present invention relates to an imaging apparatus capable of performing dynamic imaging and a signal processing method thereof.
  • a color filter array is overlaid on a single imaging device.
  • a CCD Charge Coupled Device
  • a plurality of photodiodes (PD) are two-dimensionally arranged, and a vertical CCD (VCCD) is provided for each vertical column of these PDs.
  • VCCD Vertical CCD
  • One horizontal CCD (HCCD) is commonly connected to the end.
  • Each PD constitutes a pixel for converting incident light into signal charges corresponding to the amount of light.
  • the color filter array has a plurality of filter units arranged two-dimensionally.
  • each of the plurality of filter units includes a 2 ⁇ 2 array of first, second, third, and fourth color elements, and the image sensor so that each color element corresponds to each pixel of the image sensor. Stacked on top.
  • the first, second, third and fourth color elements are, for example, red (R), green (G), green (G) and blue, respectively. (B) having selective transmission characteristics. It is convenient to write the G between two R's as "Gr” and the G between two; B's as "Gb".
  • the first, second, third and fourth color elements are respectively different, magenta (Mg), green (G), cyan (Cy) and yellow (Ye ) Are also known.
  • DSC digital still camera
  • DSC is required to obtain not only still images but also moving images.
  • still image capturing there is not much time restriction after the shirt is cut off, so in the case of a multi-pixel image sensor, the signal charges of all pixels can be individually relaxed using VCCD and H CCD. reading It is possible to put out.
  • the maximum driving frequency of each of the V CCD and the H CCD is limited by the frequency characteristics of the amplifier provided on the H CCD output side. As a result, the frame rate of a moving image decreases as the number of pixels of the image sensor increases.
  • the present invention relates to an image pickup device having a plurality of pixels two-dimensionally arranged so as to convert incident light into signal charges corresponding to the amount of light, in an image pickup apparatus capable of performing color image pickup.
  • Two-dimensionally arranged plural filter units and each of the plural filter units comprises a 2 ⁇ 2 array of first, second, third and fourth color elements, and each color element Are arranged on the image sensor so as to correspond to each pixel of the image sensor, and a plurality of pixel blocks consisting of a square array of odd X odd pixels larger than the unit of each filter are arranged in a plurality of pixel blocks.
  • Pixels are divided into groups, and a driving circuit for driving the image sensor so as to add the signal charges of all the pixels belonging to the pixel block for each of the plurality of pixel blocks, and a 2 ⁇ 2 array of pixel blocks are increased. And a signal processing circuit for obtaining condensed color information for each pixel block from a result of addition for each pixel block as a filter unit.
  • Each of the plurality of pixel blocks is composed of, for example, a 3 ⁇ 3 pixel array. Two of the first, second, third and fourth color components may be the same color.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging device according to the present invention.
  • FIG. 2 is a schematic configuration diagram of the CCD image sensor in FIG.
  • FIG. 3 is an explanatory diagram showing an example of the color filter array in FIG.
  • FIG. 4 is a timing chart showing a state of charge transfer in mode 1 in the vertical CCD shown in FIG. 2 together with a drive pulse waveform.
  • FIG. 5 is a timing chart showing a driving pulse waveform of mode 1 in the horizontal CCD in FIG. 2 together with a waveform of the CCD output signal.
  • FIG. 6 is an explanatory diagram showing the range of signal charge addition when the color filter array of FIG. 3 is used.
  • FIG. 7 is an explanatory diagram showing the result of signal charge addition based on FIG.
  • FIG. 8 is a timing chart showing a state of charge transfer in mode 2 in the vertical CCD shown in FIG. 2 together with a drive pulse waveform.
  • FIG. 9 is a timing chart showing a drive pulse waveform of mode 2 in the horizontal CCD shown in FIG. 2 together with a waveform of the CCD output signal.
  • FIG. 10 is an explanatory diagram showing the range of signal charge addition when a complementary color filter array is used instead of the color filter array of FIG.
  • FIG. 11 is an explanatory diagram showing the result of signal charge addition based on FIG.
  • FIG. 1 shows a configuration example of an imaging device according to the present invention.
  • This imaging device is a DSC capable of color imaging having a still image mode (also called all-pixel mode or mode 1) and a moving image mode (also called monitoring mode or mode 2).
  • the CCD type image pickup device 10 is an image pickup device having a plurality of pixels two-dimensionally arranged so as to convert incident light into signal charges corresponding to the amount of light.
  • the color filter array 11 has three or more color elements arranged two-dimensionally, and is superimposed on the image sensor 10 so that each color element corresponds to each pixel of the image sensor 10.
  • the lens 12 guides the incident light from the subject to the color filter array 11.
  • the drive circuit 13 is a circuit for supplying a plurality of drive pulses for driving the image sensor 10.
  • the signal processing circuit 14 is a circuit for generating a luminance signal Y and color difference signals Cr and Cb based on the CCD output signal Vout obtained from the imaging device 10 and outputting these as video signals. However, RGB signals may be output as video signals.
  • the mode switching unit 15 controls the two circuits 13 and 14 to operate in the designated mode by supplying a mode signal MD indicating designation of mode 1 or mode 2 to the drive circuit 13 and the signal processing circuit 14. Means.
  • FIG. 2 shows a schematic configuration of the CCD type imaging device 10 in FIG.
  • a plurality of PDs 20 are two-dimensionally arranged, and a V CCD 22 is provided for each of the vertical columns of the PDs 20, and one HCCD 23 is provided at one end of the V CCD 22.
  • Each PD 20 converts the incident light into a signal charge corresponding to the light amount, and accumulates the signal charge.
  • a read gate 21 is interposed between each PD 20 and the VCCD 22 so that signal charges accumulated in the PD 20 are read out to the VCCD 22.
  • the HCCD 23 is provided with a two-phase transfer gate.
  • the charge transfer destination of the H CCD 23 is a floating diffusion (FD) 2 through an output gate (OG) 24. Connected to 5.
  • the electric charge stored in the FD 25 is detected and amplified by the amplifier 26 and is output as a voltage signal Vout.
  • the charge remaining in the FD 25 is also discharged to the reset drain (RD) 28 by applying a reset pulse to the reset gate (RG) 27.
  • the drive pulse to each of the four-phase transfer gates VI to V4 of VCCD22 and the two-phase transfer gates 0H1 and 0H2 of HCCD23, and the reset pulse to 27 are supplied from the drive circuit 13 in FIG. You.
  • FIG. 3 shows an example of the color filter array 11 in FIG.
  • the color filter array 11 in FIG. 3 is the primary color Bayer array described above, and has a plurality of filter units arranged two-dimensionally, and each filter unit has two color elements R, Gr, Gb, and B. Consists of an x2 array.
  • the drive circuit 13 and the signal processing circuit 14 operate so as to obtain individual color information from the signal charges of the individual pixels of the CCD image sensor 10. Thus, high-resolution still image capturing is performed.
  • FIG. 4 shows a state of charge transfer in mode 1 in the VCCD 22 in FIG. 2 together with a driving pulse waveform.
  • the upper part of FIG. 4 shows the flow of signal charges read from three PDs (pixels) 20 adjacent to the HCCD 23.
  • the signal charge stored in the PD 20 is read out to the VCCD 22 by applying a high-voltage (VH) readout pulse to the PD 20.
  • the signal charges read to the V CCD 22 are applied to V1 to 0V4 by applying drive pulses that change between the intermediate voltage (VM) and the low voltage (VL) at the timing shown in Fig. 4, respectively. Is transferred for one pixel.
  • VH high-voltage
  • the signal charge of the last stage of each VCCD 22, that is, the signal charge of the PD 20 of one horizontal line is transferred into the HCCD 23.
  • the signal charge of the PD 20 on the next horizontal line is transferred into the HCCD 23.
  • FIG. 5 shows the drive pulse waveform of mode 1 in the HCCD 23 in FIG. 2 together with the waveform of the CCD output signal Vout.
  • the signal charges transferred to the HCCD 23 are sequentially applied to the transfer gates H 1 and ⁇ 2 by applying binary drive pulses having opposite phases to each other. Passes OG 24 and is stored in FD 25. The charge stored in the FD 25 is detected and amplified by the amplifier 26 and output as a voltage signal Vout. The charge stored and detected in the FD 25 is discharged to the RD 28 by applying a reset pulse to the RG 27 every time the HCCD 23 transfers one stage. By repeating this operation, signal charges of one horizontal line are detected and output as a voltage signal Vout. Note that the processing in the signal processing circuit 14 is the same as the conventional processing, and a detailed description thereof will be omitted.
  • the drive circuit 13 operates so that the signal charges in the CCD image sensor 10 are added, and the signal processing circuit 14 performs processing in accordance with the operation, thereby achieving a high frame rate and high sensitivity. Of the moving image is executed.
  • FIG. 6 shows the range of signal charge addition when the color filter array 11 of FIG. 3 is used.
  • the plurality of pixels of the image sensor 10 are grouped into a plurality of pixel blocks each having a square arrangement of 3 ⁇ 3 pixels.
  • FIG. 6 shows the corresponding color element block by a broken line.
  • the color component block (the first color component block) in the upper left corner in Figure 6 contains four: R, two Gr, two Gb, and one B.
  • the color component block to the right contains two Rs, four Grs, one Gb, and two Bs.
  • the color component block (third color component block) below the first color component block includes two Rs, one Gr, four Gb, and two Bs.
  • the color element block on the right includes one R, two Gr, two Gb, and four B.
  • the results of signal charge addition in the first to fourth pixel blocks corresponding to these first to fourth color element blocks are denoted as A, Ba, Bc, and C, respectively, and a new 6 ⁇ 6 pixel area is obtained.
  • the drive circuit 13 drives the image sensor 10 so as to add the signal charges of all the pixels belonging to the pixel block for each of the plurality of pixel blocks as described above. It is.
  • FIG. 7 shows the result of signal charge addition based on FIG. Solving equations (1)-(4) for R *, Gv Gb B *,
  • the signal processing circuit 14 uses a 2 ⁇ 2 array of pixel blocks, that is, a 6 ⁇ 6 pixel area as a large filter unit, and condensed color information R * for each pixel block from the result of signal charge addition for each pixel block.
  • Gr * 5 Gb *, B * are obtained according to equations (5) to (8), and Y, Cr, Cb video signals or RGB video signals are created in the same manner as in the past.
  • FIGS. Figure 8 shows the mode 2 charge transfer in VCCD22.
  • the signal charges in the vertical direction are transferred in HCCD23 by transferring the signal charges of three pixels from VCCD22 to HCCD23 continuously.
  • Fig. 9 shows the drive pulse waveform of mode 2 in the HCCD 23.
  • the horizontal signal charge addition is performed by applying a reset pulse once every three stages of HCCD 23 transfer. This is done on 26 inputs.
  • the number of horizontal line transfers by HCCD 23 in Mode 2 is one third of that in Mode 1.
  • the time required for transferring signal charges of one or three pixels by VCCD22 is sufficiently shorter than the time required for transferring one horizontal line by HCCD23. Therefore, in the mode 2, a frame rate approximately three times as high as that in the case where the signal charge addition for each pixel block is not performed can be realized.
  • the signal charges of all pixels are effectively used in mode 2, the light use efficiency is improved, and it is suitable for imaging at low illuminance.
  • the color filter array 11 is not limited to the primary color bay array shown in FIG.
  • FIG. 10 and FIG. 11 are diagrams when such a complementary color filter array is used.
  • mode 2 the signal charge addition results for each pixel block ⁇ , ⁇ , ⁇ , (5 and new color information Mg *, G *, Cy *, Ye *,
  • the signal processing circuit 14 obtains the condensed color information Mg *, G * 3 Cy *, Ye * for each pixel program according to the equations (13) to (16). Note that the 16 coefficients in the equations (13) to (16) can be appropriately changed according to human visual characteristics. The same applies to the coefficients in equations (5) to (8). Further, for example, a 5 ⁇ 5 pixel array may be adopted as a pixel block size.
  • the present invention is applicable not only to the DSC but also to a video camera.
  • mode 1 high-resolution and low-frame-rate moving image capturing is achieved
  • mode 2 low-resolution and high-frame-rate moving image capturing is achieved.
  • the present invention is not limited to the CCD type image pickup device 10, but is applicable to an image pickup device equipped with another type of image pickup device such as a MOS image sensor, as long as the signal charge addition means or the averaging means is provided. is there.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

明 細 書
撮像装置とその信号処理方法
技術分野
本発明は、 力ラ一撮像が行える撮像装置とその信号処理方法に関するものである。 背景技術
単板式の固体撮像装置では、 単一の撮像素子の上に色フィル夕配列が重ねられる。 例えば CCD (Charge Coupled Device) 型の撮像素子は、 複数のフォトダイオード (PD) が 2次元配列され、 これら PDの垂直列に対してそれそれ垂直 CCD (VC CD) が設けられ、 これら VCCDの一方端に 1本の水平 CCD (HCCD) が共通 に連結されてなる。 各 PDは、 入射光をその光量に応じた信号電荷に変換するための 画素を構成する。 色フィル夕配列は、 2次元配列された複数のフィル夕単位を有する。 例えば、 複数のフィル夕単位の各々は第 1、 第 2、 第 3及び第 4の色要素の 2 X 2配 列からなり、 かつ各色要素が撮像素子の各画素に対応するように当該撮像素子上に重 ねられる。 原色べィャ （Bayer) 配列と呼ばれる色フィル夕配列では、 第 1、 第 2、 第 3及び第 4の色要素がそれぞれ、 例えばレッド （R)、 グリーン （G)、 グリーン (G)及びブルー （B) の選択的透過特性を有する。 2つの Rに挟まれた Gを 「G r」 と表記し、 2つの; Bに挟まれた Gを 「Gb」 と表記するのが便利である。 また、 補色フィル夕配列の 1つとして、 第 1、 第 2、 第 3及び第 4の色要素がそれそれ、 マ ゼン夕 （Mg)、 グリーン （G)、 シアン （Cy)及びイエロ一 （Ye) の選択的透 過特性を有する色フィルタ配列も知られている。
近年、 一層の高解像度撮像を実現するために撮像素子の多画素化が進んでいる。現 在、 200万画素、 あるいは 400万画素の CCD型撮像素子を搭載したデジ夕ルス チルカメラ （DSC) が商品化されており、 1000万画素を超える多画素を持つ撮 像素子の試作報告もある。
一方、 DSCで静止画のみならず動画をも得ることが求められている。 静止画撮像 の場合にはシャツ夕が切られた後の時間的な制約があまりないので、 多画素撮像素子 の場合で VC C D及び H CCDを使って全画素の信号電荷を個別にゆつくりと読み 出すことが可能である。 ところが、 例えばシャツタチャンスを窺えるように液晶モニ 夕に被写体の動画を映し出すモニタリングモードでは、 V CCD及び H CCDの各々 の最高駆動周波数が H CCD出力側に設けられるアンプの周波数特性の制約を受ける 結果、 撮像素子の多画素化に伴って動画のフレームレートが低下する。
そこで、 日本国特開 2000-209599号公報 （公開日： 2000年 7月 28 日） に開示された技術によれば、 モニタリングモードで 3列毎に 2列について VCC Dから H CCDへの信号電荷の転送が禁止される。 これにより、 3列毎に 2列につい て画素の信号電荷が捨てられる結果、 フレームレートを上げることができる。 また、 V CCDにおいて 3行毎に 2行について画素の信号電荷を捨てることによつてもフレ —ムレ一トが上がることが知られている。 しかも、 色要素の 2 X 2配列からなるフィ ル夕単位を採用する限り、 捨てられずに残された信号電荷から所要の色情報が得られ る。
ところが、 上記のように画素の信号電荷を選択的に捨てる技術を採用する場合には、 光の利用効率が悪くなり、 特に低照度での撮像に適さないという難点があった。 また、 行、 列のいずれか一方のみで画素の信号電荷を捨てる場合には、 垂直方向と水平方向 で空間周波数特性のアンバランスが生じる結果、 映像品質が劣化する。
発明の開示
本発明の目的は、 多画素の撮像素子を持つ撮像装置において、 動画撮像におけるフ レームレートを上げつつ光の利用効率を向上させ、 かつ映像品質の劣化を防止するこ とにある。
この目的を達成するため、 本発明では、 各々フィル夕単位 （2 X 2配列） より大き い奇数 X奇数画素の正方配列からなる複数の画素プロックの中で、 それそれ当該画素 プロックに属する全画素の信号電荷を加算することとした。
具体的に説明すると、 本発明は、 カラ一撮像が行える撮像装置において、 各々入射 光をその光量に応じた信号電荷に変換するように 2次元配列された複数の画素を有す る撮像素子と、 2次元配列された複数のフィル夕単位を有し、 当該複数のフィル夕単 位の各々は第 1、 第 2、 第 3及び第 4の色要素の 2 X 2配列からなり、 かつ各色要素 が撮像素子の各画素に対応するように撮像素子上に重ねられた色フィル夕配列と、 各 々フィル夕単位より大きい奇数 X奇数画素の正方配列からなる複数の画素プロックに 撮像素子の複数の画素をグループ分けし、 複数の画素ブロックの各々について当該画 素プロヅクに属する全ての画素の信号電荷を加算するように撮像素子を駆動するため の駆動回路と、 画素プロックの 2 X 2配列を大きいフィル夕単位として画素プロック 毎の加算の結果から画素プロック毎の凝縮された色情報を得るための信号処理回路と を備えることとしたものである。 複数の画素プロヅクの各々は、 例えば 3 x 3画素配 列からなる。 第 1、 第 2、 第 3及び第 4の色要素のうち 2つは、 同色であってよい。 図面の簡単な説明
図 1は、 本発明に係る撮像装置の構成例を示すプロック図である。
図 2は、 図 1中の C C D型撮像素子の概略構成図である。
図 3は、 図 1中の色フィル夕配列の一例を示す説明図である。
図 4は、 図 2中の垂直 C C Dにおけるモード 1の電荷転送の様子を駆動パルス波形 とともに示すタイミングチャート図である。
図 5は、 図 2中の水平 C C Dにおけるモード 1の駆動パルス波形を C C D出力信号 の波形とともに示すタイミングチャート図である。
図 6は、 図 3の色フィル夕配列を用いた場合の信号電荷加算の範囲を示す説明図で める。
図 7は、 図 6に基づく信号電荷加算の結果を示す説明図である。
図 8は、 図 2中の垂直 C C Dにおけるモード 2の電荷転送の様子を駆動パルス波形 とともに示すタイミングチャート図である。
図 9は、 図 2中の水平 C C Dにおけるモード 2の駆動パルス波形を C C D出力信号 の波形とともに示すタイミングチャート図である。
図 1 0は、 図 3の色フィルタ配列に代えて補色フィルタ配列を用いた場合の信号電 荷加算の範囲を示す説明図である。
図 1 1は、 図 1 0に基づく信号電荷加算の結果を示す説明図である。
発明を実施するための最良の形態 以下、 本発明の実施形態について、 図面を参照して詳細に説明する。
図 1は、 本発明に係る撮像装置の構成例を示している。 この撮像装置は、 静止画モ 一ド （全画素モード又はモード 1とも言う） と動画モード （モニタリングモード又は モード 2とも言う） とを持つカラー撮像可能な DSCであって、 CCD型撮像素子 1 0、 色フィル夕配列 1 1、 レンズ 12、 駆動回路 13、 信号処理回路 14及びモード 切換部 15を備えている。 CCD型撮像素子 10は、 各々入射光をその光量に応じた 信号電荷に変換するように 2次元配列された複数の画素を有する撮像素子である。 色 フィル夕配列 1 1は、 2次元配列された 3色以上の色要素を有し、 各色要素が撮像素 子 10の各画素に対応するように当該撮像素子 10の上に重ねられている。 レンズ 1 2は、 被写体からの入射光を色フィルタ配列 1 1へ導く。 駆動回路 13は、 撮像素子 10を駆動するための複数の駆動パルスを供給するための回路である。信号処理回路 14は、 撮像素子 10から得られた CCD出力信号 Voutに基づいて輝度信号 Y並 びに色差信号 C r及び C bを作り、 これらを映像信号として出力するための回路であ る。 ただし、 映像信号として RGB信号を出力する場合もある。 モード切換部 15は、 モード 1又はモード 2の指定を表すモード信号 MDを駆動回路 13及び信号処理回路 14へ供給することにより、 両回路 1 3， 14が指定モードで動作するように制御す るための手段である。
図 2は、 図 1中の CCD型撮像素子 10の概略構成を示している。 図 2の撮像素子 10は、 複数の PD 20が 2次元配列され、 これら PD 20の垂直列に対してそれそ れ V CCD 22が設けられ、 これら V CCD 22の一方端に 1本の H C C D 23が共 通に連結されてなるものである。 各 PD 20は、 入射光をその光量に応じた信号電荷 に変換し、 これを蓄積する。 各 PD 20と VCCD 22との間に読み出しゲート 2 1 が介在しており、 PD20に蓄積された信号電荷を VC CD 22に読み出すようにな つている。 各 PD 20に対して 4相の転送ゲート V I， Φ 2, 0V3， 0V4が 設けられ、 そのうち V 3は読み出しゲート 2 1を兼ねている。 H CCD 23には 2 相の転送ゲート が設けられている。 H CCD 23の電荷転送先は、 ァ ゥトプットゲート （OG) 24を介してフローティングディフュージョン （FD) 2 5に接続されている。 FD 25に貯められた電荷は、 アンプ 26で検出 '増幅され、 電圧信号 Voutとして出力されるようになっている。 FD25に残った電荷は、 リ セヅトゲート （RG) 27ヘリセットパルス を印加することによりリセヅトドレ イン （RD) 28へ排出されるようにもなつている。 なお、 VCCD22の 4相転送 ゲート VI〜 V4、 及び HCCD23の 2相の転送ゲート 0H 1， 0H2の各々 への駆動パルスと、 27へのリセヅトパルス とは、 図 1中の駆動回路 13か ら供給される。
図 3は、 図 1中の色フィル夕配列 11の一例を示している。 図 3の色フィル夕配列 11は、 前述の原色べィャ配列であって、 2次元配列された複数のフィル夕単位を有 し、 各フィルタ単位は色要素 R， Gr, Gb及び Bの 2 x 2配列からなる。
さて、 図 1の DSCでモード 1が指定されると、 C CD型撮像素子 10の個々の画 素の信号電荷から個別の色情報を得るように駆動回路 13及び信号処理回路 14が動 作することで、 高解像度の静止画撮像が実行される。
図 4は、 図 2中の VC CD 22におけるモード 1の電荷転送の様子を駆動パルス波 形とともに示している。 図 4の上段は、 HCCD 23に隣接する 3つの PD (画素） 20から読み出された信号電荷の流れを表している。 PD 20に蓄積された信号電荷 は、 に高電圧 (VH)の読み出しパルスを与えることにより VC CD 22に読 み出される。 V CCD 22に読み出された信号電荷は、 V1~0V4にそれそれ図 4に示すタイミングで中間電圧 (VM) と低電圧 (VL) とに変化する駆動パルスを 印加することにより、 VCCD 22の中で 1画素分転送される。 この動作により、 各 VCCD 22の最終段の信号電荷、 すなわち 1水平ラインの PD 20の信号電荷が H CCD 23内に転送される。 そして、 HCCD 23による 1水平ライン転送の後、 次 の水平ラインの PD 20の信号電荷が HCCD 23内に転送される。 この動作を繰り 返すことで、 1画面分の静止画が得られる。
図 5は、 図 2中の HCCD 23におけるモード 1の駆動パルス波形を CCD出力信 号 Voutの波形とともに示している。 HCCD 23に転送された信号電荷は、 互い に逆位相の 2値駆動パルスを転送ゲート H 1 , Ε2に印加することにより、 順次 OG 24を通過し、 FD 25に貯められる。 F D 25に貯められた電荷は、 アンプ 2 6で検出 '增幅され、 電圧信号 Vo utとして出力される。 FD 25に蓄積され検出 された電荷は、 HCCD 23の 1段転送毎に RG27にリセットパルス を印加す ることにより、 RD 28に排出される。 この動作を繰り返すことで、 1水平ラインの 信号電荷が検出され、 電圧信号 V outとして出力される。 なお、 信号処理回路 14 における処理は従来と同様であるので、 詳細な説明は省略する。
モード 2では、 C C D撮像素子 10内の信号電荷加算が行われるように駆動回路 1 3が動作し、 かつそれに応じた処理を信号処理回路 14が行うことで、 高フレームレ ート、 かつ高感度の動画撮像が実行される。
図 6は、 図 3の色フィル夕配列 1 1を用いた場合の信号電荷加算の範囲を示してい る。撮像素子 10の複数の画素は、 各々 3 X 3画素の正方配列からなる複数の画素プ ロックにグループ分けされる。 図 6は、 これに対応する色要素ブロックを破線で表し ている。 図 6中の左上隅の色要素プロック （第 1の色要素プロック） は、 4個の： Rと、 2個の Grと、 2個の Gbと、 1個の Bとを含む。 その右隣の色要素ブロック （第 2 の色要素ブロック） は、 2個の Rと、 4個の Grと、 1個の Gbと、 2個の Bとを含 む。 第 1の色要素ブロックの下隣の色要素ブロック （第 3の色要素ブロック） は、 2 個の Rと、 1個の Grと、 4個の Gbと、 2個の Bとを含む。 そして、 その右隣の色 要素ブロック （第 4の色要素ブロック） は、 1個の Rと、 2個の Grと、 2個の Gb と、 4個の Bとを含む。 これら第 1〜第 4の色要素ブロックに対応する第 1〜第 4の 画素ブロック内の信号電荷加算の結果をそれそれ A、 Ba、 B c、 Cとし、 6 x 6画 素の領域の新たな色情報を R*、 Gr Gb*、 B*で表すこととすると、
A=4R*+2 Gr*+2 Gb*+ 1 B* (1)
Ba=2R*+4Gr*+l Gb*+2B* (2)
c = 2 R*+ l Gr*+4Gb*+2B* (3)
C= lR*+2Gr*+2Gb* + 4B* (4)
が成り立つ。 駆動回路 13は、 このように複数の画素ブロックの各々について当該画 素プロックに属する全ての画素の信号電荷を加算するように撮像素子 10を駆動する のである。
図 7は、 図 6に基づく信号電荷加算の結果を示している。 等式 （ 1)〜（4) を R *、 Gv Gb B*について解くと、
R*= (4A-2Ba-2B c+ l C) /9 (5)
Gr*= (-2A+4Ba+lB c-2 C) /9 (6)
Gb*= (-2A+lBa + 4B c-2 C) /9 (7)
B*= (1 A-2Ba-2B c + 4C) /9 (8)
が得られる。 信号処理回路 14は、 画素ブロックの 2 X 2配列、 すなわち 6 x 6画素 の領域を大きいフィル夕単位として、 画素プロック毎の信号電荷加算の結果から当該 画素ブロック毎の凝縮された色情報 R*， Gr*5 Gb*， B*を等式 （5)〜（8) に 従って得たうえ、 従来と同様にして Y · Cr · Cb映像信号又は RGB映像信号を作 るのである。
次に、 図 8及び図 9を用いて画素プロック毎の信号電荷加算の方法の一例を簡単に 説明する。 図 8は VCCD22におけるモード 2の電荷転送の様子を示しており、 垂 直方向の信号電荷加算は、 VCCD22から 3画素の信号電荷を連続して H CCD2 3へ転送することにより、 HCCD 23内で行われる。 図 9は H CCD 23における モ一ド 2の駆動パルス波形を示しており、 水平方向の信号電荷加算は、 H C CD 23 の 3段転送毎に 1回の割合でリセヅトパルス を印加することにより、 アンプ 26 の入力側にて行われるのである。
図 4と図 8とを比較して分かるように、 モード 2ではモード 1に比べて HCCD 2 3による水平ライン転送回数が 3分の 1になる。 VCCD22による 1又は 3画素の 信号電荷の転送に要する時間は、 HCCD 23による 1水平ラインの転送に要する時 閬に比べて十分に短い。 したがって、 モード 2では、 上記画素ブロック毎の信号電荷 加算を行わない場合に比べて約 3倍の高フレームレートを実現できる。 また、 モード 2でも全ての画素の信号電荷が有効利用されるので、 光の利用効率が向上し、 低照度 での撮像にも適する。 しかも、 垂直方向と水平方向で映像の空間周波数特性にアンバ ランスが生じることもない。 なお、 色フィル夕配列 1 1は図 3に示した原色べィャ配列に限定されるものではな い。 例えば、 前述の Mg、 G、 Cy及び Yeからなる補色フィル夕配列を採用するこ とも可能である。 図 10及び図 1 1は、 このような補色フィル夕配列を用いた場合の 図である。 モード 2では、 画素プロック毎の信号電荷加算結果 α, β, ァ， （5及び新 たな色情報 Mg*、 G*、 Cy*、 Ye*について、
a = 4Mg*+2 G*+2 Cy*+ 1 Ye* (9)
5=2Mg*+4G*+ l Cy*+2Ye* (10)
ァ = 2Mg*+ 1 G*+4 Cy*+2 Ye* (1 1)
5= lMg*+2G*+2 Cy*+4Ye* (12)
が成り立ち、 これらの等式 (9) 〜 （ 12) から、
Mg*= (4 α-2 /3-2 γ+ 1 δ) /9 (13)
G*= (—2ひ + 4 5+ 1ァ一 2 (5) /9 ( 14)
Cy*= (― 2ひ +1 ? + 4ァ一 2d) /9 (15)
Ye*= ( 1 «—2 ?— 2ァ + 4(5) /9 (16)
が得られる。 信号処理回路 14は、 画素プロヅク毎の凝縮された色情報 Mg*， G*3 Cy*, Ye*を等式 （ 13) 〜 （1 6) に従って得る。 なお、 等式 （ 13 ) 〜 （ 1 6) 中の 1 6個の係数は、 人間の視覚特性に応じて適宜変更することができる。 等式 (5) 〜 （8) 中の係数についても同様である。 更に、 例えば 5 X 5画素配列を画素 プロックのサイズとして採用してもよい。
また、 本発明は DSCに限らず、 ビデオカメラにも適用可能である。 この場合、 モ —ド 1では高解像度かつ低フレームレートの動画撮像が、 モード 2では低解像度かつ 高フレームレートの動画撮像がそれそれ達成される。
また、 本発明は CCD型撮像素子 10に限らず、 MOSイメージセンサ等の他の種 類の撮像素子を搭載した撮像装置にも、 信号電荷の加算手段又は加算平均手段を備え る限り適用可能である。
産業上の利用の可能性
本発明によれば、 各々フィルタ単位 （2 x 2配列） より大きい奇数 X奇数画素の正 方配列からなる複数の画素ブロックの中で、 それぞれ当該画素ブロックに属する全画 素の信号電荷を加算することとしたので、 動画撮像におけるフレームレートを上げつ つ光の利用効率を向上させ、 かつ映像品質の劣化を防止することができる。 したがつ て、 モニタリングモードを有する D S Cに好適に利用できる。

Claims

請 求 の 範 囲
1 . カラー撮像が行える撮像装置であって、
各々入射光をその光量に応じた信号電荷に変換するように 2次元配列された複数の 画素を有する撮像素子と、
2次元配列された複数のフィル夕単位を有し、 前記複数のフィル夕単位の各々は第 1、 第 2、 第 3及び第 4の色要素の 2 X 2配列からなり、 かつ各色要素が前記撮像素 子の各画素に対応するように前記撮像素子上に重ねられた色フィル夕配列と、 各々前記各フィル夕単位より大きい奇数 X奇数画素の正方配列からなる複数の画素 プロヅクに前記撮像素子の複数の画素をグループ分けし、 前記複数の画素ブロックの 各々について当該画素ブロックに属する全ての画素の信号電荷を加算するように前記 撮像素子を駆動するための駆動回路と、
前記画素ブロックの 2 X 2配列を大きいフィルタ単位として、 前記画素プロック毎 の加算の結果から前記画素ブロック毎の凝縮された色情報を得るための信号処理回路 とを備えたことを特徴とする撮像装置。
2 . 請求項 1記載の撮像装置において、
前記画素プロック每の加算によらず、 前記撮像素子の個々の画素の信号電荷から個 別の色情報を得るように前記駆動回路及び前記信号処理回路を制御するための手段を 更に備えたことを特徴とする撮像装置。
3 . 請求項 1記載の撮像装置において、
前記複数の画素プロヅクの各々は、 3 x 3画素配列からなることを特徴とする撮像
4 . 請求項 1記載の撮像装置において、
前記第 1、 第 2、 第 3及び第 4の色要素はそれぞれ、 レッ ド、 グリーン、 グリーン 及びブルーの選択的透過特性を有することを特徴とする撮像装置。
5 . 請求項 1記載の撮像装置において、
前記第 1、 第 2、 第 3及び第 4の色要素はそれそれ、 マゼン夕、 グリーン、 シアン 及びィェ口一の選択的透過特性を有することを特徴とする撮像装置。
6 . 各々入射光をその光量に応じた信号電荷に変換するように 2次元配列された 複数の画素を有する撮像素子と、 2次元配列されかつ各々色要素の 2 X 2配列からな る複数のフィル夕単位を有し、 かつ各色要素が前記撮像素子の各画素に対応するよう に前記撮像素子上に重ねられた色フィル夕配列とを備えた撮像装置の信号処理方法で あって、
各々前記各フィルタ単位より大きい奇数 X奇数画素の正方配列からなる複数の画素 プロヅクに前記撮像素子の複数の画素をグループ分けし、 前記複数の画素プロヅクの 各々について当該画素ブロックに属する全ての画素の信号電荷を加算するステップと、 前記画素ブロックの 2 X 2配列を大きいフィルタ単位として、 前記画素プロック每 の加算の結果から前記画素プロック毎の凝縮された色情報を得るステップとを備えた ことを特徴とする信号処理方法。
PCT/JP2002/004541 2001-05-15 2002-05-09 Dispositif d'imagerie et procede de traitement de signaux associe WO2002093939A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP02769558A EP1395063A4 (en) 2001-05-15 2002-05-09 FIGURE APPARATUS AND SIGNAL PROCESSING METHOD THEREFOR
US10/311,672 US7148926B2 (en) 2001-05-15 2002-05-09 Image sensing apparatus and signal processing method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001144384 2001-05-15
JP2001-144384 2001-05-15

Publications (1)

Publication Number Publication Date
WO2002093939A1 true WO2002093939A1 (fr) 2002-11-21

Family

ID=18990343

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/004541 WO2002093939A1 (fr) 2001-05-15 2002-05-09 Dispositif d'imagerie et procede de traitement de signaux associe

Country Status (4)

Country Link
US (1) US7148926B2 (ja)
EP (1) EP1395063A4 (ja)
TW (1) TW556438B (ja)
WO (1) WO2002093939A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8319875B2 (en) 2003-03-25 2012-11-27 Panasonic Corporation Imaging device that prevents loss of shadow detail

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289631A (ja) * 2003-03-24 2004-10-14 Fuji Photo Film Co Ltd デジタルカメラ
US20040210107A1 (en) * 2003-03-31 2004-10-21 Pentax Corporation Endoscope system for fluorescent observation
JP3877695B2 (ja) * 2003-04-03 2007-02-07 松下電器産業株式会社 カラー固体撮像装置
JP2005109994A (ja) * 2003-09-30 2005-04-21 Matsushita Electric Ind Co Ltd 撮像装置
US7385638B2 (en) * 2004-04-28 2008-06-10 Eastman Kodak Company Image sensor for still or video photography
JP4759293B2 (ja) * 2005-03-15 2011-08-31 キヤノン株式会社 撮像素子
JP2009021809A (ja) * 2007-07-11 2009-01-29 Canon Inc 撮像装置の駆動方法、撮像装置、及び撮像システム
US8280181B2 (en) * 2007-12-13 2012-10-02 Seiko Epson Corporation Efficient filtering of image data
US20100061650A1 (en) * 2008-09-05 2010-03-11 Barinder Singh Rai Method And Apparatus For Providing A Variable Filter Size For Providing Image Effects
WO2012114558A1 (ja) 2011-02-21 2012-08-30 富士フイルム株式会社 カラー撮像素子
CN102959958B (zh) 2011-02-28 2015-05-27 富士胶片株式会社 彩色成像设备
CN102870405B (zh) 2011-03-09 2015-06-17 富士胶片株式会社 彩色成像元件
CN103270757B (zh) * 2011-03-11 2015-07-22 富士胶片株式会社 图像传感装置和控制其操作的方法
TW201245768A (en) * 2011-03-29 2012-11-16 Sony Corp Image pickup apparatus, image pickup device, image processing method, aperture control method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234688A (ja) * 1998-02-18 1999-08-27 Sony Corp 固体撮像装置の駆動方法及び固体撮像素子、並びにカメラ
JP2001036920A (ja) * 1999-07-21 2001-02-09 Canon Inc 撮像装置及びそれを用いた撮像システム
JP2001086519A (ja) 1999-09-10 2001-03-30 Fuji Photo Film Co Ltd 固体撮像装置および信号読出し方法
JP2001111894A (ja) * 1999-10-07 2001-04-20 Fuji Film Microdevices Co Ltd 固体撮像素子、その制御方法およびそれを用いた固体撮像装置
JP2001156281A (ja) * 1999-11-26 2001-06-08 Sony Corp 固体撮像素子およびその駆動方法並びにカメラシステム
JP2001292453A (ja) * 2000-04-07 2001-10-19 Canon Inc カラー撮像装置及びそれを用いた撮像システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10136244A (ja) * 1996-11-01 1998-05-22 Olympus Optical Co Ltd 電子的撮像装置
JP4069533B2 (ja) 1999-01-11 2008-04-02 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
US6992714B1 (en) * 1999-05-31 2006-01-31 Canon Kabushiki Kaisha Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234688A (ja) * 1998-02-18 1999-08-27 Sony Corp 固体撮像装置の駆動方法及び固体撮像素子、並びにカメラ
JP2001036920A (ja) * 1999-07-21 2001-02-09 Canon Inc 撮像装置及びそれを用いた撮像システム
JP2001086519A (ja) 1999-09-10 2001-03-30 Fuji Photo Film Co Ltd 固体撮像装置および信号読出し方法
JP2001111894A (ja) * 1999-10-07 2001-04-20 Fuji Film Microdevices Co Ltd 固体撮像素子、その制御方法およびそれを用いた固体撮像装置
JP2001156281A (ja) * 1999-11-26 2001-06-08 Sony Corp 固体撮像素子およびその駆動方法並びにカメラシステム
JP2001292453A (ja) * 2000-04-07 2001-10-19 Canon Inc カラー撮像装置及びそれを用いた撮像システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1395063A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8319875B2 (en) 2003-03-25 2012-11-27 Panasonic Corporation Imaging device that prevents loss of shadow detail

Also Published As

Publication number Publication date
TW556438B (en) 2003-10-01
EP1395063A1 (en) 2004-03-03
US7148926B2 (en) 2006-12-12
EP1395063A4 (en) 2008-06-04
US20030133028A1 (en) 2003-07-17

Similar Documents

Publication Publication Date Title
US7944496B2 (en) Imaging apparatus and driving method for CCD type solid-state imaging device
JP4487351B2 (ja) 固体撮像素子およびその駆動方法並びにカメラシステム
US7521659B2 (en) Driving an image sensor with reduced area and high image quality
US20080218598A1 (en) Imaging method, imaging apparatus, and driving device
JPWO2003107661A1 (ja) 固体撮像素子、固体撮像素子の駆動方法、撮像方法および撮像装置
US20100328505A1 (en) Imaging device, imaging module and imaging system
US7683956B2 (en) Solid-state imaging device, driving method thereof, and camera that separate image component signal and non-image component signal
WO2002093939A1 (fr) Dispositif d'imagerie et procede de traitement de signaux associe
US20060125943A1 (en) Image sensor for still or video photography
JP2005166725A (ja) 固体撮像素子、固体撮像装置及びカメラ
JP3102557B2 (ja) 固体撮像素子およびその駆動方法
US7701498B2 (en) Solid-state image pickup device, drive method therefor and camera
JP4354346B2 (ja) 固体撮像装置とその駆動方法およびそれらを備えたカメラ
JP4178621B2 (ja) 固体撮像素子およびその駆動方法並びにカメラシステム
JP2006014075A5 (ja)
JP3985275B2 (ja) 撮像装置および撮像方法
JP4321620B2 (ja) 固体撮像装置および固体撮像装置の駆動方法
JP3660915B2 (ja) 撮像装置とその信号処理方法
JP2005191943A (ja) 固体撮像装置およびこれを備えたカメラ
JPH09298755A (ja) 固体撮像素子
JP4424101B2 (ja) 固体撮像装置
JP2001145025A (ja) 固体撮像装置およびその駆動方法
JP2003060185A (ja) 固体撮像装置及びその制御方法
JP3392607B2 (ja) 固体撮像素子の駆動方法
JP3948456B2 (ja) 固体撮像素子および固体撮像素子の制御方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

WWE Wipo information: entry into national phase

Ref document number: 10311672

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2002769558

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2002769558

Country of ref document: EP