WO2009118799A1 - 撮像装置、撮像モジュール、及び撮像システム - Google Patents

撮像装置、撮像モジュール、及び撮像システム Download PDF

Info

Publication number
WO2009118799A1
WO2009118799A1 PCT/JP2008/002346 JP2008002346W WO2009118799A1 WO 2009118799 A1 WO2009118799 A1 WO 2009118799A1 JP 2008002346 W JP2008002346 W JP 2008002346W WO 2009118799 A1 WO2009118799 A1 WO 2009118799A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
pixel
pixels
colors
imaging device
Prior art date
Application number
PCT/JP2008/002346
Other languages
English (en)
French (fr)
Inventor
今村邦博
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2008801283513A priority Critical patent/CN101981937A/zh
Publication of WO2009118799A1 publication Critical patent/WO2009118799A1/ja
Priority to US12/880,572 priority patent/US20100328505A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Definitions

  • the present invention relates to an image pickup apparatus having a large number of pixels arranged in a shifted manner and reading out the mixed pixels, and an image pickup module and an image pickup system using the image pickup apparatus.
  • Patent Document 1 a pixel row in which green pixels and magenta pixels are alternately arranged and a pixel row in which cyan pixels and yellow pixels are alternately arranged are alternately and repeatedly formed.
  • a method is disclosed in which pixel addition is performed on a cyan pixel or a yellow pixel and a pixel addition is performed on a magenta pixel and a yellow pixel or cyan pixel. JP 2003-9166 A
  • FIG. 26 is a diagram showing an outline of a subject frequency and a point where a false color occurs in the pixel mixture and the color filter array described in Patent Document 1.
  • the point 261 indicates a point having a frequency of 1/4 on the horizontal axis when all the pixels are read out independently, and corresponds to the Nyquist frequency when the pixels are mixed and read out.
  • the color filter arranged on the pixel only supports complementary colors, and cannot cope with primary colors advantageous by the S / N of the color signal.
  • the present invention has been made in view of the above-described problems, and a problem to be solved by the present invention is an image pickup apparatus that has a large number of pixels arranged in a shifted manner and reads out the pixels by mixing the pixels. Even when sensitization is performed, the generation of false colors and the decrease in the S / N ratio of the color are suppressed to improve the resolution.
  • one embodiment of the present invention provides: A plurality of pixels that output pixel signals obtained by photoelectrically converting incident light arranged in a matrix in which the arrangement in the row direction is shifted, a color filter that filters light incident on each pixel, and pixels from a plurality of rows of pixels
  • An image pickup apparatus including a pixel mixing unit that mixes and outputs a pixel signal;
  • the color filter is configured by a repetitive pattern of a predetermined unit arrangement, and in an image obtained from an output signal after pixel mixture, a color filter that configures adjacent pixels adjacent to each other in a row direction, and
  • a color filter having the same barycentric position and constituting pixels adjacent in the column direction is characterized in that the ratio of color components is equal.
  • the color component after mixing the pixels has a phase relationship that cancels the false color.
  • an imaging device that has a large number of pixels arranged in a shifted manner and reads out the pixels by mixing, even when sensitized by pixel mixing, generation of false colors and color S / N ratio Reduction can be suppressed and resolution can be improved.
  • FIG. 1 is a block diagram showing a functional configuration of a digital video camera according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating the structure of the image sensor according to the first embodiment of the present invention.
  • FIG. 3 is a timing diagram of control pulses applied to the image sensor in order to read out the pixel signals without mixing in the first embodiment of the present invention.
  • FIG. 4 is a timing chart of control pulses applied to read out pixel signals accumulated in the horizontal transfer CCD according to the first embodiment of the present invention.
  • FIG. 5 is a timing diagram of control pulses applied to the image sensor in order to mix and read out pixel signals in the first embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of a digital video camera according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating the structure of the image sensor according to the first embodiment of the present invention.
  • FIG. 3 is a timing diagram of control pulses applied to the image sensor in
  • FIG. 6 is a diagram showing a pixel mixture shape when pixel signals are mixed and read out in the first embodiment of the present invention.
  • FIG. 7 is a diagram showing a unit array of color filter arrays in Embodiment 1 of the present invention.
  • FIG. 8 is a diagram showing a modification of the unit array of the color filter array in Embodiment 1 of the present invention.
  • FIG. 9 is a diagram showing a modification of the unit array of the color filter array in Embodiment 1 of the present invention.
  • FIG. 10 is a diagram showing a modification of the unit array of the color filter array in Embodiment 1 of the present invention.
  • FIG. 11 is a diagram illustrating a modification of the unit array of the color filter array according to the first embodiment of the present invention.
  • FIG. 12 is a diagram showing a modification of the unit array of the color filter array in the first embodiment of the present invention.
  • FIG. 13 is a timing chart of a modified example of the control pulse applied to the image sensor in order to mix and read the pixel signals in the first embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a modification of the pixel mixture shape when the pixel signals are mixed and read according to the first exemplary embodiment of the present invention.
  • FIG. 15 is a timing diagram of a modified example of the control pulse applied to the image sensor in order to mix and read the pixel signals in the first embodiment of the present invention.
  • FIG. 16 is a diagram illustrating a modified example of the pixel mixture shape when the pixel signals are mixed and read according to the first exemplary embodiment of the present invention.
  • FIG. 17 is a timing diagram of a modified example of the control pulse applied to the image sensor in order to mix and read the pixel signals in the first embodiment of the present invention.
  • FIG. 18 is a diagram illustrating a modification of the pixel mixture shape when the pixel signals are mixed and read in the first embodiment of the present invention.
  • FIG. 19 is a timing diagram of a modified example of the control pulse applied to the image sensor in order to mix and read out pixel signals in the first embodiment of the present invention.
  • FIG. 20 is a timing diagram of a modified example of the control pulse applied to the image sensor in order to mix and read out the pixel signals in the first embodiment of the present invention.
  • FIG. 21 is a diagram showing a modified example of the pixel mixture shape when the pixel signals are mixed and read in the first embodiment of the present invention.
  • FIG. 22 is a diagram showing the relationship between the number of pixels mixed with pixel signals and the detection level in Embodiment 2 of the present invention.
  • FIG. 23 is a diagram illustrating the structure of an image sensor according to the third embodiment of the present invention.
  • FIG. 24 is a timing diagram of control pulses applied to the image sensor in order to mix and read out pixel signals in the third embodiment of the present invention.
  • FIG. 25 is a diagram illustrating a modification of the pixel mixture shape when the pixel signals are mixed and read according to the third embodiment of the present invention.
  • FIG. 26 is a diagram illustrating a frequency at which color moire is generated according to the conventional method.
  • FIG. 27 is a diagram showing frequencies at which color moire is generated according to the present invention.
  • FIG. 28 is a diagram showing a modification of the unit array of the color filter array in Embodi
  • Imaging system Digital video camera (imaging system) 2 Imaging module 3 Lens 4 Image sensor (imaging device) 5 DSP (digital signal processing circuit) 9 Level detector 21 Pixel 22 Vertical transfer CCD 23 Horizontal transfer CCD 24 Output circuit 71, 81, 91, 101, 111, 121, 281 Unit arrangement
  • FIG. 1 is a block diagram illustrating a functional configuration of the imaging system according to the present embodiment.
  • This imaging system is configured as a digital video camera 1, and includes an imaging module 2, a DSP 5, a CPU 6, and an SDRAM 8.
  • the imaging module 2 includes a lens 3 and an image sensor 4 (imaging device). Although not shown, the imaging module 2 generates a TG (timing generator) that generates a control signal necessary for driving the image sensor 4 and an analog imaging signal output from the image sensor 4. An A / D converter for A / D converting the digital signal is also provided.
  • the image sensor 4 can perform a read operation that does not mix pixel signals and a mixed read operation that mixes pixel signals. The configuration of the image sensor 4 will be described in detail later.
  • the DSP 5 includes a memory controller 7, a level detection unit 9, a YC processing unit 10, a compression processing unit 11, and a digital signal processing unit 12, and processes output from the image sensor 4.
  • the memory controller 7 writes pixel signals in the SDRAM 8 until the pixel signals for the number of pixels necessary for processing in the respective functional blocks are obtained in the level detection unit 9, the YC processing unit 10, the compression processing unit 11, and the digital signal processing unit 12. Hold by. Then, pixel signals are read out from the SDRAM 8 as necessary, and output to the functional blocks of the level detection unit 9, YC processing unit 10, compression processing unit 11, and digital signal processing unit 12. Further, the memory controller 7 and the SDRAM 8 write and read not only pixel signals but also luminance signals and color signals obtained by YC processing, code data obtained by compression processing, and the like.
  • the level detection unit 9 calculates the level of the pixel signal from the average value of the entire pixel signal screen output from the image sensor 4 or a part of the screen, and notifies the CPU 6 of the calculation result.
  • the YC processing unit 10 generates a luminance signal and a color difference signal by performing synchronization, filtering processing, frequency correction, and the like on the pixel signal output from the image sensor 4.
  • the compression processing unit 11 compresses the pixel signal output from the image sensor 4 at the RAW data level. Further, with respect to the luminance signal and the color difference signal generated by the YC processing unit 10, JPEG is used for a still image, and H. According to the H.264 format, a still image and a moving image are compressed to generate a code.
  • the digital signal processing unit 12 reads data from and writes data to the SD card 13 which is a recording medium connected to the outside. Further, an image such as a preview is displayed on the LCD 14 which is a display medium. Further, enlargement / reduction processing by zooming for adjusting the angle of view is performed.
  • the CPU 6 switches, for example, whether to read pixel signals mixedly or read without mixing pixel signals for each functional block arranged in the imaging module 2 or the DSP 5, or performs image processing in the YC processing unit 10.
  • the external input 15 is an external input for setting the release button and the operation of the digital video camera 1.
  • FIG. 2 is a block diagram showing the configuration of the image sensor 4.
  • the image sensor 4 includes a plurality of pixels 21, a vertical transfer CCD 22, a horizontal transfer CCD 23, and an output circuit 24.
  • the pixel 21 is provided with a color filter.
  • the 2n + 1 line pixel 21 is arranged with the center of gravity shifted by 1/2 pixel with respect to the 2n line pixel 21, and the vertical transfer CCD 22 and the end of the vertical transfer CCD 22 are arranged for each column of pixels 21.
  • the horizontal transfer CCD 23 is disposed in the part, and the output circuit 24 is disposed at the end of the horizontal transfer CCD 23.
  • the vertical transfer CCD 22 and the horizontal transfer CCD 23 are provided with electrodes (gates) V1 to V4 and H1 to H4, respectively, and the same control signals are input to the V1 to V4 and H1 to H4, respectively.
  • the pixel 21 photoelectrically converts light incident on the pixel 21 to convert it into a charge signal to obtain a pixel signal.
  • the pixel signal accumulated in the pixel 21 is transferred from the pixel 21 to the vertical transfer CCD 22 by a control signal input from the TG in the imaging module 2.
  • the pixel signals transferred to the vertical transfer CCD 22 are sequentially transferred toward the horizontal transfer CCD 23 by a control signal input from the TG. Then, the pixel signal transferred to the horizontal transfer CCD 23 is transferred to the output circuit 24 by the control signal input from the TG.
  • the pixel signals transferred to the horizontal transfer CCD 23 are transferred to the output circuit 24 by horizontal forward transfer.
  • the pixel signal transferred to the horizontal transfer CCD 23 is combined with a horizontal forward transfer to be transferred to the output circuit 24 and a horizontal reverse transfer to be transferred in the reverse direction of the output circuit 24.
  • the data is transferred to the output circuit 24 by transfer.
  • the output circuit 24 converts the pixel signal, which is the charge transferred by the horizontal transfer CCD 23, into an analog voltage signal and outputs it.
  • FIG. 7 is a diagram for explaining a color filter arranged in the pixel 21 of the image sensor 4 of the present embodiment.
  • the color filter is composed of a repeating pattern of unit arrays 71.
  • filters for filtering the first to eighth colors are arranged in units of 16 pixels of 4 rows ⁇ 4 columns, and the first column includes the first color, the fifth color,
  • the filters are arranged in the order of the second color and the sixth color, and in the second column, the filters are arranged in the order of the third color, the seventh color, the fourth color, and the eighth color.
  • filters are arranged in the order of the second color, the sixth color, the first color, and the fifth color
  • the fourth column includes the fourth color, the eighth color, and the fifth color.
  • Filters are arranged in the order of the third color and the seventh color.
  • the first and fifth colors are magenta
  • the second and sixth colors are green
  • the third and seventh colors are yellow
  • the fourth and eighth colors are cyan.
  • the level detection unit 9 detects the level of the imaging signal and notifies the CPU 6 of the level of the imaging signal.
  • the YC processing unit 10 performs filtering, synchronization, and the like on the imaging signal, and converts the imaging signal into a YC signal.
  • the compression processing unit 11 outputs the image pickup signal or YC signal, for example, JPEG for a still image or H.264 for a moving image. The amount of data is compressed according to a format such as H.264.
  • the digital signal processing unit 12 performs signal processing necessary for operation as a video camera, such as zoom processing, flaw correction, and illumination light color temperature detection.
  • the CPU 6 outputs a control signal necessary for the digital video camera 1 to realize an operation expected by the user to each functional block of the image sensor 4 and the DSP 5.
  • Image sensor drive A method of driving the image sensor 4 when the image sensor 4 outputs the video signal as described above will be described.
  • the image sensor 4 has two types of operations, that is, a reading operation in which pixel signals are not mixed and an operation in which pixel signals are mixed and read.
  • FIG. 3 shows pulses applied to the gates V1 to V4 provided in the vertical transfer CCD 22 and the gates H1 to H4 provided in the horizontal transfer CCD 23, respectively.
  • a high-voltage read pulse is applied to the gate V1. With this readout pulse, the pixel signal accumulated in the pixel 21 is transferred to the gates V 1 and V 2 of the vertical transfer CCD 22.
  • the pixel signal transferred from the vertical transfer CCD 22 to the horizontal transfer CCD 23 is transferred to the output circuit 24.
  • the output circuit 24 converts the transferred pixel signal into an analog voltage signal and outputs it from the image sensor 4.
  • FIG. 5 shows pulses applied to the gates V1 to V4 provided in the vertical transfer CCD 22 and the gates H1 to H4 provided in the horizontal transfer CCD 23.
  • a high voltage read pulse is applied to V1.
  • the pixel signal accumulated in the pixel 21 is transferred to the gates V1 and V2 of the vertical transfer CCD 22, and then the control pulse shown in the period 51 is applied to V1 to V4 of the vertical transfer CCD 22.
  • the 0th line pixel signal is transferred to the horizontal transfer CCD 23.
  • the pixel signals on the 4n + 0 line and the 4n + 2 line are transferred to the gates V1 and V2 adjacent to the pixels 21 on the 4n-2 line and the 4n + 0 line. Further, the pixel signal of the first line is transferred to the gates V1 and V2 in contact with the horizontal transfer CCD 23, and the pixel signals of the 4n + 1 line and the 4n + 3 line are adjacent to the pixels 21 of the 4n-3 line and the 4n + 1 line. Transfers to V1 and V2.
  • the pixel signals transferred to the horizontal transfer CCD 23 in contact with the 4i + 0 column and the 4i + 2 column are adjacent to each other.
  • the data is transferred in the opposite direction to the output circuit 24 up to the horizontal transfer CCD 23 in contact with the 4i + 1th and 4i + 3th columns.
  • the pixel signal of the first line is transferred to the horizontal transfer CCD 23 by applying the control pulses shown in the period 53 to V 1 to V 4. Then, the 0Line 4i + 0 column pixel, the 1Line 4i + 1 column pixel, the 0Line 4i + 2 column pixel, and the 1Line 4i + 3 column pixel are mixed (first pixel mixing operation).
  • the shape of the pixel mixture corresponds to the pixel mixture shape 61 in FIG.
  • the pixel signal transferred to the vertical transfer CCD 22 is transferred to V3 to V4 adjacent in the horizontal transfer CCD 23 direction.
  • the control pulse shown in FIG. 4 the pixel signal transferred from the vertical transfer CCD 22 to the horizontal transfer CCD 23 is transferred to the output circuit 24, and the output circuit 24 converts the transferred pixel signal into an analog signal. And output from the image sensor 4.
  • the control pulse shown in the period 55 is applied to V1 to V4, whereby the pixel signal of the second line is transferred to the horizontal transfer CCD 23.
  • the pixel signal transferred to the vertical transfer CCD 22 is transferred to V1 to V2 adjacent in the horizontal transfer CCD 23 direction.
  • the pixel signals transferred to the horizontal transfer CCD 23 in contact with the 4i + 0 column and the 4i + 2 column are adjacent to each other.
  • the data is transferred in the direction of the output circuit 24 up to the horizontal transfer CCD 23 in contact with a certain 4i + 1 column and 4i + 3 column.
  • the pixel signal of the third line is transferred to the horizontal transfer CCD 23, and the pixel of the 4i + 0 column of the 2Line and the 4i ⁇ of the 3Line.
  • the pixel in the first column, the pixel in the 4i + 2 column in the second line, and the pixel in the 4i + 1 column in the third line are mixed (second pixel mixing operation).
  • the shape of the pixel mixture corresponds to the pixel mixture shape 62 in FIG.
  • the pixel signal transferred to the vertical transfer CCD 22 is transferred to V3 to V4 adjacent in the horizontal transfer CCD 23 direction. Thereafter, in the period 54, by applying the control pulse shown in FIG. 4, the pixel signal transferred from the vertical transfer CCD 22 to the horizontal transfer CCD 23 is transferred to the output circuit 24, and the output circuit 24 converts the transferred pixel signal into an analog signal. And output from the image sensor 4.
  • FIG. 27 is a diagram (spatial frequency plane) showing an outline of the frequency of a subject and a point where a false color is generated in the pixel mixture and the color filter array of this embodiment.
  • a point 261 indicates a point having a quarter frequency on the horizontal axis when all the pixels are read out independently, and corresponds to the Nyquist frequency when the pixels are read out with mixing.
  • the color component after mixing the pixels has a phase relationship for canceling the false color, so that in principle, no false color is generated.
  • the limit resolution is reduced by incorporating an optical LPF with the point 271 as a null point in an oblique direction, but the overall resolution is suppressed while suppressing the false color. It becomes possible to balance.
  • the first and fifth colors may be red
  • the second, sixth, fourth, and eighth colors may be green
  • the third and seventh colors may be blue.
  • the color filter arranged in the pixel 21 on the image sensor 4 is as shown in FIG. 7, but when the primary color filter is minimized, a unit array 81 as shown in FIG. A color filter array may be used.
  • R shown in the unit array 81 is red, G is green, and B is blue.
  • pixel signals are output as R + B (magenta), R + G (yellow), G + G (green), and B + G (cyan).
  • pixel signals are output as R (red), G (green), and B (blue).
  • the color filter arranged in the pixel 21 on the image sensor 4 is as shown in FIG. 7, but it may be a color filter array having a unit array 91 as shown in FIG.
  • pixel signals are output as R + B (magenta), R + G (yellow), G + G (green), and B + G (cyan).
  • pixel signals are output as R (red), G (green), and B (blue).
  • the color filter arranged in the pixel 21 on the image sensor 4 is as shown in FIG. 7, but it may be a color filter array having the unit array 101 as shown in FIG.
  • pixel signals are output as Mg + Ye, Gr + Cy, Mg + Cy, and Gr + Ye.
  • pixel signals are output as Mg (magenta), Cy (cyan), Ye (yellow), and Gr (green).
  • the color filter arranged in the pixel 21 on the image sensor 4 is as shown in FIG. 7, but it may be a color filter array having the unit array 111 as shown in FIG.
  • pixel signals are output as R + B (magenta), R + G (yellow), G + G (green), and B + G (cyan).
  • pixel signals are output as R (red), G (green), and B (blue).
  • the color filter arranged in the pixel 21 on the image sensor 4 is as shown in FIG. 7, but it may be a color filter array having a unit array 121 as shown in FIG. Specifically, in the unit array 121, filters for filtering the first to sixth colors are arranged in units of 16 pixels of 4 rows ⁇ 4 columns, and the first column includes the first color, the first color Filters are arranged in the order of color, third color, and fourth color. In the second column, filters are arranged in the order of third color, fifth color, first color, and sixth color.
  • filters are arranged in the order of the second color, the fourth color, the fourth color, and the first color
  • the fourth column includes the fourth color and the sixth color.
  • the filters are arranged in the order of the second color and the fifth color.
  • the first color is magenta
  • the second and sixth colors are green
  • the third and fifth colors are yellow
  • the fourth color is cyan.
  • pixel signals are output as Mg + Ye, Gr + Cy, Mg + Cy, and Gr + Ye.
  • pixel signals are output as Mg (magenta), Cy (cyan), Ye (yellow), and Gr (green).
  • a primary color filter can be used.
  • the first color is red
  • the second, third, fifth, and sixth colors are green
  • the fourth color is blue.
  • the color filter arranged in the pixel 21 on the image sensor 4 is as shown in FIG. 7, but it may be a color filter array having a unit array 281 as shown in FIG.
  • pixel signals are output as R + B (magenta), R + G (yellow), G + G (green), and B + G (cyan).
  • pixel signals are output as R (red), G (green), and B (blue).
  • the pixel mixing shape and the generation address may be the pixel mixing shapes 141 and 142.
  • the shape of pixel mixture and the generation address may be the pixel mixture shapes 161 and 162 as shown in FIG.
  • the pixel mixture shape and generation address may be the pixel mixture shapes 181 and 182.
  • the pixel mixture shapes 211 and 212 are further mixed by mixing pixel signals to mix four pixels.
  • the pixel transfer is performed by switching whether the horizontal transfer CCD 23 is transferred in the direction of the output circuit 24 or in the direction opposite to the output circuit 24.
  • the form which reverses right and left may be sufficient.
  • the number of pixels mixed with pixel signals may be varied within one vertical blanking period or may be fixed.
  • the pixel signals of lines further distant may be mixed by increasing the number of gates of the horizontal transfer CCD 23.
  • the pixel mixing may be realized by mixing the pixel signals by the horizontal transfer CCD 23 until the pixel signals are read out.
  • Embodiment 2 of the Invention An imaging system according to Embodiment 2 of the present invention will be described.
  • the imaging system according to the second embodiment of the present invention is obtained by changing a part of the configuration of the first embodiment, and will be described below by paying attention to the difference.
  • This embodiment is different in that the CPU 6 controls the number of mixed pixels of the pixel signal in the image sensor 4.
  • the CPU 6 will be specifically described.
  • the CPU 6 switches, for example, whether to read pixel signals mixedly or read without mixing pixel signals for each functional block arranged in the imaging module 2 or the DSP 5, or performs image processing in the YC processing unit 10. Set the parameters.
  • the CPU 6 notifies the number of pixel signals to be mixed to a TG (timing generator) (not shown) of the imaging module 2 according to the detection result from the level detection unit 9.
  • the TG generates a control pulse for driving the image sensor 4 based on the number of pixel signals mixed notified from the CPU 6.
  • FIG. 22 shows the relationship between the detection result of the level detection unit 9 and the number of mixed pixel signals in the imaging system of the present embodiment.
  • the horizontal axis indicates the detection result of the level detection unit 9 and indicates that the level of the imaging signal output from the image sensor 4 increases, that is, the brightness of the subject increases toward the right side of the horizontal axis.
  • the CPU 6 classifies the brightness of the subject with a plurality of threshold values. Specifically, when the detection result of the level detection unit 9 is smaller than the first threshold value, the pixel signals for 6 pixels are mixed, and the detection result of the level detection unit 9 is larger than the first threshold value and the second threshold value. When it is smaller than the threshold value, the pixel signals for four pixels are mixed. When the detection result of the level detection unit 9 is larger than the second threshold value and smaller than the third threshold value, the pixel signals for two pixels are mixed. If the detection result of the level detector 9 is greater than the third threshold value, the pixel signal is read without mixing the pixels. In this way, the number of mixed pixels can be increased according to the brightness of the subject, and the pixel signal readout speed or sensitivity can be greatly improved.
  • the combination of the number of pixel signals to be mixed is not limited to four but may be two or more.
  • the number of pixel signals to be mixed by the CPU 6 is determined based only on the result of the level detection unit 9, but may be determined according to a value directly designated from the external input 15. . Further, the value specified from the external input 15 may be combined with the detection result of the level detection unit 9, or the above threshold value may be set from the external input 15.
  • Embodiment 3 of the Invention An imaging system according to Embodiment 3 of the present invention will be described.
  • the imaging system according to the third embodiment of the present invention is obtained by changing a part of the configuration of the first embodiment, and will be described below by paying attention to the difference.
  • the structure of the horizontal transfer CCD 23 of the image sensor 4 is different.
  • the 2n + 1 line pixel 21 is arranged with the center of gravity shifted by 1/2 pixel with respect to the 2n line pixel 21, and the vertical transfer CCD 22 and the end of the vertical transfer CCD 22 are arranged for each column of pixels 21.
  • the horizontal transfer CCD 23 is arranged at the part, and the output circuit 24 is arranged at the end of the horizontal transfer CCD 23.
  • the vertical transfer CCD 22 and the horizontal transfer CCD 23 are provided with electrodes V1 to V4 and H1 to H4, respectively.
  • the same control signals are input to V1 to V4 and H1 to H4, respectively.
  • FIG. 23 shows the structure of the image sensor 4 in the present embodiment, in which the gate configuration of the horizontal transfer CCD 23 is a structure in which two combinations of H1 to H4 are continuous for each pixel column.
  • FIG. 24 shows pulses applied to V1 to V4 provided in the vertical transfer CCD 22 and H1 to H4 provided in the horizontal transfer CCD 23.
  • a high voltage read pulse is applied to V 1.
  • the pixel signal accumulated in the pixel 21 is transferred to the gates V1 and V2 of the vertical transfer CCD 22 by this readout pulse. After that, by applying the control pulse shown in the period 51 to V1 to V4 of the vertical transfer CCD 22, the pixel signal of the 0 Line is transferred to the horizontal transfer CCD 23.
  • the pixel signals on the 4n + 0 line and the 4n + 2 line are transferred to the gates V1 and V2 adjacent to the pixels 21 on the 4n-2 line and the 4n + 0 line. Further, the pixel signal of the first line is transferred to the gates V1 and V2 in contact with the horizontal transfer CCD 23, and the pixel signals of the 4n + 1 line and the 4n + 3 line are adjacent to the pixel 21 of the 4n-3 line and the 4n + 1 line. , V2 are transferred.
  • the pixel signals transferred to the horizontal transfer CCD 23 in contact with the 4i + 0 column and the 4i + 2 column are transmitted in adjacent columns.
  • the data is transferred in the opposite direction to the output circuit 24 up to H1 and H2 of the horizontal transfer CCD 23 existing at the intermediate position of the 4i + 1th and 4i + 3th columns.
  • the pixel signals transferred to the horizontal transfer CCD 23 in contact with the 4i + 0 column and the 4i + 2 column are transmitted in adjacent columns.
  • the data is transferred in the opposite direction to the output circuit 24 up to the horizontal transfer CCD 23 adjacent to a certain 4i + 1 column and 4i + 3 column.
  • the pixel signal of the first line is transferred to the horizontal transfer CCD 23, and the pixels in the 4i + 0 column of the 0Line and the 4i + 1 column of the 1Line.
  • the first pixel, the 0Line 4i + 2 column pixel, and the 1Line 4i + 3 column pixel are mixed.
  • the pixel mixture shape corresponds to the pixel mixture shape 251.
  • the pixel signal transferred to the vertical transfer CCD 22 is transferred to V3 to V4 adjacent in the horizontal transfer CCD 23 direction.
  • a pixel signal obtained by mixing a pixel in the 1Line 4i + 1 column, a pixel in the 0Line 4i + 2 column, and a pixel in the 1Line 4i + 3 column is an intermediate position between the 4i + 1 column and the 4i + 3 column that are adjacent columns.
  • the pixel signals of the second, third, and fourth lines are transferred to the horizontal transfer CCD 23 by applying control pulses indicated by periods 245, 246, and 247 to V1 to V4 of the vertical transfer CCD 22.
  • the pixel signal transferred from the vertical transfer CCD 22 to the horizontal transfer CCD 23 is transferred to the output circuit 24 by applying the control pulse shown in FIG.
  • the output circuit 24 converts the transferred pixel signal into an analog voltage signal and outputs it from the image sensor 4.
  • pixels invalid as readout pixel signals are accumulated at locations corresponding to the respective columns in the horizontal transfer CCD 23, but only pixels invalid as readout pixel signals are locally accumulated in a specific horizontal transfer CCD 23. As such, a control pulse may be applied.
  • the gate of the horizontal transfer CCD 23 is configured as H1 to H4.
  • the pixel signals are mixed as shown in the first and second embodiments of the present invention in the combination of H1 to H8, This is a mode in which a control pulse having the same potential is applied to H1 and H2, H3 and H4, H5 and H5, and H7 and H8, respectively, and the transfer method is switched to a different transfer method from that in the pixel signal mixing described in the third embodiment. May be.
  • the gate of the horizontal transfer CCD 23 has a configuration in which two combinations of H1 to H4 are continued for each pixel column, but may have a configuration in which two or more are continuous.
  • the sub voltage may be modulated according to the number of pixels to be mixed so that the saturation of the photodiodes constituting the pixel 21 is adjusted according to the number of pixels with which the pixel signals are mixed.
  • the image sensor 4 has been described as a CCD, but it may be a CMOS sensor or an NMOS sensor.
  • the unit arrangement of the color filters arranged in the image sensor 4 is not limited to the above, and may be reversed up and down, left and right, or the color components may be exchanged.
  • the imaging device has an effect of suppressing the generation of false colors and the decrease in the S / N ratio of color even when sensitized by pixel mixing, and can improve the resolution. It is useful as an imaging apparatus having a large number of arranged pixels and reading out the mixed pixels, an imaging module and an imaging system using the imaging apparatus, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　入射した光を光電変換した画素信号を出力する複数の画素（21）と、各画素（21）に入射する光を濾光するカラーフィルタと、互いに隣り合った行の画素（21）からの画素信号を画素混合して出力する画素混合部（22,23,24）とを設ける。そして、カラーフィルタを、４行×４列の１６画素単位の単位配列（71）の繰り返しパターンで構成し、画素混合後の出力信号により得られる画像において、行方向に互いに隣接する隣接画素を構成するカラーフィルタと、前記隣接画素と行方向の重心位置が同じで且つ列方向に隣接する画素を構成するカラーフィルタとは、色成分の比が等しくなるようにする。

Description

撮像装置、撮像モジュール、及び撮像システム
　本発明は、画素ずらし配置された多数個の画素を有し、画素を混合して読み出す撮像装置、それを用いた撮像モジュール及び撮像システムに関するものである。
　多数個の画素ずらしされた画素からなる撮像装置において、撮像装置からの画素信号読み出しの速度の向上、或いは感度向上の手段として、画素を混合して読み出す技術がある（例えば特許文献１を参照）。
　この特許文献１には、緑色画素とマゼンタ色画素とを交互に繰り返し配置した画素行と、シアン色画素と黄色画素とを交互に繰り返し配置した画素行とを、交互に繰り返し形成し、緑色画素とシアン色画素または黄色画素とを対象に画素加算を行うと共に、マゼンタ色画素と黄色画素またはシアン色画素とを対象に画素加算を行う方法が開示されている。
特開２００３－９１６６号公報
　ところで、上述の特許文献１のような画素混合及びカラーフィルタ配列では、画素混合をして得られる画素の水平軸上のナイキスト周波数において偽色が発生する。そのため、画素ずらし配列された撮像装置のメリットである、近傍の上下ラインの画素データを用いて水平方向の解像度を向上する処理を行っても、画質的に十分な品位を得ることができない。
　図２６は、特許文献１に記載の画素混合、及びカラーフィルタ配列における、被写体の周波数と偽色の発生するポイントの概略を示した図である。
　ポイント２６１は、全画素を独立で読み出した場合の水平軸上の１／４の周波数のポイントを示しており、画素を混合して読み出した場合のナイキスト周波数に相当する。
　特許文献１に記載の撮像素子においては、画素を混合して読み出した場合に、ラインごとに水平オフセットサンプリングの関係をもっているので、水平軸上の解像周波数はポイント２６１のおよそ２倍を有することになる。そのため、水平軸上の解像度を最大限に確保した場合に、その１／２の周波数のポイントで偽色が発生し、画質的に品位が低いものになってしまう。
　一方で、ポイント２６１をヌル点にもつ光学ＬＰＦ等を組み込む対策も考えられるが、水平軸上の解像度の劣化、及び、全画素を独立に読み出した際の解像度の劣化等に加え、コストの上昇が発生し、対策案としては現実的ではない。
　また、画素上に配置されたカラーフィルタが補色にしか対応しておらず、色信号のＳ／Ｎで有利な原色に対応することができていない。
　本発明は、上述した問題に鑑みてなされたものであり、その解決しようとする課題は、画素ずらし配置された多数個の画素を有し、画素を混合して読み出す撮像装置において、画素混合によって増感したときでも、偽色の発生及び色のＳ／Ｎ比の低下を抑圧し、解像度の向上を図ることである。
　上記の課題を解決するため、本発明の一態様は、
　行方向の配置がずれた行列状に配置されて入射した光を光電変換した画素信号を出力する複数の画素と、各画素に入射する光を濾光するカラーフィルタと、複数行の画素からの画素信号を画素混合して出力する画素混合部とを備えた撮像装置であって、
　前記カラーフィルタは、所定の単位配列の繰り返しパターンで構成され、画素混合後の出力信号により得られる画像において、行方向に互いに隣接する隣接画素を構成するカラーフィルタと、前記隣接画素と行方向の重心位置が同じで且つ列方向に隣接する画素を構成するカラーフィルタとは、色成分の比が等しいことを特徴とする。
　これにより、画素を混合した後の色成分が、偽色をキャンセルする位相関係となる。
　本発明によれば、画素ずらし配置された多数個の画素を有し、画素を混合して読み出す撮像装置において、画素混合によって増感したときでも、偽色の発生及び色のＳ／Ｎ比の低下を抑圧し、解像度の向上を図ることができる。
図１は、本発明の実施形態１におけるデジタルビデオカメラの機能構成を示すブロック図である。 図２は、本発明の実施形態１におけるイメージセンサの構造を示す図である。 図３は、本発明の実施形態１における画素信号を混合せずに読み出すためにイメージセンサに印加する制御パルスのタイミング図である。 図４は、本発明の実施形態１における水平転送ＣＣＤに蓄積された画素信号を読み出すために印加する制御パルスのタイミング図である。 図５は、本発明の実施形態１における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスのタイミング図である。 図６は、本発明の実施形態１における画素信号を混合して読み出した際の画素混合形状を示す図である。 図７は、本発明の実施形態１におけるカラーフィルタ配列の単位配列を示す図である。 図８は、本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 図９は、本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 図１０は、本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 図１１は、本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 図１２は、本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 図１３は、本発明の実施形態１における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスの変形例のタイミング図である。 図１４は、本発明の実施形態１における画素信号を混合して読み出した際の画素混合形状の変形例を示す図である。 図１５は、本発明の実施形態１における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスの変形例のタイミング図である。 図１６は、本発明の実施形態１における画素信号を混合して読み出した際の画素混合形状の変形例を示す図である。 図１７は、本発明の実施形態１における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスの変形例のタイミング図である。 図１８は、本発明の実施形態１における画素信号を混合して読み出した際の画素混合形状の変形例を示す図である。 図１９は、本発明の実施形態１における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスの変形例のタイミング図である。 図２０は、本発明の実施形態１における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスの変形例のタイミング図である。 図２１は、本発明の実施形態１における画素信号を混合して読み出した際の画素混合形状の変形例を示す図である。 図２２は、本発明の実施形態２における画素信号を混合する画素数と検知レベルの関係を示す図である。 図２３は、本発明の実施形態３におけるイメージセンサの構造を示す図である。 図２４は、本発明の実施形態３における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスのタイミング図である。 図２５は、本発明の実施形態３における画素信号を混合して読み出した際の画素混合形状の変形例を示す図である。 図２６は、従来の方式による色モアレの発生する周波数を示す図である。 図２７は、本発明による色モアレの発生する周波数を示す図である。 図２８は、本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。
符号の説明
　　１　　　デジタルビデオカメラ（撮像システム）
　　２　　　撮像モジュール
　　３　　　レンズ
　　４　　　イメージセンサ（撮像装置）
　　５　　　ＤＳＰ（デジタル信号処理回路）
　　９　　　レベル検出部
　２１　　　画素
　２２　　　垂直転送ＣＣＤ
　２３　　　水平転送ＣＣＤ
　２４　　　出力回路
　７１，８１，９１，１０１，１１１，１２１，２８１　　　単位配列
　以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態や変形例の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
　《発明の実施形態１》
　図１は、本実施形態における撮像システムの機能構成を示すブロック図である。この撮像システムは、デジタルビデオカメラ１として構成されており、撮像モジュール２、ＤＳＰ５、ＣＰＵ６、及びＳＤＲＡＭ８を備えている。
　（撮像モジュール２の構成）
　撮像モジュール２は、レンズ３、イメージセンサ４（撮像装置）を備えている。また、図示はしていないが、この撮像モジュール２は、イメージセンサ４を駆動するのに必要な制御信号を生成するＴＧ（タイミングジェネレータ）や、イメージセンサ４から出力されたアナログ信号の撮像信号をデジタル信号にＡ／Ｄ変換するＡ／Ｄ変換部も備えている。このイメージセンサ４には、画素信号を混合しない読出し動作と、画素信号を混合する混合読出し動作が可能である。なお、イメージセンサ４の構成については後に詳述する。
　（ＤＳＰ５及びＳＤＲＡＭ８）
　ＤＳＰ５は、メモリコントローラ７、レベル検出部９、ＹＣ処理部１０、圧縮処理部１１、デジタル信号処理部１２を備え、イメージセンサ４からの出力を処理する。
　メモリコントローラ７は、レベル検出部９、ＹＣ処理部１０、圧縮処理部１１、デジタル信号処理部１２においてそれぞれの機能ブロックにおける処理に必要な画素数分画素信号が揃うまで、ＳＤＲＡＭ８に画素信号を書き込むことで保持する。そして、適宜必要に応じてＳＤＲＡＭ８から画素信号を読み出し、レベル検出部９、ＹＣ処理部１０、圧縮処理部１１、デジタル信号処理部１２の機能ブロックに出力する。また、メモリコントローラ７、及びＳＤＲＡＭ８は画素信号だけでなく、ＹＣ処理されることで得られる輝度信号や色信号、圧縮処理することで得られる符号データ等も、書き込み及び読み出しを行う。
　次に、レベル検出部９について説明する。レベル検出部９は、イメージセンサ４から出力される画素信号の画面全体、或いは画面の一部分の平均値等から、画素信号のレベルを算出し、その算出結果をＣＰＵ６に通知する。
　次に、ＹＣ処理部１０について説明する。ＹＣ処理部１０は、イメージセンサ４から出力される画素信号に対して、同時化、フィルタリング処理、周波数補正等を行うことで、輝度信号と色差信号を生成する。
　次に、圧縮処理部１１について説明する。圧縮処理部１１は、イメージセンサ４から出力される画素信号に対して、ＲＡＷデータのレベルで圧縮を行う。さらに、ＹＣ処理部１０によって生成された輝度信号と色差信号に対して、静止画であればＪＰＥＧ、動画であればＨ．２６４のフォーマットに従い、静止画、及び動画の圧縮を行って符号を生成する。
　次に、デジタル信号処理部１２について説明する。デジタル信号処理部１２は、外部に接続されている記録媒体であるＳＤカード１３に対して、データの読み込みやデータの書き出しを行う。さらに、表示媒体であるＬＣＤ１４に対してプレビュー等の画像を表示する。さらに、画角サイズの調整のためのズームによる拡大縮小処理等を行う。
　（ＣＰＵ６の構成）
　次に、ＣＰＵ６について説明する。
　ＣＰＵ６は、撮像モジュール２やＤＳＰ５に配置されている各機能ブロックに対して、例えば、画素信号を混合して読み出すか画素信号を混合せずに読み出すかの切り替えや、ＹＣ処理部１０における画像処理のパラメータ等を設定する。なお、外部入力１５は、レリーズボタンやデジタルビデオカメラ１の動作を設定するための外部からの入力である。
　（イメージセンサ４の構成）
　次に、イメージセンサ４について説明する。図２はイメージセンサ４の構成を示すブロック図である。同図に示すように、イメージセンサ４は、複数の画素２１、垂直転送ＣＣＤ２２、水平転送ＣＣＤ２３、及び出力回路２４を備えている。また、図示はしていないが、画素２１には、カラーフィルタが配置されている。
　イメージセンサ４は、２ｎ＋１ライン目の画素２１を２ｎライン目の画素２１に対して１／２画素分重心をずらして配置されており、画素２１の列毎に垂直転送ＣＣＤ２２、垂直転送ＣＣＤ２２の端部に水平転送ＣＣＤ２３、水平転送ＣＣＤ２３の端部に出力回路２４がそれぞれ配置された構成となっている。
　垂直転送ＣＣＤ２２、及び水平転送ＣＣＤ２３には、それぞれＶ１～Ｖ４、Ｈ１～Ｈ４の電極（ゲート）が備わっていて、Ｖ１～Ｖ４、Ｈ１～Ｈ４には、それぞれ同じ制御信号が入力される。
　画素２１は、画素２１に入射した光を光電変換することで、電荷信号に変換し画素信号を得る。画素２１に蓄積された画素信号は、撮像モジュール２内のＴＧから入力された制御信号により、画素２１から垂直転送ＣＣＤ２２へ転送される。
　垂直転送ＣＣＤ２２に転送された画素信号は、ＴＧから入力された制御信号により、水平転送ＣＣＤ２３に向けて順次転送される。そして、水平転送ＣＣＤ２３に転送された画素信号は、ＴＧから入力された制御信号により、出力回路２４へ転送される。
　その際、画素信号を混合しないで読み出す場合には、水平転送ＣＣＤ２３に転送された画素信号は、水平順転送により出力回路２４へ転送される。また、画素信号を混合して読み出す場合には、水平転送ＣＣＤ２３に転送された画素信号は、出力回路２４へ転送する水平順転送と、出力回路２４の逆方向へ転送する水平逆転送を組み合わせた転送により出力回路２４へ転送される。
　出力回路２４は、水平転送ＣＣＤ２３によって転送されてきた電荷である画素信号をアナログの電圧信号に変換して出力する。この出力回路２４は、上記の垂直転送ＣＣＤ２２、水平転送ＣＣＤ２３とともに、画素混合部を構成している。
　（イメージセンサ４のカラーフィルタ）
　既述の通り、イメージセンサ４の画素２１には、カラーフィルタが配置されている。図７は、本実施形態のイメージセンサ４の画素２１に配置されているカラーフィルタを説明する図である。
　カラーフィルタは、単位配列７１の繰り返しパターンで構成されている。詳しくは、単位配列は、第１から第８の色をそれぞれ濾光するフィルタが４行×４列の１６画素単位に配列され、第１列目は、第１の色、第５の色、第２の色、第６の色の順でフィルタが配置され、第２列目は、第３の色、第７の色、第４の色、第８の色の順でフィルタが配置され、第３列目は、第２の色、第６の色、第１の色、第５の色の順でフィルタが配置され、第４列目は、第４の色、第８の色、第３の色、第７の色の順でフィルタが配置されている。そして、第１及び第５の色がマゼンダ、第２及び第６の色がグリーン、第３の色及び第７がイエロー、第４の色及び第８がシアンである。
　このカラーフィルタでは、画素信号を混合しないで読み出す場合では、被写体からの入射光がそれぞれのカラーフィルタによって濾光されて画素２１において光電変換された後、Ｍｇ（マゼンダ）、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｇｒ（グリーン）の画素信号として読み出されることになる。
　一方で、画素信号を混合して読み出す場合では、被写体からの入射光がそれぞれのカラーフィルタによって濾光されて画素２１において光電変換された後、Ｍｇ（マゼンダ）、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｇｒ（グリーン）の画素信号となり、出力回路２４に画素信号が到達する前に、図６に示すパターンでＭｇ＋Ｙｅ、Ｇｒ＋Ｃｙ、Ｍｇ＋Ｃｙ、Ｇｒ＋Ｙｅのように混合され、その混合された画素信号が読み出されることになる。
　《デジタルビデオカメラ１（撮像システム）の動作》
　（全体の動作）
　デジタルビデオカメラ１により撮影を行うと、被写体はレンズ３を通してイメージセンサ４に入光し、イメージセンサ４上の画素において光電変換され、撮像信号としてＤＳＰ５へ出力される。この撮像信号は、メモリコントローラ７を介して、ＳＤＲＡＭ８に対して読み出しと書き込みが行われ、レベル検出部９、ＹＣ処理部１０、圧縮処理部１１、デジタル信号処理部１２、記録媒体であるＳＤカード１３、表示媒体であるＬＣＤ１４に対して、信号の入出力が実現される。
　具体的には、レベル検出部９は、撮像信号のレベルを検出し、撮像信号のレベルをＣＰＵ６に通知する。ＹＣ処理部１０は、撮像信号に対してフィルタリングや同時化等を行い、撮像信号をＹＣ信号に変換する。また、圧縮処理部１１は、撮像信号、又はＹＣ信号を、例えば静止画ならばＪＰＥＧ、動画ならばＨ．２６４等のフォーマットに従いデータ量の圧縮を行う。
　デジタル信号処理部１２は、ズーム処理、傷補正、照明光色温度検出等のビデオカメラとしての動作に必要な信号処理を行う。
　一方で、ＣＰＵ６は、デジタルビデオカメラ１がユーザの期待する動作を実現するのに必要な制御信号を、イメージセンサ４、ＤＳＰ５の各機能ブロックに対して出力する。
　（イメージセンサの駆動）
　イメージセンサ４が映像信号を上記のように出力する際の該イメージセンサ４の駆動方法について説明する。既述の通り、このイメージセンサ４には、画素信号を混合しない読出し動作と、画素信号を混合して読み出す動作の２種類の動作がある。
　－画素信号を混合しない読出し動作（第一の読出し動作）－
　まず、画素信号を混合しないで読み出す場合について説明する。
　図３は、垂直転送ＣＣＤ２２に備わっているゲートＶ１～Ｖ４、及び水平転送ＣＣＤ２３に備わっているゲートＨ１～Ｈ４にそれぞれ印加されるパルスである。図３に示すように、期間３１において、画素２１に蓄積されている画素信号を垂直転送ＣＣＤ２２に転送するために、ゲートＶ１に対して高電圧の読み出しパルスを印加する。この読み出しパルスにより、画素２１に蓄積されている画素信号が垂直転送ＣＣＤ２２のゲートＶ１，Ｖ２に転送される。
　その後、期間３２において、図３に示す制御パルスをＶ１～Ｖ４に印加することで、画素２１から垂直転送ＣＣＤ２２に読み出された画素信号が水平転送ＣＣＤ２３に転送される。
　さらに、その後、期間３３において、水平転送ＣＣＤ２３のＨ１～Ｈ４へ、図４に示す制御パルスを印加することで、垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３に転送された画素信号を出力回路２４へ転送し、出力回路２４は転送された画素信号をアナログの電圧信号に変換してイメージセンサ４から出力する。
　なお、図３、図４では図を簡便化するために全体の期間の一部しか示していないが、イメージセンサ４の画素数に応じて、各期間、各印加パルス数は変動する。
　－混合読出し動作（第二の読出し動作）－
　次に、画素信号を混合して読み出す場合について説明する。
　図５は、垂直転送ＣＣＤ２２に備わっているゲートＶ１～Ｖ４、及び水平転送ＣＣＤ２３に備わっているゲートＨ１～Ｈ４に印加されるパルスである。
　期間５１において、画素２１に蓄積されている画素信号を垂直転送ＣＣＤ２２に転送するために、Ｖ１に対して高電圧の読み出しパルスを印加する。この読み出しパルスにより、画素２１に蓄積されている画素信号が垂直転送ＣＣＤ２２のゲートＶ１，Ｖ２に転送され、その後に、垂直転送ＣＣＤ２２のＶ１～Ｖ４に期間５１に示される制御パルスを印加することで、０Ｌｉｎｅ目の画素信号が水平転送ＣＣＤ２３に転送される。
　一方で、４ｎ＋０ライン目と４ｎ＋２ライン目の画素信号は、４ｎ－２ライン目と４ｎ＋０ライン目の画素２１に隣接するゲートＶ１，Ｖ２まで転送される。さらに、１Ｌｉｎｅ目の画素信号は、水平転送ＣＣＤ２３に接するゲートＶ１、Ｖ２まで転送され、４ｎ＋１ライン目と４ｎ＋３ライン目の画素信号は、４ｎ－３ライン目と４ｎ＋１ライン目の画素２１に隣接するゲートＶ１，Ｖ２まで転送される。
　その後、期間５２において、期間５２に示される制御パルスをＨ１～Ｈ４に印加することで、４ｉ＋０列目、及び、４ｉ＋２列目に接する水平転送ＣＣＤ２３に転送されている画素信号が、隣接する列である４ｉ＋１列目、及び、４ｉ＋３列目に接する水平転送ＣＣＤ２３まで出力回路２４と逆の方向に転送される。
　その後、期間５３において、期間５３に示される制御パルスをＶ１～Ｖ４に印加することで、１Ｌｉｎｅ目の画素信号が水平転送ＣＣＤ２３へ転送される。そして、０Ｌｉｎｅ目の４ｉ＋０列目の画素と１Ｌｉｎｅ目の４ｉ＋１列目の画素、０Ｌｉｎｅ目の４ｉ＋２列目の画素と１Ｌｉｎｅ目の４ｉ＋３列目の画素が混合される（第一の画素混合動作）。画素の混合の形状を示したものが図６における画素混合形状６１に相当する。
　一方で、垂直転送ＣＣＤ２２に転送されている画素信号は、水平転送ＣＣＤ２３方向に隣接しているＶ３～Ｖ４に転送される。その後、期間５４において、図４に示す制御パルスを印加することで、垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３に転送された画素信号を出力回路２４へ転送し、出力回路２４は転送された画素信号をアナログの電圧信号に変換してイメージセンサ４から出力する。その後、期間５５において、期間５５に示される制御パルスをＶ１～Ｖ４に印加することで、２Ｌｉｎｅ目の画素信号が水平転送ＣＣＤ２３に転送される。
　一方で、垂直転送ＣＣＤ２２に転送されている画素信号は、水平転送ＣＣＤ２３方向に隣接しているＶ１～Ｖ２に転送される。その後、期間５６において、期間５５に示される制御パルスをＨ１～Ｈ４に印加することで、４ｉ＋０列目、及び、４ｉ＋２列目に接する水平転送ＣＣＤ２３に転送されている画素信号が、隣接する列である４ｉ＋１列目、及び、４ｉ＋３列目に接する水平転送ＣＣＤ２３まで出力回路２４の方向に転送される。
　その後、期間５３において、期間５３に示される制御パルスをＶ１～Ｖ４に印加することで、３Ｌｉｎｅ目の画素信号が水平転送ＣＣＤ２３へ転送され、２Ｌｉｎｅ目の４ｉ＋０列目の画素と３Ｌｉｎｅ目の４ｉ－１列目の画素、２Ｌｉｎｅ目の４ｉ＋２列目の画素と３Ｌｉｎｅ目の４ｉ＋１列目の画素が混合される（第二の画素混合動作）。画素の混合の形状を示したものが図６における画素混合形状６２に相当する。
　一方で、垂直転送ＣＣＤ２２に転送されている画素信号は、水平転送ＣＣＤ２３方向に隣接しているＶ３～Ｖ４に転送される。その後、期間５４において、図４に示す制御パルスを印加することで、垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３に転送された画素信号を出力回路２４へ転送し、出力回路２４は転送された画素信号をアナログの電圧信号に変換してイメージセンサ４から出力する。
　以降、同様に図５に示す制御パルスを印加することで、所定の画素の混合が行われ、イメージセンサ４からは画素を混合した信号が画素信号として出力される。
　以上のように本実施形態によれば、画素混合後の出力信号により得られる画像において列方向に並んだ位置に対応した出力信号が、偽色をキャンセルする位相関係となる。図２７は、本実施形態の画素混合、及びカラーフィルタ配列における、被写体の周波数と偽色の発生するポイントの概略を示した図（空間周波数平面）である。図２７において、ポイント２６１は、全画素を独立で読み出した場合の水平軸上の１／４の周波数のポイントを示しており、画素を混合して読み出した場合のナイキスト周波数に相当する。ポイント２６１では、画素を混合した後の色成分が偽色をキャンセルする位相関係となるため、原理的に偽色が発生しない。そのため、水平軸上の解像度を限界まで伸ばすことが可能になる。すなわち、本実施形態によれば、画素混合によって増感したときでも、偽色の発生及び色のＳ／Ｎ比の低下を抑圧し、解像度の向上を図ることができる。なお、ポイント２７１では偽色が発生することになるが、ポイント２７１をヌル点とする光学ＬＰＦを斜め方向に組み込むことで、限界の解像度は減少するが、偽色を抑圧しつつ全体的な解像度のバランスをとることも可能になる。
　《実施形態１の変形例１》
　なお、単位配列７１は、第１及び第５の色が赤色、第２、第６、第４、及び第８の色が緑色、第３及び第７の色が青色としてもよい。
　また、上記においては、イメージセンサ４上の画素２１に配置されているカラーフィルタを、図７のようにしたが、原色のカラーフィルタを最小する場合には、図８のような単位配列８１をもつカラーフィルタ配列としてもよい。単位配列８１に示されているＲは赤で、Ｇは緑で、Ｂは青である。
　このようにすれば、画素を混合して読み出す場合は、Ｒ＋Ｂ（マゼンダ）、Ｒ＋Ｇ（イエロー）、Ｇ＋Ｇ（グリーン）、Ｂ＋Ｇ（シアン）として画素信号が出力される。また、画素を混合しないで読み出す場合には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）として画素信号が出力される。
　《実施形態１の変形例２》
　また、上記においては、イメージセンサ４上の画素２１に配置されているカラーフィルタを、図７のようにしたが、図９のような単位配列９１をもつカラーフィルタ配列としてもよい。
　このようにすれば、画素を混合して読み出す場合は、Ｒ＋Ｂ（マゼンダ）、Ｒ＋Ｇ（イエロー）、Ｇ＋Ｇ（グリーン）、Ｂ＋Ｇ（シアン）として画素信号が出力される。また、画素を混合しないで読み出す場合には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）として画素信号が出力される。
　《実施形態１の変形例３》
　上記においては、イメージセンサ４上の画素２１に配置されているカラーフィルタを、図７のようにしたが、図１０のような単位配列１０１をもつカラーフィルタ配列としてもよい。
　このようにすれば、画素を混合して読み出す場合は、Ｍｇ＋Ｙｅ、Ｇｒ＋Ｃｙ、Ｍｇ＋Ｃｙ、Ｇｒ＋Ｙｅとして画素信号が出力される。また、画素を混合しないで読み出す場合には、Ｍｇ（マゼンダ）、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｇｒ（グリーン）として画素信号が出力される。
　《実施形態１の変形例４》
　上記においては、イメージセンサ４上の画素２１に配置されているカラーフィルタを、図７のようにしたが、図１１のような単位配列１１１をもつカラーフィルタ配列としてもよい。
　このようにすれば、画素を混合して読み出す場合は、Ｒ＋Ｂ（マゼンダ）、Ｒ＋Ｇ（イエロー）、Ｇ＋Ｇ（グリーン）、Ｂ＋Ｇ（シアン）として画素信号が出力される。また、画素を混合しないで読み出す場合には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）として画素信号が出力される。
　《実施形態１の変形例５》
　上記においては、イメージセンサ４上の画素２１に配置されているカラーフィルタを、図７のようにしたが、図１２のような単位配列１２１をもつカラーフィルタ配列としてもよい。詳しくは、この単位配列１２１は、第１から第６の色をそれぞれ濾光するフィルタが４行×４列の１６画素単位に配列され、第１列目は、第１の色、第１の色、第３の色、第４の色の順でフィルタが配置され、第２列目は、第３の色、第５の色、第１の色、第６の色の順でフィルタが配置され、第３列目は、第２の色、第４の色、第４の色、第１の色の順でフィルタが配置され、第４列目は、第４の色、第６の色、第２の色、第５の色の順でフィルタが配置されている。そして、この例では、第１の色がマゼンダ、第２及び第６の色がグリーン、第３及び第５の色がイエロー、第４の色がシアンである。
　このようにすれば、画素を混合して読み出す場合は、Ｍｇ＋Ｙｅ、Ｇｒ＋Ｃｙ、Ｍｇ＋Ｃｙ、Ｇｒ＋Ｙｅとして画素信号が出力される。また、画素を混合しないで読み出す場合には、Ｍｇ（マゼンダ）、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｇｒ（グリーン）として画素信号が出力される。
　また、単位配列１２１では、原色のカラーフィルタの採用も可能である。この場合には、第１の色を赤色、第２、第３、第５、第６の色を緑色、第４の色を青色とする。
　《実施形態１の変形例６》
　上記においては、イメージセンサ４上の画素２１に配置されているカラーフィルタを、図７のようにしたが、図２８のような単位配列２８１をもつカラーフィルタ配列としてもよい。
　このようにすれば、画素を混合して読み出す場合は、Ｒ＋Ｂ（マゼンダ）、Ｒ＋Ｇ（イエロー）、Ｇ＋Ｇ（グリーン）、Ｂ＋Ｇ（シアン）として画素信号が出力される。また、画素を混合しないで読み出す場合には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）として画素信号が出力される。
　《実施形態１の変形例７》
　上記においては、イメージセンサ４上の画素信号を混合して読み出す際に印加する制御パルスを図５のようにしたが、図１３のようにしてもよい。
　図１３のような制御パルスを印加することで図１４に示すように、画素の混合の形状と生成アドレスが画素混合形状１４１と１４２になるような形態であってもよい。
　《実施形態１の変形例８》
　上記においては、イメージセンサ４上の画素信号を混合して読み出す際に印加する制御パルスを図５のようにしたが、図１５のように０ライン目を読み捨てて上述の画素を混合する動作を行う形態としてもよい。
　また、図１５のような制御パルスを印加することで図１６に示すように、画素の混合の形状と生成アドレスが画素混合形状１６１と１６２になるような形態であってもよい。
　《実施形態１の変形例９》
　上記においては、イメージセンサ４上の画素信号を混合して読み出す際に印加する制御パルスを図５のようにしたが、図１７のように０ライン目を読み捨てて上述の画素を混合する動作を行う形態としてもよい。
　図１７のような制御パルスを印加することで図１８に示すように、画素の混合の形状と生成アドレスが画素混合形状１８１と１８２になるような形態であってもよい。
　《実施形態１の変形例１０》
　上記においては、画素の混合する形状の変化については特に限定をしていないが、所定の垂直帰線期間毎に、実施形態１、或いはその変形例７～９で示した画素を混合する形状を、組み合わせて駆動する形態（すなわち、インタレース方式により画素信号を読み出す形態）であってもよい。このようにすれば、複数枚の画像を利用して画像を生成する際に、単一のフレーム画像では存在しないアドレスの画素を読み出すことが可能になるので、より高精細な画像を生成することが可能になる。
　《実施形態１の変形例１１》
　上記においては、画素を混合してイメージセンサ４から読み出す際に、１水平帰線期間で２ｎライン目の画素と２ｎ＋１ライン目の画素を混合した画素信号を読み出す形態としたが、図１９に示すような制御パルスを印加し、１水平帰線期間に、２ｎライン目の画素と２ｎ＋１ライン目の画素を混合した画素信号と、２ｎ＋２ライン目の画素と２ｎ＋３ライン目の画素を混合した画素信号を読み出す形態であってもよい。
　《実施形態１の変形例１２》
　上記においては、イメージセンサ４上の画素信号を混合して読み出す際に印加する制御パルスを図５のようにしたが、図２０のようにしてもよい。
　図２０のような制御パルスを印加することで図２１に示すように、画素の混合の形状を示したものが画素混合形状２１１と２１２と２１３に変更することが可能になる。特に、画素混合形状２１１と２１２は、画素信号を混合したものをさらに混合し、４画素の混合を行っている。
　図示はしていないが、画素信号を水平転送ＣＣＤ２３で混合する際に、水平転送ＣＣＤ２３を出力回路２４方向に転送するか、出力回路２４と逆の方向に転送するかを入れ替えることで画素混合の形状を左右反転する形態であってもよい。
　さらに、図示しているように、画素信号を混合する画素数を、一垂直帰線期間内に変動させてもよいし、固定していてもよい。
　さらに、水平転送ＣＣＤ２３のゲート数を増加させることでさらに離れたラインの画素信号同士を混合する形態であってもよい。
　さらに、画素信号を読み出すまでに水平転送ＣＣＤ２３で画素信号を混合することで、画素混合を実現する形態であってもよい。
　《発明の実施形態２》
　本発明の実施形態２における撮像システムについて説明する。本発明の実施形態２における撮像システムは、実施形態１の一部の構成を変更したものであり、以下、当該相違点に着目して説明する。
　本実施形態においては、ＣＰＵ６がイメージセンサ４における画素信号の混合画素数を制御するという点で異なっている。具体的にＣＰＵ６について説明する。
　ＣＰＵ６は、撮像モジュール２やＤＳＰ５に配置されている各機能ブロックに対して、例えば、画素信号を混合して読み出すか画素信号を混合せずに読み出すかの切り替えや、ＹＣ処理部１０における画像処理のパラメータ等を設定する。
　本実施形態においては、レベル検出部９からの検出結果に応じて、ＣＰＵ６は撮像モジュール２のＴＧ（タイミングジェネレータ）（不図示）に対して、混合する画素信号の数を通知する。これにより、ＴＧは、ＣＰＵ６から通知された画素信号の混合数に基づいて、イメージセンサ４を駆動するための制御パルスを生成する。
　図２２は、本実施形態の撮像システムにおける、レベル検出部９の検知結果と画素信号の混合数の関係を示したものである。横軸は、レベル検出部９の検知結果であり、横軸の右側になるにつれて、イメージセンサ４から出力された撮像信号のレベルが大きい、すなわち、被写体の明るさが明るいことを示している。
　ＣＰＵ６は、図２２に示すように、被写体の明るさを複数の閾値で場合分けを行う。具体的には、第１の閾値よりレベル検出部９の検知結果が小さい場合は、６画素分の画素信号の混合を行い、レベル検出部９の検知結果が第１の閾値より大きく第２の閾値より小さい場合は、４画素分の画素信号の混合を行い、レベル検出部９の検知結果が第２の閾値より大きく第３の閾値より小さい場合は、２画素分の画素信号の混合を行い、第３の閾値よりレベル検出部９の検知結果が大きい場合は、画素の混合を行わずに画素信号を読み出す。このようにすれば、被写体の明るさに応じて、画素の混合数を増加させることが可能になり、画素信号の読み出し速度、或いは感度の大幅な向上を行うことが可能になる。
　《実施形態２の変形例１》
　上記においては、混合する画素信号の数を６、４、２、１画素としたが、その他の組み合わせであってもよい。
　さらに、混合する画素信号の数の組み合わせを４通りではなく、２通り以上とした形態であってもよい。
　《実施形態２の変形例２》
　上記においては、ＣＰＵ６が混合する画素信号の数をレベル検出部９の結果にのみ基づいて決定していたが、外部入力１５から直接指定された値に応じて決定される方式であっても良い。また、外部入力１５から指定された値とレベル検出部９の検出結果を組み合わせても良いし、外部入力１５から上記の閾値を設定する形態であってもよい。
　《発明の実施形態３》
　本発明の実施形態３における撮像システムについて説明する。本発明の実施形態３における撮像システムは、実施形態１の一部の構成を変更したものであり、以下、当該相違点に着目して説明する。本実施形態においては、イメージセンサ４の水平転送ＣＣＤ２３の構造において異なっている。
　（１）イメージセンサの構成
　まず、撮像モジュール２に配置されているイメージセンサ４の構成について説明する。
　イメージセンサ４は、２ｎ＋１ライン目の画素２１を２ｎライン目の画素２１に対して１／２画素分重心をずらして配置されており、画素２１の列毎に垂直転送ＣＣＤ２２、垂直転送ＣＣＤ２２の端部に水平転送ＣＣＤ２３、水平転送ＣＣＤ２３の端部に出力回路２４が配置された構成となっている。
　垂直転送ＣＣＤ２２、及び水平転送ＣＣＤ２３には、それぞれＶ１～Ｖ４、Ｈ１～Ｈ４の電極が備わっている。Ｖ１～Ｖ４、Ｈ１～Ｈ４には、それぞれ同じ制御信号が入力される。
　図２３は、本実施形態におけるイメージセンサ４の構造であって、水平転送ＣＣＤ２３のゲート構成が、画素列毎にＨ１～Ｈ４の組み合わせが二つ連続した構造となっている。
　（２）イメージセンサの駆動
　次に、イメージセンサ４の駆動方法について説明する。
　画素信号を混合しないで画素信号を読み出す場合は概ね同一であり、画素信号を混合して画素信号を読み出す場合の駆動方法が異なっている。
　図２４は、垂直転送ＣＣＤ２２に備わっているＶ１～Ｖ４、及び水平転送ＣＣＤ２３に備わっているＨ１～Ｈ４に印加されるパルスである。期間２４１において、画素２１に蓄積されている画素信号を垂直転送ＣＣＤ２２に転送するために、Ｖ１に対して高電圧の読み出しパルスを印加する。
　この読み出しパルスにより、画素２１に蓄積されている画素信号が垂直転送ＣＣＤ２２のゲートＶ１，Ｖ２に転送される。その後に、垂直転送ＣＣＤ２２のＶ１～Ｖ４に期間５１に示される制御パルスを印加することで、０Ｌｉｎｅ目の画素信号が水平転送ＣＣＤ２３に転送される。
　一方で、４ｎ＋０ライン目と４ｎ＋２ライン目の画素信号は、４ｎ－２ライン目と４ｎ＋０ライン目の画素２１に隣接するゲートＶ１，Ｖ２まで転送される。さらに、１Ｌｉｎｅ目の画素信号は水平転送ＣＣＤ２３に接するゲートＶ１、Ｖ２まで転送され、４ｎ＋１ライン目と４ｎ＋３ライン目の画素信号は、４ｎ－３ライン目と４ｎ＋１ライン目の画素２１に隣接するゲートＶ１，Ｖ２まで転送される。
　その後、期間２４２において、期間２４２に示される制御パルスをＨ１～Ｈ４に印加することで、４ｉ＋０列目、及び、４ｉ＋２列目に接する水平転送ＣＣＤ２３に転送されている画素信号が、隣接する列である４ｉ＋１列目、及び４ｉ＋３列目の中間位置に存在する水平転送ＣＣＤ２３のＨ１、Ｈ２まで出力回路２４と逆の方向に転送される。
　その後、期間２４２において、期間２４２に示される制御パルスをＨ１～Ｈ４に印加することで、４ｉ＋０列目、及び、４ｉ＋２列目に接する水平転送ＣＣＤ２３に転送されている画素信号が、隣接する列である４ｉ＋１列目、及び、４ｉ＋３列目に隣接する水平転送ＣＣＤ２３まで出力回路２４と逆の方向に転送される。
　その後、期間２４３において、期間２４３に示される制御パルスをＶ１～Ｖ４に印加することで、１Ｌｉｎｅ目の画素信号が水平転送ＣＣＤ２３へ転送され、０Ｌｉｎｅ目の４ｉ＋０列目の画素と１Ｌｉｎｅ目の４ｉ＋１列目の画素、０Ｌｉｎｅ目の４ｉ＋２列目の画素と１Ｌｉｎｅ目の４ｉ＋３列目の画素が混合される。画素の混合の形状を示したものが画素混合形状２５１に相当する。
　一方で、垂直転送ＣＣＤ２２に転送されている画素信号は、水平転送ＣＣＤ２３方向に隣接しているＶ３～Ｖ４に転送される。
　その後、期間２４４において、期間２４４に示される制御パルスをＨ１～Ｈ４に印加することで、４ｉ＋１列目、及び４ｉ＋３列目に接する水平転送ＣＣＤ２３に転送されている０Ｌｉｎｅ目の４ｉ＋０列目の画素と１Ｌｉｎｅ目の４ｉ＋１列目の画素、０Ｌｉｎｅ目の４ｉ＋２列目の画素と１Ｌｉｎｅ目の４ｉ＋３列目の画素が混合された画素信号が、隣接する列である４ｉ＋１列目、及び４ｉ＋３列目の中間位置に存在する水平転送ＣＣＤ２３のＨ１、Ｈ２まで出力回路２４の方向に転送される。
　その後に、垂直転送ＣＣＤ２２のＶ１～Ｖ４に期間２４５，２４６，２４７に示される制御パルスを印加することで、２、３、４ライン目の画素信号が水平転送ＣＣＤ２３まで転送される。
　その後、期間２４８において、図４に示す制御パルスを印加することで、垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３に転送された画素信号を出力回路２４へ転送する。これにより、出力回路２４は転送された画素信号をアナログの電圧信号に変換してイメージセンサ４から出力する。
　以下同様に図２４に示す制御パルスを印加することで、図２５に示す画素信号の混合形状を実現することができる。
　なお、上記において、読み出し画素信号として無効な画素を、水平転送ＣＣＤ２３において各列に対応した場所で蓄積を行ったが、読み出し画素信号として無効な画素のみを特定の水平転送ＣＣＤ２３に局所的に蓄積するように制御パルスを印加しても良い。
　《実施形態３の変形例１》
　上記においては、水平転送ＣＣＤ２３のゲートをＨ１～Ｈ４として構成したが、Ｈ１～Ｈ８のような組み合わせにして、本発明の実施形態１や実施形態２で示した画素信号の混合を行う際には、それぞれＨ１とＨ２、Ｈ３とＨ４、Ｈ５とＨ５、Ｈ７とＨ８が同じポテンシャルになる制御パルスを印加し、実施形態３で示した画素信号の混合を行う際と異なる転送方法と切り替える形態であってもよい。
　《実施形態３の変形例２》
　上記においては、水平転送ＣＣＤ２３のゲートが、画素列毎にＨ１～Ｈ４の組み合わせが２つ連続した構成としたが、２つ以上連続する構成であってもよい。
　《実施形態３の変形例３》
　上記において、画素信号を混合する画素数に応じて、画素２１を構成するフォトダイオードの飽和を調整するように、ｓｕｂ電圧（基板電圧）を、混合する画素数に応じて変調しても良い。
　《実施形態３の変形例４》
　上記において、無効ラインの画素として読み捨てるための画素信号を水平転送ＣＣＤ２３で混合し出力していたが、垂直転送ＣＣＤ２２の読み出しゲートであるＶ１を幾つかにグループ分けをして、画素２１から読み出さない形態としてもよい。
　《その他の実施形態》
　なお、上記の説明は本発明を限定する物ではなく、発明の範囲内で種々の変更が可能である。例えば、上記の説明においては、イメージセンサ４をＣＣＤとして説明したが、ＣＭＯＳセンサであってもよいし、ＮＭＯＳセンサであってもよい。
　また、イメージセンサ４に配置されているカラーフィルタの単位配列は、上記に限らず上下左右反転であってもよいし、色成分の入れ替えを行っても良い。
　本発明に係る撮像装置は、画素混合によって増感したときでも、偽色の発生及び色のＳ／Ｎ比の低下を抑圧し、解像度の向上を図ることができるという効果を有し、画素ずらし配置された多数個の画素を有し、画素を混合して読み出す撮像装置、それを用いた撮像モジュール及び撮像システム等として有用である。

Claims (18)

  1. 　行方向の配置がずれた行列状に配置されて入射した光を光電変換した画素信号を出力する複数の画素と、各画素に入射する光を濾光するカラーフィルタと、複数行の画素からの画素信号を画素混合して出力する画素混合部とを備えた撮像装置であって、
    　前記カラーフィルタは、所定の単位配列の繰り返しパターンで構成され、画素混合後の出力信号により得られる画像において、行方向に互いに隣接する隣接画素を構成するカラーフィルタと、前記隣接画素と行方向の重心位置が同じで且つ列方向に隣接する画素を構成するカラーフィルタとは、色成分の比が等しいことを特徴とする撮像装置。
  2. 　請求項１の撮像装置において、
    　前記単位配列は、第１から第８の色をそれぞれ濾光するフィルタが４行×４列の１６画素単位に配列され、
    　第１列目は、第１の色、第５の色、第２の色、第６の色の順でフィルタが配置され、
    　第２列目は、第３の色、第７の色、第４の色、第８の色の順でフィルタが配置され、
    　第３列目は、第２の色、第６の色、第１の色、第５の色の順でフィルタが配置され、
    　第４列目は、第４の色、第８の色、第３の色、第７の色の順でフィルタが配置されていることを特徴とする撮像装置。
  3. 　請求項１の撮像装置において、
    　前記単位配列は、第１から第６の色をそれぞれ濾光するフィルタが４行×４列の１６画素単位に配列され、
    　第１列目は、第１の色、第１の色、第３の色、第４の色の順でフィルタが配置され、
    　第２列目は、第３の色、第５の色、第１の色、第６の色の順でフィルタが配置され、
    　第３列目は、第２の色、第４の色、第４の色、第１の色の順でフィルタが配置され、
    　第４列目は、第４の色、第６の色、第２の色、第５の色の順でフィルタが配置されていることを特徴とする撮像装置。
  4. 　請求項２の撮像装置において、
    　前記単位配列は、第１及び第５の色がマゼンダ、第２及び第６の色がグリーン、第３の色及び第７がイエロー、第４及び第８の色がシアンであることを特徴とする撮像装置。
  5. 　請求項２の撮像装置において、
    　前記単位配列は、第１及び第５の色が赤色、第２、第６、第４、及び第８の色が緑色、第３及び第７の色が青色であることを特徴とする撮像装置。
  6. 　請求項３の撮像装置において、
    　前記単位配列は、第１の色がマゼンダ、第２及び第６の色がグリーン、第３及び第５の色がイエロー、第４の色がシアンであることを特徴とする撮像装置。
  7. 　請求項３の撮像装置において、
    　前記単位配列は、第１の色が赤色、第２、第３、第５、第６の色が緑色、第４の色が青色であることを特徴とする撮像装置。
  8. 　請求項２の撮像装置において、
    　前記単位配列は、第１及び第５の色が赤色、第２、第６、第４、及び第７の色が緑色、第３及び第８の色が青色であることを特徴とする撮像装置。
  9. 　請求項３の撮像装置において、
    　前記単位配列は、第１の色が赤色、第２、第３、第５、及び第６の色が緑色、第４の色が青色であることを特徴とする撮像装置。
  10. 　請求項２の撮像装置において、
    　前記単位配列は、第１及び第５の色が赤色、第２、第６、第４、及び第８の色が緑色、第３及び第７の色が青色であることを特徴とする撮像装置。
  11. 　請求項１の撮像装置において、
    　前記画素混合部は、インタレース方式により前記画素信号を読み出すように構成されていることを特徴とする撮像装置。
  12. 　請求項１の撮像装置において、
    　前記画素混合部は、３個以上の画素の画素信号を混合するように構成されていることを特徴とする撮像装置。
  13. 　請求項１の撮像装置において、
    　前記画素混合部は、所定の行を間引いて前記画素信号を読み出すように構成されていることを特徴とする撮像装置。
  14. 　請求項１の撮像装置において、
    　前記画素は、ＣＣＤ、ＣＭＯＳ、又はＮＭＯＳにより構成されていることを特徴とする撮像装置。
  15. 　請求項１の撮像装置において、
    　さらに、各画素から読み出された画素信号のレベルを検知するレベル検出部を備え、
    　前記画素混合部は、前記レベル検出部が検出した画素信号のレベルに応じて、画素混合する画素数を変更することを特徴とする撮像装置。
  16. 　請求項１の撮像装置において、
    　前記画素混合部は、画素混合する画素数を外部から変更できるように構成されていることを特徴とする撮像装置。
  17. 　請求項１の撮像装置と、
    　レンズと、
    　を備えて映像信号を出力することを特徴とする撮像モジュール。
  18. 　請求項１７の撮像モジュールと、
    　前記撮像モジュールが出力した映像信号を処理するデジタル信号処理回路と、
    　を備えていることを特徴とする撮像システム。
PCT/JP2008/002346 2008-03-28 2008-08-28 撮像装置、撮像モジュール、及び撮像システム WO2009118799A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2008801283513A CN101981937A (zh) 2008-03-28 2008-08-28 摄像装置、摄像模块及摄像系统
US12/880,572 US20100328505A1 (en) 2008-03-28 2010-09-13 Imaging device, imaging module and imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-087795 2008-03-28
JP2008087795A JP2009246465A (ja) 2008-03-28 2008-03-28 撮像装置、撮像モジュール、及び撮像システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/880,572 Continuation US20100328505A1 (en) 2008-03-28 2010-09-13 Imaging device, imaging module and imaging system

Publications (1)

Publication Number Publication Date
WO2009118799A1 true WO2009118799A1 (ja) 2009-10-01

Family

ID=41113043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/002346 WO2009118799A1 (ja) 2008-03-28 2008-08-28 撮像装置、撮像モジュール、及び撮像システム

Country Status (4)

Country Link
US (1) US20100328505A1 (ja)
JP (1) JP2009246465A (ja)
CN (1) CN101981937A (ja)
WO (1) WO2009118799A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8134589B2 (en) * 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
EP2685726A4 (en) 2011-03-11 2014-09-03 Fujifilm Corp IMAGING DEVICE AND IMAGING PROGRAM
CN103416067B (zh) 2011-03-11 2014-10-29 富士胶片株式会社 摄像装置
US8657200B2 (en) 2011-06-20 2014-02-25 Metrologic Instruments, Inc. Indicia reading terminal with color frame processing
US9002138B2 (en) * 2011-12-19 2015-04-07 Ziva Corporation Computational imaging using variable optical transfer function
FR3005226B1 (fr) 2013-04-25 2015-04-10 Astrium Sas Saisie d'image avec addition de signaux d'accumulation pour des photodetecteurs adjacents
KR102087225B1 (ko) * 2013-05-30 2020-03-11 에스케이하이닉스 주식회사 이미지 센싱 장치
JP6483354B2 (ja) * 2014-06-05 2019-03-13 オリンパス株式会社 撮像装置および撮像方法
US10313609B2 (en) * 2016-04-14 2019-06-04 Qualcomm Incorporated Image sensors having pixel-binning with configurable shared floating diffusion
US10313610B2 (en) 2016-04-14 2019-06-04 Qualcomm Incorporated Image sensors with dynamic pixel binning
US11394934B2 (en) * 2020-09-24 2022-07-19 Qualcomm Incorporated Binned anti-color pixel value generation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61167296A (ja) * 1985-01-21 1986-07-28 Toshiba Corp 固体カラ−撮像装置
JP2000184385A (ja) * 1998-12-17 2000-06-30 Sony Corp 固体撮像素子およびその駆動方法並びにカメラシステム
JP2003009166A (ja) * 2001-06-21 2003-01-10 Fuji Film Microdevices Co Ltd 撮像装置およびその駆動方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4142340B2 (ja) * 2002-05-22 2008-09-03 オリンパス株式会社 撮像装置
JP3848650B2 (ja) * 2002-11-12 2006-11-22 松下電器産業株式会社 固体撮像素子およびこれを備えたカメラ
JP4088536B2 (ja) * 2003-01-28 2008-05-21 松下電器産業株式会社 固体撮像装置
JP2004266369A (ja) * 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61167296A (ja) * 1985-01-21 1986-07-28 Toshiba Corp 固体カラ−撮像装置
JP2000184385A (ja) * 1998-12-17 2000-06-30 Sony Corp 固体撮像素子およびその駆動方法並びにカメラシステム
JP2003009166A (ja) * 2001-06-21 2003-01-10 Fuji Film Microdevices Co Ltd 撮像装置およびその駆動方法

Also Published As

Publication number Publication date
JP2009246465A (ja) 2009-10-22
CN101981937A (zh) 2011-02-23
US20100328505A1 (en) 2010-12-30

Similar Documents

Publication Publication Date Title
WO2009118799A1 (ja) 撮像装置、撮像モジュール、及び撮像システム
US20100328485A1 (en) Imaging device, imaging module, electronic still camera, and electronic movie camera
JPH10234047A (ja) 単板式カラーカメラ
JP3970185B2 (ja) 固体撮像素子及びデジタルカメラ
JP5608820B2 (ja) 撮像装置及び合焦制御方法
US8111298B2 (en) Imaging circuit and image pickup device
WO2012124181A1 (ja) 撮像装置及び撮像プログラム
JP5621057B2 (ja) カラー撮像素子
JP3902525B2 (ja) 画像信号処理装置
JP2002159014A (ja) 画像生成装置および生成方法
KR20050080814A (ko) 서브 샘플링 모드에서 디스플레이 품질을 개선한 고체촬상 소자 및 그 구동 방법
JPH11262022A (ja) 単板式カラーカメラ
US20130335603A1 (en) Color imaging device
JP3967500B2 (ja) 固体撮像装置および信号読出し方法
US8054364B2 (en) Image apparatus and drive control method for image pickup device with horizontal addition of pixel data
WO2013100097A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
US20090002534A1 (en) Solid-state image capturing device, driving method of solid state image capturing device and electronic information device
JP5066476B2 (ja) 撮像装置
JP4424101B2 (ja) 固体撮像装置
JP2000261817A (ja) 撮像装置
JPH1013846A (ja) カラー画像入力装置
JP2003348605A (ja) カラービデオカメラ
JP2004236028A (ja) 固体撮像装置、カメラおよびカメラシステム
WO2010137310A1 (ja) 撮像装置
JPH0492592A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880128351.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08873630

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08873630

Country of ref document: EP

Kind code of ref document: A1