WO2013100093A1 - 撮像装置、撮像装置の制御方法、及び制御プログラム - Google Patents

撮像装置、撮像装置の制御方法、及び制御プログラム Download PDF

Info

Publication number
WO2013100093A1
WO2013100093A1 PCT/JP2012/083973 JP2012083973W WO2013100093A1 WO 2013100093 A1 WO2013100093 A1 WO 2013100093A1 JP 2012083973 W JP2012083973 W JP 2012083973W WO 2013100093 A1 WO2013100093 A1 WO 2013100093A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
filter
pixel
color
image data
Prior art date
Application number
PCT/JP2012/083973
Other languages
English (en)
French (fr)
Inventor
秀和 倉橋
林　健吉
田中　誠二
智行 河合
河村　典子
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2013551839A priority Critical patent/JP5607265B2/ja
Priority to EP12863577.8A priority patent/EP2800355B1/en
Priority to CN201280065347.3A priority patent/CN104025566B/zh
Publication of WO2013100093A1 publication Critical patent/WO2013100093A1/ja
Priority to US14/315,456 priority patent/US8964087B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/1506—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation with addressing of the image-sensor elements
    • H04N3/1512—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation with addressing of the image-sensor elements for MOS image-sensors, e.g. MOS-CCD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/648—Video amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Definitions

  • the present invention relates to an image pickup apparatus, an image pickup apparatus control method, and a control program, and more particularly to an image pickup apparatus including a color image pickup device, an image pickup apparatus control method, and a control program.
  • a primary color Bayer array (see, for example, Patent Documents 1 to 3), which is a color array widely used in color image sensors, is sensitive to the human eye and has the most contributing green (G) pixels to obtain a luminance signal. Red (R) and blue (B) are arranged in a line-sequential manner in a checkered pattern.
  • JP 2002-135793 A Japanese Patent No. 3960965 JP 2004-266369 A
  • a color image pickup device for example, a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like is used.
  • a MOS type image sensor such as a CMOS
  • a switch is provided for each photodiode, and a shutter pulse is sequentially applied to each scanning line, each of a plurality of pixels on the scanning line, and each pixel.
  • the charge is swept out by a so-called rolling shutter system that sweeps out the charge accumulated in the photodiode.
  • a plurality of pixels may share one amplifier or the like for high definition of the device.
  • only one pixel in the shared pixel can be read out.
  • image data in the vertical direction by thinning out when trying to read a plurality of line image data in the shared pixels in the vertical direction, resetting and exposure of pixels on the line to be read first in the shared pixels After the reading is completed, the pixels on the line to be read next in the shared pixel must be reset, exposed, and read, resulting in a large difference in exposure timing and a false color in the image. May have adverse effects.
  • the basic array pattern which is the minimum unit of repetition of the color filter array, is 2 ⁇ 2 pixels.
  • the size of the shared pixel of the amplifier matches the size of the pixel of the basic array pattern.
  • the thinning-out readout of the minimum period for alternately reading out the lines composed of the G pixels and the R pixels and the lines composed of the G pixels and the B pixels is 3 lines. This is 1/3 decimation in the vertical direction for reading image data for one line every time. In this case, a plurality of line images are not read out in the shared pixel, and the above problem does not occur.
  • the size of the shared amplifier is originally matched with the size of the basic arrangement pattern for the following reason.
  • the sensitivity varies depending on the relative position of the pixel with respect to the shared amplifier due to the difference in the layout of the ground, etc., so that the signal amount also varies between pixels of the same color in the same region. Therefore, in order to correct both the signal amount variation caused by the structure in which a plurality of pixels share circuit elements such as amplifiers, and the signal amount variation such as color mixture caused by the color arrangement of the color filter of the image sensor.
  • the number of correction coefficients (NK ⁇ KL) corresponding to the least common multiple of the repetition period (N ⁇ M) of the basic array pattern and the repetition period (K ⁇ L) of the amplifier sharing structure is stored in advance.
  • an appropriate correction coefficient is selected for each pixel, and the signal amount of each pixel is multiplied by the selected correction coefficient.
  • the color filter is a 2 ⁇ 2 Bayer array and the amplifier sharing structure is a 2 ⁇ 2 4-pixel square array, four correction coefficients are sufficient.
  • the color filter array is a 3 ⁇ 3 array. If there is a 6 ⁇ 6 array, the number of correction coefficients (NK ⁇ ML) becomes enormous, and the correction processing time and circuit scale increase. Therefore, in order to reduce the number of correction coefficients, it is preferable to match the shared amplifier structure and the size of the basic array pattern.
  • the color filter array is different from the Bayer array, and therefore R, G, and B pixel signals are output even when line image data is read out in the vertical direction. May be available. Therefore, when line image data is read out by 1/2 thinning in the vertical direction in order to obtain a desired resolution in an image pickup device in which the size of the basic array pattern is matched with the above-described common amplifier sharing structure, There is a problem in that a plurality of line image data is read out within the shared pixel, resulting in a large difference in exposure timing as described above.
  • An object of the present invention is to provide an image pickup apparatus, a control method for the image pickup apparatus, and a control program.
  • an imaging device includes a first imaging element including a plurality of photoelectric conversion elements arranged in a first direction and a second direction intersecting the first direction, And (K ⁇ L) pixels (K, L: integers greater than or equal to 2) in the second direction and the second direction as a shared pixel, amplifying means for amplifying an imaging signal for each shared pixel, and a plurality of photoelectric conversion elements A color filter provided on a pixel of the first, corresponding to a first filter that contributes most to obtaining a luminance signal, and a second color that is two or more colors other than the first color
  • the basic arrangement pattern in which the second filter is arranged in a predetermined pattern of (N ⁇ M) pixels (N> K, M> L) in the first direction and the second direction is repeatedly arranged A scanning filter along the second direction for each pixel with respect to the color filter and the image sensor.
  • the charge is discharged by sequentially applying a shutter pulse for each IN and for each of a plurality of pixels on the scanning line along the second direction, and pixel signals in the plurality of pixels are output from the image sensor.
  • Read out at a set cycle and generate line image data of pixels arranged in the second direction at a cycle of K pixels to N pixels in the first direction among the plurality of pixels from the read pixel signal
  • Line image data generation means for performing image data generation means for generating image data based on the line image data.
  • the amplification means for amplifying the imaging signal for each shared pixel, the first filter, and the second filter using (K ⁇ L) pixels as shared pixels in the first direction and the second direction.
  • a configuration including a color filter in which a basic arrangement pattern arranged in a predetermined pattern of (N ⁇ M) pixels in a first direction and a second direction is repeatedly arranged While sweeping out charges by sequentially applying a shutter pulse for each pixel, for each scanning line along the second direction, and for each of a plurality of pixels on the scanning line along the second direction, Line image data along the second direction is read out from the image sensor at a cycle of not less than K pixels and not more than N pixels in the first direction.
  • the line image data generation means may generate pixel data of pixels having a cycle of not less than L pixels and not more than M pixels in the second direction.
  • the line image data generation unit is configured to read out pixel signals in a plurality of pixels from the image sensor in a second direction with a period of K pixels to N pixels in the first direction among the plurality of pixels.
  • the line image data may be generated by reading out pixel signals of pixels arranged along the line.
  • the line image data generation unit is configured to read out pixel signals in a plurality of pixels from the image sensor, and pixels arranged in a cycle of L pixels to M pixels in the second direction among the plurality of pixels. These pixel signals may be read out to generate line image data.
  • the first filter is disposed in each line of the first direction, the second direction, and the third direction intersecting the first direction and the second direction in the color filter.
  • One or more of the second filters corresponding to each color of the second color may be arranged in each line in the first direction and the second direction in the basic array pattern.
  • the first filter corresponding to the first color that contributes most to obtain the luminance signal is arranged in each line in the first direction to the third direction in the color filter. Therefore, it is possible to improve the reproduction accuracy of the synchronization process in the high frequency region.
  • one second filter corresponding to each of the second or more second colors other than the first color is included in each line in the first direction and the second direction in the basic array pattern. Since they are arranged as described above, the generation of color moire (false color) can be reduced and high resolution can be achieved.
  • the color filter may include a square array corresponding to 2 ⁇ 2 pixels formed of the first filter.
  • the luminance correlation direction is in the minimum direction. It can be determined by the pixel interval.
  • the first color may be a green (G) color and the second color may be a red (R) color and blue (B).
  • the color filter has an R filter, a G filter, and a B filter corresponding to red (R), green (G), and blue (B) colors, and the color filter corresponds to 3 ⁇ 3 pixels.
  • the arrangement may be configured such that the arrangement is alternately arranged in the first direction and the second direction.
  • 2 ⁇ 2 G pixels are located at four corners of 5 ⁇ 5 pixels. Will exist.
  • the pixel values of these 2 ⁇ 2 G pixels can be used to determine the four correlation directions.
  • the color filter has an R filter, a G filter, and a B filter corresponding to red (R), green (G), and blue (B) colors, and the color filter corresponds to 3 ⁇ 3 pixels.
  • a pixel when a 5 ⁇ 5 pixel (local area of a mosaic image) is extracted around the first array or the second array, a pixel (R pixel or B pixel) at the center of 5 ⁇ 5 pixels is extracted.
  • R pixel or B pixel There are G pixels adjacent to each other in the horizontal and vertical directions. The pixel values of these G pixels (8 pixels in total) can be used to determine the correlation direction in the four directions.
  • An image pickup apparatus control method includes a predetermined first direction and an image pickup element including a plurality of photoelectric conversion elements arranged in a second direction intersecting the first direction, and the first direction and the first direction.
  • Amplifying means for amplifying an imaging signal for each shared pixel and (K ⁇ L) pixels (K, L: integers greater than or equal to 2) in the direction of 2 as a shared pixel, and a plurality of pixels including a plurality of photoelectric conversion elements A provided color filter, a first filter corresponding to the first color that contributes most to obtain a luminance signal, and a second filter corresponding to a second color of two or more colors other than the first color A color filter in which a basic arrangement pattern in which filters are arranged in a predetermined pattern of (N ⁇ M) pixels (N> K, M> L) in a first direction and a second direction is repeatedly arranged;
  • a method for controlling an image pickup apparatus comprising: The charge sweeping is performed by sequentially applying a shutter pulse for each of the scanning
  • Pixel signals in a plurality of pixels are read at a set cycle, and the read pixel signals are arranged along the second direction in the first direction among the plurality of pixels at a cycle of K pixels to N pixels.
  • Line image data of pixels is generated, and image data is generated based on the line image data.
  • the control program of the present invention includes an imaging device including a plurality of photoelectric conversion elements arranged in a first direction and a second direction intersecting the first direction, a first direction, and a second direction.
  • K ⁇ L pixels K, L: integers greater than or equal to 2 are used as shared pixels, and amplifying means for amplifying the image pickup signal for each shared pixel and a plurality of pixels including a plurality of photoelectric conversion elements are provided.
  • a color filter a first filter corresponding to a first color that contributes most to obtain a luminance signal, and a second filter corresponding to a second color other than two colors other than the first color
  • a computer that controls the imaging device, for each pixel, Charges are swept out by sequentially applying a shutter pulse for each scanning line along the second direction and for each of a plurality of pixels on the scanning line along the second direction, and from the image sensor.
  • a process including a step of generating line image data of the arranged pixels and a step of generating image data based on the line image data is executed.
  • the present invention when an amplifier is shared by a plurality of pixels, it is possible to prevent a large difference in exposure timing even when image data is read out by thinning out.
  • 1 is a schematic block diagram of an imaging apparatus according to a first embodiment. It is a block diagram of the color filter which concerns on 1st Embodiment. It is a figure which shows the basic sequence pattern contained in the color filter which concerns on 1st Embodiment. 6 shows a color filter obtained by dividing a 6 ⁇ 6 pixel basic array pattern included in the color filter according to the first embodiment into an A array and a B array of 3 ⁇ 3 pixels and repeatedly arranging them in the horizontal and vertical directions. FIG. It is a figure which shows the characteristic arrangement
  • FIG. 1 shows a schematic block diagram of the imaging apparatus 10 according to the present embodiment.
  • the imaging device 10 includes an optical system 12, an imaging element 14, an imaging processing unit 16, an image processing unit 20, a driving unit 22, and a control unit 24.
  • the optical system 12 includes, for example, a lens group including a plurality of optical lenses, an aperture adjustment mechanism, a zoom mechanism, an automatic focus adjustment mechanism, and the like.
  • the image sensor 14 includes an image sensor including a plurality of photoelectric conversion elements arranged in a horizontal direction and a vertical direction, such as a CMOS type image sensor such as a CMOS (Complementary Metal Oxide Semiconductor), and a color filter on the image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • This is a so-called single-plate type imaging device having an arrangement.
  • FIG. 2 shows a part of the color filter according to this embodiment.
  • any one of the color filters of the three primary colors of red (R), green (G), and blue (B) is disposed on each pixel.
  • the color filter of the first embodiment has the following features (1) to (6).
  • the color filter array has three primary colors of red (R), green (G), and blue (B) in the vertical and horizontal directions (N ⁇ M) pixels (N, M: an integer of 3 or more) in advance.
  • N, M an integer of 3 or more
  • the basic array pattern P is repeatedly arranged in the vertical direction (first direction) and the horizontal direction (second direction). That is, in this color filter, R, G, and B color filters (R filter, G filter, and B filter) are arranged with a predetermined periodicity.
  • the R filter, the G filter, and the B filter are arranged with a predetermined periodicity in this way, the R, G, and B signals read from the color imaging device are synchronized (also referred to as demosaic processing; the same applies hereinafter).
  • processing can be performed according to a repeating pattern.
  • the G filter corresponding to the color (G color in this embodiment) that contributes most to obtain the luminance signal is the first direction of the color filter array. 2 in the horizontal direction and the third direction intersecting the first direction and the second direction in the color filter plane, that is, in each line in the oblique (NE, NW) direction (third direction). Is arranged.
  • NE means an oblique upper right direction
  • NW means an oblique lower right direction.
  • the diagonally upper right and diagonally lower right directions are directions of 45 ° with respect to the horizontal direction, respectively, but if an array of rectangular pixels, it is the direction of the diagonal of the rectangle,
  • the angle can vary depending on the length of the long and short sides.
  • the G filter corresponding to the luminance system pixel is arranged in each line in the vertical direction, the horizontal direction, and the oblique (NE, NW) direction of the color filter array, it can be simultaneously used in the high frequency region regardless of the high frequency direction. The reproducibility of the conversion process can be improved.
  • the color filter array shown in FIG. 2 has an R filter and a B filter corresponding to two or more other colors (in this embodiment, R and B colors) other than the G color in the basic array pattern P.
  • One or more color filters are arranged in each of the vertical and horizontal lines of the color filter array.
  • an optical low-pass filter for suppressing the generation of false colors can be prevented from being arranged in the optical path from the incident surface of the optical system to the imaging surface, or the occurrence of false colors can be prevented even when the optical low-pass filter is applied. Therefore, it is possible to apply a low-frequency component for cutting high-frequency components, and not to impair the resolution.
  • FIG. 3 shows a state in which the basic array pattern P shown in FIG. 2 is divided into 4 ⁇ 3 ⁇ 3 pixels.
  • the basic array pattern P includes a 3 ⁇ 3 pixel A array surrounded by a solid frame and a 3 ⁇ 3 pixel B array surrounded by a broken frame alternately in the horizontal and vertical directions. It can also be understood that the array is arranged.
  • G filters which are luminance system pixels, are arranged at the four corners and the center, and are arranged on both diagonal lines.
  • the R filter is arranged in the horizontal direction with the central G filter interposed therebetween, and the B filter is arranged in the vertical direction.
  • the B filter is arranged in the horizontal direction with the central G filter interposed therebetween.
  • the R filters are arranged in the vertical direction. That is, in the A array and the B array, the positional relationship between the R filter and the B filter is reversed, but the other arrangements are the same.
  • the G filters at the four corners of the A array and the B array are square arrays corresponding to 2 ⁇ 2 pixels by alternately arranging the A array and the B array in the horizontal and vertical directions as shown in FIG. G filter.
  • the color filter array (basic array pattern P) shown in FIG. 2 includes a square array corresponding to 2 ⁇ 2 pixels composed of G filters.
  • the absolute difference values in the vertical direction of the pixel values of these G pixels Is (
  • the absolute difference in the horizontal direction is (
  • the absolute difference in the upper right diagonal direction is
  • the absolute value of the difference in the upper left diagonal direction is
  • the basic array pattern P constituting the color filter array shown in FIG. 2 is point-symmetric with respect to the center of the basic array pattern (the centers of the four G filters). Further, as shown in FIG. 3, the A array and the B array in the basic array pattern are also point-symmetric with respect to the central G filter, and are vertically and horizontally symmetric (line symmetric).
  • the size of the basic array pattern P constituting the color filter array shown in FIG. 2 is (N ⁇ M) pixels (N, M: an integer of 3 or more) as described above. Although details will be described later, the size of a shared pixel in which a single amplifier shares a plurality of pixels is (K ⁇ L) pixels (K, L: an integer of 2 or more).
  • the size of the basic array pattern P is larger than the size of the shared pixel. That is, N> K and M> M are satisfied.
  • the image sensor 14 is composed of a CMOS image sensor as described above.
  • FIG. 6 shows a schematic configuration of the image sensor 14 formed of a CMOS image sensor.
  • the image sensor 14 includes a pixel array 30, a vertical drive scanning circuit 32, a column signal processing circuit 34, a horizontal drive scanning circuit 36, a signal line 38, and an amplifier 40 formed on a semiconductor substrate. It consists of
  • the pixel array 30 includes a plurality of pixels arranged two-dimensionally in the vertical direction and the horizontal direction.
  • the vertical drive scanning circuit 32 selects and drives a plurality of pixels on the scanning line along the horizontal direction. It is also possible to select and drive the pixels on the scanning line one by one.
  • the column signal processing circuit 34 includes a plurality of signal processing circuits (not shown). This signal processing circuit is provided for each shared pixel in the horizontal direction. Each signal processing circuit includes an ADC (analog-digital conversion) circuit (not shown). The ADC circuit converts an image pickup signal corresponding to a pixel value from each pixel into a digital signal.
  • ADC analog-digital conversion
  • the horizontal drive scanning circuit 36 includes a switch (not shown) connected to each of a plurality of signal processing circuits included in the column signal processing circuit 34 and a control circuit (not shown) that controls the on / off of the switch. When this switch is turned on, the image signal processed by the signal processing circuit is output to the signal line 38, and this image signal is output to the outside of the image sensor 14 via the amplifier 40.
  • the vertical drive scanning circuit 32, the column signal processing circuit 34, and the horizontal drive scanning circuit 36 are controlled by the drive unit 22.
  • the pixel array 30 uses, as shared pixels, (K ⁇ L) pixels (K, L: integers of 2 or more) in the vertical direction and the horizontal direction, and an amplifier that amplifies an imaging signal for each shared pixel. I have.
  • FIG. 7 shows a configuration in which a total of 4 pixels of 2 ⁇ 2 pixels in the vertical direction and the horizontal direction are shared pixels, and these four pixels are amplified by the same amplifier.
  • each of switches SW1 to SW4 each composed of a MOS transistor or the like is connected to the cathodes of photodiodes PD1 to PD4 as pixels.
  • the other ends of the switches SW1 to SW4 are connected to the input terminal of the reset switch RST and the amplifier AP, and the output terminal of the amplifier AP is connected to the signal line S.
  • the signal line S is connected to a signal processing circuit (not shown) of the column signal processing circuit 34.
  • Charge transfer control signals VT1 to VT4 are input from the vertical drive scanning circuit 32 to the switches SW1 to SW4, respectively.
  • the vertical drive scanning circuit 32 turns on a switch from which charges are to be read, thereby amplifying the charges accumulated in the photodiode to which the switches are connected by the amplifier AP and outputting it to the signal line S.
  • the number of switches can be reduced, and high definition can be achieved.
  • the number of pixels shared is not limited to 2 ⁇ 2 pixels, but may be 3 ⁇ 3 pixels or more, and the number of pixels shared in the vertical direction may be different from the number of pixels shared in the horizontal direction.
  • a shutter pulse is sequentially applied for each scanning line, for each of a plurality of pixels on the scanning line, and for each pixel. Then, the charge is swept out by a so-called rolling shutter system that sweeps out the charge accumulated in the photodiode.
  • the shared pixels are 3 ⁇ 3 pixels (indicated by a thick line frame in the figure), and line image data is read out by 1/2 thinning in the vertical direction and 1/2 thinning in the horizontal direction.
  • the vertical position is a row
  • the horizontal position is a column
  • each pixel in each shared pixel is a pixel 1 to 9
  • every two rows The pixel data of each pixel is read out.
  • pixel data of each pixel is read every two columns. Therefore, the pixel values of the pixels indicated by hatching in FIG. 9 are read out.
  • the pixel 1 in the first row and the first column, the pixel 3 in the first row and the third column, the pixel 7 in the third row and the first column 7, and the pixel 9 in the third row and the third column are within the 3 ⁇ 3 shared pixels. It is a pixel. Since one amplifier is shared within the shared pixel, the pixel data of these four pixels cannot be read at a time.
  • the next scan is started. That is, among the pixels 2 in the first row, such as the pixel 2 in the first row and the fifth column, the pixel 2 in the first row and the eleventh column, the pixel 2 in the first row and the 17th column,. Reset (R), exposure (2_exposure), and reading (taking) are performed on the pixel 2 at the position read by two thinning.
  • the next scan is started. That is, the pixel 3 in the first row and the third column, the pixel 3 in the first row and the ninth column, the pixel 3 in the first row and the 15th column,.
  • Reset (R), exposure (3_exposure), and reading (taking) are performed on the pixel 3 at the position read by two thinning.
  • the third and fifth lines are scanned three times in the same manner as the first line.
  • pixel data of each pixel is read out by 1 ⁇ 2 decimation in both the vertical direction and the horizontal direction using 3 ⁇ 3 pixels as a shared pixel
  • a plurality of pixels must be read in the shared pixel in both the vertical direction and the horizontal direction. Therefore, it must be scanned three times per line.
  • the exposure timing is different even for pixels in the same row.
  • the accuracy of interpolation processing such as synchronization processing deteriorates due to variations in the signal amount in units of pixels. Color may occur.
  • the image sensor 14 is driven so as to read line image data of a line along the horizontal direction in the vertical direction with a period of K pixels or more. At this time, only pixels having a period of L pixels or more in the horizontal direction are read out from the pixels on the line along the horizontal direction.
  • line image data along the horizontal direction is read out in the vertical direction at a cycle of two line cycles or more. Thereby, line image data along a plurality of horizontal directions is not read in the shared pixels in the vertical direction, and it is possible to prevent a large difference in exposure timing.
  • At least the G filter, R filter, and B filter are included in the basic array pattern P in the vertical and horizontal directions of the color filter array. Since one or more lines are arranged in a line, each line of R, G, B can be read even if line image data of a line along the horizontal direction and / or the vertical direction is read with a period of N ⁇ M or less of the basic array pattern size. Color reproduction is possible because pixel signals are obtained.
  • the imaging processing unit 16 performs predetermined processing such as amplification processing, correlated double sampling processing, and A / D conversion processing on the imaging signal output from the imaging device 14 and outputs the processed image data to the image processing unit 20 as image data. To do.
  • the image processing unit 20 performs so-called synchronization processing on the image data output from the imaging processing unit 16. That is, for all pixels, image data of colors other than the corresponding color is interpolated from the pixel data of surrounding pixels to generate R, G, B image data of all pixels. Then, so-called YC conversion processing is performed on the generated R, G, B image data to generate luminance data Y and color difference data Cr, Cb. Then, a resizing process for resizing these signals to a size corresponding to the shooting mode is performed.
  • the driving unit 22 performs reading driving of the imaging signal from the imaging device 14 in accordance with an instruction from the control unit 24.
  • the control unit 24 controls the drive unit 22 and the image processing unit 20 according to the shooting mode and the like. Although details will be described later, the control unit 24 instructs the driving unit 22 to read out the imaging signal by a reading method according to the shooting mode, or instructs the image processing unit 20 to select an image according to the shooting mode. Or instructing it to perform processing.
  • control unit 24 instructs the drive unit 22 to read out the image pickup signal using a thinning method according to the instructed shooting mode. To do.
  • the shooting mode includes a still image mode for shooting a still image, and an HD movie that generates a relatively high resolution HD (high definition) movie data by thinning the captured image and records it on a recording medium such as a memory card (not shown).
  • There are video modes such as the through video mode (live view mode) that outputs a relatively low resolution through video (live view image) to a display unit (not shown) by thinning out the mode and the captured image. It is not limited to.
  • the processing shown in FIG. 12 is executed when an instruction is given to execute shooting according to the shooting mode.
  • a case where line image data is read in a predetermined cycle in the vertical direction that is, a case where lines other than lines having a predetermined cycle in the vertical direction are read out (excluded) will be described.
  • the line image data in this case is a set of pixel data of pixels arranged in the horizontal direction.
  • step 100 the drive unit 22 is instructed to read out image data by a thinning method according to the shooting mode.
  • the image sensor 14 is driven so as to read line image data of a line along the horizontal direction at a cycle of two or more lines in the vertical direction, and among the pixels on the line along the horizontal direction, the horizontal Only pixels with a period of 2 pixels or more are read in the direction.
  • the control unit 24 instructs the drive unit 22 to read by 1/2 thinning in both the vertical direction and the horizontal direction (in this embodiment, the drive unit 22 and the control unit 24 correspond to the line image data generation unit. ).
  • pixel data of the pixels indicated by hatching shown in FIG. 13 are read out. That is, pixel data is read in a cycle of two pixels in both the vertical direction and the horizontal direction.
  • each pixel in each shared pixel of 2 ⁇ 2 pixels is a pixel 1.
  • ⁇ 4 in the first scan, all pixels in the first row such as pixel 1 in the first row and first column, pixel 1 in the first row and third column, pixel 1 in the first row and fifth column,.
  • the pixel 1 is scanned. That is, as shown in FIG. 14, reset (R), exposure (1_exposure), and reading (taking) are performed for all the pixels 1 in the first row.
  • the next scan is started. That is, reset (R) for all the pixels 1 in the fifth row, such as the pixel 1 in the fifth row and first column, the pixel 1 in the fifth row and third column, the pixel 1 in the fifth row and fifth column,. , Exposure (3_exposure) and reading (taking) are performed.
  • the fifth row, the seventh row, the ninth row, and the like are scanned once each in the same manner as the first row.
  • the pixel data is read in a cycle equal to or greater than the number of shared pixels in both the vertical direction and the horizontal direction. Therefore, one scan per line is sufficient.
  • step 102 the image processing unit 20 is instructed to perform image processing (for example, synchronization processing, YC conversion processing, resizing processing, etc.) corresponding to the shooting mode on the thinned-out image data (this embodiment). Then, the image processing unit 20 and the control unit 24 correspond to an image data generation unit).
  • image processing for example, synchronization processing, YC conversion processing, resizing processing, etc.
  • the control unit 24 and the image processing unit 20 can be configured by a computer including a CPU, ROM, RAM, nonvolatile ROM, and the like.
  • the processing program for the above processing can be stored in advance in a nonvolatile ROM, for example, and can be read and executed by the CPU.
  • the image sensor 14 is driven so as to read line image data of a line along the horizontal direction at a period of K pixels or more in the vertical direction, and among the pixels on the line along the horizontal direction, In the above description, the image sensor 14 is driven so as to read only pixels having a period of L pixels or more in the horizontal direction. However, in the vertical direction, line image data of a line along the horizontal direction is read with a period of less than K pixels. Alternatively, the image sensor 14 may be driven.
  • FIG. 18 shows a color filter according to this embodiment.
  • the color filter according to the present embodiment includes a basic array pattern P (pattern indicated by a thick frame) composed of a square array pattern corresponding to 6 ⁇ 6 pixels, and the basic array pattern P is horizontal. It is repeatedly arranged in the direction and the vertical direction. That is, in this color filter array, R, G, and B color filters (R filter, G filter, and B filter) are arrayed with a predetermined periodicity.
  • the G filter is arranged in each line in the vertical direction and the horizontal direction of the color filter array.
  • one or more R filters and B filters are arranged in each of the vertical and horizontal lines of the color filter array in the basic array pattern P.
  • FIG. 19 shows a state in which the basic array pattern P shown in FIG. 18 is divided into 4 ⁇ 3 ⁇ 3 pixels.
  • the basic array pattern P includes a 3 ⁇ 3 pixel A array surrounded by a solid frame and a 3 ⁇ 3 pixel B array surrounded by a broken frame alternately in the horizontal and vertical directions. It can also be understood that the array is arranged.
  • an R filter is arranged at the center, B filters are arranged at the four corners, and G filters are arranged at the top, bottom, left and right with the center R filter interposed therebetween.
  • a B filter is disposed at the center, R filters are disposed at the four corners, and G filters are disposed vertically and horizontally with the center B filter interposed therebetween.
  • the color filter of the first embodiment can also be regarded as the A array and the B array being alternately arranged in the horizontal and vertical directions.
  • the eight G pixels are arranged in a cross shape as shown in FIG. 20B. If these G pixels are G1, G2, G3, G4 from left to right and G5, G6, G7, G8 from top to bottom, the pixels G1G2, G2G3 are adjacent in the horizontal direction, and the pixels G5G6, G7G8 is adjacent in the vertical direction, pixel G6G3 and pixel G2G7 are adjacent in the upper left diagonal direction, and pixel G6G2 and pixel G3G7 are adjacent in the upper right diagonal direction.
  • the direction in which the change in luminance is the smallest (the correlation direction with the high correlation) among the horizontal, vertical, and diagonal (NE, NW) directions. ) Can be determined by the minimum pixel interval.
  • correlation direction there is a correlation (correlation direction) in the direction of taking the smallest difference absolute value among these four correlation absolute values. Note that the determined correlation direction can be used when performing a synchronization process or the like.
  • the basic array pattern P constituting the color filter shown in FIG. 18 is point-symmetric with respect to the center of the basic array pattern P.
  • the A array and the B array in the basic array pattern are symmetric with respect to the center R filter or G filter, respectively, and are symmetric (line symmetric) vertically and horizontally. ing.
  • the size of the basic array pattern P constituting the color filter array shown in FIG. 18 is (N ⁇ M) pixels (N, M: an integer of 3 or more), and the size (K ⁇ L) of the shared pixels (K ⁇ L) pixels ( K, L: an integer of 2 or more). That is, N> K and M> M are satisfied.
  • the color filter according to the second embodiment has the same characteristics as the characteristics (1) and (3) to (6) of the color filter according to the first embodiment (features (2), (3 ), One or more G filters, R filters, and B filters are arranged in each of the vertical and horizontal lines of the color filter array in the basic array pattern P).
  • color filter array is not limited to that described in the above embodiments, and the present invention can also be applied to an image pickup apparatus having an image pickup element having the following color filter array.
  • a color filter array having the above features (1), (2), (3), and (6) for example, there is a color filter having a basic array pattern P of 3 ⁇ 3 pixels as shown in FIG.
  • This color filter array is a repetition of a basic array pattern in which G filters are arranged at the center and four corners of 3 ⁇ 3 pixels, and the same number of R or B is arranged in the remaining four pixels.
  • an image obtained when 1 ⁇ 2 thinning is performed in both the vertical direction and the horizontal direction is an image as illustrated in FIG.
  • a color filter array in which the basic array pattern P is 5 ⁇ 5 pixels as shown in FIG.
  • G is arranged on two diagonal lines of 5 ⁇ 5 pixels, and R and B pixels are in the horizontal and vertical lines of 5 ⁇ 5 pixels in the remaining pixel positions.
  • One or more basic arrangement patterns which are arranged so that one or more elements are arranged and set so that the number of G is larger than the number of R and B, are repeated.
  • an image obtained when 1 ⁇ 2 thinning is performed in both the vertical direction and the horizontal direction is an image as illustrated in FIG.
  • a color filter having a basic array pattern P of 4 ⁇ 4 pixels as shown in FIG. There is an array.
  • G is arranged on two diagonal lines of 4 ⁇ 4 pixels, and R and B pixels are in the horizontal and vertical lines of 4 ⁇ 4 pixels in the remaining pixel positions.
  • FIG. 26 there is a color filter array in which the basic array pattern P is 6 ⁇ 6 pixels.
  • the first sub-array in which G is arranged in a rectangular shape on the outer periphery of R or B and the second sub-array in which G is arranged in the center are respectively two in the horizontal direction and the vertical direction.
  • a basic arrangement pattern arranged so as to be alternately adjacent to each other is repeated.
  • one or more R and B are also arranged in each line in the oblique (NE, NW) direction (third direction) of the color filter arrangement.
  • FIG. 27 there are a color filter array in which the basic array pattern P is 7 ⁇ 7 pixels and a color filter array in which the basic array pattern P is 8 ⁇ 8 pixels as shown in FIG.
  • N and M are preferably 10 or less in consideration of ease of image processing such as synchronization processing and thinning processing during moving image shooting.
  • the color imaging device having the RGB color filters of the three primary colors has been described.
  • the present invention is not limited to this, and the RGB primary colors + other colors (for example, emerald (E)).
  • the present invention can also be applied to four color filters, for example, a color filter as shown in FIG.
  • the present invention can also be applied to color filters having white or transparent (W) filters as other colors.
  • W filter may be arranged instead of the emerald in FIG. In this case, a combination of W and G, or W is the first color that contributes most to the luminance signal.
  • the present invention can also be applied to a color image pickup device having four color complementary color filters in which G is added to C (cyan), M (magenta), and Y (yellow) which are complementary colors of the primary colors RGB.
  • image data is generated by reading in a cycle of two pixels in both the vertical direction and the horizontal direction.
  • pixel signals of pixels for all pixels are read out, and two pixels in both the vertical direction and the horizontal direction are read out.
  • Image data may be generated by selectively using pixel data of periodic pixels (without using or storing pixel data of other pixels).
  • pixel signals of pixels for all pixels are read out and temporarily stored in a memory such as a RAM, and image data is created by selectively using pixel data of a two-pixel cycle in both the vertical direction and the horizontal direction.
  • the imaging processing unit 16 or the image processing unit 20 corresponds to the line image data generating means).
  • Imaging device 10 Imaging device 12 Optical system 14 Imaging element 16 Imaging processing part 20 Image processing part 22 Drive part 24 Control part 30 Pixel array 32 Vertical drive scanning circuit 34 Column signal processing circuit 36 Horizontal drive scanning circuit 38 Signal line 40 Amplifier AP Amplifier P Basic Array pattern PD1 to PD4 Photodiode RST Reset switch S Signal line SW1 to SW4 switch

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　複数の画素でアンプを共有する場合に間引いて画像データを読み出した場合でも露光タイミングに大きな差が生じるのを防ぐ。　撮像装置（１０）は、第１、第２の方向に配列された複数の光電変換素子を含む撮像素子（１４）と、（Ｋ×Ｌ）画素を共有画素として共有画素毎に撮像信号を増幅する増幅手段と、第１、第２のフィルタが（Ｎ×Ｍ）画素の予め定めたパターンで配置された基本配列パターンが繰り返し配置されたカラーフィルタと、撮像素子（１４）に対して画素毎、走査ライン毎、及び走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加して電荷の掃き出しを行ない、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から第１の方向にＫ画素以上Ｎ画素以下の周期で第２の方向に沿って配列された画素のライン画像データを生成し、ライン画像データに基づいて画像データを生成する画像処理部（２０）及び駆動部（２２）と、を備える。

Description

撮像装置、撮像装置の制御方法、及び制御プログラム
　本発明は、撮像装置、撮像装置の制御方法、及び制御プログラムに係り、特に、カラー撮像素子を備えた撮像装置、撮像装置の制御方法、及び制御プログラムに関する。
　カラー撮像素子で広く用いられている色配列である原色系ベイヤー配列（例えば特許文献１～３参照）は、人間の目に敏感で、輝度信号を得るために最も寄与する緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置している。
特開２００２－１３５７９３号公報 特許第３９６０９６５号公報 特開２００４－２６６３６９号公報
　ところで、カラー撮像素子としては、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等が用いられる。このうちＣＭＯＳ等のＭＯＳ型のイメージセンサでは、フォトダイオード毎にスイッチが設けられ、走査ライン毎、走査ライン上の複数の画素毎、及び１画素毎の何れか毎に順次シャッタパルスを印加してフォトダイオードに蓄積された電荷の掃き出しを行なう、所謂ローリングシャッタ方式により電荷の掃き出しを動画撮影等の場合に行う。
　具体的には、１画面内の全画素に対して一斉にリセットを行うのではなく、走査ライン毎、走査ライン上の複数の画素毎、及び１画素毎の何れか毎に順次リセットを行って露光を開始し、撮像信号の読み出しを実行する。このローリングシャッタ方式の場合、例えば走査ライン毎にリセット、露光、読み出しを繰り返す。
　また、ＭＯＳ型のイメージセンサでは、装置の高精細化のために、複数の画素で１つのアンプ等を共有する場合がある。この場合、共有画素内の１つの画素しか読み出すことはできない。これは、例えば垂直方向に画像データを間引いて読み出す場合において、垂直方向における共有画素内で複数のライン画像データを読み出そうとすると、共有画素内において最初に読み出すライン上の画素のリセット、露光、読み出しが終了してから、共有画素内において次に読み出すライン上の画素のリセット、露光、読み出しを行わなければならず、露光タイミングに大きな差が生じ、画像に偽色が生じる等の画質に悪影響を及ぼす場合がある。
　従来では、例えば２×２画素で一つのアンプを共有するのが一般的であるが、従来のベイヤー配列の場合、カラーフィルタ配列の繰り返しの最小単位である基本配列パターンが２×２画素であり、アンプの共有画素のサイズと基本配列パターンの画素のサイズが一致する。ベイヤー配列では、Ｒ，Ｇ，Ｂの画素信号を得るために、Ｇ画素とＲ画素からなるライン及びＧ画素とＢ画素からなるラインを交互に読み出すための最小の周期の間引き読出しは、３ライン毎に１ライン分の画像データの読み出す垂直方向１／３間引きである。この場合、共有画素内で複数のライン画像を読み出すことはなく、上記のような問題は生じない。
　尚、仮に２ライン毎に１ライン分の画像データの読み出す場合（垂直方向１／２間引き）であっても、共有画素内で複数のライン画像を読み出すことはなく、上記のような問題は生じない。
　一方、基本配列パターンが３×３以上の場合には、アンプ等を共有するサイズは、以下の理由により本来は基本配列パターンのサイズに合わせた方が好ましい。
　共有アンプを基準にした画素の相対位置に応じて、下地のレイアウトの違い等に因り感度がばらつくため、同じ領域内の同色の画素間でも信号量に差が生じてしまう。そこで、複数の画素でアンプ等の回路素子を共有する構造に起因した信号量のばらつきと、更に撮像素子のカラーフィルタの色配列に起因した混色などの信号量のばらつきとの両方を補正するため、基本配列パターンの繰り返し周期（Ｎ×Ｍ）とアンプ共有構造の繰り返し周期（Ｋ×Ｌ）との最小公倍数に相当する数（ＮＫ×ＫＬ）の補正係数を予め記憶しておき、その中から各画素ごとに適切な補正係数を選択し、その選択した補正係数を各画素の信号量に掛けるようにすることが考えられる。しかしながら、カラーフィルタが２×２のベイヤー配列であってアンプ共有構造も２×２の４画素正方配列である場合には４個の補正係数で済むが、例えばカラーフィルタ配列が３×３配列であったり６×６配列であるような場合には、補正係数の数（ＮＫ×ＭＬ）が膨大になってしまい、補正処理の時間や回路規模が増大してしまう。そのため、補正係数の数を減らすためにアンプの共有構造と基本配列パターンのサイズを合わせた方が好ましい。
　しかしながら、基本配列パターンが３×３以上の場合には、ベイヤー配列とはカラーフィルタの配列が異なるため、垂直方向１／２間引きでライン画像データを読み出してもＲ，Ｇ，Ｂの画素信号を取得可能な場合がある。そこで、本来好ましい上記のようなアンプの共有構造と基本配列パターンのサイズを一致させた撮像素子において、所望の解像度を得るために垂直方向１／２間引きでライン画像データを読み出した場合には、共有画素内で複数のライン画像データを読み出すこととなり、上記のような露光タイミングに大きな差が生じる、という問題がある。
　本発明は上記問題点を解決するためになされたものであり、複数の画素でアンプを共有する場合において、間引いて画像データを読み出した場合でも、露光タイミングに大きな差が生じるのを防ぐことができる撮像装置、撮像装置の制御方法、及び制御プログラムを提供することを目的とする。
　上記課題を解決するため、本発明の撮像装置は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、第１の方向及び第２の方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、共有画素毎に撮像信号を増幅する増幅手段と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ＞Ｋ，Ｍ＞Ｌ）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、撮像素子に対して、画素毎、第２の方向に沿った走査ライン毎、及び第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち第１の方向にＫ画素以上Ｎ画素以下の周期で第２の方向に沿って配列されている画素のライン画像データを生成するライン画像データ生成手段と、ライン画像データに基づいて画像データを生成する画像データ生成手段と、を備えたことを特徴とする。
　この発明によれば、第１の方向及び第２の方向に（Ｋ×Ｌ）画素を共有画素として、共有画素毎に撮像信号を増幅する増幅手段と、第１のフィルタ及び第２のフィルタが第１の方向及び第２の方向に（Ｎ×Ｍ）画素の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた構成において、撮像素子に対して、画素毎、第２の方向に沿った走査ライン毎、及び第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、撮像素子から、第１の方向にＫ画素以上Ｎ画素以下の周期で第２の方向に沿ったライン画像データを読み出す。これにより、第１の方向における共有画素内で複数ラインのライン画像データを読み出すことはないため、第１の方向に間引いてライン画像データを読み出した場合でも、露光タイミングに大きな差が生じるのを防ぐことができる。
　なお、ライン画像データ生成手段は、第２の方向にＬ画素以上Ｍ画素以下の周期の画素の画素データを生成するようにしてもよい。
　この発明によれば、第１の方向だけでなく、第２の方向における共有画素内で第１の方向に沿った複数ラインのライン画像データを生成することはないため、第２の方向に間引いてライン画像データを生成した場合でも、露光タイミングに大きな差が生じるのを防ぐことができる。
　また、ライン画像データ生成手段は、撮像素子から複数の画素における画素信号を読み出す設定された周期として、複数の画素のうち第１の方向にＫ画素以上Ｎ画素以下の周期で第２の方向に沿って配列されている画素の画素信号を読み出してライン画像データを生成するようにしてもよい。
　また、ライン画像データ生成手段は、撮像素子から複数の画素における画素信号を読み出す設定された周期として、複数の画素のうち第２の方向にＬ画素以上Ｍ画素以下の周期で配列されている画素の画素信号を読み出してライン画像データを生成するようにしてもよい。
　また、第１のフィルタは、カラーフィルタ内において、第１の方向と、第２の方向と、第１の方向及び第２の方向と交差する第３の方向と、の各ライン内に配置され、第２の色の各色に対応する記第２のフィルタは、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に各々１つ以上配置された構成としてもよい。
　この発明によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ内において、第１の方向～第３の方向の各ライン内に配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができる。また、第１の色以外の２色以上の第２の色の各色に対応する第２のフィルタについては、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を低減して高解像度化を図ることができる。
　また、カラーフィルタは、第１のフィルタからなる２×２画素に対応する正方配列を含む構成としてもよい。
　この発明によれば、２×２画素に対応する正方配列の４画素の各画素間の画素値の差分値に基づいて輝度の相関方向が４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。
　また、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）である構成としてもよい。
　また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成されている構成としてもよい。
　この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。
　また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成されていてもよい。
　この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。
　本発明の撮像装置の制御方法は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、第１の方向及び第２の方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、共有画素毎に撮像信号を増幅する増幅手段と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ＞Ｋ，Ｍ＞Ｌ）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置の制御方法であって、撮像素子に対して、画素毎、第２の方向に沿った走査ライン毎、及び第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち第１の方向にＫ画素以上Ｎ画素以下の周期で第２の方向に沿って配列されている画素のライン画像データを生成し、ライン画像データに基づいて画像データを生成することを特徴とする。
　本発明の制御プログラムは、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、第１の方向及び第２の方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、共有画素毎に撮像信号を増幅する増幅手段と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ＞Ｋ，Ｍ＞Ｌ）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置を制御するコンピュータに、撮像素子に対して、画素毎、第２の方向に沿った走査ライン毎、及び第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、撮像素子から、複数の画素における画素信号を設定された周期で読出すステップと、読み出した画素信号から、複数の画素のうち第１の方向にＫ画素以上Ｎ画素以下の周期で第２の方向に沿って配列されている画素のライン画像データを生成するステップと、ライン画像データに基づいて画像データを生成するステップと、を含む処理を実行させることを特徴とする。
　本発明によれば、複数の画素でアンプを共有する場合において、間引いて画像データを読み出した場合でも、露光タイミングに大きな差が生じるのを防ぐことができる、という効果を有する。
第１実施形態に係る撮像装置の概略ブロック図である。 第１実施形態に係るカラーフィルタの構成図である。 第１実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第１実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第３実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 第４実施形態に係るＣＭＯＳセンサで構成された撮像素子の概略構成図である。 画素共有の構成を示す構成図である。 各走査ラインの露光等のタイミングについて説明するための図である。 垂直方向及び水平方向ともに１／２間引きで読み出す場合について説明するための図である。 従来の各走査ラインの露光等のタイミングについて説明するための図である。 間引き後の画像について説明するための図である。 制御部で実行される処理を示すフローチャートである。 第１実施形態に係る各走査ラインの露光等のタイミングについて説明するための図である。 第１実施形態に係る各走査ラインの露光等のタイミングについて説明するための図である。 第１実施形態に係る間引き後の画像について説明するための図である。 共有画素と読み出す画素との位置関係を示す図である。 共有画素と読み出す画素との位置関係を示す図である。 第２実施形態に係るカラーフィルタの構成図である。 第２実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第２実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第２実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 第２実施形態に係る間引き後の画像について説明するための図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。
　以下、図面を参照して本発明の実施形態について説明する。
（第１実施形態）
　図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。
　光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。
　撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)等のＭＯＳ型のイメージセンサで構成された撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。
　図２には、本実施形態に係るカラーフィルタの一部を示した。各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。
＜カラーフィルタ配列の特徴＞
　第１実施形態のカラーフィルタは、下記の特徴(1)～(6)を有している。
〔特徴(1)〕
　カラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のフィルタが、垂直方向及び水平方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、緑（Ｇ）のフィルタと、赤（Ｒ）及び青（Ｂ）の少なくとも一方の色のフィルタと、が垂直方向及び水平方向に各々配置された基本配列パターンが、繰り返し配置されたものとなっている。
　本実施形態に係る図２に示すカラーフィルタは、一例として６×６画素（Ｎ＝Ｍ＝６）に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが垂直方向（第１の方向）及び水平方向（第２の方向）に繰り返し配置されている。即ち、このカラーフィルタは、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化処理（デモザイク処理ともいう。以下同じ）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。
〔特徴(2)〕
　図２に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の第１の方向である垂直方向、第２の方向である水平方向、及びカラーフィルタ面内において、第１の方向及び第２の方向と交差する第３の方向、すなわち斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に配置されている。なお、ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり、長辺・短辺の長さに応じてその角度は変わりうる。
　輝度系画素に対応するＧフィルタが、カラーフィルタ配列の垂直方向、水平方向、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
〔特徴(3)〕
　図２に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。
　Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。
　これにより、偽色の発生を抑制するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルターを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
　〔特徴(4)〕
　図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。
　図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
　Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　また、Ａ配列とＢ配列の４隅のＧフィルタは、図４に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。
　すなわち、図２に示すカラーフィルタ配列（基本配列パターンＰ）は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。
　いま、図５に示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域を抽出した場合、この局所領域内の４隅の２×２画素のＧ画素は、図５に示す配置になっている。
　図５に示すように、２×２画素のＧ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、これらのＧ画素の画素値の垂直方向の差分絶対値は（｜Ｇ１－Ｇ３｜＋｜Ｇ２－Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１－Ｇ２｜＋｜Ｇ３－Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２－Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１－Ｇ４｜となる。
　これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。
　いま、図４又は図５に示すように中央に３×３画素のＡ配列が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。判別された相関方向は、同時化処理等を行う際に利用することができる。
　〔特徴(5)〕
　図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図３に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。
　このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。
　〔特徴(6)〕
　図２に示すカラーフィルタ配列を構成する基本配列パターンＰのサイズは、前述したように（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）である。また、詳細は後述するが、１つのアンプで複数の画素を共有する共有画素のサイズは、（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）である。そして、基本配列パターンＰのサイズは、共有画素のサイズよりも大きい。すなわち、Ｎ＞Ｋ，Ｍ＞Ｍを満たす。
　撮像素子１４は、前述したように、ＣＭＯＳイメージセンサで構成されている。図６には、ＣＭＯＳイメージセンサで構成された撮像素子１４の概略構成を示した。同図に示すように、撮像素子１４は、半導体基板上に形成された画素アレイ３０、垂直駆動走査回路３２、列信号処理回路３４、水平駆動走査回路３６、信号線３８、及びアンプ４０を含んで構成されている。
　画素アレイ３０は、垂直方向及び水平方向の二次元状に配列された複数の画素を含んで構成されている。
　垂直駆動走査回路３２は、水平方向に沿った走査ライン上の複数の画素をまとめて選択して駆動する。なお、走査ライン上の画素を１つずつ選択して駆動することも可能である。
　列信号処理回路３４は、図示しない複数の信号処理回路で構成されている。この信号処理回路は、水平方向の共有画素毎に設けられる。各信号処理回路は、図示しないＡＤＣ（アナログ－デジタル変換）回路を含んで構成されている。このＡＤＣ回路は、各画素からの画素値に応じた撮像信号をデジタル信号に各々変換する。
　水平駆動走査回路３６は、列信号処理回路３４に含まれる複数の信号処理回路の各々に接続された図示しないスイッチと、このスイッチをオンオフ制御する図示しない制御回路とで構成されている。このスイッチがオンされることにより、信号処理回路で処理された撮像信号が信号線３８に出力され、この撮像信号がアンプ４０を介して撮像素子１４の外部に出力される。
　なお、垂直駆動走査回路３２、列信号処理回路３４、及び水平駆動走査回路３６は、駆動部２２により制御される。
　また、画素アレイ３０は、垂直方向及び水平方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、当該共有画素毎に撮像信号を増幅するアンプを共有画素毎に備えている。
　図７には、垂直方向及び水平方向に２×２画素の合計４画素を共有画素として、これら４画素を同一のアンプで増幅する場合の構成を示した。
　図７に示すように、画素としてのフォトダイオードＰＤ１～ＰＤ４のカソードには、各々ＭＯＳトランジスタ等で構成されたスイッチＳＷ１～ＳＷ４の一端が各々接続されている。そして、スイッチＳＷ１～ＳＷ４の他端はリセットスイッチＲＳＴ及びアンプＡＰの入力端に接続されており、アンプＡＰの出力端は信号線Ｓに接続されている。信号線Ｓは、列信号処理回路３４の図示しない信号処理回路に接続されている。
　スイッチＳＷ１～ＳＷ４には、垂直駆動走査回路３２から電荷転送制御信号ＶＴ１～ＶＴ４が各々入力される。垂直駆動走査回路３２は、電荷を読み出したいスイッチをオンすることにより、そのスイッチが接続されたフォトダイオードに蓄積された電荷をアンプＡＰで増幅させて信号線Ｓに出力させる。
　本実施形態では、図７に示すように２×２画素毎に１つのアンプＡＰが接続された構成となっているため、スイッチの数を減らすことができ、高精細化が可能となる。なお、画素共有する画素数は、２×２画素に限らず、３×３画素以上でもよいし、垂直方向に共有する画素数と水平方向に共有する画素数とが異なっていても良い。
　また、図７に示すようにフォトダイオード毎にスイッチが設けられたＭＯＳ型イメージセンサでは、走査ライン毎、走査ライン上の複数の画素毎、及び１画素毎の何れか毎に順次シャッタパルスを印加してフォトダイオードに蓄積された電荷の掃き出しを行なう所謂ローリングシャッタ方式により電荷の掃き出しを行う。
　具体的には、１画面内の全画素に対して一斉にリセットを行うのではなく、走査ライン毎、走査ライン上の複数の画素毎、及び１画素毎の何れか毎に順次リセットを行って露光を開始し、撮像信号の読み出しを実行する。
　ローリングシャッタ方式の場合、図８に示すように、例えば走査ライン毎にリセット、露光、読み出しを繰り返す。
　従って、例えば垂直方向に画像データを間引いて読み出す場合において、垂直方向における共有画素内で複数のライン画像データを読み出そうとすると、共有画素内において最初に読み出すライン上の画素のリセット、露光、読み出しが終了してから、共有画素内において次に読み出すライン上の画素のリセット、露光、読み出しを行わなければならない。このため、露光タイミングに大きな差が生じ、画像に偽色が生じる等の悪影響を及ぼす。
　例えば、図９に示すように、共有画素を３×３画素（図中太線枠で示す）として、垂直方向１／２間引き及び水平方向１／２間引きでライン画像データを読み出す場合について考える。図９に示すように、垂直方向の位置を行、水平方向の位置を列とし、各共有画素内の各画素を画素１～９とすると、垂直方向１／２間引きの場合は、２行毎に各画素の画素データが読み出される。また、水平方向１／２間引きの場合は、２列毎に各画素の画素データが読み出される。従って、図９のハッチングで示した画素の画素値が読み出される。
　ここで、例えば１行１列目の画素１、１行３列目の画素３、３行１列目の画素７、３行３列目の画素９は、３×３画素の共有画素内の画素となっている。共有画素内では、１つのアンプを共有しているため、これら４個の画素の画素データを一度に読み出すことはできない。
　従って、図１０に示すように、最初の走査では、１行１列目の画素１、１行７列目の画素１、１行１３列目の画素１、・・・のように、１行目の各画素１のうち、水平方向１／２間引きで読み出される位置の画素１について走査、すなわち、リセット（Ｒ）、露光（１＿露光）、読み取り（取）が行われる。
　そして、図１０に示すように、最初の走査のリセットが終了すると、次の走査が開始される。すなわち、１行５列目の画素２、１行１１列目の画素２、１行１７列目の画素２、・・・のように、１行目の各画素２のうち、水平方向１／２間引きで読み出される位置の画素２について、リセット（Ｒ）、露光（２＿露光）、読み取り（取）が行われる。
　２回目の走査のリセットが終了すると、次の走査が開始される。すなわち、１行３列目の画素３、１行９列目の画素３、１行１５列目の画素３、・・・のように、１行目の各画素３のうち、水平方向１／２間引きで読み出される位置の画素３について、リセット（Ｒ）、露光（３＿露光）、読み取り（取）が行われる。
　以降、図１０に示すように、３行目、５行目も１行目と同様に、３回ずつ走査が行われる。このように、３×３画素を共有画素として、垂直方向及び水平方向ともに１／２間引きで各画素の画素データを読み出すと、垂直方向及び水平方向ともに共有画素内で複数の画素を読み出さなければならないため、１行当たり３回走査しなければならない。これにより、同じ行の画素でも露光タイミングが異なるため、例えば動きの速い被写体を動画撮影したような場合、画素単位で信号量がばらつくことによって同時化処理等の補間処理の精度が悪化し、偽色が発生する場合がある。
　特に、図２に示すカラーフィルタの場合、垂直方向１／２間引き及び水平方向１／２間引きで各画素の画素データを読み取った場合、間引き後の画素の配置は図１１に示すような配置となる。この場合、同じ共有画素内の四隅の画素１、３、５、７、９は、Ｇ画素であり、それぞれ露光タイミングが異なる。このため、特に点線領域で示した画素１、３、７、９は、２×２画素で隣接して配置されるため、露光タイミングが異なることによる信号量の段差による悪影響が大きくなる。
　そこで、詳細は後述するが、本実施形態では、垂直方向にＫ画素以上の周期で水平方向に沿ったラインのライン画像データを読み出すように撮像素子１４を駆動する。また、このとき、水平方向に沿ったライン上の各画素のうち、水平方向にＬ画素以上の周期の画素のみ読み出す。本実施形態では、共有画素は２×２画素であるので（Ｋ＝Ｌ＝２）、垂直方向に２ライン周期以上の周期で水平方向に沿ったライン画像データを読み出す。これにより、垂直方向における共有画素内で複数の水平方向に沿ったライン画像データを読み出すことはなく、露光タイミングに大きな差が生じるのを防ぐことができる。また、水平方向においても、水平方向にＬ画素以上の周期の画素のみ読み出すので、水平方向における共有画素内で複数の画素の画素データを読み出すことはなく、露光タイミングに大きな差が生じるのを防ぐことができる。
　すなわち、本実施形態では、垂直方向及び水平方向のそれぞれにおいて、共有画素内においては１つの画素しか読み出さないため、露光タイミングに大きな差が生じるのを防ぐことができる。
また、本実施形態では、カラーフィルター配列の特徴(2),(3)のうち、少なくともＧフィルタ、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されているため、基本配列パターンのサイズＮ×Ｍ以下の周期で水平方向及び又は垂直方向に沿ったラインのライン画像データを読み出しても、Ｒ，Ｇ，Ｂの各画素信号が得られるため色再現が可能である。
　撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画像データとして画像処理部２０に出力する。
　画像処理部２０は、撮像処理部１６から出力された画像データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画像データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画像データを生成する。そして、生成したＲ，Ｇ，Ｂの画像データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。
　駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。
　制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。
　撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。
　撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画（ライブビュー画像）を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがあるが、撮影モードの種類はこれらに限られるものではない。
　次に、本実施形態の作用として、制御部２４で実行される処理について、図１２に示すフローチャートを参照して説明する。
　なお、図１２に示す処理は、撮影モードに応じた撮影を実行するように指示された場合に実行される。また、以下では、垂直方向において予め定めた周期でライン画像データを読み出す場合、すなわち、垂直方向における予め定めた周期のライン以外のラインを間引いて（除いて）読み出す場合について説明する。また、この場合のライン画像データとは、水平方向に沿って並ぶ画素の画素データの集合である。
　まず、ステップ１００では、撮影モードに応じた間引き方法で画像データを読み出すように駆動部２２に指示する。
　本実施形態では、垂直方向に２ライン以上の周期で水平方向に沿ったラインのライン画像データを読み出すように撮像素子１４を駆動すると共に、水平方向に沿ったライン上の各画素のうち、水平方向に２画素以上の周期の画素のみ読み出す。すなわち、制御部２４は、垂直方向及び水平方向共に１／２間引きで読み出すように駆動部２２に指示する（本実施形態では、駆動部２２及び制御部２４が、ライン画像データ生成手段に対応する）。
　これにより、図１３に示すハッチングで示した画素の画素データが読み出される。すなわち、垂直方向及び水平方向共に２画素周期で画素データが読み出される。
　具体的には、図１３に示すように、垂直方向の位置を行、水平方向の位置を列とし、２×２画素（図中太線枠で示す）の各共有画素内の各画素を画素１～４とすると、最初の走査では、１行１列目の画素１、１行３列目の画素１、１行５列目の画素１、・・・のように、１行目の全ての画素１について、走査が行われる。すなわち、図１４に示すように、１行目の全ての画素１について、リセット（Ｒ）、露光（１＿露光）、読み取り（取）が行われる。
　そして、図１４に示すように、最初の走査のリセットが終了すると、次の走査が開始される。すなわち、３行１列目の画素１、３行３列目の画素１、３行５列目の画素１、・・・のように、３行目の全ての画素１について、リセット（Ｒ）、露光（２＿露光）、読み取り（取）が行われる。
　２回目の走査のリセットが終了すると、次の走査が開始される。すなわち、５行１列目の画素１、５行３列目の画素１、５行５列目の画素１、・・・のように、５行目の全ての画素１について、リセット（Ｒ）、露光（３＿露光）、読み取り（取）が行われる。
　以降、図１４に示すように、５行目、７行目、９行目等も１行目と同様に、１回ずつ走査が行われる。このように、２×２画素を共有画素として、垂直方向及び水平方向ともに１／２間引きで各画素の画素データを読み出しても、垂直方向及び水平方向ともに共有画素の画素数以上の周期で読み出すため、１行当たり１回の走査で済む。
　これにより、同じ行の画素は全て露光タイミングが同一となるため、例えば動きの速い被写体を動画撮影したような場合でも、画素単位で信号量がばらつくことがなく、同時化処理等の補間処理の精度が悪化して偽色が発生するのを防ぐことができる。
　なお、垂直方向及び水平方向共に１／２間引きで読み出すと、図１５に示すような画像となる。
　ステップ１０２では、間引き読み出しされた画像データに対して、撮影モードに応じた画像処理（例えば同時化処理、ＹＣ変換処理、リサイズ処理等）を実行するよう画像処理部２０に指示する（本実施形態では、画像処理部２０及び制御部２４が、画像データ生成手段に対応する）。
　なお、制御部２４及び画像処理部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。
　このように、本実施形態では、垂直方向及び水平方向のそれぞれにおいて、共有画素内においては１つの画素しか読み出さないため、１行の走査が１回で済み、同じ行の画素で露光タイミングに差が生じるのを防ぐことができる。従って、例えば動きの速い被写体を動画撮影したような場合でも、画素単位で信号量がばらつくことによって同時化処理等の補間処理の精度が悪化し、偽色が発生するのを防ぐことができる。
　なお、本実施形態では、垂直方向にＫ画素以上の周期で水平方向に沿ったラインのライン画像データを読み出すように撮像素子１４を駆動すると共に、水平方向に沿ったライン上の各画素のうち、水平方向にＬ画素以上の周期の画素のみ読み出すように撮像素子１４を駆動する場合について説明したが、垂直方向についてはＫ画素未満の周期で水平方向に沿ったラインのライン画像データを読み出すように撮像素子１４を駆動するようにしてもよい。
　すなわち、図１６に示すように、本実施形態では、垂直方向及び水平方向ともに共有画素Ｃ内において１つの画素Ｄしか読み出さない場合について説明したが、図１７に示すように、垂直方向については、共有画素内で複数の画素Ｄを読み出すようにしてもよい。
（第２実施形態）
　次に、本発明の第２実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。
　図１８には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　また、図１８に示すカラーフィルタ配列は、Ｇフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されている。
　また、図１８に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。
　図１９は、図１８に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。
　図１９に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
　Ａ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、Ｂ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらのＡ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　図２０Ａに示すように、第１実施形態のカラーフィルタは、上記Ａ配列とＢ配列とが、水平及び垂直方向に交互に配置されていると捉えることもできる。
　いま、図２０Ａに示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図２０Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７、Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ２Ｇ３が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。
　従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。
　即ち、水平方向の差分絶対値の和は｜Ｇ１－Ｇ２｜＋｜Ｇ３－Ｇ４｜、水平方向の差分絶対値の和は｜Ｇ５－Ｇ６｜＋｜Ｇ７－Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６－Ｇ２｜＋｜Ｇ３－Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６－Ｇ３｜＋｜Ｇ２Ｇ７｜となる。
　これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化処理等を行う際に利用することができる。
　また、図１８に示すカラーフィルタを構成する基本配列パターンＰは、その基本配列パターンＰの中心に対して点対称になっている。
　図１９に示したように、基本配列パターン内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。
　また、図１８に示すカラーフィルタ配列を構成する基本配列パターンＰのサイズは、（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）であり、共有画素のサイズ（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）よりも大きい。すなわち、Ｎ＞Ｋ，Ｍ＞Ｍを満たす。
　このように第２実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(3)～(6)と同じ特徴を有している（特徴(2),(3)に関しては、Ｇフィルタ、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されているという特徴を有している）。
　このようなカラーフィルタの場合、第１実施形態と同様に垂直方向及び水平方向ともに１／２間引きで読み出すと、間引き後の画像は図２１に示すような画像となる。
　なお、カラーフィルタ配列は、上記各実施形態で説明したものに限られるものではなく、以下のようなカラーフィルタ配列の撮像素子を有する撮像装置にも、本発明は適用できる。
　例えば、上記特徴(1)、(2)、(3)、(6)を有するカラーフィルタ配列として、例えば、図２２に示すような基本配列パターンＰが３×３画素のカラーフィルタがある。このカラーフィルタ配列は、３×３画素のうち中心と４隅にＧフィルタが配置され、残りの４画素にＲまたはＢが同数配置された基本配列パターンが繰り返されたものである。また、垂直方向及び水平方向ともに１／２間引きした場合の画像は図２２に示すような画像となる。
　また、上記特徴(1)、(2)、(3)、(6)を有するカラーフィルタとして、図２３に示すような基本配列パターンＰが５×５画素のカラーフィルタ配列がある。このカラーフィルタ配列は、５×５画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が５×５画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。また、垂直方向及び水平方向ともに１／２間引きした場合の画像は図２３に示すような画像となる。
　その他にも、上記特徴(1)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図２４に示すように基本配列パターンＰが４×４画素のカラーフィルタ配列がある。このカラーフィルタ配列は、４×４画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が４×４画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。
　また、図２５に示すように基本配列パターンＰが５×５画素のカラーフィルタ配列がある。
　また、図２６に示すように、基本配列パターンＰが６×６画素のカラーフィルタ配列がある。このカラーフィルタ配列は、ＧがＲまたはＢの外周に矩形状に配置された第１サブ配列と、Ｇが中央部に配置された第２サブ配列とがそれぞれ２つずつ水平方向、垂直方向に交互に互いに隣接するように配置された基本配列パターンが繰り返されたものである。この配列においては、特徴(3)において、Ｒ及びＢもカラーフィルター配列の斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に１つ以上配置される特徴も有する。
　また、図２７に示すように、基本配列パターンＰが７×７画素のカラーフィルタ配列、図２８に示すように、基本配列パターンＰが８×８画素のカラーフィルタ配列等がある。
　なお、同時化処理や動画撮影時の間引き処理等の画像処理の容易さを考慮すると、Ｎ、Ｍは１０以下であることが好ましい。
　また、上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタ、例えば図２９に示すようなカラーフィルタにも適用できる。また、他の色として白色または透明（Ｗ）フィルタを有するカラーフィルタにも本発明を適用できる。例えば図２９のエメラルドに代えてＷフィルタを配置しても良い。この場合、ＷとＧの組み合わせ、又はＷが輝度信号に最も寄与する第１の色となる。
　また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子にも適用できる。
　また、本実施形態では、垂直方向及び水平方向ともに２画素周期で読み出して画像データを生成する場合について説明したが、全画素分の画素の画素信号を読み出して、垂直方向及び水平方向ともに２画素周期の画素の画素データを選択的に使って（その他の画素の画素データを使わず又は記憶せず）、画像データを生成するようにしても良い。また、全画素分の画素の画素信号を読み出してＲＡＭ等のメモリに一時記憶し、垂直方向及び水平方向ともに２画素周期の画素の画素データを選択的に使って画像データを作成するようにしても良い（この形態の場合、撮像処理部１６又は画像処理部２０がライン画像データ生成手段に対応する）。
　更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ 撮像処理部
２０ 画像処理部
２２ 駆動部
２４ 制御部
３０ 画素アレイ
３２ 垂直駆動走査回路
３４ 列信号処理回路
３６ 水平駆動走査回路
３８ 信号線
４０ アンプ
ＡＰ アンプ
Ｐ 基本配列パターン
ＰＤ１～ＰＤ４ フォトダイオード
ＲＳＴ リセットスイッチ
Ｓ 信号線
ＳＷ１～ＳＷ４ スイッチ

Claims (11)

  1. 　予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    　前記第１の方向及び前記第２の方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、当該共有画素毎に撮像信号を増幅する増幅手段と、
    　前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ＞Ｋ，Ｍ＞Ｌ）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
    　前記撮像素子に対して、前記画素毎、前記第２の方向に沿った走査ライン毎、及び前記第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記複数の画素のうち前記第１の方向にＫ画素以上Ｎ画素以下の周期で前記第２の方向に沿って配列されている画素のライン画像データを生成するライン画像データ生成手段と、
    　前記ライン画像データに基づいて画像データを生成する画像データ生成手段と、
    　を備えた撮像装置。
  2. 　前記ライン画像データ生成手段は、前記第２の方向にＬ画素以上Ｍ画素以下の周期で配列されている画素の画素データを生成する
    　請求項１記載の撮像装置。
  3. 　前記ライン画像データ生成手段は、前記撮像素子から前記複数の画素における画素信号を読み出す前記設定された周期として、前記複数の画素のうち前記第１の方向にＫ画素以上Ｎ画素以下の周期で前記第２の方向に沿って配列されている画素の前記画素信号を読み出して前記ライン画像データを生成する
    　請求項１又は請求項２記載の撮像装置。
  4. 　前記ライン画像データ生成手段は、前記撮像素子から前記複数の画素における画素信号を読み出す前記設定された周期として、前記複数の画素のうち前記第２の方向にＬ画素以上Ｍ画素以下の周期で配列されている画素の前記画素信号を読み出して前記ライン画像データを生成する
    　請求項２又は請求項３記載の撮像装置。
  5. 　前記第１のフィルタは、前記カラーフィルタ内において、前記第１の方向と、前記第２の方向と、前記第１の方向及び前記第２の方向と交差する第３の方向と、の各ライン内に１つ以上配置され、
    　前記第２の色の各色に対応する前記第２のフィルタは、前記基本配列パターン内において、前記第１の方向及び前記第２の方向の各ライン内に各々１つ以上配置された
    　請求項１～請求項４の何れか１項に記載の撮像装置。
  6. 　前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む
    　請求項１～請求項５の何れか１項に記載の撮像装置。
  7. 　前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である
    　請求項１～請求項６の何れか１項に記載の撮像装置。
  8. 　前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
    　前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
    　請求項７記載の撮像装置。
  9. 　前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
    　前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
    　請求項７記載の撮像装置。
  10. 　予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    　前記第１の方向及び前記第２の方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、当該共有画素毎に撮像信号を増幅する増幅手段と、
    　前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ＞Ｋ，Ｍ＞Ｌ）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
    　を備えた撮像装置の制御方法であって、
    　前記撮像素子に対して、前記画素毎、前記第２の方向に沿った走査ライン毎、及び前記第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、
    　前記読み出した画素信号から、前記複数の画素のうち前記第１の方向にＫ画素以上Ｎ画素以下の周期で前記第２の方向に沿って配列されている画素のライン画像データを生成し、
    　前記ライン画像データに基づいて画像データを生成する
    　撮像装置の制御方法。
  11. 　予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    　前記第１の方向及び前記第２の方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、当該共有画素毎に撮像信号を増幅する増幅手段と、
    　前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ＞Ｋ，Ｍ＞Ｌ）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
    　を備えた撮像装置を制御するコンピュータに、
    　前記撮像素子に対して、前記画素毎、前記第２の方向に沿った走査ライン毎、及び前記第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出すステップと、
    　前記読み出した画素信号から、前記複数の画素のうち前記第１の方向にＫ画素以上Ｎ画素以下の周期で前記第２の方向に沿って配列されている画素のライン画像データを生成するステップと、
    　前記ライン画像データに基づいて画像データを生成するステップと、
    　を含む処理を実行させるための制御プログラム。
PCT/JP2012/083973 2011-12-27 2012-12-27 撮像装置、撮像装置の制御方法、及び制御プログラム WO2013100093A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013551839A JP5607265B2 (ja) 2011-12-27 2012-12-27 撮像装置、撮像装置の制御方法、及び制御プログラム
EP12863577.8A EP2800355B1 (en) 2011-12-27 2012-12-27 Imaging device, method for controlling imaging device, and control program
CN201280065347.3A CN104025566B (zh) 2011-12-27 2012-12-27 摄像装置及摄像装置的控制方法
US14/315,456 US8964087B2 (en) 2011-12-27 2014-06-26 Imaging device, method for controlling imaging device, and storage medium storing a control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-286688 2011-12-27
JP2011286688 2011-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/315,456 Continuation US8964087B2 (en) 2011-12-27 2014-06-26 Imaging device, method for controlling imaging device, and storage medium storing a control program

Publications (1)

Publication Number Publication Date
WO2013100093A1 true WO2013100093A1 (ja) 2013-07-04

Family

ID=48697572

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/083973 WO2013100093A1 (ja) 2011-12-27 2012-12-27 撮像装置、撮像装置の制御方法、及び制御プログラム

Country Status (5)

Country Link
US (1) US8964087B2 (ja)
EP (1) EP2800355B1 (ja)
JP (1) JP5607265B2 (ja)
CN (1) CN104025566B (ja)
WO (1) WO2013100093A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201724A (ja) * 2014-04-07 2015-11-12 キヤノン株式会社 画像処理装置および画像処理方法
JP2017198957A (ja) * 2016-04-27 2017-11-02 采▲ぎょく▼科技股▲ふん▼有限公司ＶｉｓＥｒａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ 低密度の青色を有するカラーフィルターアレイ
CN116863869A (zh) * 2023-09-04 2023-10-10 长春希达电子技术有限公司 一种亚像素的排布结构及其控制方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
KR20220144087A (ko) 2021-04-19 2022-10-26 삼성전자주식회사 이미지 센서 및 이미지 센싱 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011004318A (ja) * 2009-06-22 2011-01-06 Sony Corp 撮像素子、電荷読み出し方法、撮像装置
JP2011029379A (ja) * 2009-07-24 2011-02-10 Sony Corp 固体撮像装置とその製造方法並びにカメラ
JP2011082768A (ja) * 2009-10-06 2011-04-21 Canon Inc 固体撮像装置および撮像装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4876590A (en) * 1988-06-17 1989-10-24 Eastman Kodak Company Low resolution verifier for a still video image
US5493335A (en) * 1993-06-30 1996-02-20 Eastman Kodak Company Single sensor color camera with user selectable image record size
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
JP4518616B2 (ja) * 2000-04-13 2010-08-04 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
JP2002135793A (ja) 2000-10-20 2002-05-10 Victor Co Of Japan Ltd カラー撮像装置
EP2768223B8 (en) 2001-01-09 2016-11-09 Sony Semiconductor Solutions Corporation Image pick up device
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP3960965B2 (ja) 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
DE102006038646B4 (de) * 2006-08-17 2011-03-24 Baumer Optronic Gmbh Bildverarbeitungsvorrichtung für Farb-Bilddaten
WO2008067472A2 (en) * 2006-11-29 2008-06-05 President And Fellows Of Harvard College A new spatio-spectral sampling paradigm for imaging and a novel color filter array design
US7769230B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5400406B2 (ja) * 2009-02-06 2014-01-29 キヤノン株式会社 撮像装置
US20110009041A1 (en) 2009-07-07 2011-01-13 Ross Industries, Inc. Food conditioner

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011004318A (ja) * 2009-06-22 2011-01-06 Sony Corp 撮像素子、電荷読み出し方法、撮像装置
JP2011029379A (ja) * 2009-07-24 2011-02-10 Sony Corp 固体撮像装置とその製造方法並びにカメラ
JP2011082768A (ja) * 2009-10-06 2011-04-21 Canon Inc 固体撮像装置および撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2800355A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201724A (ja) * 2014-04-07 2015-11-12 キヤノン株式会社 画像処理装置および画像処理方法
JP2017198957A (ja) * 2016-04-27 2017-11-02 采▲ぎょく▼科技股▲ふん▼有限公司ＶｉｓＥｒａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ 低密度の青色を有するカラーフィルターアレイ
US10151862B2 (en) 2016-04-27 2018-12-11 Visera Technologies Company Limited Color filter array having low density of blue color
CN116863869A (zh) * 2023-09-04 2023-10-10 长春希达电子技术有限公司 一种亚像素的排布结构及其控制方法
CN116863869B (zh) * 2023-09-04 2023-12-12 长春希达电子技术有限公司 一种亚像素的排布结构及其控制方法

Also Published As

Publication number Publication date
JPWO2013100093A1 (ja) 2015-05-11
EP2800355A4 (en) 2015-08-12
EP2800355A1 (en) 2014-11-05
JP5607265B2 (ja) 2014-10-15
US20140327797A1 (en) 2014-11-06
EP2800355B1 (en) 2017-12-20
CN104025566A (zh) 2014-09-03
CN104025566B (zh) 2015-10-14
US8964087B2 (en) 2015-02-24

Similar Documents

Publication Publication Date Title
EP1675408B1 (en) Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
KR20100066396A (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
JP2007531351A (ja) 電荷ビニング型イメージセンサ
WO2013099637A1 (ja) カラー撮像素子及び撮像装置
US20100245628A1 (en) Imaging apparatus and imaging system
JP4905279B2 (ja) 撮像回路および撮像装置
JP5607265B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP2008278453A (ja) 撮像装置及び撮像システム
JPH09238355A (ja) 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置
JP5607266B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5624228B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5411390B2 (ja) カラー撮像素子
JP6127368B2 (ja) 撮像装置
JP5124549B2 (ja) 固体撮像素子の動画像信号読出方法及び撮像装置
JP5607267B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5624227B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP4852490B2 (ja) 撮像装置及びそのポストビュー画像生成方法
JP2013197610A (ja) 撮像装置、画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12863577

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013551839

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012863577

Country of ref document: EP