WO2012147515A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2012147515A1
WO2012147515A1 PCT/JP2012/059909 JP2012059909W WO2012147515A1 WO 2012147515 A1 WO2012147515 A1 WO 2012147515A1 JP 2012059909 W JP2012059909 W JP 2012059909W WO 2012147515 A1 WO2012147515 A1 WO 2012147515A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
control
pixels
row
phase difference
Prior art date
Application number
PCT/JP2012/059909
Other languages
English (en)
French (fr)
Inventor
遠藤　宏
智行 河合
井上　知己
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2013511999A priority Critical patent/JP5526287B2/ja
Publication of WO2012147515A1 publication Critical patent/WO2012147515A1/ja
Priority to US14/063,799 priority patent/US8830384B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Definitions

  • the present invention relates to an imaging apparatus and an imaging method.
  • Patent Document 1 discloses an imaging device in which a pixel row including a phase difference pixel is provided every predetermined number of pixel rows on a light receiving surface on which a large number of pixels are arranged.
  • the intervals (positions) in the subject space of the signal obtained by the thinning driving may be nonuniform, and jaggy may occur.
  • FIG. 13 is an enlarged view of a part of a solid-state imaging device having phase difference pixels.
  • the solid-state imaging device 300 includes a plurality of pixels 100 arranged in a square lattice pattern in a row direction X and a column direction Y orthogonal thereto.
  • Each pixel 100 includes a photoelectric conversion element and a color filter provided above the photoelectric conversion element.
  • the array of color filters included in all the pixels 100 is a Bayer array.
  • pixels with “R” are pixels that detect red light.
  • the pixels with “G” are pixels that detect green light.
  • the pixels with “B” are pixels that detect blue light.
  • the pixel 100 with R is also referred to as an R pixel 100.
  • the pixel 100 with G is also referred to as a G pixel 100.
  • the pixel 100 with B is also referred to as a B pixel 100.
  • a part of the G pixel 100 is a phase difference pixel that is a pixel for detecting a phase difference.
  • a pixel 100 that is a phase difference pixel is indicated by a reference numeral 100 a together with shading.
  • the phase difference pixel 100a includes two types of pixels, a pixel in which the optical aperture of the photoelectric conversion element is decentered to the right side and a pixel in which the optical aperture of the photoelectric conversion element is decentered to the left side.
  • pixel rows including the phase difference pixels 100a are arranged every three pixel rows.
  • signals (R (red) signal, G (green) signal, B (blue) signal) necessary for generating color image data are obtained without reading the signal from the phase difference pixel 100a.
  • the following two methods are conceivable.
  • the other is a method in which signals are not read out from the pixel row including the phase difference pixel 100a and the GR pixel row adjacent thereto, and signals are read out only from the other pixel rows. is there.
  • both of these two methods may cause jaggy because the spatial positions of the signals read from the pixels 100 are unevenly arranged in the column direction Y.
  • a GR pixel row excluding a pixel row including the phase difference pixel 100a and a BG pixel row including the B pixel 100 and the G pixel 100 are alternately arranged in a column direction and a predetermined pixel row. If driving that is read every other time can be employed, the spatial positions of the signals read from the solid-state imaging device 300 are arranged at equal intervals in the column direction.
  • the solid-state imaging device 300 since the solid-state imaging device 300 has pixel rows including the phase difference pixels 100a every three pixel rows, such driving cannot be employed. As the solid-state imaging device that cannot employ such driving, in addition to the solid-state imaging device 300, the solid-state imaging device 300 includes pixel rows including the phase difference pixels 100a arranged every seven pixel rows, or the solid-state imaging device. In the element 300, the pixel row including the phase difference pixel 100a is arranged every 15 pixel rows.
  • the conventional thinning-out driving method performs readout.
  • the arrangement of the spatial positions of the signals becomes uneven, and jaggies cannot be suppressed.
  • Patent Document 1 does not disclose a specific method of thinning driving for suppressing jaggy.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an imaging apparatus and an imaging method that do not generate jaggies when an image is generated by thinning out signals of phase difference pixels.
  • the imaging device of the present invention is an imaging device having a solid-state imaging device including a plurality of pixels arranged two-dimensionally, and the solid-state imaging device includes a red pixel that detects red light and a green that detects green light.
  • the pixel group includes a pixel group in which blue pixels for detecting blue light are arranged in a Bayer shape, and the pixel group in the Bayer shape includes the green pixel and the red pixel alternately arranged in a row direction.
  • Two types of pixel rows, a GR pixel row that is a selected pixel row, and a BG pixel row that is a pixel row in which the blue pixels and the green pixels are alternately arranged in the row direction, are orthogonal to the row direction.
  • the GR pixel row or the BG pixel row included in the Bayer-shaped pixel group, which are alternately arranged in a direction, includes a phase difference pixel for detecting a phase difference.
  • a plurality of rows, the phase Gasogyo, said at Bayer shape arrayed pixel group (2 n + 1 -1) (n is a natural number) are those provided in the pixel row every other, arranged at equal intervals in the column direction, the phase difference
  • a control unit that performs the first control or the second control is provided, and the pixel row in which the first control is performed and the second control are performed.
  • the pixel rows are alternately arranged in the column direction, and the first control does not read a signal from each pixel of the pixel row to be controlled, and two pixels adjacent to the pixel row to be controlled
  • the second control is a control for reading out a signal from each pixel in the pixel row to be controlled, and the second control is a control for reading out a signal from each pixel in the row.
  • a pixel row includes all the phase differences included in the solid-state imaging device. At least a pixel row and a pixel row in the middle of the phase difference pixel rows adjacent in the column direction, and the control unit performs the first control on at least the phase difference pixel row It is.
  • the imaging method of the present invention is an imaging method using a solid-state imaging device including a plurality of pixels arranged two-dimensionally, and the solid-state imaging device detects a red pixel for detecting red light and a green light.
  • the pixel group includes a pixel group in which a green pixel and a blue pixel for detecting blue light are arranged in a Bayer shape.
  • the pixel group in the Bayer shape includes the green pixel and the red pixel alternately in a row direction.
  • Two types of pixel rows, a GR pixel row that is an aligned pixel row, and a BG pixel row that is a pixel row in which the blue pixels and the green pixels are alternately arranged in the row direction are orthogonal to the row direction.
  • the GR pixel row or the BG pixel row included in the Bayer-shaped pixel group, which are alternately arranged in the column direction, includes a phase difference pixel for detecting a phase difference.
  • a plurality of pixel rows, the phase Gasogyo, said at Bayer shape arrayed pixel group (2 n + 1 -1) (n is a natural number) are those provided in the pixel row every other, arranged at equal intervals in the column direction, the phase difference
  • a control step for performing the first control or the second control is provided for each of a plurality of pixel rows of the same type as the pixel row, and the pixel row to which the first control is performed and the second control are performed.
  • the pixel rows are alternately arranged in the column direction, and the first control does not read a signal from each pixel of the pixel row to be controlled, and two pixels adjacent to the pixel row to be controlled
  • the second control is a control for reading out a signal from each pixel in the pixel row to be controlled, and the second control is a control for reading out a signal from each pixel in the row.
  • a pixel row includes all the solid-state image sensors included in the solid-state image sensor. Including at least a phase difference pixel row and a pixel row in the middle of the phase difference pixel rows adjacent to each other in the column direction.
  • the first control is performed on at least the phase difference pixel row. Is what you do.
  • an imaging apparatus and an imaging method that do not generate jaggies when an image is generated by thinning out signals of phase difference pixels.
  • FIG. 1 is a schematic plan view showing a schematic configuration of the solid-state imaging device 5 shown in FIG.
  • the figure for demonstrating the control content at the time of the video recording which the system control part 11 in the digital camera shown by FIG. 1 performs The figure which shows the modification of the solid-state image sensor 5 shown by FIG.
  • FIG. 1 is a diagram showing a schematic configuration of an imaging apparatus for explaining an embodiment of the present invention.
  • the imaging device include an imaging device such as a digital camera and a digital video camera, an imaging module mounted on an electronic endoscope, a camera-equipped mobile phone, and the like.
  • a digital camera will be described as an example.
  • the imaging system of the digital camera shown in FIG. 1 includes a photographic lens 1, a MOS type solid-state imaging device 5, a diaphragm 2 provided between the two, an infrared cut filter 3, and an optical low-pass filter 4. Prepare.
  • the system control unit 11 that controls the entire electric control system of the digital camera controls the flash light emitting unit 12 and the light receiving unit 13. In addition, the system control unit 11 controls the lens driving unit 8 to adjust the position of the photographing lens 1 to the focus position or perform zoom adjustment. In addition, the system control unit 11 adjusts the exposure amount by controlling the opening amount of the aperture 2 via the aperture driving unit 9.
  • system control unit 11 drives the solid-state imaging device 5 by controlling the imaging device driving unit 10 to output a subject image captured through the photographing lens 1 as a captured image signal.
  • An instruction signal from the user is input to the system control unit 11 through the operation unit 14.
  • the electric control system of the digital camera further includes an analog signal processing unit 6 that performs analog signal processing such as correlated double sampling processing connected to the output of the solid-state imaging device 5, and RGB output from the analog signal processing unit 6. And an A / D conversion circuit 7 for converting the color signal into a digital signal.
  • the analog signal processing unit 6 and the A / D conversion circuit 7 are controlled by the system control unit 11.
  • the electric control system of this digital camera generates image data by performing main memory 16, memory control unit 15 connected to main memory 16, interpolation calculation, gamma correction calculation, RGB / YC conversion processing, and the like.
  • a digital signal processing unit 17, a compression / decompression processing unit 18 that compresses image data generated by the digital signal processing unit 17 into a JPEG format or expands compressed image data, and a detachable recording medium 21 are connected.
  • the memory control unit 15, the digital signal processing unit 17, the compression / decompression processing unit 18, the external memory control unit 20, and the display control unit 22 are connected to each other by a control bus 24 and a data bus 25, and commands from the system control unit 11. Controlled by.
  • FIG. 2 is a schematic plan view showing a schematic configuration of the solid-state imaging device 5 shown in FIG.
  • the solid-state imaging device 5 includes a plurality of pixels 51 arranged two-dimensionally (in the example of FIG. 2 in a square lattice shape) in a row direction X and a column direction Y orthogonal thereto.
  • Each pixel 51 includes a photoelectric conversion unit such as a photodiode and a color filter provided thereabove.
  • the overall arrangement of the color filters included in all the pixels 51 is a Bayer arrangement.
  • a pixel 51 with “R” is a pixel that detects red light.
  • a pixel 51 with “G” is a pixel that detects green light.
  • a pixel 51 with “B” is a pixel that detects blue light.
  • the pixel 51 given “R” is also referred to as an R pixel 51.
  • the pixel 51 given “G” is also referred to as a G pixel 51.
  • the pixel 51 with “B” is also referred to as a B pixel 51.
  • the solid-state imaging device 5 includes a GR pixel row, which is a pixel row in which G pixels 51 and R pixels 51 are alternately arranged in the row direction X, and pixels in which B pixels 51 and G pixels 51 are alternately arranged in the row direction X.
  • a GR pixel row which is a pixel row in which G pixels 51 and R pixels 51 are alternately arranged in the row direction X
  • B pixels 51 and G pixels 51 are alternately arranged in the row direction X.
  • Two types of pixel rows including a BG pixel row which is a row are included. These two types of pixel rows are alternately arranged in the column direction Y.
  • All the BG pixel rows included in the solid-state imaging device 5 include a plurality of pixel rows including phase difference pixels for detecting the phase difference (hereinafter referred to as phase difference pixel rows).
  • the G pixel 51 serving as the phase difference pixel is provided with a reference numeral 51 a together with the hatching.
  • the phase difference pixel 51a includes two types of pixels, a pixel in which the optical aperture of the photoelectric conversion unit is decentered to the right side and a pixel in which the optical aperture of the photoelectric conversion unit is decentered to the left side.
  • the phase difference pixel 51a may include two types of pixels, that is, a pixel in which the optical aperture of the photoelectric conversion unit is eccentric upward and a pixel in which the optical aperture of the photoelectric conversion unit is eccentric downward.
  • a well-known configuration can be used for the phase difference pixel.
  • phase difference pixel row of the solid-state imaging device 5 a plurality of phase difference pixels 51a are arranged according to a predetermined rule.
  • the digital camera shown in FIG. 1 can shoot still images and movies.
  • the system control unit 11 performs control to read out signals from the pixels of each phase difference pixel row included in the solid-state imaging device 5. Then, the system control unit 11 performs autofocus control by a phase difference detection method using a signal read from the phase difference pixel 51a among signals read from each phase difference pixel row.
  • the system control unit 11 performs first control for each of a plurality of pixel rows (BG pixel rows in the example of FIG. 2) of the same type as the phase difference pixel rows arranged at equal intervals in the column direction Y. Perform one of the second controls.
  • the system control unit 11 includes a plurality of pixel rows such that a pixel row in which the first control is performed and a pixel row in which the second control is performed are alternately arranged in the column direction Y. The first control or the second control is performed for each pixel row.
  • a signal is not read from each pixel 51 of the pixel row to be controlled, and a signal is read from each pixel 51 of two pixel rows adjacent to the pixel row to be controlled in the column direction Y. Control.
  • 2nd control is control which reads a signal from each pixel 51 of the pixel row used as control object.
  • the plurality of pixel rows to be subjected to the first control and the second control are all the phase difference pixel rows of the pixel rows included in the solid-state imaging device 5 and the phase difference adjacent in the column direction Y. It is set so as to include at least a GB pixel row in the middle of the pixel rows.
  • the system control unit 11 performs first control for at least each phase difference pixel row.
  • FIG. 3 is a diagram for explaining the control contents at the time of moving image shooting performed by the system control unit 11 in the digital camera shown in FIG.
  • 15 pixel rows including four pixels 51 are shown as the pixels 51 included in the solid-state imaging device 5.
  • the even-numbered pixel row is a pixel row that performs the first control or the second control.
  • the system control unit 11 performs the phase difference pixel row included in the solid-state image sensor 5 as illustrated in FIG. 3.
  • the first control is performed, and the second control is performed on the BG pixel row in the middle of the phase difference pixel rows adjacent to each other in the column direction Y included in the solid-state imaging device 5.
  • the system control unit 11 controls the image sensor driving unit 10 so as to read signals from the respective pixels 51 of the BG pixel row adjacent to the top and bottom of each phase difference pixel row of the solid-state image sensor 5. Further, the system control unit 11 controls the image sensor driving unit 10 so as to read a signal from each pixel 51 of the BG pixel row in the middle of the phase difference pixel rows adjacent in the column direction Y of the solid-state image sensor 5.
  • the signals read by the first control and the second control are processed by the analog signal processing unit 6 and the A / D conversion circuit 7 and then stored in the main memory 16.
  • the spatial position of the signal obtained by the addition coincides with the barycentric position of the two pixels 51 from which the two signals to be added are output.
  • the spatial arrangement of the captured image signals stored in the main memory 16 is the position of the B pixel 51 included in each phase difference pixel row of the solid-state imaging device 5 in the subject space.
  • the G signal is arranged at the position G
  • the R signal is arranged at the position of the G pixel 51 included in each phase difference pixel row of the solid-state imaging device 5.
  • the B signal and the G signal are respectively located at the positions of the B pixel 51 and the G pixel 51 included in the BG pixel row in the middle of the phase difference pixel rows adjacent to each other in the column direction Y of the solid-state imaging device 5. It will be arranged.
  • a circle with a letter “R” indicates an R signal
  • a circle with a letter “G” indicates a G signal
  • a circle with a letter “B” is B The signal is shown.
  • the spatial arrangement of the captured image signals includes a signal row in which G signals and R signals are alternately arranged in the row direction X, and a signal row in which B signals and G signals are alternately arranged in the row direction X in the column direction Y. Are arranged alternately and at equal intervals.
  • the digital signal processing unit 17 processes the captured image signal to generate image data, so that image data without jaggies can be obtained.
  • the system control unit 11 performs the first control so that the pixel row in which the first control is performed and the pixel row in which the second control is performed are alternately arranged in the column direction Y.
  • the second control is performed.
  • the signal row including the G signal and the R signal and the signal row including the B signal and the G signal are alternately arranged at equal intervals in the column direction Y by the addition processing performed by the subsequent digital signal processing unit 17. It is possible to generate a captured image signal having a spatial arrangement. Therefore, image data without jaggies can be obtained.
  • the captured image signal having the spatial arrangement does not include a signal read from the phase difference pixel row. For this reason, it is not necessary to correct the signal from the phase difference pixel. Therefore, moving image shooting can be performed without increasing the processing load.
  • the analog signal processing unit 6 may perform addition processing of signals read from two identical color pixels 51 adjacent in the column direction Y to each pixel 51 of the phase difference pixel row. For example, by using two line memories and an adder, signals read from two identical color pixels 51 adjacent in the column direction Y are added to each pixel 51 of the phase difference pixel row in an analog manner. Can do.
  • a CCD type may be used as the solid-state imaging device 5.
  • signals (signal charges) read from two identical color pixels 51 adjacent to each pixel 51 in the phase difference pixel row in the column direction Y are transferred on the charge transfer path.
  • the image pickup element driving unit 10 performs the mixing to be performed by the control of the system control unit 11.
  • the system control unit 11 functions as a signal addition unit that adds signals read from two identical color pixels 51 adjacent in the column direction Y to each pixel 51 of the phase difference pixel row.
  • the digital signal processing unit 17 performs a process of amplifying the signal read by the second control with a uniform gain. Thereby, it is possible to eliminate the sensitivity difference between the signals.
  • FIG. 4 is a view showing a modification of the solid-state imaging device 5 shown in FIG.
  • the solid-state imaging device 5a shown in FIG. 4 has the solid-state imaging shown in FIG. 2 except that the phase difference pixel rows are arranged every seven pixel rows (the point where the value of n is 2).
  • the configuration is the same as that of the element 5.
  • FIG. 5 is a diagram for explaining the control contents at the time of moving image shooting performed by the system control unit 11 in the digital camera equipped with the solid-state imaging device 5a.
  • FIG. 5 shows 15 pixel rows including four pixels 51 as the pixels 51 included in the solid-state imaging device 5a.
  • each phase difference pixel row and a BG pixel row in the middle between the phase difference pixel rows adjacent in the column direction Y are the first
  • the pixel row is subjected to control or second control.
  • the system control unit 11 performs the first operation on each phase difference pixel row of the solid-state image sensor 5a as shown in FIG.
  • the second control is performed on the BG pixel row that is in the middle of the phase difference pixel rows adjacent to each other in the column direction Y of the solid-state imaging device 5a.
  • the system control unit 11 controls the image sensor driving unit 10 so as to read signals from two GR pixel rows adjacent above and below each phase difference pixel row of the solid-state image sensor 5a. Further, the system control unit 11 controls the image sensor driving unit 10 so as to read a signal from a BG pixel row in the middle of adjacent phase difference pixel rows in the column direction Y of the solid-state image sensor 5a.
  • the signals read by the first control and the second control are processed by the analog signal processing unit 6 and the A / D conversion circuit 7 and then stored in the main memory 16.
  • Signals read from two adjacent pixels 51 of the same color are added.
  • the spatial position of the signal obtained by the addition coincides with the barycentric position of the two pixels 51 from which the two signals to be added are output.
  • the spatial arrangement of the captured image signals stored in the main memory 16 is the position of the B pixel 51 included in each phase difference pixel row of the solid-state imaging device 5a in the subject space.
  • the G signal is arranged at the position G
  • the R signal is arranged at the position of the G pixel 51 included in each phase difference pixel row of the solid-state imaging device 5a.
  • the B signal and the G signal are respectively present at the positions of the B pixel 51 and the G pixel 51 included in the BG pixel row in the middle of the phase difference pixel rows adjacent in the column direction Y of the solid-state imaging device 5a. It will be arranged.
  • a circle with the letter “R” indicates the R signal
  • a circle with the letter “G” indicates the G signal
  • a circle with the letter “B” indicates the B signal. The signal is shown.
  • the spatial arrangement of the captured image signals is such that a signal row including the G signal and the R signal and a signal row including the B signal and the G signal are alternately arranged in the column direction Y at equal intervals.
  • the digital signal processing unit 17 can prevent the occurrence of jaggy by generating image data using the captured image signal.
  • the signal row including the G signal and the R signal and the signal row including the B signal and the G signal are arranged in the column direction. It is possible to generate captured image signals having a spatial arrangement alternately arranged in Y at equal intervals by the digital signal processing unit 17 in the subsequent stage. In this captured image signal, the number of signal rows constituting the captured image signal is halved compared to the case of FIG. Therefore, the frame rate of the moving image can be improved.
  • a plurality of pixels to be subjected to the first control or the second control may be set as appropriate according to the target frame rate.
  • the plurality of pixel rows need to include at least each phase difference pixel row and a pixel row that is intermediate between adjacent phase difference pixel rows in the column direction Y.
  • the system control unit 11 performs the first control for each phase difference pixel row, and for the BG pixel row in the middle between the phase difference pixel rows adjacent in the column direction Y. Performs the second control.
  • the captured image signal read out by the first control and the second control and obtained after the addition processing by the digital signal processing unit 16 has half the resolution of the captured image signal shown in FIG. For this reason, it becomes possible to further improve the frame rate.
  • the pixel row for performing the first control and the pixel row for performing the second control may be determined as shown in FIG.
  • each phase difference pixel row and three BG pixel rows between the phase difference pixel rows adjacent in the column direction Y are The pixel row is subjected to one control or second control. Then, when the exposure of one frame of the solid-state image sensor 5a is completed at the time of moving image shooting, the system control unit 11, as shown in FIG. 6, determines the position of each pixel row among all the pixel rows included in the solid-state image sensor 5a. The first control is performed for the phase difference pixel row and the BG pixel row in the middle of the phase difference pixel rows adjacent in the column direction Y, and the second control is performed for the other BG pixel rows. .
  • the system control unit 11 controls the image sensor driving unit 10 so as to read signals from the GR pixel rows adjacent above and below each phase difference pixel row among all the pixel rows included in the solid-state image sensor 5a.
  • system control unit 11 receives signals from BG pixel rows adjacent above and below the BG pixel row in the middle of the phase difference pixel rows adjacent in the column direction Y among all the pixel rows included in the solid-state imaging element 5a.
  • the image sensor driving unit 10 is controlled so as to read out.
  • the system control unit 11 also includes a BG pixel row in the middle of the phase difference pixel rows adjacent in the column direction Y among all the pixel rows included in the solid-state imaging device 5, and the column direction Y of the BG pixel row.
  • the image sensor driving unit 10 is controlled so as to read a signal from a BG pixel row that is in the middle of the adjacent phase difference pixel row.
  • the signal read by the first control and the second control is processed by the analog signal processing unit 6 and the A / D conversion circuit 7 and then stored in the main memory 16.
  • Signals read from two adjacent pixels 51 of the same color are added.
  • the spatial position of the signal obtained by the addition coincides with the barycentric position of the two pixels 51 from which the two signals to be added are output.
  • the digital signal processing unit 17 is a BG located between the phase difference pixel rows adjacent to each other in the column direction Y of the solid-state imaging device 5a among the signals read out by the first control stored in the main memory 16. Signals read from two identical color pixels 51 (two pixels 51 connected by a broken line in FIG. 6) adjacent to each pixel 51 in the pixel row in the column direction Y are added. The spatial position of the signal obtained by the addition coincides with the barycentric position of the two pixels 51 from which the two signals to be added are output.
  • the spatial arrangement of the captured image signals stored in the main memory 16 indicates that the G signal is at the position of the B pixel 51 included in each phase difference pixel row of the solid-state image sensor 5a.
  • the R signal is arranged at the position of the G pixel 51 arranged and included in each phase difference pixel row of the solid-state imaging device 5a.
  • the G signal is arranged at the position of the B pixel 51 included in the BG pixel row in the middle of the phase difference pixel rows adjacent to each other in the column direction Y of the solid-state imaging device 5a, and the BG pixel row
  • the R signal is arranged at the position of the included G pixel 51.
  • this spatial arrangement includes a BG pixel row excluding a phase difference pixel row and a BG pixel row in the middle of adjacent phase difference pixel rows in the column direction Y among the pixel rows included in the solid-state imaging element 5;
  • the B signal and the G signal are respectively arranged at the positions of the B pixel 51 and the G pixel 51 included in the.
  • a circle with a letter “R” indicates an R signal
  • a circle with a letter “G” indicates a G signal
  • a circle with a letter “B” is B The signal is shown.
  • the system control unit 11 not only in the phase difference pixel row but also in the middle of the phase difference pixel rows adjacent in the column direction Y in the plurality of pixel rows to be controlled.
  • the first control is also executed for the pixel rows in the second row, and the second control is executed for the remaining pixel rows.
  • the first control is performed not only on the phase difference pixel rows but also on the pixel rows in the middle of the phase difference pixel rows adjacent in the column direction Y, and the first control
  • the pixel row to be subjected to the first control or the second control is determined so that the pixel row to be controlled and the pixel row to be subjected to the second control are alternately arranged in the column direction Y.
  • addition of signals read out by the first control can be performed by the analog signal processing unit 6 or inside the solid-state imaging device 5a.
  • FIG. 7 is a view showing a modification of the solid-state imaging device 5 shown in FIG.
  • the solid-state imaging device 5b shown in FIG. 7 is a first pixel composed of a plurality of pixels 52 arranged two-dimensionally in a row direction X and a column direction Y perpendicular to the row direction X (in the example of FIG. 7, a square lattice shape). And a second pixel group including a plurality of pixels 53 having the same arrangement as the first pixel group.
  • Each pixel 52 includes a photoelectric conversion unit such as a photodiode and a color filter provided thereabove.
  • the color filter array included in all the pixels 52 is a Bayer array.
  • Each pixel 53 includes a photoelectric conversion unit such as a photodiode and a color filter provided thereabove.
  • the array of color filters included in all the pixels 53 is a Bayer array.
  • pixels with “R” are pixels that detect red light.
  • the pixels with “G” are pixels that detect green light.
  • the pixels with “B” are pixels that detect blue light.
  • the pixels 52 and 53 with “R” are also referred to as R pixels 52 and 53.
  • the pixels 52 and 53 with “G” are also referred to as G pixels 52 and 53.
  • the pixels 52 and 53 with “B” are also referred to as B pixels 52 and 53.
  • the first pixel group of the solid-state imaging device 5b includes a GR pixel row, which is a pixel row in which G pixels 52 and R pixels 52 are alternately arranged in the row direction X, and B pixels 52 and G pixels 52 in the row direction X.
  • a GR pixel row which is a pixel row in which G pixels 52 and R pixels 52 are alternately arranged in the row direction X
  • B pixels 52 and G pixels 52 in the row direction X Two types of pixel rows, including BG pixel rows, which are alternately arranged pixel rows, are included. These two types of pixel rows are alternately arranged in the column direction Y.
  • All the BG pixel rows included in the first pixel group of the solid-state imaging device 5b include a plurality of phase difference pixel rows including phase difference pixels for detecting the phase difference.
  • the G pixel 52 which is a phase difference pixel, is shaded and indicated by reference numeral 52a.
  • phase difference pixel row included in the first pixel group of the solid-state imaging device 5b a plurality of phase difference pixels 52a are arranged according to a predetermined rule.
  • each pixel 52 of the first pixel group a second pixel that detects light of the same color as that of each pixel 52 in the same direction with respect to each pixel 52 (downwardly diagonally downward in the example of FIG. 7).
  • a group of pixels 53 is arranged.
  • Each pixel 52 and a pixel 53 adjacent thereto in the same direction form a pixel pair.
  • each pixel row included in the first pixel group of the solid-state imaging device 5b and a pixel row in the second pixel group including the pixel 53 that forms a pair with the pixel 52 included in each pixel row. Pairs are configured.
  • the pixel 53 that forms a pair with the phase difference pixel 52a of the first pixel group is a pixel that detects a phase difference.
  • the pixels 53 for detecting the phase difference are shaded and indicated by reference numeral 53a.
  • the phase difference pixel 52a is a pixel in which the optical aperture of the photoelectric conversion unit is eccentric to the right side.
  • the phase difference pixel 53a is a pixel in which the optical aperture of the photoelectric conversion unit is eccentric to the left side.
  • the phase difference information can be obtained by the phase difference pixel 52a and the phase difference pixel 53a.
  • the phase difference pixel 52a may be a pixel in which the optical opening of the photoelectric conversion unit is decentered upward
  • the phase difference pixel 53a may be a pixel in which the optical opening of the photoelectric conversion unit is decentered downward.
  • a well-known configuration can be used for the phase difference pixel.
  • a plurality of pixel rows of the same type as the phase difference pixel rows are arranged in the first pixel group at equal intervals in the first pixel group.
  • either the first control or the second control is performed every BG pixel row).
  • the system control unit 11 includes a plurality of pixel rows such that a pixel row in which the first control is performed and a pixel row in which the second control is performed are alternately arranged in the column direction Y. The first control or the second control is performed for each of a plurality of pixel rows in the pixel group.
  • system control unit 11 performs the first control on the pixel rows of the second pixel group that form a pair with the pixel rows that perform the first control in the first pixel group.
  • system control unit 11 performs the second control on the pixel rows of the second pixel group that form a pair with the pixel rows that perform the second control in the first pixel group.
  • a signal is not read from each pixel 52 (53) of the pixel row to be controlled, and each pixel 52 (two pixel rows adjacent to the control target pixel row in the column direction Y) ( 53).
  • 2nd control is control which reads a signal from each pixel 52 (53) of the pixel row used as control object.
  • the plurality of pixel rows to be subjected to the first control and the second control in the first pixel group are all the phase difference pixel rows included in the first pixel group of the solid-state imaging device 5b, and It is set so as to include a GB pixel row in the middle of adjacent phase difference pixel rows in the column direction Y of one pixel group.
  • the system control unit 11 performs the first control on at least each phase difference pixel row of the first pixel group.
  • FIG. 8 is a diagram for explaining the control contents at the time of moving image shooting performed by the system control unit 11 in the digital camera equipped with the solid-state imaging device 5b.
  • the even-numbered pixel row is the pixel row on which the first control or the second control is performed. ing. Then, when the exposure of one frame of the solid-state imaging device 5b is completed at the time of moving image shooting, the system control unit 11, as shown in FIG. 8, each phase difference pixel row and each phase difference pixel in the first pixel group. The first control is performed on the phase difference pixel row of the second pixel group that forms a pair with the row.
  • the system control unit 11 also includes a BG pixel row in the middle of adjacent phase difference pixel rows in the column direction Y of the first pixel group, and a BG of the second pixel group that forms a pair with the BG pixel row.
  • the second control is performed on the pixel row.
  • the system control unit 11 includes each pixel 52 in the GR pixel row adjacent to the top and bottom of each phase difference pixel row in the first pixel group, and the pixel 53 in the second pixel group that forms a pair with each pixel 52.
  • the image sensor driving unit 10 is controlled so as to read out the signal from.
  • the system control unit 11 includes each pixel 52 in the BG pixel row intermediate between the phase difference pixel rows adjacent in the column direction Y of the first pixel group, and the second pixel that forms a pair with each pixel 52.
  • the image sensor driving unit 10 is controlled so as to read signals from the pixels 53 of the group.
  • the signals read by the first control and the second control are processed by the analog signal processing unit 6 and the A / D conversion circuit 7 and then stored in the main memory 16.
  • the digital signal processing unit 17 performs the column direction Y with respect to each pixel 52 of the phase difference pixel row of the first pixel group among the signals read out by the first control stored in the main memory 16. From four pixels (four pixels connected by a broken line in FIG. 8) of two identical color pixels 52 adjacent to each other and a pixel 53 of a second pixel group forming a pair with each of the two identical color pixels 52 The read signals are added together. The spatial position of the signal obtained by the addition coincides with the barycentric positions of the two pixels 52 and the two pixels 53 that are the output sources of the four signals to be added.
  • the digital signal processing unit 17 is in the middle of the phase difference pixel rows adjacent in the column direction Y of the first pixel group among the signals read out by the second control stored in the main memory 16.
  • Read out from two pixels (two pixels connected by an alternate long and short dash line in FIG. 8) of each pixel 52 in the BG pixel row and a pixel 53 in the second pixel group forming a pair with each pixel 52 Add signals together.
  • the spatial position of the signal obtained by the addition coincides with the barycentric position of the pixel 52 and the pixel 53 from which the two signals to be added are output.
  • the spatial arrangement of the captured image signals stored in the main memory 16 is the same as the B pixels 52 included in each phase difference pixel row of the first pixel group in the subject space.
  • a G signal is arranged at the position of the center of gravity of the B pixel 52 and the B pixel 53 forming a pair, and the G pixel 52 included in each phase difference pixel row of the first pixel group and the G pixel 52 forming a pair
  • the R signal is arranged at the position of the center of gravity with respect to the pixel 53.
  • this spatial arrangement includes a B pixel 52 included in a BG pixel row in the middle of adjacent phase difference pixel rows in the column direction Y of the first pixel group, and a B pixel that forms a pair with the B pixel 52. 53, the B signal is arranged at the center of gravity.
  • the spatial arrangement includes a G pixel 52 included in a BG pixel row in the middle of adjacent phase difference pixel rows in the column direction Y of the first pixel group, and a G pixel that forms a pair with the G pixel 52. 53, the G signal is arranged at the center of gravity.
  • the circle with the letter “R” indicates the R signal
  • the circle with the letter “G” indicates the G signal
  • the circle with the letter “B” indicates the B signal. The signal is shown.
  • the spatial arrangement of the captured image signals includes a signal row in which G signals and R signals are alternately arranged in the row direction X, and a signal row in which B signals and G signals are alternately arranged in the row direction X in the column direction Y. Are arranged alternately and at equal intervals.
  • the digital signal processing unit 17 processes the captured image signal to generate image data, so that image data without jaggies can be obtained.
  • the digital signal processing unit 17 performs a process of amplifying a signal read by the second control and obtained after the addition process with a uniform gain. Thereby, it is possible to eliminate the sensitivity difference between the signals.
  • FIG. 9 is a view showing a modification of the solid-state imaging device 5b shown in FIG.
  • the solid-state imaging device 5c shown in FIG. 9 has the solid-state imaging shown in FIG. 7 except that the phase difference pixel rows are arranged every seven pixel rows (the point where the value of n is 2).
  • the configuration is the same as that of the element 5b.
  • FIG. 10 is a diagram for explaining control contents during moving image shooting performed by the system control unit 11 in the digital camera equipped with the solid-state imaging device 5c.
  • FIG. 10 there are 12 pixel rows of the first pixel group including two pixels 52 and 12 pixel rows of the second pixel group including two pixels 53 as the pixel rows included in the solid-state imaging device 5 c. This is shown.
  • each phase difference pixel row and a BG pixel row that is intermediate between adjacent phase difference pixel rows in the column direction Y are pixel rows in which the first control or the second control is performed. Then, when the exposure of one frame of the solid-state imaging device 5c is completed at the time of moving image shooting, the system control unit 11, as shown in FIG. 10, each phase difference pixel row of the first pixel group and each phase difference pixel. The first control is performed on the phase difference pixel row of the second pixel group that forms a pair with the row.
  • the system control unit 11 also includes a BG pixel row in the middle of adjacent phase difference pixel rows in the column direction Y of the first pixel group, and a BG of the second pixel group that forms a pair with the BG pixel row.
  • the second control is performed on the pixel row.
  • the system control unit 11 includes each pixel 52 in the GR pixel row adjacent to the top and bottom of each phase difference pixel row in the first pixel group, and the pixel 53 in the second pixel group that forms a pair with each pixel 52.
  • the image sensor driving unit 10 is controlled so as to read out the signal from.
  • system control unit 11 sets each pixel 52 in the BG pixel row in the middle of the phase difference pixel rows adjacent in the column direction Y of the first pixel group, and the second that forms a pair with each pixel 52.
  • the image sensor driving unit 10 is controlled so as to read a signal from the pixel 53 of the pixel group.
  • the signals read by the first control and the second control are processed by the analog signal processing unit 6 and the A / D conversion circuit 7 and then stored in the main memory 16.
  • the digital signal processing unit 17 performs the column direction Y with respect to each pixel 51 of the phase difference pixel row of the first pixel group among the signals read out by the first control stored in the main memory 16. From four pixels (four pixels connected by a broken line in FIG. 10) of two same color pixels 52 adjacent to each other and a pixel 53 of a second pixel group that forms a pair with each of the two same color pixels 52 The read signals are added together. The spatial position of the signal obtained by the addition coincides with the barycentric positions of the two pixels 52 and the two pixels 53 that are the output sources of the four signals to be added.
  • the digital signal processing unit 17 is in the middle of the phase difference pixel rows adjacent in the column direction Y of the first pixel group among the signals read out by the second control stored in the main memory 16.
  • Read out from two pixels (two pixels connected by an alternate long and short dash line in FIG. 10) of each pixel 52 in the BG pixel row and a pixel 53 in the second pixel group forming a pair with each pixel 52 Add signals together.
  • the spatial position of the signal obtained by the addition coincides with the barycentric position of the pixel 52 and the pixel 53 from which the two signals to be added are output.
  • the spatial arrangement of the captured image signals stored in the main memory 16 is the same as the B pixels 52 included in each phase difference pixel row of the first pixel group in the subject space.
  • a G signal is arranged at the position of the center of gravity of the B pixel 52 and the B pixel 53 forming a pair, and the G pixel 52 included in each phase difference pixel row of the first pixel group and the G pixel 52 forming a pair
  • the R signal is arranged at the position of the center of gravity with respect to the pixel 53.
  • this spatial arrangement includes a B pixel 52 included in a BG pixel row in the middle of adjacent phase difference pixel rows in the column direction Y of the first pixel group, and a B pixel that forms a pair with the B pixel 52. 53, the B signal is arranged at the center of gravity.
  • the spatial arrangement includes a G pixel 52 included in a BG pixel row in the middle of adjacent phase difference pixel rows in the column direction Y of the first pixel group, and a G pixel that forms a pair with the G pixel 52. 53, the G signal is arranged at the center of gravity.
  • a circle with the letter “R” indicates the R signal
  • a circle with the letter “G” indicates the G signal
  • a circle with the letter “B” indicates the B signal. The signal is shown.
  • the spatial arrangement of the captured image signals includes a signal row in which G signals and R signals are alternately arranged in the row direction X, and a signal row in which B signals and G signals are alternately arranged in the row direction X in the column direction Y. Are arranged alternately and at equal intervals.
  • the digital signal processing unit 17 processes the captured image signal to generate image data, so that image data without jaggies can be obtained.
  • the signal row including the G signal and the R signal and the signal row including the B signal and the G signal are arranged in the column direction. It is possible to generate captured image signals having a spatial arrangement alternately arranged in Y at equal intervals by the digital signal processing unit 17 in the subsequent stage. In this captured image signal, the number of signal rows constituting the captured image signal is halved compared to the case of FIG. Therefore, the frame rate of the moving image can be improved.
  • the effect of improving the moving image frame rate is that solid-state imaging having (2 n + 1 ⁇ 1) phase-difference pixel rows (n is a natural number of 2 or more) every other pixel rows, as in the solid-state imaging devices 5 and 5a. Any element can be obtained.
  • the pixel row for performing the first control and the pixel row for performing the second control may be determined as shown in FIG.
  • each phase difference pixel row and three BG pixel rows between the phase difference pixel rows adjacent in the column direction Y are The pixel row is subjected to one control or second control. Then, when the exposure of one frame of the solid-state imaging device 5c is completed at the time of moving image shooting, the system control unit 11, as shown in FIG. 11, out of all the BG pixel rows included in the solid-state imaging device 5c. The first control is performed for each phase difference pixel row and the BG pixel row in the middle of adjacent phase difference pixel rows in the column direction Y, and the second control is performed for the other BG pixel rows. Do.
  • the signal read by the first control and the second control is processed by the analog signal processing unit 6 and the A / D conversion circuit 7 and then stored in the main memory 16.
  • the digital signal processing unit 17 performs the column direction Y with respect to each pixel 52 of the phase difference pixel row of the first pixel group among the signals read out by the first control stored in the main memory 16. From four pixels (four pixels connected by a broken line in FIG. 11) of two same color pixels 52 adjacent to each other and a pixel 53 of a second pixel group forming a pair with each of the two same color pixels 52 The read signals are added together. The spatial position of the signal obtained by the addition coincides with the barycentric positions of the two pixels 52 and the two pixels 53 that are the output sources of the four signals to be added.
  • the digital signal processing unit 17 is in the middle of the phase difference pixel rows adjacent in the column direction Y of the first pixel group among the signals read out by the first control stored in the main memory 16.
  • Four pixels (indicated by a broken line in FIG. 11) of two same color pixels 52 adjacent to each pixel 52 in the BG pixel row in the column direction Y and a pixel 53 forming a pair with each of the two same color pixels 52.
  • the signals read from the four connected pixels) are added together.
  • the spatial position of the signal obtained by the addition coincides with the barycentric positions of the two pixels 52 and the two pixels 53 that are the output sources of the four signals to be added.
  • the digital signal processing unit 17 is in the middle of the phase difference pixel rows adjacent in the column direction Y of the first pixel group among the signals read out by the second control stored in the main memory 16.
  • Each pixel 52 of the BG pixel row between the BG pixel row and the phase difference pixel row adjacent in the column direction Y of the BG pixel row, and the second pixel group constituting a pair with each pixel 52 Signals read from two pixels (two pixels connected by a one-dot chain line in FIG. 11) with the pixel 53 are added.
  • the spatial position of the signal obtained by the addition coincides with the barycentric position of the pixel 52 and the pixel 53 from which the two signals to be added are output.
  • the spatial arrangement of the captured image signals stored in the main memory 16 is the same as the B pixels 52 included in each phase difference pixel row of the first pixel group in the subject space.
  • the G signal is arranged at the position of the center of gravity of the B pixel 52 and the B pixel 53 constituting a pair, and the G pixel 52 included in each phase difference pixel row of the first pixel group and the G pixel 52 constitute a pair.
  • the R signal is arranged at the position of the center of gravity with respect to the G pixel 53.
  • this spatial arrangement includes a B pixel 52 included in a BG pixel row in the middle of adjacent phase difference pixel rows in the column direction Y of the first pixel group, and a B pixel that forms a pair with the B pixel 52.
  • the G signal is arranged at the center of gravity position
  • the R signal is arranged at the center of gravity of the G pixel 52 included in the BG pixel row and the G pixel 53 forming a pair with the G pixel 52.
  • the spatial arrangement includes a BG pixel row that is intermediate between adjacent phase difference pixel rows in the column direction Y of the first pixel group, and a phase difference pixel row that is adjacent in the column direction Y of the BG pixel row.
  • a B signal is arranged at the barycentric position of the B pixel 52 included in the BG pixel row and the B pixel 53 that forms a pair with the B pixel 52, and the G pixel 52 included in the BG pixel row
  • the G signal is arranged at the position of the center of gravity of the G pixel 52 and the G pixel 53 forming a pair.
  • a circle with the letter “R” indicates the R signal
  • a circle with the letter “G” indicates the G signal
  • a circle with the letter “B” indicates the B signal. The signal is shown.
  • the system control unit 11 includes not only phase difference pixel rows but also phase difference pixels adjacent in the column direction Y in the plurality of pixel rows of the first pixel group to be controlled.
  • the first control is also executed for the pixel rows in the middle of the rows, and the second control is executed for the remaining pixel rows.
  • the first control is performed not only on the phase difference pixel rows but also on the pixel rows in the middle of the phase difference pixel rows adjacent in the column direction Y, and the first control
  • the pixel row to be subjected to the first control or the second control is determined so that the pixel row to be controlled and the pixel row to be subjected to the second control are alternately arranged in the column direction Y.
  • FIG. 12 is a view showing a modification of the solid-state imaging device 5b shown in FIG.
  • the solid-state imaging device 5d shown in FIG. 12 is that not only G pixels but also B pixels are phase difference pixels in the phase difference pixel rows included in each of the first pixel group and the second pixel group. Except for this, the configuration is the same as that of the solid-state imaging device 5b.
  • the AF accuracy can be similarly improved by using a part of the R pixel as a phase difference pixel instead of the B pixel.
  • the pixel 52 is arranged adjacent to the pixel 53 that forms a pair with the pixel 52 in an oblique direction.
  • the shift direction (the same direction described above) between the pixel 52 and the pixel 53 constituting the pair is not limited to the diagonal direction, and may be the row direction X or the column direction Y.
  • solid-state image pickup devices 5b, 5c, and 5d are of the CCD type, for example, control as shown in FIGS.
  • a part of the GR pixel row may be a phase difference pixel row instead of a part of the BG pixel row.
  • the target pixel row to be subjected to the first control and the second control needs to be a GR pixel row.
  • the target pixel row to be subjected to the first control and the second control is a GR pixel row, the false color is easily noticeable.
  • the target pixel row to be subjected to the first control and the second control is a BG pixel row.
  • the disclosed imaging apparatus is an imaging apparatus having a solid-state imaging element including a plurality of pixels arranged in a two-dimensional shape, and the solid-state imaging element includes a red pixel that detects red light and a green that detects green light.
  • the pixel group includes a pixel group in which blue pixels for detecting blue light are arranged in a Bayer shape, and the pixel group in the Bayer shape includes the green pixel and the red pixel alternately arranged in a row direction.
  • Two types of pixel rows, a GR pixel row that is a selected pixel row, and a BG pixel row that is a pixel row in which the blue pixels and the green pixels are alternately arranged in the row direction, are orthogonal to the row direction.
  • a phase difference pixel for detecting a phase difference.
  • the pixel rows are alternately arranged in the column direction, and the first control does not read a signal from each pixel of the pixel row to be controlled, and the two adjacent to the pixel row to be controlled
  • the second control is a control for reading out a signal from each pixel in the pixel row to be controlled, and the second control is a control for reading out a signal from each pixel in the pixel row.
  • the pixel rows of all the phases included in the solid-state imaging device At least a difference pixel row and a pixel row in the middle of the phase difference pixel rows adjacent in the column direction, and the control unit performs the first control on at least the phase difference pixel row Is.
  • the disclosed image pickup apparatus generates a signal that generates a signal obtained by adding signals read from two pixels of the same color adjacent in the column direction to each pixel of the pixel row in which the first control is performed. A part is further provided.
  • the disclosed imaging apparatus is a sensitivity difference correction that corrects a sensitivity difference between each signal read by the second control and each signal read by the first control and generated by the signal adding unit. A part is further provided.
  • control unit when n ⁇ 2, the control unit also performs the first control on a part of the pixel rows between the phase difference pixel rows adjacent in the column direction. Is to do.
  • the solid-state imaging device includes two pixel groups, and each pixel included in one of the two pixel groups has the same direction with respect to each pixel. Pixels included in the other of the two pixel groups that detect light of the same color as the pixels are arranged adjacent to each other, and the control unit is provided in each of the plurality of pixel rows in each of the two pixel groups. Two same colors adjacent to each other in the column direction with respect to each pixel of the pixel row in which the first control is performed in one of the two pixel groups with respect to the first control or the second control.
  • Signals read from four pixels, that is, a pixel and a pixel included in the other of the two pixel groups arranged adjacent to each other in the same direction with respect to each of the two same color pixels, are added together.
  • the second control is performed in one of the two pixel groups.
  • a signal adding unit for adding is further provided.
  • the signal adding unit generates a signal generated by adding signals read from the four pixels by the first control, and the signal adding unit performs the second control by the second control. It further includes a sensitivity difference correction unit that corrects a sensitivity difference with a signal generated by adding signals read from one pixel.
  • the control unit when n ⁇ 2, includes a part of pixel rows between the phase difference pixel rows adjacent to each other in the column direction in each of the two pixel groups. Also, the first control is performed.
  • a BG pixel row included in the pixel group includes the phase difference pixel row.
  • the disclosed imaging method is an imaging method using a solid-state imaging device including a plurality of pixels arranged two-dimensionally, and the solid-state imaging device detects a red pixel for detecting red light and a green light.
  • the pixel group includes a pixel group in which a green pixel and a blue pixel for detecting blue light are arranged in a Bayer shape.
  • the pixel group in the Bayer shape includes the green pixel and the red pixel alternately in a row direction.
  • Two types of pixel rows, a GR pixel row that is an aligned pixel row, and a BG pixel row that is a pixel row in which the blue pixels and the green pixels are alternately arranged in the row direction are orthogonal to the row direction.
  • the GR pixel row or the BG pixel row included in the Bayer-shaped pixel group, which are alternately arranged in the column direction, includes a phase difference pixel for detecting a phase difference.
  • a plurality of pixel rows, Saga behavior, said at Bayer shape arrayed pixel group (2 n + 1 -1) (n is a natural number) are those provided in the pixel row every other, arranged at equal intervals in the column direction, the position For each of a plurality of pixel rows of the same type as the phase difference pixel row, a control step for performing the first control or the second control is provided, and the pixel row in which the first control is performed and the second control are performed.
  • the pixel rows are alternately arranged in the column direction, and the first control does not read a signal from each pixel of the pixel row to be controlled, and the two adjacent to the pixel row to be controlled
  • the second control is a control for reading out a signal from each pixel in the pixel row to be controlled, and the second control is a control for reading out a signal from each pixel in the pixel row.
  • Pixel rows of all the Including at least a phase difference pixel row and a pixel row in the middle of the phase difference pixel rows adjacent to each other in the column direction.
  • the first control is performed for at least the phase difference pixel row. Is to do.
  • the disclosed imaging method generates a signal obtained by adding signals read from two identical color pixels adjacent in the column direction in two pixel rows adjacent to the pixel row subjected to the first control.
  • a signal addition step is further provided.
  • the disclosed imaging method is a sensitivity difference correction that corrects a sensitivity difference between each signal read out by the second control and each signal read out by the first control and generated by the signal adding unit.
  • the method further includes a step.
  • the first control is also performed on a part of the pixel rows between the phase difference pixel rows adjacent in the column direction. Is to do.
  • the solid-state imaging device includes two pixel groups, and each pixel included in one of the two pixel groups has the same direction with respect to each pixel. Pixels that detect light of the same color as the respective pixels included in the other of the two pixel groups are arranged adjacent to each other, and in the control step, each of the plurality of pixel rows in each of the two pixel groups is arranged. Two same colors adjacent to each other in the column direction with respect to each pixel of the pixel row in which the first control is performed in one of the two pixel groups with respect to the first control or the second control.
  • Signals read from four pixels that is, a pixel and a pixel included in the other of the two pixel groups arranged adjacent to each other in the same direction with respect to each of the two same color pixels, are added together.
  • the second in one of the two pixel groups Read out from two pixels: each pixel in the controlled pixel row and a pixel included in the other of the two pixel groups arranged adjacent to each pixel in the same direction And a signal addition step of adding the signals together.
  • the method further includes a sensitivity difference correcting step for correcting a sensitivity difference with the signal obtained by adding the output signals in the signal adding step.
  • a BG pixel row included in the pixel group includes the phase difference pixel row.
  • the imaging apparatus and imaging method of the present invention can prevent jaggy from occurring when an image is generated by thinning out the signals of the phase difference pixels.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

　撮像素子５には、Ｇ画素５１とＲ画素５１が交互に並べられたＧＲ画素行と、Ｂ画素５１とＧ画素５１が交互に並べられたＢＧ画素行とが列方向Ｙに交互に並べられている。ＢＧ画素行の一部は位相差画素を含む行（ＰＬ）となっている。ＰＬは、撮像素子５全体において３画素行おきに配置される。制御部１１は、各ＰＬに対して制御対象となる画素行の各画素５１からは信号を読み出さず、制御対象となる画素行に隣接する２つの画素行の各画素５１から信号を読み出す制御を行い、ＰＬ同士の中間にあるＢＧ画素行に対して制御対象となる画素行の各画素５１から信号を読み出す制御を行う。

Description

撮像装置及び撮像方法
　本発明は、撮像装置及び撮像方法に関する。
　近年、位相差を検出するための位相差画素を含む撮像素子を搭載したデジタルカメラが製品化されている。この撮像素子によれば、位相差画素を用いた位相差検出方式により、オートフォーカスを高速に行うことができる。
　例えば、特許文献１は、多数の画素が配置される受光面において、所定個の画素行おきに、位相差画素を含む画素行を設けた撮像素子を開示している。
　位相差画素を含む画素行を所定個おきに有する撮像素子において動画撮影を行う際、撮像素子から出力される撮像画像信号に位相差画素から読み出された信号が含まれていると、その信号の補正が困難となる。そのため、動画撮影時には、位相差画素を含む画素行からは信号を読み出さない間引き駆動を行うのが有効と考えられる。
　しかし、位相差画素を含む画素行の配置パターンによっては、この間引き駆動によって得られる信号の被写体空間における位置（空間位置）の間隔が不均一になり、ジャギーが発生する可能性がある。
　図１３は、位相差画素を有する固体撮像素子の一部分を拡大した図である。この固体撮像素子３００は、行方向Ｘとこれに直交する列方向Ｙに正方格子状に配列された複数の画素１００を備える。
　各画素１００は、光電変換素子とその上方に設けられるカラーフィルタとを含む。全ての画素１００に含まれるカラーフィルタの配列はベイヤ配列となっている。
　図１３において、“Ｒ”を付した画素は、赤色光を検出する画素である。また、“Ｇ”を付した画素は、緑色光を検出する画素である。また、“Ｂ”を付した画素は、青色光を検出する画素である。以下では、Ｒを付した画素１００をＲ画素１００とも言う。また、Ｇを付した画素１００をＧ画素１００とも言う。また、Ｂを付した画素１００をＢ画素１００とも言う。
　固体撮像素子３００では、Ｇ画素１００の一部が、位相差を検出するための画素である位相差画素となっている。図１３において、位相差画素となる画素１００には網掛けと共に符号１００ａが付されている。位相差画素１００ａは、光電変換素子の光学開口が右側に偏心している画素と、光電変換素子の光学開口が左側に偏心している画素との２種類の画素を含む。
　図１３の例では、位相差画素１００ａを含む画素行が３つの画素行おきに配置されている。
　固体撮像素子３００において、位相差画素１００ａから信号を読みだすことなく、カラー画像データを生成するのに必要な信号（Ｒ（赤色）信号、Ｇ（緑色）信号、Ｂ（青色）信号）を得る方法としては、次の２つが考えられる。
　１つは、図１３に示されるように、位相差画素１００ａを含む画素行とその上に隣接するＧ画素１００とＲ画素１００からなるＧＲ画素行については信号を読み出さず、それ以外の画素行についてのみ信号を読みだす方法である。
　もう１つは、図１４に示されるように、位相差画素１００ａを含む画素行とその下に隣接するＧＲ画素行については信号を読み出さず、それ以外の画素行についてのみ信号を読みだす方法である。
　しかし、これら２つの方法は、いずれも、画素１００から読み出した信号の空間位置が列方向Ｙにおいて不均一に並ぶため、ジャギーが発生する可能性がある。
　なお、固体撮像素子３００において、位相差画素１００ａを含む画素行を除く、ＧＲ画素行と、Ｂ画素１００とＧ画素１００からなるＢＧ画素行とを、列方向に交互に、かつ、所定画素行おきに読み出す駆動を採用することができれば、固体撮像素子３００から読み出した信号の空間位置が列方向において等間隔で並ぶことになる。
　しかし、固体撮像素子３００は、位相差画素１００ａを含む画素行を３つの画素行おきに有するため、このような駆動は採用することができない。このような駆動を採用できない固体撮像素子としては、固体撮像素子３００の他に、固体撮像素子３００において位相差画素１００ａを含む画素行が７つの画素行おきに配置されているものや、固体撮像素子３００において位相差画素１００ａを含む画素行が１５個の画素行おきに配置されているもの等がある。
　つまり、位相差画素を含む画素行が（２ｎ＋１－１）個（ｎは自然数）の画素行おきに配置されている固体撮像素子に対しては、従来知られている間引き駆動方法では、読み出した信号の空間位置の配列が不均一になり、ジャギーを抑制することができない。
　特許文献１は、ジャギーを抑制するための間引き駆動の具体的方法について開示しているものではない。
日本国特開２０１０－１５２１６１号公報
　本発明は、上記事情に鑑みてなされたものであり、位相差画素の信号を間引いて画像を生成する場合にジャギーを発生させることない撮像装置及び撮像方法を提供することを目的とする。
　本発明の撮像装置は、二次元状に配列された複数の画素を含む固体撮像素子を有する撮像装置であって、前記固体撮像素子は、赤色光を検出する赤色画素、緑色光を検出する緑色画素、及び青色光を検出する青色画素がベイヤ状に配列された画素群を含むものであり、前記ベイヤ状に配列された画素群は、前記緑色画素と前記赤色画素が行方向に交互に並べられた画素行であるＧＲ画素行と、前記青色画素と前記緑色画素が行方向に交互に並べられた画素行であるＢＧ画素行との２種類の画素行が、前記行方向に直交する列方向に交互に並べられているものであり、前記ベイヤ状に配列された画素群に含まれる前記ＧＲ画素行又は前記ＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含むものであり、前記位相差画素行は、前記ベイヤ状に配列された画素群において（２ｎ＋１－１）個（ｎは自然数）の画素行おきに配置されるものであり、前記列方向に等間隔で並ぶ、前記位相差画素行と同一種類の複数の画素行の各々に対し、第一の制御又は第二の制御を行う制御部を備え、前記第一の制御が行われる画素行と前記第二の制御が行われる画素行とは前記列方向に交互に並び、前記第一の制御は、制御対象となる前記画素行の各画素からは信号を読み出さず、前記制御対象となる前記画素行に隣接する２つの画素行の各画素から信号を読み出す制御であり、前記第二の制御は、制御対象となる前記画素行の各画素から信号を読み出す制御であり、前記列方向に等間隔で並ぶ同一種類の複数の画素行は、前記固体撮像素子に含まれる全ての前記位相差画素行と、前記列方向において隣り合う前記位相差画素行同士の中間にある画素行とを少なくとも含み、前記制御部は、少なくとも前記位相差画素行に対しては前記第一の制御を行うものである。
　本発明の撮像方法は、二次元状に配列された複数の画素を含む固体撮像素子を用いた撮像方法であって、前記固体撮像素子は、赤色光を検出する赤色画素、緑色光を検出する緑色画素、及び青色光を検出する青色画素がベイヤ状に配列された画素群を含むものであり、前記ベイヤ状に配列された画素群は、前記緑色画素と前記赤色画素が行方向に交互に並べられた画素行であるＧＲ画素行と、前記青色画素と前記緑色画素が行方向に交互に並べられた画素行であるＢＧ画素行との２種類の画素行が、前記行方向に直交する列方向に交互に並べられているものであり、前記ベイヤ状に配列された画素群に含まれる前記ＧＲ画素行又は前記ＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含むものであり、前記位相差画素行は、前記ベイヤ状に配列された画素群において（２ｎ＋１－１）個（ｎは自然数）の画素行おきに配置されるものであり、前記列方向に等間隔で並ぶ、前記位相差画素行と同一種類の複数の画素行の各々に対し、第一の制御又は第二の制御を行う制御ステップを備え、前記第一の制御が行われる画素行と前記第二の制御が行われる画素行とは前記列方向に交互に並び、前記第一の制御は、制御対象となる前記画素行の各画素からは信号を読み出さず、前記制御対象となる前記画素行に隣接する２つの画素行の各画素から信号を読み出す制御であり、前記第二の制御は、制御対象となる前記画素行の各画素から信号を読み出す制御であり、前記列方向に等間隔で並ぶ同一種類の複数の画素行は、前記固体撮像素子に含まれる全ての前記位相差画素行と、前記列方向に隣接する前記位相差画素行同士の中間にある画素行とを少なくとも含み、前記制御ステップでは、少なくとも前記位相差画素行に対しては前記第一の制御を行うものである。
　本発明によれば、位相差画素の信号を間引いて画像を生成する場合にジャギーを発生させることない撮像装置及び撮像方法を提供することができる。
本発明の一実施形態を説明するための撮像装置の概略構成を示す図 図１に示される固体撮像素子５の概略構成を示す平面模式図 図１に示されるデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図 図２に示される固体撮像素子５の変形例を示す図 図４に示される固体撮像素子を搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図 図４に示される固体撮像素子を搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容の別例を説明するための図 図２に示される固体撮像素子５の変形例を示す図 図７に示される固体撮像素子を搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図 図７に示される固体撮像素子５ｂの変形例を示す図 図９に示される固体撮像素子を搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図 図９に示される固体撮像素子を搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容の別例を説明するための図 図７に示される固体撮像素子５ｂの変形例を示す図 位相差画素を有する固体撮像素子の一例を示す図 図１３に示される固体撮像素子の間引き駆動の方法を説明するための図
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等がある。以下では、デジタルカメラを例にして説明する。
　図１に示されるデジタルカメラの撮像系は、撮影レンズ１と、ＭＯＳ型の固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。
　デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりする。また、システム制御部１１は、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。
　また、システム制御部１１は、撮像素子駆動部１０を制御して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。
　デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６とＡ／Ｄ変換回路７はシステム制御部１１によって制御される。
　更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。
　メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
　図２は、図１に示される固体撮像素子５の概略構成を示す平面模式図である。
　固体撮像素子５は、行方向Ｘとこれに直交する列方向Ｙに二次元状（図２の例では正方格子状）に配列された複数の画素５１を備える。
　各画素５１は、フォトダイオード等の光電変換部とその上方に設けられるカラーフィルタとを含む。全ての画素５１に含まれるカラーフィルタの全体としての配列はベイヤ配列となっている。
　図２において、“Ｒ”を付した画素５１は、赤色光を検出する画素である。また、“Ｇ”を付した画素５１は、緑色光を検出する画素である。また、“Ｂ”を付した画素５１は、青色光を検出する画素である。以下では、“Ｒ”を付した画素５１をＲ画素５１とも言う。また、“Ｇ”を付した画素５１をＧ画素５１とも言う。また、“Ｂ”を付した画素５１をＢ画素５１とも言う。
　固体撮像素子５は、Ｇ画素５１とＲ画素５１が行方向Ｘに交互に並べられた画素行であるＧＲ画素行と、Ｂ画素５１とＧ画素５１が行方向Ｘに交互に並べられた画素行であるＢＧ画素行との２種類の画素行を含む。この２種類の画素行は、列方向Ｙに交互に並べられている。
　固体撮像素子５に含まれる全てのＢＧ画素行は、位相差を検出するための位相差画素を含む画素行（以下、位相差画素行という）を複数個含む。
　図２において、位相差画素となるＧ画素５１には網掛けと共に符号５１ａが付されている。位相差画素５１ａは、光電変換部の光学開口が右側に偏心している画素と、光電変換部の光学開口が左側に偏心している画素との２種類の画素を含む。位相差画素５１ａは、光電変換部の光学開口が上側に偏心している画素と、光電変換部の光学開口が下側に偏心している画素との２種類の画素を含むものであってもよい。位相差画素の構成は周知のものを用いることができる。
　固体撮像素子５は、位相差画素行を（２ｎ＋１－１）個（ｎは自然数）の画素行おきに有するものであればよい。図２の例では、ｎ＝１としているため、位相差画素行が３個の画素行おきに配置されている。
　固体撮像素子５の各位相差画素行には、所定の規則にしたがって複数個の位相差画素５１ａが配置されている。
　図１に示されるデジタルカメラは、静止画撮影と動画撮影が可能である。静止画撮影時には、システム制御部１１が、固体撮像素子５に含まれる各位相差画素行の画素から信号を読み出す制御を行う。そして、システム制御部１１は、各位相差画素行から読み出した信号のうち、位相差画素５１ａから読み出した信号を用いて、位相差検出方式により、オートフォーカス制御を行う。
　一方、動画撮影時には、システム制御部１１が、列方向Ｙに等間隔で並ぶ、位相差画素行と同一種類の複数の画素行（図２の例ではＢＧ画素行）毎に第一の制御と第二の制御のいずれかを行う。システム制御部１１は、この複数の画素行が、第一の制御が行われる画素行と第二の制御が行われる画素行とが列方向Ｙに交互に並んだものとなるように、複数の画素行毎に第一の制御又は第二の制御を行う。
　第一の制御は、制御対象となる画素行の各画素５１からは信号を読み出さず、制御対象となる画素行に対して列方向Ｙに隣接する２つの画素行の各画素５１から信号を読み出す制御である。
　第二の制御は、制御対象となる画素行の各画素５１から信号を読み出す制御である。
　なお、第一の制御と第二の制御を行う対象とする複数の画素行は、固体撮像素子５に含まれる画素行のうち、全ての位相差画素行と、列方向Ｙに隣り合う位相差画素行同士の中間にあるＧＢ画素行とを少なくとも含むように設定される。システム制御部１１は、少なくとも各位相差画素行に対しては第一の制御を行う。
　以下、動画撮影時のシステム制御部１１の動作について説明する。
　図３は、図１に示されるデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図である。図３には、固体撮像素子５に含まれる画素５１として、４つの画素５１を含む画素行が１５個分示されている。
　図３の例では、固体撮像素子５に含まれる全ての画素行のうち、偶数行目にある画素行が第一の制御又は第二の制御を行う画素行となっている。そして、動画撮影時において、固体撮像素子５の１フレーム分の露光が終了すると、システム制御部１１は、図３に示されるように、固体撮像素子５に含まれる各位相差画素行に対しては第一の制御を行い、固体撮像素子５に含まれる列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に対しては第二の制御を行う。
　つまり、システム制御部１１は、固体撮像素子５の各位相差画素行の上下に隣接するＢＧ画素行の各画素５１から信号を読み出すように、撮像素子駆動部１０を制御する。また、システム制御部１１は、固体撮像素子５の列方向Ｙにおいて隣り合う位相差画素行同士の中間のＢＧ画素行の各画素５１から信号を読み出すように、撮像素子駆動部１０を制御する。
　第一の制御及び第二の制御によって読み出された信号は、アナログ信号処理部６及びＡ／Ｄ変換回路７にて処理された後、メインメモリ１６に記憶される。
　続いて、デジタル信号処理部１７が、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１（図３において、破線で結んだ２つの画素５１）から読み出された信号同士を加算する。
　加算によって得られる信号の空間位置は、加算対象となった２つの信号の出力元の２つの画素５１の重心位置と一致する。
　デジタル信号処理部１７による信号の加算処理が終了すると、メインメモリ１６に記憶される撮像画像信号の空間配列は、被写体空間において、固体撮像素子５の各位相差画素行に含まれるＢ画素５１の位置にＧ信号が配置され、固体撮像素子５の各位相差画素行に含まれるＧ画素５１の位置にＲ信号が配置されたものとなる。
　また、この空間配列は、固体撮像素子５の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＢ画素５１，Ｇ画素５１の位置にそれぞれＢ信号，Ｇ信号が配置されたものとなる。
　なお、図３において、“Ｒ”の文字が記載された円がＲ信号を示し、“Ｇ”の文字が記載された円がＧ信号を示し、“Ｂ”の文字が記載された円がＢ信号を示している。
　したがって、撮像画像信号の空間配列は、Ｇ信号とＲ信号を行方向Ｘに交互に並べた信号行と、Ｂ信号とＧ信号を行方向Ｘに交互に並べた信号行とを、列方向Ｙに向かって交互にかつ等間隔で並べたものになる。デジタル信号処理部１７が、この撮像画像信号を処理して画像データを生成することで、ジャギーのない画像データを得ることができる。
　以上のように、システム制御部１１は、第一の制御が行われる画素行と第二の制御が行われる画素行とが列方向Ｙに交互に並んだものとなるように第一の制御と第二の制御を行う。この結果、後段のデジタル信号処理部１７が行う加算処理によって、Ｇ信号とＲ信号を含む信号行と、Ｂ信号とＧ信号を含む信号行とを、列方向Ｙに等間隔で交互に並べた空間配列の撮像画像信号を生成することが可能となる。したがって、ジャギーのない画像データを得ることができる。
　また、上記空間配列の撮像画像信号には、位相差画素行から読み出された信号が含まれない。このため、位相差画素からの信号を補正する必要がない。したがって、処理負担を増加させることなく、動画撮影を行うことができる。
　なお、位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１から読み出された信号の加算処理は、アナログ信号処理部６が行ってもよい。例えば、２本のラインメモリと加算器を用いることで、位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１から読み出された信号をアナログ的に加算することができる。
　また、固体撮像素子５としてはＣＣＤ型のものを用いてもよい。固体撮像素子５としてＣＣＤ型のものを用いた場合は、位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１から読み出した信号（信号電荷）を、電荷転送路上で混合する駆動を、撮像素子駆動部１０がシステム制御部１１の制御により行う。
　このような駆動により、当該２つの画素５１の各々から読み出した信号を加算した信号を、固体撮像素子５内において生成することができる。この場合は、システム制御部１１が、位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１から読み出された信号を加算する信号加算部として機能する。
　なお、デジタル信号処理部１７による加算処理後に得られる撮像画像信号において、第一の制御によって読み出され、加算処理後に得られた信号と、第二の制御によって読み出された信号との間には２倍の感度差が生じる。このため、この感度差を補正することが画質向上の上で好ましい。例えば、デジタル信号処理部１７が、第二の制御によって読み出された信号を一律のゲインで増幅する処理を行う。これにより、信号間の感度差をなくすことが可能である。
　図４は、図２に示される固体撮像素子５の変形例を示す図である。図４に示される固体撮像素子５ａは、位相差画素行が７つの画素行おきに配置されている点（上記ｎの値が２である点）を除いては、図２に示される固体撮像素子５と同じ構成である。
　以下、固体撮像素子５ａを搭載するデジタルカメラの動画撮影時の動作について説明する。
　図５は、固体撮像素子５ａを搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図である。図５には、固体撮像素子５ａに含まれる画素５１として、４つの画素５１を含む画素行が１５個分示されている。
　図５の例では、固体撮像素子５ａに含まれる全ての画素行のうち、各位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行とが、第一の制御又は第二の制御が行われる画素行となっている。そして、動画撮影時において、固体撮像素子５ａの１フレーム分の露光が終了すると、システム制御部１１は、図５に示されるように、固体撮像素子５ａの各位相差画素行に対しては第一の制御を行い、固体撮像素子５ａの列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に対しては第二の制御を行う。
　つまり、システム制御部１１は、固体撮像素子５ａの各位相差画素行の上下に隣接する２つのＧＲ画素行から信号を読み出すように、撮像素子駆動部１０を制御する。また、システム制御部１１は、固体撮像素子５ａの列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行から信号を読み出すように、撮像素子駆動部１０を制御する。
　第一の制御及び第二の制御によって読み出された信号は、アナログ信号処理部６及びＡ／Ｄ変換回路７にて処理された後、メインメモリ１６に記憶される。
　続いて、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、固体撮像素子５ａの位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１（図５において、破線で結んだ２つの画素５１）から読み出された信号同士を加算する。加算によって得られる信号の空間位置は、加算対象となった２つの信号の出力元の２つの画素５１の重心位置と一致する。
　デジタル信号処理部１７による信号の加算処理が終了すると、メインメモリ１６に記憶される撮像画像信号の空間配列は、被写体空間において、固体撮像素子５ａの各位相差画素行に含まれるＢ画素５１の位置にＧ信号が配置され、固体撮像素子５ａの各位相差画素行に含まれるＧ画素５１の位置にＲ信号が配置されたものとなる。
　また、この空間配列は、固体撮像素子５ａの列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＢ画素５１，Ｇ画素５１の位置にそれぞれＢ信号，Ｇ信号が配置されたものとなる。
　なお、図５において、“Ｒ”の文字が記載された円がＲ信号を示し、“Ｇ”の文字が記載された円がＧ信号を示し、“Ｂ”の文字が記載された円がＢ信号を示している。
　したがって、撮像画像信号の空間配列は、Ｇ信号とＲ信号を含む信号行と、Ｂ信号とＧ信号を含む信号行とを、列方向Ｙに等間隔で交互に並べたものになる。デジタル信号処理部１７が、この撮像画像信号を用いて画像データを生成することで、ジャギーの発生を防止することができる。
　図５に示されるように第一の制御と第二の制御を行う画素行を決めることで、Ｇ信号とＲ信号を含む信号行と、Ｂ信号とＧ信号を含む信号行とを、列方向Ｙに等間隔で交互に並べた空間配列の撮像画像信号を、後段のデジタル信号処理部１７によって生成することが可能となる。この撮像画像信号は、撮像画像信号を構成する信号行の本数が、図３の場合と比較して半分になる。したがって、動画のフレームレートの向上が可能となる。
　なお、動画フレームレートが向上するという効果は、位相差画素行を（２ｎ＋１－１）個（ｎは２以上の自然数）の画素行おきに有する固体撮像素子であれば得ることができる。
　位相差画素行を（２ｎ＋１－１）個（ｎは２以上の自然数）の画素行おきに有する固体撮像素子を用いる場合、第一の制御又は第二の制御を行う対象とする複数の画素行は、目標とするフレームレートに応じて適宜設定すればよい。ただし、この複数の画素行には、少なくとも、各位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の中間にある画素行とを含ませる必要がある。
　例えば、ｎ＝３の場合、システム制御部１１は、各位相差画素行に対しては第一の制御を行い、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に対しては第二の制御を行う。
　この第一の制御及び第二の制御によって読み出され、デジタル信号処理部１６によって加算処理された後に得られる撮像画像信号は、図５に示される撮像画像信号の半分の解像度になる。このため、更なるフレームレートの向上が可能になる。
　また、ｎ＝２の場合は、第一の制御を行う画素行と第二の制御を行う画素行とを、図６に示されるように決めてもよい。
　図６の例では、固体撮像素子５ａに含まれる全ての画素行のうち、各位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の間にある３つのＢＧ画素行とが、第一の制御又は第二の制御が行われる画素行となっている。そして、動画撮影時において、固体撮像素子５ａの１フレーム分の露光が終了すると、システム制御部１１は、図６に示されるように、固体撮像素子５ａに含まれる全ての画素行のうち、各位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行とに対しては第一の制御を行い、その他のＢＧ画素行に対しては第二の制御を行う。
　つまり、システム制御部１１は、固体撮像素子５ａに含まれる全ての画素行のうち、各位相差画素行の上下に隣接するＧＲ画素行から信号を読み出すように、撮像素子駆動部１０を制御する。
　また、システム制御部１１は、固体撮像素子５ａに含まれる全ての画素行のうち、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行の上下に隣接するＢＧ画素行から信号を読み出すように、撮像素子駆動部１０を制御する。
　また、システム制御部１１は、固体撮像素子５に含まれる全ての画素行のうち、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行と、そのＢＧ画素行の列方向Ｙにおいて隣にある位相差画素行との中間にあるＢＧ画素行から信号を読み出すように、撮像素子駆動部１０を制御する。
　第一の制御及び第二の制御によって読みだされた信号は、アナログ信号処理部６及びＡ／Ｄ変換回路７にて処理された後、メインメモリ１６に記憶される。
　続いて、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、固体撮像素子５ａの位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１（図６において、破線で結んだ２つの画素５１）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった２つの信号の出力元の２つの画素５１の重心位置と一致する。
　また、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、固体撮像素子５ａの列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１（図６において、破線で結んだ２つの画素５１）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった２つの信号の出力元の２つの画素５１の重心位置と一致する。
　デジタル信号処理部１７による信号の加算処理が終了すると、メインメモリ１６に記憶される撮像画像信号の空間配列は、固体撮像素子５ａの各位相差画素行に含まれるＢ画素５１の位置にＧ信号が配置され、固体撮像素子５ａの各位相差画素行に含まれるＧ画素５１の位置にＲ信号が配置されたものとなる。
　また、この空間配列は、固体撮像素子５ａの列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＢ画素５１の位置にＧ信号が配置され、当該ＢＧ画素行に含まれるＧ画素５１の位置にＲ信号が配置されたものとなる。
　また、この空間配列は、固体撮像素子５に含まれる画素行のうち、位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行とを除くＢＧ画素行、に含まれるＢ画素５１，Ｇ画素５１の位置にそれぞれＢ信号，Ｇ信号が配置されたものとなる。
　なお、図６において、“Ｒ”の文字が記載された円がＲ信号を示し、“Ｇ”の文字が記載された円がＧ信号を示し、“Ｂ”の文字が記載された円がＢ信号を示している。
　以上のように、ｎ＝２の場合には、システム制御部１１が、制御対象とする複数の画素行において、位相差画素行だけでなく、列方向Ｙにおいて隣り合う位相差画素行同士の中間にある画素行に対しても第一の制御を実行し、残りの画素行に対しては第二の制御を実行する。これにより、図５の例と比較して、撮像画像信号を構成する信号行の本数を２倍に増やすことができる。したがって、解像度を向上させた動画撮影が可能となる。
　なお、ｎ≧３の場合も、位相差画素行だけでなく、列方向Ｙにおいて隣り合う位相差画素行同士の中間にある画素行に対しても第一の制御を実行すると共に、第一の制御を行う画素行と、第二の制御を行う画素行とが列方向Ｙに交互に並ぶように、第一の制御又は第二の制御を行う対象となる画素行を決める。このようにすることで、ｎ＝２の場合と同様に、動画解像度の向上を図ることができる。
　また、図５，６に示される制御内容においても、第一の制御によって読み出される信号の加算は、アナログ信号処理部６によって行ったり、固体撮像素子５ａ内部で行ったりすることができる。
　図７は、図２に示される固体撮像素子５の変形例を示す図である。図７に示される固体撮像素子５ｂは、行方向Ｘとこれに直交する列方向Ｙに二次元状（図７の例では正方格子状）に配列された複数の画素５２からなる第一の画素群と、第一の画素群と同じ配列の複数の画素５３からなる第二の画素群とを有する。
　各画素５２は、フォトダイオード等の光電変換部とその上方に設けられるカラーフィルタとを含む。全ての画素５２に含まれるカラーフィルタの配列はベイヤ配列となっている。
　各画素５３は、フォトダイオード等の光電変換部とその上方に設けられるカラーフィルタとを含む。全ての画素５３に含まれるカラーフィルタの配列はベイヤ配列となっている。
　図７において、“Ｒ”を付した画素は、赤色光を検出する画素である。また、“Ｇ”を付した画素は、緑色光を検出する画素である。また、“Ｂ”を付した画素は、青色光を検出する画素である。以下では、“Ｒ”を付した画素５２，５３をＲ画素５２，５３とも言う。また、“Ｇ”を付した画素５２，５３をＧ画素５２，５３とも言う。また、“Ｂ”を付した画素５２，５３をＢ画素５２，５３とも言う。
　固体撮像素子５ｂの第一の画素群は、Ｇ画素５２とＲ画素５２が行方向Ｘに交互に並べられた画素行であるＧＲ画素行と、Ｂ画素５２とＧ画素５２が行方向Ｘに交互に並べられた画素行であるＢＧ画素行との２種類の画素行を含む。この２種類の画素行は、列方向Ｙに交互に並べられている。
　固体撮像素子５ｂの第一の画素群に含まれる全てのＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含む。図７において、位相差画素となるＧ画素５２には網掛けがなされると共に符号５２ａが付されている。
　固体撮像素子５ｂの第一の画素群は、位相差画素行を（２ｎ＋１－１）個（ｎは自然数）の画素行おきに有するものであればよい。図７の例では、ｎ＝１としているため、第一の画素群において位相差画素行が３個の画素行おきに配置されている。
　固体撮像素子５ｂの第一の画素群に含まれる各位相差画素行には、所定の規則にしたがって複数個の位相差画素５２ａが配置されている。
　第一の画素群の各画素５２の隣には、各画素５２に対して同一の方向（図７の例では左斜め下方向）に、当該各画素５２と同色光を検出する第二の画素群の画素５３が配置されている。そして、各画素５２と、これに当該同一の方向で隣接する画素５３とで画素のペアを構成している。また、固体撮像素子５ｂの第一の画素群に含まれる各画素行と、この各画素行に含まれる画素５２とペアを構成する画素５３を含む第二の画素群における画素行とで画素行のペアが構成されている。
　固体撮像素子５ｂの第二の画素群において、第一の画素群の位相差画素５２ａとペアを構成する画素５３は、位相差を検出する画素となっている。図７では、位相差を検出する画素５３には網掛けがなされると共に符号５３ａが付されている。
　位相差画素５２ａは、光電変換部の光学開口が右側に偏心している画素である。位相差画素５３ａは、光電変換部の光学開口が左側に偏心している画素である。この位相差画素５２ａと位相差画素５３ａにより、位相差情報を得ることができる。位相差画素５２ａは、光電変換部の光学開口が上側に偏心している画素であり、位相差画素５３ａは、光電変換部の光学開口が下側に偏心している画素であってもよい。位相差画素の構成は周知のものを用いることができる。
　固体撮像素子５ｂを搭載するデジタルカメラでは、動画撮影時に、システム制御部１１が、第一の画素群において列方向Ｙに等間隔で並ぶ、位相差画素行と同一種類の複数の画素行（図７の例ではＢＧ画素行）毎に第一の制御と第二の制御のいずれかを行う。システム制御部１１は、この複数の画素行が、第一の制御が行われる画素行と第二の制御が行われる画素行とが列方向Ｙに交互に並んだものとなるように、第一の画素群の複数の画素行毎に第一の制御又は第二の制御を行う。
　また、システム制御部１１は、第一の画素群において第一の制御を行う画素行とペアを構成する第二の画素群の画素行に対しては第一の制御を行う。また、システム制御部１１は、第一の画素群において第二の制御を行う画素行とペアを構成する第二の画素群の画素行に対しては第二の制御を行う。
　第一の制御は、制御対象となる画素行の各画素５２（５３）からは信号を読み出さず、制御対象となる画素行に対して列方向Ｙに隣接する２つの画素行の各画素５２（５３）から信号を読み出す制御である。
　第二の制御は、制御対象となる画素行の各画素５２（５３）から信号を読み出す制御である。
　なお、第一の画素群において第一の制御と第二の制御を行う対象となる複数の画素行は、固体撮像素子５ｂの第一の画素群に含まれる全ての位相差画素行と、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＧＢ画素行とを含むように設定される。システム制御部１１は、少なくとも第一の画素群の各位相差画素行に対しては第一の制御を行う。
　以下、固体撮像素子５ｂを搭載するデジタルカメラにおける動画撮影時のシステム制御部１１の動作について説明する。
　図８は、固体撮像素子５ｂを搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図である。図８には、固体撮像素子５ｂに含まれる画素行として、２つの画素５２を含む第一の画素群の画素行と、２つの画素５３を含む第二の画素群の画素行とがそれぞれ１２個分示されている。
　図８の例では、固体撮像素子５ｂに含まれる第一の画素群の全ての画素行のうち、偶数行目にある画素行が第一の制御又は第二の制御が行われる画素行となっている。そして、動画撮影時において、固体撮像素子５ｂの１フレーム分の露光が終了すると、システム制御部１１は、図８に示されるように、第一の画素群における各位相差画素行及びこの各位相差画素行とペアを構成する第二の画素群の位相差画素行に対しては第一の制御を行う。また、システム制御部１１は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行と、このＢＧ画素行とペアを構成する第二の画素群のＢＧ画素行に対しては第二の制御を行う。
　つまり、システム制御部１１は、第一の画素群の各位相差画素行の上下に隣接するＧＲ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３とから信号を読み出すように、撮像素子駆動部１０を制御する。また、システム制御部１１は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間のＢＧ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３から信号を読み出すように、撮像素子駆動部１０を制御する。
　第一の制御及び第二の制御によって読み出された信号は、アナログ信号処理部６及びＡ／Ｄ変換回路７にて処理された後、メインメモリ１６に記憶される。
　続いて、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、第一の画素群の位相差画素行の各画素５２に対して列方向Ｙに隣接する２つの同色画素５２と、この２つの同色画素５２の各々とペアを構成する第二の画素群の画素５３との４つの画素（図８において、破線で結んだ４つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった４つの信号の出力元である２つの画素５２及び２つの画素５３の重心位置と一致する。
　また、デジタル信号処理部１７は、メインメモリ１６に記憶された第二の制御によって読み出された信号のうち、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３との２つの画素（図８において、一点鎖線で結んだ２つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった２つの信号の出力元の画素５２及び画素５３の重心位置と一致する。
　デジタル信号処理部１７による信号の加算処理が終了すると、メインメモリ１６に記憶される撮像画像信号の空間配列は、被写体空間において、第一の画素群の各位相差画素行に含まれるＢ画素５２とこのＢ画素５２とペアを構成するＢ画素５３との重心位置にＧ信号が配置され、第一の画素群の各位相差画素行に含まれるＧ画素５２とこのＧ画素５２とペアを構成するＧ画素５３との重心位置にＲ信号が配置されたものとなる。
　また、この空間配列は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＢ画素５２と、このＢ画素５２とペアを構成するＢ画素５３と、の重心位置にＢ信号が配置されたものとなる。
　また、この空間配列は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＧ画素５２と、このＧ画素５２とペアを構成するＧ画素５３と、の重心位置にＧ信号が配置されたものとなる。
　なお、図８において、“Ｒ”の文字が記載された円がＲ信号を示し、“Ｇ”の文字が記載された円がＧ信号を示し、“Ｂ”の文字が記載された円がＢ信号を示している。
　したがって、撮像画像信号の空間配列は、Ｇ信号とＲ信号を行方向Ｘに交互に並べた信号行と、Ｂ信号とＧ信号を行方向Ｘに交互に並べた信号行とを、列方向Ｙに向かって交互にかつ等間隔で並べたものになる。デジタル信号処理部１７が、この撮像画像信号を処理して画像データを生成することで、ジャギーのない画像データを得ることができる。
　撮像画像信号において、第一の制御によって読み出され、加算処理後に得られた信号と、第二の制御によって読み出され、加算処理後に得られた信号との間には２倍の感度差が生じる。このため、この感度差を補正することが画質向上の上で好ましい。例えば、デジタル信号処理部１７が、第二の制御によって読み出され、加算処理後に得られた信号を一律のゲインで増幅する処理を行う。これにより、信号間の感度差をなくすことが可能である。
　図９は、図７に示される固体撮像素子５ｂの変形例を示す図である。図９に示される固体撮像素子５ｃは、位相差画素行が７つの画素行おきに配置されている点（上記ｎの値が２である点）を除いては、図７に示される固体撮像素子５ｂと同じ構成である。
　以下、固体撮像素子５ｃを搭載するデジタルカメラの動画撮影時の動作について説明する。
　図１０は、固体撮像素子５ｃを搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図である。図１０には、固体撮像素子５ｃに含まれる画素行として、２つの画素５２を含む第一の画素群の画素行と、２つの画素５３を含む第二の画素群の画素行とがそれぞれ１２個分示されている。
　図１０の例では、固体撮像素子５ｃに含まれる第一の画素群の全ての画素行のうち、各位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行とが、第一の制御又は第二の制御が行われる画素行となっている。そして、動画撮影時において、固体撮像素子５ｃの１フレーム分の露光が終了すると、システム制御部１１は、図１０に示されるように、第一の画素群の各位相差画素行及びこの各位相差画素行とペアを構成する第二の画素群の位相差画素行に対しては第一の制御を行う。また、システム制御部１１は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行と、このＢＧ画素行とペアを構成する第二の画素群のＢＧ画素行に対しては第二の制御を行う。
　つまり、システム制御部１１は、第一の画素群の各位相差画素行の上下に隣接するＧＲ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３とから信号を読み出すように、撮像素子駆動部１０を制御する。
　また、システム制御部１１は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３から信号を読み出すように、撮像素子駆動部１０を制御する。
　第一の制御及び第二の制御によって読み出された信号は、アナログ信号処理部６及びＡ／Ｄ変換回路７にて処理された後、メインメモリ１６に記憶される。
　続いて、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、第一の画素群の位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５２と、この２つの同色画素５２の各々とペアを構成する第二の画素群の画素５３との４つの画素（図１０において、破線で結んだ４つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった４つの信号の出力元である２つの画素５２及び２つの画素５３の重心位置と一致する。
　また、デジタル信号処理部１７は、メインメモリ１６に記憶された第二の制御によって読み出された信号のうち、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３との２つの画素（図１０において、一点鎖線で結んだ２つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった２つの信号の出力元の画素５２及び画素５３の重心位置と一致する。
　デジタル信号処理部１７による信号の加算処理が終了すると、メインメモリ１６に記憶される撮像画像信号の空間配列は、被写体空間において、第一の画素群の各位相差画素行に含まれるＢ画素５２とこのＢ画素５２とペアを構成するＢ画素５３との重心位置にＧ信号が配置され、第一の画素群の各位相差画素行に含まれるＧ画素５２とこのＧ画素５２とペアを構成するＧ画素５３との重心位置にＲ信号が配置されたものとなる。
　また、この空間配列は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＢ画素５２と、このＢ画素５２とペアを構成するＢ画素５３と、の重心位置にＢ信号が配置されたものとなる。
　また、この空間配列は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＧ画素５２と、このＧ画素５２とペアを構成するＧ画素５３と、の重心位置にＧ信号が配置されたものとなる。
　なお、図１０において、“Ｒ”の文字が記載された円がＲ信号を示し、“Ｇ”の文字が記載された円がＧ信号を示し、“Ｂ”の文字が記載された円がＢ信号を示している。
　したがって、撮像画像信号の空間配列は、Ｇ信号とＲ信号を行方向Ｘに交互に並べた信号行と、Ｂ信号とＧ信号を行方向Ｘに交互に並べた信号行とを、列方向Ｙに向かって交互にかつ等間隔で並べたものになる。デジタル信号処理部１７が、この撮像画像信号を処理して画像データを生成することで、ジャギーのない画像データを得ることができる。
　図１０に示されるように第一の制御と第二の制御を行う画素行を決めることで、Ｇ信号とＲ信号を含む信号行と、Ｂ信号とＧ信号を含む信号行とを、列方向Ｙに等間隔で交互に並べた空間配列の撮像画像信号を、後段のデジタル信号処理部１７によって生成することが可能となる。この撮像画像信号は、撮像画像信号を構成する信号行の本数が、図８の場合と比較して半分になる。したがって、動画のフレームレートの向上が可能となる。
　なお、動画フレームレートが向上するという効果は、固体撮像素子５，５ａと同様に、位相差画素行を（２ｎ＋１－１）個（ｎは２以上の自然数）の画素行おきに有する固体撮像素子であれば得ることができる。
　また、ｎ＝２の場合は、第一の制御を行う画素行と第二の制御を行う画素行とを、図１１に示されるように決めてもよい。
　図１１の例では、固体撮像素子５ｃに含まれる全ての画素行のうち、各位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の間にある３つのＢＧ画素行とが、第一の制御又は第二の制御が行われる画素行となっている。そして、動画撮影時において、固体撮像素子５ｃの１フレーム分の露光が終了すると、システム制御部１１は、図１１に示されるように、固体撮像素子５ｃに含まれる全てのＢＧ画素行のうち、各位相差画素行と、列方向Ｙにおいて隣接する位相差画素行同士の中間にあるＢＧ画素行とに対しては第一の制御を行い、その他のＢＧ画素行に対しては第二の制御を行う。
　第一の制御及び第二の制御によって読みだされた信号は、アナログ信号処理部６及びＡ／Ｄ変換回路７にて処理された後、メインメモリ１６に記憶される。
　続いて、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、第一の画素群の位相差画素行の各画素５２に対して列方向Ｙに隣接する２つの同色画素５２と、この２つの同色画素５２の各々とペアを構成する第二の画素群の画素５３との４つの画素（図１１において、破線で結んだ４つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった４つの信号の出力元である２つの画素５２及び２つの画素５３の重心位置と一致する。
　また、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行の各画素５２に対して列方向Ｙに隣接する２つの同色画素５２と、この２つの同色画素５２の各々とペアを構成する画素５３との４つの画素（図１１において、破線で結んだ４つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった４つの信号の出力元である２つの画素５２及び２つの画素５３の重心位置と一致する。
　また、デジタル信号処理部１７は、メインメモリ１６に記憶された第二の制御によって読み出された信号のうち、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行と、このＢＧ画素行の列方向Ｙにおいて隣にある位相差画素行との間にあるＢＧ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３との２つの画素（図１１において、一点鎖線で結んだ２つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった２つの信号の出力元の画素５２及び画素５３の重心位置と一致する。
　デジタル信号処理部１７による信号の加算処理が終了すると、メインメモリ１６に記憶される撮像画像信号の空間配列は、被写体空間において、第一の画素群の各位相差画素行に含まれるＢ画素５２と、このＢ画素５２とペアを構成するＢ画素５３との重心位置にＧ信号が配置され、第一の画素群の各位相差画素行に含まれるＧ画素５２と、このＧ画素５２とペアを構成するＧ画素５３との重心位置にＲ信号が配置されたものとなる。
　また、この空間配列は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＢ画素５２と、このＢ画素５２とペアを構成するＢ画素５３と、の重心位置にＧ信号が配置され、当該ＢＧ画素行に含まれるＧ画素５２とこのＧ画素５２とペアを構成するＧ画素５３との重心位置にＲ信号が配置されたものとなる。
　また、この空間配列は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行と、このＢＧ画素行の列方向Ｙにおいて隣にある位相差画素行との間にあるＢＧ画素行に含まれるＢ画素５２と、このＢ画素５２とペアを構成するＢ画素５３と、の重心位置にＢ信号が配置され、当該ＢＧ画素行に含まれるＧ画素５２とこのＧ画素５２とペアを構成するＧ画素５３との重心位置にＧ信号が配置されたものとなる。
　なお、図１１において、“Ｒ”の文字が記載された円がＲ信号を示し、“Ｇ”の文字が記載された円がＧ信号を示し、“Ｂ”の文字が記載された円がＢ信号を示している。
　以上のように、ｎ＝２のときには、システム制御部１１が、制御対象とする第一の画素群の複数の画素行において、位相差画素行だけでなく、列方向Ｙにおいて隣り合う位相差画素行同士の中間にある画素行に対しても第一の制御を実行し、残りの画素行に対しては第二の制御を実行する。これにより、図１０の例と比較して、撮像画像信号を構成する信号行の本数を２倍に増やすことができる。したがって、解像度を向上させた動画撮影が可能となる。
　なお、ｎ≧３の場合も、位相差画素行だけでなく、列方向Ｙにおいて隣り合う位相差画素行同士の中間にある画素行に対しても第一の制御を実行すると共に、第一の制御を行う画素行と、第二の制御を行う画素行とが列方向Ｙに交互に並ぶように、第一の制御又は第二の制御を行う対象となる画素行を決める。このようにすることで、ｎ＝２の場合と同様に、動画解像度の向上を図ることができる。
　図１２は、図７に示される固体撮像素子５ｂの変形例を示す図である。
　図１２に示される固体撮像素子５ｄは、第一の画素群と第二の画素群の各々に含まれる位相差画素行において、Ｇ画素だけでなく、Ｂ画素も位相差画素にしている点を除いては、固体撮像素子５ｂと同じ構成である。
　このように、Ｂ画素の一部も位相差画素とすることで、青色の情報が多い被写体においても、ＡＦ精度を向上させることができる。
　なお、固体撮像素子５ｄにおいて、Ｂ画素の代わりに、Ｒ画素の一部を位相差画素とすることでも、同様に、ＡＦ精度を向上させることができる。
　固体撮像素子５ｂ，５ｃ，５ｄは、画素５２が、この画素５２とペアを構成する画素５３に対して斜めの方向に隣接配置されるものとなっている。しかし、ペアを構成する画素５２と画素５３のずれ方向（上述した同一の方向）は、斜め方向に限らず、行方向Ｘや列方向Ｙであってもよい。
　固体撮像素子５ｂ，５ｃ，５ｄをＣＣＤ型のものにする場合は、例えば１６相駆動できるような構成とすることで、図８，１０，１１に示されるような制御が可能になる。
　なお、固体撮像素子５，５ａ、又は、固体撮像素子５ｂ，５ｃ，５ｄの各画素群において、ＢＧ画素行の一部ではなく、ＧＲ画素行の一部を位相差画素行としてもよい。
　ＧＲ画素行の一部を位相差画素行とする場合には、第一の制御及び第二の制御を行う対象画素行はＧＲ画素行とする必要がある。ただし、第一の制御及び第二の制御を行う対象画素行をＧＲ画素行にすると、偽色が目立ちやすくなる。このため、これまで説明してきたように、第一の制御及び第二の制御を行う対象画素行はＢＧ画素行にすることが好ましい。
　以上説明してきたように、本明細書には次の事項が開示されている。
　開示された撮像装置は、二次元状に配列された複数の画素を含む固体撮像素子を有する撮像装置であって、前記固体撮像素子は、赤色光を検出する赤色画素、緑色光を検出する緑色画素、及び青色光を検出する青色画素がベイヤ状に配列された画素群を含むものであり、前記ベイヤ状に配列された画素群は、前記緑色画素と前記赤色画素が行方向に交互に並べられた画素行であるＧＲ画素行と、前記青色画素と前記緑色画素が行方向に交互に並べられた画素行であるＢＧ画素行との２種類の画素行が、前記行方向に直交する列方向に交互に並べられているものであり、前記ベイヤ状に配列された画素群に含まれる前記ＧＲ画素行又は前記ＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含むものであり、前記位相差画素行は、前記ベイヤ状に配列された画素群において（２ｎ＋１－１）個（ｎは自然数）の画素行おきに配置されるものであり、前記列方向に等間隔で並ぶ、前記位相差画素行と同一種類の複数の画素行の各々に対し、第一の制御又は第二の制御を行う制御部を備え、前記第一の制御が行われる画素行と前記第二の制御が行われる画素行とは前記列方向に交互に並び、前記第一の制御は、制御対象となる前記画素行の各画素からは信号を読み出さず、前記制御対象となる前記画素行に隣接する２つの画素行の各画素から信号を読み出す制御であり、前記第二の制御は、制御対象となる前記画素行の各画素から信号を読み出す制御であり、前記列方向に等間隔で並ぶ同一種類の複数の画素行は、前記固体撮像素子に含まれる全ての前記位相差画素行と、前記列方向において隣り合う前記位相差画素行同士の中間にある画素行とを少なくとも含み、前記制御部は、少なくとも前記位相差画素行に対しては前記第一の制御を行うものである。
　開示された撮像装置は、前記第一の制御が行われた画素行の各画素に対して前記列方向に隣接する２つの同色画素から読み出された信号同士を加算した信号を生成する信号加算部を更に備えるものである。
　開示された撮像装置は、前記第二の制御によって読み出された各信号と、前記第一の制御によって読み出され前記信号加算部によって生成された各信号との感度差を補正する感度差補正部を更に備えるものである。
　開示された撮像装置は、ｎ≧２の場合、前記制御部は、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行うものである。
　開示された撮像装置は、前記固体撮像素子は、前記画素群を２つ含むものであり、前記２つの画素群の一方に含まれる各画素には、当該各画素に対して同一の方向に、当該各画素と同色光を検出する前記２つの画素群の他方に含まれる画素が隣接して配置されており、前記制御部は、前記２つの画素群の各々において前記複数の画素行の各々に対して前記第一の制御又は前記第二の制御を行い、前記２つの画素群の一方において前記第一の制御が行われた画素行の各画素に対して前記列方向に隣接する２つの同色画素と、当該２つの同色画素の各々に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との４つの画素から読み出された信号同士を加算し、前記２つの画素群の一方において前記第二の制御が行われた画素行の各画素と、当該各画素に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との２つの画素から読み出された信号同士を加算する信号加算部を更に備えるものである。
　開示された撮像装置は、前記信号加算部が前記第一の制御によって前記４つの画素から読み出された信号を加算して生成した信号と、前記信号加算部が前記第二の制御によって前記２つの画素から読み出された信号を加算して生成した信号との感度差を補正する感度差補正部を更に備えるものである。
　開示された撮像装置は、ｎ≧２の場合、前記制御部は、前記２つの画素群の各々において、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行うものである。
　開示された撮像装置は、前記画素群に含まれるＢＧ画素行が前記位相差画素行を含むものである。
　開示された撮像方法は、二次元状に配列された複数の画素を含む固体撮像素子を用いた撮像方法であって、前記固体撮像素子は、赤色光を検出する赤色画素、緑色光を検出する緑色画素、及び青色光を検出する青色画素がベイヤ状に配列された画素群を含むものであり、前記ベイヤ状に配列された画素群は、前記緑色画素と前記赤色画素が行方向に交互に並べられた画素行であるＧＲ画素行と、前記青色画素と前記緑色画素が行方向に交互に並べられた画素行であるＢＧ画素行との２種類の画素行が、前記行方向に直交する列方向に交互に並べられているものであり、前記ベイヤ状に配列された画素群に含まれる前記ＧＲ画素行又は前記ＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含むものであり、前記位相差画素行は、前記ベイヤ状に配列された画素群において（２ｎ＋１－１）個（ｎは自然数）の画素行おきに配置されるものであり、前記列方向に等間隔で並ぶ、前記位相差画素行と同一種類の複数の画素行の各々に対し、第一の制御又は第二の制御を行う制御ステップを備え、前記第一の制御が行われる画素行と前記第二の制御が行われる画素行とは前記列方向に交互に並び、前記第一の制御は、制御対象となる前記画素行の各画素からは信号を読み出さず、前記制御対象となる前記画素行に隣接する２つの画素行の各画素から信号を読み出す制御であり、前記第二の制御は、制御対象となる前記画素行の各画素から信号を読み出す制御であり、前記列方向に等間隔で並ぶ同一種類の複数の画素行は、前記固体撮像素子に含まれる全ての前記位相差画素行と、前記列方向に隣接する前記位相差画素行同士の中間にある画素行とを少なくとも含み、前記制御ステップでは、少なくとも前記位相差画素行に対しては前記第一の制御を行うものである。
　開示された撮像方法は、前記第一の制御が行われた画素行に隣接する２つの画素行において前記列方向に隣接する２つの同色画素から読み出された信号同士を加算した信号を生成する信号加算ステップを更に備えるものである。
　開示された撮像方法は、前記第二の制御によって読み出された各信号と、前記第一の制御によって読み出され前記信号加算部によって生成された各信号との感度差を補正する感度差補正ステップを更に備えるものである。
　開示された撮像方法は、ｎ≧２の場合、前記制御ステップでは、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行うものである。
　開示された撮像方法は、前記固体撮像素子は、前記画素群を２つ含むものであり、前記２つの画素群の一方に含まれる各画素には、当該各画素に対して同一の方向に、前記２つの画素群の他方に含まれる当該各画素と同色光を検出する画素が隣接して配置されており、前記制御ステップでは、前記２つの画素群の各々において前記複数の画素行の各々に対して前記第一の制御又は前記第二の制御を行い、前記２つの画素群の一方において前記第一の制御が行われた画素行の各画素に対して前記列方向に隣接する２つの同色画素と、当該２つの同色画素の各々に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との４つの画素から読み出された信号同士を加算し、前記２つの画素群の一方において前記第二の制御が行われた画素行の各画素と、当該各画素に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との２つの画素から読み出された信号同士を加算する信号加算ステップとを更に備えるものである。
　開示された撮像方法は、前記第一の制御により前記４つの画素から読み出された信号を前記信号加算ステップにおいて加算して得られた信号と、前記第二の制御によって前記２つの画素から読み出された信号を前記信号加算ステップにおいて加算して得られた信号との感度差を補正する感度差補正ステップを更に備えるものである。
　開示された撮像方法は、ｎ≧２の場合、前記制御ステップでは、前記２つの画素群の各々において、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行うものである。
　開示された撮像方法は、前記画素群に含まれるＢＧ画素行が前記位相差画素行を含むものである。
　本発明の撮像装置及び撮像方法は、位相差画素の信号を間引いて画像を生成する場合にジャギーの発生を防止することができる。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１１年４月２８日出願の日本特許出願（特願２０１１－１０２２７４）に基づくものであり、その内容はここに参照として取り込まれる。
５　固体撮像素子
５１　画素
１１　システム制御部

Claims (16)

  1. 　二次元状に配列された複数の画素を含む固体撮像素子を有する撮像装置であって、
    　前記固体撮像素子は、赤色光を検出する赤色画素、緑色光を検出する緑色画素、及び青色光を検出する青色画素がベイヤ状に配列された画素群を含むものであり、
    　前記ベイヤ状に配列された画素群は、前記緑色画素と前記赤色画素が行方向に交互に並べられた画素行であるＧＲ画素行と、前記青色画素と前記緑色画素が行方向に交互に並べられた画素行であるＢＧ画素行との２種類の画素行が、前記行方向に直交する列方向に交互に並べられているものであり、
    　前記ベイヤ状に配列された画素群に含まれる前記ＧＲ画素行又は前記ＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含むものであり、
    　前記位相差画素行は、前記ベイヤ状に配列された画素群において（２ｎ＋１－１）個（ｎは自然数）の画素行おきに配置されるものであり、
    　前記列方向に等間隔で並ぶ、前記位相差画素行と同一種類の複数の画素行の各々に対し、第一の制御又は第二の制御を行う制御部を備え、
    　前記第一の制御が行われる画素行と前記第二の制御が行われる画素行とは前記列方向に交互に並び、
    　前記第一の制御は、制御対象となる前記画素行の各画素からは信号を読み出さず、前記制御対象となる前記画素行に隣接する２つの画素行の各画素から信号を読み出す制御であり、
    　前記第二の制御は、制御対象となる前記画素行の各画素から信号を読み出す制御であり、
    　前記列方向に等間隔で並ぶ同一種類の複数の画素行は、前記固体撮像素子に含まれる全ての前記位相差画素行と、前記列方向において隣り合う前記位相差画素行同士の中間にある画素行とを少なくとも含み、
    　前記制御部は、少なくとも前記位相差画素行に対しては前記第一の制御を行う撮像装置。
  2. 　請求項１記載の撮像装置であって、
    　前記第一の制御が行われた画素行の各画素に対して前記列方向に隣接する２つの同色画素から読み出された信号同士を加算した信号を生成する信号加算部を更に備える撮像装置。
  3. 　請求項２記載の撮像装置であって、
    　前記第二の制御によって読み出された各信号と、前記第一の制御によって読み出され前記信号加算部によって生成された各信号との感度差を補正する感度差補正部を更に備える撮像装置。
  4. 　請求項１～３のいずれか１項記載の撮像装置であって、
    　ｎ≧２の場合、前記制御部は、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行う撮像装置。
  5. 　請求項１記載の撮像装置であって、
    　前記固体撮像素子は、前記画素群を２つ含むものであり、
    　前記２つの画素群の一方に含まれる各画素には、当該各画素に対して同一の方向に、当該各画素と同色光を検出する前記２つの画素群の他方に含まれる画素が隣接して配置されており、
    　前記制御部は、前記２つの画素群の各々において前記複数の画素行の各々に対して前記第一の制御又は前記第二の制御を行い、
    　前記２つの画素群の一方において前記第一の制御が行われた画素行の各画素に対して前記列方向に隣接する２つの同色画素と、当該２つの同色画素の各々に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との４つの画素から読み出された信号同士を加算し、前記２つの画素群の一方において前記第二の制御が行われた画素行の各画素と、当該各画素に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との２つの画素から読み出された信号同士を加算する信号加算部を更に備える撮像装置。
  6. 　請求項５記載の撮像装置であって、
    　前記信号加算部が前記第一の制御によって前記４つの画素から読み出された信号を加算して生成した信号と、前記信号加算部が前記第二の制御によって前記２つの画素から読み出された信号を加算して生成した信号との感度差を補正する感度差補正部を更に備える撮像装置。
  7. 　請求項５又は６記載の撮像装置であって、
    　ｎ≧２の場合、前記制御部は、前記２つの画素群の各々において、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行う撮像装置。
  8. 　請求項１～７のいずれか１項記載の撮像装置であって、
    　前記画素群に含まれるＢＧ画素行が前記位相差画素行を含む撮像装置。
  9. 　二次元状に配列された複数の画素を含む固体撮像素子を用いた撮像方法であって、
    　前記固体撮像素子は、赤色光を検出する赤色画素、緑色光を検出する緑色画素、及び青色光を検出する青色画素がベイヤ状に配列された画素群を含むものであり、
    　前記ベイヤ状に配列された画素群は、前記緑色画素と前記赤色画素が行方向に交互に並べられた画素行であるＧＲ画素行と、前記青色画素と前記緑色画素が行方向に交互に並べられた画素行であるＢＧ画素行との２種類の画素行が、前記行方向に直交する列方向に交互に並べられているものであり、
    　前記ベイヤ状に配列された画素群に含まれる前記ＧＲ画素行又は前記ＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含むものであり、
    　前記位相差画素行は、前記ベイヤ状に配列された画素群において（２ｎ＋１－１）個（ｎは自然数）の画素行おきに配置されるものであり、
    　前記列方向に等間隔で並ぶ、前記位相差画素行と同一種類の複数の画素行の各々に対し、第一の制御又は第二の制御を行う制御ステップを備え、
    　前記第一の制御が行われる画素行と前記第二の制御が行われる画素行とは前記列方向に交互に並び、
    　前記第一の制御は、制御対象となる前記画素行の各画素からは信号を読み出さず、前記制御対象となる前記画素行に隣接する２つの画素行の各画素から信号を読み出す制御であり、
    　前記第二の制御は、制御対象となる前記画素行の各画素から信号を読み出す制御であり、
    　前記列方向に等間隔で並ぶ同一種類の複数の画素行は、前記固体撮像素子に含まれる全ての前記位相差画素行と、前記列方向に隣接する前記位相差画素行同士の中間にある画素行とを少なくとも含み、
    　前記制御ステップでは、少なくとも前記位相差画素行に対しては前記第一の制御を行う撮像方法。
  10. 　請求項９記載の撮像方法であって、
    　前記第一の制御が行われた画素行に隣接する２つの画素行において前記列方向に隣接する２つの同色画素から読み出された信号同士を加算した信号を生成する信号加算ステップを更に備える撮像方法。
  11. 　請求項１０記載の撮像方法であって、
    　前記第二の制御によって読み出された各信号と、前記第一の制御によって読み出され前記信号加算部によって生成された各信号との感度差を補正する感度差補正ステップを更に備える撮像方法。
  12. 　請求項９～１１のいずれか１項記載の撮像方法であって、
    　ｎ≧２の場合、前記制御ステップでは、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行う撮像方法。
  13. 　請求項９記載の撮像方法であって、
    　前記固体撮像素子は、前記画素群を２つ含むものであり、
    　前記２つの画素群の一方に含まれる各画素には、当該各画素に対して同一の方向に、前記２つの画素群の他方に含まれる当該各画素と同色光を検出する画素が隣接して配置されており、
    　前記制御ステップでは、前記２つの画素群の各々において前記複数の画素行の各々に対して前記第一の制御又は前記第二の制御を行い、
    　前記２つの画素群の一方において前記第一の制御が行われた画素行の各画素に対して前記列方向に隣接する２つの同色画素と、当該２つの同色画素の各々に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との４つの画素から読み出された信号同士を加算し、前記２つの画素群の一方において前記第二の制御が行われた画素行の各画素と、当該各画素に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との２つの画素から読み出された信号同士を加算する信号加算ステップとを更に備える撮像方法。
  14. 　請求項１３記載の撮像方法であって、
    　前記第一の制御により前記４つの画素から読み出された信号を前記信号加算ステップにおいて加算して得られた信号と、前記第二の制御によって前記２つの画素から読み出された信号を前記信号加算ステップにおいて加算して得られた信号との感度差を補正する感度差補正ステップを更に備える撮像方法。
  15. 　請求項１３又は１４記載の撮像方法であって、
    　ｎ≧２の場合、前記制御ステップでは、前記２つの画素群の各々において、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行う撮像方法。
  16. 　請求項９～１５のいずれか１項記載の撮像方法であって、
    　前記画素群に含まれるＢＧ画素行が前記位相差画素行を含む撮像方法。
PCT/JP2012/059909 2011-04-28 2012-04-11 撮像装置及び撮像方法 WO2012147515A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013511999A JP5526287B2 (ja) 2011-04-28 2012-04-11 撮像装置及び撮像方法
US14/063,799 US8830384B2 (en) 2011-04-28 2013-10-25 Imaging device and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-102274 2011-04-28
JP2011102274 2011-04-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/063,799 Continuation US8830384B2 (en) 2011-04-28 2013-10-25 Imaging device and imaging method

Publications (1)

Publication Number Publication Date
WO2012147515A1 true WO2012147515A1 (ja) 2012-11-01

Family

ID=47072038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/059909 WO2012147515A1 (ja) 2011-04-28 2012-04-11 撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US8830384B2 (ja)
JP (1) JP5526287B2 (ja)
WO (1) WO2012147515A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104813212B (zh) * 2012-11-20 2017-02-22 富士胶片株式会社 摄像装置及曝光确定方法
JP5778873B2 (ja) * 2012-12-07 2015-09-16 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
US9826174B2 (en) * 2013-03-26 2017-11-21 Samsung Electronics Co., Ltd Image processing apparatus and method
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法
JP5863709B2 (ja) * 2013-06-04 2016-02-17 富士フイルム株式会社 内視鏡システム
JP6320272B2 (ja) * 2013-11-29 2018-05-09 キヤノン株式会社 撮像素子、撮像装置及び携帯電話機
WO2018168551A1 (ja) * 2017-03-16 2018-09-20 富士フイルム株式会社 撮像素子及び撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009060597A (ja) * 2007-08-06 2009-03-19 Canon Inc 撮像装置
JP2010181751A (ja) * 2009-02-06 2010-08-19 Canon Inc 自動焦点検出装置
JP2010185998A (ja) * 2009-02-12 2010-08-26 Nikon Corp 撮像素子および撮像装置
JP2010271670A (ja) * 2009-05-25 2010-12-02 Canon Inc 撮像装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3854826B2 (ja) * 2001-08-08 2006-12-06 キヤノン株式会社 撮像装置
JP4532800B2 (ja) * 2001-11-08 2010-08-25 キヤノン株式会社 撮像装置及びシステム
JP4450187B2 (ja) * 2004-06-08 2010-04-14 パナソニック株式会社 固体撮像装置
JP2007150643A (ja) * 2005-11-28 2007-06-14 Sony Corp 固体撮像素子、固体撮像素子の駆動方法および撮像装置
JP2007288131A (ja) * 2006-03-23 2007-11-01 Fujifilm Corp 固体撮像素子、固体撮像装置およびその駆動方法
WO2008032820A1 (fr) * 2006-09-14 2008-03-20 Nikon Corporation Élément et dispositif d'imagerie
JP2008098971A (ja) * 2006-10-12 2008-04-24 Matsushita Electric Ind Co Ltd 固体撮像装置
JP4321579B2 (ja) * 2006-11-28 2009-08-26 ソニー株式会社 撮像装置
CN101809994B (zh) * 2007-08-10 2012-11-14 佳能株式会社 摄像设备及其控制方法
JP5092685B2 (ja) * 2007-10-23 2012-12-05 株式会社ニコン 撮像素子および撮像装置
JP2009115893A (ja) * 2007-11-02 2009-05-28 Canon Inc 撮像装置
JP5245370B2 (ja) * 2007-11-22 2013-07-24 株式会社ニコン 固体撮像装置、電子カメラ
JP5180795B2 (ja) * 2007-12-10 2013-04-10 キヤノン株式会社 撮像装置及びその制御方法
JP4973478B2 (ja) * 2007-12-11 2012-07-11 ソニー株式会社 撮像素子および撮像装置
US8279318B2 (en) * 2007-12-14 2012-10-02 Canon Kabushiki Kaisha Image pickup apparatus and display control method for the same
JP5050928B2 (ja) * 2008-02-28 2012-10-17 ソニー株式会社 撮像装置および撮像素子
JP5241355B2 (ja) * 2008-07-10 2013-07-17 キヤノン株式会社 撮像装置とその制御方法
JP5237059B2 (ja) * 2008-11-14 2013-07-17 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP5146295B2 (ja) * 2008-12-15 2013-02-20 ソニー株式会社 撮像装置および合焦制御方法
JP5202289B2 (ja) 2008-12-25 2013-06-05 キヤノン株式会社 撮像装置
JP5476716B2 (ja) * 2009-01-08 2014-04-23 ソニー株式会社 撮像素子および撮像装置
US8570427B2 (en) * 2009-01-28 2013-10-29 Nikon Corporation Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function
JP5424679B2 (ja) * 2009-03-18 2014-02-26 キヤノン株式会社 撮像装置及び信号処理装置
JP5278165B2 (ja) * 2009-05-26 2013-09-04 ソニー株式会社 焦点検出装置、撮像素子および電子カメラ
JP2011197080A (ja) * 2010-03-17 2011-10-06 Olympus Corp 撮像装置及びカメラ
JP5126261B2 (ja) * 2010-03-18 2013-01-23 株式会社ニコン カメラ
JP5585200B2 (ja) * 2010-05-17 2014-09-10 株式会社ニコン デジタルカメラ
JP5589760B2 (ja) * 2010-10-27 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP5718029B2 (ja) * 2010-11-22 2015-05-13 オリンパス株式会社 撮像装置
JP5652157B2 (ja) * 2010-11-25 2015-01-14 ソニー株式会社 撮像装置、画像処理方法、並びにコンピューター・プログラム
JP5803095B2 (ja) * 2010-12-10 2015-11-04 ソニー株式会社 撮像素子および撮像装置
JP5655543B2 (ja) * 2010-12-20 2015-01-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム。
JP2012145664A (ja) * 2011-01-11 2012-08-02 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP5589857B2 (ja) * 2011-01-11 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP5664270B2 (ja) * 2011-01-21 2015-02-04 ソニー株式会社 撮像素子および撮像装置
JP5490313B2 (ja) * 2011-03-24 2014-05-14 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP5490312B2 (ja) * 2011-03-24 2014-05-14 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP5404693B2 (ja) * 2011-05-18 2014-02-05 キヤノン株式会社 撮像素子、それを具備した撮像装置及びカメラシステム
JP5751946B2 (ja) * 2011-06-15 2015-07-22 キヤノン株式会社 焦点調節装置およびその制御方法
US20130002936A1 (en) * 2011-06-30 2013-01-03 Nikon Corporation Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
EP2733944B1 (en) * 2011-07-13 2016-08-03 FUJIFILM Corporation Image pickup apparatus and signal value correction method
JP5762897B2 (ja) * 2011-09-14 2015-08-12 オリンパス株式会社 撮像装置および評価値生成装置
JP5853594B2 (ja) * 2011-10-31 2016-02-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009060597A (ja) * 2007-08-06 2009-03-19 Canon Inc 撮像装置
JP2010181751A (ja) * 2009-02-06 2010-08-19 Canon Inc 自動焦点検出装置
JP2010185998A (ja) * 2009-02-12 2010-08-26 Nikon Corp 撮像素子および撮像装置
JP2010271670A (ja) * 2009-05-25 2010-12-02 Canon Inc 撮像装置

Also Published As

Publication number Publication date
US20140049668A1 (en) 2014-02-20
US8830384B2 (en) 2014-09-09
JP5526287B2 (ja) 2014-06-18
JPWO2012147515A1 (ja) 2014-07-28

Similar Documents

Publication Publication Date Title
US8730545B2 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
JP5613843B2 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
JP5453173B2 (ja) 撮像装置及び位相差検出画素を持つ固体撮像素子並びに撮像装置の駆動制御方法
JP5526287B2 (ja) 撮像装置及び撮像方法
US8723991B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
WO2012117616A1 (ja) 撮像装置及び欠陥画素補正方法
US8736743B2 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
JP5608820B2 (ja) 撮像装置及び合焦制御方法
US8723992B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
US8842214B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
JP2009130575A (ja) 固体撮像素子の駆動方法、固体撮像素子、及び撮像装置
JP5657184B2 (ja) 撮像装置及び信号処理方法
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP5645474B2 (ja) 撮像装置及び撮像画像信号の補正方法
US8804016B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
JP5634614B2 (ja) 撮像素子及び撮像装置
JP5124549B2 (ja) 固体撮像素子の動画像信号読出方法及び撮像装置
JP2007235888A (ja) 単板式カラー固体撮像素子及び撮像装置
JP2009303020A (ja) 撮像装置及び欠陥画素補正方法
WO2012165087A1 (ja) 撮像装置及びゴースト補正方法
JP2015156556A (ja) 固体撮像装置
JP2009141579A (ja) 固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置
JP2011114474A (ja) 撮像装置及び固体撮像素子の駆動方法
JP2011199426A (ja) 固体撮像素子、撮像装置、及びスミア補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12776628

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013511999

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12776628

Country of ref document: EP

Kind code of ref document: A1