WO2012132122A1 - 撮像装置及びその合焦制御方法 - Google Patents

撮像装置及びその合焦制御方法 Download PDF

Info

Publication number
WO2012132122A1
WO2012132122A1 PCT/JP2011/078194 JP2011078194W WO2012132122A1 WO 2012132122 A1 WO2012132122 A1 WO 2012132122A1 JP 2011078194 W JP2011078194 W JP 2011078194W WO 2012132122 A1 WO2012132122 A1 WO 2012132122A1
Authority
WO
WIPO (PCT)
Prior art keywords
phase difference
imaging
correlation calculation
difference detection
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/078194
Other languages
English (en)
French (fr)
Inventor
貴嗣 青木
井上　知己
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013507058A priority Critical patent/JP5491677B2/ja
Priority to CN201180067662.5A priority patent/CN103380392B/zh
Publication of WO2012132122A1 publication Critical patent/WO2012132122A1/ja
Priority to US13/966,859 priority patent/US8704940B2/en
Anticipated expiration legal-status Critical
Priority to US14/188,392 priority patent/US8982271B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Definitions

  • the present invention relates to an imaging apparatus and a focusing control method thereof, and more particularly to an imaging apparatus that performs focusing control when imaging a subject and a focusing control method thereof.
  • an information device having the above imaging function is generally referred to as an imaging device.
  • phase difference AF Auto-Focus
  • a rolling shutter method As a reading method in an imaging apparatus using CMOS, a rolling shutter method is known in which resetting and reading are sequentially performed from above. In the rolling shutter method, since there is a time difference in the readout timing depending on the pixel position, in the case of a moving subject, the subject image may be distorted.
  • Japanese Patent Application Laid-Open Nos. 2008-72470 and 2008-263352 disclose devices that control the charge accumulation timings of pixels for phase difference detection to be the same.
  • the phase difference AF method is performed only under limited conditions such as depending on the reliability of the focus detection result or when no subject motion is detected. Only the focus detection by the method is performed, and the influence of the rolling shutter when the focus detection is performed by the phase difference AF method cannot be reduced.
  • the techniques disclosed in Japanese Patent Application Laid-Open Nos. 2008-72470 and 2008-263352 require an additional circuit, which increases the cost.
  • the present invention has been made in consideration of the above, and is added even when a focus position is detected from signals read from phase difference detection pixels arranged on different lines by a rolling shutter system.
  • an imaging apparatus and a focus control method that can reduce the influence of distortion caused by a rolling shutter, detect a focus position, and perform focus control with high accuracy without providing a circuit.
  • One embodiment of the present invention is an imaging device, the first phase difference detection pixel having an opening that is decentered on one side with respect to the main axis of the photographing lens, and decentered on the other side with respect to the main axis
  • An imaging device including a plurality of phase difference detection pixel pairs each including a second phase difference detection pixel having an opening and a plurality of imaging pixel pairs each including a plurality of imaging pixels;
  • a readout unit that reads out signals from the imaging pixels and phase difference detection pixels arranged on the imaging element by a rolling shutter system, and a correlation operation of signals read from each of the phase difference detection pixel pairs.
  • the first correlation calculation means to perform the second correlation calculation means to perform the correlation calculation of the signals read from each of the imaging pixel pairs, and the correlation calculation result by the first correlation calculation means, Correction means for correcting based on the correlation calculation result by the correlation calculation means, and focusing means for performing focus control using the corrected correlation calculation result.
  • the correlation calculation of the signals read from the imaging pixel pair is performed to correct the correlation calculation result read from the phase difference detection pixel pair, so that the rolling shutter can be used without providing an additional circuit. It is possible to control the focus with high accuracy by detecting the focus position while reducing the influence of distortion.
  • the second correlation calculation unit is arranged on a line where the first phase difference detection pixel of the phase difference detection pixel pair from which a signal used for the correlation calculation in the first correlation calculation unit is read is arranged. Correlation calculation of signals read from each of the imaging pixel pairs including the arranged imaging pixels and the imaging pixels arranged on the line where the second phase difference detection pixel of the phase difference detection pixel pair is arranged You may make it perform.
  • each of the second correlation calculation units includes a phase difference detection pixel pair from which a signal used for the correlation calculation in the first correlation calculation unit is read. You may make it perform the correlation calculation of the signal read from the imaging pixel pair which consists of an imaging pixel arrange
  • the second correlation calculation unit includes a color filter having the same color as the color filter provided in the phase difference detection pixel pair from which a signal used for the correlation calculation in the first correlation calculation unit is read. Correlation calculation of signals read from a pair of imaging pixels provided with.
  • the second correlation calculation unit includes a color filter having a color different from that of the color filter provided in the phase difference detection pixel pair from which a signal used for the correlation calculation in the first correlation calculation unit is read. Correlation calculation of signals read from a plurality of image pickup pixel pairs including the image pickup pixel pair provided with.
  • the second correlation calculation means includes an image pickup pixel pair provided with an R color filter, an image pickup pixel pair provided with a G color filter, and an image pickup provided with a B color filter.
  • the imaging pixel is provided with a color filter of a color from which a signal having a level closest to the level of the signal read from the phase difference detection pixel constituting the phase difference detection pixel pair is read. You may make it perform the correlation calculation of the signal read from each of an imaging pixel pair.
  • the second correlation calculation means may perform a correlation calculation of the signal read out under the control of the control means.
  • the image sensor may further include an exposure control unit that controls the exposure time of the image sensor so that the exposure amount is in accordance with the sensitivity of the image sensor.
  • the size of the focus area to be focused, the number of phase difference detection pixels for reading signals used for correlation calculation in the first correlation calculation means, the movement of the subject within the shooting angle of view, and the focus area A determining means for determining whether or not the correction by the correcting means is to be performed based on at least one of the movements of the subject within the object, and the focusing means performs the correction by the correcting means by the determining means. If it is determined that there is no correction, the execution of the correction by the correction unit may be stopped, and the focus control may be performed using the correlation calculation result of the first correlation calculation unit before the correction.
  • a focus control method for an imaging apparatus including an imaging device including a plurality of phase difference detection pixel pairs each including two phase difference detection pixels and a plurality of imaging pixel pairs including a plurality of imaging pixels.
  • the signals of the imaging pixels and the phase difference detection pixels arranged on the imaging element by the rolling shutter method are read, and a first correlation calculation is performed on the signals read from each of the phase difference detection pixel pairs, A second correlation calculation is performed on the signals read from each of the imaging pixel pairs, the result of the first correlation calculation is corrected based on the result of the second correlation calculation, and the corrected correlation Using the calculation result Controlling the focusing includes.
  • the second correlation calculation includes: an imaging pixel disposed on a line where the first phase difference detection pixel of the phase difference detection pixel pair from which a signal used for the first correlation calculation is read;
  • the correlation calculation of the signals read from each of the imaging pixel pairs including the imaging pixels arranged on the line where the second phase difference detection pixels of the phase difference detection pixel pair are arranged may be performed. .
  • the second correlation calculation is performed on a line different from each of the lines on which the phase difference detection pixels of the phase difference detection pixel pair from which a signal used for the first correlation calculation is read are arranged. You may make it perform the correlation calculation of the signal read from the imaging pixel pair which consists of the arranged imaging pixel.
  • the second correlation calculation is performed by imaging pixels provided with a color filter having the same color as the color filter provided in the phase difference detection pixel pair from which a signal used for the first correlation calculation is read out. You may make it perform the correlation calculation of the signal read from the pair.
  • the second correlation calculation is performed by imaging pixels provided with a color filter having a color different from the color filter provided in the phase difference detection pixel pair from which a signal used for the first correlation calculation is read out. You may make it perform the correlation calculation of the signal read from the several imaging pixel pair containing a pair.
  • the second correlation calculation includes imaging pixel pairs provided with an R color filter, imaging pixel pairs provided with a G color filter, and imaging pixels provided with a B color filter.
  • Image pickup comprising an image pickup pixel provided with a color filter of a color from which a signal having a level closest to the level of a signal read from the phase difference detection pixel constituting the phase difference detection pixel pair is provided. You may make it perform the correlation calculation of the signal read from each of a pixel pair.
  • an imaging pixel pair provided with an R color filter, an imaging pixel pair provided with a G color filter, and a B color filter are provided before the second correlation calculation is performed.
  • the correlation calculation may be performed on the signal read out by the reading control.
  • the exposure time of the imaging device may further include controlling the exposure so that the exposure amount is in accordance with the sensitivity of the imaging pixel.
  • the size of the focus area to be focused may further include determining whether to perform the correction based on at least one of the above, and when the focus control determines that the correction is not performed based on the determination, the correction is performed.
  • the method may include stopping execution and controlling focusing using a result of the first correlation calculation before being corrected.
  • the correlation calculation of the signals read from the imaging pixel pair is performed to correct the correlation calculation result read from the phase difference detection pixel pair, so that the rolling shutter can be used without providing an additional circuit. It is possible to control the focus with high accuracy by detecting the focus position while reducing the influence of distortion.
  • the present invention without providing an additional circuit, it is possible to reduce the influence of distortion caused by the rolling shutter, detect the focus position, and perform focus control with high accuracy.
  • FIG. 4 is a diagram schematically showing only the phase difference detection pixels of FIG. 3 extracted.
  • the shift amount obtained by correlation calculation of the detection signals read from the pair of phase difference detection pixels includes not only the phase difference amount but also an error amount due to rolling distortion (a distortion amount due to the rolling shutter).
  • (B) is a diagram schematically showing that the amount of distortion due to the rolling shutter can be calculated by performing correlation calculation with the imaging pixels. It is a flowchart which shows the flow of AF control which concerns on 1st Embodiment.
  • the level of the signal amount of the phase difference detection pixel A, an image pickup pixel provided with an R color filter (normal R pixel), and an image pickup pixel provided with a G color filter disposed around the phase difference detection pixel A It is the graph which showed an example of the level of the signal amount read from each of the image pick-up pixel (normal B pixel) in which the filter of B color (normal G pixel) was provided.
  • a digital camera 10 As shown in FIG. 1, a digital camera 10 according to the present embodiment is provided with an optical unit 22 including a lens for forming a subject image, and disposed behind the optical axis of the lens.
  • a solid-state imaging device in this embodiment, a CMOS (Complementary Metal Oxide Semiconductor) 24
  • an analog signal processing unit 26 that performs various analog signal processing on an input analog signal are configured. Yes.
  • the digital camera 10 also performs an analog / digital converter (hereinafter referred to as “ADC”) 28 that converts an input analog signal into digital data, and performs various digital signal processing on the input digital data. And a digital signal processing unit 30.
  • ADC analog / digital converter
  • the digital signal processing unit 30 includes a line buffer having a predetermined capacity, and also performs control for directly storing the input digital data in a predetermined area of the memory 48 described later.
  • the output terminal of the CMOS 24 is connected to the input terminal of the analog signal processing unit 26, the output terminal of the analog signal processing unit 26 is connected to the input terminal of the ADC 28, and the output terminal of the ADC 28 is connected to the input terminal of the digital signal processing unit 30.
  • the analog signal indicating the subject image output from the CMOS 24 is subjected to predetermined analog signal processing by the analog signal processing unit 26, converted into digital image data by the ADC 28, and then input to the digital signal processing unit 30.
  • the digital camera 10 generates a liquid crystal display (hereinafter referred to as “LCD”) 38 that displays a captured subject image, a menu screen, and the like, and a signal for causing the LCD 38 to display the subject image, the menu screen, and the like.
  • LCD liquid crystal display
  • the LCD interface 36 supplied to the LCD 38, the CPU (central processing unit) 40 that controls the operation of the entire digital camera 10, the memory 48 that temporarily stores digital image data obtained by photographing, and the memory 48 And a memory interface 46 for controlling access.
  • the digital camera 10 includes an external memory interface 50 for making the portable memory card 52 accessible by the digital camera 10, and a compression / decompression processing circuit 54 for performing compression processing and decompression processing on the digital image data. It is configured to include.
  • a flash memory is used as the memory 48 and an xD picture card (registered trademark) is used as the memory card 52.
  • xD picture card registered trademark
  • the present invention is not limited to this. Absent.
  • the digital signal processing unit 30, the LCD interface 36, the CPU 40, the memory interface 46, the external memory interface 50, and the compression / decompression processing circuit 54 are connected to each other via a system bus BUS. Therefore, the CPU 40 controls the operation of the digital signal processing unit 30 and the compression / decompression processing circuit 54, displays various information via the LCD interface 36 to the LCD 38, and the memory interface 46 or the external memory interface to the memory 48 and the memory card 52. 50 can be accessed each.
  • the CPU 40 also executes AF control described later.
  • the digital camera 10 includes a timing generator 32 that mainly generates a timing signal (pulse signal) for driving the CMOS 24 and supplies the timing signal to the CMOS 24.
  • the driving of the CMOS 24 is controlled by the CPU 40 via the timing generator 32.
  • the CMOS 24 includes a plurality of lines in which a plurality of pixels are arranged in the horizontal direction, and is controlled by a rolling shutter system that controls exposure start timing and readout timing for each pixel on the line.
  • a rolling shutter system that controls exposure start timing and readout timing for each pixel on the line.
  • the digital camera 10 is provided with a motor drive unit 34. Driving of a focus adjustment motor, a zoom motor, and a diaphragm drive motor (not shown) provided in the optical unit 22 is also controlled by the CPU 40 via the motor drive unit 34.
  • the lens according to the present embodiment includes a photographic lens including a zoom lens and a focus lens, and includes a lens driving mechanism (not shown).
  • the lens drive mechanism includes the focus adjustment motor, zoom motor, and aperture drive motor. Each of these motors is driven by a drive signal supplied from the motor drive unit 34 under the control of the CPU 40.
  • the digital camera 10 has a release switch (so-called shutter) that is pressed when performing shooting, a power switch that is operated when switching on / off the power of the digital camera 10, and a shooting mode.
  • a mode switch that is operated when setting a shooting mode and a playback mode that reproduces a subject image on the LCD 38, a menu switch that is pressed when a menu screen is displayed on the LCD 38, and so on.
  • the operation unit 56 is configured to include various switches such as a determination switch that is pressed when confirming the operation content of the button and a cancel switch that is pressed when canceling the previous operation content. These operation units 56 are connected to the CPU 40. Therefore, the CPU 40 can always grasp the operation state of the operation unit 56.
  • the release switch of the digital camera 10 is in a state where it is pressed down to an intermediate position (hereinafter referred to as “half-pressed state”) and a state where it is pressed down to a final pressed position beyond the intermediate position. (Hereinafter, referred to as a “fully pressed state”) is configured to be capable of detecting a two-stage pressing operation.
  • the AF function is activated after the AE (Automatic Exposure) function is set by setting the release switch halfway and the exposure state (shutter speed, aperture state) is set. Focusing control is performed, and then exposure (photographing) is performed when the shutter button is fully pressed.
  • AE Automatic Exposure
  • the digital camera 10 has a strobe 44 that emits light to irradiate the subject as necessary at the time of shooting, and is interposed between the strobe 44 and the CPU 40, and power for causing the strobe 44 to emit light under the control of the CPU 40. And a charging unit 42 for charging the battery. Further, the strobe 44 is also connected to the CPU 40, and the light emission of the strobe 44 is controlled by the CPU 40.
  • FIG. 2 is a plan view showing the entire configuration of the CMOS 24.
  • CMOS 24 In the imaging region 70 of the CMOS 24, a large number of pixels (light receiving elements: photodiodes) (not shown) are arranged in a two-dimensional array.
  • a so-called honeycomb pixel array is formed in which even-numbered pixel rows are shifted by 1 ⁇ 2 pixel pitch with respect to odd-numbered pixel rows.
  • R (red), G (green), and B (blue) color filters are arranged in a Bayer array in each of the plurality of pixels in the imaging region 70. They are stacked in an array.
  • the RGB arrangement may be a stripe arrangement.
  • the CMOS 24 is further provided with horizontal scanning circuits 72 1 and 72 2 and vertical scanning circuits 74 1 and 74 2 (corresponding to a reading unit). Although not shown, horizontal signal lines are connected to the horizontal scanning circuits 72 1 and 72 2 , and vertical selection lines are connected to the vertical scanning circuits 74 1 and 74 2 .
  • the vertical scanning circuit 74 1, through vertical selection lines, for selecting each pixel of the first pixel group of odd rows which are arranged in the imaging area 70 in the row (line) basis. In this case, the lines are selected one by one from the bottom end, and pixel signals are read collectively for each line. Note that a CDS circuit that performs correlated double sampling processing on each pixel signal read from the first pixel group in units of rows to reduce reset noise may be provided.
  • the horizontal scanning circuit 72 1, the pixel signals for one line read from the first pixel group are selected sequentially pixels from the left end. Thereby, each pixel signal read from the first pixel group is output to the horizontal signal line.
  • the pixel signals sequentially output to the horizontal signal lines are amplified by a subsequent amplifier (not shown) and then output to the outside.
  • the vertical scanning circuit 74 through the vertical selection line, selects each pixel in the second pixel group of even rows which are arranged in the imaging area 70 in units of rows. In this case, the lines are selected one by one from the bottom end, and pixel signals are read collectively for each line.
  • a CDS circuit that performs correlated double sampling processing on each pixel signal read out from the second pixel group in units of rows to reduce reset noise may be provided.
  • the horizontal scanning circuit 72 2 the one row pixel signals output from the second pixel group are selected sequentially pixels from the left end. Thereby, each pixel signal read from the second pixel group is output to the horizontal signal line.
  • the pixel signals sequentially output to the horizontal signal lines are amplified by a subsequent amplifier (not shown) and then output to the outside.
  • a rectangular phase difference detection area is provided in a part of the imaging area 70, for example, in the center position. It should be noted that the phase difference detection area may be provided only at one position relative to the imaging area 70, or may be provided at a plurality of positions so that AF can be performed anywhere within the imaging area 70. Further, the entire area of the imaging area 70 may be used as the phase difference detection area.
  • FIG. 3 is a schematic enlarged view of a part of the surface within the phase difference detection region.
  • the imaging region 70 of the CMOS 24 a large number of pixels are arranged in a honeycomb pattern. Similarly, even in the phase difference detection region, even-numbered pixel rows are 1 / odd with respect to odd-numbered pixel rows. This is a so-called honeycomb arrangement in which the pixels are shifted by two pixel pitches.
  • the phase difference detection pixels 1x and 1y and the image pickup pixels pixels other than the phase difference detection pixels 1x and 1y are provided with no light-shielding film and are used to pick up subject images. Normal pixels) are arranged. Although illustration is omitted, it is assumed that only the imaging pixels are arranged in the imaging region 70 other than the phase difference detection region.
  • each pixel is indicated by R (red), G (green), and B (blue).
  • R, G, and B represent the color of the color filter laminated on each pixel.
  • color filters are Bayer arranged for odd rows of pixels and color filters are Bayer arranged for even rows of pixels. Accordingly, when two phase difference detection pixels 1x and 1y that are obliquely adjacent to each other are taken as one set (pair), the two adjacent color difference detection pixels 1x and 1y that constitute the pair have the same color.
  • the imaging pixels are paired with two diagonally adjacent imaging pixels, two diagonally adjacent phase difference detection pixels 1x constituting the pair are arranged.
  • 1y is a state in which color filters of the same color are arranged.
  • the pair of phase difference detection pixels is provided at discrete and periodic positions in the phase difference detection region in this embodiment.
  • the phase difference detection pixels 1x and 1y are provided in the most G filter mounted pixels among R, G, and B, and 8 pixels are arranged in the horizontal direction (x direction) and in the vertical direction (y direction). It is arranged so that every eight pixels and the entire checkered position.
  • the phase difference detection pixels 1x and 1y have the light shielding film openings 2x and 2y formed smaller than the imaging pixel, and the light shielding film opening 2x of the pixel 1x is provided eccentrically in the left direction, and the light shielding film opening of the pixel 1y. 2y is eccentrically provided in the right direction (phase difference detection direction).
  • the light beam that has passed through the aperture decentered on one side (here, the left side) with respect to the main axis of the photographing lens is incident on the phase difference detection pixel 1x.
  • the phase difference detection pixel 1y is disposed on a line adjacent to the pair of phase difference detection pixels 1x and passes through an opening that is eccentric to the other side (here, the right side) with respect to the main axis of the photographing lens.
  • a light beam enters.
  • the beam axes of the light beams that have passed through the phase difference detection pixel pair 1x, 1y are shifted from each other on the opposite side with respect to the main axis.
  • the focus control is performed by detecting the shift amount (phase difference amount).
  • phase difference detection pixels 1x and 1y can be used not only for phase difference detection for AF control but also for forming a subject image.
  • FIG. 4 is a diagram schematically showing only the phase difference detection pixels 1x and 1y of FIG. Further, the curve X shown in the lower part of FIG. 4 is a graph in which the detection signal amounts of the phase difference detection pixels 1x arranged in a horizontal row are plotted, and the curve Y is a phase difference detection pixel 1y paired with these pixels 1x. It is the graph which plotted the amount of detection signals.
  • phase difference detection pixels 1x and 1y constituting one pair are adjacent pixels and are very close to each other, it is considered that light from the same subject is received. For this reason, it is considered that the curve X and the curve Y have substantially the same shape if there is no influence of distortion caused by a rolling shutter, which will be described later. This is the amount of phase difference between the image viewed at one pixel 1x of the phase difference detection pixels and the image viewed at the other pixel 1y.
  • a lateral deviation amount (phase difference amount) can be obtained, and a distance to the subject can be calculated based on the phase difference amount.
  • a known method for example, a method described in Japanese Patent Application Laid-Open No. 2010-8443 or a method described in Japanese Patent Application Laid-Open No. 2010-91991 is adopted as a method for obtaining the evaluation value of the correlation amount between the curve X and the curve Y. It ’s fine.
  • the integrated value of the absolute value of the difference between each point X (i) constituting the curve X and each point Y (i + j) constituting the curve Y is used as the evaluation value, and the j value giving the maximum evaluation value is expressed as the phase difference. Amount.
  • the motor driving unit 34 is controlled to drive the focus adjustment motor of the optical unit 22 to control the focus lens position, thereby focusing on the subject.
  • CMOS controlled by a rolling shutter system is used as the solid-state imaging device. Therefore, if a correlation calculation is performed using a detection signal obtained from a phase difference detection pixel pair composed of two phase difference detection pixels that are obliquely adjacent and have the same readout timing, the subject image moves during this timing shift. Or the like, the captured subject image is distorted, and the influence (distortion amount) of the distortion caused by the rolling shutter occurs on the phase difference amount obtained by the correlation calculation (see also FIG. 5A).
  • FIG. 5B for example, two imaging pixels of the same color that are diagonally adjacent (indicated by imaging pixels A and B in FIG. 5B) are taken as one pair, and the correlation calculation of the detection signals of the pair is performed.
  • AF control is performed by correcting the phase difference amount obtained from the phase difference detection pixel using the detection signal of the imaging pixel.
  • FIG. 6 is a flowchart showing a flow of AF control according to the present embodiment.
  • AF control when a detection signal is read from the phase difference detection pixel and the imaging pixel, the detection signal is read from each pixel in line units without distinguishing between the phase difference detection pixel and the imaging pixel.
  • step 100 a correlation calculation is performed on detection signals (hereinafter also referred to as phase difference detection pixel signals) read out from a plurality of phase difference detection pixel pairs to obtain a phase difference amount (the CPU 40 determines the first phase difference amount).
  • detection signals hereinafter also referred to as phase difference detection pixel signals
  • the CPU 40 determines the first phase difference amount.
  • a correlation calculation is performed on detection signals read from a plurality of imaging pixel pairs (hereinafter also referred to as imaging pixel signals) to obtain a distortion amount due to the rolling shutter (the CPU 40 performs the second correlation).
  • It functions as a calculation unit (means)).
  • it is composed of adjacent imaging pixels that are arranged between phase difference detection pixel pairs that are adjacent in the horizontal direction and in which a filter of the same color as the phase difference detection pixel (here, G) is formed. It is assumed that the amount of distortion due to the rolling shutter is obtained by performing a correlation operation of the detection signals read from the imaging pixel pair P.
  • the G color imaging pixel pair and the phase difference detection pixel pair are alternately arranged in the horizontal direction. Therefore, here, the distortion amount due to the rolling shutter is obtained using the G color image pickup pixel pairs arranged alternately with the G phase difference detection pixel pairs.
  • step 104 the amount of distortion due to the rolling shutter obtained in step 102 is subtracted from the amount of phase difference obtained in step 100 to correct the phase difference obtained in step 100 (the CPU 40 functions as a correction unit (means)). ).
  • step 106 focusing control is performed as described above based on the corrected phase difference amount (the CPU 40 functions as a focusing unit (means)).
  • the correlation calculation result of the phase difference detection pixel signal is corrected with the correlation calculation result of the normal pixel signal, and the AF control is performed. Therefore, the influence of distortion due to the rolling shutter is suppressed, and AF control can be performed with high accuracy.
  • the imaging pixel for calculating the amount of distortion by the rolling shutter is not limited to the example shown in FIG.
  • the color of the filter is different from that of the phase difference detection pixel, but the imaging pixel pair P (each phase difference detection pixel pair arranged between the phase difference detection pixel pairs adjacent in the horizontal direction is used.
  • the imaging pixel pair P each phase difference detection pixel pair arranged between the phase difference detection pixel pairs adjacent in the horizontal direction is used.
  • the amount of distortion due to the rolling shutter may be obtained by performing a correlation calculation of the detected signals.
  • the amount of distortion due to the rolling shutter is calculated and the phase difference is highly accurate.
  • the amount can be calculated.
  • the case where there is no imaging pixel pair in which a filter of the same color is formed between the phase difference detection pixel pairs adjacent in the horizontal direction is, for example, four pixels in the horizontal direction (x direction). This is the case where they are arranged at intervals, or when the arrangement of color filters for each pixel is different from the example shown in FIG.
  • the G color image pickup pixels (that is, the positions) are arranged on a line different from the phase difference detection pixels 1x and 1y, and the distance from one end of the line is the same position as the phase difference detection pixels 1x and 1y. You may make it obtain
  • the distortion amount due to the rolling shutter is obtained from the detection signal read from the imaging pixel pair P (G imaging pixel pair P arranged in an oblique direction with respect to the phase difference detection pixel pair) composed of the G imaging pixels. You may do it. Further, as shown in FIG. 10, with respect to the phase difference detection pixel pair, the G color image pickup pixel pair P arranged in the vertical direction and the G color image pickup pixel pair P arranged in the oblique direction are used. You may make it obtain
  • each imaging pixel constituting each imaging pixel pair may be arranged on a line different from each line on which each phase difference detection pixel of the phase difference detection pixel pair is arranged.
  • a large amount of distortion can be calculated by the rolling shutter.
  • An imaging pixel pair can be used, the density of imaging pixels per horizontal line can be increased, and the calculation accuracy of the amount of distortion by the rolling shutter is improved.
  • the phase difference is detected in a state where the exposure is controlled so that the exposure amount is in accordance with the sensitivity of the phase difference detection pixel.
  • the exposure time may be controlled so that the exposure amount is in accordance with the sensitivity of the imaging pixel (the CPU 40 controls the exposure control unit (means)). )).
  • FIG. 11 is a graph showing an example of the signal amount read from each of the G color imaging pixels and the phase difference detection pixels arranged adjacent to each other in the oblique direction.
  • the phase difference detection pixel the light shielding film opening is formed smaller than the imaging pixel, and as shown in FIG. 11, the sensitivity of the phase difference detection pixel is lower than the sensitivity of the imaging pixel. Therefore, in the AF control of the present embodiment, the exposure time is controlled so that the exposure amount for each pixel is not the exposure amount according to the sensitivity of the phase difference detection pixel but the exposure amount according to the sensitivity of the imaging pixel. . Thereby, the calculation precision in an imaging pixel can be improved.
  • the imaging pixel used for calculating the amount of distortion due to the rolling shutter is not limited to an imaging pixel provided with a color filter of the same color as the color filter color of the phase difference detection pixel
  • the phase difference detection pixel It is read out from each of an image pickup pixel provided with an R color filter, an image pickup pixel provided with a G color filter, an image pickup pixel provided with a B color filter, and a phase difference detection pixel.
  • a pair of imaging pixels having the closest sensitivity to the phase difference detection pixel imaging pixels provided with a color filter closest to the level of the signal amount of the detection signal of the phase difference detection pixel).
  • the amount of distortion due to the rolling shutter may be calculated using the selected (the CPU 40 functions as a selection unit (means) and a reading control unit (means)).
  • FIG. 12 shows the level of the signal amount of the phase difference detection pixel A, an imaging pixel (usually R pixel) arranged around the phase difference detection pixel A and provided with an R color filter, and a G color filter.
  • 6 is a graph showing an example of the level of signal amount read from each of the obtained imaging pixels (normal G pixels) and imaging pixels (normal B pixels) provided with a B-color filter.
  • the signal level of the normal B pixel is the closest to the signal level of the phase difference detection pixel A among the normal R pixel, normal G pixel, and normal B pixel. Therefore, in this example, the amount of distortion by the rolling shutter is calculated using a pair of normal B pixels.
  • the amount of distortion due to the rolling shutter may be calculated using the imaging pixel pair of the color having the closest signal level.
  • the signal amount level of each color of R, G, B is compared with the signal amount level of the phase difference detection pixel, and the signal amount level of the phase difference detection pixel is compared.
  • the color closest to the color may be selected in advance and the information may be stored.
  • detection signals are read out from the captured image pair of color indicated by the stored information and the phase difference detection pixel pair, and used for phase difference detection as described above. Good.
  • white balance adjustment signals of each color of R, G, and B are detected and adjusted. Therefore, before the AF control, white balance adjustment is performed in advance to check the signal amount of each color, and the phase difference detection pixel. The color closest to the signal amount may be selected and stored in advance, and used for reading during AF control.
  • switching means for switching between a first mode in which rolling correction is performed in AF control and a second mode in which rolling correction is not performed, and AF control is performed according to the mode switched by the switching means by the user. You may do it.
  • the configuration of the digital camera 10 of the present embodiment is the same as that of the first embodiment, and thus the description thereof is omitted.
  • FIG. 13 is a flowchart showing an example of the flow of AF control processing according to the present embodiment.
  • step 200 as described in the first embodiment, the correlation calculation of the phase difference detection pixel signal is performed to obtain the phase difference amount.
  • step 202 it is determined whether or not the AF area is larger than a predetermined threshold value.
  • the AF area is an area to be focused, and when the digital camera 10 is configured so that the position and size can be arbitrarily set by the user, or in the AF area depending on the shooting mode. In some cases, the size may be set.
  • information on the size of the AF area set in the digital camera 10 is acquired and compared with a predetermined threshold (the CPU functions as a determination unit (means)).
  • step 204 the correlation calculation of the imaging pixel signals is performed to obtain the amount of distortion due to the rolling shutter.
  • step 206 the phase difference amount obtained in step 200 is corrected by subtracting the amount of distortion caused by the rolling shutter obtained in step 204 from the phase difference amount obtained in step 200.
  • step 208 focusing control is performed based on the corrected phase difference amount.
  • step 208 focusing control is performed using the phase difference amount obtained in step 200 (a phase difference amount not corrected by the distortion amount by the rolling shutter) as it is.
  • the AF area is not so large, the number of phase difference detection pixels from which the detection signal is read is reduced, and the influence of distortion due to the rolling shutter is considered to be small. Therefore, in this embodiment, if the AF area is less than the threshold value, the AF control is performed without calculating and correcting the distortion amount by the rolling shutter. Thereby, the time required for AF control can be shortened.
  • FIG. 14 is a flowchart showing another example of the flow of AF control processing.
  • step 300 as described in the first embodiment, the correlation calculation of the phase difference detection pixel signal is performed to obtain the phase difference amount.
  • step 302 it is determined whether or not the number of read pixels (the number of phase difference detection pixels from which the detection signal has been read) is equal to or greater than a predetermined threshold value. If an affirmative determination is made in step 302, the correlation calculation of the imaging pixel signals is performed in step 304 as described in the first embodiment to obtain the amount of distortion due to the rolling shutter. In step 306, the amount of distortion due to the rolling shutter obtained in step 304 is subtracted from the phase difference obtained in step 300 to correct the phase difference obtained in step 300. In step 308, focusing control is performed based on the corrected phase difference amount.
  • step 308 focusing control is performed using the phase difference amount obtained in step 300 (phase difference amount not corrected by the distortion amount by the rolling shutter) as it is.
  • the number of phase difference detection pixels from which the detection signal is read (that is, the number of phase difference detection pixels used for calculating the phase difference amount in step 300) is small, it is considered that the influence of distortion by the rolling shutter is small. Therefore, in this example, if the number of phase difference detection pixels from which the detection signal is read is less than the threshold value, the AF control is performed without calculating and correcting the distortion amount by the rolling shutter. Thereby, the time required for AF control can be shortened.
  • the threshold values in FIGS. 13 and 14 may be changed according to the angle of view. More specifically, for example, if the digital camera 10 can be switched to a wide (wide angle) mode, a standard mode, and a tele (telephoto) mode, a threshold value is set in advance for each mode, and AF control is performed. The threshold value may be changed according to the shooting mode at the time. Note that it is presumed that the influence of distortion caused by the rolling shutter increases as the angle of view is on the tele side. Therefore, the tele side threshold may be set smaller than that on the wide side.
  • FIG. 15 is a flowchart showing another example of the flow of AF control processing.
  • step 400 as described in the first embodiment, the correlation calculation of the phase difference detection pixel signal is performed to obtain the phase difference amount.
  • step 402 it is determined whether or not the subject distance is greater than or equal to a threshold value.
  • the object distance provisionally obtained from the phase difference obtained in step 400 is compared with a predetermined threshold value.
  • the threshold value to be compared here is changed according to the size of the AF area or the number of readout pixels. If an affirmative determination is made in step 402, in step 404, the correlation calculation of the imaging pixel signals is performed as described in the first embodiment, and the amount of distortion due to the rolling shutter is obtained.
  • step 406 the amount of distortion caused by the rolling shutter obtained in step 404 is subtracted from the amount of phase difference obtained in step 400 to correct the phase difference obtained in step 400.
  • focusing control is performed based on the corrected phase difference amount.
  • step 408 focusing control is performed using the phase difference amount obtained in step 400 (a phase difference amount that is not corrected by the amount of distortion by the rolling shutter) as it is.
  • ⁇ ⁇ Rolling changes the degree of influence depending on the movement of the subject within the shooting angle of view.
  • the longer the subject distance the greater the influence of distortion caused by the rolling shutter. Therefore, in this example, when the subject distance is longer than the threshold, the distortion amount is calculated and corrected by the rolling shutter, and when the subject distance is shorter than the threshold, the distortion amount is not calculated and corrected by the rolling shutter. I made it.
  • FIG. 16 is a flowchart showing another example of the flow of AF control processing.
  • step 500 as described in the first embodiment, the correlation calculation of the phase difference detection pixel signal is performed to obtain the phase difference amount.
  • step 502 the moving object within the angle of view is detected.
  • a known motion vector may be calculated between past image data stored in the memory 48 and current image data, and detected based on the magnitude of the motion vector.
  • step 504 based on the detection result, it is determined whether or not a moving object exists within the angle of view. If an affirmative determination is made in step 402, in step 506, the correlation calculation of the imaging pixel signals is performed as described in the first embodiment, and the amount of distortion due to the rolling shutter is obtained. In step 508, the phase difference amount obtained in step 500 is corrected by subtracting the amount of distortion caused by the rolling shutter obtained in step 506 from the phase difference amount obtained in step 500. In step 510, focusing control is performed based on the corrected phase difference amount.
  • step 506 and step 508 are skipped and the process proceeds to step 510.
  • step 510 focusing control is performed using the phase difference amount obtained in step 500 (a phase difference amount not corrected by the amount of distortion by the rolling shutter) as it is.
  • Rolling occurs when a moving object exists within the shooting angle of view. Therefore, in this example, the moving object is detected, and the distortion amount is calculated and corrected by the rolling shutter only when the moving object exists, and when the moving object does not exist, the distortion amount is calculated and corrected by the rolling shutter. I tried not to.
  • FIG. 17 is a flowchart showing another example of the flow of AF control processing.
  • step 600 the correlation calculation of the phase difference detection pixel signal is performed as described in the first embodiment to obtain the phase difference amount.
  • step 602 the moving object in the AF area is detected.
  • a known motion vector may be calculated between the past image data stored in the memory 48 and the current image data, and detected based on the magnitude of the motion vector.
  • step 604 based on the detection result, it is determined whether or not a moving object exists in the AF area. If an affirmative determination is made in step 602, in step 606, the correlation calculation of the imaging pixel signals is performed as described in the first embodiment, and the amount of distortion due to the rolling shutter is obtained. In step 608, the amount of distortion due to the rolling shutter obtained in step 606 is subtracted from the amount of phase difference obtained in step 600 to correct the phase difference obtained in step 600. In step 610, focusing control is performed based on the corrected phase difference amount.
  • step 606 and step 608 are skipped and the process proceeds to step 610.
  • step 610 focusing control is performed using the phase difference amount obtained in step 600 (a phase difference amount not corrected by the amount of distortion by the rolling shutter) as it is.
  • Rolling occurs when a moving object exists within the shooting angle of view. Therefore, in this example, a moving object is detected particularly in the AF area, and the distortion amount is calculated and corrected by the rolling shutter only when the moving object exists in the AF area, and when there is no moving object, the rolling shutter is calculated. The calculation and correction of the amount of distortion due to was not performed.
  • the calculation and correction of the distortion amount due to the rolling shutter are not performed, and in other cases, The amount of distortion caused by the rolling shutter is calculated and corrected. Therefore, it is possible to reduce useless time in AF control while suppressing the influence of distortion caused by the rolling shutter.
  • the amount of distortion caused by the rolling shutter depends on any of the size of the AF area, the number of readout pixels, the subject distance, the movement of the subject within the shooting angle of view, and the movement of the subject within the AF area. Although it has been determined whether to perform calculation and correction, the embodiment is not limited to this. For example, the amount of distortion by the rolling shutter is calculated and corrected according to at least one of the size of the AF area, the number of readout pixels, the subject distance, the movement of the subject within the shooting angle of view, and the movement of the subject within the AF area. It may be determined whether or not.
  • the digital camera 10 is estimated to be less affected by the first mode in which rolling correction is always performed as described in the first embodiment and the distortion caused by the rolling shutter as described in the second embodiment.
  • switching means for switching between the second mode in which the rolling correction is not performed may be provided.
  • AF control may be performed according to the mode switched by the user using the switching means.
  • phase difference detection pixels 1x and 1y are not limited to the examples shown in the above embodiments.
  • the phase difference detection pixel 1x may have a configuration in which the right half is shielded from light and the left half is opened
  • the phase difference detection pixel 1y may have a configuration in which the left half is shielded from light and the right half is opened.
  • the light flux that has passed through one side (left side) with respect to the main axis of the photographing lens is incident on the phase difference detection pixel 1x
  • the main axis of the photographing lens is incident on the phase difference detection pixel 1y. Is incident on the other side (right side).
  • phase difference detection pixels constituting the phase difference detection pixel pair are adjacent pixels
  • the embodiment is not limited thereto.
  • the phase difference detection pixels constituting the phase difference detection pixel pair are not adjacent to each other, and other pixels may be arranged between the pixels constituting the pair.
  • the case has been described in which the imaging pixels constituting the imaging pixel pair are adjacent pixels, but the embodiment is not limited thereto.
  • the imaging pixels constituting the imaging pixel pair are not adjacent to each other, and other pixels may be arranged between the pixels constituting the pair.
  • the present invention is applied to a digital camera.
  • the embodiment of the present invention is not limited to this.
  • the present invention can be applied to other devices having a photographing function such as a mobile phone and a PDA. Also in this case, the same effects as those of the above embodiments can be obtained.
  • processing flow of the various processing programs described in the above embodiments is merely an example, and within the scope not departing from the gist of the present invention, the processing order of each step, the processing content, the unnecessary steps are changed. You can delete, add new steps, etc.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　撮影レンズの主軸に対して一方の側に偏心した開口部を有する位相差検出画素１ｘと、前記主軸に対して他方の側に偏心した開口部を有する位相差検出画素１ｙとからなる位相差検出画素対を複数備えると共に撮像画素対を複数備えた撮像素子に対し、ローリングシャッタ方式で信号を読み出す読出制御を行なう撮像装置において、合焦を制御する。前記合焦の制御は、位相差検出画素対の各々から読み出された信号の相関演算を行なって位相差量を求めると共に撮像画素対Ｐの各々から読み出された信号の相関演算を行なってローリングシャッタによる歪み量を求め、上記求めた位相差量をローリングシャッタによる歪み量で補正することを含む。

Description

撮像装置及びその合焦制御方法
　本願は２０１１年３月３１日出願の日本出願第２０１１－０８００３２号の優先権を主張すると共に、その全文を参照により本明細書に援用する。
　本発明は、撮像装置及びその合焦制御方法に係り、特に、被写体の撮像の際に合焦制御を行なう撮像装置及びその合焦制御方法に関する。
　近年、ＣＣＤ（Charge Coupled Device）エリアセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の固体撮像素子の高解像度化に伴い、デジタル電子スチルカメラ、デジタルビデオカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistant，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を全体として撮影装置と称する。
　ところで、主要な被写体までの距離を検出する合焦制御方法には、コントラスト方式や位相差ＡＦ（Auto Focus、自動合焦）方式がある。位相差ＡＦ方式は、コントラスト方式に比べて合焦位置の検出を高速，高精度に行なうことができるため、様々な撮像装置で多く採用されている。
　ＣＭＯＳを用いた撮像装置における読出し方式は、上方から順次リセット、順次読み出しを行なう、ローリングシャッタ方式が知られている。ローリングシャッタ方式は、画素位置に応じて読み出しタイミングに時間差があるため、動く被写体の場合には、被写体の画像が歪むことがある。
　従って、ＣＭＯＳを用いた撮像装置で動いている被写体を撮像する場合に、位相差ＡＦ方式で合焦制御しようとすると、ローリングシャッタによる歪みの影響を受け、読み出しタイミングのずれの間に生じる像移動や像変化により、位相差検出に誤差が生じてしまう。
　特開２００９－１２８５７９号公報には、水平方向に配置された焦点検出画素で信頼性のある焦点検出結果が得られなかった場合には、垂直方向に配置された焦点検出画素で焦点検出を行ない、被写体の動きが検出された場合には、垂直方向に配置された焦点検出画素での焦点検出は行なわない装置が記載されている。
　また、特開２００８－７２４７０号公報及び特開２００８－２６３３５２号公報には、位相差検出のための画素の電荷蓄積タイミングが同一となるように制御する装置が開示されている。
　しかしながら、特開２００９－１２８５７９号公報に開示されている技術では、焦点検出結果の信頼性に応じて、或いは被写体の動きが検出されなかった場合などの限定された条件下でのみ位相差ＡＦ方式による焦点検出を行なうだけであり、位相差ＡＦ方式により焦点検出を行なう際にローリングシャッタによる影響を軽減することはできない。また、特開２００８－７２４７０号公報及び特開２００８－２６３３５２号公報に開示されている技術では、追加回路が必要となるため、コスト高となる。
　本発明は上記を考慮してなされたものであり、ローリングシャッタ方式により異なるライン上に配置された位相差検出画素から読み出された信号から合焦位置の検出を行なう場合であっても、追加回路を設けることなく、ローリングシャッタによる歪みの影響を軽減して合焦位置を検出し精度高く合焦制御することができる撮像装置及び合焦制御方法を提供する。
　本発明の一態様は、撮像装置であって、撮影レンズの主軸に対して一方の側に偏心した開口部を有する第１の位相差検出画素と、前記主軸に対して他方の側に偏心した開口部を有する第２の位相差検出画素とからなる位相差検出画素対を複数備えると共に複数の撮像画素からなる撮像画素対を複数備えた撮像素子と、
　前記撮像素子に対し、ローリングシャッタ方式で前記撮像素子に配列された撮像画素及び位相差検出画素の信号を読み出す読出手段と、前記位相差検出画素対の各々から読み出された信号の相関演算を行なう第１の相関演算手段と、前記撮像画素対の各々から読み出された信号の相関演算を行なう第２の相関演算手段と、前記第１の相関演算手段による相関演算結果を、前記第２の相関演算手段による相関演算結果により補正する補正手段と、前記補正された相関演算結果を用いて合焦制御する合焦手段と、を備えている。
　このように、撮像画素対から読み出された信号の相関演算を行なって、位相差検出画素対から読み出された相関演算結果を補正するようにしたため、追加回路を設けることなく、ローリングシャッタによる歪みの影響を軽減して合焦位置を検出し精度高く合焦制御することができる。
　上記態様において、前記第２の相関演算手段は、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対の第１の位相差検出画素が配置されたラインに配置された撮像画素と、該位相差検出画素対の第２の位相差検出画素が配置されたラインに配置された撮像画素とからなる撮像画素対の各々から読み出された信号の相関演算を行なうようにしてもよい。
　上記態様において、請求項１に記載の撮像装置において、前記第２の相関演算手段は、各々が、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対の各位相差検出画素が配置されたラインの各々とは異なるラインに配置された撮像画素からなる撮像画素対から読み出された信号の相関演算を行なうようにしてもよい。
　上記態様において、前記第２の相関演算手段は、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と同じ色のカラーフィルタが設けられた撮像画素対から読み出された信号の相関演算を行なうようにしてもよい。
　上記態様において、前記第２の相関演算手段は、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と異なる色のカラーフィルタが設けられた撮像画素対を含む複数の撮像画素対から読み出された信号の相関演算を行なうようにしてもよい。
　上記態様において、前記第２の相関演算手段は、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対の各々から読み出された信号の相関演算を行なうようにしてもよい。
　上記態様において、前記第２の相関演算手段による相関演算が行なわれる前に、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対を選択する選択手段と、前記位相差検出画素対及び前記選択手段で選択された撮像画素対の各々から信号が読み出されるように前記読出手段を制御する制御手段と、を更に備え、前記第２の相関演算手段は、前記制御手段の制御により読み出された信号の相関演算を行なうようにしてもよい。
　上記態様において、前記撮像素子の露光時間を、前記撮像画素の感度に応じた露光量となるように制御する露光制御手段を更に備えていてもよい。
　上記態様において、焦点を合わせる焦点領域の大きさ、前記第１の相関演算手段での相関演算に用いられる信号を読み出す位相差検出画素の数、撮影画角内の被写体の動き、及び前記焦点領域内の被写体の動き、の少なくとも１つに基づいて、前記補正手段による補正を行なうか否かを判断する判断手段を更に備え、前記合焦手段は、前記判断手段により前記補正手段による補正を行なわないと判断された場合には、前記補正手段による補正の実行を中止し、前記補正される前の前記第１の相関演算手段の相関演算結果を用いて合焦制御するようにしてもよい。
　本発明の別の態様は、撮影レンズの主軸に対して一方の側に偏心した開口部を有する第１の位相差検出画素と、前記主軸に対して他方の側に偏心した開口部を有する第２の位相差検出画素とからなる位相差検出画素対を複数備えると共に複数の撮像画素からなる撮像画素対を複数備えた撮像素子を有する撮像装置の合焦制御方法であって、前記撮像素子に対し、ローリングシャッタ方式で前記撮像素子に配列された撮像画素及び位相差検出画素の信号を読み出し、前記位相差検出画素対の各々から読み出された信号に対して第１の相関演算を行ない、前記撮像画素対の各々から読み出された信号に対して第２の相関演算を行ない、前記第１の相関演算の結果を、前記第２の相関演算の結果により補正し、前記補正された相関演算結果を用いて合焦を制御すること、を含んでいる。
　上記態様において、前記第２の相関演算は、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対の第１の位相差検出画素が配置されたラインに配置された撮像画素と、該位相差検出画素対の第２の位相差検出画素が配置されたラインに配置された撮像画素とからなる撮像画素対の各々から読み出された信号の相関演算を行なうようにしてもよい。
　上記態様において、前記第２の相関演算は、各々が、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対の各位相差検出画素が配置されたラインの各々とは異なるラインに配置された撮像画素からなる撮像画素対から読み出された信号の相関演算を行なうようにしてもよい。
　上記態様において、前記第２の相関演算は、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と同じ色のカラーフィルタが設けられた撮像画素対から読み出された信号の相関演算を行なうようにしてもよい。
　上記態様において、前記第２の相関演算は、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と異なる色のカラーフィルタが設けられた撮像画素対を含む複数の撮像画素対から読み出された信号の相関演算を行なうようにしてもよい。
　上記態様において、前記第２の相関演算は、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対の各々から読み出された信号の相関演算を行なうようにしてもよい。
　上記態様において、前記第２の相関演算が行なわれる前に、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対を選択し、前記位相差検出画素対及び前記選択された撮像画素対の各々から信号が読み出されるように前記読出を制御すること、を更に含んでよく、前記第２の相関演算は、前記読出の制御により読み出された信号の相関演算を行なうようにしてもよい。
　上記態様において、前記撮像素子の露光時間を、前記撮像画素の感度に応じた露光量となるように露光を制御することを更に含んでもよい。
　上記態様において、焦点を合わせる焦点領域の大きさ、前記第１の相関演算に用いられる信号を読み出す位相差検出画素の数、撮影画角内の被写体の動き、及び前記焦点領域内の被写体の動き、の少なくとも１つに基づいて、前記補正を行なうか否かを判断することを更に含んでもよく、前記合焦の制御は、前記判断により補正を行なわないと判断された場合には、補正の実行を中止し、前記補正される前の前記第１の相関演算の結果を用いて合焦を制御することを含んでもよい。
　このように、撮像画素対から読み出された信号の相関演算を行なって、位相差検出画素対から読み出された相関演算結果を補正するようにしたため、追加回路を設けることなく、ローリングシャッタによる歪みの影響を軽減して合焦位置を検出し精度高く合焦制御することができる。
　本発明によれば、追加回路を設けることなく、ローリングシャッタによる歪みの影響を軽減して合焦位置を検出し精度高く合焦制御することができる。
実施の形態に係るデジタルカメラの電気系の要部構成を示すブロック図である。 ＣＭＯＳの全体構成を示す平面図である。 位相差検出領域内の一部の表面拡大模式図である。 図３の位相差検出画素だけを抜き出して模式的に表示した図である。 （Ａ）は、一対の位相差検出画素から読み出された検出信号の相関演算により求めたズレ量が、位相差量だけでなくローリング歪みによる誤差量（ローリングシャッタによる歪み量）を含むものであることを模式的に示した図であり、（Ｂ）は、撮像画素により相関演算を行なうことで、ローリングシャッタによる歪み量を算出することができることを模式的に示した図である。 第１の実施の形態に係るＡＦ制御の流れを示すフローチャートである。 ローリングシャッタによる歪み量を算出するために用いる撮像画素ペアの一例を示した図である。 ローリングシャッタによる歪み量を算出するために用いる撮像画素ペアの一例を示した図である。 ローリングシャッタによる歪み量を算出するために用いる撮像画素ペアの一例を示した図である。 ローリングシャッタによる歪み量を算出するために用いる撮像画素ペアの一例を示した図である。 斜め方向に隣接して配置されたＧ色の撮像画素及び位相差検出画素の各々から読み出された信号量の一例を示したグラフである。 位相差検出画素Ａの信号量のレベルと、位相差検出画素Ａの周辺に配置された、Ｒ色のフィルタが設けられた撮像画素（通常Ｒ画素）、Ｇ色のフィルタが設けられた撮像画素（通常Ｇ画素）、及びＢ色のフィルタが設けられた撮像画素（通常Ｂ画素）の各々から読み出された信号量のレベルの一例を示したグラフである。 第２の実施の形態に係るＡＦ制御処理の流れの一例を示すフローチャートである。 第２の実施の形態に係るＡＦ制御処理の流れの他の例を示すフローチャートである。 第２の実施の形態に係るＡＦ制御処理の流れの他の例を示すフローチャートである。 第２の実施の形態に係るＡＦ制御処理の流れの他の例を示すフローチャートである。 第２の実施の形態に係るＡＦ制御処理の流れの他の例を示すフローチャートである。
　以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、ここでは、本発明を、静止画像の撮影を行なうデジタル電子スチルカメラ（以下、「デジタルカメラ」という。）に適用した場合について説明する。
　［第１の実施の形態］
　まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の電気系の要部構成を説明する。
　図１に示されるように、本実施の形態に係るデジタルカメラ１０は、被写体像を結像させるためのレンズを含んで構成された光学ユニット２２と、当該レンズの光軸後方に配設された固体撮像素子（本実施の形態ではＣＭＯＳ（Complementary Metal Oxide Semiconductor）とする）２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行なうアナログ信号処理部２６と、を含んで構成されている。
　また、デジタルカメラ１０は、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行なうデジタル信号処理部３０と、を含んで構成されている。
　なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行なう。
　ＣＭＯＳ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、ＣＭＯＳ２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。
　一方、デジタルカメラ１０は、撮影された被写体像やメニュー画面等を表示する液晶ディスプレイ（以下、「ＬＣＤ」という。）３８と、当該被写体像やメニュー画面等をＬＣＤ３８に表示させるための信号を生成してＬＣＤ３８に供給するＬＣＤインタフェース３６と、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）４０と、撮影により得られたデジタル画像データ等を一時的に記憶するメモリ４８と、メモリ４８に対するアクセスの制御を行なうメモリインタフェース４６と、を含んで構成されている。
　更に、デジタルカメラ１０は、可搬型のメモリカード５２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース５０と、デジタル画像データに対する圧縮処理及び伸張処理を行なう圧縮・伸張処理回路５４と、を含んで構成されている。
　なお、本実施の形態のデジタルカメラ１０では、メモリ４８としてフラッシュ・メモリ（Flash Memory）が用いられ、メモリカード５２としてｘＤピクチャ・カード（登録商標）が用いられているが、これに限るものではない。
　デジタル信号処理部３０、ＬＣＤインタフェース３６、ＣＰＵ４０、メモリインタフェース４６、外部メモリインタフェース５０及び圧縮・伸張処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０及び圧縮・伸張処理回路５４の作動の制御、ＬＣＤ３８に対するＬＣＤインタフェース３６を介した各種情報の表示、メモリ４８及びメモリカード５２へのメモリインタフェース４６ないし外部メモリインタフェース５０を介したアクセスを各々行なうことができる。ＣＰＵ４０はまた、後述するＡＦ制御を実行する。
　一方、デジタルカメラ１０には、主としてＣＭＯＳ２４を駆動させるためのタイミング信号（パルス信号）を生成してＣＭＯＳ２４に供給するタイミングジェネレータ３２が備えられている。ＣＭＯＳ２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。
　ＣＭＯＳ２４は、後述するように複数の画素を水平方向に配列させた複数のラインを備えており、ライン上の画素毎に露光開始タイミング及び読出タイミングを制御するローリングシャッタ方式で制御される。以下では、ライン毎に露光開始及び読み出しタイミングが異なる場合を例に挙げて説明するが、これに限定されるものではない。
　更に、デジタルカメラ１０にはモータ駆動部３４が備えられている。光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。
　すなわち、本実施の形態に係る上記レンズは、ズームレンズ及びフォーカスレンズを備えた撮影レンズを備え、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ及び絞り駆動モータは含まれる。これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。
　更に、デジタルカメラ１０には、撮影を実行する際に押圧操作されるレリーズスイッチ（所謂シャッター）、デジタルカメラ１０の電源のオン／オフを切り替える際に操作される電源スイッチ、撮影を行なうモードである撮影モード及び被写体像をＬＣＤ３８に再生するモードである再生モードのいずれかのモードに設定する際に操作されるモード切替スイッチ、ＬＣＤ３８にメニュー画面を表示させるときに押圧操作されるメニュースイッチ、それまでの操作内容を確定するときに押圧操作される決定スイッチ、直前の操作内容をキャンセルするときに押圧操作されるキャンセルスイッチ等の各種スイッチ類を含んで構成された操作部５６が備えられている。これらの操作部５６はＣＰＵ４０に接続されている。従って、ＣＰＵ４０は、これらの操作部５６に対する操作状態を常時把握できる。
　なお、本実施の形態に係るデジタルカメラ１０のレリーズスイッチは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を超えた最終押下位置まで押下される状態（以下、「全押し状態」という。）と、の２段階の押圧操作が検出可能に構成されている。
　そして、デジタルカメラ１０では、レリーズスイッチを半押し状態にすることによりＡＥ（Automatic Exposure、自動露出）機能が働いて露出状態（シャッタースピード、絞りの状態）が設定された後、ＡＦ機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光（撮影）が行なわれる。
　また、デジタルカメラ１０には、撮影時に必要に応じて被写体に照射する光を発するストロボ４４と、ストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２と、が備えられている。更に、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。
　図２は、ＣＭＯＳ２４の全体構成を示す平面図である。ＣＭＯＳ２４の撮像領域７０には、図示しない多数の画素（受光素子：フォトダイオード）が二次元アレイ状に配列形成されている。この実施形態では、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして配列された、所謂、ハニカム画素配列とされている。
　また、図２では図示を省略するが、本実施の形態では、撮像領域７０の複数の画素の各々には、Ｒ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタがベイヤ配列で配列された状態で積層されている。なお、ＲＧＢの配列は、ストライプ配列であってもよい。
　ＣＭＯＳ２４には、更に、水平走査回路７２1、７２2と、垂直走査回路７４1、７４2が設けられている（読出部に相当する）。なお、図示は省略するが、水平走査回路７２1、７２2には、水平信号線が接続され、垂直走査回路７４1、７４2には垂直選択線が接続されている。
　垂直走査回路７４1は、垂直選択線を通じて、撮像領域７０に配置された奇数行の第１の画素群の各画素を行（ライン）単位で選択する。この場合、最下端から一行ずつ順番に選択され、行毎に一括して画素信号の読み出しが行われる。なお、第１の画素群から行単位で読み出される各画素信号に対して相関二重サンプリングの処理を行ってリセット雑音を低減するＣＤＳ回路を設けてもよい。水平走査回路７２1は、第１の画素群から読み出された一行分の画素信号を、左端から順次画素単位で選択する。これにより、第１の画素群から読み出された各画素信号が水平信号線に出力される。このように水平信号線に順次出力される画素信号は後段のアンプ（図示せず）にて増幅された後に外部に出力される。
　更にまた、垂直走査回路７４2は、垂直選択線を通じて、撮像領域７０に配置された偶数行の第２の画素群の各画素を行単位で選択する。この場合、最下端から一行ずつ順番に選択され、行毎に一括して画素信号の読み出しが行われる。なお、第２の画素群から行単位で読み出される各画素信号に対して相関二重サンプリングの処理を行ってリセット雑音を低減するＣＤＳ回路を設けてもよい。水平走査回路７２2は、第２の画素群から出力される一行分の画素信号を、左端から順次画素単位で選択する。これにより、第２の画素群から読み出された各画素信号が水平信号線に出力される。このように水平信号線に順次出力される画素信号は後段のアンプ（図示せず）にて増幅された後に外部に出力される。
　なお、本実施の形態では、撮像領域７０の一部の領域、例えば中央位置に、矩形の位相差検出領域が設けられている。なお、位相差検出領域は、撮像領域７０に対して１箇所だけ設けてもよいし、撮像領域７０内のどこでもＡＦ可能とできるよう複数箇所に設けてもよい。また、撮像領域７０の全領域を位相差検出領域としてもよい。
　図３は、位相差検出領域内の一部の表面拡大模式図である。前述したように、ＣＭＯＳ２４の撮像領域７０には、多数の画素がハニカム配列されており、位相差検出領域内においても、同様に、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずらして配列された、所謂ハニカム配列とされている。位相差検出領域内には、位相差検出画素１ｘ、１ｙ、及び、撮像画素（位相差検出画素１ｘ、１ｙ以外の画素であって、遮光膜が設けられておらず、被写体画像を撮像するための通常の画素）が配置されている。また、図示は省略するが、位相差検出領域以外の撮像領域７０には、撮像画素のみが配置されているものとする。
　図示する例では、各画素をＲ（赤），Ｇ（緑），Ｂ（青）で示している。Ｒ，Ｇ，Ｂは各画素上に積層したカラーフィルタの色を表している。また、奇数行の画素に対してカラーフィルタがベイヤ配列されると共に偶数行の画素に対してカラーフィルタがベイヤ配列されている。これにより、斜めに隣接する２つの位相差検出画素１ｘ、１ｙを１つの組（ペア）としたときに、ペアを構成する斜めに隣接する２つの位相差検出画素１ｘ、１ｙには同色のカラーフィルタが配置された状態となっており、また、撮像画素についても同様に、斜めに隣接する２つの撮像画素をペアとしたときに、ペアを構成する斜めに隣接する２つの位相差検出画素１ｘ、１ｙには同色のカラーフィルタが配置された状態となっている。なお、図示されるように、位相差検出画素のペアは、本実施形態では、位相差検出領域内の離散的，周期的な位置に設けられている。
　本実施形態では、位相差検出画素１ｘ，１ｙを、Ｒ，Ｇ，Ｂのうち最も多いＧフィルタ搭載画素に設けており、水平方向（ｘ方向）に８画素置き、垂直方向（ｙ方向）に８画素置き、かつ全体的に市松位置となるように配置されている。
　また、位相差検出画素１ｘ，１ｙは、その遮光膜開口２ｘ，２ｙが撮像画素より小さく形成され、かつ、画素１ｘの遮光膜開口２ｘは左方向に偏心して設けられ、画素１ｙの遮光膜開口２ｙは右方向（位相差検出方向）に偏心して設けられている。
　このような構成により、位相差検出画素１ｘには、撮影レンズの主軸に対して一方の側（ここでは左側）に偏心した開口を通過した光束が入射される。また、位相差検出画素１ｙには、ペアを構成する位相差検出画素１ｘに隣接するライン上に配置され、撮影レンズの主軸に対して他方の側（ここでは右側）に偏心した開口を通過した光束が入射される。これにより、位相差検出画素対１ｘ、１ｙを通過した光束は互いに、主軸に対して反対側にビーム軸がずれることになる。（なお、主軸付近では光束が一部重複することもある。）後述するように、ピントがずれた状態では、位相差検出画素１ｘ、１ｙの各々が検出する像の位置、位相にズレが生じるため、このズレ量（位相差量）を検出して合焦制御が行なわれる。
　なお、位相差検出画素１ｘ、１ｙを、ＡＦ制御のための位相差検出だけでなく被写体画像の形成に用いることもできる。
　図４は、図３の位相差検出画素１ｘ，１ｙだけを抜き出して模式的に表示した図である。更に、図４の下段に示す曲線Ｘは、横一行に並ぶ位相差検出画素１ｘの検出信号量をプロットしたグラフであり、曲線Ｙは、これら画素１ｘと対になっている位相差検出画素１ｙの検出信号量をプロットしたグラフである。
　１つのペアを構成する位相差検出画素１ｘ，１ｙは隣接画素であり極めて近接しているため、同一被写体からの光を受光していると考えられる。このため、後述するローリングシャッタによる歪みの影響が無ければ、曲線Ｘと曲線Ｙとはほぼ同一形状になると考えられ、その左右方向（位相差検出方向）のずれが、瞳分割した一組の位相差検出画素の一方の画素１ｘで見た画像と、他方の画素１ｙで見た画像との位相差量となる。
　この曲線Ｘと曲線Ｙの相関演算を行なうことで、横ズレ量（位相差量）を求めることができ、この位相差量により被写体までの距離を算出することが可能となる。曲線Ｘと曲線Ｙの相関量の評価値を求める方法は、公知の方法（例えば特開２０１０－８４４３号公報に記載された方法や特開２０１０－９１９９１号公報に記載された方法）を採用すれば良い。例えば、曲線Ｘを構成する各点Ｘ（ｉ）と、曲線Ｙを構成する各点Ｙ（ｉ＋ｊ）の差分の絶対値の積算値を評価値とし、最大評価値を与えるｊ値を、位相差量とする。
　そして、この位相差量から求められた被写体までの距離に基づき、モータ駆動部３４を制御して光学ユニット２２の焦点調整モータを駆動してフォーカスレンズ位置を制御し、被写体に合焦させる。
　しかしながら、本実施の形態では固体撮像素子としてローリングシャッタ方式で制御されるＣＭＯＳを用いている。従って、読出しタイミングが同一でない斜めに隣接する２つの位相差検出画素からなる位相差検出画素ペアから取得される検出信号により相関演算を行なうと、このタイミングのずれの間に、被写体像が移動したり変化した場合に、撮像された被写体像に歪みが生じ、相関演算で求めた位相差量に該ローリングシャッタによる歪みの影響（歪み量）が生じてしまう（図５Ａも参照。）。
　一方、図５Ｂに示すように、例えば斜めに隣接する同色の２つの撮像画素（図５Ｂでは撮像画素Ａ，Ｂで示した）を１つの組（ペア）として、該ペアの検出信号の相関演算を行なえば、撮像画像の各々には左右に偏心された遮光膜が設けられていないことから、ローリングシャッタによる歪み量のみを算出することができる。本実施の形態では、撮像画素の検出信号を用いて、位相差検出画素から求めた位相差量を補正して、ＡＦ制御を行なう。
　図６は、本実施の形態に係るＡＦ制御の流れを示すフローチャートである。なお、ＡＦ制御を行なうにあたり位相差検出画素及び撮像画素から検出信号を読み出す際には、位相差検出画素と撮像画素とを区別せず、ライン単位で各画素から検出信号を読み出すものとする。
　ステップ１００では、複数の位相差検出画素ペアから読み出された検出信号（以下、位相差検出画素信号と呼称する場合もある）の相関演算を行って、位相差量を求める（ＣＰＵ４０が第１の相関演算部（手段）として機能する）。
　ステップ１０２では、複数の撮像画素ペアから読み出された検出信号（以下、撮像画素信号と呼称する場合もある）の相関演算を行って、ローリングシャッタによる歪み量を求める（ＣＰＵ４０が第２の相関演算部（手段）として機能する）。ここでは、図７に示すように、水平方向に隣り合う位相差検出画素ペアの間に配置され、該位相差検出画素と同色（ここではＧ）のフィルタが形成された隣接する撮像画素からなる撮像画素ペアＰから読み出された検出信号の相関演算を行なうことによりローリングシャッタによる歪み量を求めるものとする。すなわち、本実施の形態では、Ｇ色のフィルタが形成されたペアに着目して見ると、水平方向にＧ色の撮像画素ペアと位相差検出画素ペアとが交互に配置されている。従って、ここでは、Ｇ色の位相差検出画素ペアと交互に配置されたＧ色の撮像画素ペアを用いてローリングシャッタによる歪み量を求める。
　ステップ１０４では、ステップ１００で求めた位相差量からステップ１０２で求めたローリングシャッタによる歪み量を減算して、ステップ１００で求めた位相差量を補正する（ＣＰＵ４０が補正部（手段）として機能する）。
　ステップ１０６では、補正された位相差量に基づいて、前述のように合焦制御を行なう（ＣＰＵ４０が合焦部（手段）として機能する）。
　以上説明したように、位相差検出画素信号の相関演算結果を、通常画素信号の相関演算結果で補正してＡＦ制御するようにした。そのため、ローリングシャッタによる歪みの影響を抑制し、高い精度でＡＦ制御できる。
　なお、ローリングシャッタによる歪み量を算出するための撮像画素は、図７に示した例に限定されない。例えば、図８に示すように、フィルタの色は位相差検出画素とは異なるが、水平方向に隣り合う位相差検出画素ペアの間に配置された撮像画素ペアＰ（位相差検出画素ペアの各々の位相差検出画素が配置されたラインと同じライン上に配置された隣接する撮像画素からなる撮像画素ペアではあるが、フィルタの色が位相差検出画素ペアとは異なる撮像画素ペア）から読み出された検出信号の相関演算を行なうことによりローリングシャッタによる歪み量を求めるようにしてもよい。これにより、水平方向に隣り合う位相差検出画素ペアの間に、同じ色のフィルタが形成された撮像画素ペアが存在しない場合であっても、ローリングシャッタによる歪み量を演算して精度高く位相差量を算出することができる。なお、水平方向に隣り合う位相差検出画素ペアの間に、同じ色のフィルタが形成された撮像画素ペアが存在しない場合とは、例えば、位相差検出画素を水平方向（ｘ方向）に４画素置きに配置した場合や、或いは各画素に対するカラーフィルタの配置が図３に示した例とは異なる場合等である。
　更にまた、位相差検出画素１ｘ、１ｙとは異なるライン上に配置され、且つラインの一端からの距離が位相差検出画素１ｘ、１ｙと同じ位置に配置されたＧ色の撮像画素（すなわち、位相差検出画素ペアに対して上下方向に配置されたＧ色の撮像画素）からなる撮像画素ペアＰから読み出された検出信号からローリングシャッタによる歪み量を求めるようにしてもよい。
　更にまた、図９に示すように、位相差検出画素１ｘ、１ｙとは異なるライン上に配置され、且つラインの一端からの距離も位相差検出画素１ｘ、１ｙとは異なる位置に配置された隣接するＧ色の撮像画素からなる撮像画素ペアＰ（位相差検出画素ペアに対して斜め方向に配置されたＧ色の撮像画素ペアＰ）から読み出された検出信号からローリングシャッタによる歪み量を求めるようにしてもよい。また、図１０に示すように、位相差検出画素ペアに対して、上下方向に配置されたＧ色の撮像画素ペアＰと、斜め方向に配置されたＧ色の撮像画素ペアＰとを用いてローリングシャッタによる歪み量を求めるようにしてもよい。
　すなわち、各撮像画素ペアは、各撮像画素ペアを構成する撮像画素の各々が、位相差検出画素ペアの各位相差検出画素が配置されたラインの各々とは異なるラインに配置されていてもよい。このように、位相差検出画素ペアに対して、異なるライン上に配置された（すなわち上下方向や斜め方向に配置された）撮像画素ペアを用いることで、ローリングシャッタによる歪み量の算出に多くの撮像画素ペアを用いることができ、水平方向１ラインあたりの撮像画素の密度を高めることができ、ローリングシャッタによる歪み量の算出精度が向上する。
　ところで、従来のＡＦ制御では、位相差検出画素の感度に応じた露光量となるように露出制御された状態で位相差検出が行なわれる。しかし、本実施の形態で説明したようにＡＦ制御を行なう場合には、撮像画素の感度に応じた露光量となるように露出時間を制御するようにしてもよい（ＣＰＵ４０が露光制御部（手段）として機能する）。
　図１１は、斜め方向に隣接して配置されたＧ色の撮像画素及び位相差検出画素の各々から読み出された信号量の一例を示したグラフである。位相差検出画素は、遮光膜開口が撮像画素より小さく形成されており、図１１に示すように、位相差検出画素の感度は撮像画素の感度より低い。そこで、本実施の形態のＡＦ制御では、各画素に対する露光量が、位相差検出画素の感度に応じた露光量ではなく、撮像画素の感度に応じた露光量となるように露出時間を制御する。これにより、撮像画素での演算精度を高めることができる。
　また、ローリングシャッタによる歪み量を算出するために用いられる撮像画素を、位相差検出画素のカラーフィルタの色と同色のカラーフィルタが設けられた撮像画素に限定しない場合には、位相差検出画素の周辺に設けられた、Ｒ色のフィルタが設けられた撮像画素、Ｇ色のフィルタが設けられた撮像画素、Ｂ色のフィルタが設けられた撮像画素、及び位相差検出画素の各々から読み出された検出信号の各々を比較し、位相差検出画素に最も感度が近い色の撮像画素（位相差検出画素の検出信号の信号量のレベルに最も近い色のフィルタが設けられた撮像画素）のペアを選択して用いて、ローリングシャッタによる歪み量を算出するようにしてもよい（ＣＰＵ４０が選択部（手段）及び読出制御部（手段）として機能する）。
　図１２は、位相差検出画素Ａの信号量のレベルと、位相差検出画素Ａの周辺に配置された、Ｒ色のフィルタが設けられた撮像画素（通常Ｒ画素）、Ｇ色のフィルタが設けられた撮像画素（通常Ｇ画素）、及びＢ色のフィルタが設けられた撮像画素（通常Ｂ画素）の各々から読み出された信号量のレベルの一例を示したグラフである。図１２に示す例では、通常Ｒ画素、通常Ｇ画素、及び通常Ｂ画素の中で、通常Ｂ画素の信号量のレベルが、位相差検出画素Ａの信号量のレベルに最も近いことがわかる。従って、この例では、通常Ｂ画素のペアを用いてローリングシャッタによる歪み量の算出を行なう。
　これにより、撮像画素、及び位相差検出画素の双方の信号量を十分にとることができ、位相差検出の精度を上げることができる。
　なお、図９や図１０で例示したように、位相差検出画素ペアに対して、上下方向或いは斜め方向に配置された撮像画素ペアを用いてローリングシャッタによる歪み量を算出する場合も、同様であり、上記信号量のレベルが最も近い色の撮像画素ペアを用いてローリングシャッタによる歪み量を算出すればよい。
　また、ＡＦ制御前に、被写体画像の色を検出し、Ｒ，Ｇ，Ｂ各色の信号量のレベルと位相差検出画素の信号量のレベルとを比較し、位相差検出画素の信号量のレベルに最も近い色を予め選択してその情報を記憶しておいてもよい。そして、ＡＦ制御の際には、該記憶しておいた情報が示す色の撮像画像ペア、及び位相差検出画素ペアから検出信号を読み出して、前述のように位相差検出に用いるようにしてもよい。
　例えば、ホワイトバランス調整ではＲ、Ｇ、Ｂ各色の信号を検出して調整することから、ＡＦ制御の前に、事前にホワイトバランス調整を行って各色の信号量の確認を行ない、位相差検出画素の信号量に最も近い色を予め選択して記憶しておき、ＡＦ制御の際の読出しに用いてもよい。
　これにより、ＡＦ制御の段階で全ての色の撮像画素から検出信号を読み出す必要がなくなるため、読出しに係る時間を短縮でき、ローリングシャッタによる歪み量の算出も精度高く行なうことができる。
　なお、本実施の形態では、常にローリング補正を行なう例について説明したが、実施形態はこれに限定されない。例えば、ＡＦ制御においてローリング補正を行なう第１のモードと、ローリング補正を行なわない第２のモードとを切り替える切替手段を設け、利用者が該切替手段により切り替えたモードに応じて、ＡＦ制御を行なうようにしてもよい。
　［第２の実施の形態］
　第１の実施の形態では、ＡＦ制御の際は常にローリングシャッタによる歪み量を算出して補正する例について説明したが、ローリングシャッタによる歪みの影響が小さいと推定される場合にはローリングシャッタによる歪み量を算出して補正する処理を省略してもよい。以下、詳細に説明する。
　なお、本実施の形態のデジタルカメラ１０の構成は第１の実施の形態と同様であるため、説明を省略する。
　図１３は、本実施の形態に係るＡＦ制御処理の流れの一例を示すフローチャートである。
　ステップ２００では、第１の実施の形態で説明したように位相差検出画素信号の相関演算を行なって、位相差量を求める。
　ステップ２０２では、ＡＦ領域が予め定められた閾値以上の大きさか否かを判断する。ここで、ＡＦ領域とは、焦点を合わせる領域であり、デジタルカメラ１０が、その使用者により任意にその位置や大きさを設定できるよう構成されている場合や、撮影モードに応じてＡＦ領域の大きさが設定されるように構成されている場合等もある。本実施の形態では、デジタルカメラ１０に設定されているＡＦ領域の大きさの情報を取得し、予め定められた閾値と比較する（ＣＰＵが判断部（手段）として機能する）。
　ステップ２０２で肯定判断した場合には、ステップ２０４で、第１の実施の形態で説明したように撮像画素信号の相関演算を行なって、ローリングシャッタによる歪み量を求める。ステップ２０６では、ステップ２００で求めた位相差量からステップ２０４で求めたローリングシャッタによる歪み量を減算して、ステップ２００で求めた位相差量を補正する。そして、ステップ２０８では、補正された位相差量に基づいて、合焦制御を行なう。
　一方、ステップ２０２で否定判断した場合には、ステップ２０４、ステップ２０６をスキップして、ステップ２０８に進む。この場合には、ステップ２０８では、ステップ２００で求めた位相差量（ローリングシャッタによる歪み量で補正していない位相差量）をそのまま用いて、合焦制御を行なう。
　ＡＦ領域がそれほど大きくなければ、検出信号を読み出す位相差検出画素数も少なくなり、ローリングシャッタによる歪みの影響は小さいと考えられる。そこで、本実施例では、ＡＦ領域が閾値未満であれば、ローリングシャッタによる歪み量の算出及び補正は行なわずにＡＦ制御を行なうようにした。これにより、ＡＦ制御にかかる時間を短縮することができる。
　図１４は、ＡＦ制御処理の流れの他の例を示すフローチャートである。
　ステップ３００では、第１の実施の形態で説明したように位相差検出画素信号の相関演算を行なって、位相差量を求める。
　ステップ３０２では、読出し画素数（検出信号を読み出した位相差検出画素の数）が予め定められた閾値以上か否かを判断する。ステップ３０２で肯定判断した場合には、ステップ３０４で、第１の実施の形態で説明したように撮像画素信号の相関演算を行なって、ローリングシャッタによる歪み量を求める。ステップ３０６では、ステップ３００で求めた位相差量からステップ３０４で求めたローリングシャッタによる歪み量を減算して、ステップ３００で求めた位相差量を補正する。そして、ステップ３０８では、補正された位相差量に基づいて、合焦制御を行なう。
　一方、ステップ３０２で否定判断した場合には、ステップ３０４、ステップ３０６をスキップして、ステップ３０８に進む。この場合には、ステップ３０８では、ステップ３００で求めた位相差量（ローリングシャッタによる歪み量で補正していない位相差量）をそのまま用いて、合焦制御を行なう。
　検出信号を読み出す位相差検出画素の数（すなわち、ステップ３００で位相差量を演算するために用いられる位相差検出画素の数）が少なければ、ローリングシャッタによる歪みの影響は小さいと考えられる。そこで、本例では、検出信号を読み出す位相差検出画素数が閾値未満であれば、ローリングシャッタによる歪み量の算出及び補正は行なわずにＡＦ制御を行なうようにした。これにより、ＡＦ制御にかかる時間を短縮することができる。
　なお、上記図１３，図１４の閾値を、画角に応じて変更するようにしてもよい。より具体的には、例えば、デジタルカメラ１０が、ワイド（広角）モード・標準モード・テレ（望遠）モードに切り替え可能な構成であれば、各モード毎に閾値を予め設定しておき、ＡＦ制御時の撮影モードに応じて、上記閾値を変更するようにしてもよい。なお、画角がテレ側であるほど、ローリングシャッタによる歪みの影響が大きくなると推定されるため、ワイド側に比べてテレ側の閾値を小さく設定しておくようにしてもよい。
　図１５は、ＡＦ制御処理の流れの他の例を示すフローチャートである。
　ステップ４００では、第１の実施の形態で説明したように位相差検出画素信号の相関演算を行なって、位相差量を求める。
　ステップ４０２では、被写体距離が閾値以上か否かを判断する。ここでは、上記ステップ４００で求めた位相差量から暫定的に求めた被写体距離を予め定められた閾値と比較する。ここで比較される閾値は、ＡＦ領域の大きさ或いは上記読出し画素数に応じて変更されるものとする。ステップ４０２で肯定判断した場合には、ステップ４０４で、第１の実施の形態で説明したように撮像画素信号の相関演算を行なって、ローリングシャッタによる歪み量を求める。ステップ４０６では、ステップ４００で求めた位相差量からステップ４０４で求めたローリングシャッタによる歪み量を減算して、ステップ４００で求めた位相差量を補正する。そして、ステップ４０８では、補正された位相差量に基づいて、合焦制御を行なう。
　一方、ステップ４０２で否定判断した場合には、ステップ４０４、ステップ４０６をスキップして、ステップ４０８に進む。この場合には、ステップ４０８では、ステップ４００で求めた位相差量（ローリングシャッタによる歪み量で補正していない位相差量）をそのまま用いて、合焦制御を行なう。
　ローリングは撮影画角内の被写体の動きで影響度が変わる。特に被写体距離が長いほど、ローリングシャッタによる歪みの影響は大きくなると考えられる。そこで、本例では、被写体距離が閾値以上長い場合に、ローリングシャッタによる歪み量の算出及び補正を行ない、被写体距離が閾値より短い場合には、ローリングシャッタによる歪み量の算出及び補正を行なわないようにした。
　図１６は、ＡＦ制御処理の流れの他の例を示すフローチャートである。
　ステップ５００では、第１の実施の形態で説明したように位相差検出画素信号の相関演算を行なって、位相差量を求める。
　ステップ５０２では、画角内の動体検出を行なう。例えば、メモリ４８に記憶された過去の画像データと今回の画像データとの間で周知の動きベクトルを算出し、該動きベクトルの大きさに基づいて検出してもよい。
　ステップ５０４では、上記検出結果に基づき、画角内に動体が存在するか否かを判断する。ステップ４０２で肯定判断した場合には、ステップ５０６で、第１の実施の形態で説明したように撮像画素信号の相関演算を行なって、ローリングシャッタによる歪み量を求める。ステップ５０８では、ステップ５００で求めた位相差量からステップ５０６で求めたローリングシャッタによる歪み量を減算して、ステップ５００で求めた位相差量を補正する。そして、ステップ５１０では、補正された位相差量に基づいて、合焦制御を行なう。
　一方、ステップ５０４で否定判断した場合には、ステップ５０６、ステップ５０８をスキップして、ステップ５１０に進む。この場合には、ステップ５１０では、ステップ５００で求めた位相差量（ローリングシャッタによる歪み量で補正していない位相差量）をそのまま用いて、合焦制御を行なう。
　ローリングは撮影画角内に動体が存在する場合に起こる。従って、本例では、動体を検出して、動体が存在する場合にのみローリングシャッタによる歪み量の算出及び補正を行ない、動体が存在しない場合には、ローリングシャッタによる歪み量の算出及び補正を行なわないようにした。
　図１７は、ＡＦ制御処理の流れの他の例を示すフローチャートである。
　ステップ６００では、第１の実施の形態で説明したように位相差検出画素信号の相関演算を行なって、位相差量を求める。
　ステップ６０２では、ＡＦ領域内の動体検出を行なう。動体検出は、例えば、メモリ４８に記憶された過去の画像データと今回の画像データとの間で周知の動きベクトルを算出し、該動きベクトルの大きさに基づいて検出してもよい。
　ステップ６０４では、上記検出結果に基づき、ＡＦ領域内に動体が存在するか否かを判断する。ステップ６０２で肯定判断した場合には、ステップ６０６で、第１の実施の形態で説明したように撮像画素信号の相関演算を行なって、ローリングシャッタによる歪み量を求める。ステップ６０８では、ステップ６００で求めた位相差量からステップ６０６で求めたローリングシャッタによる歪み量を減算して、ステップ６００で求めた位相差量を補正する。そして、ステップ６１０では、補正された位相差量に基づいて、合焦制御を行なう。
　一方、ステップ６０４で否定判断した場合には、ステップ６０６、ステップ６０８をスキップして、ステップ６１０に進む。この場合には、ステップ６１０では、ステップ６００で求めた位相差量（ローリングシャッタによる歪み量で補正していない位相差量）をそのまま用いて、合焦制御を行なう。
　ローリングは撮影画角内に動体が存在する場合に起こる。従って、本例では、特にＡＦ領域内で動体を検出して、ＡＦ領域内に動体が存在する場合にのみローリングシャッタによる歪み量の算出及び補正を行ない、動体が存在しない場合には、ローリングシャッタによる歪み量の算出及び補正を行なわないようにした。
　以上説明したように、本実施の形態では、ローリングシャッタによる歪みの影響が少ないと推定される場合には、ローリングシャッタによる歪み量の算出及び補正を行なわないようにし、それ以外の場合には、ローリングシャッタによる歪み量を算出して補正を行なうようにした。そのため、ローリングシャッタによる歪みの影響を抑制しつつ、ＡＦ制御において無駄な時間を削減することができる。
　なお、本実施の形態では、ＡＦ領域の大きさ、読出し画素数、被写体距離、撮影画角内の被写体の動き、ＡＦ領域内の被写体の動きのいずれかに応じて、ローリングシャッタによる歪み量の算出及び補正を行なうか否かを判断したが、実施形態はこれに限定されない。例えば、ＡＦ領域の大きさ、読出し画素数、被写体距離、撮影画角内の被写体の動き、ＡＦ領域内の被写体の動きの少なくとも１つに応じて、ローリングシャッタによる歪み量の算出及び補正を行なうか否かを判断するようにしてもよい。
　なお、デジタルカメラ１０に、第１の実施の形態で説明したように常にローリング補正を行なう第１のモードと、第２の実施の形態で説明したようにローリングシャッタによる歪みの影響が小さいと推定される場合にはローリング補正を行なわないようにする第２のモードとを切り替える切替手段を設けてもよい。この場合、利用者が該切替手段により切り替えたモードに応じて、ＡＦ制御を行なうようにしてもよい。
　また、位相差検出画素１ｘ、１ｙは、上記各実施の形態で示した例に限定されない。例えば、位相差検出画素１ｘを、右半分が遮光され、左半分が開口された構成とし、位相差検出画素１ｙを、左半分が遮光され、右半分が開口された構成としてもよい。これによっても、上記と同様に、位相差検出画素１ｘには、撮影レンズの主軸に対して一方の側（左側）を通過した光束が入射され、位相差検出画素１ｙには、撮影レンズの主軸に対して他方の側（右側）を通過した光束が入射される。
　また、上記第１及び第２の実施の形態では、位相差検出画素ペアを構成する位相差検出画素が隣接している画素である場合について説明したが、実施形態はこれに限定されない。位相差検出画素ペアを構成する位相差検出画素は互いに隣接しておらず、ペアを構成する画素の間に他の画素が配置されていてもよい。また、同様に、撮像画素ペアを構成する撮像画素が隣接している画素である場合について説明したが、実施形態はこれに限定されない。撮像画素ペアを構成する撮像画素は互いに隣接しておらず、ペアを構成する画素の間に他の画素が配置されていてもよい。
　なお、上記第１及び第２の実施の形態では、本発明をデジタルカメラに適用した場合について説明したが、本発明の実施形態はこれに限定されるものではない。例えば、携帯電話機、ＰＤＡ等の撮影機能を有する他の装置に適用する形態とすることもできる。この場合も、上記各実施の形態と同様の効果を奏することができる。
　更に、上記各実施の形態において説明した各種処理プログラムの処理の流れは一例であり、本発明の主旨を逸脱しない範囲内において、各ステップの処理順序の変更、処理内容の変更、不要なステップの削除、新たなステップの追加等を行なうことができる。

Claims (18)

  1. 　撮影レンズの主軸に対して一方の側に偏心した開口部を有する第１の位相差検出画素と、前記主軸に対して他方の側に偏心した開口部を有する第２の位相差検出画素とからなる位相差検出画素対を複数備えると共に複数の撮像画素からなる撮像画素対を複数備えた撮像素子と、
    　前記撮像素子に対し、ローリングシャッタ方式で前記撮像素子に配列された撮像画素及び位相差検出画素の信号を読み出す読出手段と、
    　前記位相差検出画素対の各々から読み出された信号の相関演算を行なう第１の相関演算手段と、
    　前記撮像画素対の各々から読み出された信号の相関演算を行なう第２の相関演算手段と、
    　前記第１の相関演算手段による相関演算結果を、前記第２の相関演算手段による相関演算結果により補正する補正手段と、
    　前記補正された相関演算結果を用いて合焦制御する合焦手段と、
    　を備えた撮像装置。
  2. 　前記第２の相関演算手段は、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対の第１の位相差検出画素が配置されたラインに配置された撮像画素と、該位相差検出画素対の第２の位相差検出画素が配置されたラインに配置された撮像画素とからなる撮像画素対の各々から読み出された信号の相関演算を行なう
    　請求項１に記載の撮像装置。
  3. 　前記第２の相関演算手段は、各々が、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対の各位相差検出画素が配置されたラインの各々とは異なるラインに配置された撮像画素からなる撮像画素対から読み出された信号の相関演算を行なう
    　請求項１に記載の撮像装置。
  4. 　前記第２の相関演算手段は、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と同じ色のカラーフィルタが設けられた撮像画素対から読み出された信号の相関演算を行なう
    　請求項１～請求項３のいずれか１項記載の撮像装置。
  5. 　前記第２の相関演算手段は、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と異なる色のカラーフィルタが設けられた撮像画素対を含む複数の撮像画素対から読み出された信号の相関演算を行なう
    　請求項１～請求項３のいずれか１項記載の撮像装置。
  6. 　前記第２の相関演算手段は、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対の各々から読み出された信号の相関演算を行なう
    　請求項１～請求項３のいずれか１項記載の撮像装置。
  7. 　前記第２の相関演算手段による相関演算が行なわれる前に、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対を選択する選択手段と、
    　前記位相差検出画素対及び前記選択手段で選択された撮像画素対の各々から信号が読み出されるように前記読出手段を制御する制御手段と、
    　を更に備え、
    　前記第２の相関演算手段は、前記制御手段の制御により読み出された信号の相関演算を行なう
    　請求項１～請求項３のいずれか１項記載の撮像装置。
  8. 　前記撮像素子の露光時間を、前記撮像画素の感度に応じた露光量となるように制御する露光制御手段を更に備えた
    　請求項１～請求項７のいずれか１項記載の撮像装置。
  9. 　焦点を合わせる焦点領域の大きさ、前記第１の相関演算手段での相関演算に用いられる信号を読み出す位相差検出画素の数、撮影画角内の被写体の動き、及び前記焦点領域内の被写体の動き、の少なくとも１つに基づいて、前記補正手段による補正を行なうか否かを判断する判断手段を更に備え、
    　前記合焦手段は、前記判断手段により前記補正手段による補正を行なわないと判断された場合には、前記補正手段による補正の実行を中止し、前記補正される前の前記第１の相関演算手段の相関演算結果を用いて合焦制御する
    　請求項１～請求項８のいずれか１項記載の撮像装置。
  10. 　撮影レンズの主軸に対して一方の側に偏心した開口部を有する第１の位相差検出画素と、前記主軸に対して他方の側に偏心した開口部を有する第２の位相差検出画素とからなる位相差検出画素対を複数備えると共に複数の撮像画素からなる撮像画素対を複数備えた撮像素子を有する撮像装置の合焦制御方法であって、
    　前記撮像素子に対し、ローリングシャッタ方式で前記撮像素子に配列された撮像画素及び位相差検出画素の信号を読み出し、
    　前記位相差検出画素対の各々から読み出された信号に対して第１の相関演算を行ない、
    　前記撮像画素対の各々から読み出された信号に対して第２の相関演算を行ない、
    　前記第１の相関演算の結果を、前記第２の相関演算の結果により補正し、
    　前記補正された相関演算結果を用いて合焦を制御すること、
    　を含む合焦制御方法。
  11. 　前記第２の相関演算は、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対の第１の位相差検出画素が配置されたラインに配置された撮像画素と、該位相差検出画素対の第２の位相差検出画素が配置されたラインに配置された撮像画素とからなる撮像画素対の各々から読み出された信号の相関演算を行なうことを含む、
    　請求項１０に記載の合焦制御方法。
  12. 　前記第２の相関演算は、各々が、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対の各位相差検出画素が配置されたラインの各々とは異なるラインに配置された撮像画素からなる撮像画素対から読み出された信号の相関演算を行なうことを含む、
    　請求項１０に記載の合焦制御方法。
  13. 　前記第２の相関演算は、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と同じ色のカラーフィルタが設けられた撮像画素対から読み出された信号の相関演算を行なうことを含む、
    　請求項１０～請求項１２のいずれか１項記載の合焦制御方法。
  14. 　前記第２の相関演算は、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と異なる色のカラーフィルタが設けられた撮像画素対を含む複数の撮像画素対から読み出された信号の相関演算を行なうことを含む、
    　請求項１０～請求項１２のいずれか１項記載の合焦制御方法。
  15. 　前記第２の相関演算は、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対の各々から読み出された信号の相関演算を行なうことを含む、
    　請求項１０～請求項１２のいずれか１項記載の合焦制御方法。
  16. 　前記第２の相関演算が行なわれる前に、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対を選択し、
    　前記位相差検出画素対及び前記選択された撮像画素対の各々から信号が読み出されるように前記読出を制御すること、
    　を更に含み、
    　前記第２の相関演算は、前記読出の制御により読み出された信号の相関演算を行なう、
    　請求項１０～請求項１２のいずれか１項記載の合焦制御方法。
  17. 　前記撮像素子の露光時間を、前記撮像画素の感度に応じた露光量となるように露光を制御することを更に含む、
    　請求項１０～請求項１６のいずれか１項記載の合焦制御方法。
  18. 　焦点を合わせる焦点領域の大きさ、前記第１の相関演算に用いられる信号を読み出す位相差検出画素の数、撮影画角内の被写体の動き、及び前記焦点領域内の被写体の動き、の少なくとも１つに基づいて、前記補正を行なうか否かを判断することを更に含み、
    　前記合焦の制御は、前記判断により補正を行なわないと判断された場合には、補正の実行を中止し、前記補正される前の前記第１の相関演算の結果を用いて合焦を制御することを含む、
    　請求項１０～請求項１７のいずれか１項記載の合焦制御方法。
PCT/JP2011/078194 2011-03-31 2011-12-06 撮像装置及びその合焦制御方法 Ceased WO2012132122A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013507058A JP5491677B2 (ja) 2011-03-31 2011-12-06 撮像装置及びその合焦制御方法
CN201180067662.5A CN103380392B (zh) 2011-03-31 2011-12-06 摄像装置及其对焦控制方法
US13/966,859 US8704940B2 (en) 2011-03-31 2013-08-14 Imaging device and focusing control method
US14/188,392 US8982271B2 (en) 2011-03-31 2014-02-24 Imaging device and focusing control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011080032 2011-03-31
JP2011-080032 2011-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/966,859 Continuation US8704940B2 (en) 2011-03-31 2013-08-14 Imaging device and focusing control method

Publications (1)

Publication Number Publication Date
WO2012132122A1 true WO2012132122A1 (ja) 2012-10-04

Family

ID=46929919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/078194 Ceased WO2012132122A1 (ja) 2011-03-31 2011-12-06 撮像装置及びその合焦制御方法

Country Status (4)

Country Link
US (2) US8704940B2 (ja)
JP (2) JP5491677B2 (ja)
CN (1) CN103380392B (ja)
WO (1) WO2012132122A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014139679A (ja) * 2011-03-31 2014-07-31 Fujifilm Corp 撮像装置及びその合焦制御方法
JP2015079193A (ja) * 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2015203793A (ja) * 2014-04-15 2015-11-16 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP2018196155A (ja) * 2018-09-12 2018-12-06 株式会社ニコン 撮像装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI520602B (zh) * 2011-02-15 2016-02-01 佳能企業股份有限公司 曝光參數補正方法及成像裝置
JP5468177B2 (ja) * 2011-03-31 2014-04-09 富士フイルム株式会社 撮像装置及びその合焦制御方法
WO2012169318A1 (ja) * 2011-06-09 2012-12-13 富士フイルム株式会社 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置
JP5750550B2 (ja) * 2012-09-06 2015-07-22 富士フイルム株式会社 撮像装置及び合焦制御方法
WO2015025590A1 (ja) * 2013-08-22 2015-02-26 富士フイルム株式会社 撮像装置及び合焦制御方法
JP6355348B2 (ja) * 2014-01-31 2018-07-11 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6523656B2 (ja) * 2014-10-30 2019-06-05 オリンパス株式会社 焦点調節装置および焦点調節方法
GB2543127B (en) 2015-07-30 2018-11-21 Canon Kk Control apparatus, image pickup apparatus, control method, program, and storage medium
JP6639326B2 (ja) * 2015-07-30 2020-02-05 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP6512989B2 (ja) * 2015-08-04 2019-05-15 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
EP3139588B1 (en) 2015-09-07 2017-06-21 Axis AB Method and device for setting a focus of a camera
US9420164B1 (en) 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction
US9804357B2 (en) 2015-09-25 2017-10-31 Qualcomm Incorporated Phase detection autofocus using masked and unmasked photodiodes
JP2017194558A (ja) * 2016-04-20 2017-10-26 オリンパス株式会社 撮像装置および撮像方法
US10033949B2 (en) 2016-06-16 2018-07-24 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
US20180301484A1 (en) * 2017-04-17 2018-10-18 Semiconductor Components Industries, Llc Image sensors with high dynamic range and autofocusing hexagonal pixels
JP6944846B2 (ja) * 2017-10-04 2021-10-06 オリンパス株式会社 撮像装置、撮像装置の制御方法
CN111050060B (zh) 2018-10-12 2021-08-31 华为技术有限公司 一种应用于终端设备的对焦方法、装置和终端设备
JP7455588B2 (ja) * 2020-01-17 2024-03-26 キヤノン株式会社 撮像装置
KR102148127B1 (ko) * 2020-02-14 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템
KR102148128B1 (ko) * 2020-03-06 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템
CN111818304B (zh) * 2020-07-08 2023-04-07 杭州萤石软件有限公司 图像融合方法及装置
US11539875B1 (en) * 2021-08-27 2022-12-27 Omnivision Technologies Inc. Image-focusing method and associated image sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336314A (ja) * 2006-06-16 2007-12-27 Sony Corp 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP2008312073A (ja) * 2007-06-16 2008-12-25 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2010147143A (ja) * 2008-12-17 2010-07-01 Nikon Corp 固体撮像素子及びその製造方法、並びに撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1949671A4 (en) * 2005-11-15 2008-11-05 Nokia Corp Imaging system with adjustable optics
JP5076416B2 (ja) * 2006-09-14 2012-11-21 株式会社ニコン 撮像素子および撮像装置
JP4930900B2 (ja) * 2006-09-27 2012-05-16 カシオ計算機株式会社 撮像装置
JP5098405B2 (ja) 2007-04-11 2012-12-12 株式会社ニコン 撮像素子、焦点検出装置および撮像装置
JP5012236B2 (ja) * 2007-06-12 2012-08-29 株式会社ニコン デジタルカメラ
JP5167783B2 (ja) * 2007-11-22 2013-03-21 株式会社ニコン 焦点検出装置および撮像装置
JP5095519B2 (ja) 2008-06-24 2012-12-12 三星電子株式会社 撮像装置及び撮像方法
JP2010020015A (ja) * 2008-07-09 2010-01-28 Canon Inc 撮像装置
JP5097077B2 (ja) 2008-10-10 2012-12-12 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5319347B2 (ja) * 2009-03-17 2013-10-16 キヤノン株式会社 撮像装置及びその制御方法
JP5414358B2 (ja) * 2009-05-20 2014-02-12 キヤノン株式会社 撮像装置
JP2011059337A (ja) * 2009-09-09 2011-03-24 Fujifilm Corp 撮像装置
US9007914B2 (en) * 2009-09-30 2015-04-14 Qualcomm Incorporated Methods and apparatus for enabling rate adaptation across network configurations
CN103380392B (zh) * 2011-03-31 2014-12-03 富士胶片株式会社 摄像装置及其对焦控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336314A (ja) * 2006-06-16 2007-12-27 Sony Corp 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP2008312073A (ja) * 2007-06-16 2008-12-25 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2010147143A (ja) * 2008-12-17 2010-07-01 Nikon Corp 固体撮像素子及びその製造方法、並びに撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014139679A (ja) * 2011-03-31 2014-07-31 Fujifilm Corp 撮像装置及びその合焦制御方法
JP2015079193A (ja) * 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
CN104581137A (zh) * 2013-10-18 2015-04-29 佳能株式会社 检测设备、摄像设备、摄像系统和检测设备的控制方法
US9531939B2 (en) 2013-10-18 2016-12-27 Canon Kabushiki Kaisha Detection apparatus, image pickup apparatus, image pickup system, and control method of the detection apparatus
JP2015203793A (ja) * 2014-04-15 2015-11-16 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP2018196155A (ja) * 2018-09-12 2018-12-06 株式会社ニコン 撮像装置

Also Published As

Publication number Publication date
US8704940B2 (en) 2014-04-22
JP5744263B2 (ja) 2015-07-08
JP2014139679A (ja) 2014-07-31
CN103380392A (zh) 2013-10-30
US20130329095A1 (en) 2013-12-12
CN103380392B (zh) 2014-12-03
JPWO2012132122A1 (ja) 2014-07-24
US20140168483A1 (en) 2014-06-19
JP5491677B2 (ja) 2014-05-14
US8982271B2 (en) 2015-03-17

Similar Documents

Publication Publication Date Title
JP5491677B2 (ja) 撮像装置及びその合焦制御方法
JP5468177B2 (ja) 撮像装置及びその合焦制御方法
JP5853594B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5241355B2 (ja) 撮像装置とその制御方法
JP5493011B2 (ja) 撮像装置及びその合焦位置検出方法
US9172925B2 (en) Solid state image capturing element, image capturing apparatus, and focusing control method
JP5652157B2 (ja) 撮像装置、画像処理方法、並びにコンピューター・プログラム
CN107370939B (zh) 焦点检测装置及其控制方法、摄像设备和计算机可读介质
JPWO2012137650A1 (ja) 撮影装置及びプログラム
US11290648B2 (en) Image capture apparatus and control method thereof
JP5657184B2 (ja) 撮像装置及び信号処理方法
JP5608820B2 (ja) 撮像装置及び合焦制御方法
JP2009021985A (ja) 撮像装置及び撮像装置の駆動方法
JP5224879B2 (ja) 撮影装置
JP2014175777A (ja) 撮像装置および画像処理方法
JP2018066982A (ja) 撮像装置、撮像装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11862045

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013507058

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11862045

Country of ref document: EP

Kind code of ref document: A1