WO2018150925A1 - 焦点検出装置、焦点検出方法、および焦点検出プログラム - Google Patents

焦点検出装置、焦点検出方法、および焦点検出プログラム Download PDF

Info

Publication number
WO2018150925A1
WO2018150925A1 PCT/JP2018/003792 JP2018003792W WO2018150925A1 WO 2018150925 A1 WO2018150925 A1 WO 2018150925A1 JP 2018003792 W JP2018003792 W JP 2018003792W WO 2018150925 A1 WO2018150925 A1 WO 2018150925A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus detection
defocus amount
pixel
correction coefficient
pupil
Prior art date
Application number
PCT/JP2018/003792
Other languages
English (en)
French (fr)
Inventor
福田　浩一
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to EP18754478.8A priority Critical patent/EP3584621A4/en
Priority to CN201880011931.8A priority patent/CN110312957B/zh
Publication of WO2018150925A1 publication Critical patent/WO2018150925A1/ja
Priority to US16/539,014 priority patent/US11184521B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems

Definitions

  • the present invention relates to a focus detection device, a focus detection method, and a focus detection program.
  • Patent Document 1 discloses an imaging apparatus in which a pair of focus detection pixels is partially arranged on a two-dimensional imaging element composed of a plurality of pixels.
  • the pair of focus detection pixels are configured to receive different regions of the exit pupil of the photographing lens by a light shielding layer having an opening, and perform pupil division.
  • An imaging signal is acquired by imaging pixels arranged in most of the two-dimensional imaging device, and an image shift amount is obtained from the focus detection signals of the focus detection pixels arranged in a part, and focus detection is performed.
  • the present invention provides a focus detection apparatus, a focus detection method, and a focus detection program capable of correcting a focus detection error due to a shape difference between focus detection signals and performing focus detection with high accuracy.
  • the purpose is to do.
  • a focus detection apparatus is a focus detection apparatus that performs focus detection using a pixel signal obtained by photoelectrically converting light that has passed through different pupil regions of an imaging optical system, the pixel An acquisition unit that acquires a signal, a signal generation unit that generates a plurality of focus detection signals corresponding to the different pupil regions using the pixel signal, and a detection defocus amount based on the plurality of focus detection signals And a focus detection unit that calculates a corrected defocus amount by correcting the detected defocus amount based on a phase transfer function corresponding to the different pupil region.
  • a focus detection method is a focus detection method that performs focus detection using pixel signals obtained by photoelectrically converting light that has passed through different pupil regions of an imaging optical system.
  • An acquisition step for acquiring the pixel signal; a signal generation step for generating a plurality of focus detection signals corresponding to the different pupil regions using the pixel signal; and a detection defocus based on the plurality of focus detection signals.
  • a focus detection program controls a focus detection apparatus that performs focus detection using pixel signals obtained by photoelectrically converting light that has passed through different pupil regions of an imaging optical system.
  • a focus detection program for obtaining a plurality of focus detection signals corresponding to the different pupil regions using the pixel signal, an acquisition unit for acquiring the pixel signal,
  • a focus detection means for calculating a correction defocus amount by calculating a detection defocus amount based on a focus detection signal and correcting the detection defocus amount based on a phase transfer function corresponding to the different pupil regions; To function as.
  • the present invention it is possible to provide a focus detection apparatus, a focus detection method, and a focus detection program capable of correcting a focus detection error due to a shape difference between focus detection signals and performing focus detection with high accuracy.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus having a focus detection apparatus according to Embodiment 1.
  • FIG. FIG. 3 is a diagram illustrating a pixel array of Example 1.
  • 2 is a diagram illustrating a pixel structure of Example 1.
  • FIG. 6 is a diagram for explaining a correspondence between a pixel and a pupil partial region of the image sensor according to the first embodiment.
  • FIG. 3 is a diagram for explaining pupil division in the imaging optical system and the image sensor according to the first embodiment.
  • FIG. 6 is a relationship diagram between a defocus amount and an image shift amount according to the first exemplary embodiment. It is explanatory drawing of the effective aperture value by the pupil shift
  • FIG. 4 is an explanatory diagram of a light intensity distribution when light is incident on a microlens formed in each pixel of Example 1.
  • FIG. It is a figure which shows the pupil intensity distribution of Example 1.
  • FIG. It is the figure which carried out the Fourier transformation of the pupil intensity distribution of Example 1.
  • FIG. 6 is a relationship diagram between a set defocus amount and a detected defocus amount according to the first exemplary embodiment.
  • FIG. 6 is a diagram illustrating correction coefficients according to the first embodiment.
  • 3 is a flowchart illustrating a focus detection method according to the first exemplary embodiment.
  • FIG. 6 is a diagram illustrating a pixel array of Example 2.
  • 6 is a diagram illustrating a pixel structure of Example 2.
  • the present invention is applied to an imaging apparatus such as a digital camera.
  • an imaging apparatus such as a digital camera
  • the present invention is widely applied to apparatuses different from imaging apparatuses such as a focus detection apparatus, an information processing apparatus, and an electronic device. Can do.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus 100 having the focus detection apparatus of the present embodiment.
  • the imaging apparatus 100 is a digital camera system that includes a camera body and an interchangeable lens (imaging optical system or imaging optical system) that can be attached to and detached from the camera body.
  • imaging optical system imaging optical system
  • the present invention is not limited to this, and can also be applied to an imaging apparatus in which a camera body and a lens are integrally configured.
  • the imaging optical system (imaging optical system) generates a subject image (optical image) of the subject.
  • the first lens group 101 is disposed in the forefront (subject side) of the plurality of lens groups constituting the imaging optical system, and is held by the lens barrel so as to be able to advance and retract along the optical axis OA.
  • the diaphragm / shutter (aperture) 102 adjusts the light amount at the time of shooting by adjusting the aperture diameter, and also functions as an exposure time adjusting shutter at the time of still image shooting.
  • the second lens group 103 has a zoom function that moves forward and backward along the optical axis OA integrally with the diaphragm / shutter 102 and performs a zooming operation in conjunction with the forward / backward movement of the first lens group 101.
  • the third lens group 105 is a focus lens group that performs focus adjustment (focus operation) by moving back and forth along the optical axis OA.
  • the optical low-pass filter 106 is an optical element for reducing false colors and moire in the captured image.
  • the image sensor 107 is composed of, for example, a CMOS sensor or a CCD sensor and its peripheral circuit, and performs photoelectric conversion of the subject image.
  • CMOS sensor or a CCD sensor for example, a two-dimensional single-plate color sensor in which a Bayer array primary color mosaic filter is formed on-chip on a light receiving pixel having m pixels in the horizontal direction and n pixels in the vertical direction is used. It is done.
  • the zoom actuator 111 moves the first lens group 101 and the second lens group 103 along the optical axis OA by rotating (driving) a cam cylinder (not shown) when performing a zooming operation.
  • the aperture shutter actuator 112 adjusts the aperture diameter of the aperture / shutter 102 when adjusting the light amount (photographing light amount).
  • the focus actuator 114 moves the third lens group 105 along the optical axis OA when performing focus adjustment.
  • the electronic flash 115 is an illumination device used for illuminating a subject.
  • a flash illumination device including a xenon tube or an illumination device including an LED (light emitting diode) that continuously emits light is used.
  • the AF auxiliary light source 116 projects an image of a mask having a predetermined opening pattern onto a subject via a light projection lens. As a result, the focus detection capability for a dark subject or a low-contrast subject can be improved.
  • the CPU 121 is a control device (control means) that performs various controls of the imaging device 100.
  • the CPU 121 includes a calculation unit, a ROM, a RAM, an A / D converter, a D / A converter, a communication interface circuit, and the like.
  • the CPU 121 reads and executes a predetermined program stored in the ROM, thereby driving various circuits of the imaging apparatus 100 and controlling a series of operations such as focus detection (AF), shooting, image processing, or recording. To do.
  • AF focus detection
  • the CPU 121 includes pixel signal acquisition means (acquisition means) 121a, signal generation means 121b, focus detection means 121c, and lens information acquisition means 121d.
  • the electronic flash control circuit 122 controls the lighting of the electronic flash 115 in synchronization with the photographing operation.
  • the auxiliary light source driving circuit 123 performs lighting control of the AF auxiliary light source 116 in synchronization with the focus detection operation.
  • the image sensor driving circuit 124 controls the image capturing operation of the image sensor 107, A / D converts the acquired image signal, and transmits it to the CPU 121.
  • An image processing circuit (image processing device) 125 performs processing such as gamma conversion, color interpolation, or JPEG (Joint Photographic Experts Group) compression of image data output from the image sensor 107.
  • the focus drive circuit 126 performs focus adjustment by driving the focus actuator 114 based on the focus detection result and moving the third lens group 105 along the optical axis OA.
  • the aperture shutter drive circuit 128 drives the aperture shutter actuator 112 to control the aperture diameter of the aperture / shutter 102 and to control the exposure time during still image shooting.
  • the zoom drive circuit 129 drives the zoom actuator 111 according to the zoom operation of the photographer, and performs the zooming operation by moving the first lens group 101 and the second lens group 103 along the optical axis OA. .
  • the lens communication circuit 130 communicates with the interchangeable lens attached to the camera body, and acquires lens information of the interchangeable lens.
  • the acquired lens information is output to the lens information acquisition means 121d of the CPU 121.
  • the display unit 131 includes, for example, an LCD (liquid crystal display device).
  • the display unit 131 displays information related to the shooting mode of the imaging apparatus 100, a preview image before shooting, a confirmation image after shooting, a focus state display image at the time of focus detection, and the like.
  • the operation unit 132 includes a power switch, a release (shooting trigger) switch, a zoom operation switch, a shooting mode selection switch, and the like.
  • the release switch has a two-stage switch in a half-pressed state (a state where SW1 is ON) and a full-pressed state (a state where SW2 is ON).
  • the recording medium 133 is, for example, a flash memory that can be attached to and detached from the imaging apparatus 100, and records captured images (image data).
  • the storage unit 134 stores captured images and the like in a predetermined format.
  • FIG. 2 is a diagram illustrating a pixel (imaging pixel) array of the image sensor 107.
  • 3A and 3B are diagrams illustrating the pixel structure of the image sensor 107.
  • FIG. 3A is a plan view of the pixel 200G of the image sensor 107 (viewed from the + z direction), and
  • FIG. ) Is a cross-sectional view taken along the line aa in FIG.
  • FIG. 2 shows a pixel array of the image sensor 107 in a range of 4 columns ⁇ 4 rows.
  • each pixel (pixels 200R, 200G, and 200B) includes two subpixels 201 and 202. For this reason, in FIG. 2, the arrangement of subpixels is shown in a range of 8 columns ⁇ 4 rows.
  • pixels 200R, 200G, and 200B are arranged in a Bayer array. That is, in the pixel group 200, a pixel 200R having a spectral sensitivity of R (red) is on the upper left, a pixel 200G having a spectral sensitivity of G (green) is a pixel having a spectral sensitivity of B (blue) on the upper right and lower left. 200B is arranged at the lower right.
  • the pixels 200R, 200G, and 200B are configured by sub-pixels (focus detection pixels) 201 and 202 arranged in 2 columns ⁇ 1 row.
  • the sub-pixel (first sub-pixel) 201 is a pixel that receives the light beam that has passed through the first pupil region of the imaging optical system.
  • the sub-pixel (second sub-pixel) 202 is a pixel that receives the light beam that has passed through the second pupil region of the imaging optical system.
  • the image sensor 107 is configured by arranging a large number of 4 columns ⁇ 4 rows of pixels (8 columns ⁇ 4 rows of subpixels) on the surface, and an image pickup signal (subpixel signal). Is output.
  • the pixel period P is 6 ⁇ m
  • the period P SUB in the column direction of the sub-pixels is 3 ⁇ m
  • the pixel 200G of the present embodiment is provided with a microlens 305 for condensing incident light on the light receiving surface side of the pixel.
  • a plurality of microlenses 305 are two-dimensionally arranged, and are arranged at a position away from the light receiving surface by a predetermined distance in the z-axis direction (the direction of the optical axis OA).
  • the photoelectric conversion unit 301 and the photoelectric conversion unit 302 correspond to the subpixel 201 and the subpixel 202, respectively.
  • the photoelectric conversion unit 301 and the photoelectric conversion unit 302 are each configured as a photodiode having a pin structure in which an intrinsic layer is sandwiched between a p-type layer and an n-type layer. If necessary, the intrinsic layer may be omitted and a pn junction photodiode may be configured.
  • a color filter 306 is provided between the microlens 305, the photoelectric conversion unit 301, and the photoelectric conversion unit 302. If necessary, the spectral transmittance of the color filter 306 can be changed for each pixel or for each photoelectric conversion unit, or the color filter may be omitted. When the color filter is omitted, a white spectral transmittance having a high transmittance in the visible light region may be provided, or a spectral transmittance may be provided in the infrared light region.
  • the light incident on the pixel 200 ⁇ / b> G is collected by the microlens 305, dispersed by the color filter 306, and then received by the photoelectric conversion unit 301 and the photoelectric conversion unit 302.
  • the photoelectric conversion unit 301 and the photoelectric conversion unit 302 pairs of electrons and holes are generated according to the amount of received light, and after they are separated by the depletion layer, negatively charged electrons are accumulated in the n-type layer.
  • the holes are discharged to the outside of the image sensor 107 through a p-type layer connected to a constant voltage source (not shown).
  • the electrons accumulated in the n-type layers of the photoelectric conversion unit 301 and the photoelectric conversion unit 302 are transferred to the electrostatic capacitance unit (FD) through the transfer gate and converted into a voltage signal.
  • the depth of the photoelectric conversion unit 301 is preferably common to each pixel, but the depth may be changed (shallow) in some pixels (for example, the pixel 200B having the spectral sensitivity of B). Good.
  • FIG. 4 is a diagram for explaining the correspondence between the pixel 200G of the image sensor 107 and the pupil partial area.
  • FIG. 4 shows a cross-sectional view of the pixel structure shown in FIG. 3A as viewed from the + y side, and an exit pupil plane of the imaging optical system.
  • the x-axis and y-axis in the cross-sectional view are inverted with respect to the x-axis and y-axis in FIG.
  • the luminous flux from the subject passes through the exit pupil 400 of the imaging optical system and enters each pixel.
  • the pupil region 500 is a pupil region that can receive light in the entire pixel 200G when all of the photoelectric conversion units 301 and 302 (sub-pixels 201 and 202) are combined among the pupil regions of the imaging optical system.
  • the pupil partial region (first pupil partial region) 501 has a substantially conjugate relationship with the light receiving surface of the photoelectric conversion unit 301 whose center of gravity is decentered in the ⁇ x direction via the micro lens 305. Therefore, the pupil partial area 501 represents a pupil area that can be received by the sub-pixel 201.
  • the center of gravity of the pupil partial area 501 is eccentric to the + x side on the pupil plane.
  • the pupil partial region (second pupil partial region) 502 has a substantially conjugate relationship with the light receiving surface of the photoelectric conversion unit 302 whose center of gravity is decentered in the + x direction via the micro lens 305. Therefore, the pupil partial area 502 represents a pupil area that can be received by the sub-pixel 202.
  • the center of gravity of the pupil partial area 502 of the sub-pixel 202 is eccentric to the ⁇ x side on the pupil plane.
  • the sub-pixel 201 actually receives light from the AF pupil (first AF pupil) 601 that is an area where the exit pupil 400 and the pupil partial area 501 overlap. Further, the sub-pixel 202 actually receives light from the AF pupil (second AF pupil) 602, which is an area where the exit pupil 400 and the pupil partial area 502 overlap.
  • FIG. 5 is a diagram for explaining pupil division in the imaging optical system and the image sensor 107.
  • the light fluxes that have passed through the AF pupils 601 and 602 are incident on the image pickup surface 600 of the image pickup element 107 at different angles to the pixels of the image pickup element 107 and are received by the sub-pixels 201 and 202 divided into 2 ⁇ 1.
  • the pupil region is divided into two pupils in the horizontal direction.
  • the present invention is not limited to this, and pupil division may be performed in the vertical direction as necessary. .
  • the image sensor 107 includes a plurality of sub-pixels that share a single microlens and receive a plurality of light beams that pass through different regions of the pupil of the imaging optical system (photographing lens). .
  • the image sensor 107 includes a first subpixel (a plurality of subpixels 201) and a second subpixel (a plurality of subpixels 202) as a plurality of subpixels. Further, it may have an array of pixels that receive a light beam passing through a region where the AF pupils 601 and 602 of the imaging optical system are combined.
  • each pixel is composed of first and second sub-pixels.
  • the imaging pixel and the first and second sub-pixels may be configured as separate pixels, and the first and second sub-pixels may be partially arranged in a part of the imaging pixel array. Good.
  • the first focus detection signal is generated based on the pixel signal of the sub-pixel 201 of each pixel of the image sensor 107
  • the second focus detection signal is generated based on the pixel signal of the sub-pixel 202 of each pixel.
  • an image signal (captured image) having a resolution of N effective pixels can be generated.
  • FIG. 6 is a relationship diagram between the defocus amount and the image shift amount.
  • the image sensor 107 is disposed on the imaging surface 600, and the state in which the exit pupil 400 of the imaging optical system is divided into two by the AF pupils 601 and 602 is shown as in FIGS. 4 and 5. ing.
  • the defocus amount d the distance from the imaging position of the subject to the imaging surface 600 is
  • the front pin state (d ⁇ 0) and the rear pin state (d> 0) are collectively referred to as a defocus state (
  • the luminous flux that has passed through the AF pupil 601 (or AF pupil 602) out of the luminous flux from the subject 802 is condensed once. Thereafter, the light beam spreads over a width ⁇ 1 ( ⁇ 2) centered on the gravity center position G1 (G2) of the light beam, and becomes a blurred image on the imaging surface 600.
  • the blurred image is received by the sub-pixel 201 (sub-pixel 202) that constitutes each pixel arranged in the image sensor 107, and a first focus detection signal (second focus detection signal) is generated.
  • the first focus detection signal (second focus detection signal) is recorded as a subject image in which the subject 802 is blurred by the width ⁇ 1 ( ⁇ 2) at the gravity center position G1 (G2) on the imaging surface 600.
  • the blur width ⁇ 1 ( ⁇ 2) of the subject image increases substantially proportionally as the defocus amount d magnitude
  • of d increases, it generally increases in proportion. The same applies to the rear pin state (d> 0), but the image shift direction of the subject image between the first focus detection signal and the second focus detection signal is opposite to the front pin state.
  • the magnitude of the defocus amount of the imaging signal obtained by adding the first focus detection signal and the second focus detection signal or the first and second focus detection signals increases. Accordingly, the magnitude of the image shift amount between the first focus detection signal and the second focus detection signal increases.
  • phase difference type focus adjustment is performed using the relationship between the defocus amount and the image shift amount of the first focus detection signal and the second focus detection signal.
  • the first focus detection signal and the second focus detection signal are relatively shifted to calculate a correlation amount indicating the degree of coincidence of signals, and the correlation (the degree of coincidence of signals) is improved.
  • An image shift amount is detected from the shift amount.
  • Focus detection is performed by converting to a defocus amount.
  • FIG. 7 is an explanatory diagram of an effective aperture value (effective F value) due to pupil shift, and AF pupils 601 and 602 respectively corresponding to the sub-pixels 201 and 202 of each pixel arranged at the peripheral image height of the image sensor 107.
  • effective F value effective aperture value due to pupil shift
  • AF pupils 601 and 602 respectively corresponding to the sub-pixels 201 and 202 of each pixel arranged at the peripheral image height of the image sensor 107.
  • the relationship with the exit pupil 400 of the imaging optical system is shown.
  • FIG. 7A shows a case where the exit pupil distance Dl (distance between the exit pupil 400 and the imaging surface 600) of the imaging optical system and the set pupil distance Ds of the image sensor 107 are substantially equal.
  • the exit pupil 400 of the imaging optical system is divided into pupils approximately equally by the AF pupils 601 and 602 at the peripheral image height.
  • the exit pupil of the imaging optical system is used at the peripheral image height of the image sensor 107.
  • a pupil shift occurs between 400 and the entrance pupil of the image sensor 107.
  • the exit pupil 400 of the imaging optical system is non-uniformly divided into pupils.
  • the effective aperture value of the sub-pixel 201 corresponding to the AF pupil 601 is smaller (brighter) than the effective aperture value of the sub-pixel 202 corresponding to the AF pupil 602.
  • the effective aperture value of the sub-pixel 201 corresponding to the AF pupil 601 is larger (darker) than the effective aperture value of the sub-pixel 202 corresponding to the AF pupil 602.
  • the exit pupil of the imaging optical system is used at the peripheral image height of the image sensor 107.
  • a pupil shift occurs between 400 and the entrance pupil of the image sensor 107.
  • the exit pupil 400 of the imaging optical system is non-uniformly divided into pupils.
  • the effective aperture value of the sub-pixel 201 corresponding to the AF pupil 601 is larger (darker) than the effective aperture value of the sub-pixel 202 corresponding to the AF pupil 602.
  • the effective aperture value of the sub-pixel 201 corresponding to the AF pupil 601 is smaller (brighter) than the effective aperture value of the sub-pixel 201 corresponding to the AF pupil 602.
  • FIG. 8 is an explanatory diagram of the light intensity distribution when light is incident on the microlens 305 formed in each pixel.
  • FIG. 8 is an explanatory diagram of the light intensity distribution when light is incident on the microlens 305 formed in each pixel.
  • FDTD Finite Difference Time Domain
  • FIG. 8A shows the light intensity distribution in a cross section parallel to the optical axis of the microlens.
  • the microlens optical system in each pixel includes a microlens 305, a planarization layer, a sealing layer, an insulating layer, and the like.
  • the microlens optical system may include a plurality of microlenses.
  • the pixel period is 2a
  • the focal length of the microlens optical system is f
  • the aperture angle of the microlens optical system is 2 ⁇ .
  • n be the refractive index at the focal position of the microlens optical system.
  • z be the coordinate along the optical axis.
  • H is a principal point.
  • the numerical aperture NA of the microlens optical system is defined by the following formula (1).
  • the aperture value F of the microlens optical system is defined by the following equation (2).
  • the incident light is condensed at the focal position by the microlens optical system.
  • the diameter of the focused spot cannot be made smaller than the diffraction limit ⁇ , and has a finite size.
  • the diffraction limit ⁇ is approximately obtained by the following formula (3), where ⁇ is the wavelength of incident light.
  • the size of the light receiving surface of the photoelectric conversion unit is about 1 to 2 ⁇ m, whereas the condensing spot of the microlens is about 1 ⁇ m. Therefore, the AF pupils 601 and 602 in FIG. 4 that are in a conjugate relationship with the light receiving surface of the photoelectric conversion unit via the microlens are not clearly divided into pupils due to diffraction blur, and the light reception depends on the incident angle of light. It becomes a rate distribution (pupil intensity distribution).
  • FIG. 8B shows the light intensity distribution in a cross section perpendicular to the optical axis of the microlens at the focal position of the microlens.
  • the diameter of the focused spot becomes the diffraction limit ⁇ and becomes the minimum.
  • the rear focal depth + z D and the front focal depth ⁇ z D of the microlens optical system are obtained by the following equation (4), where the diffraction limit ⁇ is an allowable circle of confusion.
  • the range of the depth of focus is ⁇ z D ⁇ z ⁇ + z D.
  • the diameter w of the focused spot generally has the relationship of the following formula (5) as a function of the coordinate z.
  • FIG. 9 is a diagram showing pupil intensity distribution, in which the horizontal axis represents the X axis of the exit pupil plane of the imaging optical system, and the vertical axis represents the light reception rate.
  • the solid line represents the pupil intensity distribution h A (x) obtained by projecting the AF pupil 601 in FIG. 4 in the y-axis direction and making it one-dimensional in the x-axis direction.
  • the broken line represents a pupil intensity distribution h B (x) obtained by projecting the AF pupil 602 in the y-axis direction and making it one-dimensional in the x-axis direction.
  • the + x side of the pupil intensity distribution h A (x) has a steep curve because it is vignetted by the exit pupil defined by the lens frame and diaphragm frame of the imaging optical system.
  • the boundary of the pupil partial area is blurred due to the influence of diffraction and becomes a gentle curve.
  • the pupil intensity distribution h B (x) has a shape obtained by inverting the positive / negative of the x-axis of the pupil intensity distribution h A (x). Accordingly, the pupil intensity distribution h A (x) and the pupil intensity distribution h B (x) are not the same shape, and the degree of coincidence when they are translated (shifted) and overlapped is lowered.
  • the shape of the pupil intensity distribution is also determined by the spectral sensitivity characteristics of the image sensor 107. Furthermore, the shape of the pupil intensity distribution is an image height between the exit pupil 400 of the imaging optical system described above with reference to FIG. 7 and the entrance pupil (pupil partial areas 501 and 502) of the image sensor 107. It is also determined by the pupil shift and the frame vignetting that occur accordingly.
  • FIG. 10 is a diagram obtained by Fourier transforming the pupil intensity distribution h A (x) and the pupil intensity distribution h B (x).
  • Fourier transform H B of the Fourier transform of the pupil intensity distribution h A (x) H A ( k) and the pupil intensity distribution h B (x) (k) is expressed by the following equation (6).
  • the Fourier transforms H A (k) and H B (k) are combined and denoted as H A, B (k).
  • the components ⁇ A (k) and ⁇ B (k) constituting the phase component are combined and denoted as ⁇ A, B (k). Note that k is a wave number.
  • FIG. 10A shows the amplitude components (
  • FIG. 10 (b) shows the Fourier transform H A (k) and Fourier transform H phase component of the B (k) (phase transfer function).
  • the solid line represents the phase component ( ⁇ k ⁇ ⁇ A (k)) of the Fourier transform H A (k). Since the component ⁇ A (k) constituting the phase component increases substantially monotonically from the equation (6), the solid line decreases substantially monotonously.
  • the broken line represents the phase component ( ⁇ k ⁇ ⁇ B (k)) of the Fourier transform H B (k). Since the component ⁇ B (k) constituting the phase component decreases substantially monotonically from the equation (6), the solid line increases substantially monotonously.
  • FIG. 10C shows the phase difference ⁇ AB (k) between the Fourier transform H A (k) and the Fourier transform H A (k).
  • the phase difference ⁇ AB (k) is expressed by the following formula (7).
  • FIG. 11 is a diagram illustrating components for each spatial frequency of the pupil intensity distribution h A (x) and the pupil intensity distribution h B (x).
  • FIG. 11A shows components when the wave number k represented by the solid line in FIGS. 10A and 10C is 0.1.
  • FIG. 11B shows components in the case where the wave number k represented by the one-dot chain line in FIGS. 10A and 10C is 0.4.
  • FIG.11 (c) represents the component in case the wave number k represented by the dotted line of Fig.10 (a) and FIG.10 (c) is 0.8.
  • the phase difference ⁇ AB is smaller as the wave number k is smaller. Therefore, the phase difference mu AB (k), as shown in FIG. 10 (c), varies depending on the wave number k. This is because the shapes of the pupil intensity distributions h A (x) and h B (x) are different as shown in FIG.
  • the pupil intensity distributions h A (x) and h B (x) are scale-converted according to the exit pupil distance and defocus amount of the imaging optical system, respectively, and the line image h A ( x
  • the shape of the pupil intensity distributions h A (x) and h B (x) is at least one of the spectral sensitivity characteristics of the image sensor 107, the lens frame of the imaging optical system, and the diaphragm frame of the imaging optical system. To be determined.
  • d) in the defocus state with the defocus amount d are From the relational expression of convolution and Fourier transform, it is expressed by the following expression (10).
  • d) are combined and denoted as g A, B (x
  • the DC component and the high frequency noise are cut by a band pass filter, and the first and second focus detection signals g A (x
  • d, k AF ) limited to the wave number k AF component are expressed by the following equation (11). .
  • d, k AF ) limited to the wave number k AF component at the defocus amount d.
  • the conversion coefficient K 0 for the image shift amount q 0 of the defocus amount d 0 is expressed by the following equation (13).
  • the detected defocus amount d det is expressed by the following equation (14) using the conversion coefficient K 0 .
  • the phase difference ⁇ AB (dk AF / Z) in the fourth term of the equation (14) changes depending on the defocus amount d.
  • the phase difference ⁇ AB (dk AF / Z) changes as shown in FIG. 10C according to the defocus amount d.
  • FIG. 12 is a relationship diagram between the set defocus amount d and the detected defocus amount (detected defocus amount) d det .
  • Detection defocus amount d det is ideally as shown in solid line in FIG. 12, changes in proportion with respect to the defocus amount d being set.
  • the phase difference ⁇ AB (dk AF / Z) depends on the set defocus amount d, the detected defocus amount d det changes as shown by the broken line in FIG. End up.
  • the set defocus amount (corrected defocus amount) d is calculated by correcting the detected defocus amount d det , and focus detection processing is performed based on the corrected defocus amount.
  • the defocus amount is set (corrected defocus amount) d of using the detected defocus amount d det (K 0 q) and the correction coefficient S, is calculated by the following equation (15) .
  • the correction coefficient is set to be small when the absolute value of the detected defocus amount is large. This is because when the absolute value of the detected defocus amount is large, the phase difference ⁇ AB is large from the relationship shown in FIG. 10C, and the correction coefficient is small from the equation (15). Further, as shown in FIG. 13, the correction coefficient is set so as to increase when the absolute value of the detected defocus amount is small. If the absolute value of the detected defocus amount is small, the phase difference mu AB is reduced from the relationship of FIG. 10 (c), the because the absolute value of the correction coefficient from equation (15) increases.
  • the correction coefficient is calculated based on the F value (aperture value), but the present invention is not limited to this.
  • the correction coefficient may be calculated based on the focus detection position (image height coordinate) on the image sensor 107.
  • the correction coefficient may be calculated based on the spatial frequency band of the focus detection signal. Further, the correction coefficient may be calculated based on the color (R / G / B) of the focus detection signal.
  • the correction coefficient may be calculated based on the lens information of the interchangeable lens acquired by the lens information acquisition unit 121d (the sign of the detected defocus amount (front pin / rear pin)). 13 may be stored in a storage unit such as the recording medium 133 or the storage unit 134.
  • FIG. 14 is a flowchart showing the focus detection method of this embodiment.
  • the focus detection method of this embodiment is executed in accordance with a focus detection program as a computer program that operates on software and hardware.
  • the focus detection program may be stored in a memory (not shown) in the imaging apparatus, or may be recorded on a computer-readable recording medium.
  • the CPU 121 executes the focus detection method.
  • a personal computer (PC) or a dedicated device may execute the focus detection method of this embodiment as a focus detection device.
  • a circuit corresponding to the focus detection program of this embodiment may be provided, and the focus detection method of this embodiment may be executed by operating the circuit.
  • step S101 the pixel signal acquisition unit 121a acquires the pixel signal received by the subpixel 201 and the subpixel 202 of each pixel of the image sensor 107.
  • the image signal acquisition unit 121a may acquire a pixel signal that is captured in advance by the image sensor 107 of the present embodiment and stored in a recording medium.
  • step S102 the signal generation unit 121b, based on the pixel signal, a first focus detection signal corresponding to a different first pupil partial region of the imaging optical system and a second focus detection signal corresponding to a second pupil partial region. Is generated.
  • the pixel signal photographed by the image sensor 107 is assumed to be LF.
  • the kth focus detection signal I k (j, i) in the column direction i-th and row direction j-th corresponding to the k-th pupil partial region of the imaging optical system is generated by the following equation (16).
  • I 1 (j, i) is generated.
  • a second focus detection signal I 2 (j, i) corresponding to the second pupil partial region 502 of the imaging optical system is generated.
  • the first focus detection signal I 1 (j, i) and the second focus detection signal I 2 (j, i) are expressed by the first focus detection signal g A (x
  • the color centroids of the respective colors RGB are made to coincide with each other at each position (j, i), and the kth focus detection luminance is obtained.
  • a one-focus detection signal dYA is generated.
  • the second focus detection luminance signal Y 2 the pupil division direction (column direction), the one-dimensional band-pass filtering, to generate a second focus detection signal dYB confined to substantially wavenumber k AF component .
  • the one-dimensional bandpass filter for example, a first-order differential filter [1, 5, 8, 8, 8, 8, 5, 1, ⁇ 1, ⁇ 5, ⁇ 8, ⁇ 8, ⁇ 8, ⁇ 8, -5, -1] and the like can be used. If necessary, the passband of the one-dimensional bandpass filter may be adjusted.
  • the first focus detection signal dYA and the second focus detection signal dYB limited to substantially the wavenumber k AF component are the first focus detection signal g A (limited to the wavenumber k AF component of Expression (11). x
  • step S103 the focus detection unit 121c calculates a detection defocus amount based on the focus detection signal.
  • the first focus detection signal limited to the first approximate wavenumber k AF component is dYA (j AF + j 2 , i AF + i 2 ), and the second focus detection signal is dYB (j AF + j 2 , i AF + i 2 ). To do.
  • the amount of shift COR EVEN (j AF , i AF , s) at each position (j AF , i AF ) is calculated by the equation (18A), where s ( ⁇ n s ⁇ s ⁇ n s )
  • the correlation amount COR ODD (j AF , i AF , s) is calculated by the equation (18B).
  • the correlation amount COR ODD (j AF , i AF , s) is equal to the first focus detection signal dYA and the second focus detection signal dYA limited to a substantially wavenumber k AF component with respect to the correlation amount COR EVEN (j AF , i AF , s). This is a correlation amount obtained by shifting the shift amount of the focus detection signal dYB by a half phase.
  • the optical characteristics of the image sensor (pupil intensity distribution for each kth sub-pixel), lens information such as the aperture value F and exit pupil distance Dl of the imaging lens (imaging optical system) Accordingly, the conversion coefficient K from the image shift amount to the defocus amount is multiplied to calculate the defocus amount M Def (j AF , i AF ) at the focus detection position (j AF , i AF ).
  • step S104 the focus detection unit 121c calculates the corrected defocus amount by correcting the detection defocus amount calculated in step S103 using the correction coefficient.
  • the focus detection error due to the shape difference between the focus detection signals can be corrected, and the focus detection can be executed with high accuracy.
  • each pixel includes first to fourth subpixels, and by adding and reading the signals of the first to fourth subpixels, an image pickup signal (a shot image) ) Is generated.
  • FIG. 15 is a diagram illustrating a pixel (imaging pixel) array of the image sensor 107.
  • 16A and 16B are diagrams illustrating the pixel structure of the image sensor 107.
  • FIG. 16A is a plan view of the pixel 200G of the image sensor 107 (viewed from the + z direction), and
  • FIG. ) Is a cross-sectional view taken along the line aa in FIG.
  • FIG. 15 shows a pixel array of the image sensor 107 in a range of 4 columns ⁇ 4 rows.
  • each pixel (pixels 200R, 200G, and 200B) includes four subpixels 201, 202, 203, and 204. For this reason, FIG. 15 shows the arrangement of sub-pixels in a range of 8 columns ⁇ 8 rows.
  • pixels 200R, 200G, and 200B are arranged in a Bayer array. That is, in the pixel group 200, a pixel 200R having a spectral sensitivity of R (red) is on the upper left, a pixel 200G having a spectral sensitivity of G (green) is a pixel having a spectral sensitivity of B (blue) on the upper right and lower left. 200B is arranged at the lower right.
  • the pixels 200R, 200G, and 200B are configured by sub-pixels (focus detection pixels) 201, 202, 203, and 204 arranged in 2 columns ⁇ 2 rows.
  • the sub-pixel (first sub-pixel) 201 is a pixel that receives the light beam that has passed through the first pupil region of the imaging optical system.
  • the sub-pixel (second sub-pixel) 202 is a pixel that receives the light beam that has passed through the second pupil region of the imaging optical system.
  • the sub-pixel (third sub-pixel) 203 is a pixel that receives the light beam that has passed through the third pupil region of the imaging optical system.
  • the sub-pixel (fourth sub-pixel) 204 is a pixel that receives the light beam that has passed through the fourth pupil region of the imaging optical system.
  • the image sensor 107 is configured by arranging a large number of 4 columns ⁇ 4 rows of pixels (8 columns ⁇ 8 rows of subpixels) on the surface, and an image pickup signal (subpixel signal). Is output.
  • the pixel period P is 6 ⁇ m
  • the pixel 200G of this embodiment is provided with a microlens 305 for condensing incident light on the light receiving surface side of the pixel.
  • a plurality of microlenses 305 are two-dimensionally arranged, and are arranged at a position away from the light receiving surface by a predetermined distance in the z-axis direction (the direction of the optical axis OA).
  • N H divided in the x direction (divided into two)
  • N V division (2 divided) photoelectric conversion unit 301, 302, 303 and 304 are formed in the y-direction.
  • the photoelectric conversion units 301 to 304 correspond to the subpixels 201 to 204, respectively.
  • a first focus detection signal is generated based on the pixel signals of the sub-pixels 201 and 203 of each pixel of the image sensor 107
  • the second focus detection signal is generated based on the pixel signals of the sub-pixels 202 and 204 of each pixel.
  • a focus detection signal is generated to perform focus detection. Further, by adding and reading out the signals of the sub-pixels 201, 202, 203, and 204 for each pixel of the imaging element 107, an imaging signal (captured image) having a resolution of the effective pixel number N can be generated.
  • the first focus detection signal may be generated based on the pixel signals of the sub-pixels 201 and 202.
  • the second focus detection signal is generated based on the pixel signals of the sub-pixels 203 and 204.
  • the first focus detection signal may be generated based on the pixel signals of the sub-pixels 201 and 204.
  • the second focus detection signal is generated based on the pixel signals of the subpixels 202 and 203.
  • the structure is divided into two in the x direction and the y direction.
  • the present invention is not limited to this. For example, it may be divided into two or more, or the number of divisions may be different between the x direction and the y direction.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

【課題】焦点検出信号間の形状差による焦点検出誤差を補正し、高精度に焦点検出を実行可能な焦点検出装置、焦点検出方法、および焦点検出プログラムを提供すること。 【解決手段】結像光学系の異なる瞳領域を通過した光を光電変換して得られた画素信号を用いて焦点検出を行う焦点検出装置であって、画素信号を取得する取得手段と、画素信号を用いて、異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成手段と、複数の焦点検出信号に基づいて検出デフォーカス量を算出するとともに、異なる瞳領域に対応する位相伝達関数に基づいて、検出デフォーカス量を補正することで、補正デフォーカス量を算出する焦点検出手段と、を有する。

Description

焦点検出装置、焦点検出方法、および焦点検出プログラム
　本発明は、焦点検出装置、焦点検出方法、および焦点検出プログラムに関する。
　従来、各画素にマイクロレンズが形成された２次元撮像素子を用いて、撮像レンズの焦点検出を位相差検出方式で行う撮像装置が知られている。
　特許文献１では、複数の画素からなる２次元撮像素子に、部分的に１対の焦点検出画素が配置された撮像装置が開示されている。１対の焦点検出画素は、開口部を有する遮光層により、撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行っている。２次元撮像素子の大部分に配置された撮像画素で撮像信号を取得し、一部に配置された焦点検出画素の焦点検出信号から像ずれ量を求めて、焦点検出を行う。
特開２０００－１５６８２３号公報
　しかしながら、特許文献１に開示された撮像装置では、マイクロレンズにより分割された各瞳部分領域は形状が異なるため、焦点検出信号間で形状差が生じてしまう。結果として、空間周波数帯域ごとの実効的な基線長が変化し、焦点検出精度が低下してしまう。
　このような課題に鑑みて、本発明は、焦点検出信号間の形状差による焦点検出誤差を補正し、高精度に焦点検出を実行可能な焦点検出装置、焦点検出方法、および焦点検出プログラムを提供することを目的とする。
　本発明の一側面としての焦点検出装置は、結像光学系の異なる瞳領域を通過した光を光電変換して得られた画素信号を用いて焦点検出を行う焦点検出装置であって、前記画素信号を取得する取得手段と、前記画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成手段と、前記複数の焦点検出信号に基づいて検出デフォーカス量を算出するとともに、前記異なる瞳領域に対応する位相伝達関数に基づいて、前記検出デフォーカス量を補正することで、補正デフォーカス量を算出する焦点検出手段と、を有することを特徴とする。
　また、本発明の他の側面としての焦点検出方法は、結像光学系の異なる瞳領域を通過した光を光電変換して得られた画素信号を用いて焦点検出を行う焦点検出方法であって、前記画素信号を取得する取得ステップと、前記画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成ステップと、前記複数の焦点検出信号に基づいて検出デフォーカス量を算出するとともに、前記異なる瞳領域に対応する位相伝達関数に基づいて前記検出デフォーカス量を補正することで、補正デフォーカス量を算出する焦点検出ステップと、を有することを特徴とする。
　また、本発明の他の側面としての焦点検出プログラムは、結像光学系の異なる瞳領域を通過した光を光電変換して得られた画素信号を用いて焦点検出を行う焦点検出装置を制御するための焦点検出プログラムであって、コンピュータを、前記画素信号を取得する取得手段、前記画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成手段、前記複数の焦点検出信号に基づいて検出デフォーカス量を算出するとともに、前記異なる瞳領域に対応する位相伝達関数に基づいて前記検出デフォーカス量を補正することで、補正デフォーカス量を算出する焦点検出手段、として機能させる。
　本発明によれば、焦点検出信号間の形状差による焦点検出誤差を補正し、高精度に焦点検出を実行可能な焦点検出装置、焦点検出方法、および焦点検出プログラムを提供することができる。
実施例１の焦点検出装置を有する撮像装置の構成を示すブロック図である。 実施例１の画素配列を示す図である。 実施例１の画素構造を示す図である。 実施例１の撮像素子の画素と瞳部分領域との対応を説明するための図である。 実施例１の結像光学系と撮像素子における瞳分割を説明するための図である。 実施例１のデフォーカス量と像ずれ量との関係図である。 実施例１の瞳ずれによる実行絞り値の説明図である。 実施例１の各画素に形成されたマイクロレンズに光が入射した場合の光強度分布の説明図である 実施例１の瞳強度分布を示す図である。 実施例１の瞳強度分布をフーリエ変換した図である。 実施例１の瞳強度分布の空間周波数ごとの成分を示す図である。 実施例１の設定されているデフォーカス量と検出されたデフォーカス量との関係図である。 実施例１の補正係数を示す図である。 実施例１の焦点検出方法を示すフローチャートである。 実施例２の画素配列を示す図である。 実施例２の画素構造を示す図である。
　以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
　本実施形態では、本発明をデジタルカメラ等の撮像装置に適用した場合について説明するが、本発明は焦点検出装置、情報処理装置、および電子機器等の撮像装置とは異なる装置に幅広く適用することができる。
［全体構成］
　図１は、本実施例の焦点検出装置を有する撮像装置１００の構成を示すブロック図である。撮像装置１００は、カメラ本体とカメラ本体に着脱可能な交換レンズ（結像光学系または撮像光学系）とを備えたデジタルカメラシステムである。ただし、本発明は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。
　結像光学系（撮像光学系）は、被写体の被写体像（光学像）を生成する。第１レンズ群１０１は、結像光学系を構成する複数のレンズ群のうち最も前方（被写体側）に配置されており、光軸ＯＡに沿って進退可能にレンズ鏡筒に保持されている。絞り兼用シャッタ（絞り）１０２は、その開口径を調節されることで撮影時の光量調節を行うとともに、静止画撮影時には露光時間調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸ＯＡに沿って進退し、第１レンズ群１０１の進退動作と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸ＯＡに沿って進退することにより焦点調節（フォーカス動作）を行うフォーカスレンズ群である。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。
　撮像素子１０７は、例えば、ＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成され、被写体像の光電変換を行う。撮像素子１０７としては、例えば、横方向にｍ個の画素、縦方向にｎ個の画素を有する受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。
　ズームアクチュエータ１１１は、変倍動作を行う際に、カム筒（不図示）を回動（駆動）することで第１レンズ群１０１および第２レンズ群１０３を光軸ＯＡに沿って移動させる。絞りシャッタアクチュエータ１１２は、光量（撮影光量）を調節する際に、絞り兼用シャッタ１０２の開口径を調節する。フォーカスアクチュエータ１１４は、焦点調節を行う際に、第３レンズ群１０５を光軸ＯＡに沿って移動させる。
　電子フラッシュ１１５は、被写体を照明するために用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を備えた閃光照明装置、または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光源１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。
　ＣＰＵ１２１は、撮像装置１００の種々の制御を司る制御装置（制御手段）である。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムを読み出して実行することにより、撮像装置１００の各種回路を駆動し、焦点検出（ＡＦ）、撮影、画像処理、または、記録などの一連の動作を制御する。
　また、ＣＰＵ１２１は、画素信号取得手段（取得手段）１２１ａ、信号生成手段１２１ｂ、焦点検出手段１２１ｃ、およびレンズ情報取得手段１２１ｄを備える。
　電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５の点灯制御を行う。補助光源駆動回路１２３は、焦点検出動作に同期してＡＦ補助光源１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路（画像処理装置）１２５は、撮像素子１０７から出力された画像データのガンマ変換、カラー補間、または、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）圧縮などの処理を行う。
　フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸ＯＡに沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して、絞り兼用シャッタ１０２の開口径を制御するとともに、静止画撮影時の露光時間を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じて、ズームアクチュエータ１１１を駆動し、第１レンズ群１０１および第２レンズ群１０３を光軸ＯＡに沿って移動させることにより、変倍動作を行う。
　レンズ通信回路１３０は、カメラ本体に取り付けられた交換レンズと通信し、交換レンズのレンズ情報を取得する。取得したレンズ情報は、ＣＰＵ１２１のレンズ情報取得手段１２１ｄに出力される。
　表示部１３１は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示部１３１は、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態（ＳＷ１がＯＮの状態）、および、全押し状態（ＳＷ２がＯＮの状態）の２段階のスイッチを有する。記録媒体１３３は、例えば撮像装置１００に着脱可能なフラッシュメモリであり、撮影画像（画像データ）を記録する。記憶部１３４は、所定のフォーマットで撮影画像などを記憶する。
［撮像素子］
　まず、図２および図３を参照して、本実施例における撮像素子（２次元ＣＭＯＳセンサ）１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素（撮像画素）配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ－ａの断面図（－ｙ方向から見た図）をそれぞれ示している。
　図２は、撮像素子１０７の画素配列を、４列×４行の範囲で示している。本実施例では、各々の画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、２つの副画素２０１、２０２により構成さている。このため、図２には、副画素の配列が、８列×４行の範囲で示されている。
　図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち、画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。画素２００Ｒ、２００Ｇ、２００Ｂは、２列×１行に配列された副画素（焦点検出画素）２０１、２０２により構成されている。副画素（第１副画素）２０１は、結像光学系の第１瞳領域を通過した光束を受光する画素である。副画素（第２副画素）２０２は、結像光学系の第２瞳領域を通過した光束を受光する画素である。
　図２に示されるように、撮像素子１０７は、４列×４行の画素（８列×４行の副画素）を面上に多数配置して構成されており、撮像信号（副画素信号）を出力する。本実施例の撮像素子１０７は、画素の周期Ｐが６μｍ、画素の数Ｎが横６０００列×縦４０００行＝２４００万画素である。また、撮像素子１０７は、副画素の列方向の周期ＰＳＵＢが３μｍ、副画素の数ＮＳＵＢが横１２０００列×縦４０００行＝４８００万画素である。なお、画素数はこれには限られず、８Ｋ動画を実現するために横に８０００列以上を設けるようにしてもよい。また、画素配列において副画素を有する画素と有さない画素（分割していない画素）を混在させるようにしてもよい。
　図３（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また、画素２００Ｇには、ｘ方向にＮｘ分割（２分割）、ｙ方向にＮｙ分割（１分割）された分割数ＮＬＦ＝Ｎｘ×Ｎｙ（分割数２）の光電変換部３０１および光電変換部３０２が形成されている。光電変換部３０１および光電変換部３０２はそれぞれ、副画素２０１および副画素２０２に対応する。
　光電変換部３０１および光電変換部３０２はそれぞれ、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成される。必要に応じて、イントリンシック層を省略し、ｐｎ接合のフォトダイオードとして構成してもよい。画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が設けられている。必要に応じて、画素ごと、または光電変換部ごとにカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。カラーフィルタを省略した場合においては、可視光領域で高い透過率を持つホワイトの分光透過率を備えるようにしてもよいし、赤外光領域で分光透過率を備えるようにしてもよい。
　画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１および光電変換部３０２で受光される。光電変換部３０１および光電変換部３０２においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３０１および光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。ここで、光電変換部３０１の深さは各画素で共通とすることが好ましいが、一部の画素（例えば、Ｂの分光感度を有する画素２００Ｂ）において深さを変える（浅くする）構成としてもよい。
　続いて、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の画素２００Ｇと瞳部分領域との対応を説明するための図である。図４は、図３（ａ）に示される画素構造のａ－ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。
　被写体からの光束は、結像光学系の射出瞳４００を通過して、各画素に入射する。瞳領域５００は、結像光学系の瞳領域のうち、光電変換部３０１、３０２（副画素２０１、２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。瞳部分領域（第１瞳部分領域）５０１は、重心が－ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため、瞳部分領域５０１は、副画素２０１で受光可能な瞳領域を表している。瞳部分領域５０１の重心は、瞳面上で＋ｘ側に偏心している。また、瞳部分領域（第２瞳部分領域）５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため、瞳部分領域５０２は、副画素２０２で受光可能な瞳領域を表している。副画素２０２の瞳部分領域５０２の重心は、瞳面上で－ｘ側に偏心している。
　なお、副画素２０１は、実際には、射出瞳４００および瞳部分領域５０１が重なる領域であるＡＦ瞳（第１ＡＦ瞳）６０１からの光を受光する。また、副画素２０２は、実際には、射出瞳４００および瞳部分領域５０２が重なる領域であるＡＦ瞳（第２ＡＦ瞳）６０２からの光を受光する。
　図５は、結像光学系と撮像素子１０７における瞳分割を説明するための図である。ＡＦ瞳６０１、６０２を通過した光束は、撮像素子１０７の各画素に互いに異なる角度で撮像素子１０７の撮像面６００に入射し、２×１分割された副画素２０１、２０２で受光される。本実施例では、瞳領域が水平方向に２つに瞳分割されている例について説明しているが、これに限定されるものではなく、必要に応じて垂直方向に瞳分割を行ってもよい。
　本実施例では、撮像素子１０７は、１つのマイクロレンズを共有し、結像光学系（撮影レンズ）の瞳のうち互いに異なる領域を通過する複数の光束を受光する複数の副画素を備えている。撮像素子１０７は、複数の副画素として、第１副画素（複数の副画素２０１）および第２副画素（複数の副画素２０２）を含む。また、結像光学系のＡＦ瞳６０１、６０２を合わせた領域を通過する光束を受光する画素の配列を有してもよい。なお、撮像素子１０７では、各画素が第１および第２副画素から構成されている。しかしながら、必要に応じて、撮像画素と、第１および第２副画素とを個別の画素構成とし、撮像画素配列の一部に、第１および第２副画素を部分的に配置する構成としてもよい。
　本実施例では、撮像素子１０７の各画素の副画素２０１の画素信号に基づいて第１の焦点検出信号を生成し、各画素の副画素２０２の画素信号に基づいて第２の焦点検出信号を生成して焦点検出を行う。また、撮像素子１０７の画素ごとに、副画素２０１、２０２の信号を加算して読み出すことで、有効画素数Ｎの解像度を有する撮像信号（撮影画像）を生成することができる。
［デフォーカス量と像ずれ量の関係］
　図６を参照して、撮像素子１０７の副画素２０１から取得される第１の焦点検出信号および副画素２０２から取得される第２の焦点検出信号のデフォーカス量と像ずれ量との関係について説明する。図６は、デフォーカス量と像ずれ量との関係図である。図６において、撮像素子１０７は撮像面６００に配置されており、図４および図５と同様に、結像光学系の射出瞳４００がＡＦ瞳６０１、６０２に２分割されている様子が示されている。
　デフォーカス量ｄは、被写体の結像位置から撮像面６００までの距離を｜ｄ｜、結像位置が撮像面６００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面６００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面６００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体８０１、および、前ピン状態（ｄ＜０）である被写体８０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。
　前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、ＡＦ瞳６０１（またはＡＦ瞳６０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ２）を中心とする幅Γ１（Γ２）に広がり、撮像面６００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する副画素２０１（副画素２０２）により受光され、第１の焦点検出信号（第２の焦点検出信号）が生成される。このため、第１の焦点検出信号（第２の焦点検出信号）は、撮像面６００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１の焦点検出信号と第２の焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１の焦点検出信号と第２の焦点検出信号との間の被写体像の像ずれ方向が前ピン状態と反対となる。
　このように本実施例では、第１の焦点検出信号と第２の焦点検出信号、または、第１および第２の焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の焦点検出信号と第２の焦点検出信号との間の像ずれ量の大きさは増加する。
　本実施例では、第１の焦点検出信号と第２の焦点検出信号のデフォーカス量と像ずれ量との関係性を用いて、位相差方式の焦点調節を行う。
　位相差方式の焦点調節は、第１の焦点検出信号と第２の焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量を計算し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の焦点検出信号と第２の焦点検出信号間との間の像ずれ量の大きさが増加する関係性から、像ずれ量をデフォーカス量に変換することで焦点検出を行う。
［瞳ずれと枠ケラレ］
　次に、図７を参照して、撮像素子１０７の周辺像高での瞳ずれについて説明する。図７は、瞳ずれによる実効絞り値（実効Ｆ値）の説明図であり、撮像素子１０７の周辺像高に配列された各画素の副画素２０１、２０２にそれぞれ対応するＡＦ瞳６０１、６０２と結像光学系の射出瞳４００との関係を示している。
　図７（ａ）は、結像光学系の射出瞳距離Ｄｌ（射出瞳４００と撮像面６００との距離）と、撮像素子１０７の設定瞳距離Ｄｓとが略等しい場合を示している。この場合、中央像高と同様に、周辺像高においても、結像光学系の射出瞳４００はＡＦ瞳６０１、６０２により略均等に瞳分割される。
　図７（ｂ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも短い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、結像光学系の射出瞳４００は不均一に瞳分割される。図７（ｂ）の場合、ＡＦ瞳６０１に対応する副画素２０１の実効絞り値は、ＡＦ瞳６０２に対応する副画素２０２の実効絞り値よりも小さい（明るい）値となる。一方、反対側の像高では、ＡＦ瞳６０１に対応する副画素２０１の実効絞り値は、ＡＦ瞳６０２に対応する副画素２０２の実効絞り値よりも大きい（暗い）値となる。
　図７（ｃ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも長い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、結像光学系の射出瞳４００は不均一に瞳分割される。図７（ｃ）の場合、ＡＦ瞳６０１に対応する副画素２０１の実効絞り値は、ＡＦ瞳６０２に対応する副画素２０２の実効絞り値よりも大きい（暗い）値となる。一方、反対側の像高では、ＡＦ瞳６０１に対応する副画素２０１の実効絞り値は、ＡＦ瞳６０２に対応する副画素２０１の実効絞り値よりも小さい（明るい）値となる。
　瞳ずれにより周辺像高で瞳分割が不均一になるのに伴い、副画素２０１、２０２の実効絞り値も不均一となる。このため、第１の焦点検出信号および第２の焦点検出信号のいずれか一方のボケの広がりが大きくなり、他方のボケの広がりが小さくなる。このため、画像の所定領域において、複数の焦点検出信号の中で、実効絞り値が最も小さい副画素が出力する焦点検出信号の重み係数を最も小さくする、または実効絞り値が最も大きい副画素が出力する焦点検出信号の重み係数を最も大きくすることが好ましい。
［瞳分割］
　図８は、各画素に形成されたマイクロレンズ３０５に光が入射した場合の光強度分布の説明図である。図８には、波長λ＝５４０ｎｍ、右円偏光の平面波が、マイクロレンズ３０５の上方から光軸に平行に入射した場合の撮像素子１０７内部での光強度分布の計算例が示されている。数値計算には、ＦＤＴＤ（Ｆｉｎｉｔｅ　Ｄｉｆｆｅｒｅｎｃｅ　Ｔｉｍｅ　Ｄｏｍａｉｎ）法を用いた。
　図８（ａ）は、マイクロレンズの光軸に平行な断面での光強度分布を示す。各画素でのマイクロレンズ光学系は、マイクロレンズ３０５、平坦化層、封止層、および絶縁層などから構成される。マイクロレンズ光学系は、複数のマイクロレンズを含んでいてもよい。画素周期を２ａ、マイクロレンズ光学系の焦点距離をｆ、マイクロレンズ光学系の開口角を２φとする。また、マイクロレンズ光学系の焦点位置での屈折率をｎとする。また、光軸に沿った座標をｚとする。座標ｚは、焦点位置を原点（ｚ＝０）として、マイクロレンズ側を負符号、マイクロレンズと反対側を正符号とする。また、Ｈは、主点である。
　マイクロレンズ光学系の開口数ＮＡは、以下の式（１）で定義される。
Figure JPOXMLDOC01-appb-M000001
　また、マイクロレンズ光学系の絞り値Ｆは、以下の式（２）で定義される。
Figure JPOXMLDOC01-appb-M000002
　入射光は、マイクロレンズ光学系により、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。集光スポットの強度分布がエアリーパターン（Ａｉｒｙ　ｐａｔｔｅｒｎ）に近いとして、回折限界Δは、入射光の波長をλとして、概ね、以下の式（３）で求まる。
Figure JPOXMLDOC01-appb-M000003
　光電変換部の受光面サイズは約１～２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４のＡＦ瞳６０１、６０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。
　図８（ｂ）は、マイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。点位置（ｚ＝０）で、集光スポットの直径は回折限界Δとなり、最小となる。
　マイクロレンズ光学系の後側焦点深度＋ｚＤと前側焦点深度－ｚＤは、回折限界Δを許容錯乱円として、以下の式（４）で求まる。焦点深度の範囲は、－ｚＤ＜ｚ＜＋ｚＤである。
Figure JPOXMLDOC01-appb-M000004
　集光スポットの強度分布がガウス分布に近いとすると、集光スポットの直径ｗは、座標ｚの関数として、概ね、以下の式（５）の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｚＲはレイリー長であり、係数αＲ＝０．６１π≒１．９２として、ｚＲ＝αＲｚＤで定義される。
　図８に示す計算例では、波長λ＝５４０ｎｍ、画素周期２ａ＝４．３μｍ、マイクロレンズ光学系の焦点距離ｆ＝５．８μｍ、焦点位置での屈折率ｎ＝１．４６である。また、マイクロレンズ光学系の絞り値はＦ＝０．９２４、回折限界はΔ＝１．２２μｍ、焦点深度はｚＤ＝１．６５μｍである。
［ＡＦ瞳形状］
　図９は、瞳強度分布を示す図であり、横軸は結像光学系の射出瞳面のＸ軸、縦軸は受光率をそれぞれ示す。実線は、図４のＡＦ瞳６０１をｙ軸方向へ射影変換し、ｘ軸方向へ１次元化した瞳強度分布ｈＡ（ｘ）を表す。また、破線は、ＡＦ瞳６０２をｙ軸方向へ射影変換し、ｘ軸方向へ１次元化した瞳強度分布ｈＢ（ｘ）を表す。
　瞳強度分布ｈＡ（ｘ）の＋ｘ側は、結像光学系のレンズ枠や絞り枠で規定される射出瞳によりケラレるため、急峻な曲線となる。また、－ｘ側は、マイクロレンズによる瞳分割のため、瞳部分領域の境界が回折の影響でボヤけ、緩やかな曲線となる。一方、瞳強度分布ｈＢ（ｘ）は、瞳強度分布ｈＡ（ｘ）のｘ軸の正負を反転した形となる。よって、瞳強度分布ｈＡ（ｘ）と瞳強度分布ｈＢ（ｘ）は同形状ではなく、平行移動（シフト）して重ね合わせた場合の一致度が低下する。また、瞳強度分布の形状は、撮像素子１０７の分光感度特性によっても決定される。さらに、瞳強度分布の形状は、図７を参照して上述した、結像光学系の射出瞳４００と、撮像素子１０７の入射瞳（瞳部分領域５０１、５０２）との間に、像高に応じて生じる瞳ずれと枠ケラレの状態によっても決定される。
　図１０は、瞳強度分布ｈＡ（ｘ）および瞳強度分布ｈＢ（ｘ）をフーリエ変換した図である。瞳強度分布ｈＡ（ｘ）のフーリエ変換ＨＡ（ｋ）および瞳強度分布ｈＢ（ｘ）のフーリエ変換ＨＢ（ｋ）は、以下の式（６）で表される。フーリエ変換ＨＡ（ｋ）、ＨＢ（ｋ）を合わせ、ＨＡ,Ｂ（ｋ）と示す。また、位相成分を構成する成分μＡ（ｋ）、μＢ（ｋ）を合わせ、μＡ,Ｂ（ｋ）と示す。なお、ｋは、波数である。
Figure JPOXMLDOC01-appb-M000006
　図１０（ａ）は、フーリエ変換ＨＡ（ｋ）およびフーリエ変換ＨＢ（ｋ）の振幅成分（｜ＨＡ，Ｂ（ｋ）｜）を示している。図９に例示した、瞳強度分布ｈＡ（ｘ）、ｈＢ（ｘ）は、略ミラー反転した関係となっているため、各フーリエ変換の絶対値は略一致している。なお、瞳ずれと枠ケラレの状態により、変化する場合もある。
　図１０（ｂ）は、フーリエ変換ＨＡ（ｋ）およびフーリエ変換ＨＢ（ｋ）の位相成分（位相伝達関数）を示している。実線は、フーリエ変換ＨＡ（ｋ）の位相成分（－ｋ×μＡ（ｋ））を表している。位相成分を構成する成分μＡ（ｋ）は式（６）より略単調増加するため、実線は略単調減少している。破線は、フーリエ変換ＨＢ（ｋ）の位相成分（－ｋ×μＢ（ｋ））を表している。位相成分を構成する成分μＢ（ｋ）は式（６）より略単調減少するため、実線は略単調増加している。
　図１０（ｃ）は、フーリエ変換ＨＡ（ｋ）およびフーリエ変換ＨＡ（ｋ）の位相差μＡＢ（ｋ）を示している。位相差μＡＢ（ｋ）は、以下の式（７）で表される。
Figure JPOXMLDOC01-appb-M000007
　図１１は、瞳強度分布ｈＡ（ｘ）および瞳強度分布ｈＢ（ｘ）の空間周波数ごとの成分を示す図である。図１１（ａ）は、図１０（ａ）および図１０（ｃ）の実線で表される波数ｋが０．１である場合の成分を表している。図１１（ｂ）は、図１０（ａ）および図１０（ｃ）の一点鎖線で表される波数ｋが０．４である場合の成分を表している。図１１（ｃ）は、図１０（ａ）および図１０（ｃ）の点線で表される波数ｋが０．８である場合の成分を表している。図１１に示されるように、位相差μＡＢは、波数ｋが小さいほど、小さくなっている。そのため、位相差μＡＢ（ｋ）は、図１０（ｃ）に示されるように、波数ｋに応じて変化する。これは、図９に示されるように、瞳強度分布ｈＡ（ｘ）、ｈＢ（ｘ）の形状が異なることに由来する。
　瞳強度分布ｈＡ（ｘ）、ｈＢ（ｘ）を、結像光学系の射出瞳距離とデフォーカス量に応じてスケール変換したものがそれぞれ、第１の焦点検出信号の線像ｈＡ（ｘ｜ｄ）と第２の焦点検出信号の線像ｈＢ（ｘ｜ｄ）となる。線像ｈＡ（ｘ｜ｄ）、ｈＢ（ｘ｜ｄ）はそれぞれ、瞳強度分布ｈＡ（ｘ）、ｈＢ（ｘ）と略相似関係であるため、図９に示された形状となる。すなわち、瞳強度分布ｈＡ（ｘ）、ｈＢ（ｘ）の形状は、撮像素子１０７の分光感度特性、結像光学系のレンズ枠、および結像光学系の絞り枠のうち少なくとも１つに基づいて決定される。
　Ｚを図６に示される結像光学系の射出瞳距離（射出瞳面と撮像面６００との距離）、ｄをデフォーカス量とすると、線像ｈＡ（ｘ｜ｄ）、ｈＢ（ｘ｜ｄ）は以下の式（８）で表される。線像ｈＡ（ｘ｜ｄ）、ｈＢ（ｘ｜ｄ）を合わせ、ｈＡ,Ｂ（ｘ｜ｄ）と示す。なお、射出瞳距離Ｚは、デフォーカス量ｄよりも十分に大きいものとしている。
Figure JPOXMLDOC01-appb-M000008
　線像ｈＡ（ｘ｜ｄ）のフーリエ変換ＨＡ（ｋ｜ｄ）および線像ｈＢ（ｘ｜ｄ）のフーリエ変換ＨＢ（ｋ｜ｄ）は、以下の式（９）で表され、波数ｋとデフォーカス量ｄの置換に対して不変な対称関数となる。フーリエ変換ＨＡ（ｋ｜ｄ）、ＨＢ（ｋ｜ｄ）を合わせ、ＨＡ,Ｂ（ｋ｜ｄ）と示す。
Figure JPOXMLDOC01-appb-M000009
　被写体の光量分布をｆ（ｘ）とすると、デフォーカス量ｄのデフォーカス状態での第１焦点検出信号ｇＡ（ｘ｜ｄ）と第２焦点検出信号をｇＢ（ｘ｜ｄ）は、畳み込み積分とフーリエ変換の関係式から、以下の式（１０）で表わされる。第１焦点検出信号ｇＡ（ｘ｜ｄ）および第２焦点検出信号ｇＢ（ｘ｜ｄ）を合わせ、ｇＡ,Ｂ（ｘ｜ｄ）と示す。
Figure JPOXMLDOC01-appb-M000010
　焦点検出処理では、低コントラスト被写体などの焦点検出を安定して行うために、バンドパスフィルタでＤＣ成分や高周波ノイズをカットし、第１および第２焦点検出信号ｇＡ（ｘ｜ｄ）、ｇＢ（ｘ｜ｄ）を特定の波数ｋＡＦ成分近傍に限定して、焦点検出を行う。波数ｋＡＦ成分に限定された第１焦点検出信号ｇＡ（ｘ｜ｄ、ｋＡＦ）と第２焦点検出信号ｇＢ（ｘ｜ｄ、ｋＡＦ）は、以下の式（１１）で表わされる。
Figure JPOXMLDOC01-appb-M000011
　したがって、デフォーカス量ｄでの波数ｋＡＦ成分に限定された第１焦点検出信号ｇＡ（ｘ｜ｄ、ｋＡＦ）と第２焦点検出信号ｇＢ（ｘ｜ｄ、ｋＡＦ）の位相差が、波数ｋＡＦでの像ずれ量ｑであり、以下の式（１２）で表わされる。
Figure JPOXMLDOC01-appb-M000012
　ここで、デフォーカス量ｄ０の像ずれ量ｑ０に対する変換係数Ｋ０は、以下の式（１３）で表される。
Figure JPOXMLDOC01-appb-M000013
　検出デフォーカス量ｄｄｅｔは、変換係数Ｋ０を用いて以下の式（１４）で表わされる。
Figure JPOXMLDOC01-appb-M000014
　前述したように、式（７）の位相差μＡＢ（ｋ）（＝μＡ（ｋ）－μＢ（ｋ））は、波数ｋに依存して変化する。一方、波数ｋを波数ｋＡＦに固定した場合、式（１４）の第４項中の位相差μＡＢ（ｄｋＡＦ／Ｚ）は、デフォーカス量ｄに依存して変化する。図１０（ｃ）の横軸を波数ｋからデフォーカス量ｄに置き換えると、位相差μＡＢ（ｄｋＡＦ／Ｚ）はデフォーカス量ｄに応じて図１０（ｃ）のように変化する。
　図１２は、設定されているデフォーカス量ｄと検出されたデフォーカス量（検出デフォーカス量）ｄｄｅｔとの関係図である。検出デフォーカス量ｄｄｅｔは、理想的には、図１２の実線に示されるように、設定されているデフォーカス量ｄに対して比例するように変化する。しかしながら、実際は、位相差μＡＢ（ｄｋＡＦ／Ｚ）が設定されているデフォーカス量ｄの大きさに依存するため、検出デフォーカス量ｄｄｅｔは、図１２の破線に示されるように変化してしまう。
　そこで、本実施例では、検出デフォーカス量ｄｄｅｔを補正することで、設定されているデフォーカス量（補正デフォーカス量）ｄを算出し、補正デフォーカス量に基づいて焦点検出処理を行う。
　本実施例では、設定されているデフォーカス量（補正デフォーカス量）ｄは、検出デフォーカス量ｄｄｅｔ（Ｋ０ｑ）および補正係数Ｓを用いて、以下の式（１５）で算出される。
Figure JPOXMLDOC01-appb-M000015
　なお、式（１５）において、焦点検出時は、設定されているデフォーカス量ｄは不明であるため、設定されているデフォーカス量ｄを、検出デフォーカス量ｄｄｅｔ（＝Ｋ０ｑ）で置き換えて、補正係数を算出している。
　図１３は、Ｆ値ごとの検出デフォーカス量ｄｄｅｔ（＝Ｋ０ｑ）と補正値Ｓ（ｄｄｅｔ）との関係を示す図である。補正係数は、図１３に示されるように、検出デフォーカス量の絶対値が大きい場合に小さくなるように設定されている。検出デフォーカス量の絶対値が大きい場合、図１０（ｃ）の関係性から位相差μＡＢが大きくなり、式（１５）より補正係数が小さくなるからである。また、補正係数は、図１３に示されるように、検出デフォーカス量の絶対値が小さい場合に大きくなるように設定されている。検出デフォーカス量の絶対値が小さい場合、図１０（ｃ）の関係性から位相差μＡＢが小さくなり、式（１５）より補正係数の絶対値が大きくなるからである。
　本実施例では、補正係数は、Ｆ値（絞り値）に基づいて算出されているが、本発明はこれに限定されない。補正係数は、撮像素子１０７上の焦点検出位置（像高座標）に基づいて算出されてもよい。また、補正係数は、焦点検出信号の空間周波数帯域に基づいて算出されてもよい。また、補正係数は、焦点検出信号の色（Ｒ／Ｇ／Ｂ）に基づいて算出されてもよい。また、補正係数は、レンズ情報取得手段１２１ｄが取得した交換レンズのレンズ情報（検出デフォーカス量の符号（前ピン／後ピン））に基づいて、補正係数を算出してもよい。なお、図１３に示される関係に関するテーブルは、記録媒体１３３や記憶部１３４などの記憶手段に保存しておいてもよい。
［焦点検出処理］
　以下、図１４を参照して、ＣＰＵ１２１により実行される本実施例の焦点検出方法について説明する。図１４は、本実施例の焦点検出方法を示すフローチャートである。本実施例の焦点検出方法は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての焦点検出プログラムにしたがって実行される。焦点検出プログラムは、例えば、撮像装置内のメモリ（不図示）内に格納されていてもよいし、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、本実施例ではＣＰＵ１２１が焦点検出方法を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が焦点検出装置として本実施例の焦点検出方法を実行してもよい。また、本実施例の焦点検出プログラムに対応する回路を設け、回路を動作させることで本実施例の焦点検出方法を実行してもよい。
　ステップＳ１０１では、画素信号取得手段１２１ａは、撮像素子１０７の各画素の副画素２０１、副画素２０２で受光された画素信号を取得する。なお、画像信号取得手段１２１ａは、あらかじめ本実施例の撮像素子１０７により撮像され、記録媒体に保存されている画素信号を取得してもよい。
　ステップＳ１０２では、信号生成手段１２１ｂは、画素信号に基づいて、結像光学系の異なる第１瞳部分領域に応じた第１焦点検出信号と、第２瞳部分領域に応じた第２焦点検出信号を生成する。撮像素子１０７により撮影された画素信号をＬＦとする。また、画素信号ＬＦの各画素信号内での列方向ｉＳ（１≦ｉＳ≦Ｎｘ）番目、行方向ｊＳ（１≦ｊＳ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊＳ－１）＋ｉＳ（１≦ｋ≦ＮＬＦ）として、第ｋ副画素信号とする。結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ焦点検出信号Ｉｋ（ｊ、ｉ）を、以下の式（１６）により生成する。
Figure JPOXMLDOC01-appb-M000016
　本実施例は、Ｎｘ＝２、Ｎｙ＝１、ＮＬＦ＝２のｘ方向２分割で、ｋ＝１、ｋ＝２の例である。図２に例示した画素配列に対応した画素信号から、画素ごとに、ｘ方向２分割された第１副画素２０１の信号を選択する。よって、結像光学系の第１瞳部分領域５０１に対応した、画素数Ｎ（＝水平画素数ＮＨ×垂直画素数ＮＶ）の解像度を有するベイヤー配列のＲＧＢ信号である第１焦点検出信号Ｉ１（ｊ、ｉ）を生成する。同様に、結像光学系の第２瞳部分領域５０２に対応した第２焦点検出信号Ｉ２（ｊ、ｉ）を生成する。
　本実施例において、第１焦点検出信号Ｉ１（ｊ、ｉ）と第２焦点検出信号Ｉ２（ｊ、ｉ）は、式（１０）の第１焦点検出信号ｇＡ（ｘ｜ｄ）と第２焦点検出信号ｇＢ（ｘ｜ｄ）のことである。
　次に、ベイヤー配列のＲＧＢ信号である第ｋ焦点検出信号Ｉｋ（ｋ＝１、２）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、第ｋ焦点検出輝度信号Ｙｋ（ｋ＝１、２）を、以下の式（１７）により生成する。必要に応じて、焦点検出精度を向上するために、第ｋ焦点検出輝度信号Ｙｋに、シェーディング（光量）補正処理を行ってもよい。
Figure JPOXMLDOC01-appb-M000017
　次に、第ｋ焦点検出輝度信号Ｙｋ（ｋ＝１、２）に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、略波数ｋＡＦ成分に限定された第１焦点検出信号ｄＹＡを生成する。また、第２焦点検出輝度信号Ｙ２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、略波数ｋＡＦ成分に限定された第２焦点検出信号ｄＹＢを生成する。１次元バンドパスフィルタとしては、例えば、１次微分型フィルタ［１、５、８、８、８、８、５、１、－１、－５、－８、－８、－８、－８、－５、－１］などを用いることができる。必要に応じて、１次元バンドパスフィルタの通過帯域を調整してもよい。
　本実施例において、略波数ｋＡＦ成分に限定された第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢは、式（１１）の波数ｋＡＦ成分に限定された第１焦点検出信号ｇＡ（ｘ｜ｄ、ｋＡＦ）と第２焦点検出信号ｇＢ（ｘ｜ｄ、ｋＡＦ）のことである。
　ステップＳ１０３では、焦点検出手段１２１ｃは、焦点検出信号に基づいて、検出デフォーカス量を算出する。
　焦点検出位置（ｊＡＦ、ｉＡＦ）を中心として、行方向ｊ２（－ｎ２≦ｊ２≦ｎ２）番目、瞳分割方向である列方向ｉ２（－ｍ２≦ｉ２≦ｍ２）番目の略波数ｋＡＦ成分に限定された第１焦点検出信号をｄＹＡ（ｊＡＦ＋ｊ２、ｉＡＦ＋ｉ２）、第２焦点検出信号をｄＹＢ（ｊＡＦ＋ｊ２、ｉＡＦ＋ｉ２）とする。シフト量をｓ（－ｎｓ≦ｓ≦ｎｓ）として、各位置（ｊＡＦ，ｉＡＦ）での相関量ＣＯＲＥＶＥＮ（ｊＡＦ，ｉＡＦ、ｓ）を、式（１８Ａ）により算出し、相関量ＣＯＲＯＤＤ（ｊＡＦ，ｉＡＦ、ｓ）を、式（１８Ｂ）により算出する。
Figure JPOXMLDOC01-appb-M000018
　相関量ＣＯＲＯＤＤ（ｊＡＦ，ｉＡＦ、ｓ）は、相関量ＣＯＲＥＶＥＮ（ｊＡＦ，ｉＡＦ、ｓ）に対して、略波数ｋＡＦ成分に限定された第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相だけずらした相関量である。
　次に、相関量ＣＯＲＥＶＥＮ（ｊＡＦ，ｉＡＦ、ｓ）と相関量ＣＯＲＯＤＤ（ｊＡＦ，ｉＡＦ、ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出し、焦点検出位置（ｊＡＦ、ｉＡＦ）における像ずれ量ｑを検出する。像ずれ量ｑに、式（１３）の変換係数Ｋ０を用いて、式（１４）により、検出デフォーカス量ｄｄｅｔを検出する。
　焦点検出領域の像高位置ごとに、撮像素子の光学特性（第ｋ副画素ごとの瞳強度分布）と、撮像レンズ（結像光学系）の絞り値Ｆ、射出瞳距離Ｄｌなどのレンズ情報に応じた、像ずれ量からデフォーカス量への変換係数Ｋを乗算し、焦点検出位置（ｊＡＦ、ｉＡＦ）におけるデフォーカス量ＭＤｅｆ（ｊＡＦ、ｉＡＦ）を算出する。
　ステップＳ１０４では、焦点検出手段１２１ｃは、ステップＳ１０３で算出した検出デフォーカス量を、補正係数を用いて補正することで、補正デフォーカス量を算出する。
　以上説明したように、本発明では、焦点検出信号間の形状差による焦点検出誤差を補正し、高精度に焦点検出を実行することができる。
　図１５および図１６を参照して、本実施例の撮像装置について説明する。本実施例の撮像装置は、撮像素子の構成が実施例１とは異なる。他の構成は実施例１と同様であるため、詳細な説明は省略する。本実施例における撮像装置（２次元ＣＭＯＳセンサ）１０７では、各画素が第１～第４副画素を備え、第１～第４副画素の信号を加算して読み出すことで、撮像信号（撮影画像）が生成される。
　図１５は、撮像素子１０７の画素（撮像画素）配列を示す図である。図１６は、撮像素子１０７の画素構造を示す図であり、図１６（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図１６（ｂ）は図１６（ａ）中の線ａ－ａの断面図（－ｙ方向から見た図）をそれぞれ示している。
　図１５は、撮像素子１０７の画素配列を、４列×４行の範囲で示している。本実施例では、各々の画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、４つの副画素２０１、２０２、２０３、２０４により構成さている。このため、図１５には、副画素の配列が、８列×８行の範囲で示されている。
　図１５に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち、画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。画素２００Ｒ、２００Ｇ、２００Ｂは、２列×２行に配列された副画素（焦点検出画素）２０１、２０２、２０３、２０４により構成されている。副画素（第１副画素）２０１は、結像光学系の第１瞳領域を通過した光束を受光する画素である。副画素（第２副画素）２０２は、結像光学系の第２瞳領域を通過した光束を受光する画素である。副画素（第３副画素）２０３は、結像光学系の第３瞳領域を通過した光束を受光する画素である。副画素（第４副画素）２０４は、結像光学系の第４瞳領域を通過した光束を受光する画素である。
　図１５に示されるように、撮像素子１０７は、４列×４行の画素（８列×８行の副画素）を面上に多数配置して構成されており、撮像信号（副画素信号）を出力する。本実施例の撮像素子１０７は、画素の周期Ｐが６μｍ、画素の数Ｎが横６０００列×縦４０００行＝２４００万画素である。また撮像素子１０７は、副画素の列方向の周期ＰＳＵＢが３μｍ、副画素の数ＮＳＵＢが横１２０００列×縦８０００行＝９６００万画素である。なお、画素数はこれには限られず、８Ｋ動画を実現するために横に８０００列以上を設けるようにしてもよい。また、画素配列において副画素を有する画素と有さない画素（分割していない画素）を混在させるようにしてもよい。
　図１６（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（２分割）された光電変換部３０１、３０２、３０３、３０４が形成されている。光電変換部３０１～３０４はそれぞれ、副画素２０１～２０４に対応する。
　本実施例では、撮像素子１０７の各画素の副画素２０１、２０３の画素信号に基づいて第１の焦点検出信号を生成し、各画素の副画素２０２、２０４の画素信号に基づいて第２の焦点検出信号を生成して焦点検出を行う。また、撮像素子１０７の画素ごとに、副画素２０１、２０２、２０３、２０４の信号を加算して読み出すことで、有効画素数Ｎの解像度を有する撮像信号（撮影画像）を生成することができる。
　なお、第１の焦点検出信号は、副画素２０１、２０２の画素信号に基づいて生成されてもよい。このとき、第２の焦点検出信号は、副画素２０３、２０４の画素信号に基づいて生成される。また、第１の焦点検出信号は、副画素２０１、２０４の画素信号に基づいて生成されてもよい。このとき、第２の焦点検出信号は、副画素２０２、２０３の画素信号に基づいて生成される。なお、本実施例において、ｘ方向及びｙ方向に２分割する構成としたが、これに限られるものではない。たとえば、２以上に分割するようにしてもよいし、ｘ方向とｙ方向で分割数を異ならせてもよい。
［その他の実施例］
　本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
１２１　　ＣＰＵ（焦点検出装置）
１２１ａ　取得手段
１２１ｂ　信号生成手段
１２１ｃ　焦点検出手段

Claims (14)

  1. 　結像光学系の異なる瞳領域を通過した光を光電変換して得られた画素信号を用いて焦点検出を行う焦点検出装置であって、
    　前記画素信号を取得する取得手段と、
    　前記画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成手段と、
    　前記複数の焦点検出信号に基づいて検出デフォーカス量を算出するとともに、前記異なる瞳領域に対応する位相伝達関数に基づいて、前記検出デフォーカス量を補正することで、補正デフォーカス量を算出する焦点検出手段と、を有することを特徴とする焦点検出装置。
  2. 　前記焦点検出手段は、前記検出デフォーカス量および補正係数に基づいて、前記補正デフォーカス量を算出し、
    　前記補正係数は、前記検出デフォーカス量の絶対値が大きい場合に小さく、前記絶対値が小さい場合に大きくなるように設定されていることを特徴とする請求項１に記載の焦点検出装置。
  3. 　前記焦点検出手段は、前記検出デフォーカス量および補正係数に基づいて、前記補正デフォーカス量を算出し、
    　前記補正係数は、撮像素子上の焦点検出位置に基づいて算出されることを特徴とする請求項１または２に記載の焦点検出装置。
  4. 　前記焦点検出手段は、前記検出デフォーカス量および補正係数に基づいて、前記補正デフォーカス量を算出し、
    　前記補正係数は、前記結像光学系の絞り値に基づいて算出されることを特徴とする請求項１または２に記載の焦点検出装置。
  5. 　前記焦点検出手段は、前記検出デフォーカス量および補正係数に基づいて、前記補正デフォーカス量を算出し、
    　前記補正係数は、焦点検出信号の空間周波数帯域に基づいて算出されることを特徴とする請求項１または２に記載の焦点検出装置。
  6. 　前記焦点検出手段は、前記検出デフォーカス量および補正係数に基づいて、前記補正デフォーカス量を算出し、
    　前記補正係数は、焦点検出信号の色に基づいて算出されることを特徴とする請求項１または２に記載の焦点検出装置。
  7. 　前記焦点検出手段は、前記検出デフォーカス量および補正係数に基づいて、前記補正デフォーカス量を算出し、
    　前記補正係数は、前記検出デフォーカス量の符号に基づいて算出されることを特徴とする請求項１または２に記載の焦点検出装置。
  8. 　前記焦点検出信号の形状は、撮像素子の分光感度特性、前記結像光学系のレンズ枠、および前記結像光学系の絞り枠のうち少なくとも１つに基づいて決定されることを特徴とする請求項１から７のいずれか１項に記載の焦点検出装置。
  9. 　前記結像光学系からレンズ情報を取得するレンズ情報取得手段を更に有し、
    　前記焦点検出手段は、前記レンズ情報に基づいて前記補正デフォーカス量を補正することを特徴とする請求項１から８のいずれか１項に記載の焦点検出装置。
  10. 　請求項１から９のいずれか１項に記載の焦点検出装置を有することを特徴とする撮像装置。
  11. 　結像光学系の異なる瞳領域を通過した光を光電変換して得られた画素信号を用いて焦点検出を行う焦点検出方法であって、
    　前記画素信号を取得する取得ステップと、
    　前記画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成ステップと、
    　前記複数の焦点検出信号に基づいて検出デフォーカス量を算出するとともに、前記異なる瞳領域に対応する位相伝達関数に基づいて前記検出デフォーカス量を補正することで、補正デフォーカス量を算出する焦点検出ステップと、を有することを特徴とする焦点検出方法。
  12. 　前記焦点検出ステップでは、前記検出デフォーカス量および補正係数に基づいて、前記補正デフォーカス量を算出し、
    　前記補正係数は、前記検出デフォーカス量の絶対値が大きい場合に小さく、前記絶対値が小さい場合に大きくなるように設定されていることを特徴とする請求項１１に記載の焦点検出装置。
  13. 　結像光学系の異なる瞳領域を通過した光を光電変換して得られた画素信号を用いて焦点検出を行う焦点検出装置を制御するための焦点検出プログラムであって、
    　コンピュータを、
    　前記画素信号を取得する取得手段、
    　前記画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成手段、
    　前記複数の焦点検出信号に基づいて検出デフォーカス量を算出するとともに、前記異なる瞳領域に対応する位相伝達関数に基づいて前記検出デフォーカス量を補正することで、補正デフォーカス量を算出する焦点検出手段、として機能させるための焦点検出プログラム。
  14. 　前記焦点検出手段は、補正係数に基づいて、前記検出デフォーカス量および補正係数に基づいて、前記補正デフォーカス量を算出し、
    　前記補正係数は、前記検出デフォーカス量の絶対値が大きい場合に小さく、前記絶対値が小さい場合に大きくなるように設定されていることを特徴とする請求項１３に記載の焦点検出プログラム。
     
PCT/JP2018/003792 2017-02-14 2018-02-05 焦点検出装置、焦点検出方法、および焦点検出プログラム WO2018150925A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18754478.8A EP3584621A4 (en) 2017-02-14 2018-02-05 FOCUS DETECTOR, FOCUS DETECTION METHOD AND FOCUS DETECTION PROGRAM
CN201880011931.8A CN110312957B (zh) 2017-02-14 2018-02-05 焦点检测设备、焦点检测方法和计算机可读存储介质
US16/539,014 US11184521B2 (en) 2017-02-14 2019-08-13 Focus detection apparatus, focus detection method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017024833A JP6942480B2 (ja) 2017-02-14 2017-02-14 焦点検出装置、焦点検出方法、および焦点検出プログラム
JP2017-024833 2017-02-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/539,014 Continuation US11184521B2 (en) 2017-02-14 2019-08-13 Focus detection apparatus, focus detection method, and storage medium

Publications (1)

Publication Number Publication Date
WO2018150925A1 true WO2018150925A1 (ja) 2018-08-23

Family

ID=63170244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/003792 WO2018150925A1 (ja) 2017-02-14 2018-02-05 焦点検出装置、焦点検出方法、および焦点検出プログラム

Country Status (5)

Country Link
US (1) US11184521B2 (ja)
EP (1) EP3584621A4 (ja)
JP (1) JP6942480B2 (ja)
CN (1) CN110312957B (ja)
WO (1) WO2018150925A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117572545A (zh) * 2019-04-15 2024-02-20 佳能株式会社 图像传感器和摄像设备
JP7561514B2 (ja) * 2019-04-15 2024-10-04 キヤノン株式会社 撮像素子及び撮像装置
CN111462076B (zh) * 2020-03-31 2023-05-16 湖南国科智瞳科技有限公司 一种全切片数字病理图像模糊区域检测方法及系统
US12120426B2 (en) * 2021-01-22 2024-10-15 Omnivision Technologies, Inc. Color CMOS image sensor with diffractive microlenses over subpixel photodiode arrays adapted for autofocus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156823A (ja) 1998-08-20 2000-06-06 Canon Inc 固体撮像装置及びその制御方法及び撮像装置及び光電変換セルの基本配列及び記憶媒体
JP2013062587A (ja) * 2011-09-12 2013-04-04 Canon Inc 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP2015197511A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 距離検出装置、撮像装置、距離検出方法及び視差量検出装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4904854A (en) * 1987-01-12 1990-02-27 Minolta Camera Kabushiki Kaisha Automatic focus detecting device having deviation compensation
JP4790329B2 (ja) * 2005-06-21 2011-10-12 オリンパスイメージング株式会社 焦点調節装置を有するカメラ
JP5500915B2 (ja) * 2009-08-31 2014-05-21 キヤノン株式会社 撮像装置及び露出制御方法
US8810713B2 (en) * 2011-07-13 2014-08-19 Olympus Imaging Corp. Image pickup apparatus and image pickup device for performing auto-focusing
JP6124564B2 (ja) * 2012-11-21 2017-05-10 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP2015121778A (ja) * 2013-11-21 2015-07-02 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6313685B2 (ja) * 2014-05-01 2018-04-18 キヤノン株式会社 撮像装置およびその制御方法
JP6381422B2 (ja) * 2014-11-21 2018-08-29 キヤノン株式会社 距離検出装置、撮像装置、および距離検出方法
GB2543127B (en) * 2015-07-30 2018-11-21 Canon Kk Control apparatus, image pickup apparatus, control method, program, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156823A (ja) 1998-08-20 2000-06-06 Canon Inc 固体撮像装置及びその制御方法及び撮像装置及び光電変換セルの基本配列及び記憶媒体
JP2013062587A (ja) * 2011-09-12 2013-04-04 Canon Inc 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP2015197511A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 距離検出装置、撮像装置、距離検出方法及び視差量検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3584621A4

Also Published As

Publication number Publication date
JP2018132581A (ja) 2018-08-23
US20190364220A1 (en) 2019-11-28
CN110312957B (zh) 2022-08-05
CN110312957A (zh) 2019-10-08
JP6942480B2 (ja) 2021-09-29
EP3584621A4 (en) 2020-12-02
US11184521B2 (en) 2021-11-23
EP3584621A1 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
JP6362060B2 (ja) 撮像装置及びその制御方法ならびにプログラム
JP6249825B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6239857B2 (ja) 撮像装置およびその制御方法
JP7057397B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US11184521B2 (en) Focus detection apparatus, focus detection method, and storage medium
JP6381266B2 (ja) 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP2014219549A (ja) 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP2016038414A (ja) 焦点検出装置およびその制御方法、並びに撮像装置
JP6700986B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2015194736A (ja) 撮像装置およびその制御方法
JP6862102B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2015210285A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7150785B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
JP6525829B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2015145970A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7146477B2 (ja) 検出装置および検出方法
CN113596431B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP2018116267A (ja) 焦点検出装置および方法、および撮像装置
JP6526294B2 (ja) 撮像装置及びレンズ装置
JP7237476B2 (ja) 焦点検出方法
JP2018110299A (ja) 画像処理方法、画像処理装置、および、撮像装置
JP2015215395A (ja) 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP2019219499A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2016009024A (ja) 焦点検出装置およびその制御方法、並びに撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18754478

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018754478

Country of ref document: EP

Effective date: 20190916