WO2013047111A1 - 撮像装置及び合焦用パラメータ値算出方法 - Google Patents

撮像装置及び合焦用パラメータ値算出方法 Download PDF

Info

Publication number
WO2013047111A1
WO2013047111A1 PCT/JP2012/072481 JP2012072481W WO2013047111A1 WO 2013047111 A1 WO2013047111 A1 WO 2013047111A1 JP 2012072481 W JP2012072481 W JP 2012072481W WO 2013047111 A1 WO2013047111 A1 WO 2013047111A1
Authority
WO
WIPO (PCT)
Prior art keywords
phase difference
sensitivity
incident angle
value
imaging
Prior art date
Application number
PCT/JP2012/072481
Other languages
English (en)
French (fr)
Inventor
和紀 井上
貴嗣 青木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201280048301.0A priority Critical patent/CN103842877B/zh
Priority to EP12836515.2A priority patent/EP2762941B1/en
Publication of WO2013047111A1 publication Critical patent/WO2013047111A1/ja
Priority to US14/228,989 priority patent/US9167152B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Definitions

  • the present invention relates to an imaging apparatus including an imaging element in which phase difference pixels are formed, and a focusing parameter value calculation method.
  • phase difference pixels In an imaging device (image sensor) mounted on an imaging apparatus (camera), some of the many pixels arranged in a two-dimensional array in a light receiving area are also referred to as phase difference pixels (focus detection pixels). ).
  • a phase difference AF method is employed as an AF method for focusing the photographing lens on the subject.
  • the phase difference pixel has a structure in which pupil division is performed by one pixel of the paired pixel and the other pixel, and one pixel receives one of the two light beams passing through different optical paths of the photographing lens, and the other When the other pixel receives the light beam, a relative positional shift in the pupil division direction is detected.
  • the phase difference AF method adjusts the focus shift amount of the photographic lens in accordance with the positional shift amount.
  • an imaging device equipped with an imaging element there is an interchangeable lens type imaging device in addition to a device that uses a single type of photographing lens fixed to the imaging device. If the photographic lens is replaced, its open F value, focal length, spherical aberration, etc. will be different.
  • the correction amount is prepared as table data, and appropriate table data is selected when the photographing lens is replaced. There is.
  • An object of the present invention is to provide an imaging apparatus and a focusing parameter value calculation method that can execute a favorable phase difference AF control even if a small-capacity memory is used and replaced with any kind of imaging lens.
  • An imaging device and a focusing parameter value calculation method include an imaging device in which a plurality of pixels are arranged in a two-dimensional array and a phase detection pixel is formed in a focus detection area in an effective pixel region, and the imaging device
  • a phase difference amount detection unit that analyzes a captured image signal provided by the imaging lens provided in the preceding stage, obtains a phase difference amount from detection signals of the two phase difference pixels that form a pair, and the phase difference amount
  • the imaging apparatus comprising: a control unit that obtains a defocus amount of the subject image captured by the imaging element through the imaging lens from the phase difference amount detected by the detection unit and performs focusing control of the imaging lens; Based on the photographing lens information of the photographing lens and the light receiving sensitivity distribution which is the sensitivity for each incident angle of the incident light with respect to the two phase difference pixels as the pair, the defocus amount and the position It obtains the parameter values for the ratio between Saryou, and obtains the defocus amount from the parameter value and the detected phase difference amount.
  • the present invention it is possible to obtain an in-focus parameter value that enables highly accurate in-focus control even when the photographing lens is replaced and the F value is changed.
  • FIG. 3 is a partially enlarged view of a focus detection area of the solid-state imaging device shown in FIG. 2.
  • FIG. 1 is a functional block configuration diagram of a digital camera (imaging device) according to an embodiment of the present invention.
  • the digital camera 10 includes a photographic optical system 21 that includes a photographic lens 21a, a diaphragm 21b, and the like, and an imaging element chip 22 that is disposed at a subsequent stage of the photographic optical system 21.
  • the photographing optical system 21 is provided in a replaceable manner, and a user can select a desired photographing optical system (a wide-angle lens system, a telephoto lens system, etc.).
  • the image pickup device chip 22 has a signal reading means of a single plate type solid-state image pickup device 22a for color image pickup such as a CCD type or a CMOS type, and analog image data output from the solid-state image pickup device 22a.
  • An analog signal processing unit (AFE) 22b that performs analog processing such as correlated double sampling processing, and an analog / digital conversion unit (A / D) 22c that converts analog image data output from the analog signal processing unit 22b into digital image data; Is provided.
  • AFE analog signal processing unit
  • a / D analog / digital conversion unit
  • the digital camera 10 further controls the focus position control, zoom position control of the imaging optical system 21 and the driving of the solid-state image sensor 22a, analog signal processing unit 22b, and A / D 22c according to an instruction from a system control unit (CPU) 29 described later.
  • a drive unit (including a timing generator TG) 23 that performs control and a flash 25 that emits light in response to an instruction from the CPU 29 are provided.
  • the drive unit 23 may be mounted together in the image sensor chip 22 in some cases.
  • the digital camera 10 of this embodiment further includes a digital signal processing unit 26 that takes in digital image data output from the A / D 22c and performs known image processing such as interpolation processing, white balance correction, and RGB / YC conversion processing, and an image.
  • a compression / expansion processing unit 27 that compresses data into image data such as JPEG format and vice versa; a display unit 28 that displays menus, displays through images (live view images) and captured images; Media interface (I / F) that performs interface processing between a system control unit (CPU) 29 that performs overall control of the entire digital camera, an internal memory 30 such as a frame memory, and a recording medium 32 that stores JPEG image data and the like Unit 31 and a bus 34 for interconnecting them, and the system control unit 29 includes Operation unit 33 for inputting instructions from the user is connected.
  • CPU system control unit
  • the system control unit 29 uses the subordinate digital signal processing unit 26 and the like to obtain the phase difference amount from the detection signal of the phase difference pixel and to calculate a focusing parameter value to be described later, thereby taking the photographing optical system 21.
  • FIG. 2 is a schematic diagram of the surface of the solid-state imaging device 22a.
  • the solid-state imaging element 22a is formed on a horizontally long semiconductor substrate, and a large number of pixels (photoelectric conversion elements: photodiodes) are formed in a two-dimensional array in a light receiving area (effective pixel area) 41 thereof. .
  • a central area of the light receiving area 41 is a focus detection area 42, and a phase difference pixel described later is provided in the focus detection area 42.
  • FIG. 3 is an enlarged view of a part of the focus detection area 42 shown in FIG. 2, and shows a pixel array and a color filter array.
  • odd-numbered (or even-numbered) pixel rows a square frame tilted 45 degrees indicates each pixel
  • R (red) G (green) B (blue) on each pixel is the color of the color filter.
  • honeycomb pixel array in which even-numbered (or odd-numbered) pixel rows are shifted from each other by 1/2 pixel pitch.
  • the pixel arrangement is a square lattice arrangement, and the three primary color filters RGB are arranged in a Bayer arrangement. Further, even when only the pixels in the odd rows are viewed, the pixel arrangement is a square lattice arrangement, and the three primary color filters rgb are arranged in a Bayer arrangement.
  • the light-receiving area of each pixel is the same, and the size of each light-shielding film opening is also the same (the light-shielding film opening is different only in a phase difference pixel described later).
  • microlenses having the same shape in all pixels are mounted on the color filter of each pixel (these illustrations are omitted).
  • a pixel row of pixels in which the G filters of the solid-state imaging device 22a shown in FIG. 3 are stacked (hereinafter referred to as G pixels, and R, B, r, g, and b are the same) and a pixel row of g pixels adjacent thereto.
  • one pixel per four pixels is a pair of phase difference pixels 2.
  • the phase difference pixel a pair of G pixel and g pixel
  • the light shielding film opening 2 a is smaller than the light shielding film opening 3 (only one place is shown) of other normal pixels and is shifted to the right with respect to the pixel center of the G pixel 2.
  • the pupil division is performed by providing the light shielding film opening 2b in the same manner as the light shielding film opening 2a and decentering to the left with respect to the pixel center of the g pixel 2.
  • the pixel array is a so-called honeycomb pixel array, but the following embodiments can be applied even to an image sensor having a square lattice array.
  • the phase difference pixel pair is preferably the same color pixel, it may be a color filter array in which two pixels of the same color are arranged.
  • FIG. 4 is an explanatory diagram of phase difference detection using a phase difference pixel pair (one pixel is referred to as a first pixel, and the other pixel is referred to as a second pixel).
  • FIG. 4A shows the output distribution L of the first pixel and the output distribution R of the second pixel in relation to the coordinate position of the imaging surface when the subject is at a position greatly deviated from the in-focus position. It is a graph.
  • Each of the output distributions L and R has a mountain shape (indicated by a rectangular wave in FIG. 4), and an interval ⁇ therebetween is open.
  • FIG. 4B is a graph showing output distributions L and R of the first pixel and the second pixel when the subject is present closer to the in-focus position than in FIG. Compared to FIG. 4A, the output distributions L and R are closer to each other. That is, the interval ⁇ between the output distributions L and R is narrower than that in FIG.
  • FIG. 4C is a graph showing the output distributions L and R of the first pixel and the second pixel when the subject is present at the in-focus position.
  • the phase difference amount of the detection signal by the first pixel and the second pixel can be obtained, for example, based on the value of the interval ⁇ .
  • the incident angles ⁇ 1 and ⁇ 2 of incident light, the respective separation amounts a1 and a2 (the total separation amount is a1 + a2), and the defocus amount b are in a fixed functional relationship.
  • tan ⁇ 1 a1 / b
  • ie ⁇ 1 tan ⁇ 1 a1 / b
  • tan ⁇ 2 a2 / b
  • ⁇ 2 tan ⁇ 1 a2 / b
  • the parameters ⁇ 1 and ⁇ 2 relating to the ratio between the defocus amount and the separation amount (phase difference amount) are used as focusing parameters, and the value of this parameter is calculated.
  • “tan ⁇ ” may be used as a parameter.
  • the problem here is that the incident angle of incident light differs when the photographing lens 51 shown in FIG. 5A is replaced with a photographing lens 52 having a different F value as shown in FIG. 5B. For this reason, the defocus amount varies depending on the photographing lens.
  • the parameter value for focusing that can obtain the defocus amount with high accuracy even if the F value of the photographing lens is different is calculated as follows.
  • FIG. 6 is an explanatory diagram of a method for calculating a parameter value for focusing according to the first embodiment of the present invention.
  • L and R indicate the light receiving sensitivity distribution characteristic R that is the sensitivity for each incident angle of the incident light of the second pixel, as well as the light receiving sensitivity distribution characteristic L that is the sensitivity for each incident angle of the incident light of the first pixel.
  • the horizontal axis in FIG. 4 is the coordinate position of the imaging surface, but the horizontal axis in FIG. 6 is the incident angle of the incident light.
  • the focusing parameter value is calculated from the light receiving sensitivity distribution characteristics L and R, but the light receiving sensitivity in the partial region only within the incident angle range (within the range X) corresponding to the F value of the photographing lens.
  • Distribution characteristics L and R are used. Data representing the relationship between the light receiving sensitivity distribution characteristics L and R and the incident angle in FIG. 6 may be acquired in advance, for example, at the time of inspection after manufacturing the imaging device.
  • the incident angle range X corresponding to the F value the product of the incident angle ( ⁇ ) and the light receiving sensitivity I ( ⁇ ) is integrated by the value of ⁇ , and this integrated value is divided by the integrated value of ⁇ . Then, the sensitivity center of gravity ⁇ G is obtained.
  • the incident angle corresponding to the sensitivity centroid position A1 is the focusing parameter value ⁇ 1
  • the incident angle corresponding to the sensitivity centroid position B1 is the focusing parameter value ⁇ 2.
  • the parameter values ⁇ 1 and ⁇ 2 obtained as described above are values that do not change when the F value of the lens is determined, that is, when the photographing lens to be used is determined and the range X in FIG. 6 is determined.
  • what kind of photographic lens is attached to the imaging device if the defocus amount is obtained from the phase difference obtained by the output difference between the first pixel and the second pixel, and the photographic lens is controlled in focus. Even if it is done, the subject can be focused with high accuracy.
  • the focus control of the lens can be performed with high accuracy regardless of the type of the photographing lens.
  • the parameter is not affected by the variation in the optical characteristics of the photographic lens because calculation is performed within this range X.
  • the value can be determined.
  • the calculation based on the light receiving sensitivity curves L and R of the phase difference pixel for each individual image sensor makes it possible to reduce the individual variation of the image sensor. Parameter values that are not affected can be calculated.
  • FIG. 7 is a flowchart showing an imaging process procedure executed by the CPU 29 of the imaging apparatus shown in FIG. 1 via the subordinate drive unit 24, digital signal processing unit 26, and the like.
  • the CPU 29 acquires lens data (step S1). That is, F value data set for the photographing lens (a stop of the photographing optical system) is acquired.
  • the picked-up image signal output from the solid-state image pickup device 22a in a moving image state and processed by the digital signal processing unit 26 is analyzed, and the in-focus parameter values ⁇ 1 and ⁇ 2 are calculated by the calculation formula described in FIG. To do.
  • step S3 it is determined whether or not the lens has been changed (or whether or not the F value has been changed by adjusting the diaphragm 21b of the photographing optical system), and the lens has been changed (or the F value has been changed). If not, the process jumps to step S6 and waits for S1 depression (half depression) of the two-stage shutter button.
  • the defocus amount is obtained by calculation based on the above-mentioned focusing parameter values ⁇ 1 and ⁇ 2 and the phase difference amount obtained by a known method similar to the conventional method (step S7). ), The focusing operation is executed in step S8 (step S8).
  • the process proceeds to a well-known shooting process after waiting for S2 (full depression) of the two-stage shutter button, but a description thereof will be omitted.
  • step S3 If it is determined in step S3 that lens replacement (or F value change) has been performed, the process proceeds to step S4, and F value data set for the photographic lens after lens replacement (or F value change). To get. Then, in the next step S5, the focusing parameter values ⁇ 1 and ⁇ 2 are calculated by the calculation formula described with reference to FIG. 6, and the process proceeds to step S6 described above.
  • an appropriate in-focus parameter value is calculated even if the lens is exchanged, so that an image focused on the subject can be captured.
  • the in-focus parameter values calculated in this embodiment are each of a plurality of phase difference pixel pairs discretely formed in the focus detection area 42 (center is the center of the image sensor light receiving region 41) shown in FIG. It is preferable to calculate the average value of the parameter values obtained from the above.
  • the information on the photographing lens that is, the incident angle range for each F value and image height is (1) When acquiring from a lens, (2) When obtaining from the setting information on the photographing apparatus body side, (3) When acquiring a lens ID representing a lens type from the lens and obtaining lens information (F value or incident angle range for each image height) for each lens ID stored in advance on the imaging apparatus main body side, etc. There may be obtained in any form.
  • FIG. 8 is an explanatory diagram for calculating a parameter value for focusing according to another embodiment of the present invention.
  • the focus parameter values are calculated by obtaining the sensitivity centroid positions A1 and B1, but in this embodiment, the sensitivity area center position A2 of the sensitivity distribution L in the partial region within the range X
  • the focusing parameter value is calculated from the angles ⁇ 1 and ⁇ 2 by the following equation (2).
  • the sensitivity area center position A2 where the areas of the right hatching area and the left hatching area are the same is the sensitivity area center. Even if the focus parameter values ⁇ 1 and ⁇ 2 are calculated from the sensitivity area center positions A2 and B2 instead of the sensitivity gravity center positions A1 and B1, the focus control is performed without considering the lens F value. Focus control can be performed.
  • FIG. 9 is an explanatory diagram of another embodiment of the focus detection area (phase difference area) 42 provided in the solid-state imaging device 22a.
  • the focus parameter value is calculated in one focus detection area 42.
  • the average value of the focusing parameter values is calculated for each divided area 43, and this is used as the parameter value for each divided area 43.
  • the image of the main subject imaged on the light receiving surface of the solid-state image pickup device 22a is not necessarily divided into the image formed on the center of the solid-state image pickup device 22a. It exists at an arbitrary coordinate position such as a position or a position close to the left side. For this reason, it is more accurate to divide the focus detection area 42 into a plurality of divided areas 43 and calculate the focusing parameter value for each divided area 43.
  • FIG. 10 shows a case where the image height of the main subject image is high.
  • the range of the incident angle that is, the range of the incident angle corresponding to the F value changes according to the image height (image height 0).
  • the incident angle range becomes narrower in the divided area where the incident position becomes higher, the divided area where the incident position becomes lower, and the divided area which is separated to the left and right with respect to the incident angle range at this time. The calculation with higher accuracy is possible.
  • a pair pixel of G pixel and g pixel is a phase difference pixel pair, but a pair of R pixel and r pixel and B pixel and b pixel can also be a phase difference pixel. It is.
  • the wavelengths of the R light, the G light, and the B light are different, it is necessary to consider that the incident angle characteristics are different.
  • FIG. 11 shows the incident angle characteristics of R light, G light, and B light in a normal pixel.
  • the incident angle also has wavelength dependency.
  • the range X of incident angles corresponding to the same F value does not change between R, G, and B, but the integrated value within this range changes between R, G, and B, and the sensitivity ratio changes. In consideration of this, it is necessary to calculate the parameter value for focusing.
  • FIG. 12 is a flowchart showing a detailed processing procedure of step S2 or step S5 of FIG.
  • the processing step for calculating the in-focus parameter value is entered, first, in step S11, the RGB incident angle characteristics are referred to (when phase difference pixels are also provided in the R pixel and the B pixel).
  • the sensitivity center is calculated from the characteristics of the F value, the image height, and the angle.
  • the sensitivity center may be the sensitivity center of gravity position of FIG. 5 or the sensitivity area center of FIG.
  • step S13 subsequent to step S12, it is determined whether the number of phase difference areas is one or more. If there is only one area, the process proceeds to step S14, and the focusing parameter value of image height 0 is set. Is calculated and the process is terminated. If there are a plurality of areas, the process advances to step S15 to calculate a focusing parameter value corresponding to each area, and the process ends.
  • the focusing parameter is determined from the incident angle of the incident light corresponding to the F value of the photographing lens and the light receiving sensitivity distribution characteristic which is the sensitivity for each incident angle of the incident light of the phase difference pixel pair. Since the value is calculated, an appropriate in-focus parameter value can be calculated even when the photographic lens is replaced, and high-precision focusing on the subject of the photographic lens can be performed.
  • the present invention is limited to these embodiments. It is not a thing.
  • the center of sensitivity is obtained by using only the partial region within the range of the incident angle corresponding to the F value in the light receiving sensitivity distributions L and R, Based on this, a parameter value for focusing is calculated.
  • the light reception sensitivity distribution of each of the above embodiments is not only the sensitivity of the phase difference pixels but also the sensitivity for each incident angle of the incident light with respect to the two paired phase difference pixels and the incident light with respect to the pixels other than the phase difference pixels. It may be a sensitivity ratio with the sensitivity for each incident angle.
  • FIG. 13 is a diagram showing the incident angle characteristic of the ratio of the sensitivity of the phase difference pixel / the sensitivity of the normal pixel.
  • the ratio of the sensitivity of the phase difference pixel / the sensitivity of the normal pixel can be obtained from the output value of the phase difference pixel / the output value of the normal pixel under the same conditions.
  • the combination of the phase difference pixel for obtaining the sensitivity ratio and the normal pixel is preferably a combination of neighboring pixels.
  • the spectral sensitivity distribution does not depend on the absolute value of the light amount when acquiring the light reception sensitivity distribution. Therefore, it is possible to acquire the light receiving sensitivity distribution relatively easily and accurately.
  • the focusing parameter value in this case can be obtained by calculating the sensitivity center of gravity or the area center of the sensitivity from the light receiving sensitivity distribution shown in FIG. 13 as described above, and the relationship between the defocus amount and the separation amount can be accurately determined. It can be calculated.
  • An imaging apparatus and a method for calculating a focusing parameter value include an imaging device in which a plurality of pixels are arranged in a two-dimensional array and phase difference pixels are formed in a focus detection area in an effective pixel area, and the imaging thereof A photographic lens provided in front of the element, a phase difference amount detection unit that analyzes a captured image signal from the image sensor and obtains a phase difference amount from detection signals of two paired phase difference pixels, and the phase difference
  • the imaging apparatus comprising: a control unit that obtains a defocus amount of the subject image captured by the imaging element through the imaging lens from the phase difference amount detected by the amount detection unit and performs focusing control of the imaging lens; Is based on the photographic lens information of the photographic lens and the light receiving sensitivity distribution which is the sensitivity for each incident angle of the incident light with respect to the two phase difference pixels as a pair.
  • Obtains the parameter values for the ratio between the serial phase difference amount characterized in that the said parameter value
  • the photographing lens information of the imaging apparatus of the embodiment includes an F value of the photographing lens, and the control unit is within an incident angle range corresponding to the F value of the photographing lens in the light receiving sensitivity distribution. In this partial region, the value of the incident angle corresponding to the sensitivity center of the partial region is calculated as the parameter value.
  • the value of the incident angle corresponding to the sensitivity center of the imaging apparatus of the embodiment is the sensitivity of the partial region in the partial region within the incident angle range corresponding to the F value of the photographing lens in the light receiving sensitivity distribution. It is a value of an incident angle corresponding to the position of the center of gravity.
  • the value of the incident angle corresponding to the sensitivity center of the imaging apparatus of the embodiment is the sensitivity of the partial region in the partial region within the incident angle range corresponding to the F value of the photographing lens in the light receiving sensitivity distribution. It is a value of the incident angle corresponding to the area center position.
  • the photographing lens information of the imaging apparatus of the embodiment includes information on an F angle of the photographing lens and an incident angle range corresponding to an image height position in at least the focus detection area on the imaging surface of the imaging element.
  • the control unit calculates the parameter value using an incident angle range corresponding to an image height in the focus detection area and an incident angle range corresponding to the F value.
  • control unit of the imaging apparatus divides the focus detection area into a plurality of divided areas and obtains the parameter value for each of the divided areas corresponding to the image height.
  • the light receiving sensitivity distribution of the imaging apparatus includes the sensitivity for each incident angle of incident light with respect to the two phase difference pixels as a pair and the sensitivity for each incident angle of incident light with respect to pixels other than the phase difference pixels. It is characterized by comprising the following sensitivity ratio.
  • control unit of the imaging apparatus is characterized in that the parameter value for each color light is obtained from the light receiving sensitivity distribution for each of red light, green light, and blue light.
  • the photographing lens of the imaging apparatus is a replaceable photographing lens, and the parameter value is obtained after the photographing lens is replaced.
  • the defocus amount can be obtained with high accuracy, and the focusing control of the photographing lens can be performed with high accuracy.
  • the imaging device and the focusing parameter value calculation method according to the present invention can accurately perform the focusing operation on the subject of the photographing lens even when the lens is replaced, and can capture a focused subject image. This is useful when applied to a digital camera or the like.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　撮像装置は、複数の画素が二次元アレイ状に配列形成され有効画素領域内に位相差画素が形成された撮像素子と、撮影レンズと、撮像素子による撮像画像信号を解析し、対となる２つの位相差画素の検出信号から位相差量を求める位相差量検出部と、検出された位相差量から撮像素子が撮像した被写体画像のデフォーカス量を求め、撮影レンズの合焦制御を行う制御部とを備える。制御部は、撮影レンズの撮影レンズ情報と、対となる２つの位相差画素に対する入射光の入射角度毎の感度である受光感度分布とに基づいて、デフォーカス量と位相差量との比に関するパラメータ値を求め、デフォーカス量を求める。

Description

撮像装置及び合焦用パラメータ値算出方法
　本発明は、位相差画素が形成された撮像素子を備える撮像装置及び合焦用パラメータ値算出方法に関する。
　撮像装置（カメラ）に搭載される撮像素子（イメージセンサ）には、受光領域に二次元アレイ状に配列形成された多数の画素の内の一部画素を位相差画素（焦点検出画素ともいわれる。）としたものがある。この様な撮像素子を搭載した撮像装置では、撮影レンズの焦点位置を被写体に合焦させるＡＦ方式として、位相差ＡＦ方式が採用される。
　位相差画素は、ペア画素の一方の画素と他方の画素とで瞳分割を行う構造を備え、撮影レンズの異なる光路を通った２つの光束のうち一方の光束を一方の画素が受光し、他方の光束を他方の画素が受光することで、瞳分割方向の相対的な位置ズレを検出する。そして、この位置ズレ量に応じて、撮影レンズのピントずれ量を調節するのが位相差ＡＦ方式である。
　一方、撮像素子を搭載した撮像装置には、一種類の撮影レンズを撮像装置に固定して用いるものの他、レンズ交換式の撮像装置も存在する。撮影レンズが交換されてしまうと、その開放Ｆ値や焦点距離，球面収差等が異なってくる。
　前述のような位相差画素を含む撮像素子を搭載した撮像装置において、レンズ交換式の撮像装置とする場合には、撮像素子上の位相差画素の配置位置やペア画素間の間隔等の物理的条件は変更不可のため、撮影レンズが交換されてしまうと、撮影レンズの合焦精度に影響が出てしまう。
　そこで従来技術としては、例えば下記の特許文献１に記載されている様に、補正量をテーブルデータとして用意しておき、撮影レンズが交換されたとき適切なテーブルデータを選択する様にしているものがある。
日本国特開２０１０―１０７７７１号公報
　撮影レンズが交換される毎に、適切な補正量をテーブルデータから算出すれば、精度の高い位相差ＡＦ処理を実行することができる。しかし、多種類の撮影レンズ毎に補正用のテーブルデータを用意するのでは大容量のメモリが必要となり、撮像装置の製造コストを増大させてしまう。また、テーブルデータが用意されていない種類の撮影レンズに交換されたとき、適切な位相差ＡＦ制御が実行できず、ピンボケ画像が撮影されてしまうという問題が生じる。
　本発明の目的は、小容量のメモリで済みかつ如何なる種類の撮影レンズに交換されても良好な位相差ＡＦ制御を実行できる撮像装置及び合焦用パラメータ値算出方法を提供することにある。
　本発明の撮像装置及び合焦用パラメータ値算出方法は、複数の画素が二次元アレイ状に配列形成され有効画素領域内の焦点検出エリアに位相差画素が形成された撮像素子と、その撮像素子の前段に設けられた撮影レンズと、その撮像素子による撮像画像信号を解析し、対となる２つの上記位相差画素の検出信号から位相差量を求める位相差量検出部と、上記位相差量検出部が検出した位相差量から上記撮影レンズを通して上記撮像素子が撮像した被写体画像のデフォーカス量を求め、上記撮影レンズの合焦制御を行う制御部とを備える撮像装置において、上記制御部は、上記撮影レンズの撮影レンズ情報と、上記対となる２つの位相差画素に対する入射光の入射角度毎の感度である受光感度分布とに基づいて、上記デフォーカス量と上記位相差量との比に関するパラメータ値を求め、上記パラメータ値と上記検出された位相差量から上記デフォーカス量を求めることを特徴とする。
　本発明によれば、撮影レンズが交換されＦ値が変更されても、精度の高い合焦制御を行うことができる合焦用のパラメータ値を求めることができる。
本発明の一実施形態に係る撮像装置の機能ブロック図である。 図１に示す固体撮像素子の説明図である。 図２に示す固体撮像素子の焦点検出エリアの一部拡大図である。 位相差画素による位相差の説明図である。 Ｆ値の異なる撮影レンズが交換される前（ａ）と後（ｂ）における位相差量（分離量）とデフォーカス量の関係を説明する図である。 本発明の第１実施形態に係る合焦用パラメータ値の算出方法説明図である。 レンズ交換があった場合のパラメータ値の算出処理手順を示すフローチャートである。 本発明の第２実施形態に係る合焦用パラメータ値の算出方法説明図である。 焦点検出エリアを複数エリアに分割する説明図である。 分割エリアの受光面中心に対する位置と入射角度との関係を示す図である。 入射光の色の違い（Ｒ，Ｇ，Ｂ）により入射角度特性が変わることを示すグラフである。 図７のパラメータ値算出処理ステップの詳細処理手順を示すフローチャートである。 位相差画素の感度／通常画素の感度の比の入射角度特性を示す図である。
　以下、本発明の一実施形態について、図面を参照して説明する。
　図１は、本発明の一実施形態に係るデジタルカメラ（撮像装置）の機能ブロック構成図である。このデジタルカメラ１０は、撮影レンズ２１ａや絞り２１ｂ等を備える撮影光学系２１と、この撮影光学系２１の後段に配置された撮像素子チップ２２とを備える。この撮影光学系２１は、交換可能に設けられており、ユーザが所望の撮影光学系（広角レンズ系，望遠レンズ系など）を選択できる。
　撮像素子チップ２２は、信号読出手段がＣＣＤ型やＣＭＯＳ型等のカラー画像撮像用単板式の固体撮像素子２２ａと、固体撮像素子２２ａから出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部（ＡＦＥ）２２ｂと、アナログ信号処理部２２ｂから出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２２ｃとを備える。
　このデジタルカメラ１０は更に、後述のシステム制御部（ＣＰＵ）２９からの指示によって，撮影光学系２１の焦点位置制御，ズーム位置制御や固体撮像素子２２ａ，アナログ信号処理部２２ｂ，Ａ／Ｄ２２ｃの駆動制御を行う駆動部（タイミングジェネレータＴＧを含む）２３と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。駆動部２３を撮像素子チップ２２内に一緒に搭載する場合もある。
　本実施形態のデジタルカメラ１０は更に、Ａ／Ｄ２２ｃから出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等の周知の画像処理を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像（ライブビュー画像）や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス３４とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。
　システム制御部２９は、配下のデジタル信号処理部２６等を用いて、位相差画素の検出信号から位相差量を求めたり、後述する合焦用パラメータ値を算出したりして、撮影光学系２１の焦点位置制御（合焦制御）を行う位相差量検出部及び制御部として機能する。
　図２は、固体撮像素子２２ａの表面模式図である。この固体撮像素子２２ａは、横長矩形の半導体基板に形成されており、その受光領域（有効画素領域）４１に、多数の画素（光電変換素子：フォトダイオード）が二次元アレイ状に形成されている。この受光領域４１の中央領域が焦点検出エリア４２となっており、この焦点検出エリア４２に後述する位相差画素が設けられている。
　図３は、図２に示す焦点検出エリア４２の一部領域拡大図であり、画素配列，カラーフィルタ配列を示している。図示する実施形態では、奇数行（又は偶数行）の画素行（４５度傾けた正方形枠が各画素を示し、各画素上のＲ（赤）Ｇ（緑）Ｂ（青）がカラーフィルタの色を表している。）に対して偶数行（又は奇数行）の画素行を１／２画素ピッチずつずらして配置した、所謂ハニカム画素配列となっている。
　そして、偶数行の各画素だけみると画素配列は正方格子配列となり、これに三原色カラーフィルタＲＧＢがベイヤ配列されている。また、奇数行の各画素だけみても画素配列は正方格子配列となり、これに三原色カラーフィルタｒｇｂがベイヤ配列されている。Ｒ＝ｒ，Ｇ＝ｇ，Ｂ＝ｂであり、斜めに隣接する同色画素がペア画素を形成する。各画素の受光面積は同一であり、夫々の遮光膜開口の大きさも同一（後述する位相差画素だけ遮光膜開口が異なる。）である。更に、個々の画素のカラーフィルタの上に、全画素で同一形状のマイクロレンズが搭載される（これらの図示は省略する）。
　図３に示す固体撮像素子２２ａのＧフィルタを積層した画素（以下、Ｇ画素という。Ｒ，Ｂ，ｒ，ｇ，ｂも同様とする。）の画素行とこれに隣接するｇ画素の画素行において、４画素に１画素を位相差画素２のペアとしている。位相差画素（Ｇ画素，ｇ画素のペア）２において、Ｇ画素２の画素中心に対して遮光膜開口２ａを他の通常画素の遮光膜開口３（一箇所だけ図示）より小さくかつ右に偏心して設け、ｇ画素２の画素中心に対して遮光膜開口２ｂを遮光膜開口２ａと同じかつ左に偏心して設けることで、瞳分割を行っている。
　なお、図３の例では、画素配列が所謂ハニカム画素配列であるが、画素配列が正方格子配列の撮像素子でも以下の実施形態を適用可能である。位相差画素ペアは、同色画素であるのが望ましいため、同色２画素が並ぶカラーフィルタ配列としても良い。
　図４は、位相差画素ペア（一方の画素を第１画素、他方の画素を第２画素ということにする。）による位相差検出の説明図である。図４（ａ）は、被写体が合焦位置から大きく外れた位置に存在する場合の、第１画素の出力分布Ｌと第２画素の出力分布Ｒを撮像面の座標位置との関係で示したグラフである。夫々の出力分布Ｌ，Ｒは山形（図４では矩形波で示す）となっており、両者間の間隔αは開いている。
　図４（ｂ）は、図４（ａ）より被写体が合焦位置に近づいて存在する場合の第１画素，第２画素の出力分布Ｌ，Ｒを示すグラフである。図４（ａ）に比べて、出力分布Ｌ，Ｒは互いに近づいている。つまり、各出力分布Ｌ，Ｒ間の間隔αが図４（ａ）より狭まっている。
　図４（ｃ）は、被写体が合焦位置に存在する場合の第１画素，第２画素の出力分布Ｌ，Ｒを示すグラフである。被写体が合焦位置に存在する場合には、第１画素，第２画素の検出信号間に位相差は存在せず、両方の出力分布Ｌ，Ｒは重なることになる。第１画素，第２画素による検出信号の位相差量は、例えば上記の間隔αの値に基づいて求めることができる。
　図５は、第１画素，第２画素の位相差量（＝分離量）とデフォーカス量との関係を示す図である。デフォーカス量とは、撮像面上で結像していない場合の結像位置（分離量＝０）と撮像面までの距離つまりピントズレ量である。
　入射光の入射角度θ１，θ２と、夫々の分離量ａ１，ａ２（全体の分離量はａ１＋ａ２）と、デフォーカス量ｂとは一定の関数関係にあり、
　ｔａｎθ１＝ａ１／ｂ　すなわち　θ１＝ｔａｎ－１ａ１／ｂ
　ｔａｎθ２＝ａ２／ｂ　すなわち　θ２＝ｔａｎ－１ａ２／ｂ
となる。このため、第１画素と第２画素の位相差量（分離量＝ａ１＋ａ２）とθ１，θ２とが分かれば、デフォーカス量ｂを求めることができる。そこで、本実施形態では、デフォーカス量と分離量（位相差量）との比に関するパラメータθ１，θ２を合焦用パラメータとし、このパラメータの値を算出する。勿論、「ｔａｎθ」をパラメータとしても良い。
　ここで問題となるのは、図５（ａ）に示す撮影レンズ５１を、図５（ｂ）に示す様に、Ｆ値の異なる撮影レンズ５２に交換した場合に、入射光の入射角度が異なるため、デフォーカス量が撮影レンズによって違ってきてしまう。
　そこで、本実施形態では、次の様にして、撮影レンズのＦ値が異なっても、精度良くデフォーカス量を求めることができる合焦用パラメータ値を算出する。
　図６は、本発明の第１実施形態に係る合焦用パラメータ値の算出方法説明図である。Ｌ，Ｒは、第１画素の入射光の入射角度毎の感度である受光感度分布特性Ｌと同じく第２画素の入射光の入射角度毎の感度である受光感度分布特性Ｒを示している。図４における横軸は撮像面の座標位置であったが、図６の横軸は入射光の入射角度である。本実施形態では、この受光感度分布特性Ｌ，Ｒから合焦用パラメータ値を算出するのであるが、撮影レンズのＦ値に対応する入射角度範囲内（範囲Ｘ内）だけの部分領域における受光感度分布特性Ｌ，Ｒを用いる。図６の受光感度分布特性Ｌ，Ｒと入射角度との関係を表すデータは、撮像素子製造後の検査の時など、予め取得しておけば良い。
　撮影時の撮影レンズのＦ値に対応した入射角度範囲Ｘにおいて、受光感度分布特性Ｌの感度重心（輝度重心）位置Ａ１を求めると共に、受光感度分布特性Ｒの感度重心位置Ｂ１を、次の数１に基づいて算出する。
Figure JPOXMLDOC01-appb-M000001
　Ｆ値に対応した入射角度範囲Ｘ内において、入射角度（θ）と受光感度Ｉ（θ）との乗算値をθの値で積算し、この積算値を、θの積算値で除すことで、感度重心θGを求める。感度重心位置Ａ１に対応する入射角度が合焦用パラメータ値θ１となり、感度重心位置Ｂ１に対応する入射角度が合焦用パラメータ値θ２となる。
　上述の様にして求めたパラメータ値θ１，θ２は、レンズのＦ値が定まると、即ち、使用する撮影レンズが決まり図６の範囲Ｘが決まると、変化しない値となるため、このパラメータ値と、従来と同様に、第１画素と第２画素の出力差による求めた位相差量とから、デフォーカス量を求めて撮影レンズを合焦制御すれば、どの様な撮影レンズが撮像装置に装着されていても、高精度に被写体に合焦させることができる。
　以上述べた実施形態によれば、Ｆ値に対応した範囲Ｘ内で合焦用パラメータ値を求めるため、撮影レンズの種類によらずに、精度良くレンズの合焦制御を行うことができる。
　また、撮影レンズの光学特性にバラツキがあり撮影レンズによってＦ値に対応した範囲Ｘにバラツキが生じても、この範囲Ｘ内で計算を行うため撮影レンズの光学特性のバラツキに影響を受けないパラメータ値を求めることができる。
　更に、撮像素子の位相差画素の構造に個体バラツキが存在しても、撮像素子の個体毎の位相差画素の受光感度曲線Ｌ，Ｒに基づいて計算を行うことで、撮像素子の個体バラツキに影響を受けないパラメータ値を算出することができる。
　図７は、図１に示す撮像装置のＣＰＵ２９が配下の駆動部２４やデジタル信号処理部２６等を介して実行する撮像処理手順を示すフローチャートである。カメラ電源がオンになると、ＣＰＵ２９は、レンズデータを取得する（ステップＳ１）。即ち、撮影レンズ（撮影光学系の絞り）に設定されているＦ値のデータを取得する。
　次のステップＳ２では、固体撮像素子２２ａから動画状態で出力されデジタル信号処理部２６で処理された撮像画像信号を解析し、図６で説明した計算式により合焦用パラメータ値θ１，θ２を算出する。
　次のステップＳ３では、レンズ交換が行われたか否か（あるいは撮影光学系の絞り２１ｂが調整されてＦ値が変更されたか否か）を判定し、レンズ交換（あるいはＦ値変更）が行われない場合には、ステップＳ６に飛び、２段シャッタボタンのＳ１押下（半押し）を待機する。そして、シャッタボタンが半押しされたとき、上記の合焦用パラメータ値θ１，θ２と、従来と同様の公知の方法で求めた位相差量とに基づいてデフォーカス量を演算により求め（ステップＳ７）、ステップＳ８で合焦動作を実行する（ステップＳ８）。以下、２段シャッタボタンのＳ２押下（全押し）を待機して周知の撮影処理に進むが、これについての説明は省略する。
　ステップＳ３で、レンズ交換（あるいはＦ値変更）が行われていると判定した場合には、ステップＳ４に進み、レンズ交換（あるいはＦ値変更）後の撮影レンズに設定されているＦ値のデータを取得する。そして次のステップＳ５で図６で説明した計算式により合焦用パラメータ値θ１，θ２を算出し、以下、前述したステップＳ６に進む。
　以上述べた実施形態によれば、レンズ交換が行われても、適切な合焦用パラメータ値が算出されるため、被写体に合焦した画像を撮像することができる。なお、この実施形態で算出する合焦用パラメータ値は、図２に示す焦点検出エリア４２（中心は撮像素子受光領域４１の中心）内に離散的に形成された複数の位相差画素ペアの夫々から求められるパラメータ値の平均値として算出するのが良い。
　なお、撮影レンズの情報つまりＦ値や像高毎の入射角度範囲は、
（１）レンズから取得する場合、
（２）撮影装置本体側の設定情報から得る場合、
（３）レンズからレンズ種別を表すレンズＩＤを取得し、予め撮像装置本体側で記憶しているレンズＩＤ毎のレンズ情報（Ｆ値や像高毎の入射角度範囲）を得る場合、などの形態があり、いずれの形態で取得しても良い。
　図８は、本発明の別実施形態に係る合焦用パラメータ値の算出説明図である。図６の実施形態では、感度重心位置Ａ１，Ｂ１を求めることで、合焦用パラメータ値を算出したが、本実施形態では、範囲Ｘ内の部分領域における感度分布Ｌの感度面積中心位置Ａ２と、範囲Ｘ内の部分領域における感度分布Ｒの感度面積中心位置Ｂ２とを求めることで、その角度θ１，θ２から合焦用パラメータ値を、次の数２により算出する。
Figure JPOXMLDOC01-appb-M000002
　この算出式によれば、Ｆ値に対応する入射角度範囲ＸをθF1～θF2とし、感度分布特性Ｌにおける感度面積中心位置Ａ２となる角度をθｃとしたとき、感度Ｉ（θ）のθF1からθｃまでの積算値が、感度Ｉ（θ）のθｃからθF2までの積算値と同じ値になったときのθｃの位置を感度面積中心位置としている。感度分布Ｒでも同様に計算する。
　図８で示せば、感度分布特性Ｌの範囲Ｘ内において、右ハッチング領域と、左ハッチング領域の面積が同じになる感度面積中心位置Ａ２が感度面積中心となる。感度重心位置Ａ１，Ｂ１でなく、感度面積中心位置Ａ２，Ｂ２から合焦用パラメータ値θ１，θ２を算出しても、レンズＦ値を考慮せずに合焦制御を行う従来よりも高精度な合焦制御を行うことができる。
　図９は、固体撮像素子２２ａに設ける焦点検出エリア（位相差エリア）４２の別実施形態の説明図である。前述した実施形態では、１つの焦点検出エリア４２で合焦用パラメータ値を算出したが、本実施形態では、焦点検出エリア４２を複数領域、図示の例では４×３＝１２の分割エリア４３に分け、分割エリア４３毎に、合焦用パラメータ値の平均値を算出し、これを分割エリア４３毎のパラメータ値とする。
　固体撮像素子２２ａの受光面に結像する主要被写体の画像は、必ずしも固体撮像素子２２ａの中心に結像する分けではなく、撮影シーンによって、受光面中心から高い位置，低い位置，右側に寄った位置，左側に寄った位置等の任意座標位置に存在することになる。このため、焦点検出エリア４２を複数の分割エリア４３に分割し、夫々の分割エリア４３毎に、合焦用パラメータ値を算出する方が精度が高くなる。
　また、例えば、主要被写体画像の像高が高い場合を図１０に示すが、この場合、入射角度の範囲即ちＦ値に対応した入射角度の範囲は、像高に応じて変化する（像高０のときの入射角度範囲に対して、入射位置が高くなる分割エリア，低くなる分割エリア，左右に離れる分割エリアでは入射角度の範囲は狭くなる。）ため、分割エリア４３毎に合焦用パラメータ値を算出する方が、高精度な算出が可能となる。
　図３に示す固体撮像素子２２ａの場合、Ｇ画素とｇ画素のペア画素を位相差画素ペアとしたが、Ｒ画素とｒ画素，Ｂ画素とｂ画素のペアを位相差画素とすることも可能である。この場合、Ｒ光，Ｇ光，Ｂ光の波長が異なるため、入射角度特性が異なってくることを考慮する必要がある。図１１に、通常画素におけるＲ光，Ｇ光，Ｂ光の入射角度特性を示すが、位相差画素でも同様に入射角度には波長依存性が出る。同じＦ値に対応する入射角度の範囲ＸはＲ，Ｇ，Ｂで変わらないが、この範囲内の積算値がＲ，Ｇ，Ｂで変わり、感度比が変化する。これを考慮して合焦用パラメータ値を算出する必要がある。
　図１２は、図７のステップＳ２又はステップＳ５の詳細処理手順を示すフローチャートである。合焦用パラメータ値を算出する処理ステップに入った場合、先ず、ステップＳ１１で、ＲＧＢの入射角度特性を参照する（位相差画素をＲ画素，Ｂ画素にも設けた場合）。そして次のステップＳ１２で、Ｆ値と像高と角度の特性から、感度中心を算出する。感度中心は、図５の感度重心位置でも良く、図８の感度面積中心でも良い。
　ステップＳ１２の次のステップＳ１３では、位相差エリア数が１つであるか複数であるかを判定し、１つのエリアしか無い場合には、ステップＳ１４に進み、像高０の合焦用パラメータ値を算出してこの処理を終了する。複数のエリアがある場合には、ステップＳ１５に進み、各エリアに対応する合焦用パラメータ値を算出し、この処理を終了する。
　以上述べた実施形態によれば、撮影レンズのＦ値に対応する入射光の入射角度と位相差画素ペアの夫々の入射光の入射角度毎の感度である受光感度分布特性とから合焦用パラメータ値を算出するため、撮影レンズを交換した場合でも適切な合焦用パラメータ値が算出でき、撮影レンズの被写体への高精度な合焦を行うことが可能となる。
　なお、上述した説明では、合焦用パラメータ値θ１，θ２を、感度重心位置から求めた実施形態と、感度面積中心位置から求めた実施形態とについて述べたが、本発明はこれら実施形態に限るものではない。本願発明では、受光感度分布Ｌ，Ｒの全体を用いるのではなく、受光感度分布Ｌ，ＲのうちＦ値に対応した入射角度の範囲内の部分領域だけを用いて感度中心を求め、これに基づいて合焦用パラメータ値を算出する。
　また、上記した各実施形態の受光感度分布は、位相差画素の感度以外にも、対となる２つの位相差画素に対する入射光の入射角度毎の感度と位相差画素以外の画素に対する入射光の入射角度毎の感度との感度比であってもよい。
　即ち、デフォーカス量と分離量の関係を算出する際に使用する受光感度分布として、位相差画素の感度を用いることに代えて、位相差画素の感度／通常画素の感度で表される比を用いる。図１３は位相差画素の感度／通常画素の感度の比の入射角度特性を示す図である。位相差画素の感度／通常画素の感度の比は、同条件下での位相差画素の出力値／通常画素の出力値から求めることができる。感度の比を求める位相差画素と通常画素の組み合わせは、近傍の画素同士の組み合わせであることが好ましい。
　位相差画素の感度／通常画素の感度の比を用いることにより、受光感度分布を取得する際、分光感度分布が光量の絶対値に依存しなくなる。そのため、比較的容易にかつ精度よく受光感度分布を取得できる。この場合の合焦用パラメータ値は、前述同様に、図１３に示す受光感度分布から感度重心又は感度の面積中心を算出して求めることができ、デフォーカス量と分離量との関係を精度よく算出できる。
　以上述べた様に、本明細書には次の事項が開示されている。
実施形態による撮像装置及び合焦用パラメータ値の算出方法は、複数の画素が二次元アレイ状に配列形成され有効画素領域内の焦点検出エリアに位相差画素が形成された撮像素子と、その撮像素子の前段に設けられた撮影レンズと、その撮像素子による撮像画像信号を解析し、対となる２つの上記位相差画素の検出信号から位相差量を求める位相差量検出部と、上記位相差量検出部が検出した位相差量から上記撮影レンズを通して上記撮像素子が撮像した被写体画像のデフォーカス量を求め、上記撮影レンズの合焦制御を行う制御部とを備える撮像装置において、上記制御部は、上記撮影レンズの撮影レンズ情報と、上記対となる２つの位相差画素に対する入射光の入射角度毎の感度である受光感度分布とに基づいて、上記デフォーカス量と上記位相差量との比に関するパラメータ値を求め、上記パラメータ値と上記検出された位相差量から上記デフォーカス量を求めるものであることを特徴とする。
　また、実施形態の撮像装置の上記撮影レンズ情報は上記撮影レンズのＦ値を含むものであり、上記制御部は、上記受光感度分布のうち上記撮影レンズのＦ値に対応する入射角度の範囲内の部分領域において、その部分領域の感度中心に対応する入射角度の値を上記パラメータ値として算出することを特徴とする。
　また、実施形態の撮像装置の上記感度中心に対応する入射角度の値は、上記受光感度分布のうち上記撮影レンズのＦ値に対応する入射角度の範囲内の部分領域において、その部分領域の感度重心位置に対応する入射角度の値であることを特徴とする。
　また、実施形態の撮像装置の上記感度中心に対応する入射角度の値は、上記受光感度分布のうち上記撮影レンズのＦ値に対応する入射角度の範囲内の部分領域において、その部分領域の感度面積中心位置に対応する入射角度の値であることを特徴とする。
　また、実施形態の撮像装置の上記撮影レンズ情報は上記撮影レンズのＦ値と上記撮像素子の撮像面上の少なくとも上記焦点検出エリア内の像高位置に対応する入射角度の範囲の情報を含むものであり、上記制御部は、上記焦点検出エリア内の像高に対応した入射角度の範囲と上記Ｆ値に対応した入射角度の範囲を使用して上記パラメータ値を算出することを特徴とする。
　また、実施形態の撮像装置の上記制御部は、上記焦点検出エリアを複数の分割エリアに分割し、上記像高に対応した上記分割エリア毎に上記パラメータ値を求めることを特徴とする。
　また、実施形態の撮像装置の上記受光感度分布は、上記対となる２つの位相差画素に対する入射光の入射角度毎の感度と上記位相差画素以外の画素に対する入射光の入射角度毎の感度との感度比からなることを特徴とする。
　また、実施形態の撮像装置の上記制御部は、赤色光，緑色光，青色光毎の受光感度分布から各色光毎の上記パラメータ値を求めることを特徴とする。
　また、実施形態の撮像装置の上記撮影レンズは交換可能な撮影レンズであり、上記撮影レンズの交換後に上記パラメータ値を求めることを特徴とする。
　以上述べた実施形態によれば、撮影レンズのＦ値が変更された場合でも、精度良くデフォーカス量を求めることができ、高精度に撮影レンズの合焦制御を行うことができる。
　本発明に係る撮像装置及び合焦用パラメータ値算出方法は、レンズ交換された場合でも撮影レンズの被写体への合焦動作を的確にでき、ピントの合った被写体画像を撮像することができるため、デジタルカメラ等に適用すると有用である。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１１年９月３０日出願の日本特許出願（特願２０１１－２１８５３２）、及び２０１２年８月３０日出願の日本国特許出願(特願２０１２－１８９５０４)に基づくものであり、その内容はここに参照として取り込まれる。
２　位相差検出画素ペア（第１画素，第２画素）
２ａ，２ｂ　偏心した遮光膜開口
１０　撮像装置（デジタルカメラ）
２１　撮影光学系
２１ａ　撮影レンズ
２１ｂ　絞り
２２ａ　固体撮像素子
２４　駆動部
２６　デジタル信号処理部
２９　システム制御部（ＣＰＵ）
４１　受光領域
４２　焦点検出エリア
４３　分割エリア
Ｌ　第１画素の受光感度分布特性
Ｒ  第２画素の受光感度分布特性
Ａ１，Ｂ１　感度重心位置
Ａ２，Ｂ２　感度面積中心位置

Claims (10)

  1. 　複数の画素が二次元アレイ状に配列形成され有効画素領域内の焦点検出エリアに位相差画素が形成された撮像素子と、
    　該撮像素子の前段に設けられた撮影レンズと、
    　該撮像素子による撮像画像信号を解析し、対となる２つの前記位相差画素の検出信号から位相差量を求める位相差量検出部と、
    　前記位相差量検出部が検出した位相差量から前記撮影レンズを通して前記撮像素子が撮像した被写体画像のデフォーカス量を求め、前記撮影レンズの合焦制御を行う制御部と
    を備える撮像装置であって、
    　前記制御部は、前記撮影レンズの撮影レンズ情報と、前記対となる２つの位相差画素に対する入射光の入射角度毎の感度である受光感度分布とに基づいて、前記デフォーカス量と前記位相差量との比に関するパラメータ値を求め、前記パラメータ値と前記検出された位相差量から前記デフォーカス量を求めるものである撮像装置。
  2. 請求項１に記載の撮像装置であって、
    　前記撮影レンズ情報は前記撮影レンズのＦ値を含むものであり、
    　前記制御部は、前記受光感度分布のうち前記撮影レンズのＦ値に対応する入射角度の範囲内の部分領域において、当該部分領域の感度中心に対応する入射角度の値を前記パラメータ値として算出する撮像装置。
  3. 請求項２に記載の撮像装置であって、
    　前記感度中心に対応する入射角度の値は、前記受光感度分布のうち前記撮影レンズのＦ値に対応する入射角度の範囲内の部分領域において、当該部分領域の感度重心位置に対応する入射角度の値である撮像装置。
  4. 請求項２に記載の撮像装置であって、
    　前記感度中心に対応する入射角度の値は、前記受光感度分布のうち前記撮影レンズのＦ値に対応する入射角度の範囲内の部分領域において、当該部分領域の感度面積中心位置に対応する入射角度の値である撮像装置。
  5. 請求項１乃至請求項４のいずれか１項に記載の撮像装置であって、
    　前記撮影レンズ情報は前記撮影レンズのＦ値と前記撮像素子の撮像面上の少なくとも前記焦点検出エリア内の像高位置に対応する入射角度の範囲の情報を含むものであり、
    　前記制御部は、前記焦点検出エリア内の像高に対応した入射角度の範囲と前記Ｆ値に対応した入射角度の範囲を使用して前記パラメータ値を算出する撮像装置。
  6. 請求項５に記載の撮像装置であって、
    　前記制御部は、前記焦点検出エリアを複数の分割エリアに分割し、前記像高に対応した前記分割エリア毎に前記パラメータ値を求める撮像装置。
  7. 　請求項１乃至請求項６のいずれか１項に記載の撮像装置であって、　前記受光感度分布は、前記対となる２つの位相差画素に対する入射光の入射角度毎の感度と前記位相差画素以外の画素に対する入射光の入射角度毎の感度との感度比からなる撮像装置。
  8. 　請求項１乃至請求項７のいずれか１項に記載の撮像装置であって、
    　前記制御部は、赤色光，緑色光，青色光毎の受光感度分布から各色光毎の前記パラメータ値を求める撮像装置。
  9. 請求項１乃至請求項８のいずれか１項に記載の撮像装置であって、
    　前記撮影レンズは交換可能な撮影レンズであり、前記撮影レンズの交換後に前記パラメータ値を求める撮像装置。
  10. 　複数の画素が二次元アレイ状に配列形成され有効画素領域内の焦点検出エリアに位相差画素が形成された撮像素子と、
    　該撮像素子の前段に設けられた撮影レンズと、
    　該撮像素子による撮像画像信号を解析し、対となる２つの前記位相差画素の検出信号から位相差量を求める位相差量検出部と、
    　前記位相差量検出部が検出した位相差量から前記撮影レンズを通して前記撮像素子が撮像した被写体画像のデフォーカス量を求め、前記撮影レンズの合焦制御を行う制御部と
    　を備える撮像装置の合焦用パラメータ値算出方法であって、
    　前記撮影レンズの撮影レンズ情報と、前記対となる２つの位相差画素に対する入射光の入射角度毎の感度である受光感度分布とに基づいて、前記デフォーカス量と前記位相差量との比に関するパラメータ値を求め、前記パラメータ値と前記検出された位相差量から前記デフォーカス量を求める撮像装置の合焦用パラメータ値算出方法。
PCT/JP2012/072481 2011-09-30 2012-09-04 撮像装置及び合焦用パラメータ値算出方法 WO2013047111A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280048301.0A CN103842877B (zh) 2011-09-30 2012-09-04 成像装置和合焦参数值计算方法
EP12836515.2A EP2762941B1 (en) 2011-09-30 2012-09-04 Imaging device and focus parameter value calculation method
US14/228,989 US9167152B2 (en) 2011-09-30 2014-03-28 Image capturing apparatus and method for calculating focusing parameter value

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-218532 2011-09-30
JP2011218532 2011-09-30
JP2012189504 2012-08-30
JP2012-189504 2012-08-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/228,989 Continuation US9167152B2 (en) 2011-09-30 2014-03-28 Image capturing apparatus and method for calculating focusing parameter value

Publications (1)

Publication Number Publication Date
WO2013047111A1 true WO2013047111A1 (ja) 2013-04-04

Family

ID=47995158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/072481 WO2013047111A1 (ja) 2011-09-30 2012-09-04 撮像装置及び合焦用パラメータ値算出方法

Country Status (5)

Country Link
US (1) US9167152B2 (ja)
EP (1) EP2762941B1 (ja)
JP (1) JP5619294B2 (ja)
CN (1) CN103842877B (ja)
WO (1) WO2013047111A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015050047A1 (ja) * 2013-10-02 2015-04-09 オリンパス株式会社 焦点調節装置、撮影装置、および焦点調節方法
WO2016038936A1 (ja) * 2014-09-11 2016-03-17 富士フイルム株式会社 撮像装置及び合焦制御方法
JP2018013624A (ja) * 2016-07-21 2018-01-25 リコーイメージング株式会社 焦点検出装置、焦点検出方法及び撮影装置
US20190285401A1 (en) * 2016-11-30 2019-09-19 Carl Zeiss Microscopy Gmbh Determining the arrangement of a sample object by means of angle-selective illumination

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112013005594T5 (de) * 2012-11-22 2015-10-22 Fujifilm Corporation Abbildungsvorrichtung, Unschärfebetrag-Berechnungsverfahren und Objektivvorrichtung
CN104919352B (zh) * 2013-01-10 2017-12-19 奥林巴斯株式会社 摄像装置和图像校正方法以及图像处理装置和图像处理方法
JP6426890B2 (ja) * 2013-06-11 2018-11-21 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP6372983B2 (ja) * 2013-09-02 2018-08-15 キヤノン株式会社 焦点検出装置およびその制御方法、撮像装置
JP5775918B2 (ja) * 2013-09-27 2015-09-09 オリンパス株式会社 撮像装置、画像処理方法及び画像処理プログラム
JP6355348B2 (ja) * 2014-01-31 2018-07-11 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
CN105259729B (zh) * 2014-07-17 2019-10-18 宁波舜宇光电信息有限公司 一种af快速对焦方法
JP6931268B2 (ja) * 2015-06-08 2021-09-01 キヤノン株式会社 画像処理装置および画像処理方法
CN106937107B (zh) * 2015-12-29 2019-03-12 宁波舜宇光电信息有限公司 基于色差的摄像模组调焦方法
KR102018984B1 (ko) * 2018-05-15 2019-09-05 재단법인 다차원 스마트 아이티 융합시스템 연구단 베이스라인을 증가시키기 위한 카메라 시스템
US11496728B2 (en) 2020-12-15 2022-11-08 Waymo Llc Aperture health monitoring mode

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075407A (ja) * 2007-09-21 2009-04-09 Nikon Corp 撮像装置
JP2009077143A (ja) * 2007-09-20 2009-04-09 Fujifilm Corp 自動撮影装置
JP2010107771A (ja) 2008-10-30 2010-05-13 Canon Inc カメラ及びカメラシステム
JP2010140013A (ja) * 2008-11-11 2010-06-24 Canon Inc 焦点検出装置及びその制御方法
JP2011176714A (ja) * 2010-02-25 2011-09-08 Nikon Corp カメラおよび画像処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4500434B2 (ja) * 2000-11-28 2010-07-14 キヤノン株式会社 撮像装置及び撮像システム、並びに撮像方法
JP5028930B2 (ja) * 2006-09-28 2012-09-19 株式会社ニコン 焦点検出装置および撮像装置
JP4931225B2 (ja) 2007-04-26 2012-05-16 キヤノン株式会社 撮像装置
JP4978449B2 (ja) * 2007-12-10 2012-07-18 ソニー株式会社 撮像装置
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5230388B2 (ja) * 2008-12-10 2013-07-10 キヤノン株式会社 焦点検出装置及びその制御方法
JP5173954B2 (ja) * 2009-07-13 2013-04-03 キヤノン株式会社 画像処理装置及び画像処理方法
JP2011002848A (ja) 2010-08-20 2011-01-06 Canon Inc 撮像装置
JP5589857B2 (ja) * 2011-01-11 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077143A (ja) * 2007-09-20 2009-04-09 Fujifilm Corp 自動撮影装置
JP2009075407A (ja) * 2007-09-21 2009-04-09 Nikon Corp 撮像装置
JP2010107771A (ja) 2008-10-30 2010-05-13 Canon Inc カメラ及びカメラシステム
JP2010140013A (ja) * 2008-11-11 2010-06-24 Canon Inc 焦点検出装置及びその制御方法
JP2011176714A (ja) * 2010-02-25 2011-09-08 Nikon Corp カメラおよび画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2762941A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015050047A1 (ja) * 2013-10-02 2015-04-09 オリンパス株式会社 焦点調節装置、撮影装置、および焦点調節方法
JP2015072357A (ja) * 2013-10-02 2015-04-16 オリンパス株式会社 焦点調節装置
CN105593738A (zh) * 2013-10-02 2016-05-18 奥林巴斯株式会社 焦点调节装置、摄影装置以及焦点调节方法
EP3054335A4 (en) * 2013-10-02 2017-03-22 Olympus Corporation Focus adjustment device, photography device, and focus adjustment method
WO2016038936A1 (ja) * 2014-09-11 2016-03-17 富士フイルム株式会社 撮像装置及び合焦制御方法
JPWO2016038936A1 (ja) * 2014-09-11 2017-06-01 富士フイルム株式会社 撮像装置及び合焦制御方法
US9781333B2 (en) 2014-09-11 2017-10-03 Fujifilm Corporation Imaging device and focus control method
JP2018013624A (ja) * 2016-07-21 2018-01-25 リコーイメージング株式会社 焦点検出装置、焦点検出方法及び撮影装置
US20190285401A1 (en) * 2016-11-30 2019-09-19 Carl Zeiss Microscopy Gmbh Determining the arrangement of a sample object by means of angle-selective illumination
US10921573B2 (en) * 2016-11-30 2021-02-16 Carl Zeiss Microscopy Gmbh Determining the arrangement of a sample object by means of angle-selective illumination

Also Published As

Publication number Publication date
EP2762941A4 (en) 2015-05-06
EP2762941A1 (en) 2014-08-06
US9167152B2 (en) 2015-10-20
CN103842877B (zh) 2016-01-27
JP5619294B2 (ja) 2014-11-05
JPWO2013047111A1 (ja) 2015-03-26
CN103842877A (zh) 2014-06-04
EP2762941B1 (en) 2016-12-28
US20140211075A1 (en) 2014-07-31

Similar Documents

Publication Publication Date Title
JP5619294B2 (ja) 撮像装置及び合焦用パラメータ値算出方法
JP5629832B2 (ja) 撮像装置及び位相差画素の感度比算出方法
JP4952060B2 (ja) 撮像装置
KR101492624B1 (ko) 촬상 소자, 초점 검출 장치 및 촬상 장치
JP5176959B2 (ja) 撮像素子および撮像装置
JP5012495B2 (ja) 撮像素子、焦点検出装置、焦点調節装置および撮像装置
JP5572765B2 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
US8218017B2 (en) Image pickup apparatus and camera
JP4983271B2 (ja) 撮像装置
US8902349B2 (en) Image pickup apparatus
JP5490312B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP2012027390A (ja) 撮像装置
JP5211590B2 (ja) 撮像素子および焦点検出装置
JP4858179B2 (ja) 焦点検出装置および撮像装置
JP6854619B2 (ja) 焦点検出装置及び方法、撮像装置、レンズユニット及び撮像システム
JP5338113B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP2009162845A (ja) 撮像素子、焦点検出装置および撮像装置
JP6442824B2 (ja) 焦点検出装置
JP2012128101A (ja) 撮像装置
JP6349624B2 (ja) 撮像素子および焦点検出装置
JP5978570B2 (ja) 撮像装置
JP5338118B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP5691440B2 (ja) 撮像装置
JP2012063456A (ja) 撮像装置
JP2012042863A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12836515

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013536116

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012836515

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012836515

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE