WO2015128908A1 - 深さ位置検出装置、撮像素子、及び深さ位置検出方法 - Google Patents

深さ位置検出装置、撮像素子、及び深さ位置検出方法 Download PDF

Info

Publication number
WO2015128908A1
WO2015128908A1 PCT/JP2014/003966 JP2014003966W WO2015128908A1 WO 2015128908 A1 WO2015128908 A1 WO 2015128908A1 JP 2014003966 W JP2014003966 W JP 2014003966W WO 2015128908 A1 WO2015128908 A1 WO 2015128908A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image signal
subject
phase difference
image
Prior art date
Application number
PCT/JP2014/003966
Other languages
English (en)
French (fr)
Inventor
河村　岳
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2015527736A priority Critical patent/JP6137316B2/ja
Publication of WO2015128908A1 publication Critical patent/WO2015128908A1/ja
Priority to US14/880,014 priority patent/US9836847B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Definitions

  • the present disclosure relates to a depth position detection device, an image sensor, and a depth position detection method.
  • DFD Depth from Defocus
  • DFD Depth from Defocus
  • the distance is measured based on blur information whose size and shape change depending on the subject distance.
  • DFD has features such as not requiring a plurality of cameras and being able to measure distance from a small number of images. Processing for measuring the distance to the subject using the DFD method is also referred to as DFD processing.
  • DFD is a method for measuring a distance from a plurality of images having different in-focus positions based on blur information.
  • the photographed image including the blur is an image obtained by convolving a point spread function that is a function of the subject distance with an omnifocal image (subject texture information) representing a state in which there is no blur due to the lens. Since the point spread function is a function having the subject distance as a variable, the DFD can obtain the subject distance by detecting the blur from the blurred image.
  • Non-Patent Document 1 regarding a method for acquiring an expression or a method for solving an expression.
  • phase difference method for example, see Patent Document 1.
  • an image having a phase difference is captured between the first pixel group and the second pixel group included in the image sensor. Then, the distance to the subject is detected based on the phase difference (positional deviation) between the subjects in the two images.
  • This disclosure provides a depth position detection device capable of realizing high speed and improved accuracy.
  • the depth position detection apparatus includes an imaging element that generates a first image signal and a second image signal that are captured so that the same subject has a phase difference from each other, and blur and phase difference of the subject in the image. And a storage unit that stores model data defining the relationship between the position of the subject in the depth direction and the model data, the first image signal and the second image signal A detection unit that detects a position in the depth direction.
  • the depth position detection device is effective for realizing high speed and improved accuracy.
  • FIG. 1 is a diagram for explaining the operation of the DFD method.
  • FIG. 2 is a diagram for explaining the operation of the phase difference method.
  • FIG. 3 is a diagram illustrating an example of a pixel used in the phase difference method.
  • FIG. 4 is a diagram illustrating the incidence of light on the pixels in the phase difference method.
  • FIG. 5 is a diagram illustrating the incidence of light on a pixel in the phase difference method.
  • FIG. 6 is a block diagram of the depth position detection apparatus according to the embodiment.
  • FIG. 7 is a diagram showing the relationship between subject distance, blur, and phase difference according to the embodiment.
  • FIG. 8 is a diagram illustrating blur at normal time according to the embodiment.
  • FIG. 9 is a diagram illustrating blur at the time of eccentricity according to the embodiment.
  • FIG. 10 is a diagram for explaining the depth position detection processing according to the embodiment.
  • FIG. 11 is a diagram illustrating an example of model data according to the embodiment.
  • FIG. 12 is a diagram illustrating an example of a pixel configuration according to the embodiment.
  • FIG. 13 is a cross-sectional view illustrating an example of an eccentric pixel according to the embodiment.
  • FIG. 14 is a cross-sectional view illustrating an example of an eccentric pixel according to the embodiment.
  • FIG. 15 is a diagram illustrating an example of a pixel configuration according to the embodiment.
  • FIG. 16 is a diagram illustrating an example of a pixel configuration according to the embodiment.
  • FIG. 17 is a diagram illustrating an example of a pixel configuration according to the embodiment.
  • FIG. 18 is a graph showing the relationship between the baseline length, the transmittance, and the correct answer rate according to the embodiment.
  • FIG. 19 is a diagram for explaining the baseline length according to the embodiment.
  • FIG. 20 is a diagram for explaining the baseline length according to the embodiment.
  • FIG. 21 is a flowchart of depth position detection processing according to the embodiment.
  • FIG. 1 is a diagram schematically showing the operation of the DFD method.
  • the subject texture information Obj and the distance d can be calculated by using the above equation (2).
  • 2 to 5 are diagrams schematically showing the operation of the phase difference method.
  • each pixel 250 is divided into two light receiving portions (photodiodes) 251 and 252. Further, as shown in FIGS. 4 and 5, light is taken into each of the light receiving portions 251 and 252 independently.
  • the light incident on the light receiving unit 251 is light passing through one side of the light incident on the optical system
  • the light incident on the light receiving unit 252 is light incident on the optical system. Light passing through the other side. Therefore, the image generated by the plurality of light receiving units 251 and the image generated by the plurality of light receiving units 252 have a phase difference (image shift). In the phase difference method, the defocus amount is obtained using this phase difference.
  • phase difference method it is possible to determine whether the subject is on the near side or the far side of the in-focus position from the direction of image shift, so that, for example, the defocus amount can be detected from images taken at the same time. Therefore, higher speed can be realized as compared with the DFD method.
  • the phase difference method it is necessary to add pixel values of two pixels when outputting a normal captured image.
  • the phase difference method has a problem that the baseline length D is shorter than that of the DFD and the accuracy is low.
  • a is the distance between the subject and the lens
  • b is the focusing distance on the image plane side
  • f is the distance between the lens and the imaging plane.
  • the baseline length D is the diameter of light incident on the image sensor, for example, the aperture of the diaphragm.
  • the above relationship is the same in the case of the phase difference method shown in FIG. 2, and the larger the baseline length D, the larger the image shift ⁇ , so that the accuracy is improved.
  • the phase difference method only a part of the light passing through the stop is incident on one pixel group.
  • the interval between the centers (centers of gravity) of the apertures of the light flux incident on each pixel group corresponds to the baseline length D.
  • the base line length D is smaller in the phase difference method than in the DFD method, so that the accuracy of position detection is reduced.
  • phase difference method since the amount of received light is slightly reduced as compared with a normal image sensor due to the above-described configuration, there is a problem that sensitivity is lowered.
  • the DFD method and the phase difference method each have advantages and problems.
  • an object of the present disclosure is to provide a depth position detection device capable of realizing high speed and improvement in accuracy.
  • the depth position detection apparatus includes an imaging element that generates a first image signal and a second image signal that are captured so that the same subject has a phase difference from each other, and blur and phase difference of the subject in the image. And a storage unit that stores model data defining the relationship between the position of the subject in the depth direction and the model data, the first image signal and the second image signal A detection unit that detects a position in the depth direction.
  • the depth position detection device can realize high speed. Further, since a mechanism capable of changing the focus at high speed is not required, and a wobbling operation at the time of moving image shooting is not required, cost reduction and improvement in image quality can be realized. Furthermore, the accuracy can be improved by using the blur of the subject. As described above, the depth position detection device can realize high speed and improvement in accuracy.
  • the first image signal and the second image signal may be captured at the same time.
  • the depth position detection device can realize speeding up of the position detection process by using two images taken at the same time.
  • the phase difference between the first image signal and the second image signal may be a phase difference of 15% or less in terms of baseline length.
  • the depth position detection device can suppress a decrease in the amount of received light that occurs in order to capture two images having a phase difference, a decrease in sensitivity can be suppressed.
  • the imaging device includes a plurality of unit pixels, and each of the plurality of unit pixels includes a red pixel that receives red light, a first green pixel and a second green pixel that receive green light, A first pixel which is at least one kind of pixel among the red pixel, the first green pixel, the second green pixel, and the blue pixel.
  • the plurality of first pixels included in the plurality of unit pixels generate the first image signal
  • the red pixel, the first green pixel, and the second green pixel A second pixel that is at least one type of pixel other than the first pixel among the pixels and the blue pixel is eccentric in a second direction opposite to the first direction
  • a plurality of the second pixels included in a unit pixel are the second image. It may generate the issue.
  • the first pixel may be the first green pixel
  • the second pixel may be the second green pixel
  • coloring can be suppressed by photographing two images having a phase difference using only green pixels.
  • the model data includes reference data associated with each of a plurality of positions in the depth direction of the subject, and each of the reference data includes the first image signal at the associated position.
  • first reference data to be defined and second reference data indicating blurring of a subject in the second image signal at the associated position the first reference data and the second reference data
  • the phase difference of the subject is defined by the difference in the position of the subject between the reference data and the detection unit of the plurality of reference data, the reference data that best matches the first image signal and the second image signal May be detected as the position of the subject depth method.
  • the depth position detection device can detect the position of the subject using the model data.
  • the imaging device includes a plurality of unit pixels, and each of the plurality of unit pixels includes a red pixel that receives red light, a first green pixel that receives green light, and a second green pixel. And a blue pixel that receives blue light, and the first pixel that is at least one type of the red pixel, the first green pixel, the second green pixel, and the blue pixel, A second pixel that is decentered in a first direction and is at least one type of pixel other than the first pixel among the red pixel, the first green pixel, the second green pixel, and the blue pixel; The pixel is decentered in a second direction opposite to the first direction.
  • the depth position detection method includes an imaging step for generating a first image signal and a second image signal that are captured so that the same subject has a phase difference from each other, A detection step of detecting the position of the subject in the depth direction from the first image signal and the second image signal using model data that defines the relationship between the phase difference and the position of the subject in the depth direction. Including.
  • the depth position detection method can realize high speed. Further, since a mechanism capable of changing the focus at high speed is not required, and a wobbling operation at the time of moving image shooting is not required, cost reduction and improvement in image quality can be realized. Furthermore, the accuracy can be improved by using the blur of the subject. As described above, the depth position detection method can realize an increase in speed and an improvement in accuracy.
  • FIG. 1 is a block diagram showing a configuration of a depth position detection apparatus 100 according to the present embodiment.
  • the depth position detection apparatus 100 captures a subject and detects the position of the subject in the depth direction from an image obtained by the photographing. Specifically, the depth position detection device 100 detects a defocus amount indicating the distance between the current in-focus position and the subject position.
  • the depth position detection device 100 is mounted on an imaging device that is a digital still camera or a digital video camera.
  • the depth position detection device 100 may be mounted on a smartphone or the like.
  • the defocus amount detected by the depth position detection device 100 is used for autofocusing in the imaging device, for example.
  • the depth position detection device 100 may detect the distance between the subject and the imaging device.
  • the distance between the subject and the imaging device can be calculated from, for example, the detected defocus amount and the current in-focus position.
  • the depth position detection apparatus 100 shown in FIG. 1 includes an image sensor 110, a detection unit 120, and a storage unit 130.
  • the image sensor 110 captures a subject image to generate a first image signal 111 and a second image signal 112 in which the same subject has a phase difference. That is, the first image signal 111 and the second image signal 112 are images obtained by photographing the same subject (scene) from different viewpoints. For example, the first image signal 111 and the second image signal 112 are imaged at the same time.
  • the depth position detection apparatus 100 is typically used for a monocular camera. That is, the first image signal 111 and the second image signal 112 are generated by, for example, a single image sensor 110 using a single optical system.
  • the image sensor 110 includes a plurality of first pixels eccentric in the first direction and a plurality of second pixels eccentric in the second direction opposite to the first direction. Including.
  • the plurality of first pixels generate a first image signal 111, and the plurality of second pixels generate a second image signal 112. Details of the configuration of this pixel will be described later.
  • FIG. 7 to 9 are diagrams showing the relationship between the subject image and the subject distance in the normal case and in the case of eccentricity.
  • the normal case no eccentricity
  • the subject position does not change and only the blur changes. Specifically, the blur increases as the distance from the in-focus position to the subject increases.
  • eccentricity the position of the subject changes in addition to blur as the subject distance changes.
  • a change in position is taken into account.
  • FIG. 10 is a diagram for explaining the phase difference method, the DFD method, and the method of the present embodiment.
  • the subject position deviation from the in-focus state is used to detect the subject distance
  • the subject blur is used to detect the subject distance. In the present embodiment, both of these are used to detect the subject distance (defocus amount).
  • the DFD method is more accurate than the phase difference method. Therefore, in this embodiment, high accuracy can be realized by using blur (DFD method) for detection of the subject distance. Further, regarding the increase in the delay time due to two image shootings, which is a problem of DFD, the information shown by the following two equations such as the following equation (3) while simultaneously capturing one image instead of two images having different focus positions. To be obtained.
  • the difference in blur between PSF1 and PSF2 is necessary even in simultaneous imaging. If at least the same focus position is used, a difference in blur usually does not occur.
  • the concept of the phase difference method is adopted here, and a difference in blur is generated using a positional shift. That is, the surface of the image sensor is devised so that two images corresponding to the left and right images of the phase difference can be generated from one captured image. Thereby, in this Embodiment, since it is not necessary to image
  • the storage unit 130 stores model data 131.
  • the model data 131 is a parameter that defines the relationship between the blur and phase difference of the subject in the image and the position of the subject in the depth direction (defocus amount).
  • the detection unit 120 uses the model data 131 stored in the storage unit 130 to detect the position (defocus amount) of the subject in the depth direction from the first image signal 111 and the second image signal 112. . Then, the detection unit 120 generates defocus information 121 indicating the detection result.
  • FIG. 11 is a diagram illustrating an example of the model data 131.
  • the model data 131 includes reference data associated with each defocus amount.
  • Each reference data defines the blur and phase difference (position shift) of the subject in the first image signal and the second image signal at the associated defocus amount.
  • each reference data includes the first reference data (the upper stage in FIG. 11) that defines the first image signal at the associated defocus amount, and the second reference data at the associated position.
  • second reference data lower part of FIG. 11
  • the phase difference of the subject is defined by the difference in the position of the subject (relative position shift) between the first reference data and the second reference data.
  • the detection unit 120 determines the reference data that most closely matches (matches) the set of the input first image signal 111 and the second image signal 112 from the plurality of reference data, and corresponds to the determined reference data
  • the attached defocus amount is determined as the defocus amount of the subject.
  • the defocus amount is detected by using two image signals having different in-focus positions and model data.
  • the two image signals are detected by the first image signal 111 and the first image signal having a phase difference from each other.
  • the defocus amount of the subject can be detected from the first image signal 111 and the second image signal 112 by the same algorithm as the DFD method. Note that the defocus amount detection processing using two image signals and model data in the DFD method is described in detail in Non-Patent Document 1, for example.
  • methods other than the above may be used as a method of detecting the defocus amount from the first image signal 111 and the second image signal 112.
  • the absolute value of the defocus amount is detected only from the blur amount of one or both of the first image signal 111 and the second image signal 112, and the subject is in front of or behind the in-focus position from the direction of the positional deviation. It may be determined whether it exists on the side.
  • FIG. 12 is a diagram illustrating a configuration example of pixels of the image sensor 110.
  • the plurality of pixels have a so-called Bayer array. That is, the image sensor 110 includes a plurality of unit pixels.
  • Each of the plurality of unit pixels includes a red pixel (R) that receives red light, a first green pixel (G1) and a second green pixel (G2) that receive green light, and blue that receives blue light.
  • Pixel (B) is a diagram illustrating a configuration example of pixels of the image sensor 110.
  • the plurality of pixels have a so-called Bayer array. That is, the image sensor 110 includes a plurality of unit pixels.
  • Each of the plurality of unit pixels includes a red pixel (R) that receives red light, a first green pixel (G1) and a second green pixel (G2) that receive green light, and blue that receives blue light.
  • Pixel (B) is a diagram illustrating a configuration example of pixels of the image sensor 110.
  • the imaging element 110 includes a plurality of first pixels that are eccentric in the first direction and a plurality of second pixels that are eccentric in the second direction opposite to the first direction. Including.
  • the red pixel (R) and the first green pixel (G1) are eccentric to the left, and the blue pixel (B) and the second green pixel (G2) are eccentric to the right. .
  • a method of decentering the optical waveguide as shown in FIGS. 13 and 14 can be used.
  • a light receiving portion photodiode
  • a semiconductor substrate 204 eg, silicon
  • an optical waveguide sandwiched between the light shielding portions 203 is formed, a color filter 202 is formed thereon, and a microlens 201 is formed thereon.
  • the angle of the light beam received by the light receiving unit is increased. Can be attached (eccentric).
  • each pixel when each pixel is decentered as shown in FIG. 12, coloring may occur.
  • the arrangement shown in FIG. 15 may be used.
  • the first green pixel (G1) is decentered in the left direction
  • the second green pixel (G2) is decentered in the right direction.
  • the red pixel (R) and the blue pixel (B) are not decentered.
  • the first image signal 111 is generated by the first green pixel (G1)
  • the second image signal 112 is generated by the second green pixel (G2). That is, the red pixel (R) and the blue pixel (B) are not used for distance detection. It should be noted that all pixels are used in normal shooting that is not distance detection.
  • this configuration is useful, for example, for a high-end digital single-lens camera that requires high image quality.
  • FIGS. 13 and 14 all of the light shielding portion 203, the color filter 202, and the microlens 201 are shifted, but at least a portion may be shifted.
  • FIGS. 16 and 17 only the microlens 201 may be shifted and arranged.
  • 16 shows an example when all the pixels are eccentric as in FIG. 12
  • FIG. 17 shows an example when only the green pixels (G1, G2) are eccentric as in FIG. Show.
  • the center of gravity of the micro lens 201 may be further shifted, or only the center of gravity may be shifted.
  • the phase difference determines whether the subject exists on the near side or the far side from the in-focus position. There should be only a minimum difference possible. That is, in this embodiment, the amount of eccentricity is set smaller than in the phase difference method. Thereby, the fall of the sensitivity which is a subject by a phase difference method can be controlled. Furthermore, if the amount of eccentricity is small, it is difficult for the human eye to detect the phase difference, so that it is possible to generate an image with no sense of incompatibility when shooting a normal still image or moving image.
  • FIG. 18 is a diagram showing simulation results of the transmittance (sensitivity) and the correct answer rate (distance detection accuracy) with respect to the baseline length.
  • the base line length is a distance between the centers (centers of gravity) of light incident on each of the first pixel and the second pixel in the stop, for example, as shown in FIGS. 19 and 20.
  • the base line length is represented by a value when the aperture is 1.
  • the aperture is the diameter of light incident on the imaging device, for example, the diameter of the stop.
  • the baseline length corresponds to the phase difference of each pixel. That is, the longer the baseline length, the larger the phase difference, so that the accuracy rate (distance detection accuracy) increases as shown in FIG.
  • the correct answer rate is a rate at which the distance is correctly detected with respect to the test pattern.
  • the longer the baseline length the lower the sensitivity because the amount of light (transmittance) decreases.
  • it is preferable to secure the transmittance to 70% or more and for example, it is preferable to set the baseline length to 0.15 or less. That is, the phase difference between the first image signal 111 and the second image signal 112 is preferably a phase difference of 15% or less in terms of baseline length.
  • the baseline length becomes too short, the correct answer rate rapidly decreases. Therefore, for example, it is preferable to set the baseline length to 0.10 or more. That is, the phase difference between the first image signal 111 and the second image signal 112 is preferably a phase difference of 10% or more in terms of baseline length.
  • the image sensor 110 generates a first image signal 111 and a second image signal 112 in which the same subject is imaged so as to have a phase difference from each other (S101).
  • the detection unit 120 uses the model data 131 stored in the storage unit 130 to define the relationship between the blur and phase difference of the subject in the image and the position of the subject in the depth direction.
  • the position (defocus amount) of the subject in the depth direction is detected from the image signal 111 and the second image signal 112 (S102).
  • the depth position detection apparatus 100 detects the defocus amount using both the blur of the subject and the phase difference. As a result, it is possible to determine whether the subject is on the near side or the far side by using the phase difference, and it is not necessary to use a plurality of images with different in-focus positions. Therefore, the depth position detection apparatus 100 can realize speeding up of the position detection process. Furthermore, the accuracy of position detection can be improved by using the blur of the subject. As described above, the depth position detection apparatus 100 can realize an increase in speed and an improvement in accuracy.
  • the decrease in the amount of received light can be suppressed by setting the amount of eccentricity of the pixel so small that it can be determined whether the subject is on the near side or the far side, so that a decrease in sensitivity can be suppressed. Furthermore, since the phase difference is small, it is possible to generate an image that does not feel uncomfortable during normal shooting.
  • a part of pixels used for normal photographing is used for generating the first image signal 111, and another part is used for generating the second image signal 112.
  • an increase in power consumption at the time of photographing an image having a phase difference can be suppressed.
  • the occurrence of coloring can be suppressed.
  • each processing unit included in the depth position detection apparatus is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the above cross-sectional view schematically shows the configuration according to the present disclosure.
  • the corners and sides of each component are linearly described, but the present disclosure also includes those in which the corners and sides are rounded for manufacturing reasons.
  • division of functional blocks in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, a single functional block can be divided into a plurality of functions, or some functions can be transferred to other functional blocks. May be.
  • functions of a plurality of functional blocks having similar functions may be processed in parallel or time-division by a single hardware or software.
  • the present disclosure is applicable to an imaging device that performs DFD processing. Specifically, the present disclosure is applicable to digital video cameras, digital single-lens cameras, and the like.
  • DESCRIPTION OF SYMBOLS 100 Depth position detection apparatus 110 Image pick-up element 111 1st image signal 112 2nd image signal 120 Detection part 121 Defocus information 130 Storage part 131 Model data 201 Microlens 202 Color filter 203 Light-shielding part 204 Semiconductor substrate 250 Pixel 251, 252 Light receiver

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

　深さ位置検出装置（１００）は、同一の被写体が互いに位相差を有するように撮像された第１の画像信号（１１１）及び第２の画像信号（１１２）を生成する撮像素子（１１０）と、画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータ（１３１）を記憶している記憶部（１３０）と、モデルデータ（１３１）を用いて、第１の画像信号（１１１）及び第２の画像信号（１１２）から被写体の深さ方向の位置を検出する検出部（１２０）とを備える。

Description

深さ位置検出装置、撮像素子、及び深さ位置検出方法
　本開示は、深さ位置検出装置、撮像素子、及び深さ位置検出方法に関する。
　ある３次元シーンの奥行き、即ち各被写体までの距離を非接触で計測するための様々な方法が提案されている。その一つがＤＦＤ（Ｄｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓ）方式（以降、単にＤＦＤともいう）である。ＤＦＤでは、被写体距離によって大きさ及び形状が変化するぼけの情報に基づいて距離を計測する。ＤＦＤは、複数のカメラを必要としないこと、少数の画像から距離計測が可能であること、などの特徴がある。ＤＦＤ方式を用いて被写体までの距離を計測する処理を、ＤＦＤ処理ともいう。
　以下、ＤＦＤの原理について簡単に説明する。
　ＤＦＤは、合焦位置の異なる複数枚の画像から、ぼけの情報に基づいて距離を計測する方法である。ぼけを含んだ撮影画像は、レンズによるぼけのない状態を表す全焦点画像（被写体テクスチャ情報）に、被写体距離の関数である点像分布関数を畳み込んだ画像となる。点像分布関数は被写体距離を変数とする関数であるので、ＤＦＤではぼけ画像からぼけを検出することによって、被写体距離を求めることができる。
　このとき、全焦点画像と被写体距離とが未知数である。ぼけ画像１枚に対して、ぼけ画像、全焦点画像、及び、被写体距離に関する式が１つ成立する。合焦位置の異なるぼけ画像を同一視点から新たに撮影することで新たな式が得られるので、得られた複数の式を解くことで被写体距離を求める。式の獲得の方法、又は、式を解く方法等に関して、非特許文献１をはじめとして、ＤＦＤに対する様々な提案が存在する。
　また、被写体までの距離を計測する別の方法として、位相差方式がある（例えば、特許文献１参照）。位相差方式では、撮像素子に含まれる第１画素群と第２画素群とで位相差を有する（異なる視点の）画像を撮像する。そして、２枚の画像における被写体の位相差（位置ズレ）に基づいて、当該被写体までの距離を検出する。
特開２０１２－１１８２６９号公報
Ｃ．Ｚｈｏｕ，Ｓ．Ｌｉｎ　ａｎｄ　Ｓ．Ｎａｙａｒ，　"Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ　Ｐａｉｒｓ　ｆｏｒ　Ｄｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓ"　Ｉｎ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　２００９
　本開示は、高速化及び精度の向上を実現できる深さ位置検出装置を提供する。
　本開示における深さ位置検出装置は、同一の被写体が互いに位相差を有するように撮像された第１の画像信号及び第２の画像信号を生成する撮像素子と、画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータを記憶している記憶部と、前記モデルデータを用いて、前記第１の画像信号及び前記第２の画像信号から被写体の深さ方向の位置を検出する検出部とを備える。
　本開示における深さ位置検出装置は、高速化及び精度の向上を実現するのに有効である。
図１は、ＤＦＤ方式の動作を説明するための図である。 図２は、位相差方式の動作を説明するための図である。 図３は、位相差方式に用いられる画素の一例を示す図である。 図４は、位相差方式における画素への光の入射を示す図である。 図５は、位相差方式における画素への光の入射を示す図である。 図６は、実施の形態に係る深さ位置検出装置のブロック図である。 図７は、実施の形態に係る被写体距離とぼけ及び位相差の関係を示す図である。 図８は、実施の形態に係る通常時のぼけを示す図である。 図９は、実施の形態に係る偏心時のぼけを示す図である。 図１０は、実施の形態に係る深さ位置検出処理を説明するための図である。 図１１は、実施の形態に係るモデルデータの一例を示す図である。 図１２は、実施の形態に係る画素の構成の一例を示す図である。 図１３は、実施の形態に係る偏心された画素の一例を示す断面図である。 図１４は、実施の形態に係る偏心された画素の一例を示す断面図である。 図１５は、実施の形態に係る画素の構成の一例を示す図である。 図１６は、実施の形態に係る画素の構成の一例を示す図である。 図１７は、実施の形態に係る画素の構成の一例を示す図である。 図１８は、実施の形態に係る、基線長と透過率及び正解率との関係を示すグラフである。 図１９は、実施の形態に係る基線長を説明するための図である。 図２０は、実施の形態に係る基線長を説明するための図である。 図２１は、実施の形態に係る深さ位置検出処理のフローチャートである。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　まず、本開示により解決される課題の解決手段と、その効果について説明する。
　最初にＤＦＤ方式及び位相差方式（像面位相差方式）の各々の長所及び短所を説明する。
　まず、ＤＦＤ方式について説明する。図１は、ＤＦＤ方式の動作を模式的に示す図である。
　図１に示すように、被写体からの光は光学系（絞り及びレンズ等）を介して撮像素子の撮像面に照射される。この時、像面側の合焦位置と、撮像面の位置とが一致していれば、ボケのない被写体像が得られる。合焦位置と、撮像面の位置とが一致していない場合、その差に応じたぼけが生じる。ＤＦＤではこのボケ量から、現在の合焦位置から被写体までの距離（デフォーカス量）を求める。
　ここで、観測画像をＩｍ、被写体テクスチャ情報をＯｂｊ、被写体の距離をｄ、ぼけを表す点像分布関数をＰＳＦ（ｄ）とすると、下記式（１）の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　しかしながら、１枚の画像Ｉｍから、被写体テクスチャ情報Ｏｂｊと被写体距離（デフォーカス量）ｄの両方の値を求めることはできない。ＤＦＤでは、下記式（２）に示すように互いに合焦位置が異なる少なくとも２枚の画像を用いる必要がある。
Figure JPOXMLDOC01-appb-M000002
　上記式（２）を用いることで、被写体テクスチャ情報Ｏｂｊと距離ｄを算出することができる。
　このように、ＤＦＤでは、合焦位置が異なる２枚の画像が必要であり、この２枚の画像を撮影するために時間がかかるため、デフォーカス量を検出するまでに遅延が生じるという課題がある。また、高速に合焦位置を変化させる必要があるので、高速にフォーカスを変更できる機構が必要なるという課題がある。さらに、動画像撮影を行う場合には、動画像撮影中にも合焦位置を周期的に変化させるウォブリング動作が必要なるという課題もある。
　次に、位相差方式について説明する。図２～図５は、位相差方式の動作を模式的に示す図である。
　例えば、図３に示すように、各画素２５０は、２つの受光部（フォトダイオード）２５１及び２５２に分割されている。また、図４及び図５に示すように、各受光部２５１及び２５２に独立して光が取込まれる。ここで、図２に示すように、受光部２５１に入射する光は、光学系に入射した光のうち一方側を通る光であり、受光部２５２に入射する光は、光学系に入射した光のうち他方側を通る光である。よって、複数の受光部２５１で生成された画像と、複数の受光部２５２とで生成された画像とは、位相差（像ズレ）を有する。位相差方式では、この位相差を用いて、デフォーカス量を求める。
　この位相差方式では、像ズレの方向から、被写体が合焦位置の手前側に存在するのか、奥側に存在するのかを判別できるので、例えば、同時に撮影された画像からデフォーカス量を検出できるので、ＤＦＤ方式に比べて高速化を実現できる。一方で、位相差方式では、通常の撮影画像を出力する際、２画素の画素値を加算する必要がある。そして、この２画素加算時に、通常の画素の場合よりも光量が大きく減らないようにする必要がある。これにより、位相差方式では、基線長ＤがＤＦＤよりも短くなり、精度が低いという課題がある。
　具体的には、図１に示すＤＦＤ方式では、Ｄ：ｂ＝Δ：（ｂ－ｆ）の関係が成り立つ。ここで、１／ａ＋１／ｂ＝１／ｆなので、Δ＝Ｄ×（ｂ－ｆ）／ｂ＝Ｄ×ｆ／ａとなる。つまり、基線長Ｄが大きいほどボケ量Δが大きくなるので精度が向上する。なお、ａは、被写体とレンズとの距離であり、ｂは、像面側の合焦距離であり、ｆはレンズと撮像面との距離である。また、基線長Ｄは、撮像素子に入射する光の径であり、例えば、絞りの口径である。
　上記の関係は、図２に示す位相差方式の場合も同様であり、基線長Ｄが大きいほど像ズレΔが大きくなるので精度が向上する。しかしながら、上述したように、位相差方式では、絞りを通る光の一部のみが、一つの画素群に入射する。この各画素群に入射する光束の絞りにおける中心（重心）位置の間隔が基線長Ｄに対応することになる。このように、同じ光学系を使用する前提で比較すると、位相差方式ではＤＦＤ方式と比べ、基線長Ｄが小さいので、位置検出の精度が低下する。
　また位相差方式では、前述のとおり上記の構成により通常の撮像素子に比べて、受光量がやや減少するため、感度が低下するという課題もある。
　さらに、図３に示すように、２つの画像を同時撮影するために画素を分割した場合、読み出し画素数が増加することで消費電力が増加するという課題もある。
　以上のように、ＤＦＤ方式と位相差方式にはそれぞれ利点と課題がある。
　そこで、本開示は、高速化及び精度の向上を実現できる深さ位置検出装置を提供することを目的とする。
　本開示における深さ位置検出装置は、同一の被写体が互いに位相差を有するように撮像された第１の画像信号及び第２の画像信号を生成する撮像素子と、画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータを記憶している記憶部と、前記モデルデータを用いて、前記第１の画像信号及び前記第２の画像信号から被写体の深さ方向の位置を検出する検出部とを備える。
　これによれば、被写体の位相差を用いて、被写体が手前側に存在するのか、奥側に存在するのかを判別できるので、合焦位置の異なる複数の画像を用いる必要ない。よって、当該深さ位置検出装置は、高速化を実現できる。また、高速にフォーカスを変更できる機構が不要となり、かつ、動画像撮影時のウォブリング動作も不要となるので、低コスト化及び画質の向上を実現できる。さらに、被写体のボケを用いることで、精度を向上できる。このように、当該深さ位置検出装置は、高速化及び精度の向上を実現できる。
　例えば、前記第１の画像信号及び前記第２の画像信号は同一時刻に撮像されてもよい。
　これによれば、深さ位置検出装置は、同一時刻に撮影された２枚の画像を用いることで、位置検出処理の高速化を実現できる。
　例えば、前記第１の画像信号と前記第２の画像信号とにおける前記位相差は、基線長換算で１５％以下の位相差であってもよい。
　これによれば、当該深さ位置検出装置は、位相差を有する２枚の画像を撮影するために生じる受光量の低下を抑制できるので、感度の低下を抑制できる。
　例えば、前記撮像素子は、複数の単位画素を含み、前記複数の単位画素の各々は、赤色光を受光する赤色画素と、緑色光を受光する第１の緑色画素及び第２の緑色画素と、青色光を受光する青色画素とを含み、前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち少なくとも一種類の画素である第１の画素は、第１の方向に偏心しており、前記複数の単位画素に含まれる複数の前記第１の画素は、前記第１の画像信号を生成し、前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち、前記第１の画素以外の少なくとも一種類の画素である第２の画素は、前記第１の方向とは逆の第２の方向に偏心しており、前記複数の単位画素に含まれる複数の前記第２画素は、前記第２の画像信号を生成してもよい。
　これによれば、単一の撮像素子に含まれる各色の画素を用いて、位相差を有する２枚の画像を撮影できる。これにより、２枚の画像用にそれぞれ画素を設ける場合に比べて、消費電力を抑制できる。
　例えば、前記第１の画素は前記第１の緑色画素であり、前記第２の画素は前記第２の緑色画素であってもよい。
　これによれば、緑色画素のみを用いて、位相差を有する２枚の画像を撮影することで、色つきを抑制できる。
　例えば、前記モデルデータは、前記被写体の深さ方向の複数の位置の各々と対応付けられている基準データを含み、各前記基準データは、対応付けられている位置における前記第１の画像信号を規定する第１の基準データと、対応付けられている位置における前記第２の画像信号における被写体のぼけを示す第２の基準データとを含み、前記第１の基準データと前記第２の基準データとにおける前記被写体の位置の差により前記被写体の位相差が規定され、前記検出部は、複数の前記基準データのうち、前記第１の画像信号及び前記第２の画像信号に最も合致する基準データに対応付けられている位置を、前記被写体の深さ方法の位置として検出してもよい。
　これによれば、深さ位置検出装置は、モデルデータを用いて、被写体の位置を検出できる。
　また、本開示における撮像素子は、複数の単位画素を含み、前記複数の単位画素の各々は、赤色光を受光する赤色画素と、緑色光を受光する第１の緑色画素及び第２の緑色画素と、青色光を受光する青色画素とを含み、前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち少なくとも一種類の画素である第１の画素は、第１の方向に偏心しており、前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち、前記第１の画素以外の少なくとも一種類の画素である第２の画素は、前記第１の方向とは逆の第２の方向に偏心している。
　これによれば、単一の撮像素子に含まれる各色の画素を用いて、位相差を有する２枚の画像を撮影できる。これにより、２枚の画像用にそれぞれ画素を設ける場合に比べて、消費電力を抑制できる。
　また、本開示における深さ位置検出方法は、同一の被写体が互いに位相差を有するように撮像された第１の画像信号及び第２の画像信号を生成する撮像ステップと、画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータを用いて、前記第１の画像信号及び前記第２の画像信号から被写体の深さ方向の位置を検出する検出ステップとを含む。
　これによれば、被写体の位相差を用いて、被写体が手前側に存在するのか、奥側に存在するのかを判別できるので、合焦位置の異なる複数の画像を用いる必要ない。よって、当該深さ位置検出方法は、高速化を実現できる。また、高速にフォーカスを変更できる機構が不要となり、かつ、動画像撮影時のウォブリング動作も不要となるので、低コスト化及び画質の向上を実現できる。さらに、被写体のボケを用いることで、精度を向上できる。このように、当該深さ位置検出方法は、高速化及び精度の向上を実現できる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　（実施の形態）
　以下、図１～図２１を用いて実施の形態を説明する。
　（深さ位置検出装置の構成）
　図１は、本実施の形態に係る深さ位置検出装置１００の構成を示すブロック図である。この深さ位置検出装置１００は、被写体を撮影し、撮影により得られた画像から被写体の深さ方向の位置を検出する。具体的には、深さ位置検出装置１００は、現在の合焦位置と被写体位置との距離を示すデフォーカス量を検出する。
　例えば、この深さ位置検出装置１００は、デジタルスチルカメラ又はデジタルビデオカメラである撮像装置に搭載される。また、この深さ位置検出装置１００は、スマートフォン等に搭載されてもよい。また、深さ位置検出装置１００により検出されたデフォーカス量は、例えば、撮像装置においてオートフォーカスに利用される。
　なお、深さ位置検出装置１００は、被写体と撮像装置との距離を検出してもよい。被写体と撮像装置との距離は、例えば、検出されたデフォーカス量と現在の合焦位置とから算出できる。
　図１に示す深さ位置検出装置１００は、撮像素子１１０と、検出部１２０と、記憶部１３０とを備える。
　撮像素子１１０は、被写体像を撮像することにより、同一の被写体が互いに位相差を有する第１の画像信号１１１及び第２の画像信号１１２を生成する。つまり、第１の画像信号１１１と第２の画像信号１１２は異なる視点から同一の被写体（シーン）が撮影された画像である。また、例えば、第１の画像信号１１１及び第２の画像信号１１２は同一時刻に撮像される。
　また、深さ位置検出装置１００は、典型的には、単眼カメラに用いられる。つまり、第１の画像信号１１１及び第２の画像信号１１２は、例えば、単一の光学系を用いた単一の撮像素子１１０により生成される。
　具体的には、撮像素子１１０は、第１の方向に偏心している複数の第１の画素と、第１の方向とは逆の第２の方向に偏心している複数の第２の画素とを含む。複数の第１の画素は、第１の画像信号１１１を生成し、複数の第２の画素は、第２の画像信号１１２を生成する。なお、この画素の構成の詳細は後述する。
　図７～図９は、通常の場合と偏心ありの場合とにおける、被写体像と被写体距離との関係を示す図である。通常（偏心なし）の場合には、被写体距離が変化しても被写体の位置は変化せず、ぼけのみが変化する。具体的には、合焦位置からの被写体までの距離が遠いほどぼけが大きくなる。一方、偏心ありの場合には、被写体距離が変化に応じて、ぼけに加え、被写体の位置が変化する。本実施の形態では、このように、ぼけに加え位置の変化を加味する。
　図１０は、位相差方式と、ＤＦＤ方式と、本実施の形態の方式と説明するための図である。上述したように、位相差方式では、被写体距離の検出に、合焦時からの被写体の位置ズレが用いられており、ＤＦＤ方式では、被写体距離の検出に、被写体のぼけが用いられている。本実施の形態では、これらの両方を用いて被写体距離（デフォーカス量）を検出する。
　ここで、ＤＦＤ方式は、位相差方式より精度が高い。よって、本実施の形態では、被写体距離の検出にぼけ（ＤＦＤ方式）を用いることで、高精度を実現できる。さらに、ＤＦＤの課題である、２枚の画像撮影による遅延時間増加ついては、ピント位置の異なる２枚の画像ではなく、１枚同時撮像ながらも下記式（３）のような２つの式で示す情報が得られるようにする。
Figure JPOXMLDOC01-appb-M000003
　具体的には、同時撮像でもＰＳＦ１及びＰＳＦ２のぼけの違いが必要である。少なくとも同じピント位置であれば、通常はぼけの違いが生じないが、本実施の形態ではここで、位相差方式の考え方を取り入れ、位置ズレを用いてぼけの違いが生じるようにする。すなわち、撮像した１枚の画像から、位相差の左右画像に相当する２画像を生成できるよう、撮像素子面上を工夫する。これにより、本実施の形態では、合焦位置の異なる２枚の画像を撮影する必要がないので、距離検出処理を高速化できる。
　記憶部１３０は、モデルデータ１３１を記憶している。このモデルデータ１３１は、画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置（デフォーカス量）との関係を規定するパラメータである。
　検出部１２０は、記憶部１３０に記憶されているモデルデータ１３１を用いて、第１の画像信号１１１及び前記第２の画像信号１１２から被写体の深さ方向の位置（デフォーカス量）を検出する。そして、検出部１２０は、検出結果を示すデフォーカス情報１２１を生成する。
　図１１は、モデルデータ１３１の一例を示す図である。図１１に示すようにモデルデータ１３１は、デフォーカス量の各々に対応付けられている基準データを含む。各基準データは、対応付けられているデフォーカス量における第１の画像信号及び前記第２の画像信号における被写体のぼけ及び位相差（位置ズレ）を規定する。具体的には、各基準データは、対応付けられているデフォーカス量における第１の画像信号を規定する第１の基準データ（図１１の上段）と、対応付けられている位置における第２の画像信号における被写体のぼけを示す第２の基準データ（図１１の下段）とを含む。また、この第１の基準データと第２の基準データとのにおける被写体の位置の差（相対的な位置ズレ）により被写体の位相差が規定されている。
　例えば、検出部１２０は、複数の基準データから、入力された第１の画像信号１１１及び第２の画像信号１１２の組に最も合致（適合）する基準データを判別し、判別した基準データに対応付けられているデフォーカス量を被写体のデフォーカス量に決定する。
　また、図１１に示すモデルデータ１３１を用いることで、一般にＤＦＤ方式で用いられていた手法を流用することができる。ＤＦＤ方式では、合焦位置の異なる２つの画像信号と、モデルデータとを用いてデフォーカス量が検出されるが、この２つの画像信号を、互いに位相差を有する第１の画像信号１１１及び第２の画像信号１１２に置き換え、モデルデータを上記モデルデータ１３１に置き換えることで、ＤＦＤ方式と同様のアルゴリズムで第１の画像信号１１１及び第２の画像信号１１２から被写体のデフォーカス量を検出できる。なお、ＤＦＤ方式における、２つの画像信号とモデルデータとを用いたデフォーカス量の検出処理に関しては、例えば、非特許文献１に詳しく記載されている。
　また、第１の画像信号１１１及び第２の画像信号１１２からデフォーカス量を検出する方法として上記以外が用いられてもよい。例えば、第１の画像信号１１１及び第２の画像信号１１２の一方又は両方のぼけ量のみから、デフォーカス量の絶対値を検出し、位置ズレの方向から被写体が合焦位置の手前側又は奥側に存在するかを判定してもよい。
　（撮像素子１１０の構成）
　図１２は、撮像素子１１０の画素の構成例を示す図である。図１２に示すように複数の画素は所謂ベイヤー配列を有する。つまり、撮像素子１１０は、複数の単位画素を含む。複数の単位画素の各々は、赤色光を受光する赤色画素（Ｒ）と、緑色光を受光する第１の緑色画素（Ｇ１）及び第２の緑色画素（Ｇ２）と、青色光を受光する青色画素（Ｂ）とを含む。
　また、上述したように、撮像素子１１０は、第１の方向に偏心している複数の第１の画素と、第１の方向とは逆の第２の方向に偏心している複数の第２の画素とを含む。図１２に示す例では、赤色画素（Ｒ）及び第１の緑色画素（Ｇ１）が左方向に偏心しており、青色画素（Ｂ）及び第２の緑色画素（Ｇ２）が右方向に偏心している。
　また、各画素を偏心させる方法としては、図１３及び図１４に示すように光導波路を偏心させる方法を用いることができる。例えば、図１３に示すように、半導体基板２０４（例えばシリコン）に受光部（フォトダイオード）が形成されている。半導体基板２０４上には、遮光部２０３にはさまれた光導波路が形成され、その上にカラーフィルタ２０２が形成され、その上にマイクロレンズ２０１が形成されている。このような場合に、受光部の中心に対して、遮光部２０３、カラーフィルタ２０２及びマイクロレンズ２０１（オンチップレンズ）を偏心方向にずらして配置することにより、受光部で受光する光線に角度をつける（偏心させる）ことができる。
　一方、図１２に示すように各画素を偏心させた場合、色つきが発生する場合がある。この色つきを低減するために、図１５に示す配置を用いてもよい。図１５に示す例では、第１の緑色画素（Ｇ１）が左方向に偏心しており、第２の緑色画素（Ｇ２）が右方向に偏心している。また、赤色画素（Ｒ）及び青色画素（Ｂ）は偏心していない。なお、この場合には、第１の画像信号１１１は第１の緑色画素（Ｇ１）で生成され、第２の画像信号１１２は第２の緑色画素（Ｇ２）で生成される。つまり、赤色画素（Ｒ）及び青色画素（Ｂ）は、距離検出のためには用いられない。なお、距離検出ではない通常の撮影時には、全ての画素が用いられる。
　このように、緑色画素のみを偏心させることで、色つきの発生を抑制できる。よって、この構成は、高画質が要求される、例えば、ハイエンドデジタル一眼カメラ等の有用である。
　また、図１３及び図１４では、遮光部２０３、カラーフィルタ２０２及びマイクロレンズ２０１の全てをずらして配置しているが、少なくとも一部をずらして配置すればよい。例えば、図１６及び図１７に示すように、マイクロレンズ２０１のみをずらして配置してもよい。なお、図１６は、図１２と同様に全ての画素が偏心している場合の例を示し、図１７は、図１５と同様に、緑色画素（Ｇ１、Ｇ２）のみが偏心している場合の例を示している。
　このように、マイクロレンズ２０１のみをずらすことで、光導波路をずらす場合に比べて、迷光の発生を低減できる。一方で、マイクロレンズ２０１のみをずらした場合には、マイクロレンズ２０１のサイズを小さくする必要があるため受光量（感度）が低下するという短所がある。
　なお、ここでは、マイクロレンズ２０１の位置をずらしているが、さらにマイクロレンズ２０１の重心をずらしてもよし、重心のみをずらしてもよい。
　また、上記説明では、撮像素子内にて偏心を行う構成を説明したが、撮像装置が備える光学系（レンズ及び絞り等）を工夫することにより、第１の画素及び第２の画素に異なる光を入射させてもよい。
　（偏心量の設定）
　画素の偏心量を大きくすると、位相差がより顕著にあらわれるが、その一方で光量が低下するために感度が低下する。また、位相差方式ではズレを用いてデフォーカス量を検出するため、精度と感度とのトレードオフの関係を加味しつつ、精度を上げるために偏心量をある程度大きく設定する必要がある。
　一方で、本実施の形態では、デフォーカス量の絶対値はぼけ量から高精度に算出できるため、位相差は、被写体が合焦位置より手前側に存在するか奥側に存在するかを判断できる最低限の差だけあればよい。つまり、本実施の形態では、位相差方式に比べ、偏心量を小さく設定する。これにより、位相差方式での課題である感度の低下を抑制できる。さらに、偏心量が小さければ、人の目にも位相差が検知され難くなるので、通常の静止画又は動画像の撮影時において、違和感のない画像を生成することができる。
　図１８は、基線長に対する透過率（感度）及び正解率（距離検出精度）のシミュレーション結果を示す図である。ここで、基線長とは、図１９及び図２０に示すように、例えば、絞りにおける、第１の画素及び第２の画素の各々に入射する光の中心（重心）間の距離である。また、図１８では、基線長を口径を１とした場合の値で表している。また、口径とは撮像装置に入射する光の径であり、例えば、絞りの径である。また、この基線長は、各画素の位相差に対応する。つまり、基線長が長いほど位相差が大きくなるので、図１８に示すように、正解率（距離検出精度）が高くなる。ここで、正解率とは、テストパターンに対して正しく距離が検出された率である。
　一方で、基線長が長いほど光量（透過率）が低下するため感度が低下する。この感度の低下を抑制するために、例えば、透過率を７０％以上に確保することが好ましく、例えば、基線長を０．１５以下に設定することが好ましい。つまり、第１の画像信号１１１と第２の画像信号１１２とにおける位相差は、基線長換算で１５％以下の位相差であることが好ましい。また、基線長が短くなりすぎると正解率が急激に減少する。よって、例えば、基線長を０．１０以上に設定することが好ましい。つまり、第１の画像信号１１１と第２の画像信号１１２とにおける位相差は、基線長換算で１０％以上の位相差であることが好ましい。
　（処理の流れ）
　以下、上述した深さ位置検出装置１００による処理の流れを、図２１を用いて説明する。
　まず、撮像素子１１０は、同一の被写体が互いに位相差を有するように撮像された第１の画像信号１１１及び第２の画像信号１１２を生成する（Ｓ１０１）。次に、検出部１２０は、記憶部１３０に記憶されている、画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータ１３１を用いて、第１の画像信号１１１及び第２の画像信号１１２から被写体の深さ方向の位置（デフォーカス量）を検出する（Ｓ１０２）。
　（まとめ）
　以上のように、本実施の形態に係る深さ位置検出装置１００は、被写体のぼけと位相差との両方を用いて、デフォーカス量を検出する。これにより、位相差を用いて、被写体が手前側に存在するのか、奥側に存在するのかを判別できるので、合焦位置の異なる複数の画像を用いる必要ない。よって、深さ位置検出装置１００は、位置検出処理の高速化を実現できる。さらに、被写体のボケを用いることで、位置検出の精度を向上できる。このように、深さ位置検出装置１００は、高速化及び精度の向上を実現できる。
　さらに、画素の偏心量を、被写体が手前側に存在するのか、奥側に存在するのかを判別できる程度に小さく設定することで、受光量の低下を抑制できるので、感度の低下を抑制できる。さらに、位相差が小さいことにより、通常撮影時に違和感のない画像を生成できる。
　また、通常の撮影に用いられる画素の一部が、第１の画像信号１１１の生成に用いられ、他の一部を第２の画像信号１１２の生成に用いられる。これにより、位相差を有する画像の撮影時の消費電力の増加を抑制できる。さらに、緑色画素のみを、位相差を有する画像の撮影に用いることで、色つきの発生を抑制できる。
　（他の実施の形態）
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　また、上記実施の形態に係る深さ位置検出装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、上記断面図は、本開示に係る構成を模式的に示すものである。当該断面図において、各構成要素の角部及び辺を直線的に記載されているが、製造上の理由により、角部及び辺が丸みをおびたものも本開示に含まれる。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、上記フローチャートに示すステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　本開示は、ＤＦＤ処理を行う撮影装置に適用可能である。具体的には、デジタルビデオカメラ、デジタル一眼カメラなどに、本開示は適用可能である。
　１００　深さ位置検出装置
　１１０　撮像素子
　１１１　第１の画像信号
　１１２　第２の画像信号
　１２０　検出部
　１２１　デフォーカス情報
　１３０　記憶部
　１３１　モデルデータ
　２０１　マイクロレンズ
　２０２　カラーフィルタ
　２０３　遮光部
　２０４　半導体基板
　２５０　画素
　２５１、２５２　受光部

Claims (8)

  1. 　同一の被写体が互いに位相差を有するように撮像された第１の画像信号及び第２の画像信号を生成する撮像素子と、
    　画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータを記憶している記憶部と、
    　前記モデルデータを用いて、前記第１の画像信号及び前記第２の画像信号から被写体の深さ方向の位置を検出する検出部とを備える
    　深さ位置検出装置。
  2. 　前記第１の画像信号及び前記第２の画像信号は同一時刻に撮像される
    　請求項１記載の深さ位置検出装置。
  3. 　前記第１の画像信号と前記第２の画像信号とにおける前記位相差は、基線長換算で１５％以下の位相差である
    　請求項１又は２記載の深さ位置検出装置。
  4. 　前記撮像素子は、複数の単位画素を含み、
    　前記複数の単位画素の各々は、
    　赤色光を受光する赤色画素と、
    　緑色光を受光する第１の緑色画素及び第２の緑色画素と、
    　青色光を受光する青色画素とを含み、
    　前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち少なくとも一種類の画素である第１の画素は、第１の方向に偏心しており、
    　前記複数の単位画素に含まれる複数の前記第１の画素は、前記第１の画像信号を生成し、
    　前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち、前記第１の画素以外の少なくとも一種類の画素である第２の画素は、前記第１の方向とは逆の第２の方向に偏心しており、
    　前記複数の単位画素に含まれる複数の前記第２画素は、前記第２の画像信号を生成する
    　請求項１～３のいずれか１項に記載の深さ位置検出装置。
  5. 　前記第１の画素は前記第１の緑色画素であり、
    　前記第２の画素は前記第２の緑色画素である
    　請求項４記載の深さ位置検出装置。
  6. 　前記モデルデータは、前記被写体の深さ方向の複数の位置の各々と対応付けられている基準データを含み、
    　各前記基準データは、対応付けられている位置における前記第１の画像信号を規定する第１の基準データと、対応付けられている位置における前記第２の画像信号における被写体のぼけを示す第２の基準データとを含み、
    　前記第１の基準データと前記第２の基準データとにおける前記被写体の位置の差により前記被写体の位相差が規定され、
    　前記検出部は、複数の前記基準データのうち、前記第１の画像信号及び前記第２の画像信号に最も合致する基準データに対応付けられている位置を、前記被写体の深さ方法の位置として検出する
    　請求項１～５のいずれか１項に記載の深さ位置検出装置。
  7. 　複数の単位画素を含み、
    　前記複数の単位画素の各々は、
    　赤色光を受光する赤色画素と、
    　緑色光を受光する第１の緑色画素及び第２の緑色画素と、
    　青色光を受光する青色画素とを含み、
    　前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち少なくとも一種類の画素である第１の画素は、第１の方向に偏心しており、
    　前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち、前記第１の画素以外の少なくとも一種類の画素である第２の画素は、前記第１の方向とは逆の第２の方向に偏心している
    　撮像素子。
  8. 　同一の被写体が互いに位相差を有するように撮像された第１の画像信号及び第２の画像信号を生成する撮像ステップと、
    　画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータを用いて、前記第１の画像信号及び前記第２の画像信号から被写体の深さ方向の位置を検出する検出ステップとを含む
    　深さ位置検出方法。
PCT/JP2014/003966 2014-02-26 2014-07-29 深さ位置検出装置、撮像素子、及び深さ位置検出方法 WO2015128908A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015527736A JP6137316B2 (ja) 2014-02-26 2014-07-29 深さ位置検出装置、撮像素子、及び深さ位置検出方法
US14/880,014 US9836847B2 (en) 2014-02-26 2015-10-09 Depth estimation apparatus, imaging device, and depth estimation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014035280 2014-02-26
JP2014-035280 2014-02-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/880,014 Continuation US9836847B2 (en) 2014-02-26 2015-10-09 Depth estimation apparatus, imaging device, and depth estimation method

Publications (1)

Publication Number Publication Date
WO2015128908A1 true WO2015128908A1 (ja) 2015-09-03

Family

ID=54008282

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003966 WO2015128908A1 (ja) 2014-02-26 2014-07-29 深さ位置検出装置、撮像素子、及び深さ位置検出方法

Country Status (3)

Country Link
US (1) US9836847B2 (ja)
JP (1) JP6137316B2 (ja)
WO (1) WO2015128908A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018141681A (ja) * 2017-02-27 2018-09-13 アイホン株式会社 距離測定装置
JPWO2018185939A1 (ja) * 2017-04-07 2019-04-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム
CN111866369A (zh) * 2020-05-28 2020-10-30 北京迈格威科技有限公司 图像处理方法及装置
US11880991B2 (en) 2021-07-12 2024-01-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus including depth information at first or second spatial resolution at different regions in the image

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10690495B2 (en) * 2016-03-14 2020-06-23 Canon Kabushiki Kaisha Ranging apparatus and moving object capable of high-accuracy ranging
WO2019031000A1 (ja) * 2017-08-09 2019-02-14 ソニー株式会社 信号処理装置、撮像装置、信号処理方法及びプログラム
US10746875B2 (en) * 2017-09-08 2020-08-18 Osram Opto Semiconductors Gmbh Sensor system and method to operate a sensor system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5994721A (ja) * 1982-11-22 1984-05-31 Olympus Optical Co Ltd 検出範囲を拡げた合焦検出方法
JPH09179015A (ja) * 1995-12-25 1997-07-11 Nikon Corp 焦点検出装置
JP2009222449A (ja) * 2008-03-14 2009-10-01 Maxis-Shinto Inc レンズ系を用いた距離計測装置
JP2010016743A (ja) * 2008-07-07 2010-01-21 Olympus Corp 測距装置、測距方法、測距プログラム又は撮像装置
WO2012017577A1 (ja) * 2010-08-06 2012-02-09 パナソニック株式会社 撮像装置および撮像方法
WO2012132117A1 (ja) * 2011-03-31 2012-10-04 富士フイルム株式会社 撮像装置及びその駆動方法
JP2014026051A (ja) * 2012-07-25 2014-02-06 Olympus Corp 撮像装置、画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5173665B2 (ja) 2008-08-08 2013-04-03 キヤノン株式会社 画像撮影装置およびその距離演算方法と合焦画像取得方法
JP5374119B2 (ja) 2008-11-13 2013-12-25 オリンパス株式会社 距離情報取得装置、撮像装置、及びプログラム
JP5539029B2 (ja) 2010-05-28 2014-07-02 キヤノン株式会社 固体撮像装置の製造方法
US8705801B2 (en) * 2010-06-17 2014-04-22 Panasonic Corporation Distance estimation device, distance estimation method, integrated circuit, and computer program
JP5735784B2 (ja) 2010-11-30 2015-06-17 キヤノン株式会社 撮像装置及びその制御方法、レンズ装置及びその制御方法
JP2012124555A (ja) 2010-12-06 2012-06-28 Canon Inc 撮像装置
JP5744545B2 (ja) 2011-01-31 2015-07-08 キヤノン株式会社 固体撮像装置およびカメラ
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
US8885941B2 (en) * 2011-09-16 2014-11-11 Adobe Systems Incorporated System and method for estimating spatially varying defocus blur in a digital image
US8736747B2 (en) * 2012-01-13 2014-05-27 Sony Corporation Camera autofocus adaptive blur matching model fitting
US9451147B2 (en) * 2012-06-11 2016-09-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
JP6075835B2 (ja) * 2012-08-27 2017-02-08 キヤノン株式会社 距離情報取得装置、撮像装置、距離情報取得方法、及び、プログラム
JP5988790B2 (ja) * 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US9562849B2 (en) * 2013-11-12 2017-02-07 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5994721A (ja) * 1982-11-22 1984-05-31 Olympus Optical Co Ltd 検出範囲を拡げた合焦検出方法
JPH09179015A (ja) * 1995-12-25 1997-07-11 Nikon Corp 焦点検出装置
JP2009222449A (ja) * 2008-03-14 2009-10-01 Maxis-Shinto Inc レンズ系を用いた距離計測装置
JP2010016743A (ja) * 2008-07-07 2010-01-21 Olympus Corp 測距装置、測距方法、測距プログラム又は撮像装置
WO2012017577A1 (ja) * 2010-08-06 2012-02-09 パナソニック株式会社 撮像装置および撮像方法
WO2012132117A1 (ja) * 2011-03-31 2012-10-04 富士フイルム株式会社 撮像装置及びその駆動方法
JP2014026051A (ja) * 2012-07-25 2014-02-06 Olympus Corp 撮像装置、画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018141681A (ja) * 2017-02-27 2018-09-13 アイホン株式会社 距離測定装置
JPWO2018185939A1 (ja) * 2017-04-07 2019-04-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム
CN111866369A (zh) * 2020-05-28 2020-10-30 北京迈格威科技有限公司 图像处理方法及装置
US11880991B2 (en) 2021-07-12 2024-01-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus including depth information at first or second spatial resolution at different regions in the image

Also Published As

Publication number Publication date
JP6137316B2 (ja) 2017-05-31
US20160035099A1 (en) 2016-02-04
US9836847B2 (en) 2017-12-05
JPWO2015128908A1 (ja) 2017-03-30

Similar Documents

Publication Publication Date Title
JP6137316B2 (ja) 深さ位置検出装置、撮像素子、及び深さ位置検出方法
US9451216B2 (en) Distance calculating apparatus, image pick-up apparatus using the same, distance calculating method, program for realizing distance calculation, and storage medium having the program stored thereon
US9690112B2 (en) Image capturing apparatus
JP2009217074A (ja) 焦点検出装置
JP2008026802A (ja) 撮像装置
US9759549B2 (en) Distance detecting device
CN103460703B (zh) 彩色摄像元件及摄像装置
US11297271B2 (en) Image sensor and image capture apparatus
CN103460704B (zh) 彩色摄像元件及摄像装置
JP2016038414A (ja) 焦点検出装置およびその制御方法、並びに撮像装置
US20170257583A1 (en) Image processing device and control method thereof
JP2014032214A (ja) 撮像装置及びその合焦位置検出方法
WO2014021147A1 (en) Distance detecting apparatus
US20160344952A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
CN103460702B (zh) 彩色摄像元件及摄像装置
JP6572975B2 (ja) 撮像装置
US9794468B2 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions
US10326951B2 (en) Image processing apparatus, image processing method, image capturing apparatus and image processing program
JP2015014788A (ja) 測距装置、撮像装置及び測距装置の制御方法
JP2015203756A (ja) 視差量算出装置、距離算出装置、撮像装置および視差量算出方法
KR101839357B1 (ko) 촬상 장치 및 촬상 방법
US11496665B2 (en) Image capturing apparatus and control method thereof
JP6257201B2 (ja) 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置
US20240214677A1 (en) Detection method, imaging apparatus, and program
JP5853510B2 (ja) 撮像装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015527736

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14884168

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14884168

Country of ref document: EP

Kind code of ref document: A1