WO2015059971A1 - 撮像装置及び位相差検出方法 - Google Patents

撮像装置及び位相差検出方法 Download PDF

Info

Publication number
WO2015059971A1
WO2015059971A1 PCT/JP2014/070304 JP2014070304W WO2015059971A1 WO 2015059971 A1 WO2015059971 A1 WO 2015059971A1 JP 2014070304 W JP2014070304 W JP 2014070304W WO 2015059971 A1 WO2015059971 A1 WO 2015059971A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pupil
phase difference
subject
imaging
Prior art date
Application number
PCT/JP2014/070304
Other languages
English (en)
French (fr)
Inventor
愼一 今出
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201480057875.3A priority Critical patent/CN105659054A/zh
Publication of WO2015059971A1 publication Critical patent/WO2015059971A1/ja
Priority to US15/093,884 priority patent/US20160301855A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an imaging apparatus, a phase difference detection method, and the like.
  • phase difference In AF or 3D measurement, there is a method using phase difference as one of mainstream methods.
  • This method is basically based on obtaining two parallax images and detecting the phase difference (deviation amount) between them to obtain the distance from the imaging system to the subject using the principle of triangulation.
  • correlation calculation is performed while shifting one parallax image from the initial position with respect to the other parallax image, mutual similarity is evaluated by the correlation calculation, a position where matching can be obtained is identified, and initial phase is detected.
  • the difference between the position and the matching position is detected as a phase difference.
  • a method for obtaining a parallax image a binocular stereoscopic method using two cameras arranged at a predetermined interval has long been used.
  • a simple configurable monocular method has been proposed.For example, a parallax image is formed by separating light passing through one pupil and light passing through the other pupil in an imaging lens to form different pupil images. A method for obtaining the above has been proposed.
  • an image that has passed through two pupils is picked up by one image sensor.
  • a technique for separating and forming two pupil images from the captured image for example, in Patent Document 1, a pair of two adjacent pixels on the imaging element surface, and a pixel into which light that has passed through one of the pupils depending on an incident angle is entered.
  • a method of separating pixels into which light that has passed through the other pupil enters Since the pixel sampled from one pupil image and the pixel sampled from the other pupil image are obtained as separate components, phase difference detection is possible.
  • Patent Document 2 discloses a method of configuring a spectral filter at the pupil position of the imaging optical system, not on the imaging element surface. For example, only one red color is allowed to pass through one pupil and only the blue color is allowed to pass through the other pupil, and an image passing through these two pupils is formed on the image sensor surface. And the other pupil image is obtained by the blue pixel.
  • the two parallax images become waveform data of the image sampled by the pixels of the image sensor, and the phase difference detection is performed by performing a matching calculation process on these waveform data. Therefore, there is a problem that the detection resolution of the phase difference is limited to a pixel pitch at which a parallax image can be sampled.
  • an imaging apparatus a phase difference detection method, and the like that enable phase difference detection with a resolution higher than the pixel pitch of the image sensor.
  • One embodiment of the present invention includes an imaging unit that captures a first subject image and a second subject image having parallax with respect to the same subject, a first image obtained by capturing the first subject image, and the second subject image.
  • a densification processing unit that performs densification processing on the captured second image, and a phase difference detection unit that detects a phase difference between the first image and the second image after the densification processing
  • the imaging unit has a cutoff frequency of 1 / (2P) or less when the pitch of the pixels that capture the first subject image and the pitch of the pixels that capture the second subject image are P.
  • An optical low-pass filter (including the value thereof), and the densification processing unit includes, as the densification processing, upsampling processing for the first image and the second image, and after the upsampling processing Of the first image and the second image And a two-dimensional low-pass filtering to be related to an image pickup apparatus that performs.
  • the cutoff frequency is 1 / (2P) or less (its value)
  • the first subject image and the second subject image having a parallax with respect to the same subject that have passed through the optical low-pass filter that includes the first subject image and the first image obtained by capturing the first subject image
  • Upsampling processing is performed on a second image obtained by capturing two subject images
  • two-dimensional low-pass filter processing is performed on the first image and the second image after the upsampling processing
  • the two-dimensional low-pass filter The present invention relates to a phase difference detection method for performing a process of detecting a phase difference between the first image and the second image after processing.
  • FIG. 1 is a configuration example of an imaging apparatus.
  • FIG. 2 is an explanatory diagram of the basic principle of stereo image measurement by the pupil division method.
  • FIG. 3 is a configuration example of the imaging apparatus according to the first embodiment.
  • FIG. 4 is an example of spectral characteristics of the pupil division filter and the image sensor.
  • FIG. 5 is an explanatory diagram of a densification process in the first embodiment.
  • FIG. 6A to FIG. 6D are explanatory diagrams for the densification processing in the first embodiment.
  • FIG. 7 is an explanatory diagram of a densification process in the first embodiment. 8A to 8C show simulation results of phase difference detection by high density processing.
  • FIG. 9 is an explanatory diagram of a densification process in the first embodiment.
  • FIG. 1 is a configuration example of an imaging apparatus.
  • FIG. 2 is an explanatory diagram of the basic principle of stereo image measurement by the pupil division method.
  • FIG. 3 is a configuration example of the imaging apparatus according to the first embodiment
  • FIG. 10 is a simulation result on the similarity of sampling data.
  • FIG. 11 is an explanatory diagram of a densification process in the second embodiment.
  • FIG. 12 is an explanatory diagram of a densification process in the second embodiment.
  • FIG. 13 is an explanatory diagram of matching evaluation by the improved SAD.
  • FIG. 14 is a simulation result of a statistical dispersion value of the phase difference detection value with respect to the S / N ratio of the waveform.
  • the resolution of detecting a phase difference is determined by the density of sampling pixels that handle each of two parallax images captured by pupil division. That is, as shown in the left diagram of FIG. 9, the waveform pattern of the parallax image is handled as data sampled by the sampling pixels.
  • the correlation coefficient is obtained at the relative position where the sampling positions of the two waveform patterns coincide. Therefore, the detection resolution of the matching position is determined by the sampling density, and the resolution of the phase difference that is the difference between the initial position and the matching position is also determined by the sampling density.
  • the distance resolution ⁇ z is determined by the phase difference detection resolution ⁇ s. That is, in order to realize distance measurement with high resolution, higher phase difference detection resolution is required.
  • the pixel density of the image sensor has approached the limit of the optical resolution, and future significant pixel density improvement cannot be expected. Therefore, how to achieve high-density sampling that is higher than the pixel density using a given imaging device is a major issue.
  • FIG. 1 shows a configuration example of an imaging apparatus of the present embodiment that can solve this problem.
  • the imaging apparatus includes an imaging unit 10 that captures a first subject image and a second subject image having parallax with respect to the same subject, a first image obtained by capturing the first subject image, and a first subject image obtained by capturing the second subject image.
  • a densification processing unit 20 that performs densification processing on two images and a phase difference detection unit 30 that detects a phase difference between the first image and the second image after the densification processing are included.
  • the imaging unit 10 has a cutoff frequency of 1 / (2P) or less (the value is An optical low-pass filter 11.
  • the densification processing unit 20 performs an upsampling process on the first image and the second image, and a two-dimensional low-pass filter process on the first image and the second image after the upsampling process.
  • a monocular imaging optical system is divided into pupils, and parallax images are acquired using Bayer array imaging elements.
  • the first subject image passing through the first pupil is picked up by red pixels
  • the first image and the second image are up-sampled to the number of pixels of N ⁇ N times, respectively, and two-dimensional low-pass filter processing is performed on the images.
  • a parallax image having a sampling density (pixel pitch p / N) that is N times the pixel density (pixel pitch p) of the image sensor can be obtained.
  • the monocular first embodiment has been described as an example.
  • the present embodiment can also be applied to a case where a twin-lens imaging unit is used.
  • the monocular imaging unit is divided into pupils, different colors are assigned to the two pupils, the phase difference is detected, and 3D measurement is performed.
  • the basic principle of stereo image measurement by the pupil division method will be described with reference to FIG.
  • a case where the pupil is divided into left and right (horizontal scanning direction) will be described as an example.
  • the division direction of the pupil is not limited to right and left, and may be any direction orthogonal to the optical axis.
  • Reflected light from the subject surface passes through the imaging lens 12 (imaging optical system), forms an image on the imaging element surface, and is acquired as an image signal by the imaging element.
  • the coordinate axis with the reference position RP of the subject set to zero is set to (x, y, z)
  • the coordinate axis with the corresponding focus position RP ′ of the imaging element surface set to zero is set to (x ′, y ′).
  • the x ′ axis corresponds to the horizontal scanning direction of the image sensor
  • the y ′ axis corresponds to the vertical scanning direction of the image sensor.
  • the z-axis corresponds to the optical axis direction of the imaging lens 12, that is, the depth distance direction.
  • the distances a 0 and b 0 are distances determined by the design of the imaging unit.
  • the left half of the imaging lens 12 is called the left pupil and the right half is called the right pupil.
  • GP L is the center of gravity of the left pupil
  • GP R is the center of gravity of the right pupil.
  • M is the optical total magnification at the reference in-focus position.
  • l is the distance between the center of gravity GP L of the left pupil and the center of gravity GP R of the right pupil.
  • an optical filter that transmits red is provided at the left pupil position
  • an optical filter that transmits blue is set at the right pupil position
  • the red image obtained by the imaging device is separated as the left pupil image
  • the blue image is converted into the right pupil image.
  • FIG. 3 shows a configuration example of the imaging device in the first embodiment.
  • the imaging apparatus includes an imaging unit 10, a densification processing unit 20 (a densification measurement development unit), a phase difference detection unit 30, an optical characteristic storage unit 40, a distance measurement calculation unit 80, and a three-dimensional shape output processing unit 90.
  • symbol is attached
  • the imaging unit 10 includes an optical low-pass filter 11, an imaging lens 12 (imaging optical system), a pupil division filter 13, an imaging element 14, and an imaging processing unit 15.
  • the left pupil of the pupil division filter 13 is provided with an R (red) filter, and the right pupil is provided with a B (blue) filter.
  • the image sensor 14 is an RGB color image sensor having a Bayer pixel array.
  • FIG. 4 shows spectral characteristics of the pupil division filter 13 and the image sensor 14.
  • F L is the spectral characteristic of the R filter of the left pupil
  • F R is the spectral characteristic of the B filter of the right pupil.
  • Spectral characteristics of the pupil F L, F R is the spectral characteristics T B of R and B pixels are divided by the cross points of the T R (wavelength [lambda] c), covers the band of RGB as a whole. Both of the spectral characteristics F L and F R are characteristics that transmit the G component (a part thereof).
  • the spectral characteristics ⁇ T B , T G , T R ⁇ are not only the characteristics of the color filter provided for each pixel of the image sensor 14, but also the spectral characteristics of the external light or illumination light irradiated on the subject, and the pixels. It is defined as a combination of its own spectral characteristics. All the parameters relating to the spectral characteristics are set values (corresponding values) with respect to the wavelength ⁇ , but the description of the wavelength ⁇ as a dependent variable is omitted in this specification.
  • Reflected light from the subject passes through the imaging lens 12, the pupil division filter 13, and the optical low-pass filter 11 to form an image on the image sensor 14.
  • the pixel value of the R pixel the spectral characteristics of the reflected light from the object, component values multiplied by spectral characteristics T R of spectral characteristics F L and R pixels of the left pupil is obtained.
  • the pixel values of the B pixels the spectral characteristics of the reflected light from the object, component values multiplied by spectral characteristics T B spectral characteristics F R and B pixels of the right pupil is obtained. That is, among the Bayer images, a left pupil image is obtained from the R image, and a right pupil image is obtained from the B image.
  • the imaging processing unit 15 controls the imaging operation and processes the imaging signal. For example, the pixel signal from the image sensor 14 is converted into digital data, and Bayer array image data (so-called RAW image data) is output.
  • RAW image data Bayer array image data
  • the densification processing unit 20 performs sampling density densification processing for detecting the phase difference between the R image and the B image with a resolution smaller than the sampling pixel pitch. By this processing, the sampling density becomes N ⁇ N times. N is, for example, 100 to 10,000. Details of the densification process will be described later.
  • spectral characteristics T B of the R pixel has a component in the band of spectral characteristics F L of Hidarihitomi. Therefore, the left pupil component is mixed in the R image which should be the right pupil image.
  • Such spectral characteristic mixing of left and right pupils F R, F L, T B , T G may be subjected to a treatment to reduce based on T R.
  • the phase difference detection unit 30 includes a phase difference rough detection unit 50, a detectable region extraction unit 60 (detectable feature part extraction unit), and a phase difference fine detection unit 70.
  • the phase difference rough detection unit 50 performs phase difference detection that is coarser than the density of phase difference detection performed by the phase difference fine detection unit 70.
  • the correlation calculation is performed by thinning out pixels from the image after the densification processing or the Bayer image before the densification processing.
  • the detectable region extraction unit 60 determines whether or not phase difference detection is possible based on the correlation coefficient from the phase difference rough detection unit 50, and whether or not distance information in the z direction can be acquired based on the determination result. And the image of the detectable region is output to the phase difference fine detection unit 70. For example, it is determined whether or not phase difference detection is possible by determining whether or not a correlation peak exists.
  • the phase difference fine detection unit 70 performs phase difference detection on the image after the densification processing, and obtains the phase difference finely with a resolution smaller than the sampling pixel pitch.
  • the detection of the phase difference is performed on the area determined to be detectable by the detectable area extracting unit 60.
  • the ranging calculation unit 80 calculates the distance in the z direction with high resolution based on the phase difference detected by the phase difference fine detection unit 70.
  • the solid shape output processing unit 90 configures solid shape data based on the distance information in the z direction, and outputs the solid shape data.
  • the left and right R and B pupil images that have passed through the optical low-pass filter 11 are sampled by the color image sensor 14.
  • the R and B pixels of the image sensor 14 are arranged as shown in FIG.
  • the optical low-pass filter 11 is an anti-aliasing filter and is provided so that aliasing noise does not occur in the R and B pupil images. Since the sampling pitch of each pupil image is 2p, the sampling frequency is 1 / (2p), and the cut-off frequency is set to Nyquist frequency 1 / (4p) or less (including the value) determined correspondingly.
  • the frequency characteristics of the R and B images are as shown in FIG. That is, when the frequency characteristic of the optical LPF is 1 / (4p), for example, it has a band of -1 / (4p) to + 1 / (4p). Although not shown, it has a repetition period of 1 / (2p).
  • the dotted line indicates the frequency characteristics of the pixel aperture. Corresponding to the opening width p, it has a band of -1 / p to + 1 / p.
  • the frequency characteristics of the R and B images are as shown in FIG. Since the data is simply duplicated by dividing the pixel, the frequency characteristics are the same as before the upsampling. That is, for example, it has a band of -1 / (4p) to + 1 / (4p) and has a repetition period of 1 / (2p).
  • the sampling data composed of minute pixels is filtered by a two-dimensional low-pass filter, and the minute pixels in the entire captured image including the pixels of the undetected portion are reconstructed. That is, image data having a pixel pitch p / N with respect to the pixel pitch p of the image sensor 14 is generated, and a sampling density that is N times apparent is obtained.
  • the cut-off frequency of the two-dimensional low-pass filter is set to the Nyquist frequency 1 / (4p) or less (including its value) determined by the sampling pitch 2p of R or B as in the optical low-pass filter.
  • the two-dimensional low-pass filter is, for example, a Gaussian filter.
  • the frequency characteristics of the two-dimensional low-pass filter are, for example, as shown in FIG.
  • the frequency characteristics of the R and B images after the two-dimensional low-pass filter are as shown in FIG. Corresponding to the pixel pitch becoming p / N, the repetition frequency becomes N / p.
  • the band corresponds to the band obtained by multiplying the frequency characteristic of the optical low-pass filter by the frequency characteristic of the two-dimensional low-pass filter.
  • the pupil image I L of B, I R is a sampled image 2p pitch.
  • the densification of the above, as shown on the right in FIG. 7, the left and right R, pupil image I L of B, I R is greater than simply increasing the density of sampling by the image sensor 14 density (pitch p / N) can be obtained as the image data sampled.
  • FIGS. 8A to 8C show simulation results of phase difference detection by the densification process.
  • the horizontal axis represents the initial position in the correlation calculation as “0” and the shift amount from the initial position is represented by the number of pixels.
  • FIG. 8A shows a waveform for obtaining a phase difference.
  • the sampling waveforms I (x) and I (x ⁇ ) are simply upsampled by 0.1p (one pixel is divided into 0.1p, and the same value as that pixel is duplicated) ), And the cross-correlation coefficient is obtained while shifting in increments of 0.1p.
  • phase difference detection resolution below the pixel pitch of the image sensor can be made possible by the upsampling process and the two-dimensional low-pass filter process of the present embodiment.
  • pupil image I L of B, I R is substantially the same waveform, having a phase difference [delta].
  • the pupil image I L, and were matched waveform of I R are matched, originally, it is desirable that a correlation coefficient at the highest position similarity Thus waveform is obtained.
  • the parallax ⁇ is arbitrary, the positions where the R and B pixels sample with respect to the pupil images I L and I R having substantially the same waveform are generally not the same. Therefore, for example, left and right R, pupil image I L of B, even with the same I R is optically, resulting sampling data becomes different from those of the similarity is lost when viewed in sampling data. This means that the correlation coefficient pupil images I L, when trying to find the matching position of the I R, no exact position is required.
  • the pupil image I L by one sampling pixel I R (i.e. at 2p pitch) while shifting, and to determine the correlation coefficients.
  • the correlation coefficient obtained is each position pupil images I L, the pixels of I R (i.e. solid arrows and dotted arrows) match. That is, in the pupil images I L and I R having different sampling positions, the correlation coefficient when the waveforms match cannot be obtained, and a phase difference detection error occurs.
  • Fig. 10 shows the result of a simulation of the similarity of sampling data.
  • the upper diagram shows the sampling position.
  • Sampling positions B2, B4, B6, and B8 are positions shifted from the sampling position A by 0.2p. For example, when the phase difference is 0.6p, the left pupil image is sampled at the sampling position A, and the right pupil image is sampled at the sampling position B6.
  • the middle figure shows sampling data.
  • the sampling data is data obtained by sampling the sensor input waveform at the sampling positions A, B2, B4, B6, and B8.
  • the sensor input waveform is a waveform of the subject image formed on the sensor surface. At this time, since the sampling positions are different, the similarity between the sampling data is reduced.
  • the lower diagram shows the sampling data subjected to the densification process of this embodiment.
  • the waveform data As, Bs2, Bs4, Bs6, and Bs8 correspond to the sampling positions A, B2, B4, B6, and B8. It can be seen that the waveform data As, Bs2, Bs4, Bs6, and Bs8 coincide and cannot be identified, and the similarity between the sampling data is high. By using this highly similar sampling data, it is possible to detect the phase difference with high accuracy.
  • the imaging unit 10 includes the imaging optical system (imaging lens 12), the first pupil (left pupil) that passes the first subject image through the pupil of the imaging optical system, and the second pupil.
  • a pupil division filter 13 that divides the subject image into a second pupil (right pupil) that passes the subject image; and an imaging element 14 that captures the first subject image and the second subject image formed by the imaging optical system.
  • a parallax image can be captured by the monocular imaging unit 10. Then, by performing the densification process on the parallax image, high-resolution distance measurement is possible even with a single eye. That is, as shown in the above equation (2), in order to increase the distance measurement resolution ⁇ z, it is necessary to increase the distance l between the centers of gravity of the pupils. Hard to do. In this regard, in the present embodiment, the phase difference detection resolution ⁇ s can be increased by the high-density processing. Therefore, even if the distance between the centers of gravity of the pupils is small, the high-resolution distance measurement can be performed by the above equation (2). Can be realized.
  • the image sensor 14 is an image sensor with a primary color Bayer array.
  • the pupil division filter 13 includes, as a first pupil, a filter that transmits a wavelength band corresponding to red (spectral characteristic F L in FIG. 4), and a filter that transmits a wavelength band corresponding to blue (spectral characteristic F in FIG. 4). R ) as the second pupil.
  • the densification processing unit 20 sets the red image as the first image (left pupil image) and the blue image as the second image (right pupil image) among the Bayer array images captured by the image sensor 14. ), A densification process is performed.
  • high-resolution phase difference detection can be realized by using a color image sensor of a primary color Bayer array that is generally used. Since a parallax image can be formed simply by inserting the pupil division filter 13 and taking out the R and B images, high-resolution phase difference detection can be realized without major changes to the conventional imaging unit. Further, since only the pupil division filter 13 is added to the optical system, the imaging unit 10 can be configured compactly, and for example, the above-described small-diameter endoscope can be realized.
  • the Nyquist frequency corresponding to the pixel pitch p of the image sensor is 1 / (2p)
  • the cutoff frequency of the optical low-pass filter 11 is 1 / (2p) or less (including that value).
  • the densification processing unit 20 divides the pixels of the first image and the second image into N ⁇ N pixels, and the pixel value of the original pixel is divided into the N ⁇ N pixels. Process to duplicate.
  • the cutoff frequency of the two-dimensional low-pass filter process is 1 / (2P) or less (including its value).
  • the cutoff frequency of the two-dimensional low-pass filter is correspondingly 1 / (2P) or less ( (Including that value), noise outside the band can be reduced while leaving the components of the parallax image.
  • the image is picked up by a complementary color image sensor, and right and left pupil images are generated from the complementary color image.
  • the configuration of the imaging device is the same as that of the first embodiment.
  • the general arrangement is as shown. If the pixel pitch is p, the arrangement pitch of each color is 2p.
  • the value read from the image sensor is a value obtained by combining (adding) adjacent two pixels in the vertical direction. If these are A1, A2, B1, and B2, the following equation (3) is obtained.
  • the horizontal lines are formed in two pixels, for example, the next line L n as shown in FIG. 11 is a line L n + 2, the data in the above equation (3) is output in line units.
  • the lines L n and L n + 2 are read in the odd frame, and the lines L n + 1 and L n + 3 shifted by one pixel in the vertical direction are read in the even frame. Since the processing is the same, the following description will be made taking lines L n and L n + 2 as an example.
  • the luminance value Y is obtained for every line, and the color difference values Cr and Cb are obtained for every alternate line.
  • Y, Cr, and Cb are values in units of four adjacent pixels. This adjacent 4-pixel unit is set as the second pixel unit.
  • the horizontal pitch of the second pixel unit from which Cr and Cb values can be obtained is 2p, but the vertical pitch is 4p. Therefore, the cutoff frequency of the optical low-pass filter is set to a Nyquist frequency 1 / (8p) or less (including that value) determined by the sampling pitch with the coarse pitch 4p.
  • the cut-off frequency of the two-dimensional low-pass filter is the same as that of the optical low-pass filter.
  • each second pixel unit of Y, Cr, and Cb is divided into N ⁇ N pixels, and the original second pixel unit data is copied to the divided pixels.
  • a filtering process is performed by applying a two-dimensional low-pass filter to the image composed of the equally arranged minute pixels. As shown in FIG. 12, Y, Cr, and Cb images sampled at an apparent 2p / N pitch are obtained by the two-dimensional low-pass filter process.
  • Y, Cr, and Cb data composed of high-density minute pixels after the two-dimensional low-pass filter processing is converted into primary color RGB data, and R and B high-density (2p / N pitch) image is obtained, and the phase difference is obtained from this high-density image.
  • the converted G image need not be used for phase difference detection. Therefore, primary color conversion for G is unnecessary.
  • the left and right pupil images are high-density image data, a high-resolution phase difference can be obtained, and as a result, the measurement resolution in the z direction is greatly improved.
  • the image sensor 14 is a complementary color image sensor.
  • the pupil division filter 13 includes, as a first pupil, a filter that transmits a wavelength band corresponding to red (spectral characteristic F L in FIG. 4), and a filter that transmits a wavelength band corresponding to blue (spectral characteristic F in FIG. 4). R ) as the second pupil.
  • the densification processing unit 20 generates a red image and a blue image from the image captured by the image sensor 14, sets the red image as the first image (left pupil image), and the blue image as the first image. Densification processing is performed as the second image (right pupil image).
  • phase difference detection can be realized using a commonly used complementary color image sensor. Since the parallax image can be constructed simply by inserting the pupil division filter 13 and generating the R and B images from the YCrCb image, high-resolution phase difference detection can be realized without significant changes to the conventional imaging unit. Since the complementary color image sensor has high sensitivity, a parallax image having a good S / N can be obtained even when bright illumination cannot be obtained with the above-described endoscope or the like.
  • phase difference fine detection unit 70 performs the phase difference detection process of the third embodiment.
  • the phase difference rough detection unit 50 performs matching evaluation by, for example, conventional SAD.
  • FIG. 13 is an explanatory diagram of matching evaluation by improved SAD (Improved Sum Absolute ⁇ ⁇ Difference).
  • I L, I R are part of the imaged left and right pupil images profile (waveform pattern). That is, it is a pixel value pattern in the horizontal direction x (parallax direction) of a parallax image formed on the image sensor by light rays that have passed through the left and right pupils.
  • Pupil images I L, the deviation of the phase difference ⁇ is generated in the I R.
  • Pupil images I L since I R is not equipped with the amplitude gain, normalizes by using a value of a predetermined calculation interval w (interval used for calculating the matching evaluation coefficient), adjust the amplitude gain.
  • Normalized pupil images nI L and nI R are obtained by the following equation (5).
  • the sigma symbol “w” indicates that the sum is taken in the range of the predetermined calculation interval w.
  • a cross point where the pupil images nI L and nI R intersect is detected, and a section between adjacent cross points and cross points is obtained.
  • a case where the composite waveform nI in the section is in an increasing tendency is referred to as an increasing section Ra, and a case where the composite waveform nI is in a decreasing tendency is referred to as a decreasing section Fa.
  • the increase / decrease interval is determined by, for example, accumulating adjacent pixel difference values (differentiated values) of the composite waveform nI within the interval delimited by the cross points, and determining the increase interval when positive and the decrease interval when negative.
  • each decreasing segment Fa obtaining the subtraction value D by changing the order of the subtraction of the pupil image I L and I R. That is, the order of subtraction is determined so that the subtraction value D> 0 in each section.
  • I L and I R are assumed to be very similar waveform patterns. As shown in the following equation (9), waveforms obtained by adding noise components n R and n L independently to these are defined as I L ′ and I R ′.
  • SAD evaluation value is a value difference absolute value sum obtained by adding the waveform I L and I noise component in addition to the sum of absolute differences between R n R and n L As a value.
  • random noise is assumed as the noise components n R and n L , they take absolute values and thus do not cancel each other even if they are added.
  • 0.
  • 0.
  • the evaluation value does not necessarily indicate the minimum value, so that it is impossible to determine a correct matching position. Therefore, it can be seen that the conventional SAD evaluation value is very susceptible to noise.
  • the ISAD evaluation value what is the mere sum of differences waveform I L and I R of the differential absolute value sum and absolute value does not take a noise component n R and n L are added are determined. Sum of absolute difference of the waveform I L and I R in the case where they match
  • shows a 0
  • FIG. 14 shows a simulation result of the statistical dispersion value ⁇ of the phase difference detection value with respect to the SN ratio (SNR) of the waveforms I L ′ and I R ′.
  • Waveform I L ', I R' are using the edge waveform to.
  • the variance value ⁇ is obtained as follows. That is, the noise power is made the same, and the noise appearance patterns are randomly changed to generate the waveforms I L ′ and I R ′.
  • matching is tried a plurality of times to obtain a phase difference. Then, an error between the phase difference and the true value of the phase difference of the true waveforms I L and I R is obtained, and a variance value ⁇ is obtained from the error distribution.
  • the dispersion value ⁇ when using the correlation coefficient by the conventional ZNCC is shown.
  • the error variation ⁇ of the phase difference detection value based on the ISAD evaluation value is clearly smaller than the error variation ⁇ of the phase difference detection based on the ZNCC evaluation value. That is, it can be seen that the ISAD evaluation value is not easily affected by noise and has a high phase difference detection resolution.
  • the correlation peak variation ⁇ is small as compared with the conventional method, so that highly accurate phase difference detection can be performed.
  • phase difference detection unit 40 Optical characteristic storage unit, 50 phase difference rough detection unit, 60 detectable region extraction unit, 70 phase difference fine detection unit, 80 ranging calculation unit, 90 solid shape output processing unit, F L, F R spectral characteristics, Fa decreasing segment, I L Hidarihitomi image, I R right pupil images, P sampling pitch, Ra increasing segment, T B, T G, T R spectral characteristics, nI composite waveform, nI L normalized left pupil image, nI R normalized right pupil image, p pixel pitch, s phase difference, w predetermined calculation interval, x, y, z, x ′, y ′ coordinates, ⁇ s phase difference resolution, ⁇ z distance resolution, ⁇ phase difference, ⁇ variance

Landscapes

  • Signal Processing (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

　撮像装置は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部１０と、第１被写体像が撮像された第１画像と第２被写体像が撮像された第２画像に対して高密度化処理を行う高密度化処理部２０と、高密度化処理後の第１画像と第２画像の間の位相差を検出する位相差検出部３０と、を備える。撮像部１０は、第１被写体像及び第２被写体像を撮像する画素のピッチがＰである場合に、カットオフ周波数が１／（２Ｐ）以下（その値を含む）である光学ローパスフィルタ１１を有する。高密度化処理部２０は、高密度化処理として、第１画像と第２画像に対するアップサンプリング処理と、アップサンプリング処理後の第１画像と第２画像に対する２次元ローパスフィルタ処理と、を行う。

Description

撮像装置及び位相差検出方法
　本発明は、撮像装置及び位相差検出方法等に関する。
　近年デジタルカメラのオートフォーカス（ＡＦ）の高速化が進んでいる。また、顕微鏡や内視鏡などにおいても、３Ｄ計測のリアルタイム性の向上や、さらなる測定精度の向上が期待されている。これらの撮像装置では、デジタル化に伴い撮像素子による撮像が主流となっており、計測用の検出部を別途構成するのではなく、この撮像画像自体を利用した画像計測が広く用いられている。
　ＡＦあるいは３Ｄ計測において、主流方式の一つとして位相差を用いた方法がある。この手法は、２つの視差画像を取得し、それらの位相差（ずれ量）を検出することにより三角測量の原理を用いて撮像系から被写体までの距離を求めることが基本である。位相差の検出では、一方の視差画像を他方の視差画像に対して初期位置からずらしながら相関演算等を行い、その相関演算により相互の類似性を評価し、マッチングが取れる位置を特定し、初期位置とマッチング位置の差を位相差として検出する。視差画像を得る手法としては、所定の間隔で配置した２つのカメラを用いる二眼立体視の手法が古くから行われている。最近では、シンプルに構成可能な単眼方式が提案されており、例えば、撮像レンズにおいて片方の瞳を通過した光と他方の瞳を通過した光を分離し、異なる瞳画像を形成することにより視差画像を得る手法が提案されている。
　単眼方式では２つの瞳を通過した画像が１つの撮像素子で撮像される。その撮像画像から２つの瞳画像を分離形成する手法として、例えば特許文献１には、撮像素子面の隣接２画素を一対とし、それぞれに入射する角度により片方の瞳を通過した光が入る画素と他方の瞳を通過した光が入る画素を分ける手法が開示されている。片方の瞳画像をサンプリングした画素と他方の瞳画像をサンプリングした画素とが、それぞれに分離した成分として得られるので位相差検出が可能である。
　また、例えば特許文献２には、撮像素子面ではなく、撮像光学系の瞳位置に分光フィルタを構成する手法が開示されている。例えば、一方の瞳には赤色のみを通過させ、他方の瞳には青色のみを通過させ、それら２つの瞳を通過した像を撮像素子面に形成し、撮像素子の赤色画素により一方の瞳画像を取得し、青色画素により他方の瞳画像を取得する。
特開２００９－１４５４０１号公報 特開２００１－１７４６９６号公報
　二眼、単眼いずれにしても、２つの視差画像は、撮像素子の画素によりサンプリングされた像の波形データとなり、これらの波形データをマッチング演算処理して位相差検出を行う。そのため、位相差の検出分解能は、視差画像をサンプリング可能な画素ピッチに制限されるという課題がある。
　本発明の幾つかの態様によれば、撮像素子の画素ピッチよりも高分解能な位相差検出を可能にする撮像装置及び位相差検出方法等を提供できる。
　本発明の一態様は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部と、前記第１被写体像が撮像された第１画像と前記第２被写体像が撮像された第２画像に対して高密度化処理を行う高密度化処理部と、前記高密度化処理後の前記第１画像と前記第２画像の間の位相差を検出する位相差検出部と、を備え、前記撮像部は、前記第１被写体像を撮像する画素のピッチ及び前記第２被写体像を撮像する画素のピッチがＰである場合に、カットオフ周波数が１／（２Ｐ）以下（その値を含む）である光学ローパスフィルタを有し、前記高密度化処理部は、前記高密度化処理として、前記第１画像と前記第２画像に対するアップサンプリング処理と、前記アップサンプリング処理後の前記第１画像と前記第２画像に対する２次元ローパスフィルタ処理と、を行う撮像装置に関係する。
　また、本発明の他の態様は、第１被写体像を撮像する画素のピッチ及び第２被写体像を撮像する画素のピッチがＰである場合にカットオフ周波数が１／（２Ｐ）以下（その値を含む）である光学ローパスフィルタを通過した、同一被写体に対して視差を有する前記第１被写体像及び前記第２被写体像を撮像し、前記第１被写体像が撮像された第１画像及び前記第２被写体像が撮像された第２画像に対してアップサンプリング処理を行い、前記アップサンプリング処理後の前記第１画像と前記第２画像に対して２次元ローパスフィルタ処理を行い、前記２次元ローパスフィルタ処理後の前記第１画像及び前記第２画像の間の位相差を検出する処理を行う、位相差検出方法に関係する。
図１は、撮像装置の構成例。 図２は、瞳分割方式によるステレオ画像計測の基本原理についての説明図。 図３は、第１実施形態における撮像装置の構成例。 図４は、瞳分割フィルタと撮像素子の分光特性の例。 図５は、第１実施形態における高密度化処理についての説明図。 図６（Ａ）～図６（Ｄ）は、第１実施形態における高密度化処理についての説明図。 図７は、第１実施形態における高密度化処理についての説明図。 図８（Ａ）～図８（Ｃ）は、高密度化処理による位相差検出のシミュレーション結果。 図９は、第１実施形態における高密度化処理についての説明図。 図１０は、サンプリングデータの類似性についてのシミュレーション結果。 図１１は、第２実施形態における高密度化処理についての説明図。 図１２は、第２実施形態における高密度化処理についての説明図。 図１３は、改良ＳＡＤによるマッチング評価の説明図。 図１４は、波形のＳＮ比に対する位相差検出値の統計的分散値のシミュレーション結果。
　以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
　１．本実施形態の概要
　従来の位相差検出では、瞳分割により撮像された２つの視差画像の各画像を受け持つサンプリング画素の密度により位相差の検出分解能が決まってしまう。即ち、図９の左図に示すように、視差画像の波形パターンはサンプリング画素によりサンプリングされたデータとして扱われる。その２つの波形パターンの相対位置を初期位置からシフトしながら相関係数を求める際、２つの波形パターンのサンプリング位置が一致する相対位置での相関係数が得られる。そのため、マッチング位置の検出分解能はサンプリング密度で決まることとなり、初期位置とマッチング位置の差である位相差の分解能もサンプリング密度で決まることになる。
　例えば、位相差検出を測距に応用した場合を考える。下式（２）で後述のように、距離分解能Δｚは、位相差の検出分解能Δｓによって決まる。即ち、高分解能な測距を実現しようとすると、より高い位相差検出分解能が必要となる。しかしながら、昨今、撮像素子の画素密度は光学分解能の限界まで近づいてきており、今後の大幅な画素密度の改善は見込めない。したがって、如何に与えられた撮像素子を使って、その画素密度以上の高密度サンプリングを実現できるかが大きな課題となる。
　図１に、この課題を解決できる本実施形態の撮像装置の構成例を示す。撮像装置は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部１０と、第１被写体像が撮像された第１画像と第２被写体像が撮像された第２画像に対して高密度化処理を行う高密度化処理部２０と、高密度化処理後の第１画像と第２画像の間の位相差を検出する位相差検出部３０と、を含む。
　このとき、撮像部１０は、第１被写体像を撮像する画素のピッチ及び第２被写体像を撮像する画素のピッチがＰである場合に、カットオフ周波数が１／（２Ｐ）以下（その値を含む）である光学ローパスフィルタ１１を有する。高密度化処理部２０は、高密度化処理として、第１画像と第２画像に対するアップサンプリング処理と、アップサンプリング処理後の第１画像と第２画像に対する２次元ローパスフィルタ処理と、を行う。
　例えば、後述する第１実施形態では、単眼の撮像光学系を瞳分割し、ベイヤ配列の撮像素子を用いて視差画像を取得する。このとき、第１瞳を通過する第１被写体像を赤色画素で撮像し、第２瞳を通過する第２被写体像を青色画素で撮像する。即ち、図５に示すように、第１画像と第２画像のサンプリングピッチは、それぞれＰ＝２ｐである。そして、第１画像と第２画像を、それぞれＮ×Ｎ倍の画素数にアップサンプリング処理し、その画像に対して２次元ローパスフィルタ処理を行う。これにより、撮像素子の画素密度（画素ピッチｐ）に対してＮ倍のサンプリング密度（画素ピッチｐ／Ｎ）をもつ視差画像を得ることができる。
　以上のようにすれば、見かけ上のサンプリング密度を撮像素子の画素密度よりも格段に高密度にした視差画像を生成することができる。即ち、この視差画像を用いて位相差を検出することで、従来の検出分解能よりも飛躍的に高分解能な位相差検出を行うことが可能となる。例えば、上記の例では、Ｎ倍の密度で相関係数を求めることができるので、従来のＮ倍の分解能で位相差を検出することが可能となる。
　なお、上記では単眼の第１実施形態を例に説明したが、本実施形態は二眼の撮像部を用いる場合にも適用できる。例えば、二眼の撮像光学系それぞれに撮像素子が設けられる場合、視差画像のサンプリングピッチＰは撮像素子の画素ピッチｐと同一なので、Ｐ＝ｐとなる。
　２．第１実施形態
　２．１．ステレオ画像計測の手法
　次に、第１実施形態について説明する。この実施形態では、単眼の撮像部を瞳分割し、２つの瞳に異なる色を割り当てて位相差を検出し、３Ｄ計測を行う。
　まず、瞳分割方式によるステレオ画像計測の基本原理について、図２を用いて説明する。なお以下では、瞳を左右（水平走査方向）に分割する場合を例に説明するが、瞳の分割方向は左右に限定されず、光軸に直交する任意の方向であればよい。
　被写体面からの反射光は、結像レンズ１２（結像光学系）を通り、撮像素子面にて像を形成し、撮像素子により画像信号として取得される。このとき、被写体の基準位置ＲＰをゼロとした座標軸を（ｘ，ｙ，ｚ）とし、それに対応する撮像素子面の合焦位置ＲＰ’をゼロとした座標軸を（ｘ’，ｙ’）とする。例えば、ｘ’軸は撮像素子の水平走査方向に対応し、ｙ’軸は撮像素子の垂直走査方向に対応する。ｚ軸は、結像レンズ１２の光軸方向、即ち、奥行き距離方向に対応する。
　被写体の基準位置ＲＰから結像レンズ１２の中心までの距離をａ０とし、結像レンズ１２の中心から撮像素子面までの距離をｂ０とする。この距離ａ０、ｂ０は、撮像部の設計により決まる距離である。
　さて、結像レンズ１２の左半分を左瞳と呼び、右半分を右瞳と呼ぶとする。ＧＰＬは左瞳の重心位置であり、ＧＰＲは右瞳の重心位置である。被写体面が基準位置からｚ方向に離れると、撮像素子面で得られる画像はデフォーカス状態となり、左瞳の通過画像ＩＬと右瞳の通過画像ＩＲ（以下、左瞳画像、右瞳画像と言う）は、ずれた画像、即ち位相差ｓをもった画像となる。なお、ここでは便宜上レンズ中心に瞳位置があるようにしたが、実際はレンズの外の絞り等の位置に瞳位置が存在するのが常識である。
　上記の位相差ｓと被写体面の位置ｚの関係を求める。撮像素子面で得られる左右瞳画像ＩＬ、ＩＲの位相差ｓと被写体面の位置ｚの関係は、下式（１）により決定される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｍは基準合焦位置における光学総合倍率である。結像視野サークル径をφＩＣとし、撮像範囲の視野サークル径をφＯＣとすると、Ｍ＝φＩＣ／φＯＣ＝ｂ０／ａ０である。ｌは、左瞳の重心ＧＰＬと右瞳の重心ＧＰＲの間の距離である。なお、上式（１）が成り立つのは厳密には光学系の軸上についてであるが、原理説明のために軸外での関係式は省略する。
　位相差ｓを求めるためには、左瞳画像ＩＬと右瞳画像ＩＲを分離して取得できなければならないが、その分離手法については種々考えられる。例えば、左瞳位置に赤色を透過する光学フィルタを設け、右瞳位置に青色を透過する光学フィルタを設定し、撮像素子で得られる赤色画像を左瞳画像として分離し、青色画像を右瞳画像として分離する。或は、特許文献１に開示されるように、撮像素子面に入射する光線角度により左右瞳画像を分離取得する手法もある。或は、古くから行われている二眼カメラを用いて、左右瞳画像に相当する視差ステレオ画像を別々に取得する手法もある。いずれの手法も用いることが可能であり、目的・用途に応じて選択されればよい。
　高精度な３Ｄ計測を実現するためには、ｚ分解能を如何に高められるかが重要な課題である。上式（１）を変形し、ｚ分解能Δｚを位相差分解能Δｓにより表すと、下式（２）となる。
Figure JPOXMLDOC01-appb-M000002
　上式（２）から分かるように、ｚ方向の測定分解能を向上させるためには、位相差分解能Δｓを小さくすることによりｚ分解能Δｚを小さくすることが求められる。即ち、ｚ分解能Δｚを高めるためには、左右の瞳画像の位相差を如何に細かく検出できるかにかかっており、そのためには撮像素子による左右瞳画像のサンプリング密度を上げる必要がある。しかしながら、サンプリング密度は撮像素子の画素ピッチにより制限され、現状の画素ピッチはほぼ限界に近づきつつあり、これ以上大幅に細かくしていくことは困難となっている。
　２．２．撮像装置
　図３に、第１実施形態における撮像装置の構成例を示す。撮像装置は、撮像部１０、高密度化処理部２０（高密度化計測用現像部）、位相差検出部３０、光学特性記憶部４０、測距演算部８０、立体形状出力処理部９０を含む。なお、既に上述した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
　撮像部１０は、光学ローパスフィルタ１１、結像レンズ１２（結像光学系）、瞳分割フィルタ１３、撮像素子１４、撮像処理部１５を含む。
　瞳分割フィルタ１３の左瞳にはＲ（赤色）フィルタが設けられ、右瞳にはＢ（青色）フィルタが設けられる。撮像素子１４はベイヤ画素配列のＲＧＢカラーイメージセンサである。図４に、瞳分割フィルタ１３と撮像素子１４の分光特性を示す。ＦＬは左瞳のＲフィルタの分光特性であり、ＦＲは右瞳のＢフィルタの分光特性である。ＴＢ、ＴＧ、ＴＲは、それぞれＢ、Ｇ（緑色）、Ｒの画素の分光特性である。瞳の分光特性ＦＬ、ＦＲは、Ｒ画素とＢ画素の分光特性ＴＢ、ＴＲのクロスポイント（波長λｃ）で分割されており、全体としてＲＧＢの帯域を覆っている。分光特性ＦＬ、ＦＲは、ともにＧの成分（の一部）を透過する特性になっている。
　なお、分光特性｛ＴＢ、ＴＧ、ＴＲ｝は、撮像素子１４の画素毎に設けられたカラーフィルタの特性のみならず、被写体に照射される外光又は照明光の分光特性や、画素自体の分光特性が合成されたものとして定義される。分光特性に関するパラメータは、すべて波長λに対する設定値（対応値）であるが、本明細書では従属変数としての波長λの表記は省略している。
　被写体からの反射光は、結像レンズ１２、瞳分割フィルタ１３、光学ローパスフィルタ１１を通過し、撮像素子１４に像を形成する。このとき、Ｒ画素の画素値として、被写体からの反射光の分光特性に、左瞳の分光特性ＦＬとＲ画素の分光特性ＴＲを掛けた成分値が得られる。また、Ｂ画素の画素値として、被写体からの反射光の分光特性に、右瞳の分光特性ＦＲとＢ画素の分光特性ＴＢを掛けた成分値が得られる。即ち、ベイヤ画像のうちＲ画像により左瞳画像が得られ、Ｂ画像により右瞳画像が得られる。
　撮像処理部１５は、撮像動作の制御や、撮像信号の処理を行う。例えば、撮像素子１４からの画素信号をデジタルデータに変換し、ベイヤ配列の画像データ（いわゆるＲＡＷ画像データ）を出力する。
　高密度化処理部２０は、Ｒ画像とＢ画像の位相差をサンプリング画素ピッチよりも小さい分解能で検出するためのサンプリング密度の高密度化処理を行う。この処理によりサンプリング密度はＮ×Ｎ倍となる。Ｎは例えば１００～１００００である。高密度化処理の詳細については後述する。
　なお、高密度化処理部２０は、光学特性記憶部４０に記憶された分光特性ＦＲ、ＦＬ、ＴＢ、ＴＧ、ＴＲに基づいて、Ｒ画像とＢ画像の高精度な分離を行ってもよい。例えば、Ｒ画素の分光特性ＴＢは左瞳の分光特性ＦＬの帯域にも成分をもっている。そのため、右瞳画像であるべきＲ画像には左瞳の成分が混入している。このような左右瞳の混合を分光特性ＦＲ、ＦＬ、ＴＢ、ＴＧ、ＴＲに基づいて低減する処理を行ってもよい。
　位相差検出部３０は、位相差ラフ検出部５０、検出可能領域抽出部６０（検出可能特徴部位抽出部）、位相差微細検出部７０を含む。
　位相差ラフ検出部５０は、位相差微細検出部７０が行う位相差検出の密度よりも粗い位相差検出を行う。例えば、高密度化処理後の画像や高密度化処理前のベイヤ画像に対して、画素を間引いて相関演算を行う。
　検出可能領域抽出部６０は、位相差ラフ検出部５０からの相関係数に基づいて、位相差検出が可能か否かの判定を行い、その判定結果によりｚ方向の距離情報を取得できるか否かを判断し、検出可能領域の画像を位相差微細検出部７０へ出力する。例えば、相関ピークが存在するか否かを判定することで位相差検出が可能か否かを判定する。
　位相差微細検出部７０では、高密度化処理後の画像に対して位相差検出を行い、サンプリング画素ピッチよりも小さい分解能により位相差を精細に求める。位相差の検出は、検出可能領域抽出部６０により位相差検出が可能と判断された領域に対して行う。
　測距演算部８０は、位相差微細検出部７０により検出された位相差に基づいて、ｚ方向の距離を高分解能に算出する。立体形状出力処理部９０は、ｚ方向の距離情報に基づいて立体形状データを構成し、その立体形状データを出力する。
　２．３．高密度化処理
　次に、サンプリング密度の高密度化処理について詳細に説明する。
　光学ローパスフィルタ１１を通った左右のＲ、Ｂの瞳画像は、カラー撮像素子１４によりサンプリングされる。撮像素子１４のＲ、Ｂ画素は図５のように配置されている。光学ローパスフィルタ１１は、アンチエイリアスフィルタであり、Ｒ、Ｂの瞳画像に折り返し雑音が発生しないように設けられる。各瞳画像のサンプリングピッチは２ｐなのでサンプリング周波数は１／（２ｐ）であり、それに対応して決まるナイキスト周波数１／（４ｐ）以下（その値を含む）にカットオフ周波数を設定する。
　Ｒ、Ｂ画像の周波数特性は、図６（Ａ）のようになる。即ち、光学ＬＰＦの周波数特性が例えば１／（４ｐ）の場合、－１／（４ｐ）～＋１／（４ｐ）の帯域をもつ。図示を省略しているが、１／（２ｐ）の繰り返し周期をもつ。なお、点線は、画素開口の周波数特性を示す。開口幅ｐに対応して、－１／ｐ～＋１／ｐの帯域をもつ。
　次に、撮像素子１４により得られたＲ、Ｂの瞳画像の一つ一つのサンプリング画素について、１画素以下（その値を含む）の見かけ上の微小画素により構成されているかのようなデータを作成する。例えば、縦横０．１画素によりサンプリングされた画素値を生成する場合、１画素を縦横にそれぞれＮ＝１０等分し、１画素がＮ×Ｎ＝１００個の微小画素で構成されることを想定する。微小画素の画素値は、元の画素の値と等しい値を適用する。このアップサンプリング処理をＲ画素およびＢ画素全てにおいて行う。
　Ｒ、Ｂ画像の周波数特性は、図６（Ｂ）のようになる。画素を分割してデータを複製しただけなので、周波数特性はアップサンプリング前と同様である。即ち、例えば－１／（４ｐ）～＋１／（４ｐ）の帯域をもち、１／（２ｐ）の繰り返し周期をもつ。
　次に、微小画素で構成されたサンプリングデータを２次元ローパスフィルタによりフィルタリングし、未検出部分の画素を含めて撮像画像全面における微小画素を再構成する。即ち、撮像素子１４の画素ピッチｐに対して画素ピッチｐ／Ｎの画像データを生成し、見かけ上Ｎ倍のサンプリング密度が得られる。２次元ローパスフィルタのカットオフ周波数は、光学ローパスフィルタ同様にＲ又はＢのサンプリングピッチ２ｐで決まるナイキスト周波数１／（４ｐ）以下（その値を含む）に設定される。２次元ローパスフィルタは、例えばガウシアンフィルタである。
　２次元ローパスフィルタの周波数特性は、例えば図６（Ｃ）に示す通りである。２次元ローパスフィルタ後のＲ、Ｂ画像の周波数特性は、図６（Ｄ）のようになる。画素ピッチがｐ／Ｎとなったことに対応して、繰り返し周波数がＮ／ｐとなる。帯域は、光学ローパスフィルタの周波数特性に２次元ローパスフィルタの周波数特性を乗じたものの帯域に対応する。
　図７の左図に示すように、高密度化処理前の左右のＲ、Ｂの瞳画像ＩＬ、ＩＲは、２ｐピッチでサンプリングされた画像である。上記の高密度化処理により、図７の右図に示すように、左右のＲ、Ｂの瞳画像ＩＬ、ＩＲは、単純に撮像素子１４でサンプリングした密度を大きく超える密度（ピッチｐ／Ｎ）でサンプリングした画像データとして得ることができる。
　図８（Ａ）～図８（Ｃ）に、高密度化処理による位相差検出のシミュレーション結果を示す。横軸は、相関演算における初期位置を“０”とし、その初期位置からのシフト量を画素数で表したものである。
　図８（Ａ）は、位相差を求める波形である。撮像素子の画素ピッチをｐとすると、波形Ｉ（ｘ）とＩ（ｘ－δ）は位相差δ＝０．２ｐをもった波形であり、画素ピッチｐでサンプリングした波形である。
　図８（Ｂ）は、サンプリング波形Ｉ（ｘ）、Ｉ（ｘ－δ）を単純に０．１ｐでアップサンプリングし（１画素を０．１ｐに分割し、その画素と同一の値を複製する）、０．１ｐ刻みでシフトしながら相互相関係数を求めたものである。本来、δ＝０．２ｐのところで相関ピークが検出されなければならないが、サンプリング波形は１画素単位の値しか持ち得ないので、δ＝０において相関ピークを示し、１画素以下（その値を含む）の分解能での検出はできていない。
　図８（Ｃ）は、サンプリング波形Ｉ（ｘ）、Ｉ（ｘ－δ）に対して本実施形態の高密度化処理を行い、相互相関係数を求めたものである。即ち、上記のアップサンプリングに加え、カットオフ周波数１／（４ｐ）以下（その値を含む）のローパスフィルタをかけた後に、０．１ｐ刻みでシフトしながら相互相関係数を求めたものである。δ＝０．２ｐにて明確に相関ピークを示し、０．１ｐ単位の検出分解能が得られることが分かる。
　以上より、本実施形態のアップサンプリング処理と２次元ローパスフィルタ処理によって、撮像素子の画素ピッチ以下での位相差検出分解能を可能にすることができる。
　また、通常の位相差検出では、サンプリング位置が異なることで左右のＲ、Ｂの瞳画像サンプリングデータの類似性が劣化するが、本実施形態によれば、この課題を解決できる。この点について、図９を用いて説明する。
　図９の左図に示すように、左右のＲ、Ｂの瞳画像ＩＬ、ＩＲは、ほぼ同一の波形であり、位相差δを有する。図９の右図に示すように、仮に瞳画像ＩＬ、ＩＲの波形を一致させたとする。このとき、瞳画像ＩＬ、ＩＲはマッチングしており、本来は、このように波形の類似性が最も高い位置での相関係数が得られることが望ましい。
　しかしながら、視差δは任意であるため、ほぼ同一波形である瞳画像ＩＬ、ＩＲに対してＲ、Ｂの画素がサンプリングする位置は一般的に同一とはならない。そのため、例えば左右のＲ，Ｂの瞳画像ＩＬ、ＩＲが光学的に同一であっても、得られるサンプリングデータは異なったものとなり、サンプリングデータで見れば類似性が失われている。このことは、相関係数から瞳画像ＩＬ、ＩＲのマッチング位置を求めようとしたときに、正確な位置が求められないことを意味する。
　例えば、瞳画像ＩＬ、ＩＲを１サンプリング画素ずつ（即ち２ｐピッチで）ずらしながら、相関係数を求めたとする。相関係数が得られるのは、瞳画像ＩＬ、ＩＲの画素（即ち実線矢印と点線矢印）が一致する各位置である。即ち、サンプリング位置が異なる瞳画像ＩＬ、ＩＲでは、波形が一致したときの相関係数は得られず、位相差の検出誤差が生じる。
　この点、本実施形態によれば、図７の右図のように瞳画像ＩＬ、ＩＲを高密度にサンプリングしたデータが得られるので、サンプリングデータの類似性を確保することができ、位相差の検出精度を向上できる。また、２次元ローパスフィルタをかけることにより、Ｒ、Ｂの瞳画像ＩＬ、ＩＲに重畳されたノイズ成分が抑圧され、ノイズによるマッチング位置の検出誤差ばらつきを抑える効果がある。
　図１０に、サンプリングデータの類似性についてシミュレーションした結果を示す。上段の図はサンプリング位置を示す。サンプリング位置Ｂ２、Ｂ４、Ｂ６、Ｂ８は、サンプリング位置Ａから０．２ｐずつシフトした位置である。例えば、位相差が０．６ｐの場合、左瞳画像はサンプリング位置Ａでサンプリングされ、右瞳画像はサンプリング位置Ｂ６でサンプリングされる。
　中段の図はサンプリングデータを示す。サンプリングデータは、センサ入力波形をサンプリング位置Ａ、Ｂ２、Ｂ４、Ｂ６、Ｂ８でサンプリングしたデータである。センサ入力波形は、センサ面に結像した被写体像の波形である。この時点では、サンプリング位置が異なっているのでサンプリングデータ間の類似性は低下している。
　下段の図は各サンプリングデータに本実施形態の高密度化処理を施したものである。波形データＡｓ、Ｂｓ２、Ｂｓ４、Ｂｓ６、Ｂｓ８は、サンプリング位置Ａ、Ｂ２、Ｂ４、Ｂ６、Ｂ８に対応する。波形データＡｓ、Ｂｓ２、Ｂｓ４、Ｂｓ６、Ｂｓ８は、一致して識別不能であり、サンプリングデータ間の類似性が高いことが分かる。この類似性の高いサンプリングデータを用いることで、高精度な位相差検出が可能となる。
　以上の実施形態によれば、撮像部１０は、結像光学系（結像レンズ１２）と、結像光学系の瞳を、第１被写体像を通過させる第１瞳（左瞳）と第２被写体像を通過させる第２瞳（右瞳）とに分割する瞳分割フィルタ１３と、結像光学系により結像された第１被写体像及び第２被写体像を撮像する撮像素子１４と、を有する。
　このようにすれば、単眼の撮像部１０で視差画像を撮像できる。そして、その視差画像に高密度化処理を施すことで、単眼であっても高分解能な測距が可能となる。即ち、上式（２）に示すように、測距の分解能Δｚを上げるためには瞳の重心間距離ｌを離す必要があるが、単眼は二眼に比べて瞳の重心間距離ｌを確保しにくい。この点、本実施形態では高密度化処理により位相差の検出分解能Δｓを上げることができるため、上式（２）により、瞳の重心間距離ｌが小さい場合であっても高分解能な測距を実現できる。例えば、内視鏡ではスコープを細径にするニーズがあるが、単眼は細径を実現しやすく、また、細径にして瞳の重心間距離ｌが小さくなっても高密度化処理により高精度な測距が可能である。
　また、本実施形態では、撮像素子１４は、原色ベイヤ配列の撮像素子である。瞳分割フィルタ１３は、赤色に対応する波長帯域を透過するフィルタ（図４の分光特性ＦＬ）を第１瞳として有し、青色に対応する波長帯域を透過するフィルタ（図４の分光特性ＦＲ）を第２瞳として有する。そして、高密度化処理部２０は、撮像素子１４により撮像されたベイヤ配列の画像のうち赤色の画像を第１の画像（左瞳画像）とし、青色の画像を第２の画像（右瞳画像）として、高密度化処理を行う。
　このようにすれば、一般的に用いられている原色ベイヤ配列のカラーイメージセンサを用いて、高分解能な位相差検出を実現できる。瞳分割フィルタ１３を挿入し、Ｒ、Ｂ画像を取り出すだけで視差画像を構成できるので、従来からある撮像部に大きな変更を加えずに高分解能な位相差検出を実現できる。また、光学系には瞳分割フィルタ１３が加わるだけなので撮像部１０をコンパクトに構成でき、例えば上述した細径の内視鏡等を実現できる。
　また、本実施形態では、撮像素子１４の画素ピッチをｐとする場合に、第１被写体像を撮像する赤色の画素のピッチ及び第２被写体像を撮像する青色の画素のピッチは、Ｐ＝２ｐである。そして、光学ローパスフィルタ１１のカットオフ周波数は、１／（２Ｐ）＝１／（４ｐ）以下（その値を含む）である。
　瞳分割しない通常の撮影では、撮像素子の画素ピッチｐに対応するナイキスト周波数は１／（２ｐ）であり、光学ローパスフィルタ１１のカットオフ周波数を１／（２ｐ）以下（その値を含む）に設定する。一方、本実施形態では、視差画像それぞれにサンプリングを行っているので、そのサンプリングピッチ２ｐに対応したナイキスト周波数１／（４ｐ）以下（その値を含む）にカットオフ周波数を設定する。これにより、視差画像における折り返し雑音を抑制できる。
　また、本実施形態では、高密度化処理部２０は、アップサンプリング処理として、第１画像及び第２画像の画素をＮ×Ｎ画素に分割し、そのＮ×Ｎ画素に元の画素の画素値を複製する処理を行う。
　また、本実施形態では、２次元ローパスフィルタ処理のカットオフ周波数は、１／（２Ｐ）以下（その値を含む）である。
　このように、視差画像の画素をＮ×Ｎ画素に分割し、元の画素の画素値を複製することで、まずデータ上で微細な画素を準備することができる。そして、そのデータに対してカットオフ周波数１／（２Ｐ）以下（その値を含む）の２次元ローパスフィルタ処理を行うことで、あたかも微細な画素でサンプリングしたかのような視差画像を生成できる。視差画像の周波数帯域は光学ローパスフィルタ１１により１／（２Ｐ）以下（その値を含む）に制限されているため、それに対応して２次元ローパスフィルタのカットオフ周波数を１／（２Ｐ）以下（その値を含む）に設定することで、視差画像の成分を残しながら、その帯域外のノイズを低減することができる。
　３．第２実施形態
　次に、第２実施形態について説明する。この実施形態では、補色イメージセンサにより撮像し、その補色の画像から高密度化した左右瞳画像を生成する。なお、撮像装置の構成は、第１実施形態と同様である。
　図１１に示すように、補色イメージセンサは、シアンＣｙ＝Ｂ＋Ｇ、マゼンダＭｇ＝Ｂ＋Ｒ、イエローＹｅ＝Ｇ＋Ｒ、及びグリーン（緑色）Ｇの画素からなる。一般的な配列は図示の通りである。画素ピッチをｐとすると、各色の配置ピッチは２ｐである。
　撮像素子から読み出される値は、垂直方向の隣接２画素を結合（加算）した値である。それらをＡ１、Ａ２、Ｂ１、Ｂ２とすると、下式（３）となる。
Figure JPOXMLDOC01-appb-M000003
　水平ラインは２画素単位で形成され、例えば図１１のようにラインＬｎの次はラインＬｎ＋２であり、上式（３）のデータはライン単位で出力される。なお、インターレースの場合、奇数フレームではラインＬｎ、Ｌｎ＋２が読み出され、偶数フレームでは垂直方向に１画素ずらしたラインＬｎ＋１、Ｌｎ＋３が読み出される。処理は同様のため、以下ではラインＬｎ、Ｌｎ＋２を例に説明する。
　まず、上式（３）で表される結合値｛Ａ１，Ａ２，Ｂ１，Ｂ２｝を用い、隣接４画素を単位としてライン毎に輝度値Ｙ、色差値Ｃｒ又はＣｂを下式（４）のように求める。
Figure JPOXMLDOC01-appb-M000004
　図１１に示すように、輝度値Ｙは全ライン毎に、色差値Ｃｒ、Ｃｂは交互のライン毎に求められることになる。Ｙ、Ｃｒ、Ｃｂは、隣接４画素単位の値である。この隣接４画素単位を第２の画素単位とする。
　Ｃｒ、Ｃｂの値が得られる第２の画素単位の水平方向のピッチは２ｐだが、垂直方向のピッチは４ｐである。そのため、光学ローパスフィルタのカットオフ周波数は、粗いピッチ４ｐによるサンプリングピッチで決まるナイキスト周波数１／（８ｐ）以下（その値を含む）に設定される。２次元ローパスフィルタのカットオフ周波数も光学ローパスフィルタと同様である。
　次に、第１の実施形態と同様に、Ｙ、Ｃｒ、Ｃｂそれぞれの第２の画素単位をＮ×Ｎ画素に分割し、その分割した画素に元の第２の画素単位のデータを複製する。この等分配列の微小画素から構成される画像に２次元ローパスフィルタを掛け、フィルタリング処理を行う。図１２に示すように、２次元ローパスフィルタ処理により、見かけ上２ｐ／ＮピッチでサンプリングしたＹ、Ｃｒ、Ｃｂの画像が得られる。
　次に、２次元ローパスフィルタ処理後の高密度な微小画素からなるＹ、Ｃｒ、Ｃｂのデータから原色ＲＧＢデータへの変換を行い、左右の瞳画像に対応したＲ及びＢの高密度（２ｐ／Ｎピッチ）画像を求め、この高密度画像から位相差を求める。なお、本実施形態においては、左右の瞳画像はＲとＢに割り当てられているので変換されたＧ画像は位相差検出としては用いる必要がない。よってＧについての原色変換は不要である。
　左右の瞳画像は高密度化された画像データとなっているので、高分解能な位相差を求めることができ、結果としてｚ方向の計測分解能が大きく改善される。
　以上の実施形態では、撮像素子１４は、補色の撮像素子である。瞳分割フィルタ１３は、赤色に対応する波長帯域を透過するフィルタ（図４の分光特性ＦＬ）を第１瞳として有し、青色に対応する波長帯域を透過するフィルタ（図４の分光特性ＦＲ）を第２瞳として有する。そして、高密度化処理部２０は、撮像素子１４により撮像された画像から赤色の画像及び青色の画像を生成し、赤色の画像を第１の画像（左瞳画像）とし、青色の画像を第２の画像（右瞳画像）として、高密度化処理を行う。
　このようにすれば、一般的に用いられている補色のカラーイメージセンサを用いて、高分解能な位相差検出を実現できる。瞳分割フィルタ１３を挿入し、ＹＣｒＣｂ画像からＲ、Ｂ画像を生成するだけで視差画像を構成できるので、従来からある撮像部に大きな変更を加えずに高分解能な位相差検出を実現できる。補色のカラーイメージセンサは高感度であるため、例えば上述した内視鏡等で明るい照明が得られない場合であっても、Ｓ／Ｎの良い視差画像が得られる。
　４．第３実施形態
　次に、第３実施形態について説明する。この実施形態では、改良ＳＡＤによるマッチング評価を行う。上述した第１、第２実施形態と組み合わせることで、更に高精度な位相差検出を効果的に行うことができる。なお、撮像装置の構成は第１実施形態と同様であり、位相差微細検出部７０が第３実施形態の位相差検出処理を行う。位相差ラフ検出部５０は、例えば従来のＳＡＤによるマッチング評価を行う。
　図１３に、改良ＳＡＤ（Improved Sum of Absolute Difference）によるマッチング評価の説明図を示す。
　ＩＬ，ＩＲは、撮像された左右の瞳画像の一部プロファイル（波形パターン）である。即ち、左右の瞳を通過した光線により撮像素子に形成された視差画像の、水平方向ｘ（視差方向）における画素値パターンである。瞳画像ＩＬ、ＩＲには位相差δのずれが生じている。
　瞳画像ＩＬ、ＩＲは振幅ゲインが揃っていないので、所定演算区間ｗ（マッチング評価係数の算出に用いる区間）の値を用いて正規化を行い、振幅ゲインを合わせる。正規化した瞳画像ｎＩＬ、ｎＩＲは、下式（５）により求められる。シグマ記号の“ｗ”は、所定演算区間ｗの範囲で和をとることを表す。
Figure JPOXMLDOC01-appb-M000005
　次に、正規化された瞳画像ｎＩＬ、ｎＩＲを加算した合成波形ｎＩを下式（６）のように生成する。
Figure JPOXMLDOC01-appb-M000006
　次に、所定演算区間ｗにおいて、瞳画像ｎＩＬ、ｎＩＲが交差するクロスポイントを検出し、隣接するクロスポイントとクロスポイントの区間を求める。区間内の合成波形ｎＩが増加傾向にある場合を増加区間Ｒａとし、減少傾向にある場合を減少区間Ｆａとする。増減区間の判定は、例えば、クロスポイントで区切った区間内で合成波形ｎＩの隣接画素差分値（微分値）を積算し、正の場合は増加区間、負の場合は減少区間として判断する。
　次に、増加区間Ｒａ、減少区間Ｆａごとに下式（７）のルールに従い、瞳画像ＩＬとＩＲの減算の順序を変えて減算値Ｄを求める。即ち、各区間において減算値Ｄ＞０となるように減算の順序を決める。
Figure JPOXMLDOC01-appb-M000007
　求めた減算値Ｄを、下式（８）に示すように、所定演算区間ｗを越えない範囲内において全て加算し、ＩＳＡＤ評価値（マッチング評価係数）を求める。シグマ記号の“Ｒａ”、“Ｆａ”は、所定演算区間ｗ内の全てのＲａ、Ｆａの範囲で和ととることを表す。但し、所定演算区間ｗ内にクロスポイントが存在しない場合であっても所定演算区間ｗが増加区間であるのか減少区間であるのかを判断し、所定演算区間ｗにおいてＩＳＡＤ評価値を求めればよい。
Figure JPOXMLDOC01-appb-M000008
　従来のＳＡＤ（Sum of Absolute Difference）のように増減区間を分けずに瞳画像ＩＬとＩＲとの絶対値和を取る方法ではなく、本実施形態では増減区間を敢えて分け瞳画像ＩＬとＩＲとの差分値和を取っている理由について説明する。なお、以下では正規化した波形も単に“ＩＬ”、“ＩＲ”等と表記する。
　ＩＬ、ＩＲは極めて類似性の高い波形パターンであると仮定する。下式（９）に示すように、それらに独立してノイズ成分ｎＲ、ｎＬが付加された波形をＩＬ’、ＩＲ’とする。
Figure JPOXMLDOC01-appb-M000009
　波形ＩＬ’、ＩＲ’のマッチング評価として従来のＳＡＤを当てはめてみると、下式（１０）となる。
Figure JPOXMLDOC01-appb-M000010
　ＳＡＤ評価値は、その定義から分かるように、本来は比較波形が一致するとゼロを示す。しかしながら、上式（１０）に示すように、ＳＡＤ評価値は、波形ＩＬとＩＲの差分絶対値和に加えてノイズ成分ｎＲとｎＬの差分絶対値和が加算された値を最大値としてもつ。ノイズ成分ｎＲ、ｎＬとしてはランダムノイズが想定されるが、絶対値をとっているため加算しても打ち消し合わない。このことは、波形ＩＬとＩＲが一致する状態、つまり｜ＩＬ－ＩＲ｜＝０であってもＳＡＤ評価値にはノイズ成分が多く残ることを意味する。即ち、｜ＩＬ－ＩＲ｜＝０であっても評価値が最小値を必ずしも示さないので、正しいマッチング位置を判定することができなくなる。よって、従来のＳＡＤ評価値ではノイズの影響を非常に受けやすいことが分かる。
　一方、上式（８）で定義したＩＳＡＤ評価値に上式（９）を当てはめると、下式（１１）の関係が得られる。
Figure JPOXMLDOC01-appb-M000011
　ＩＳＡＤ評価値では、波形ＩＬとＩＲの差分絶対値和と絶対値をとらないノイズ成分ｎＲとｎＬの単なる差分和とが加算されたものが求められる。波形ＩＬとＩＲの差分絶対値和は両者が一致した場合に｜ＩＬ－ＩＲ｜＝０を示す。ノイズ成分ｎＲとｎＬの単なる差分和は、絶対値をとっていないためランダムノイズの加算効果によりその成分値が低減される。区間ＲａとＦａでノイズ成分の差分の符号が逆になるが、ランダムノイズのため加算効果には影響しない。この加算効果により、ＩＳＡＤ評価値では、波形ＩＬとＩＲのマッチング位置をノイズが大きく低減された状態で評価できる。このように、ＩＳＡＤ評価値ではノイズの影響を受けにくいマッチング評価が可能となり、従来のＳＡＤに比べ非常に優位な評価方法と言える。
　図１４に、波形ＩＬ’、ＩＲ’のＳＮ比（ＳＮＲ）に対する位相差検出値の統計的分散値σのシミュレーション結果を示す。
　波形ＩＬ’、ＩＲ’にはエッジ波形を用いている。位相差検出値には、マッチング評価値がピーク値となるときの位相差を用いている。分散値σは、次のようにして求めている。即ち、ノイズのパワーを同一にして、ノイズの出現パターンをランダムに異ならせて波形ＩＬ’、ＩＲ’を作る。その波形ＩＬ’、ＩＲ’を用いて複数回のマッチングを試行し、位相差を求める。そして、その位相差と、真の波形ＩＬ、ＩＲがもつ位相差の真値との誤差を求め、その誤差の発生分布から分散値σを求める。
　比較例として、従来のＺＮＣＣ（Zero-mean Normalized Cross-Correlation）による相関係数を使った場合の分散値σを示す。同一のＳＮ比に対して、ＩＳＡＤ評価値による位相差検出値の誤差ばらつきσは、ＺＮＣＣ評価値による位相差検出の誤差ばらつきσよりも明らかに小さい。即ち、ＩＳＡＤ評価値はノイズの影響を受けにくく、位相差の検出分解能が高いことが分かる。
　例えば、低周波数画像どうしの相関演算では、ノイズ等の劣化要因が加わると相関ピークのばらつきが大きくなり、位相差の検出精度が劣化する。この点、本実施形態によれば、ノイズが加わった場合でも従来の手法に比べて相関ピークのばらつきσが小さいため、高精度な位相差検出が可能となる。
　以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
１０　撮像部、１１　光学ローパスフィルタ、１２　結像レンズ、
１３　瞳分割フィルタ、１４　撮像素子、１５　撮像処理部、
２０　高密度化処理部、３０　位相差検出部、４０　光学特性記憶部、
５０　位相差ラフ検出部、６０　検出可能領域抽出部、
７０　位相差微細検出部、８０　測距演算部、９０　立体形状出力処理部、
ＦＬ，ＦＲ　分光特性、Ｆａ　減少区間、ＩＬ　左瞳画像、ＩＲ　右瞳画像、
Ｐ　サンプリングピッチ、Ｒａ　増加区間、ＴＢ，ＴＧ，ＴＲ　分光特性、
ｎＩ　合成波形、ｎＩＬ　正規化した左瞳画像、ｎＩＲ　正規化した右瞳画像、
ｐ　画素ピッチ、ｓ　位相差、ｗ　所定演算区間、
ｘ，ｙ，ｚ，ｘ’，ｙ’　座標、Δｓ　位相差分解能、Δｚ　距離分解能、
δ　位相差、σ　分散値

Claims (9)

  1. 　同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部と、
    　前記第１被写体像が撮像された第１画像と前記第２被写体像が撮像された第２画像に対して高密度化処理を行う高密度化処理部と、
    　前記高密度化処理後の前記第１画像と前記第２画像の間の位相差を検出する位相差検出部と、を備え、
    　前記撮像部は、前記第１被写体像を撮像する画素のピッチ及び前記第２被写体像を撮像する画素のピッチがＰである場合に、カットオフ周波数が１／（２Ｐ）以下（その値を含む）である光学ローパスフィルタを有し、
    　前記高密度化処理部は、前記高密度化処理として、前記第１画像と前記第２画像に対するアップサンプリング処理と、前記アップサンプリング処理後の前記第１画像と前記第２画像に対する２次元ローパスフィルタ処理と、を行う、
    　ことを特徴とする撮像装置。
  2. 　請求項１において、
    　前記撮像部は、
    　結像光学系と、
    　前記結像光学系の瞳を、前記第１被写体像を通過させる第１瞳と前記第２被写体像を通過させる第２瞳とに分割する瞳分割フィルタと、
    　前記結像光学系により結像された前記第１被写体像及び前記第２被写体像を撮像する撮像素子と、を有する、
    　ことを特徴とする撮像装置。
  3. 　請求項２において、
    　前記撮像素子は、原色ベイヤ配列の撮像素子であり、
    　前記瞳分割フィルタは、赤色に対応する波長帯域を透過するフィルタを前記第１瞳として有し、青色に対応する波長帯域を透過するフィルタを前記第２瞳として有し、
    　前記高密度化処理部は、前記撮像素子により撮像されたベイヤ配列の画像のうち赤色の画像を前記第１の画像とし、青色の画像を前記第２の画像として、前記高密度化処理を行う、
    　ことを特徴とする撮像装置。
  4. 　請求項３において、
    　前記撮像素子の画素ピッチをｐとする場合に、前記第１被写体像を撮像する赤色の画素のピッチ及び前記第２被写体像を撮像する青色の画素のピッチは、Ｐ＝２ｐであり、
    　前記光学ローパスフィルタのカットオフ周波数は、１／（４ｐ）以下（その値を含む）である、
    　ことを特徴とする撮像装置。
  5. 　請求項２において、
    　前記撮像素子は、補色の撮像素子であり、
    　前記瞳分割フィルタは、赤色に対応する波長帯域を透過するフィルタを前記第１瞳として有し、青色に対応する波長帯域を透過するフィルタを前記第２瞳として有し、
    　前記高密度化処理部は、前記撮像素子により撮像された画像から赤色の画像及び青色の画像を生成し、前記赤色の画像を前記第１の画像とし、前記青色の画像を前記第２の画像として、前記高密度化処理を行う、
    　ことを特徴とする撮像装置。
  6. 　請求項１乃至５のいずれかにおいて、
    　前記高密度化処理部は、前記アップサンプリング処理として、前記第１画像及び前記第２画像の画素をＮ×Ｎ画素に分割し、前記Ｎ×Ｎ画素に元の画素の画素値を複製する処理を行う、
    　ことを特徴とする撮像装置。
  7. 　請求項１乃至６のいずれかにおいて、
    　前記２次元ローパスフィルタ処理のカットオフ周波数は、１／（２Ｐ）以下（その値を含む）である、
    　ことを特徴とする撮像装置。
  8. 　請求項１乃至７のいずれかにおいて、
    　前記高密度化処理は、前記第１被写体像と前記第２被写体像のサンプリングピッチを仮想的に高密度化する処理である、
    　ことを特長とする撮像装置。
  9. 　第１被写体像を撮像する画素のピッチ及び第２被写体像を撮像する画素のピッチがＰである場合にカットオフ周波数が１／（２Ｐ）以下（その値を含む）である光学ローパスフィルタを通過した、同一被写体に対して視差を有する前記第１被写体像及び前記第２被写体像を撮像し、
    　前記第１被写体像が撮像された第１画像及び前記第２被写体像が撮像された第２画像に対してアップサンプリング処理を行い、
    　前記アップサンプリング処理後の前記第１画像と前記第２画像に対して２次元ローパスフィルタ処理を行い、
    　前記２次元ローパスフィルタ処理後の前記第１画像及び前記第２画像の間の位相差を検出する処理を行う、
    　ことを特徴とする位相差検出方法。
PCT/JP2014/070304 2013-10-23 2014-08-01 撮像装置及び位相差検出方法 WO2015059971A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201480057875.3A CN105659054A (zh) 2013-10-23 2014-08-01 摄像装置和相位差检测方法
US15/093,884 US20160301855A1 (en) 2013-10-23 2016-04-08 Imaging device and phase difference detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013220022A JP2015081846A (ja) 2013-10-23 2013-10-23 撮像装置及び位相差検出方法
JP2013-220022 2013-10-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/093,884 Continuation US20160301855A1 (en) 2013-10-23 2016-04-08 Imaging device and phase difference detection method

Publications (1)

Publication Number Publication Date
WO2015059971A1 true WO2015059971A1 (ja) 2015-04-30

Family

ID=52992582

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/070304 WO2015059971A1 (ja) 2013-10-23 2014-08-01 撮像装置及び位相差検出方法

Country Status (4)

Country Link
US (1) US20160301855A1 (ja)
JP (1) JP2015081846A (ja)
CN (1) CN105659054A (ja)
WO (1) WO2015059971A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10401611B2 (en) * 2015-04-27 2019-09-03 Endochoice, Inc. Endoscope with integrated measurement of distance to objects of interest
WO2016194177A1 (ja) * 2015-06-03 2016-12-08 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法
CN107190621B (zh) * 2016-03-15 2023-01-10 南京理工技术转移中心有限公司 一种路面裂缝病害检测系统和方法
JP6462189B2 (ja) * 2016-07-06 2019-01-30 富士フイルム株式会社 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
US11303800B1 (en) * 2021-07-13 2022-04-12 Shenzhen GOODIX Technology Co., Ltd. Real-time disparity upsampling for phase detection autofocus in digital imaging systems
CN113959398B (zh) * 2021-10-09 2024-04-12 广东汇天航空航天科技有限公司 基于视觉的测距方法、装置、可行驶设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001124984A (ja) * 1999-10-28 2001-05-11 Canon Inc 焦点検出装置と撮像装置
JP2001305415A (ja) * 2000-04-19 2001-10-31 Canon Inc 焦点検出装置
JP2009033582A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 画像信号記録再生装置
JP2013044806A (ja) * 2011-08-22 2013-03-04 Olympus Corp 撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001174696A (ja) * 1999-12-15 2001-06-29 Olympus Optical Co Ltd カラー撮像装置
JP4973478B2 (ja) * 2007-12-11 2012-07-11 ソニー株式会社 撮像素子および撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001124984A (ja) * 1999-10-28 2001-05-11 Canon Inc 焦点検出装置と撮像装置
JP2001305415A (ja) * 2000-04-19 2001-10-31 Canon Inc 焦点検出装置
JP2009033582A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 画像信号記録再生装置
JP2013044806A (ja) * 2011-08-22 2013-03-04 Olympus Corp 撮像装置

Also Published As

Publication number Publication date
JP2015081846A (ja) 2015-04-27
US20160301855A1 (en) 2016-10-13
CN105659054A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
JP6017399B2 (ja) 撮像装置及び位相差検出方法
WO2015059971A1 (ja) 撮像装置及び位相差検出方法
JP5904281B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7009091B2 (ja) 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム
TWI399524B (zh) 景物深度資訊之取得方法與裝置
CN105657237B (zh) 图像获取装置及其数字变焦方法
JP2011171858A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
CN111492201B (zh) 测距摄像机
JP6131546B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
Paramonov et al. Depth camera based on color-coded aperture
JP2011182237A (ja) 複眼撮像装置及び該装置における画像処理方法
JP2022128517A (ja) 測距カメラ
JP6173065B2 (ja) 撮像装置、画像処理装置、撮像方法及び画像処理方法
JP6299788B2 (ja) プレノプティック・システムにおける視差
JP5673764B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2013162369A (ja) 撮像装置
TW201248550A (en) Image processing apparatus and method
WO2018235709A1 (ja) 測距カメラおよび測距方法
WO2022107530A1 (ja) 信号処理装置と信号処理方法およびプログラム
WO2015156045A1 (ja) 画像処理装置、撮像装置および撮像方法
Atif Optimal depth estimation and extended depth of field from single images by computational imaging using chromatic aberrations
Koh et al. Autofocus method using similarity measure based on inter-color channel correlation
JP6598550B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14855676

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14855676

Country of ref document: EP

Kind code of ref document: A1