WO2015059970A1 - 撮像装置及び位相差検出方法 - Google Patents

撮像装置及び位相差検出方法 Download PDF

Info

Publication number
WO2015059970A1
WO2015059970A1 PCT/JP2014/070303 JP2014070303W WO2015059970A1 WO 2015059970 A1 WO2015059970 A1 WO 2015059970A1 JP 2014070303 W JP2014070303 W JP 2014070303W WO 2015059970 A1 WO2015059970 A1 WO 2015059970A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
value
phase difference
pixel value
pixel
Prior art date
Application number
PCT/JP2014/070303
Other languages
English (en)
French (fr)
Inventor
愼一 今出
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201480057925.8A priority Critical patent/CN105683707B/zh
Priority to EP14855792.9A priority patent/EP3062065A4/en
Publication of WO2015059970A1 publication Critical patent/WO2015059970A1/ja
Priority to US15/093,851 priority patent/US20160224866A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R25/00—Arrangements for measuring phase angle between a voltage and a current or between voltages or currents
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present invention relates to an imaging apparatus, a phase difference detection method, and the like.
  • Detection methods for comparing two waveforms that are shifted in position (having a phase difference) to obtain a phase difference include, for example, detection of a parallax amount in stereo image 3D measurement, and control for adjusting a phase to a reference signal in an electric signal (PLL control) It is an important technology that is indispensable in a wide range of fields, such as phase difference detection required for the above.
  • the most matching position is specified while shifting two similar comparison waveforms, and the difference (shift amount) between the position before the shift and the matching position is detected as a phase difference.
  • a matching evaluation method for obtaining a phase difference between two similar waveforms is based on, for example, a normalized cross-correlation calculation method represented by ZNCC (Zero-mean Normalized Cross-Correlation) or a sum of absolute values of mutual differences.
  • ZNCC Zero-mean Normalized Cross-Correlation
  • SAD Sud (of Absolute Difference) have been made.
  • Patent Document 1 discloses a technique of estimating and removing noise components from comparative waveforms including noise (referred to as a searched image and a template image in the literature), respectively. ing.
  • a minute area of an image to be symmetric is arbitrarily selected, and a variance value in the area is approximately obtained as a noise variance value.
  • the minute region since the change of the signal component is small and takes a substantially constant value, it is assumed that the estimated value of the dispersion value almost represents the dispersion value of noise.
  • a noise evaluation component is removed from the comparison waveform to define a matching evaluation value.
  • the correlation coefficient is maximized at the position where the normalized comparison waveforms match. Or the minimum peak value is shown.
  • the evaluation value does not necessarily show a maximum or minimum peak value even at a position where the comparison waveforms match.
  • the phase difference detection position indicated by the maximum peak value or the minimum peak value includes an error variation with respect to the correct position. It will be a thing. Since the range of detection position fluctuation due to error variation becomes the detection resolution or detection accuracy of the matching position that can be detected, the conventional matching evaluation method greatly affects the detection resolution or detection accuracy of the matching position due to deterioration factors. There are challenges.
  • an imaging device a phase difference detection method, and the like that can reduce error variation in phase difference detection.
  • One embodiment of the present invention includes an imaging unit that captures a first subject image and a second subject image having parallax with respect to the same subject, a first image obtained by capturing the first subject image, and the second subject image.
  • a phase difference detector that obtains a correlation coefficient between the captured second images and detects a phase difference between the first image and the second image based on the correlation coefficient;
  • the phase difference detection unit normalizes a pixel value of the first image and a pixel value of the second image, calculates an average value of the normalized pixel value of the first image and the pixel value of the second image, A value obtained by adding a value obtained by subtracting the normalized pixel value of the first image and the pixel value of the second image in the decrease section of the average value, the normalized pixel value of the first image, and the The value obtained by subtracting the pixel value of the second image was added in the increasing section of the average value When related to the image pickup apparatus for obtaining the correlation coefficient based on.
  • a first subject image and a second subject image having parallax with respect to the same subject are captured, and a pixel value of the first image obtained by capturing the first subject image and the second subject are captured.
  • Normalize the pixel value of the second image in which the image is captured obtain the average value of the normalized pixel value of the first image and the pixel value of the second image, and normalize the pixel of the first image
  • a correlation coefficient is obtained based on the value obtained by adding the values in the increase interval of the average value, and a phase difference between the first image and the second image is detected based on the correlation coefficient. It relates to the phase difference detection method.
  • FIG. 1 is an explanatory diagram of the influence of deterioration factors in matching evaluation.
  • FIG. 2 is a configuration example of an imaging apparatus.
  • FIG. 3 is an explanatory diagram of matching evaluation by the improved SAD.
  • FIG. 4 is a simulation result of the statistical dispersion value of the phase difference detection value with respect to the S / N ratio of the waveform.
  • FIG. 5 is a configuration example of an imaging apparatus according to the second embodiment.
  • FIG. 6 is an explanatory diagram of the basic principle of stereo image measurement by the pupil division method.
  • FIG. 7 is a configuration example of an imaging apparatus according to the third embodiment.
  • FIG. 8 shows an example of spectral characteristics of the pupil division filter and the image sensor.
  • FIG. 9 is an explanatory diagram of the densification process.
  • FIGS. 1 is an explanatory diagram of the influence of deterioration factors in matching evaluation.
  • FIG. 2 is a configuration example of an imaging apparatus.
  • FIG. 3 is an explanatory diagram of matching evaluation
  • FIGS. 10A to 10D are explanatory diagrams of the densification process.
  • FIG. 11 is an explanatory diagram of the densification process.
  • FIGS. 12A to 12C show simulation results of phase difference detection by densification processing.
  • FIG. 13 is an explanatory diagram of the densification process.
  • FIG. 14 is a simulation result on the similarity of sampling data.
  • FIG. 15 is an explanatory diagram of a modification of the normalization method.
  • a deterioration factor may be added to the comparison waveform.
  • deterioration factors for example, random noise, quantization noise, similarity deterioration of comparison waveforms due to asymmetrical point spread functions of two pupils, crosstalk between comparison waveforms, and the like are assumed.
  • random noise is added as a deterioration factor
  • the matching evaluation method of the present embodiment is applicable as long as it compares two signal waveforms having a phase difference.
  • the influence of noise appears more prominently as the frequency component of the comparative waveform becomes lower. That is, since the correlation coefficient of the comparative waveform of the image with low optical resolution is a waveform of a low frequency component, the difference from the vicinity value of the peak of the correlation coefficient is small. For this reason, when noise is added, the peak variation becomes significantly large, and it becomes difficult to specify the true peak value. Therefore, it can be said that it is a very disadvantageous condition for obtaining the phase difference with high accuracy.
  • the comparative waveform is not necessarily a waveform having a high frequency component.
  • the comparative waveform is not necessarily a waveform having a high frequency component.
  • there are many high-frequency components at the in-focus position but there are only low-frequency components at the relatively out-of-focus position (blurred position).
  • 3D measurement it is necessary to obtain a phase difference in a predetermined measurement range in the depth direction, and an image in a blurred state must be used. For this reason, an accurate phase difference is obtained even if the comparison waveform is a low-frequency component.
  • There is a need In order to realize highly accurate phase difference detection, it becomes a problem to eliminate the influence of noise as much as possible.
  • the estimated noise is removed from the comparison waveform.
  • the noise is estimated from the comparison waveform in which the signal component and the noise are added, the quality of the estimation is problematic.
  • This estimation is based on the assumption that the signal component is almost constant in a minute region of the image, but the hypothesis often does not hold in a region where the contrast change is severe. For this reason, there is a possibility that a part of the signal component is erroneously estimated as a noise component, and there remains a problem in realizing highly accurate matching detection.
  • the imaging apparatus captures the first subject image and the imaging unit 10 that captures the first subject image and the second subject image that have parallax with respect to the same subject.
  • a phase difference detection unit that obtains a correlation coefficient between the first image and the second image obtained by capturing the second subject image and detects a phase difference between the first image and the second image based on the correlation coefficient.
  • the phase difference detection unit 30 normalizes the pixel value of the first image and the pixel value of the second image, obtains an average value of the normalized pixel value of the first image and the pixel value of the second image, and normalizes The value obtained by subtracting the pixel value of the first image and the pixel value of the second image is added in the decreasing interval of the average value, and the normalized pixel value of the first image and the pixel value of the second image are subtracted.
  • a correlation coefficient is obtained based on the value obtained by adding the processed values in the average value increase interval.
  • Hidarihitomi image nI the left pupil images I L and Migihitomi image I R shown in FIG. 3 corresponds to the first image and the second image, normalized them Request L and Migihitomi image nI R.
  • the normalized left pupil image nI L and right pupil image nI R are subtracted in the decrease interval Fa and the increase interval Ra of the average value nI, respectively.
  • the subtracted values are added in each section, and the added values are added to obtain the correlation coefficient ISAD.
  • the signal component of the comparison waveform is the sum of absolute differences (sum of
  • the noise component becomes a value reduced by the addition effect. Therefore, by evaluating the position where the correlation coefficient ISAD is minimized as the matching position, it is possible to detect the phase difference with high resolution or high accuracy with small error variation.
  • this method is referred to as an improved SAD.
  • the configuration of the imaging device is the same as the configuration of FIG. 2 described above.
  • a monocular imaging optical system is divided into left and right pupils to generate parallax
  • the left pupil image is the first image
  • the right pupil image is the second image.
  • the present embodiment is not limited to this, and can also be applied to the case where, for example, a twin-lens imaging unit is used.
  • Fig. 3 shows an explanatory diagram of matching evaluation by improved SAD (Improved Sum Absolute Difference).
  • I L, I R are part of the imaged left and right pupil images profile (waveform pattern). That is, it is a pixel value pattern in the horizontal direction x (parallax direction) of a parallax image formed on the image sensor by light rays that have passed through the left and right pupils.
  • Pupil images I L, the deviation of the phase difference ⁇ is generated in the I R.
  • Pupil images I L since I R is not equipped with the amplitude gain, normalizes by using a value of a predetermined calculation interval w (interval used to calculate the correlation coefficient), adjust the amplitude gain.
  • the normalized pupil images nI L and nI R are obtained by the following equation (1).
  • the sigma symbol “w” indicates that the sum is taken in the range of the predetermined calculation interval w.
  • nI obtained by adding the normalized pupil images nI L and nI R is generated as in the following expression (2).
  • a cross point where the pupil images nI L and nI R intersect is detected, and a section between adjacent cross points and cross points is obtained.
  • a case where the composite waveform nI in the section is in an increasing tendency is referred to as an increasing section Ra, and a case where the composite waveform nI is in a decreasing tendency is referred to as a decreasing section Fa.
  • the increase / decrease interval is determined by, for example, accumulating adjacent pixel difference values (differentiated values) of the composite waveform nI within the interval delimited by the cross points, and determining the increase interval when positive and the decrease interval when negative.
  • Magnitude relationship of the pupil image nI L and nI R is, for example determines the sections Ra, in Fa by comparing the pixel values of the pupil image nI L and nI R. Then, the above formula (4) or (6) is selected based on the determination result, and the ISAD evaluation value is calculated.
  • I L and I R are assumed to be very similar waveform patterns. As shown in the following formula (7), waveforms obtained by adding noise components n R and n L independently to these are defined as I L ′ and I R ′.
  • SAD evaluation value is a value difference absolute value sum obtained by adding the waveform I L and I noise component in addition to the sum of absolute differences between R n R and n L As a value.
  • random noise is assumed as the noise components n R and n L , they take absolute values and thus do not cancel each other even if they are added.
  • 0.
  • 0.
  • the evaluation value does not necessarily indicate the minimum value, so that it is impossible to determine a correct matching position. Therefore, it can be seen that the conventional SAD evaluation value is very susceptible to noise.
  • the ISAD evaluation value what is the mere sum of differences waveform I L and I R of the differential absolute value sum and absolute value does not take a noise component n R and n L are added are determined. Sum of absolute difference of the waveform I L and I R in the case where they match
  • shows a 0
  • FIG. 4 shows a simulation result of the statistical dispersion value ⁇ of the phase difference detection value with respect to the SN ratio (SNR) of the waveforms I L ′ and I R ′.
  • Waveform I L ', I R' are using the edge waveform to.
  • the variance value ⁇ is obtained as follows. That is, the noise power is made the same, and the noise appearance patterns are randomly changed to generate the waveforms I L ′ and I R ′.
  • matching is tried a plurality of times to obtain a phase difference. Then, an error between the phase difference and the true value of the phase difference of the true waveforms I L and I R is obtained, and a variance value ⁇ is obtained from the error distribution.
  • the dispersion value ⁇ when using the correlation coefficient by the conventional ZNCC is shown.
  • the error variation ⁇ of the phase difference detection value based on the ISAD evaluation value is clearly smaller than the error variation ⁇ of the phase difference detection based on the ZNCC evaluation value. That is, it can be seen that the ISAD evaluation value is not easily affected by noise and has a high phase difference detection resolution.
  • the correlation peak variation ⁇ is small as compared with the conventional method, so that highly accurate phase difference detection can be performed.
  • phase difference fine detection unit 70 performs the phase difference detection process of the present embodiment.
  • the phase difference detection unit 30 performs normalization in the predetermined section w (predetermined calculation section) on the epipolar line of the first image I L (left pupil image) and the second image (right pupil image). set to increasing segment Ra a section average value nI increases of the first image nI L obtains the pixel values of the intersection of the pixel values of the second image nI R, a plurality of sections separated a predetermined interval w in the intersection The interval in which the average value nI decreases is set as the decrease interval Fa.
  • the average value nI of the first image pixel value of nI L and the pixel value of the second image nI R normalized can determine the decreasing segment Fa and increasing segment Ra of the average value nI.
  • the subtracted values can be added by dividing the sections as in the above formulas (4), (6), and (13), and the evaluation value of the improved SAD can be obtained. It becomes possible.
  • the epopular line is a straight line for searching corresponding points in two images taken in stereo.
  • an eye is a projection of a line of sight corresponding to a point on one image onto the other image, and an epic line is used to search for a point corresponding to a point on one image on the other image.
  • the search range is limited to the epopular line.
  • the phase difference detection unit 30 determines the magnitude relationship between the normalized pixel value of the first image nI L and the pixel value of the second image nI R by using the decrease interval Fa and the increase interval Ra. (Equation (3), (5)). Then, subtraction based on the determination by the magnitude relation, as subtraction value D is a positive value, the pixel value of the first image nI pixel values of the L and the second image nI R was normalized in each section Then, the correlation coefficient ISAD is obtained by adding the subtracted values (formulas (3) to (6)).
  • the above equation (3), (5) as described in can determine the magnitude relation between the first image nI L of the waveform and the waveform of the second image nI R in increasing segment Ra and decreasing segment Fa Using the magnitude relationship, the order in which the waveforms are subtracted can be determined so that the subtraction value D is positive in each section.
  • of the correlation coefficient ISAD is left as an absolute value sum, and the noise component (n R ⁇ n L ) is added as a simple sum. It can be reduced by effect.
  • the normalization method of the pupil images I L and I R is not limited to the above formula (1), and may be normalized as follows, for example.
  • FIG. 15 shows the left and right pupil images I L, a portion of the I R profile (waveform pattern).
  • I L different pupil image to do
  • I L it normalizes the level of the I R, it is necessary to obtain a waveform pattern as shown in the right diagram of FIG 15.
  • the peak position U R, D R, U L obtains the D L. Then, as in the following equation (10) obtains an average value Av (R) in the range of the peak position U R and D R, the average value Av (L) in the range of the peak position U L and D L.
  • Mean Av (R) obtains a correction gain from Av (L), normalizes the interval w R by the following equation (11). By this normalization, waveform patterns of left and right pupil images nI L and nI R at the same level as shown in the right diagram of FIG. 15 are obtained.
  • the normalization calculation formula is not limited to the above formula (11), but may be calculated as a normalized waveform of both pupil images I L and I R as shown in the following formula (12).
  • the phase difference detection unit 30 subtracts the normalized pixel value of the first image nI L (left pupil image) and the pixel value of the second image nI R (right pupil image). Then, addition processing is performed in the decreasing interval Fa to obtain the absolute value. Further, the first image nI pixel value and a value obtained by subtracting the pixel values of the second image nI R of L normalized, and addition processing in increasing segment Ra, obtains the absolute value. Then, the absolute value in each section is added to obtain a correlation coefficient ISAD.
  • the subtraction value of the pupil image nI R and nI L are unified in a positive or negative value.
  • a positive or negative value is obtained. If the absolute value is taken, an ISAD evaluation value similar to the above formulas (4) and (6) can be obtained. In this method, since it is not necessary to the subtraction value exactly, there is no need to change the order of the subtraction of the pupil image nI R and nI L, it requires while fixing.
  • the sampling pitch is densified by image processing, and highly accurate phase difference detection is performed using the densified parallax image. Further, by combining the above-described improved SAD, it is possible to perform phase difference detection with higher accuracy.
  • the detection resolution of the phase difference is determined by the density of the sampling pixels that handle each of the two parallax images captured by pupil division. That is, as shown in the left diagram of FIG. 13, the waveform pattern of the parallax image is handled as data sampled by the sampling pixels.
  • the detection resolution of the matching position is determined by the sampling density, and the resolution of the phase difference that is the difference between the initial position and the matching position is also determined by the sampling density.
  • the distance resolution ⁇ z is determined by the phase difference detection resolution ⁇ s. That is, in order to realize distance measurement with high resolution, higher phase difference detection resolution is required.
  • the pixel density of the image sensor has approached the limit of the optical resolution, and future significant pixel density improvement cannot be expected. Therefore, how to achieve high-density sampling that is higher than the pixel density using a given imaging device is a major issue.
  • FIG. 5 shows a configuration example of the imaging apparatus of the present embodiment that can solve this problem.
  • the imaging apparatus includes an imaging unit 10 having an optical low-pass filter 11, a densification processing unit 20, and a phase difference detection unit 30.
  • the densification processing unit 20 performs a process of increasing the number of pixels of the first image and the second image and virtually increasing the sampling pitch of the first subject image and the second subject image. Then, the phase difference detection unit 30 detects the phase difference between the densified first image and second image.
  • a monocular imaging optical system is divided into pupils, and parallax images are acquired using Bayer array imaging elements.
  • the first subject image passing through the first pupil is picked up by red pixels
  • the second subject image passing through the second pupil is picked up by blue pixels.
  • a first image and a second image having a sampling density (pixel pitch p / N) that is N times the pixel density (pixel pitch p) of the image sensor are generated.
  • Third Embodiment 4.1 Stereo Image Measurement Method
  • a monocular imaging unit is divided into pupils, different colors are assigned to the two pupils to obtain parallax images, and the parallax images are subjected to high density processing.
  • the basic principle of stereo image measurement by the pupil division method will be described with reference to FIG.
  • a case where the pupil is divided into left and right (horizontal scanning direction) will be described as an example.
  • the division direction of the pupil is not limited to right and left, and may be any direction orthogonal to the optical axis.
  • Reflected light from the subject surface passes through the imaging lens 12 (imaging optical system), forms an image on the imaging element surface, and is acquired as an image signal by the imaging element.
  • the coordinate axis with the reference position RP of the subject set to zero is set to (x, y, z)
  • the coordinate axis with the corresponding focus position RP ′ of the imaging element surface set to zero is set to (x ′, y ′).
  • the x ′ axis corresponds to the horizontal scanning direction of the image sensor
  • the y ′ axis corresponds to the vertical scanning direction of the image sensor.
  • the z-axis corresponds to the optical axis direction of the imaging lens 12, that is, the depth distance direction.
  • the distances a 0 and b 0 are distances determined by the design of the imaging unit.
  • the left half of the imaging lens 12 is called the left pupil and the right half is called the right pupil.
  • GP L is the center of gravity of the left pupil
  • GP R is the center of gravity of the right pupil.
  • phase difference s The relationship between the phase difference s and the position z of the subject surface is obtained.
  • the relationship between the phase difference s between the left and right pupil images I L and I R obtained on the imaging element surface and the position z of the subject surface is determined by the following equation (14).
  • M is the optical total magnification at the reference in-focus position.
  • l is the distance between the center of gravity GP L of the left pupil and the center of gravity GP R of the right pupil.
  • Hidarihitomi image I L and Migihitomi image I R it is various for the separation techniques.
  • an optical filter that transmits red is provided at the left pupil position
  • an optical filter that transmits blue is set at the right pupil position
  • the red image obtained by the imaging device is separated as the left pupil image
  • the blue image is converted into the right pupil image.
  • FIG. 7 shows a configuration example of an imaging device in the third embodiment.
  • the imaging apparatus includes an imaging unit 10, a densification processing unit 20 (a densification measurement development unit), a phase difference detection unit 30, an optical characteristic storage unit 40, a distance measurement calculation unit 80, and a three-dimensional shape output processing unit 90.
  • symbol is attached
  • the imaging unit 10 includes an optical low-pass filter 11, an imaging lens 12 (imaging optical system), a pupil division filter 13, an imaging element 14, and an imaging processing unit 15.
  • the left pupil of the pupil division filter 13 is provided with an R (red) filter, and the right pupil is provided with a B (blue) filter.
  • the image sensor 14 is an RGB color image sensor having a Bayer pixel array.
  • FIG. 8 shows spectral characteristics of the pupil division filter 13 and the image sensor 14.
  • F L is the spectral characteristic of the R filter of the left pupil
  • F R is the spectral characteristic of the B filter of the right pupil.
  • Spectral characteristics of the pupil F L, F R is the spectral characteristics T B of R and B pixels are divided by the cross points of the T R (wavelength [lambda] c), covers the band of RGB as a whole. Both of the spectral characteristics F L and F R are characteristics that transmit the G component (a part thereof).
  • the spectral characteristics ⁇ T B , T G , T R ⁇ are not only the characteristics of the color filter provided for each pixel of the image sensor 14, but also the spectral characteristics of the external light or illumination light irradiated on the subject, and the pixels. It is defined as a combination of its own spectral characteristics. All the parameters relating to the spectral characteristics are set values (corresponding values) with respect to the wavelength ⁇ , but the description of the wavelength ⁇ as a dependent variable is omitted in this specification.
  • Reflected light from the subject passes through the imaging lens 12, the pupil division filter 13, and the optical low-pass filter 11 to form an image on the image sensor 14.
  • the pixel value of the R pixel the spectral characteristics of the reflected light from the object, component values multiplied by spectral characteristics T R of spectral characteristics F L and R pixels of the left pupil is obtained.
  • the pixel values of the B pixels the spectral characteristics of the reflected light from the object, component values multiplied by spectral characteristics T B spectral characteristics F R and B pixels of the right pupil is obtained. That is, among the Bayer images, a left pupil image is obtained from the R image, and a right pupil image is obtained from the B image.
  • the imaging processing unit 15 controls the imaging operation and processes the imaging signal. For example, the pixel signal from the image sensor 14 is converted into digital data, and Bayer array image data (so-called RAW image data) is output.
  • RAW image data Bayer array image data
  • the densification processing unit 20 performs sampling density densification processing for detecting the phase difference between the R image and the B image with a resolution smaller than the sampling pixel pitch. By this processing, the sampling density becomes N ⁇ N times. N is, for example, 100 to 10,000. Details of the densification process will be described later.
  • spectral characteristics T B of the R pixel has a component in the band of spectral characteristics F L of Hidarihitomi. Therefore, the left pupil component is mixed in the R image which should be the right pupil image.
  • Such spectral characteristic mixing of left and right pupils F R, F L, T B , T G may be subjected to a treatment to reduce based on T R.
  • the phase difference detection unit 30 includes a phase difference rough detection unit 50, a detectable region extraction unit 60 (detectable feature part extraction unit), and a phase difference fine detection unit 70.
  • the phase difference rough detection unit 50 performs phase difference detection that is coarser than the density of phase difference detection performed by the phase difference fine detection unit 70.
  • the correlation calculation is performed by thinning out pixels from the image after the densification processing or the Bayer image before the densification processing.
  • the detectable region extraction unit 60 determines whether or not phase difference detection is possible based on the correlation coefficient from the phase difference rough detection unit 50, and whether or not distance information in the z direction can be acquired based on the determination result. And the image of the detectable region is output to the phase difference fine detection unit 70. For example, it is determined whether or not phase difference detection is possible by determining whether or not a correlation peak exists.
  • the phase difference fine detection unit 70 performs phase difference detection on the image after the densification processing, and obtains the phase difference finely with a resolution smaller than the sampling pixel pitch.
  • the detection of the phase difference is performed on the area determined to be detectable by the detectable area extracting unit 60.
  • the ranging calculation unit 80 calculates the distance in the z direction with high resolution based on the phase difference detected by the phase difference fine detection unit 70.
  • the solid shape output processing unit 90 configures solid shape data based on the distance information in the z direction, and outputs the solid shape data.
  • the left and right R and B pupil images that have passed through the optical low-pass filter 11 are sampled by the color image sensor 14.
  • the R and B pixels of the image sensor 14 are arranged as shown in FIG.
  • the optical low-pass filter 11 is an anti-aliasing filter and is provided so that aliasing noise does not occur in the R and B pupil images. Since the sampling pitch of each pupil image is 2p, the sampling frequency is 1 / (2p), and the cut-off frequency is set to Nyquist frequency 1 / (4p) or less (including the value) determined correspondingly.
  • the frequency characteristics of the R and B images are as shown in FIG. That is, when the frequency characteristic of the optical LPF is 1 / (4p), for example, it has a band of -1 / (4p) to + 1 / (4p). Although not shown, it has a repetition period of 1 / (2p).
  • the dotted line indicates the frequency characteristics of the pixel aperture. Corresponding to the opening width p, it has a band of -1 / p to + 1 / p.
  • the frequency characteristics of the R and B images are as shown in FIG. Since the data is simply duplicated by dividing the pixel, the frequency characteristics are the same as before the upsampling. That is, for example, it has a band of -1 / (4p) to + 1 / (4p) and has a repetition period of 1 / (2p).
  • the sampling data composed of minute pixels is filtered by a two-dimensional low-pass filter, and the minute pixels in the entire captured image including the pixels of the undetected portion are reconstructed. That is, image data having a pixel pitch p / N with respect to the pixel pitch p of the image sensor 14 is generated, and a sampling density that is N times apparent is obtained.
  • the cut-off frequency of the two-dimensional low-pass filter is set to the Nyquist frequency 1 / (4p) or less (including its value) determined by the sampling pitch 2p of R or B as in the optical low-pass filter.
  • the two-dimensional low-pass filter is, for example, a Gaussian filter.
  • the frequency characteristics of the two-dimensional low-pass filter are, for example, as shown in FIG.
  • the frequency characteristics of the R and B images after the two-dimensional low-pass filter are as shown in FIG. Corresponding to the pixel pitch becoming p / N, the repetition frequency becomes N / p.
  • the band corresponds to the band obtained by multiplying the frequency characteristic of the optical low-pass filter by the frequency characteristic of the two-dimensional low-pass filter.
  • the left and right R and B pupil images I L and I R before the densification processing are images sampled at a 2p pitch.
  • the right and left R and B pupil images I L and I R are greatly increased in density (pitch p / N) can be obtained as the image data sampled.
  • FIG. 12 (A) to FIG. 12 (C) show simulation results of phase difference detection by the densification process.
  • the horizontal axis represents the initial position in the correlation calculation as “0” and the shift amount from the initial position is represented by the number of pixels.
  • FIG. 12A shows a waveform for obtaining a phase difference.
  • the sampling waveforms I (x) and I (x ⁇ ) are simply up-sampled by 0.1p (one pixel is divided into 0.1p, and the same value as that pixel is duplicated) ), And the cross-correlation coefficient is obtained while shifting in increments of 0.1p.
  • phase difference detection resolution below the pixel pitch of the image sensor can be made possible by the upsampling process and the two-dimensional low-pass filter process of the present embodiment.
  • pupil image I L of B, I R is substantially the same waveform, having a phase difference [delta].
  • the pupil image I L, and were matched waveform of I R are matched, originally, it is desirable that a correlation coefficient at the highest position similarity Thus waveform is obtained.
  • the parallax ⁇ is arbitrary, the positions where the R and B pixels sample with respect to the pupil images I L and I R having substantially the same waveform are generally not the same. Therefore, for example, left and right R, pupil image I L of B, even with the same I R is optically, resulting sampling data becomes different from those of the similarity is lost when viewed in sampling data. This means that the correlation coefficient pupil images I L, when trying to find the matching position of the I R, no exact position is required.
  • the pupil image I L by one sampling pixel I R (i.e. at 2p pitch) while shifting, and to determine the correlation coefficients.
  • the correlation coefficient obtained is each position pupil images I L, the pixels of I R (i.e. solid arrows and dotted arrows) match. That is, in the pupil images I L and I R having different sampling positions, the correlation coefficient when the waveforms match cannot be obtained, and a phase difference detection error occurs.
  • FIG. 14 shows a simulation result of the similarity of sampling data.
  • the upper diagram shows the sampling position.
  • Sampling positions B2, B4, B6, and B8 are positions shifted from the sampling position A by 0.2p. For example, when the phase difference is 0.6p, the left pupil image is sampled at the sampling position A, and the right pupil image is sampled at the sampling position B6.
  • the middle figure shows sampling data.
  • the sampling data is data obtained by sampling the sensor input waveform at the sampling positions A, B2, B4, B6, and B8.
  • the sensor input waveform is a waveform of the subject image formed on the sensor surface. At this time, since the sampling positions are different, the similarity between the sampling data is reduced.
  • the lower diagram shows the sampling data subjected to the densification process of this embodiment.
  • the waveform data As, Bs2, Bs4, Bs6, and Bs8 correspond to the sampling positions A, B2, B4, B6, and B8. It can be seen that the waveform data As, Bs2, Bs4, Bs6, and Bs8 coincide and cannot be identified, and the similarity between the sampling data is high. By using this highly similar sampling data, it is possible to detect the phase difference with high accuracy.
  • the imaging unit 10 when the pitch of the pixels that capture the first subject image and the pitch of the pixels that capture the second subject image is P, the imaging unit 10 has a cutoff frequency of 1 / (2P).
  • the optical low-pass filter 11 is as follows (including its value). Then, the densification processing unit 20 performs an upsampling process on the first image I L (left pupil image, R image) and the second image I R (right pupil image, B image) as the densification process, and a two-dimensional low-pass filtering for the first image I L and the second image I R after the up-sampling processing, is carried out.
  • the imaging unit 10 includes the imaging optical system (imaging lens 12), the first pupil (left pupil) that passes the first subject image through the pupil of the imaging optical system, and the second pupil.
  • a pupil division filter 13 that divides the subject image into a second pupil (right pupil) that passes the subject image; and an imaging element 14 that captures the first subject image and the second subject image formed by the imaging optical system.
  • a parallax image can be captured by the monocular imaging unit 10. Then, by performing the densification process on the parallax image, high-resolution distance measurement is possible even with a single eye. That is, as shown in the above equation (15), in order to increase the distance measurement resolution ⁇ z, it is necessary to increase the distance l between the centers of gravity of the pupils. Hard to do. In this regard, in the present embodiment, the phase difference detection resolution ⁇ s can be increased by the high-density processing. Therefore, even if the distance between the centers of gravity of the pupils is small, the high-resolution distance measurement can be performed by the above equation (15). Can be realized.
  • endoscopes industrial use, medical use, etc.
  • a monocular is easy to realize a small diameter, and the distance between the centers of gravity of the pupils becomes small because of the small diameter.
  • High-precision distance measurement is also possible by high-density processing.
  • the image sensor 14 is an image sensor with a primary color Bayer array.
  • the pupil division filter 13 includes, as a first pupil, a filter that transmits a wavelength band corresponding to red (spectral characteristic F L in FIG. 8), and a filter that transmits a wavelength band corresponding to blue (spectral characteristic F in FIG. 8). R ) as the second pupil.
  • the densification processing unit 20 sets the red image as the first image (left pupil image) and the blue image as the second image (right pupil image) among the Bayer array images captured by the image sensor 14. ), A densification process is performed.
  • high-resolution phase difference detection can be realized by using a color image sensor of a primary color Bayer array that is generally used. Since a parallax image can be formed simply by inserting the pupil division filter 13 and taking out the R and B images, high-resolution phase difference detection can be realized without major changes to the conventional imaging unit. Further, since only the pupil division filter 13 is added to the optical system, the imaging unit 10 can be configured compactly, and for example, the above-described small-diameter endoscope can be realized.
  • the Nyquist frequency corresponding to the pixel pitch p of the image sensor is 1 / (2p)
  • the cutoff frequency of the optical low-pass filter 11 is 1 / (2p) or less (including that value).
  • the densification processing unit 20 divides the pixels of the first image and the second image into N ⁇ N pixels, and the pixel value of the original pixel is divided into the N ⁇ N pixels. Process to duplicate.
  • the cutoff frequency of the two-dimensional low-pass filter process is 1 / (2P) or less (including its value).
  • the cutoff frequency of the two-dimensional low-pass filter is correspondingly 1 / (2P) or less ( (Including that value), noise outside the band can be reduced while leaving the components of the parallax image.
  • an R image and a B image may be generated from a YCrCb image captured by a complementary color image sensor and used as a parallax image.
  • phase difference detection unit 40 Optical characteristic storage unit, 50 phase difference rough detection unit, 60 detectable region extraction unit, 70 phase difference fine detection unit, 80 ranging calculation unit, 90 solid shape output processing unit, F L, F R spectral characteristics, Fa decreasing segment, I L Hidarihitomi image, I R right pupil images, P sampling pitch, Ra increasing segment, T B, T G, T R spectral characteristics, nI composite waveform, nI L normalized left pupil image, nI R normalized right pupil image, p pixel pitch, s phase difference, w predetermined calculation interval, x, y, z, x ′, y ′ coordinates, ⁇ s phase difference resolution, ⁇ z distance resolution, ⁇ phase difference, ⁇ variance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　撮像装置は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部１０と、第１被写体像が撮像された第１画像と第２被写体像が撮像された第２画像の間の相関係数を求め、その相関係数に基づいて第１画像と第２画像の間の位相差を検出する位相差検出部３０と、を備える。位相差検出部３０は、第１画像の画素値と第２画像の画素値を正規化し、その正規化した第１画像の画素値と第２画像の画素値の平均値を求め、正規化した第１画像の画素値と第２画像の画素値とを減算処理した値を平均値の減少区間において加算処理した値と、正規化した第１画像の画素値と第２画像の画素値を減算処理した値を平均値の増加区間において加算処理した値と、に基づいて相関係数を求める。

Description

撮像装置及び位相差検出方法
　本発明は、撮像装置及び位相差検出方法等に関する。
　位置がずれた（位相差がある）２つの波形を比較して位相差を求める検出法は、例えばステレオ画像３Ｄ計測における視差量検出や、電気信号における基準信号に位相を合わせる制御（ＰＬＬ制御）に必要な位相差検出等の、広い分野で欠かせない重要な技術となっている。
　一般的には、２つの類似する比較波形をずらしながら最もマッチングする位置を特定し、ずらす前の位置とマッチングが取れた位置の差（ずれ量）を位相差として検出する。従来より、２つの類似波形の位相差を求めるためのマッチング評価方法は、例えばＺＮＣＣ（Zero-mean Normalized Cross-Correlation）に代表される正規化相互相関演算法や、相互の差分絶対値の合計によるＳＡＤ（Sum of Absolute Difference）等、種々提案されている。
　このようなマッチング評価では、後述のように比較波形のノイズが影響を与える。そのノイズの影響を低減する手法として、例えば特許文献１には、ノイズを含んだ比較波形（文献では被探索画像とテンプレート画像と称される）からそれぞれノイズ成分を推定して取り除く手法が開示されている。この手法では、対称とする画像の微小領域を任意に選択し、その領域での分散値を近似的にノイズの分散値として求めている。微小領域では、信号成分の変化が小さいのでほぼ一定値をとるので、分散値の推定値はほぼノイズの分散値を表していると仮定されている。この分散値を使って比較波形からノイズ成分を取り除いてマッチング評価値を定義する。
特開２００１－２２９４１号公報
　さて、ＺＮＣＣやＳＡＤ等のマッチング評価方法では、原理的には、比較波形の形が振幅方向に相似関係をもつものであれば、正規化した比較波形同士が合致した位置において相関係数は極大又は極小のピーク値を示す。
　しかしながら、比較波形の類似性を弱めるような劣化要因が比較波形の相互に加わると、比較波形が合致した位置であっても評価値は必ずしも極大又は極小のピーク値を示さなくなる。例えば、ランダム性のあるノイズなどの劣化要因は、画像を検出するたびに変化するので、極大のピーク値又は極小のピーク値が示す位相差検出位置は、正しい位置に対して誤差ばらつきを含んだものとなる。誤差ばらつきによる検出位置の変動範囲が検出可能なマッチング位置の検出分解能又は検出精度となってくるため、従来のマッチング評価方法では、劣化要因によってマッチング位置の検出分解能又は検出精度が大きく左右されるという課題がある。
　本発明の幾つかの態様によれば、位相差検出の誤差ばらつきを低減することが可能な撮像装置及び位相差検出方法等を提供できる。
　本発明の一態様は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部と、前記第１被写体像が撮像された第１画像と前記第２被写体像が撮像された第２画像の間の相関係数を求め、前記相関係数に基づいて前記第１画像と前記第２画像の間の位相差を検出する位相差検出部と、を備え、前記位相差検出部は、前記第１画像の画素値と前記第２画像の画素値を正規化し、前記正規化した前記第１画像の画素値と前記第２画像の画素値の平均値を求め、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の減少区間において加算処理した値と、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の増加区間において加算処理した値と、に基づいて前記相関係数を求める撮像装置に関係する。
　また本発明の他の態様は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像し、前記第１被写体像が撮像された第１画像の画素値と前記第２被写体像が撮像された第２画像の画素値を正規化し、前記正規化した前記第１画像の画素値と前記第２画像の画素値の平均値を求め、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の減少区間において加算処理した値と、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の増加区間において加算処理した値と、に基づいて相関係数を求め、前記相関係数に基づいて前記第１画像と前記第２画像の間の位相差を検出する、位相差検出方法に関係する。
図１は、マッチング評価における劣化要因の影響についての説明図。 図２は、撮像装置の構成例。 図３は、改良ＳＡＤによるマッチング評価の説明図。 図４は、波形のＳＮ比に対する位相差検出値の統計的分散値のシミュレーション結果。 図５は、第２実施形態における撮像装置の構成例。 図６は、瞳分割方式によるステレオ画像計測の基本原理についての説明図。 図７は、第３実施形態における撮像装置の構成例。 図８は、瞳分割フィルタと撮像素子の分光特性の例。 図９は、高密度化処理についての説明図。 図１０（Ａ）～図１０（Ｄ）は、高密度化処理についての説明図。 図１１は、高密度化処理についての説明図。 図１２（Ａ）～図１２（Ｃ）は、高密度化処理による位相差検出のシミュレーション結果。 図１３は、高密度化処理についての説明図。 図１４は、サンプリングデータの類似性についてのシミュレーション結果。 図１５は、正規化手法の変形例についての説明図。
　以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
　１．本実施形態の概要
　マッチング評価では比較波形に劣化要因が加わる場合がある。劣化要因として、例えばランダムノイズや、量子化ノイズや、２つの瞳のポイントスプレッドファンクションが非対称であることによる比較波形の類似性劣化、比較波形間のクロストーク等が想定される。以下では、劣化要因としてランダムノイズが加わる場合を例に説明する。また、ステレオ画像を比較波形とする場合を例に説明するが、本実施形態のマッチング評価手法は、位相差のある２つの信号波形を比較するものであれば適用可能である。
　従来の一般的なマッチング評価方法（ＺＮＣＣ、ＳＡＤなど）では、劣化要因によりマッチング位置の検出誤差が発生し、高い検出分解能又は検出精度が得られ難くなる。
　図１に示すように、ノイズの影響は比較波形の周波数成分が低周波になればなるほど顕著に現れる。即ち、光学分解能が小さい画像の比較波形の相関係数は、低周波成分の波形であるため、相関係数のピークの近傍値との差異が小さい。そのため、ノイズが付加されると顕著にピークのばらつきが大きくなり、真のピーク値の特定が困難になる。よって高精度にて位相差を求める条件としては、非常に不利な状態と言える。
　実際は、位相差を求める場合に比較波形が必ずしも高周波成分をもっている波形とは限らない。例えば、ステレオ画像３Ｄ計測においても、合焦位置では高周波成分を多くもつが相対的に非合焦位置（ボケ状態の位置）では低周波成分しかもっていない。３Ｄ計測では奥行き方向の所定の計測範囲において位相差を求める必要があり、それにはボケ状態の画像も利用せざるを得ないため、比較波形が低周波成分であっても正確な位相差を求める必要がある。高精度な位相差検出を実現するためには、ノイズの影響をできるだけ排除することが課題となる。
　上述の特許文献１では、推定したノイズを比較波形から取り除いているが、信号成分とノイズが加算された比較波形からノイズを推定するため推定精度の良否が問題となる。この推定は、画像の微小領域において信号成分がほぼ一定と言う仮説を前提にしているが、コントラスト変化が激しい領域では、その仮説が成り立たない場合が多々ある。そのため、かえって信号成分の一部をノイズ成分として誤推定してしまう可能性があるので、高精度なマッチング検出を実現するには課題が残る。
　以上より、如何にノイズの影響を受けずに、より正しいマッチング位置を検出するかという課題の解決が位相差検出においては重要である。
　そこで本実施形態では、図２に示すように、撮像装置は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部１０と、第１被写体像が撮像された第１画像と第２被写体像が撮像された第２画像の間の相関係数を求め、その相関係数に基づいて第１画像と第２画像の間の位相差を検出する位相差検出部３０と、を含む。
　そして、位相差検出部３０は、第１画像の画素値と第２画像の画素値を正規化し、正規化した第１画像の画素値と第２画像の画素値の平均値を求め、正規化した第１画像の画素値と第２画像の画素値を減算処理した値を平均値の減少区間において加算処理した値と、正規化した第１画像の画素値と第２画像の画素値を減算処理した値を平均値の増加区間において加算処理した値と、に基づいて相関係数を求める。
　例えば、後述の第１実施形態を例にとると、図３に示す左瞳画像ＩＬと右瞳画像ＩＲが第１画像と第２画像に対応し、それらを正規化した左瞳画像ｎＩＬと右瞳画像ｎＩＲを求める。下式（４）、（６）に示すように、平均値ｎＩの減少区間Ｆａと増加区間Ｒａにおいて、それぞれ、正規化した左瞳画像ｎＩＬと右瞳画像ｎＩＲを減算する。その減算した値を各区間において加算し、その加算した値を加算して相関係数ＩＳＡＤを求める。
　このように、減少区間Ｆａと増加区間Ｒａに分けて、左瞳画像ｎＩＬと右瞳画像ｎＩＲの減算値を加算することで、下式（３）、（５）に示すように、区間ごとに比較波形の信号減算値Ｄが正の値になるように差し引く順序を変えることが可能となる。或は、下式（１３）に示すように、差し引く順序を変えなくても、各区間で減算値を加算し、それぞれ絶対値をとることで、各区間において加算した後に正の値にすることもできる。
　このようにして求めた相関係数ＩＳＡＤでは、下式（９）に示すように、比較波形の信号成分は差分絶対値和（｜ＩＲ－ＩＬ｜の和）となり、比較波形のノイズ成分は単なる差分和（ｎＲ－ｎＬの和）となる。これにより、ノイズ成分は加算効果により低減された値となる。よって、この相関係数ＩＳＡＤが最小になる位置をマッチング位置として評価することにより、誤差ばらつきが小さい高分解能又は高精度な位相差検出が可能となる。なお、この手法を以下では改良ＳＡＤと呼ぶ。
　２．第１実施形態
　２．１．改良ＳＡＤによるマッチング手法
　次に、改良ＳＡＤの詳細について説明する。撮像装置の構成は上述した図２の構成と同様である。なお以下では、単眼の撮像光学系を左右の瞳に分割して視差を発生させ、左瞳画像を第１画像とし、右瞳画像を第２画像とする場合を例に説明する。但し、本実施形態はこれに限定されず、例えば二眼の撮像部を用いる場合にも適用できる。
　図３に、改良ＳＡＤ（Improved Sum of Absolute Difference）によるマッチング評価の説明図を示す。
　ＩＬ，ＩＲは、撮像された左右の瞳画像の一部プロファイル（波形パターン）である。即ち、左右の瞳を通過した光線により撮像素子に形成された視差画像の、水平方向ｘ（視差方向）における画素値パターンである。瞳画像ＩＬ、ＩＲには位相差δのずれが生じている。
　瞳画像ＩＬ、ＩＲは振幅ゲインが揃っていないので、所定演算区間ｗ（相関係数の算出に用いる区間）の値を用いて正規化を行い、振幅ゲインを合わせる。正規化した瞳画像ｎＩＬ、ｎＩＲは、下式（１）により求められる。シグマ記号の“ｗ”は、所定演算区間ｗの範囲で和をとることを表す。
Figure JPOXMLDOC01-appb-M000001
　次に、正規化された瞳画像ｎＩＬ、ｎＩＲを加算した合成波形ｎＩを下式（２）のように生成する。
Figure JPOXMLDOC01-appb-M000002
　次に、所定演算区間ｗにおいて、瞳画像ｎＩＬ、ｎＩＲが交差するクロスポイントを検出し、隣接するクロスポイントとクロスポイントの区間を求める。区間内の合成波形ｎＩが増加傾向にある場合を増加区間Ｒａとし、減少傾向にある場合を減少区間Ｆａとする。増減区間の判定は、例えば、クロスポイントで区切った区間内で合成波形ｎＩの隣接画素差分値（微分値）を積算し、正の場合は増加区間、負の場合は減少区間として判断する。
　次に、増加区間Ｒａ、減少区間Ｆａごとに下式（３）のルールに従い、瞳画像ＩＬとＩＲの減算の順序を変えて減算値Ｄを求める。即ち、各区間において減算値Ｄ＞０となるように減算の順序を決める。
Figure JPOXMLDOC01-appb-M000003
　求めた減算値Ｄを、下式（４）に示すように、所定演算区間ｗを越えない範囲内において全て加算し、ＩＳＡＤ評価値（マッチング評価係数）を求める。シグマ記号の“Ｒａ”、“Ｆａ”は、所定演算区間ｗ内の全てのＲａ、Ｆａの範囲で和ととることを表す。但し、所定演算区間ｗ内にクロスポイントが存在しない場合であっても所定演算区間ｗが増加区間であるのか減少区間であるのかを判断し、所定演算区間ｗにおいてＩＳＡＤ評価値を求めればよい。
Figure JPOXMLDOC01-appb-M000004
　前ピントと後ピントでは瞳画像ＩＬとＩＲの左右が入れ替わる。図３とは逆に左瞳画像ＩＬが右瞳画像ＩＲの左にシフトした場合には、正規化した瞳画像ｎＩＬとｎＩＲの大小関係が入れ替わるので下式（５）のように減算値Ｄを求める。ＩＳＡＤ評価値は下式（６）となる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　瞳画像ｎＩＬとｎＩＲの大小関係は、例えば各区間Ｒａ、Ｆａにおいて瞳画像ｎＩＬとｎＩＲの画素値を比較して判定する。そして、その判定結果に基づいて上式（４）又は（６）を選択し、ＩＳＡＤ評価値を算出する。
　従来のＳＡＤ（Sum of Absolute Difference）のように増減区間を分けずに瞳画像ＩＬとＩＲとの絶対値和を取る方法ではなく、本実施形態では増減区間を敢えて分け瞳画像ＩＬとＩＲとの差分値和を取っている理由について説明する。なお、以下では正規化した波形も単に“ＩＬ”、“ＩＲ”等と表記する。
　ＩＬ、ＩＲは極めて類似性の高い波形パターンであると仮定する。下式（７）に示すように、それらに独立してノイズ成分ｎＲ、ｎＬが付加された波形をＩＬ’、ＩＲ’とする。
Figure JPOXMLDOC01-appb-M000007
　波形ＩＬ’、ＩＲ’のマッチング評価として従来のＳＡＤを当てはめてみると、下式（８）となる。
Figure JPOXMLDOC01-appb-M000008
　ＳＡＤ評価値は、その定義から分かるように、本来は比較波形が一致するとゼロを示す。しかしながら、上式（８）に示すように、ＳＡＤ評価値は、波形ＩＬとＩＲの差分絶対値和に加えてノイズ成分ｎＲとｎＬの差分絶対値和が加算された値を最大値としてもつ。ノイズ成分ｎＲ、ｎＬとしてはランダムノイズが想定されるが、絶対値をとっているため加算しても打ち消し合わない。このことは、波形ＩＬとＩＲが一致する状態、つまり｜ＩＬ－ＩＲ｜＝０であってもＳＡＤ評価値にはノイズ成分が多く残ることを意味する。即ち、｜ＩＬ－ＩＲ｜＝０であっても評価値が最小値を必ずしも示さないので、正しいマッチング位置を判定することができなくなる。よって、従来のＳＡＤ評価値ではノイズの影響を非常に受けやすいことが分かる。
　一方、上式（４）で定義したＩＳＡＤ評価値に上式（７）を当てはめると、下式（９）の関係が得られる。
Figure JPOXMLDOC01-appb-M000009
　ＩＳＡＤ評価値では、波形ＩＬとＩＲの差分絶対値和と絶対値をとらないノイズ成分ｎＲとｎＬの単なる差分和とが加算されたものが求められる。波形ＩＬとＩＲの差分絶対値和は両者が一致した場合に｜ＩＬ－ＩＲ｜＝０を示す。ノイズ成分ｎＲとｎＬの単なる差分和は、絶対値をとっていないためランダムノイズの加算効果によりその成分値が低減される。区間ＲａとＦａでノイズ成分の差分の符号が逆になるが、ランダムノイズのため加算効果には影響しない。この加算効果により、ＩＳＡＤ評価値では、波形ＩＬとＩＲのマッチング位置をノイズが大きく低減された状態で評価できる。このように、ＩＳＡＤ評価値ではノイズの影響を受けにくいマッチング評価が可能となり、従来のＳＡＤに比べ非常に優位な評価方法と言える。
　図４に、波形ＩＬ’、ＩＲ’のＳＮ比（ＳＮＲ）に対する位相差検出値の統計的分散値σのシミュレーション結果を示す。
　波形ＩＬ’、ＩＲ’にはエッジ波形を用いている。位相差検出値には、マッチング評価値がピーク値となるときの位相差を用いている。分散値σは、次のようにして求めている。即ち、ノイズのパワーを同一にして、ノイズの出現パターンをランダムに異ならせて波形ＩＬ’、ＩＲ’を作る。その波形ＩＬ’、ＩＲ’を用いて複数回のマッチングを試行し、位相差を求める。そして、その位相差と、真の波形ＩＬ、ＩＲがもつ位相差の真値との誤差を求め、その誤差の発生分布から分散値σを求める。
　比較例として、従来のＺＮＣＣ（Zero-mean Normalized Cross-Correlation）による相関係数を使った場合の分散値σを示す。同一のＳＮ比に対して、ＩＳＡＤ評価値による位相差検出値の誤差ばらつきσは、ＺＮＣＣ評価値による位相差検出の誤差ばらつきσよりも明らかに小さい。即ち、ＩＳＡＤ評価値はノイズの影響を受けにくく、位相差の検出分解能が高いことが分かる。
　例えば、低周波数画像どうしの相関演算では、ノイズ等の劣化要因が加わると相関ピークのばらつきが大きくなり、位相差の検出精度が劣化する。この点、本実施形態によれば、ノイズが加わった場合でも従来の手法に比べて相関ピークのばらつきσが小さいため、高精度な位相差検出が可能となる。
　なお、改良ＳＡＤを後述する第２、第３実施形態と組み合わせることで、更に高精度な位相差検出を効果的に行うことも可能である。この場合、撮像装置の構成は、第２実施形態又は第３実施形態と同様である。第３実施形態の場合、位相差微細検出部７０が本実施形態の位相差検出処理を行う。
　以上の実施形態によれば、位相差検出部３０は、第１画像ＩＬ（左瞳画像）と第２画像（右瞳画像）のエポピーラ線上の所定区間ｗ（所定演算区間）において、正規化した第１画像ｎＩＬの画素値と第２画像ｎＩＲの画素値の交点を求め、その交点で所定区間ｗを区切った複数の区間のうち平均値ｎＩが増加する区間を増加区間Ｒａに設定し、平均値ｎＩが減少する区間を減少区間Ｆａに設定する。
　このようにすれば、正規化した第１画像ｎＩＬの画素値と第２画像ｎＩＲの画素値の平均値ｎＩから、その平均値ｎＩの増加区間Ｒａと減少区間Ｆａを決定できる。増加区間Ｒａと減少区間Ｆａを分けることによって、上式（４）、（６）、（１３）のように区間を分けて減算値を加算することができ、改良ＳＡＤの評価値を求めることが可能となる。
　ここで、エポピーラ線とは、ステレオ撮影された２つの画像において対応点を探索するための直線のことである。即ち、一方の画像上の点に対応する視線を他方の画像上に投影したものがエポピーラ線であり、一方の画像上の点に対応する点を他方の画像上で探索する際には、その探索範囲はエポピーラ線上に限定される。後述する図７のような単眼の撮像光学系を水平走査方向に瞳分割した場合には、平行ステレオとなるので、エポピーラ線は、水平走査線となる。
　また、以上の実施形態によれば、位相差検出部３０は、正規化した第１画像ｎＩＬの画素値と第２画像ｎＩＲの画素値との大小関係を、減少区間Ｆａ及び増加区間Ｒａの各区間について判定する（上式（３）、（５））。そして、その判定した大小関係に基づいて、減算処理した値Ｄが正の値となるように、正規化した第１画像ｎＩＬの画素値と第２画像ｎＩＲの画素値を各区間において減算処理し、その減算処理した値を加算処理して相関係数ＩＳＡＤを求める（上式（３）～（６））。
　このようにすれば、上式（３）、（５）で説明したように、増加区間Ｒａと減少区間Ｆａで第１画像ｎＩＬの波形と第２画像ｎＩＲの波形の大小関係を決定でき、その大小関係を使って、波形を減算する順番を減算値Ｄが各区間で正となるように決めることができる。これにより、上式（９）で説明したように、相関係数ＩＳＡＤの信号成分｜ＩＲ－ＩＬ｜を絶対値和として残すと共に、ノイズ成分（ｎＲ－ｎＬ）を単純和として加算効果で低減できる。
　２．２．正規化の変形例
　瞳画像ＩＬ、ＩＲの正規化手法は上式（１）に限らず、例えば次のように正規化してもよい。
　図１５の左図に、左右の瞳画像ＩＬ、ＩＲの一部プロファイル（波形パターン）を示す。上述したように本実施形態のマッチング評価法（ISAD）を行うには異なる瞳画像ＩＬ、ＩＲのレベルを正規化し、図１５の右図のような波形パターンを得る必要がある。
　いま右瞳画像ＩＲの区間ｗＲに対してゲイン補正を行うことを考える。瞳画像ＩＬとＩＲは区間ｗにおいて相似波形であり且つずれ量δＵ、δＤが非常に小さいと仮定する。この場合、右瞳画像ＩＲの上ピークであるｘ位置ＵＲの画素値と左瞳画像ＩＬの上ピークであるｘ位置ＵＬの画素値とが対応することは明らかである。また、右瞳画像ＩＲの下ピークであるｘ位置ＤＲの画素値と左瞳画像ＩＬの下ピークであるｘ位置ＤＬの画素値とが対応することは明らかである。
　そこで、まずピーク位置ＵＲ、ＤＲ、ＵＬ、ＤＬを求める。そして、下式（１０）のように、ピーク位置ＵＲとＤＲの範囲において平均値Ａｖ（Ｒ）を求め、ピーク位置ＵＬとＤＬの範囲において平均値Ａｖ（Ｌ）を求める。
Figure JPOXMLDOC01-appb-M000010
　平均値Ａｖ（Ｒ）、Ａｖ（Ｌ）から補正ゲインを求め、下式（１１）により区間ｗＲにおける正規化を行う。この正規化により、図１５の右図のように同一レベルの左右の瞳画像ｎＩＬ，ｎＩＲの波形パターンが得られる。
Figure JPOXMLDOC01-appb-M000011
　なお、正規化の計算式は上式（１１）に限らず、下式（１２）のように瞳画像ＩＬ、ＩＲの両方の正規化波形として計算してもよい。
Figure JPOXMLDOC01-appb-M000012
　いずれにしても、マッチングが得られる区間どうし（区間ｗＲとｗＬ）でゲイン補正を行い、瞳画像ＩＬ、ＩＲを正規化するので、同レベルの波形を比較してマッチング評価値が得られ、効果的である。また、瞳画像ＩＬＩＲが近接し、ずれ量が非常に小さい状態で詳細な位相差を求めるときには、隣接ピークが対応関係にあることが利用できるので都合がよい。
　２．３．ＩＳＡＤ評価値の第２の算出手法
　ＩＳＡＤ評価値の算出手法は、上式（４）、（６）に限らず、例えば下式（１３）を用いてもよい。
Figure JPOXMLDOC01-appb-M000013
　上式（１３）では、位相差検出部３０は、正規化した第１画像ｎＩＬ（左瞳画像）の画素値と第２画像ｎＩＲ（右瞳画像）の画素値を減算処理した値を、減少区間Ｆａにおいて加算処理し、その絶対値を求める。また、正規化した第１画像ｎＩＬの画素値と第２画像ｎＩＲの画素値を減算処理した値を、増加区間Ｒａにおいて加算処理し、その絶対値を求める。そして、各区間での絶対値を加算処理して相関係数ＩＳＡＤを求める。
　増加区間Ｒａ又は減少区間Ｆａでは、瞳画像ｎＩＲとｎＩＬの減算値は正又は負の値に統一されている。各区間において減算値を積算すると正又は負の値が得られるが、その絶対値を取れば、上式（４）、（６）と同様のＩＳＡＤ評価値が得られる。この手法では、減算値を正にしなくてもよいため、瞳画像ｎＩＲとｎＩＬの減算の順序を入れ替える必要がなく、固定したままで済む。
　例えば、左瞳画像ｎＩＬが右瞳画像ｎＩＲの右側にシフトしている場合と、左瞳画像ｎＩＬが右瞳画像ｎＩＲの左側にシフトしている場合とでは、瞳画像ｎＩＲとｎＩＬの上下関係が変わる。そのため、減算値が正になるようにするには、瞳画像ｎＩＲとｎＩＬの値の各区間での上下関係を判断し、減算の順序を適応的に変える必要があるが、上式（１３）を用いれば、その必要はなくなるので都合が良い。
　３．第２実施形態
　次に、第２実施形態について説明する。この実施形態では、画像処理によりサンプリングピッチの高密度化を行い、その高密度化した視差画像を用いて高精度な位相差検出を行う。更に、上述した改良ＳＡＤを組み合わせることで、より高精度な位相差検出を行うことが可能である。
　従来の位相差検出では、瞳分割により撮像された２つの視差画像の各画像を受け持つサンプリング画素の密度により位相差の検出分解能が決まってしまう。即ち、図１３の左図に示すように、視差画像の波形パターンはサンプリング画素によりサンプリングされたデータとして扱われる。その２つの波形パターンの相対位置を初期位置からシフトしながら相関係数を求める際、２つの波形パターンのサンプリング位置が一致する相対位置での相関係数が得られる。そのため、マッチング位置の検出分解能はサンプリング密度で決まることとなり、初期位置とマッチング位置の差である位相差の分解能もサンプリング密度で決まることになる。
　例えば、位相差検出を測距に応用した場合を考える。下式（１５）で後述のように、距離分解能Δｚは、位相差の検出分解能Δｓによって決まる。即ち、高分解能な測距を実現しようとすると、より高い位相差検出分解能が必要となる。しかしながら、昨今、撮像素子の画素密度は光学分解能の限界まで近づいてきており、今後の大幅な画素密度の改善は見込めない。したがって、如何に与えられた撮像素子を使って、その画素密度以上の高密度サンプリングを実現できるかが大きな課題となる。
　図５に、この課題を解決できる本実施形態の撮像装置の構成例を示す。撮像装置は、光学ローパスフィルタ１１を有する撮像部１０と、高密度化処理部２０と、位相差検出部３０と、を含む。
　高密度化処理部２０は、第１画像と第２画像の画素数を増加させ、第１被写体像と第２被写体像のサンプリングピッチを仮想的に高密度化する処理を行う。そして、位相差検出部３０は、その高密度化された第１画像と第２画像の位相差を検出する。
　例えば、後述する第３実施形態では、単眼の撮像光学系を瞳分割し、ベイヤ配列の撮像素子を用いて視差画像を取得する。このとき、第１瞳を通過する第１被写体像を赤色画素で撮像し、第２瞳を通過する第２被写体像を青色画素で撮像する。そして、撮像素子の画素密度（画素ピッチｐ）に対してＮ倍のサンプリング密度（画素ピッチｐ／Ｎ）をもつ第１画像と第２画像を生成する。
　このようにすれば、見かけ上のサンプリング密度を撮像素子の画素密度よりも格段に高密度にした視差画像を生成することができる。即ち、この視差画像を用いて位相差を検出することで、従来の検出分解能よりも飛躍的に高分解能な位相差検出を行うことが可能となる。例えば、上記の例では、Ｎ倍の密度で相関係数を求めることができるので、従来のＮ倍の分解能で位相差を検出することが可能となる。
　４．第３実施形態
　４．１．ステレオ画像計測の手法
　次に、高密度化処理の詳細を第３実施形態として説明する。この実施形態では、単眼の撮像部を瞳分割し、２つの瞳に異なる色を割り当てて視差画像を取得し、その視差画像を高密度化処理する。
　まず、瞳分割方式によるステレオ画像計測の基本原理について、図６を用いて説明する。なお以下では、瞳を左右（水平走査方向）に分割する場合を例に説明するが、瞳の分割方向は左右に限定されず、光軸に直交する任意の方向であればよい。
　被写体面からの反射光は、結像レンズ１２（結像光学系）を通り、撮像素子面にて像を形成し、撮像素子により画像信号として取得される。このとき、被写体の基準位置ＲＰをゼロとした座標軸を（ｘ，ｙ，ｚ）とし、それに対応する撮像素子面の合焦位置ＲＰ’をゼロとした座標軸を（ｘ’，ｙ’）とする。例えば、ｘ’軸は撮像素子の水平走査方向に対応し、ｙ’軸は撮像素子の垂直走査方向に対応する。ｚ軸は、結像レンズ１２の光軸方向、即ち、奥行き距離方向に対応する。
　被写体の基準位置ＲＰから結像レンズ１２の中心までの距離をａ０とし、結像レンズ１２の中心から撮像素子面までの距離をｂ０とする。この距離ａ０、ｂ０は、撮像部の設計により決まる距離である。
　さて、結像レンズ１２の左半分を左瞳と呼び、右半分を右瞳と呼ぶとする。ＧＰＬは左瞳の重心位置であり、ＧＰＲは右瞳の重心位置である。被写体面が基準位置からｚ方向に離れると、撮像素子面で得られる画像はデフォーカス状態となり、左瞳の通過画像ＩＬと右瞳の通過画像ＩＲ（以下、左瞳画像、右瞳画像と言う）は、ずれた画像、即ち位相差ｓをもった画像となる。なお、ここでは便宜上レンズ中心に瞳位置があるようにしたが、実際はレンズの外の絞り等の位置に瞳位置が存在するのが常識である。
　上記の位相差ｓと被写体面の位置ｚの関係を求める。撮像素子面で得られる左右瞳画像ＩＬ、ＩＲの位相差ｓと被写体面の位置ｚの関係は、下式（１４）により決定される。
Figure JPOXMLDOC01-appb-M000014
　ここで、Ｍは基準合焦位置における光学総合倍率である。結像視野サークル径をφＩＣとし、撮像範囲の視野サークル径をφＯＣとすると、Ｍ＝φＩＣ／φＯＣ＝ｂ０／ａ０である。ｌは、左瞳の重心ＧＰＬと右瞳の重心ＧＰＲの間の距離である。なお、上式（１４）が成り立つのは厳密には光学系の軸上についてであるが、原理説明のために軸外での関係式は省略する。
　位相差ｓを求めるためには、左瞳画像ＩＬと右瞳画像ＩＲを分離して取得できなければならないが、その分離手法については種々考えられる。例えば、左瞳位置に赤色を透過する光学フィルタを設け、右瞳位置に青色を透過する光学フィルタを設定し、撮像素子で得られる赤色画像を左瞳画像として分離し、青色画像を右瞳画像として分離する。或は、特開２００９－１４５４０１に開示されるように、撮像素子面に入射する光線角度により左右瞳画像を分離取得する手法もある。或は、古くから行われている二眼カメラを用いて、左右瞳画像に相当する視差ステレオ画像を別々に取得する手法もある。いずれの手法も用いることが可能であり、目的・用途に応じて選択されればよい。
　高精度な３Ｄ計測を実現するためには、ｚ分解能を如何に高められるかが重要な課題である。上式（１４）を変形し、ｚ分解能Δｚを位相差分解能Δｓにより表すと、下式（１５）となる。
Figure JPOXMLDOC01-appb-M000015
　上式（１５）から分かるように、ｚ方向の測定分解能を向上させるためには、位相差分解能Δｓを小さくすることによりｚ分解能Δｚを小さくすることが求められる。即ち、ｚ分解能Δｚを高めるためには、左右の瞳画像の位相差を如何に細かく検出できるかにかかっており、そのためには撮像素子による左右瞳画像のサンプリング密度を上げる必要がある。しかしながら、サンプリング密度は撮像素子の画素ピッチにより制限され、現状の画素ピッチはほぼ限界に近づきつつあり、これ以上大幅に細かくしていくことは困難となっている。
　４．２．撮像装置
　図７に、第３実施形態における撮像装置の構成例を示す。撮像装置は、撮像部１０、高密度化処理部２０（高密度化計測用現像部）、位相差検出部３０、光学特性記憶部４０、測距演算部８０、立体形状出力処理部９０を含む。なお、既に上述した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
　撮像部１０は、光学ローパスフィルタ１１、結像レンズ１２（結像光学系）、瞳分割フィルタ１３、撮像素子１４、撮像処理部１５を含む。
　瞳分割フィルタ１３の左瞳にはＲ（赤色）フィルタが設けられ、右瞳にはＢ（青色）フィルタが設けられる。撮像素子１４はベイヤ画素配列のＲＧＢカラーイメージセンサである。図８に、瞳分割フィルタ１３と撮像素子１４の分光特性を示す。ＦＬは左瞳のＲフィルタの分光特性であり、ＦＲは右瞳のＢフィルタの分光特性である。ＴＢ、ＴＧ、ＴＲは、それぞれＢ、Ｇ（緑色）、Ｒの画素の分光特性である。瞳の分光特性ＦＬ、ＦＲは、Ｒ画素とＢ画素の分光特性ＴＢ、ＴＲのクロスポイント（波長λｃ）で分割されており、全体としてＲＧＢの帯域を覆っている。分光特性ＦＬ、ＦＲは、ともにＧの成分（の一部）を透過する特性になっている。
　なお、分光特性｛ＴＢ、ＴＧ、ＴＲ｝は、撮像素子１４の画素毎に設けられたカラーフィルタの特性のみならず、被写体に照射される外光又は照明光の分光特性や、画素自体の分光特性が合成されたものとして定義される。分光特性に関するパラメータは、すべて波長λに対する設定値（対応値）であるが、本明細書では従属変数としての波長λの表記は省略している。
　被写体からの反射光は、結像レンズ１２、瞳分割フィルタ１３、光学ローパスフィルタ１１を通過し、撮像素子１４に像を形成する。このとき、Ｒ画素の画素値として、被写体からの反射光の分光特性に、左瞳の分光特性ＦＬとＲ画素の分光特性ＴＲを掛けた成分値が得られる。また、Ｂ画素の画素値として、被写体からの反射光の分光特性に、右瞳の分光特性ＦＲとＢ画素の分光特性ＴＢを掛けた成分値が得られる。即ち、ベイヤ画像のうちＲ画像により左瞳画像が得られ、Ｂ画像により右瞳画像が得られる。
　撮像処理部１５は、撮像動作の制御や、撮像信号の処理を行う。例えば、撮像素子１４からの画素信号をデジタルデータに変換し、ベイヤ配列の画像データ（いわゆるＲＡＷ画像データ）を出力する。
　高密度化処理部２０は、Ｒ画像とＢ画像の位相差をサンプリング画素ピッチよりも小さい分解能で検出するためのサンプリング密度の高密度化処理を行う。この処理によりサンプリング密度はＮ×Ｎ倍となる。Ｎは例えば１００～１００００である。高密度化処理の詳細については後述する。
　なお、高密度化処理部２０は、光学特性記憶部４０に記憶された分光特性ＦＲ、ＦＬ、ＴＢ、ＴＧ、ＴＲに基づいて、Ｒ画像とＢ画像の高精度な分離を行ってもよい。例えば、Ｒ画素の分光特性ＴＢは左瞳の分光特性ＦＬの帯域にも成分をもっている。そのため、右瞳画像であるべきＲ画像には左瞳の成分が混入している。このような左右瞳の混合を分光特性ＦＲ、ＦＬ、ＴＢ、ＴＧ、ＴＲに基づいて低減する処理を行ってもよい。
　位相差検出部３０は、位相差ラフ検出部５０、検出可能領域抽出部６０（検出可能特徴部位抽出部）、位相差微細検出部７０を含む。
　位相差ラフ検出部５０は、位相差微細検出部７０が行う位相差検出の密度よりも粗い位相差検出を行う。例えば、高密度化処理後の画像や高密度化処理前のベイヤ画像に対して、画素を間引いて相関演算を行う。
　検出可能領域抽出部６０は、位相差ラフ検出部５０からの相関係数に基づいて、位相差検出が可能か否かの判定を行い、その判定結果によりｚ方向の距離情報を取得できるか否かを判断し、検出可能領域の画像を位相差微細検出部７０へ出力する。例えば、相関ピークが存在するか否かを判定することで位相差検出が可能か否かを判定する。
　位相差微細検出部７０では、高密度化処理後の画像に対して位相差検出を行い、サンプリング画素ピッチよりも小さい分解能により位相差を精細に求める。位相差の検出は、検出可能領域抽出部６０により位相差検出が可能と判断された領域に対して行う。
　測距演算部８０は、位相差微細検出部７０により検出された位相差に基づいて、ｚ方向の距離を高分解能に算出する。立体形状出力処理部９０は、ｚ方向の距離情報に基づいて立体形状データを構成し、その立体形状データを出力する。
　４．３．高密度化処理
　次に、サンプリング密度の高密度化処理について詳細に説明する。
　光学ローパスフィルタ１１を通った左右のＲ、Ｂの瞳画像は、カラー撮像素子１４によりサンプリングされる。撮像素子１４のＲ、Ｂ画素は図９のように配置されている。光学ローパスフィルタ１１は、アンチエイリアスフィルタであり、Ｒ、Ｂの瞳画像に折り返し雑音が発生しないように設けられる。各瞳画像のサンプリングピッチは２ｐなのでサンプリング周波数は１／（２ｐ）であり、それに対応して決まるナイキスト周波数１／（４ｐ）以下（その値を含む）にカットオフ周波数を設定する。
　Ｒ、Ｂ画像の周波数特性は、図１０（Ａ）のようになる。即ち、光学ＬＰＦの周波数特性が例えば１／（４ｐ）の場合、－１／（４ｐ）～＋１／（４ｐ）の帯域をもつ。図示を省略しているが、１／（２ｐ）の繰り返し周期をもつ。なお、点線は、画素開口の周波数特性を示す。開口幅ｐに対応して、－１／ｐ～＋１／ｐの帯域をもつ。
　次に、撮像素子１４により得られたＲ、Ｂの瞳画像の一つ一つのサンプリング画素について、１画素以下（その値を含む）の見かけ上の微小画素により構成されているかのようなデータを作成する。例えば、縦横０．１画素によりサンプリングされた画素値を生成する場合、１画素を縦横にそれぞれＮ＝１０等分し、１画素がＮ×Ｎ＝１００個の微小画素で構成されることを想定する。微小画素の画素値は、元の画素の値と等しい値を適用する。このアップサンプリング処理をＲ画素およびＢ画素全てにおいて行う。
　Ｒ、Ｂ画像の周波数特性は、図１０（Ｂ）のようになる。画素を分割してデータを複製しただけなので、周波数特性はアップサンプリング前と同様である。即ち、例えば－１／（４ｐ）～＋１／（４ｐ）の帯域をもち、１／（２ｐ）の繰り返し周期をもつ。
　次に、微小画素で構成されたサンプリングデータを２次元ローパスフィルタによりフィルタリングし、未検出部分の画素を含めて撮像画像全面における微小画素を再構成する。即ち、撮像素子１４の画素ピッチｐに対して画素ピッチｐ／Ｎの画像データを生成し、見かけ上Ｎ倍のサンプリング密度が得られる。２次元ローパスフィルタのカットオフ周波数は、光学ローパスフィルタ同様にＲ又はＢのサンプリングピッチ２ｐで決まるナイキスト周波数１／（４ｐ）以下（その値を含む）に設定される。２次元ローパスフィルタは、例えばガウシアンフィルタである。
　２次元ローパスフィルタの周波数特性は、例えば図１０（Ｃ）に示す通りである。２次元ローパスフィルタ後のＲ、Ｂ画像の周波数特性は、図１０（Ｄ）のようになる。画素ピッチがｐ／Ｎとなったことに対応して、繰り返し周波数がＮ／ｐとなる。帯域は、光学ローパスフィルタの周波数特性に２次元ローパスフィルタの周波数特性を乗じたものの帯域に対応する。
　図１１の左図に示すように、高密度化処理前の左右のＲ、Ｂの瞳画像ＩＬ、ＩＲは、２ｐピッチでサンプリングされた画像である。上記の高密度化処理により、図１１の右図に示すように、左右のＲ、Ｂの瞳画像ＩＬ、ＩＲは、単純に撮像素子１４でサンプリングした密度を大きく超える密度（ピッチｐ／Ｎ）でサンプリングした画像データとして得ることができる。
　図１２（Ａ）～図１２（Ｃ）に、高密度化処理による位相差検出のシミュレーション結果を示す。横軸は、相関演算における初期位置を“０”とし、その初期位置からのシフト量を画素数で表したものである。
　図１２（Ａ）は、位相差を求める波形である。撮像素子の画素ピッチをｐとすると、波形Ｉ（ｘ）とＩ（ｘ－δ）は位相差δ＝０．２ｐをもった波形であり、画素ピッチｐでサンプリングした波形である。
　図１２（Ｂ）は、サンプリング波形Ｉ（ｘ）、Ｉ（ｘ－δ）を単純に０．１ｐでアップサンプリングし（１画素を０．１ｐに分割し、その画素と同一の値を複製する）、０．１ｐ刻みでシフトしながら相互相関係数を求めたものである。本来、δ＝０．２ｐのところで相関ピークが検出されなければならないが、サンプリング波形は１画素単位の値しか持ち得ないので、δ＝０において相関ピークを示し、１画素以下（その値を含む）の分解能での検出はできていない。
　図１２（Ｃ）は、サンプリング波形Ｉ（ｘ）、Ｉ（ｘ－δ）に対して本実施形態の高密度化処理を行い、相互相関係数を求めたものである。即ち、上記のアップサンプリングに加え、カットオフ周波数１／（４ｐ）以下（その値を含む）のローパスフィルタをかけた後に、０．１ｐ刻みでシフトしながら相互相関係数を求めたものである。δ＝０．２ｐにて明確に相関ピークを示し、０．１ｐ単位の検出分解能が得られることが分かる。
　以上より、本実施形態のアップサンプリング処理と２次元ローパスフィルタ処理によって、撮像素子の画素ピッチ以下での位相差検出分解能を可能にすることができる。
　また、通常の位相差検出では、サンプリング位置が異なることで左右のＲ、Ｂの瞳画像サンプリングデータの類似性が劣化するが、本実施形態によれば、この課題を解決できる。この点について、図１３を用いて説明する。
　図１３の左図に示すように、左右のＲ、Ｂの瞳画像ＩＬ、ＩＲは、ほぼ同一の波形であり、位相差δを有する。図１３の右図に示すように、仮に瞳画像ＩＬ、ＩＲの波形を一致させたとする。このとき、瞳画像ＩＬ、ＩＲはマッチングしており、本来は、このように波形の類似性が最も高い位置での相関係数が得られることが望ましい。
　しかしながら、視差δは任意であるため、ほぼ同一波形である瞳画像ＩＬ、ＩＲに対してＲ、Ｂの画素がサンプリングする位置は一般的に同一とはならない。そのため、例えば左右のＲ，Ｂの瞳画像ＩＬ、ＩＲが光学的に同一であっても、得られるサンプリングデータは異なったものとなり、サンプリングデータで見れば類似性が失われている。このことは、相関係数から瞳画像ＩＬ、ＩＲのマッチング位置を求めようとしたときに、正確な位置が求められないことを意味する。
　例えば、瞳画像ＩＬ、ＩＲを１サンプリング画素ずつ（即ち２ｐピッチで）ずらしながら、相関係数を求めたとする。相関係数が得られるのは、瞳画像ＩＬ、ＩＲの画素（即ち実線矢印と点線矢印）が一致する各位置である。即ち、サンプリング位置が異なる瞳画像ＩＬ、ＩＲでは、波形が一致したときの相関係数は得られず、位相差の検出誤差が生じる。
　この点、本実施形態によれば、図１１の右図のように瞳画像ＩＬ、ＩＲを高密度にサンプリングしたデータが得られるので、サンプリングデータの類似性を確保することができ、位相差の検出精度を向上できる。また、２次元ローパスフィルタをかけることにより、Ｒ、Ｂの瞳画像ＩＬ、ＩＲに重畳されたノイズ成分が抑圧され、ノイズによるマッチング位置の検出誤差ばらつきを抑える効果がある。
　図１４に、サンプリングデータの類似性についてシミュレーションした結果を示す。上段の図はサンプリング位置を示す。サンプリング位置Ｂ２、Ｂ４、Ｂ６、Ｂ８は、サンプリング位置Ａから０．２ｐずつシフトした位置である。例えば、位相差が０．６ｐの場合、左瞳画像はサンプリング位置Ａでサンプリングされ、右瞳画像はサンプリング位置Ｂ６でサンプリングされる。
　中段の図はサンプリングデータを示す。サンプリングデータは、センサ入力波形をサンプリング位置Ａ、Ｂ２、Ｂ４、Ｂ６、Ｂ８でサンプリングしたデータである。センサ入力波形は、センサ面に結像した被写体像の波形である。この時点では、サンプリング位置が異なっているのでサンプリングデータ間の類似性は低下している。
　下段の図は各サンプリングデータに本実施形態の高密度化処理を施したものである。波形データＡｓ、Ｂｓ２、Ｂｓ４、Ｂｓ６、Ｂｓ８は、サンプリング位置Ａ、Ｂ２、Ｂ４、Ｂ６、Ｂ８に対応する。波形データＡｓ、Ｂｓ２、Ｂｓ４、Ｂｓ６、Ｂｓ８は、一致して識別不能であり、サンプリングデータ間の類似性が高いことが分かる。この類似性の高いサンプリングデータを用いることで、高精度な位相差検出が可能となる。
　以上の実施形態によれば、撮像部１０は、第１被写体像を撮像する画素のピッチ及び第２被写体像を撮像する画素のピッチがＰである場合に、カットオフ周波数が１／（２Ｐ）以下（その値を含む）である光学ローパスフィルタ１１を有する。そして、高密度化処理部２０は、高密度化処理として、第１画像ＩＬ（左瞳画像、Ｒ画像）と第２画像ＩＲ（右瞳画像、Ｂ画像）に対するアップサンプリング処理と、そのアップサンプリング処理後の第１画像ＩＬと第２画像ＩＲに対する２次元ローパスフィルタ処理と、を行う。
　図９に示すように、第３実施形態では第１画像ＩＬと第２画像ＩＲのサンプリングピッチはそれぞれＰ＝２ｐである。そして、第１画像ＩＬと第２画像ＩＲを、それぞれＮ×Ｎ倍の画素数にアップサンプリング処理し、その画像に対して２次元ローパスフィルタ処理を行う。
　以上のようにすれば、撮像素子の画素密度（画素ピッチｐ）に対して、見かけ上のサンプリング密度（画素ピッチｐ／Ｎ）をＮ倍とした視差画像を得ることができる。図１２等で説明したように、この視差画像を用いて位相差を検出することで、従来の検出分解能よりも飛躍的に高分解能な位相差検出を行うことが可能となる。
　また、上述した改良ＳＡＤを組み合わせることで、更に高精度な位相差検出が可能となる。即ち、高密度化処理では、２次元ＬＰＦにより高周波成分がカットされているため、低周波成分の波形どうしの位相差検出となりノイズの影響を受ける可能性がある。この点、改良ＳＡＤによりノイズの影響を低減できるので、高密度化処理による検出分解能を最大限に活かすことが可能となる。
　なお、本実施形態を二眼の撮像部に適用した場合、例えば、二眼の撮像光学系それぞれに撮像素子が設けられる。この場合、視差画像のサンプリングピッチＰは撮像素子の画素ピッチｐと同一となるので、Ｐ＝ｐとなる。
　以上の実施形態によれば、撮像部１０は、結像光学系（結像レンズ１２）と、結像光学系の瞳を、第１被写体像を通過させる第１瞳（左瞳）と第２被写体像を通過させる第２瞳（右瞳）とに分割する瞳分割フィルタ１３と、結像光学系により結像された第１被写体像及び第２被写体像を撮像する撮像素子１４と、を有する。
　このようにすれば、単眼の撮像部１０で視差画像を撮像できる。そして、その視差画像に高密度化処理を施すことで、単眼であっても高分解能な測距が可能となる。即ち、上式（１５）に示すように、測距の分解能Δｚを上げるためには瞳の重心間距離ｌを離す必要があるが、単眼は二眼に比べて瞳の重心間距離ｌを確保しにくい。この点、本実施形態では高密度化処理により位相差の検出分解能Δｓを上げることができるため、上式（１５）により、瞳の重心間距離ｌが小さい場合であっても高分解能な測距を実現できる。例えば、内視鏡（工業用、医療用等）ではスコープを細径にするニーズがあるが、単眼は細径を実現しやすく、また、細径にして瞳の重心間距離ｌが小さくなっても高密度化処理により高精度な測距が可能である。
　また、本実施形態では、撮像素子１４は、原色ベイヤ配列の撮像素子である。瞳分割フィルタ１３は、赤色に対応する波長帯域を透過するフィルタ（図８の分光特性ＦＬ）を第１瞳として有し、青色に対応する波長帯域を透過するフィルタ（図８の分光特性ＦＲ）を第２瞳として有する。そして、高密度化処理部２０は、撮像素子１４により撮像されたベイヤ配列の画像のうち赤色の画像を第１の画像（左瞳画像）とし、青色の画像を第２の画像（右瞳画像）として、高密度化処理を行う。
　このようにすれば、一般的に用いられている原色ベイヤ配列のカラーイメージセンサを用いて、高分解能な位相差検出を実現できる。瞳分割フィルタ１３を挿入し、Ｒ、Ｂ画像を取り出すだけで視差画像を構成できるので、従来からある撮像部に大きな変更を加えずに高分解能な位相差検出を実現できる。また、光学系には瞳分割フィルタ１３が加わるだけなので撮像部１０をコンパクトに構成でき、例えば上述した細径の内視鏡等を実現できる。
　また、本実施形態では、撮像素子１４の画素ピッチをｐとする場合に、第１被写体像を撮像する赤色の画素のピッチ及び第２被写体像を撮像する青色の画素のピッチは、Ｐ＝２ｐである。そして、光学ローパスフィルタ１１のカットオフ周波数は、１／（２Ｐ）＝１／（４ｐ）以下（その値を含む）である。
　瞳分割しない通常の撮影では、撮像素子の画素ピッチｐに対応するナイキスト周波数は１／（２ｐ）であり、光学ローパスフィルタ１１のカットオフ周波数を１／（２ｐ）以下（その値を含む）に設定する。一方、本実施形態では、視差画像それぞれにサンプリングを行っているので、そのサンプリングピッチ２ｐに対応したナイキスト周波数１／（４ｐ）以下（その値を含む）にカットオフ周波数を設定する。これにより、視差画像における折り返し雑音を抑制できる。
　また、本実施形態では、高密度化処理部２０は、アップサンプリング処理として、第１画像及び第２画像の画素をＮ×Ｎ画素に分割し、そのＮ×Ｎ画素に元の画素の画素値を複製する処理を行う。
　また、本実施形態では、２次元ローパスフィルタ処理のカットオフ周波数は、１／（２Ｐ）以下（その値を含む）である。
　このように、視差画像の画素をＮ×Ｎ画素に分割し、元の画素の画素値を複製することで、まずデータ上で微細な画素を準備することができる。そして、そのデータに対してカットオフ周波数１／（２Ｐ）以下（その値を含む）の２次元ローパスフィルタ処理を行うことで、あたかも微細な画素でサンプリングしたかのような視差画像を生成できる。視差画像の周波数帯域は光学ローパスフィルタ１１により１／（２Ｐ）以下（その値を含む）に制限されているため、それに対応して２次元ローパスフィルタのカットオフ周波数を１／（２Ｐ）以下（その値を含む）に設定することで、視差画像の成分を残しながら、その帯域外のノイズを低減することができる。
　なお、以上の実施形態では原色ベイヤ配列のカラー撮像素子を用いる場合を例に説明したが、本実施形態はこれに限定されず、例えば補色のカラー撮像素子を用いることも可能である。この場合、補色のカラー撮像素子で撮像したＹＣｒＣｂ画像からＲ画像、Ｂ画像を生成し、視差画像として用いればよい。
　以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
１０　撮像部、１１　光学ローパスフィルタ、１２　結像レンズ、
１３　瞳分割フィルタ、１４　撮像素子、１５　撮像処理部、
２０　高密度化処理部、３０　位相差検出部、４０　光学特性記憶部、
５０　位相差ラフ検出部、６０　検出可能領域抽出部、
７０　位相差微細検出部、８０　測距演算部、９０　立体形状出力処理部、
ＦＬ，ＦＲ　分光特性、Ｆａ　減少区間、ＩＬ　左瞳画像、ＩＲ　右瞳画像、
Ｐ　サンプリングピッチ、Ｒａ　増加区間、ＴＢ，ＴＧ，ＴＲ　分光特性、
ｎＩ　合成波形、ｎＩＬ　正規化した左瞳画像、ｎＩＲ　正規化した右瞳画像、
ｐ　画素ピッチ、ｓ　位相差、ｗ　所定演算区間、
ｘ，ｙ，ｚ，ｘ’，ｙ’　座標、Δｓ　位相差分解能、Δｚ　距離分解能、
δ　位相差、σ　分散値

Claims (11)

  1. 　同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部と、
    　前記第１被写体像が撮像された第１画像と前記第２被写体像が撮像された第２画像の間の相関係数を求め、前記相関係数に基づいて前記第１画像と前記第２画像の間の位相差を検出する位相差検出部と、
    　を備え、
    　前記位相差検出部は、
    　前記第１画像の画素値と前記第２画像の画素値を正規化し、前記正規化した前記第１画像の画素値と前記第２画像の画素値の平均値を求め、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の減少区間において加算処理した値と、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の増加区間において加算処理した値と、に基づいて前記相関係数を求めることを特徴とする撮像装置。
  2. 　請求項１において、
    　前記位相差検出部は、
    　前記第１画像と前記第２画像のエポピーラ線上の所定区間において、前記正規化した前記第１画像の画素値と前記第２画像の画素値の交点を求め、前記所定区間を前記交点で区切った複数の区間のうち前記平均値が増加する区間を前記増加区間に設定し、前記平均値が減少する区間を前記減少区間に設定することを特徴とする撮像装置。
  3. 　請求項１又は２において、
    　前記位相差検出部は、
    　前記正規化した前記第１画像の画素値と前記第２画像の画素値との大小関係を、前記減少区間及び前記増加区間の各区間について判定し、当該判定した前記大小関係に基づいて、前記減算処理した値が正の値となるように、前記正規化した前記第１画像の画素値と前記第２画像の画素値を前記各区間において減算処理し、当該減算処理した値を加算処理して前記相関係数を求めることを特徴とする撮像装置。
  4. 　請求項１又は２において、
    　前記位相差検出部は、
    　前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記減少区間において加算処理した値の絶対値と、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記増加区間において加算処理した値の絶対値と、を加算処理して前記相関係数を求めることを特徴とする撮像装置。
  5. 　請求項１乃至４のいずれかにおいて、
    　前記第１画像と前記第２画像の画素数を増加させ、前記第１被写体像と前記第２被写体像のサンプリングピッチを仮想的に高密度化する高密度化処理を行う高密度化処理部を備え、
    　前記位相差検出部は、
    　前記高密度化された前記第１画像と前記第２画像の位相差を検出することを特徴とする撮像装置。
  6. 　請求項５において、
    　前記撮像部は、
    　前記第１被写体像を撮像する画素のピッチ及び前記第２被写体像を撮像する画素のピッチがＰである場合に、カットオフ周波数が１／（２Ｐ）以下（その値を含む）である光学ローパスフィルタを有し、
    　前記高密度化処理部は、
    　前記高密度化処理として、前記第１画像と前記第２画像に対するアップサンプリング処理と、前記アップサンプリング処理後の前記第１画像と前記第２画像に対する２次元ローパスフィルタ処理と、を行うことを特徴とする撮像装置。
  7. 　請求項５又は６において、
    　前記撮像部は、
    　結像光学系と、
    　前記結像光学系の瞳を、前記第１被写体像を通過させる第１瞳と前記第２被写体像を通過させる第２瞳とに分割する瞳分割フィルタと、
    　前記結像光学系により結像された前記第１被写体像及び前記第２被写体像を撮像する撮像素子と、
    　を有することを特徴とする撮像装置。
  8. 　請求項７において、
    　前記撮像素子は、
    　原色ベイヤ配列の撮像素子であり、
    　前記瞳分割フィルタは、
    　赤色に対応する波長帯域を透過するフィルタを前記第１瞳として有し、青色に対応する波長帯域を透過するフィルタを前記第２瞳として有し、
    　前記高密度化処理部は、
    　前記撮像素子により撮像されたベイヤ配列の画像のうち赤色の画像を前記第１の画像とし、青色の画像を前記第２の画像として、前記高密度化処理を行うことを特徴とする撮像装置。
  9. 　請求項６において、
    　前記高密度化処理部は、
    　前記アップサンプリング処理として、前記第１画像及び前記第２画像の画素をＮ×Ｎ画素に分割し、前記Ｎ×Ｎ画素に元の画素の画素値を複製する処理を行うことを特徴とする撮像装置。
  10. 　請求項６において、
    　前記２次元ローパスフィルタ処理のカットオフ周波数は、１／（２Ｐ）以下（その値を含む）であることを特徴とする撮像装置。
  11. 　同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像し、
    　前記第１被写体像が撮像された第１画像の画素値と前記第２被写体像が撮像された第２画像の画素値を正規化し、
    　前記正規化した前記第１画像の画素値と前記第２画像の画素値の平均値を求め、
    　前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の減少区間において加算処理した値と、前記正規化した前記第１画像の画素値と前記第２画像の画素値を減算処理した値を前記平均値の増加区間において加算処理した値と、に基づいて相関係数を求め、
    　前記相関係数に基づいて前記第１画像と前記第２画像の間の位相差を検出する、
    　ことを特徴とする位相差検出方法。
PCT/JP2014/070303 2013-10-23 2014-08-01 撮像装置及び位相差検出方法 WO2015059970A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480057925.8A CN105683707B (zh) 2013-10-23 2014-08-01 摄像装置和相位差检测方法
EP14855792.9A EP3062065A4 (en) 2013-10-23 2014-08-01 Imaging device and phase difference detection method
US15/093,851 US20160224866A1 (en) 2013-10-23 2016-04-08 Imaging device and phase difference detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013220023A JP6017399B2 (ja) 2013-10-23 2013-10-23 撮像装置及び位相差検出方法
JP2013-220023 2013-10-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/093,851 Continuation US20160224866A1 (en) 2013-10-23 2016-04-08 Imaging device and phase difference detection method

Publications (1)

Publication Number Publication Date
WO2015059970A1 true WO2015059970A1 (ja) 2015-04-30

Family

ID=52992581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/070303 WO2015059970A1 (ja) 2013-10-23 2014-08-01 撮像装置及び位相差検出方法

Country Status (5)

Country Link
US (1) US20160224866A1 (ja)
EP (1) EP3062065A4 (ja)
JP (1) JP6017399B2 (ja)
CN (1) CN105683707B (ja)
WO (1) WO2015059970A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020024114A (ja) * 2018-08-06 2020-02-13 株式会社リコー 情報処理装置、システム、移動体、情報処理方法およびプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105092969B (zh) * 2015-07-23 2018-04-06 中国人民解放军后勤工程学院 一种相位差估计的相频匹配方法
JP6236580B2 (ja) * 2015-09-30 2017-11-22 富士フイルム株式会社 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP6881911B2 (ja) * 2016-08-01 2021-06-02 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN108076267A (zh) * 2016-11-11 2018-05-25 株式会社东芝 摄像装置、摄像系统以及距离信息获取方法
JP6873729B2 (ja) * 2017-02-14 2021-05-19 キヤノン株式会社 焦点検出装置、および撮像装置
US11416461B1 (en) 2019-07-05 2022-08-16 The Nielsen Company (Us), Llc Methods and apparatus to estimate audience sizes of media using deduplication based on binomial sketch data
US11561942B1 (en) 2019-07-05 2023-01-24 The Nielsen Company (Us), Llc Methods and apparatus to estimate audience sizes of media using deduplication based on vector of counts sketch data
US20210406232A1 (en) * 2020-06-30 2021-12-30 The Nielsen Company (Us), Llc Methods and apparatus to estimate audience sizes of media using deduplication based on multiple vectors of counts

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022941A (ja) 1999-07-13 2001-01-26 Hitachi Ltd テンプレートマッチング方法
JP2001124984A (ja) * 1999-10-28 2001-05-11 Canon Inc 焦点検出装置と撮像装置
JP2001305415A (ja) * 2000-04-19 2001-10-31 Canon Inc 焦点検出装置
JP2002271818A (ja) * 2001-03-06 2002-09-20 Olympus Optical Co Ltd 視差量測定装置
JP2006024141A (ja) * 2004-07-09 2006-01-26 Sony Corp 画像処理装置及び方法、プログラム
JP2009145401A (ja) 2007-12-11 2009-07-02 Sony Corp 撮像素子および撮像装置
JP2013044806A (ja) * 2011-08-22 2013-03-04 Olympus Corp 撮像装置
JP2014035430A (ja) * 2012-08-08 2014-02-24 Olympus Corp 撮像装置及び撮像装置の合焦方向判定方法
JP2014038151A (ja) * 2012-08-13 2014-02-27 Olympus Corp 撮像装置及び位相差検出方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002522941A (ja) * 1998-08-04 2002-07-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ハーモニック同期検出を備える遅延ロックループ
JP4708740B2 (ja) * 2004-06-08 2011-06-22 キヤノン株式会社 画像処理装置及び画像処理方法
JP5034554B2 (ja) * 2007-02-27 2012-09-26 コニカミノルタホールディングス株式会社 相関演算装置、相関演算方法及びプログラム
JP2009033582A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 画像信号記録再生装置
JP5810314B2 (ja) * 2010-06-30 2015-11-11 パナソニックＩｐマネジメント株式会社 ステレオ画像処理装置およびステレオ画像処理方法
US9148653B2 (en) * 2010-11-05 2015-09-29 Panasonic Intellectual Property Management Co., Ltd. Stereo image processing device and stereo image processing method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022941A (ja) 1999-07-13 2001-01-26 Hitachi Ltd テンプレートマッチング方法
JP2001124984A (ja) * 1999-10-28 2001-05-11 Canon Inc 焦点検出装置と撮像装置
JP2001305415A (ja) * 2000-04-19 2001-10-31 Canon Inc 焦点検出装置
JP2002271818A (ja) * 2001-03-06 2002-09-20 Olympus Optical Co Ltd 視差量測定装置
JP2006024141A (ja) * 2004-07-09 2006-01-26 Sony Corp 画像処理装置及び方法、プログラム
JP2009145401A (ja) 2007-12-11 2009-07-02 Sony Corp 撮像素子および撮像装置
JP2013044806A (ja) * 2011-08-22 2013-03-04 Olympus Corp 撮像装置
JP2014035430A (ja) * 2012-08-08 2014-02-24 Olympus Corp 撮像装置及び撮像装置の合焦方向判定方法
JP2014038151A (ja) * 2012-08-13 2014-02-27 Olympus Corp 撮像装置及び位相差検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3062065A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020024114A (ja) * 2018-08-06 2020-02-13 株式会社リコー 情報処理装置、システム、移動体、情報処理方法およびプログラム
JP7187875B2 (ja) 2018-08-06 2022-12-13 株式会社リコー 情報処理装置、システム、移動体、情報処理方法およびプログラム

Also Published As

Publication number Publication date
CN105683707A (zh) 2016-06-15
CN105683707B (zh) 2019-03-01
JP6017399B2 (ja) 2016-11-02
EP3062065A1 (en) 2016-08-31
JP2015082033A (ja) 2015-04-27
EP3062065A4 (en) 2017-08-23
US20160224866A1 (en) 2016-08-04

Similar Documents

Publication Publication Date Title
JP6017399B2 (ja) 撮像装置及び位相差検出方法
WO2015059971A1 (ja) 撮像装置及び位相差検出方法
US9294675B2 (en) Image pickup apparatus capable of detecting motion vector, method of controlling the same, and storage medium
JP5868183B2 (ja) 撮像装置及び撮像方法
CN105657237B (zh) 图像获取装置及其数字变焦方法
CN111492201B (zh) 测距摄像机
JP2008123141A (ja) 対応点探索方法および３次元位置計測方法
JP2017138198A (ja) 距離画像装置、撮像装置、および距離画像補正方法
US10600195B2 (en) Depth detection apparatus and depth detection method
WO2016194177A1 (ja) 画像処理装置、内視鏡装置及び画像処理方法
US20140333802A1 (en) Imaging apparatus and imaging method
WO2012086127A1 (ja) 画像処理装置、撮像装置、及び画像処理方法
US20200326609A1 (en) Image capturing apparatus, image processing apparatus, control method, and storage medium
Lopez-Fuentes et al. Revisiting image vignetting correction by constrained minimization of log-intensity entropy
JP4403477B2 (ja) 画像処理装置及び画像処理方法
Paramonov et al. Depth camera based on color-coded aperture
JP2022128517A (ja) 測距カメラ
JP2014038151A (ja) 撮像装置及び位相差検出方法
Wang et al. Contour extraction of a laser stripe located on a microscope image from a stereo light microscope
JP5673764B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2016156702A (ja) 撮像装置および撮像方法
Senthilnathan et al. Estimation of sparse depth based on an inspiration from SFF
WO2018235709A1 (ja) 測距カメラおよび測距方法
Aloni et al. Effects of elemental images’ quantity on three-dimensional segmentation using computational integral imaging
Atif Optimal depth estimation and extended depth of field from single images by computational imaging using chromatic aberrations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14855792

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014855792

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014855792

Country of ref document: EP