WO2014064875A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2014064875A1
WO2014064875A1 PCT/JP2013/004965 JP2013004965W WO2014064875A1 WO 2014064875 A1 WO2014064875 A1 WO 2014064875A1 JP 2013004965 W JP2013004965 W JP 2013004965W WO 2014064875 A1 WO2014064875 A1 WO 2014064875A1
Authority
WO
WIPO (PCT)
Prior art keywords
phase difference
image processing
image
parallax
distribution
Prior art date
Application number
PCT/JP2013/004965
Other languages
English (en)
French (fr)
Inventor
健吾 早坂
功久 井藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2014543128A priority Critical patent/JP6365303B2/ja
Priority to CN201380048338.8A priority patent/CN104641395B/zh
Priority to EP13848331.8A priority patent/EP2913793B1/en
Priority to US14/427,403 priority patent/US10134136B2/en
Publication of WO2014064875A1 publication Critical patent/WO2014064875A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present technology relates to an image processing apparatus and an image processing method capable of acquiring distance information of a measurement target.
  • Patent Document 1 describes a distance calculation method using a technique called stereo matching.
  • a phase difference between the parallax images is obtained.
  • the process for obtaining the phase difference is to move the local region (unit region) to be compared sequentially in the horizontal direction, and position shift (Pixel shift, disparity) between the parallax images of the unit regions having the strongest correlation within the comparison range Is obtained as a phase difference.
  • the distance can also be calculated from a plurality of parallax images along an arbitrary angle direction in the image.
  • the measurement accuracy of the phase difference between parallax images is determined by the distance between the object and the camera.
  • the measurement accuracy of the phase difference decreases due to the influence of camera noise, disturbance, and the like, and accordingly, the distance calculation accuracy also decreases.
  • an object of the present technology is to provide an image processing apparatus and an image processing method capable of improving distance calculation accuracy.
  • an image processing apparatus includes a parallax information generation unit.
  • the parallax information generation unit is configured to generate a first phase difference distribution generated in units of pixels for the first parallax image and the second parallax image, and a sub-pixel unit based on the first phase difference distribution The disparity information is generated based on the second phase difference distribution generated in step.
  • the disparity information is based on the first phase difference distribution generated in units of pixels and the second phase difference distribution generated in units of subpixels using the first phase difference distribution. Is generated. For this reason, it is possible to acquire parallax information that is more robust against disturbances such as camera noise and that is more accurate.
  • the sub-pixel is sometimes used as a color pixel, but in this specification, it means a pixel unit smaller than one pixel. Therefore, when each color pixel is one pixel, the sub-pixel means a smaller pixel unit.
  • the image processing apparatus may further include a phase difference calculation unit that generates the second phase difference distribution based on the first phase difference distribution.
  • the phase difference calculation unit is configured to generate the second phase difference distribution by correcting the first phase difference distribution with edge information detected from the first phase difference distribution. Also good. Since the luminance difference is large near the edge portion, it is easy to estimate the phase difference in units of subpixels.
  • a second phase difference distribution may be generated.
  • the phase difference in units of subpixels can be detected with high accuracy.
  • the phase difference calculation unit includes a luminance distribution in the first pixel group constituting the first parallax image, and a second pixel group constituting the second parallax image and corresponding to the first pixel group.
  • the second phase difference distribution may be generated by calculating a correlation value with the luminance distribution at. Also by such a method, the phase difference in units of subpixels can be detected.
  • an evaluation function related to a luminance difference between a plurality of adjacent pixels when the first pixel group and the second pixel group are overlaid on a pixel basis may be used.
  • the length of the broken line obtained when the luminance values of the plurality of pixels are connected can be used.
  • a surface area of a predetermined three-dimensional surface obtained when the luminance values of the plurality of pixels are connected can be used.
  • the parallax information is typically distance information of a measurement target. Thereby, various information processing based on the distance information can be executed.
  • the image processing apparatus may further include a control unit that generates a refocus image using the distance information generated by the parallax information generation unit. Thereby, a desired refocus image can be generated with high accuracy.
  • the image processing apparatus may further include an imaging unit that acquires a plurality of parallax images having different viewpoints.
  • the parallax information generation unit can generate parallax information using a plurality of parallax images acquired by the imaging unit.
  • An image processing method includes obtaining a first parallax image and a second parallax image. For the first parallax image and the second parallax image, a first phase difference distribution generated in units of pixels and a first phase difference distribution generated in units of subpixels based on the first phase difference distribution. Disparity information is generated based on the two phase difference distributions.
  • the first and second parallax images may be images prepared in advance or parallax images captured by an imaging device or the like.
  • FIG. 1 It is a schematic structure figure of an imaging device concerning one embodiment of this art. It is a functional block diagram showing schematic structure of the control part shown in FIG. It is a flowchart explaining the effect
  • FIG. 10 is a diagram for describing a second phase difference distribution generation method according to the second embodiment of the present technology, where (A) illustrates a luminance distribution of a main part of a left viewpoint image, and (B) illustrates a right viewpoint image. The luminance distribution of the main part is shown. It is a schematic diagram explaining the process sequence for producing
  • FIG. 1 is a schematic diagram illustrating an overall configuration of an imaging apparatus according to an embodiment of the present technology.
  • the imaging device 1 generates and outputs image data (imaging data) Dout by imaging the imaging object (subject) 2 and performing predetermined image processing.
  • the imaging device 1 includes an imaging unit 10 and a control unit 20.
  • the imaging unit 10 includes two cameras 11 and 12, and the cameras 11 and 12 are configured to be able to acquire a plurality of parallax images having different viewpoints.
  • the number of cameras is not limited to two and may be three or more.
  • the plurality of cameras is not limited to being arranged linearly, and may be arranged in a matrix.
  • the cameras 11 and 12 are typically a two-dimensional solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor) in which a plurality of pixels are arranged in the horizontal and vertical directions. It is configured.
  • the cameras 11 and 12 generate imaging data D0 of the subject 2 and output it to the control unit 20.
  • the control unit 20 has a function as an image processing unit.
  • the control unit 20 generates image data Dout including parallax information by performing predetermined image processing on the imaging data D0 acquired by the imaging unit 10.
  • the image processing method of the present embodiment is embodied in the control unit 20 and will be described below.
  • the image processing program of this embodiment corresponds to a software implementation of each image processing function in the control unit 20.
  • the software is composed of a program group for causing each computer to execute each image processing function.
  • Each program may be used by being incorporated in advance in dedicated hardware, for example, or installed in a general-purpose personal computer or the like from a network or a recording medium.
  • the control unit 20 generates a first phase difference distribution in units of pixels between the plurality of parallax images, and generates a second phase in units of sub-pixels between the plurality of parallax images based on the first phase difference distribution.
  • the phase difference distribution of is generated.
  • the control unit 20 generates parallax information based on the first phase difference distribution and the second phase difference distribution.
  • the control unit 20 includes a defect correction unit 21, a clamp processing unit 22, a distance information acquisition unit 23, and a storage unit 24.
  • the defect correction unit 21 corrects a defect such as a blackout included in the imaging data D0 (a defect caused by an abnormality in the cameras 11 and 12 itself).
  • the clamp processing unit 22 performs black level setting processing (clamp processing) for each pixel data in the image data after defect correction by the defect correction unit 21. Note that color interpolation processing such as demosaic processing may be further performed on the captured image data after the clamp processing.
  • the distance information acquisition unit 23 acquires predetermined distance information based on the imaging data D1 supplied from the clamp processing unit 22.
  • the distance information acquisition unit 23 includes a phase difference calculation unit 231 and a parallax information generation unit 232.
  • the phase difference calculation unit 231 generates (calculates) the first phase difference distribution DM1 and the second phase difference distribution DM2 based on the imaging data D1. That is, the phase difference calculation unit 231 generates a first phase difference distribution DM1 in units of pixels between the first parallax image and the second parallax image having different viewpoints, and based on the first phase difference distribution A second phase difference distribution DM2 is generated in units of subpixels between the first parallax image and the second parallax image.
  • the parallax information generation unit 232 calculates the parallax information d including distance information based on the first and second phase difference distributions DM1 and DM2.
  • the storage unit 24 is composed of, for example, a ROM (Read Only Memory) or a RAM (Random Access Memory), and stores programs, calculation data, setting parameters, and the like necessary for the operations of the above-described units constituting the control unit 20.
  • the storage unit 24 may be provided outside the control unit 20. In this case, the storage unit 24 is controlled by the control unit 20.
  • the storage unit 24 may be configured by an external storage device such as a hard disk drive.
  • the control unit 20 may generate parallax information based on a first phase difference distribution and a second phase difference distribution prepared in advance. In this case, the first phase difference distribution and the second phase difference are generated. The distribution is stored in the storage unit 24.
  • control unit 20 [Operation of imaging device] Subsequently, the details of the control unit 20 will be described together with the operation of the imaging apparatus 1 of the present embodiment.
  • the image processing method in the present embodiment includes a step of obtaining a first parallax image and a second parallax image; For the first parallax image and the second parallax image, a first phase difference distribution generated in units of pixels and a first phase difference distribution generated in units of subpixels based on the first phase difference distribution. And generating a parallax information based on the two phase difference distributions.
  • FIG. 3 is a flowchart showing a processing procedure of the control unit 20 (phase difference calculation unit 231).
  • the controller 20 includes a parallax image input step (Step 1), an edge recognition step (Step 2), an identical edge estimation step (Step 3), an edge angle estimation step (Step 4), and a matching processing step (Step 5). ) And a disparity correction step (step 6).
  • the camera 11 acquires the left image PL as the first parallax image, and the camera 12 acquires the right image PR as the second parallax image.
  • the left image PL and the right image PR are obtained by simultaneously capturing the same subject 2.
  • Control unit 20 receives input of imaging data D0 of both parallax images of left image PL and right image PR from imaging unit 10 (step 1).
  • the clamp processing unit 22 performs clamping processing on the imaging data after the defect correction.
  • the imaged data D1 after the clamping process is input to the distance information acquisition unit 23, where first and second phase difference distributions DM1 and DM2 are generated, respectively.
  • the phase difference calculating unit 231 performs edge processing on these two parallax images by edge processing, color recognition, distance measurement in units of one pixel (Pixel), and the like (step 2).
  • FIG. 4A illustrates a partial region of the left image PL acquired by the imaging unit 10
  • FIG. 4B illustrates a partial region of the right image PR acquired by the imaging unit 10.
  • Both images are images of the same subject (house in this example) 2 and the light and dark boundaries appearing in each image are recognized as edge portions EL and ER.
  • the phase difference calculation unit 231 generates a first phase difference distribution in units of one pixel (pixel) by calculating a phase difference between the left image PL and the right image PR. Since the camera 11 and the camera 12 have different horizontal viewpoints, the edge portion EL of the left image PL and the edge portion ER of the right image PR have different pixel positions in the horizontal direction. Corresponds to parity.
  • the following stereo matching technique is used. This is because the two parallax images are sequentially compared in the local area (the correlation value (pixel correlation value) indicating the similarity between the images is obtained), thereby moving the object (the phase difference between the parallax images). It is a method of seeking.
  • the phase difference distribution DM is generated as follows. That is, first, a unit region (partial image C1: center coordinates (x1, y1) in FIG. 5) in one parallax image DC is extracted and the position is fixed. Next, the comparison target unit region (partial image H1: center coordinate (x1, y1) in FIG. 5) in the other parallax image DH is extracted, and the position of this partial image H1 is sequentially moved in the horizontal direction within the comparison range H10.
  • the first phase difference distribution DM1 is obtained by repeatedly performing such calculation processing on the entire surface of the parallax images DC and DH while changing the position of the partial image C1.
  • the phase difference in the vertical direction may also be obtained.
  • the correlation value may be calculated while fixing the unit region of one parallax image and sequentially moving the unit region to be compared in the other parallax image within the comparison range in the vertical direction.
  • Various formulas can be used for calculating the correlation value, but representative examples include correlation between SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), or NCC (Normalized Cross-Correlation). Can be used as a value.
  • SAD and SSD indicate that the smaller the value (closer to 0), the stronger the correlation, and the higher the value (closer to ⁇ ), the weaker the correlation.
  • NCC indicates that the correlation is stronger as the value is closer to 1, and the correlation is weaker as the value is closer to 0.
  • the first phase difference distribution DM1 in units of one pixel between the left image PL and the right image PR is generated.
  • the edge processing is performed on the left image PL and the right image PR when the first phase difference distribution DM1 is generated, the phase difference can be easily calculated.
  • the phase difference calculation unit 231 generates a second phase difference distribution DM2.
  • edge information is detected from the first phase difference distribution DM1, and the first phase difference distribution DM1 is corrected with the edge information, thereby generating the second phase difference distribution DM2 (steps 3 to 3). 6).
  • the phase difference calculation unit 231 estimates that the edge portion EL and the edge portion ER are the same target from the first phase difference distribution DM1, and determines an area for performing sub-pixel detection (step 3).
  • a 5 ⁇ 5 pixel region including the edge portions EL and ER is determined as a detection area.
  • the phase difference calculation unit 231 calculates the local luminance distribution of the edge portion EL calculated for the first parallax image (left image PL) and the second parallax image (right image PR).
  • a second phase difference distribution is generated by matching the local luminance distribution of the edge portion ER (steps 4 and 5).
  • the phase difference calculation unit 231 measures the luminance of each pixel in the same detection area of the left image PL and the right image PR.
  • FIG. 6 shows the luminance distribution in the detection area of the left image PL.
  • the horizontal coordinate is the X-axis
  • the vertical coordinate is the Y-axis
  • the magnitude of the luminance is expressed along the Z-axis orthogonal thereto.
  • the five curves L1, L2, L3, L4, and L5 shown in FIG. 6 are approximate curves obtained by connecting the luminance values of the pixels in the detection area in units of rows (Y1, Y2, Y3, Y4, Y5).
  • Each of the curves L1 to L5 has a luminance gradient at the edge portion EL. Since the edge portion EL straddles between pixels in each row, the phase difference of the edge portion EL cannot be detected with high accuracy in units of one pixel. Therefore, in the present embodiment, the sub-pixel level phase difference is detected by the following processing.
  • the phase difference calculation unit 231 estimates the edge angle of the edge portion EL from the luminance distribution in the detection area (step 4).
  • a sampling axis S orthogonal to the luminance axis (parallel to the XY plane) is set. Then, the angle ⁇ formed by the sampling axis S and the reference axis (Y) parallel to the Y axis is changed, and the luminance values of the curves L1 to L5 virtually sampled along the axial direction of the sampling axis S match.
  • the angle ⁇ ans to be (or most approximate) is estimated as the edge angle.
  • the sample axis S is set to an axis passing through a pixel located at the (X3, Y3) coordinates, but it is not limited to this.
  • the vertical axis represents luminance
  • the horizontal axis corresponds to a combined axis (X ⁇ Ytan ⁇ ) obtained by combining vertical coordinates with horizontal coordinates.
  • the edge angle ( ⁇ ans) FIG. 9B.
  • the composite figure estimated as the edge angle ( ⁇ ans) is also referred to as “evaluation luminance distribution”.
  • the estimation of the edge angle ( ⁇ ans) as described above is performed for each of the left image PL and the right image PR.
  • the luminance of each point of the luminance distribution for evaluation acquired for each of the left image PL and the right image PR is normalized by an arbitrary arithmetic expression. Thereby, the influence by the individual difference between the cameras 11 and 12 can be excluded.
  • the normalization arithmetic expression is not particularly limited, and the following arithmetic expression is used in the present embodiment.
  • Left image brightness (Left Value) Left brightness x (Left maximum value / Left minimum value)
  • Right image brightness (Right Value) Right brightness x (Right maximum value / Right minimum value)
  • Left maximum value and Left minimum value correspond to the maximum value and the minimum value of the luminance in the evaluation luminance distribution, respectively, as shown in FIG.
  • Light maximum value and “Right minimum value” respectively correspond to the maximum value and the minimum value of the luminance in the evaluation luminance distribution, as shown in FIG.
  • the phase difference calculation unit 231 executes matching processing of both images using the evaluation luminance distribution of the left image PL and the evaluation luminance distribution of the right image PR (step 5).
  • FIG. 11 is an explanatory diagram showing an example of the matching process.
  • the (X ⁇ Ytan ⁇ ) coordinates of the right image having the same luminance as the pixel d of the left image are not d, but are coordinates that are separated by “d ⁇ sub ”from d.
  • the “d sub” corresponds to a phase difference in units of subpixels.
  • fitting processing such as linear interpolation may be applied to the evaluation luminance distribution (highly sampled edge) of each image in order to suppress the influence of noise included in the camera image. Good.
  • the phase difference calculation unit 231 reconverts the coordinate values of “d sub” acquired over the entire image into the coordinate values of the original XY coordinate system, and corrects the phase difference distribution (step S6).
  • the second phase difference distribution DM2 in units of subpixels is generated.
  • the first and second phase difference distributions DM1 and DM2 generated by the phase difference calculation unit 231 are input to the parallax information generation unit 232.
  • the phase difference calculation unit 231 may input a phase difference distribution obtained by combining the first and second phase difference distributions DM1 and DM2 to the parallax information generation unit 232.
  • the disparity information generation unit 232 generates disparity information d based on the first phase difference distribution DM1 and the second phase difference distribution D2.
  • the disparity information d includes distance information.
  • the distance information means information on the distance from the cameras 11 and 12 (photographing lenses) to an arbitrary reference position in the captured image corresponding to the captured data D0.
  • the information on the distance includes information on the distance from the cameras 11 and 12 to the reference position or the focal distance on the object side of the imaging lens.
  • the control unit 20 is configured to be able to output image data Dout including the parallax information d to the information processing apparatus.
  • the information processing apparatus acquires data related to the distance of the subject 2 based on the image data Dout, and thereby generates, for example, an image (refocus image) focused on an arbitrary position of the subject 2 with high accuracy. be able to.
  • the subject is not limited to a stationary object, and may be a moving body that moves relative to the imaging apparatus 1. In this case, since it is possible to detect information on the position, distance, moving speed, and moving direction of the moving object, the imaging apparatus 1 is configured as an input device that causes the information processing apparatus to execute predetermined processing according to the movement of the moving object. can do.
  • the first phase difference distribution D1 generated in units of pixels, and the second phase difference distribution D2 generated in units of subpixels using the first phase difference distribution D1.
  • the parallax information d is generated. For this reason, parallax information d that is more robust against disturbances such as camera noise and more accurate can be acquired.
  • the disparity (dsub) having the highest correlation is estimated from the correlation value distribution acquired in units of pixels.
  • the distribution was greatly affected by camera noise.
  • phase difference in units of subpixels is calculated using a plurality of pixels in the detection area, it is difficult to be affected by noise, thereby obtaining distance information with high accuracy. Is possible.
  • phase difference of 1 pixel unit is detected using existing techniques such as stereo matching.
  • the phase difference calculation unit 231 has a luminance distribution in the first pixel group constituting the first parallax image and a luminance distribution in the second pixel group constituting the second parallax image and corresponding to the first pixel group.
  • the second phase difference distribution is generated by calculating the correlation value between the two.
  • FIG. 13 is a diagram in which the pixel luminance values of the local region are expressed in a three-dimensional structure, where (A) shows the luminance distribution of the pixel group of the left image, and (B) shows the luminance distribution of the pixel group of the right image.
  • the pixel luminance value based on the edge information of the parallax image described with reference to FIG. 6 can be used.
  • FIG. 13 in the pixels R32 and L32 that are matched at the one-pixel level, neighboring pixels are used as matching evaluation target data.
  • FIG. 14 shows data when the pixel luminance value of the pixel group of the left image and the pixel luminance value of the pixel group of the right image are superimposed on each other in pixel units.
  • n When the value of n is set to a large value, the accuracy of parallax detection can be improved, but an error is likely to occur at a portion where the difference between the two parallax images is large (such as an occlusion). For this reason, an appropriate value is set in consideration of the calculation cost.
  • an evaluation function for evaluating the matching degree at the sub-pixel level is defined as f ( ⁇ x, ⁇ y) at an arbitrary ⁇ x, ⁇ y, ⁇ x, ⁇ y where f ( ⁇ x, ⁇ y) has the highest evaluation can be obtained. It will be good.
  • the search range of ⁇ x and ⁇ y may be within a range of ⁇ 0.5 pixels when the accuracy of 1-pixel parallax detection is sufficiently high. If the performance is low, the search is performed in the range of ⁇ several pixels.
  • the phase difference calculation unit 231 uses an evaluation function related to a luminance difference between a plurality of adjacent pixels when the first pixel group and the second pixel group are overlapped with each other in a pixel unit. The correlation value is calculated. In this embodiment, the length of the broken line obtained when the luminance values of a plurality of pixels are connected is used as the evaluation function.
  • matching evaluation data (R21, R22, R23, R31, R32, R33, R41, R42, R43, L11, L12, L13, L14, L21, L22, L23, L24 , L31, L32, L33, L34, L41, L42, L43, and L44) are converted into a projected image viewed from the observation angle ⁇ , and adjacent luminance values are connected by a straight line to generate a polygonal line shape as shown in FIG. To do.
  • the observation angle ⁇ is an angle formed by a reference axis parallel to the X axis (horizontal axis) and an observation axis parallel to the XY plane, but the reference axis can be arbitrarily set, and is not limited to the example illustrated.
  • FIGS. 17 and 18 are examples in which matching is achieved at the sub-pixel level and the length is minimized.
  • the luminance values are B 1 and B 2 , respectively, and the length of the line segment connecting L11 and R21 is D1, D1 is It can be expressed by a formula.
  • the coefficient a is used in this formula.
  • the coefficient a is a parameter for converting luminance into spatial distance information, and affects the performance of the evaluation function. For this reason, it is necessary to determine the value with sufficient consideration so that the performance of the evaluation function is improved. In this way, the lengths of all the line segments (D1, D2, D3, ... D3, D24) were obtained, and the length of the broken line was obtained only in the range of the width (2n + 1) centered on R32. What becomes the evaluation function f ( ⁇ x, ⁇ y).
  • the evaluation by the minimum polyline length method is an evaluation method on the premise that the local region of the photographed image is an aggregate of edges facing a certain direction. Therefore, although it is difficult to evaluate an area without an edge, an area without an edge may be excluded from being an evaluation target because there is little information for obtaining a subpixel.
  • the second phase difference distribution in units of subpixels is generated.
  • the edge angle is separately estimated for the left image and the right image, and then the second phase difference distribution is generated by performing matching processing of both images.
  • a second phase difference distribution based on the edge information is generated in a state where the left image is superimposed on each other. Also in this embodiment, the same effect as that of the first embodiment can be obtained.
  • the phase difference calculation unit 231 configures the luminance distribution in the first pixel group constituting the first parallax image, and the second parallax image and corresponds to the first pixel group.
  • a second phase difference distribution is generated by calculating a correlation value with the luminance distribution in the second pixel group.
  • the phase difference calculation unit 231 uses an evaluation function related to a luminance difference between a plurality of adjacent pixels when the first pixel group and the second pixel group are overlapped with each other in a pixel unit.
  • the correlation value is calculated.
  • This embodiment is different from the second embodiment in that the surface area of a predetermined three-dimensional surface obtained when the luminance values of a plurality of pixels are connected is used as an evaluation function.
  • matching evaluation data (R21, R22, R23, R31, R32, R33, R41, R42, R43, L11, L12, L13, L14, L21, L22, L23, L24 , L31, L32, L33, L34, L41, L42, L43, and L44) are connected in a three-dimensional space to generate a solid surface shape as shown in FIG.
  • FIG. 21 and FIG. 22 are examples when matching is achieved at the sub-pixel level and the area is minimized.
  • FIGS. 19 to 22 an example of a method for determining the surface area by joining matching evaluation data in a three-dimensional space is shown.
  • the area of the triangle composed of matching evaluation data L11, R21, L21 is S11
  • the area of the triangle composed of matching evaluation data L11, R21, 21L12 is S12.
  • the triangles are constructed according to the above, and the area of 36 triangles in total from S11 to S94 is determined, and the total sum is obtained.
  • the luminance values of L11, R21, and L21 are B 1 , B 2 , and B 3 , respectively, the length of the line segment connecting L11 and R21 is D 1 , and the length of the line segment connecting R21 and L21 is D 2 , L21
  • the length of the line segment and D 3 which connects the L11, D 1, D 2, D 3 can be expressed by the following equation.
  • D 1 ⁇ ( ⁇ x 2 + (1 ⁇ y) 2 + (a (B 1 ⁇ B 2 )) 2 )
  • D 2 ⁇ ( ⁇ x 2 + ⁇ y 2 + (a (B 2 ⁇ B 3 )) 2 )
  • D 3 ⁇ (1 + (a (B 3 ⁇ B 1 )) 2 )
  • the coefficient a is a parameter for converting luminance into spatial distance information, and affects the performance of the evaluation function. For this reason, it is necessary to determine the value with sufficient consideration so that the performance of the evaluation function is improved. From the lengths D 1 , D 2 , and D 3 of the line segments thus obtained, the area S11 of the triangle is obtained using Heron's formula.
  • the second phase difference distribution in units of subpixels is generated. Also in this embodiment, the same effect as the first and second embodiments can be obtained.
  • the correlation value can be obtained with higher accuracy than in the second embodiment using the length of the predetermined broken line as the evaluation function. it can.
  • control unit 20 develops the imaging data D0 acquired by the imaging unit 10, and generates a second phase difference distribution in subpixel units based on the developed parallax images.
  • the second phase difference distribution may be generated by performing matching processing with the image before the development of the imaging data D0, that is, the RAW image.
  • each color component When performing matching evaluation with RAW data as it is, each color component is separated, the surface area of a solid obtained when the luminance values of a plurality of pixels are connected for each color is obtained, and the total value of the surface areas of each color is calculated as an evaluation function. May be used.
  • 23 to 26 are diagrams showing an example of RAW image matching evaluation.
  • RAW image matching evaluation an example in which four color pixels (RGGB) are arranged in one pixel will be described.
  • FIG. 23 shows data when the pixel luminance value of each color of the pixel group of the left image and the pixel luminance value of each color of the pixel group of the right image are superimposed on each other in pixel units. For each color, the correlation value of the luminance distribution between the images is calculated by the same method as described above.
  • FIG. 24 shows an example of a three-dimensional surface composed of R pixels
  • FIG. 25 shows an example of a three-dimensional surface composed of G pixels
  • FIG. 26 shows an example of a three-dimensional surface composed of B pixels.
  • the evaluation function f R ( ⁇ x, ⁇ y) of the surface area of the three-dimensional surface composed of R pixels, the evaluation function f G ( ⁇ x, ⁇ y) of the surface area of the three-dimensional surface composed of G pixels, and the B pixel ⁇ x and ⁇ y that minimize the sum of the evaluation function f B ( ⁇ x, ⁇ y) of the surface area of the solid surface to be configured are calculated.
  • ⁇ x and ⁇ y calculated as described above are generated as the second phase difference distribution of the sub-pixels.
  • the imaging unit 10 having the two cameras 11 and 12 has been described as an example. May be used.
  • an optical element capable of distributing light such as a liquid crystal lens array, a liquid lens array, and a diffractive lens array may be used.
  • the image processing unit is incorporated in the imaging device.
  • the present invention is not limited to this, and the image processing unit may be configured by an information processing device such as a PC (Personal Computer) terminal.
  • the image processing unit may be configured by an information processing device such as a PC (Personal Computer) terminal.
  • the distance information of the measurement target is calculated by the method described above.
  • the area of a predetermined triangle is used as the evaluation function.
  • the volume of the triangle, the total area of a plurality of adjacent triangles, and the like are used as the evaluation function. May be.
  • this technique can also take the following structures.
  • (1) For the first parallax image and the second parallax image, the first phase difference distribution generated in pixel units and the sub-pixel unit generated based on the first phase difference distribution An image processing apparatus comprising: a parallax information generation unit that generates parallax information based on the second phase difference distribution.
  • An image processing apparatus further comprising: a phase difference calculation unit that generates the second phase difference distribution based on the first phase difference distribution.
  • the image processing apparatus according to (2) above, The image processing device generates the second phase difference distribution by correcting the first phase difference distribution with edge information detected from the first phase difference distribution.
  • the phase difference calculation unit performs a matching process between the local luminance distribution of the edge calculated for the first parallax image and the local luminance distribution of the edge calculated for the second parallax image.
  • the image processing device generates the second phase difference distribution.
  • the phase difference calculation unit includes a luminance distribution in the first pixel group constituting the first parallax image, and a luminance in the second pixel group constituting the second parallax image and corresponding to the first pixel group. An image processing apparatus that generates the second phase difference distribution by calculating a correlation value with the distribution.
  • the phase difference calculation unit uses an evaluation function related to a luminance difference between a plurality of adjacent pixels when the first pixel group and the second pixel group are overlapped with each other in pixel units. An image processing apparatus that calculates the correlation value.
  • the image processing apparatus according to (6) above, The phase difference calculation unit is an image processing device that uses, as the evaluation function, the length of a polygonal line obtained when the luminance values of the plurality of pixels are connected.
  • the phase difference calculation unit uses the surface area of a predetermined three-dimensional surface obtained when the luminance values of the plurality of pixels are connected as the evaluation function.
  • the parallax information generation unit is an image processing device that generates distance information of a measurement target as the parallax information.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】距離算出精度を高めることができる画像処理装置を提供する。 【解決手段】本技術の一形態に係る画像処理装置は、視差情報生成部を具備する。　上記視差情報生成部は、第１の視差画像と第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、上記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する。

Description

画像処理装置および画像処理方法
　本技術は、測定対象の距離情報を取得可能な画像処理装置および画像処理方法に関する。
　視点の異なる複数の画像を用いて測定対象までの距離を測定する技術が知られている。例えば下記特許文献１にはステレオマッチングと呼ばれる手法を用いた距離算出方法が記載されている。
　このようなステレオマッチングの手法では、画像内の水平方向（Ｈ方向）又は垂直方向（Ｖ方向）に沿った複数の視差画像から距離を算出する場合、視差画像間の位相差が求められる。位相差を求める処理は、比較対象の局所領域（単位領域）を水平方向に逐次移動させ、比較範囲内で最も相関が強い単位領域同士の視差画像間での位置ずれ（Pixelずれ、ディスパリティ）を位相差として求める。画像内の任意の角度方向に沿った複数の視差画像からも距離を算出することが可能である。
特開２０１１－１７１８５８号公報
　ステレオマッチングにおいては、物体とカメラの距離によって視差画像間の位相差の測定精度が決定される。すなわち物体とカメラの距離が遠いほど、カメラノイズ、外乱などの影響によって、位相差の測定精度が低下し、これに伴って距離算出精度も低下するという問題がある。
　以上のような事情に鑑み、本技術の目的は、距離算出精度を高めることができる画像処理装置および画像処理方法を提供することにある。
　以上の目的を達成するため、本技術の一形態に係る画像処理装置は、視差情報生成部を具備する。
　上記視差情報生成部は、第１の視差画像と第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、上記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する。
　上記画像処理装置においては、ピクセル単位で生成された第１の位相差分布と、第１の位相差分布を用いてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成するようにしている。このため、カメラノイズ等の外乱に対してよりロバストであり、かつ、より高精度な視差情報を取得することができる。
　ここで、サブピクセルとは、色画素という意味で用いられることもあるが、本明細書においては１画素よりも小さい画素単位を意味する。したがって各色画素を１ピクセルとしたときは、サブピクセルは、それよりも小さい画素単位を意味することになる。
　上記画像処理装置は、上記第１の位相差分布に基づいて、上記第２の位相差分布を生成する位相差算出部をさらに具備してもよい。
　上記位相差算出部は、上記第１の位相差分布を、上記第１の位相差分布から検出されたエッジ情報で補正することで、前記第２の位相差分布を生成するように構成されてもよい。
　エッジ部近傍は輝度差が大きいため、サブピクセル単位の位相差の推定が容易となる。
　この場合、上記第１の視差画像について算出されたエッジ部の局所的な輝度分布と、上記第２の視差画像について算出されたエッジ部の局所的な輝度分布とをマッチング処理することで、上記第２の位相差分布を生成してもよい。
　これによりサブピクセル単位の位相差を高精度に検出することができる。
　一方、上記位相差算出部は、第１の視差画像を構成する第１のピクセル群における輝度分布と、上記第２の視差画像を構成し上記第１のピクセル群に対応する第２のピクセル群における輝度分布との間の相関値を算出することで、上記第２の位相差分布を生成するように構成されてもよい。
　このような方法によっても、サブピクセル単位の位相差を検出することができる。
　この場合、上記第１のピクセル群と上記第２のピクセル群とをピクセル単位で相互に重ね合わせたときに相互に隣接する複数のピクセル間の輝度差に関連する評価関数を用いてもよい。
　上記評価関数としては、上記複数のピクセルの輝度値を繋ぎ合わせたときに得られる折れ線の長さを用いることができる。あるいは、上記評価関数として、上記複数のピクセルの輝度値を繋ぎ合わせたときに得られる所定の立体面の表面積を用いることができる。
　上記視差情報は、典型的には、測定対象の距離情報である。これにより当該距離情報に基づく各種の情報処理の実行が可能となる。
　上記画像処理装置は、上記視差情報生成部により生成された距離情報を用いて、リフォーカス画像を生成する制御部をさらに具備してもよい。
　これにより所望とするリフォーカス画像を高精度に生成することができる。
　上記画像処理装置は、相互に視点が異なる複数の視差画像を取得する撮像部をさらに具備してもよい。
　この場合、上記視差情報生成部は、撮像部で取得された複数の視差画像を用いて、視差情報を生成することができる。
　本技術の一形態に係る画像処理方法は、第１の視差画像と第２の視差画像とを取得することを含む。
　上記第１の視差画像と上記第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、前記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報が生成される。
　上記第１及び第２の視差画像は、予め用意された画像であってもよいし、撮像装置等で撮像された視差画像であってもよい。
　以上のように、本技術によれば、外乱に対してよりロバストであり、かつ、より高精度な視差情報を取得することができる。
本技術の一実施形態に係る撮像装置の概略構成図である。 図１に示した制御部の概略構成を表す機能ブロック図である。 上記制御部の作用を説明するフローチャートである。 上記撮像装置で取得される視差画像の一例を示す概略図であり、（Ａ）は左視点画像を示し、（Ｂ）は右視点画像を示す。 上記制御部における第１の位相差分布の生成方法を説明する模式図である。 上記制御部における第２の位相差分布の生成方法を説明する模式図である。 上記第２の位相差分布を生成するための処理手順を説明する模式図である。 図７に示したサンプリング軸のとり方を説明する図である。 上記第２の位相差分布を生成するための処理手順を説明する模式図である。 上記第２の位相差分布を生成するための処理手順を説明する模式図である。 上記第２の位相差分布を生成するための処理手順を説明する模式図である。 比較例による位相差検出方法を説明する図である。 本技術の第２の実施形態における第２の位相差分布の生成方法を説明する図であって、（Ａ）は左視点画像の要部の輝度分布を示し、（Ｂ）は右視点画像の要部の輝度分布を示す。 第２の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。 第２の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。 第２の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。 第２の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。 第２の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。 本技術の第３の実施形態における第２の位相差分布の生成方法を説明する図であって、第２の位相差分布を生成するための処理手順を説明する模式図である。 第３の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。 第３の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。 第３の実施形態に係る第２の位相差分布を生成するための処理手順を説明する模式図である。 第３の実施形態に係る第２の位相差分布を生成するための処理手順の変形例を説明する模式図である。 第３の実施形態に係る第２の位相差分布を生成するための処理手順の変形例を説明する模式図である。 第３の実施形態に係る第２の位相差分布を生成するための処理手順の変形例を説明する模式図である。 第３の実施形態に係る第２の位相差分布を生成するための処理手順の変形例を説明する模式図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
　図１は、本技術の一実施形態に係る撮像装置の全体構成を示す概略図である。撮像装置１は、撮像対象物（被写体）２を撮像して所定の画像処理を施すことにより、画像データ（撮像データ）Ｄoutを生成し出力する。
［全体構成］
　撮像装置１は、撮像部１０と、制御部２０とを有する。
　撮像部１０は、２つのカメラ１１，１２を有しており、これらのカメラ１１，１２によって相互に視点が異なる複数の視差画像を取得することが可能に構成されている。カメラの数は２つに限られず、３つ以上有していてもよい。また複数のカメラは直線的に配列されている場合に限られず、マトリクス状に配列されていてもよい。
　カメラ１１，１２は、典型的には、水平及び垂直方向に複数の画素が配列されたＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。カメラ１１，１２は、被写体２の撮像データＤ０を生成し、制御部２０へ出力する。
　制御部２０は、画像処理部としての機能を有する。制御部２０は、撮像部１０により取得された撮像データＤ０に対して所定の画像処理を施すことにより、視差情報を含む画像データＤoutを生成する。
　なお本実施形態の画像処理方法は、制御部２０において具現化されるため、以下併せて説明する。また本実施形態の画像処理プログラムは、制御部２０における各画像処理機能をソフトウェア的に実現したものに対応している。この場合、そのソフトウェアは、各画像処理機能をコンピュータにより実行させるためのプログラム群で構成される。各プログラムは、例えば、専用のハードウェアに予め組み込まれて用いられてもよいし、汎用のパーソナルコンピュータなどにネットワークや記録媒体からインストールして用いられてもよい。
　制御部２０は、上記複数の視差画像間のピクセル単位での第１の位相差分布を生成し、上記第１の位相差分布に基づいて上記複数の視差画像間のサブピクセル単位での第２の位相差分布を生成する。制御部２０は、上記第１の位相差分布と上記第２の位相差分布とに基づいて視差情報を生成する。
［制御部］
　次に、図２を参照して、制御部２０の詳細構成について説明する。図２は、制御部２０の機能ブロック構成を表したものである。制御部２０は、欠陥補正部２１と、クランプ処理部２２と、距離情報取得部２３と、記憶部２４とを有している。
　欠陥補正部２１は、撮像データＤ０に含まれる黒とび等の欠陥（カメラ１１，１２自体の異常に起因した欠陥）を補正する。
　クランプ処理部２２は、欠陥補正部２１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行う。なお、クランプ処理後の撮像データに対して、更にデモザイク処理などのカラー補間処理を施すようにしてもよい。
　距離情報取得部２３は、クランプ処理部２２から供給される撮像データＤ１に基づいて、所定の距離情報を取得する。距離情報取得部２３は、位相差算出部２３１と、視差情報生成部２３２とを有する。
　位相差算出部２３１は、撮像データＤ１に基づいて、第１の位相差分布ＤＭ１および第２の位相差分布ＤＭ２をそれぞれ生成（算出）する。すなわち位相差算出部２３１は、相互に視点が異なる第１の視差画像および第２の視差画像間のピクセル単位での第１の位相差分布ＤＭ１を生成し、第１の位相差分布に基づいて第１の視差画像および第２の視差画像間のサブピクセル単位での第２の位相差分布ＤＭ２を生成する。
　視差情報生成部２３２は、第１，第２の位相差分布ＤＭ１，ＤＭ２に基づいて、距離情報を含む視差情報ｄを算出する。
　記憶部２４は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）で構成され、制御部２０を構成する上述した各部の演算に必要なプログラム、算出データ、設定パラメータ等を記憶する。記憶部２４は、制御部２０の外部に備えられてもよい。この場合、記憶部２４は、制御部２０によって制御される。また、記憶部２４は、ハードディスクドライブ等の外付けの記憶装置で構成されてもよい。
　制御部２０は、予め用意された第１の位相差分布および第２の位相差分布に基づいて視差情報を生成してもよく、この場合、上記第１の位相差分布および第２の位相差分布は記憶部２４に記憶される。
［撮像装置の動作］
　続いて、本実施形態の撮像装置１の動作とともに、制御部２０の詳細について説明する。
　本実施形態における画像処理方法は、第１の視差画像と第２の視差画像とを取得する工程と、
　上記第１の視差画像と上記第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、前記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する工程とを有する。
　図３は、制御部２０（位相差算出部２３１）の処理手順を示すフローチャートである。制御部２０は、視差画像入力工程（ステップ１）と、エッジ認識工程（ステップ２）と、同一エッジ推定工程（ステップ３）と、エッジ角度推定工程（ステップ４）と、マッチング処理工程（ステップ５）と、ディスパリティ補正工程（ステップ６）とを有する。
　カメラ１１は、第１の視差画像として左画像ＰＬを取得し、カメラ１２は、第２の視差画像として右画像ＰＲを取得する。左画像ＰＬおよび右画像ＰＲは、同一の被写体２を同時に撮像することで得られる。
　制御部２０は、撮像部１０から左画像ＰＬおよび右画像ＰＲの両視差画像の撮像データＤ０の入力を受け付ける（ステップ１）。そして制御部２０では、欠陥補正部２１が撮像データＤ０に対して欠陥補正を行ったのち、クランプ処理部２２が欠陥補正後の撮像データに対してクランプ処理を行う。これにより、クランプ処理後の撮像データＤ１が、距離情報取得部２３へ入力され、ここで第１，第２の位相差分布ＤＭ１，ＤＭ２がそれぞれ生成される。
　（第１の位相差分布の生成）
　位相差算出部２３１は、これら２つの視差画像についてエッジ処理、色認識、１ピクセル（Pixel）単位の測距等によってエッジ処理を行う（ステップ２）。
　図４（Ａ）は、撮像部１０で取得される左画像ＰＬの一部の領域を示し、図４（Ｂ）は撮像部１０で取得される右画像ＰＲの一部の領域を示している。いずれの画像も同一の被写体（本例では家屋）２を撮像したものであり、各々の画像に現れた明暗の境界をエッジ部ＥＬ，ＥＲと認識する。
　位相差算出部２３１は、左画像ＰＬおよび右画像ＰＲ間の位相差を算出することで、１ピクセル（画素）単位での第１の位相差分布を生成する。カメラ１１とカメラ１２とは水平方向の視点が異なるため、左画像ＰＬのエッジ部ＥＬと右画像ＰＲのエッジ部ＥＲとは水平方向で画素の位置が相互に異なり、その差分が位相差すなわちディスパリティに相当する。
　左画像ＰＬと右画像ＰＲとの位相差を検出する際には、例えば以下のようなステレオマッチングの手法が用いられる。これは、２つの視差画像同士を局所領域で逐次比較していく（画像同士の類似度を示す相関値（画素相関値）を求める）ことにより、物体の移動量（視差画像間の位相差）を求めるという手法である。
　具体的には、図５に示すように水平方向（Ｈ方向）に沿った２つの視差画像ＤＣ，ＤＨ間の位相差を求める場合、以下のようにして位相差分布ＤＭを生成する。すなわち、まず、一方の視差画像ＤＣ内の単位領域（図５中の部分画像Ｃ１：中心座標（ｘ１，ｙ１））を取り出し、位置を固定させる。次いで、他方の視差画像ＤＨ内における比較対象の単位領域（図５中の部分画像Ｈ１：中心座標（ｘ１，ｙ１）を取り出し、この部分画像Ｈ１の位置を比較範囲Ｈ１０内で水平方向に逐次移動させつつ、相関値を逐次算出する。そして、この比較範囲Ｈ１０内で最も相関が強いときの部分画素Ｃ１，Ｈ１同士の位置ずれ（Pixelずれ）が、位相差（Disparity）として求められる。また、このような演算処理を、部分画像Ｃ１の位置を変化させつつ視差画像ＤＣ，ＤＨの全面について繰り返し行うことにより、第１の位相差分布ＤＭ１が得られる。
　第１の位相差分布ＤＭ１の生成に際しては、垂直方向（Ｖ方向）の位相差をも求めるようにしてもよい。この場合も上述と同様に、一方の視差画像の単位領域を固定し、他方の視差画像における比較対象の単位領域を比較範囲内で垂直方向に逐次移動させつつ、相関値を算出すればよい。
　相関値の算出式としては種々のものを用いることができるが、代表的なものとして、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、またはＮＣＣ（Normalized Cross-Correlation）などを相関値として用いることができる。ＳＡＤおよびＳＳＤはそれぞれ、値が小さいほど（０に近いほど）相関が強いことを示し、値が大きいほど（∞に近いほど）相関が弱いことを示す。一方、ＮＣＣは、値が１に近いほど相関が強いことを示し、値が０に近いほど相関が弱いことを示す。
　以上のようにして、左画像ＰＬと右画像ＰＲとの間の１ピクセル単位での第１の位相差分布ＤＭ１が生成される。本実施形態では第１の位相差分布ＤＭ１の生成に際して左画像ＰＬおよび右画像ＰＲにエッジ処理を施しているため、位相差の算出を容易に行うことができる。
　（第２の位相差分布の生成）
　続いて、位相差算出部２３１は、第２の位相差分布ＤＭ２を生成する。本実施形態では、第１の位相差分布ＤＭ１からエッジ情報を検出し、第１の位相差分布ＤＭ１を当該エッジ情報で補正することで、第２の位相差分布ＤＭ２を生成する（ステップ３～６）。
　位相差算出部２３１は、第１の位相差分布ＤＭ１からエッジ部ＥＬとエッジ部ＥＲとが同一対象であることを推定し、サブピクセル検出を行うエリアを決定する（ステップ３）。ここでは、図４（Ａ），（Ｂ）に示したようにエッジ部ＥＬ，ＥＲを含む５×５の画素領域を検出エリアとして決定する。
　本実施形態において位相差算出部２３１は、第１の視差画像（左画像ＰＬ）について算出されたエッジ部ＥＬの局所的な輝度分布と、第２の視差画像（右画像ＰＲ）について算出されたエッジ部ＥＲの局所的な輝度分布とをマッチング処理することで、第２の位相差分布を生成する（ステップ４，５）。
　以下、その詳細について説明する。
　位相差算出部２３１は、左画像ＰＬおよび右画像ＰＲの同一検出エリア内における各画素の輝度を測定する。図６は、左画像ＰＬの検出エリアにおける輝度分布を示している。水平座標をＸ軸、垂直座標をＹ軸とし、これらに直交するＺ軸に沿って輝度の大きさを表している。
　図６に示した５つの曲線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５は、検出エリアの各画素の輝度値を行（Ｙ１，Ｙ２，Ｙ３，Ｙ４，Ｙ５）単位で結んで得られる近似曲線であり、各々の曲線Ｌ１～Ｌ５はエッジ部ＥＬで輝度の勾配を有している。エッジ部ＥＬは各行の画素間を跨いでいるため、１ピクセル単位ではエッジ部ＥＬの位相差を高精度に検出することができない。そこで本実施形態では、以下のような処理によってサブピクセルレベルの位相差を検出するようにしている。
　まず、位相差算出部２３１は、上記検出エリアの輝度分布からエッジ部ＥＬのエッジ角度を推定する（ステップ４）。
　本実施形態では図７及び図８に示すように、輝度軸に直交する（ＸＹ平面に平行な）サンプリング軸Ｓを設定する。そして、サンプリング軸ＳとＹ軸に平行な基準軸（Ｙ）とのなす角θを変化させ、当該サンプリング軸Ｓの軸方向に沿って仮想的にサンプリングした各曲線Ｌ１～Ｌ５の輝度値が一致する（あるいは最も近似する）角度θansをエッジ角度として推定する。ここではサンプル軸Ｓとして、（Ｘ３，Ｙ３）座標に位置する画素を通る軸に設定したが、勿論これに限られない。
　図９（Ａ）～（Ｃ）は、θ＝０、θ１およびθ２（θ２＞θ１）のときの各曲線Ｌ１～Ｌ５のサンプリング結果を示す。各図中、縦軸は輝度を表し、横軸は、水平座標に垂直座標を合成した合成軸（Ｘ－Ｙtanθ）に相当する。評価の結果、θ＝θ２のときに各曲線Ｌ１～Ｌ５の輝度値が一致し、当該θ２がエッジ角度（θans）と推定される（図９（Ｂ））。このようにエッジ角度（θans）と推定された合成図を以下、「評価用輝度分布」ともいう。
　上述のようなエッジ角度（θans）の推定は、左画像ＰＬおよび右画像ＰＲの各々について行われる。左画像ＰＬおよび右画像ＰＲ各々について取得された評価用輝度分布の各点の輝度は、任意の演算式で規格化される。これによりカメラ１１，１２間の個体差による影響を排除することができる。
　規格化の演算式は特に限定されず、本実施形態では以下の演算式が用いられる。
　　左画像の輝度（Left Value）＝Left輝度×（Left最大値／Left最小値）
　　右画像の輝度（Right Value）＝Right輝度×（Right最大値／Right最小値）
　ここで、「Left 最大値」および「Left最小値」は、図１０（Ａ）に示すように評価用輝度分布における輝度の最大値および最小値にそれぞれ相当する。同様に、「Right 最大値」および「Right最小値」は、図１０（Ｂ）に示すように評価用輝度分布における輝度の最大値および最小値にそれぞれ相当する。
　次に、位相差算出部２３１は、左画像ＰＬの評価用輝度分布と右画像ＰＲの評価輝度分布とを用いて、両画像のマッチング処理を実行する（ステップ５）。
　図１１は、マッチング処理の一例を示す説明図である。本例では、左画像（Left Image）の任意の（Ｘ－Ｙtanθ）座標の画素（座標）ｄに着目し、これと同じ輝度をもつ（Ｘ－Ｙtanθ）座標を右画像（Right Image）から探索する。図示の例では、左画像の画素ｄと同じ輝度をもつ右画像の（Ｘ－Ｙtanθ）座標はｄではなく、ｄより「d sub」だけ離れた座標となる。上記「d sub」は、サブピクセル単位の位相差に相当する。このようなマッチングを画像全面にわたって実行することにより、当該座標系における位相差分布を取得する。
　第２の位相差分布の生成に際しては、カメラ画像に含まれるノイズの影響を抑えるため、各画像の評価用輝度分布（高サンプリングされたエッジ）に対し、線形補間等のフィッティング処理を施してもよい。
　続いて、位相差算出部２３１は、画像全面にわたって取得した「d sub」の座標値を元のＸ－Ｙ座標系の座標値に再変換して、上記位相差分布を補正する（ステップＳ６）。以上のようにしてサブピクセル単位の第２の位相差分布ＤＭ２が生成される。
　（視差情報の生成）
　位相差算出部２３１で生成された第１，第２の位相差分布ＤＭ１，ＤＭ２は、視差情報生成部２３２へ入力される。位相差算出部２３１は、第１，第２の位相差分布ＤＭ１，ＤＭ２を合成した位相差分布を視差情報生成部２３２へ入力してもよい。視差情報生成部２３２は、第１の位相差分布ＤＭ１と第２の位相差分布Ｄ２とに基づいて視差情報ｄを生成する。
　視差情報ｄには、距離情報が含まれる。距離情報とは、カメラ１１，１２（撮影レンズ）から、撮像データＤ０に対応する撮像画像内における任意の基準位置までの距離の情報を意味している。当該距離の情報には、カメラ１１，１２から上記基準位置までの距離の情報、あるいは、上記撮像レンズの物体側の焦点距離を含む。
　制御部２０は、視差情報ｄを含む画像データＤoutを情報処理装置へ出力可能に構成される。上記情報処理装置は、画像データＤoutに基づいて被写体２の距離等に関するデータを取得し、これにより、例えば被写体２の任意の位置に焦点が合った画像（リフォーカス画像）を高精度に生成することができる。また、被写体は静止物に限らず、撮像装置１に対して移動する動体であってもよい。この場合、動体の位置や距離、移動速度、移動方向に関する情報の検出が可能となるため、撮像装置１は、動体の動きに応じた所定の処理を上記情報処理装置に実行させる入力装置として構成することができる。
　以上のように本実施形態においては、ピクセル単位で生成された第１の位相差分布Ｄ１と、第１の位相差分布Ｄ１を用いてサブピクセル単位で生成された第２の位相差分布Ｄ２とに基づいて、視差情報ｄを生成するようにしている。このため、カメラノイズ等の外乱に対してよりロバストであり、かつ、より高精度な視差情報ｄを取得することができる。
　例えばピクセル単位のディスパリティのみで距離情報を取得する方法では、図１２に示すように、ピクセル単位で取得した相関値分布から最も相関が高いディスパリティ（ｄsub）を推定していたが、相関値分布がカメラノイズの影響を受けて変動が大きかった。
　これに対して本実施形態では、検出エリア内の複数の画素を用いてサブピクセル単位の位相差を算出しているため、ノイズの影響を受けにくく、これにより距離情報を高精度に取得することが可能である。
　さらに本実施形態においては、検出エリアとしてエッジ部近傍の複数の画素を用いているため、画素間の輝度差を確保でき、サブピクセル単位の位相差の推定が容易となる。
＜第２の実施形態＞
　次に、本技術の第２の実施形態について説明する。本実施形態では、制御部２０（位相差算出部２３１）における第２の位相差分布（ＤＭ２）の生成方法が上述の第１の実施形態と異なる。以下、第１の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。
　まず始めに、ステレオマッチングなどの既存技術を用いて１ピクセル単位の位相差を検出する。
　次に、サブピクセル単位の視差（位相差）検出を行いたい対象画素全てにおいて以下の処理を行う。
　すなわち位相差算出部２３１は、第１の視差画像を構成する第１のピクセル群における輝度分布と、第２の視差画像を構成し第１のピクセル群に対応する第２のピクセル群における輝度分布との間の相関値を算出することで、第２の位相差分布を生成する。
　図１３は、局所領域の画素輝度値を立体構造で表現した図であり、（Ａ）は左画像のピクセル群の輝度分布、（Ｂ）は右画像のピクセル群の輝度分布をそれぞれ示している。ここでは、図６を参照して説明した視差画像のエッジ情報に基づいた画素輝度値を用いることができる。図１３に示すように、１ピクセルレベルでマッチングが取れている画素R32とL32において、その周辺の画素をマッチング評価対象データとして用いる。
　図１４は、左画像のピクセル群の画素輝度値と右画像のピクセル群の画素輝度値とをピクセル単位で相互に重ね合わせたときのデータを示している。
　図１４に示すように、画素R32とL32のサブピクセルレベルの視差をΔｘ、Δｙとすると、画素R32を中心とする（２ｎ＋１）行（２ｎ＋１）列（ｎは０以上の整数）の右視点マッチング評価データ（R21, R22, R23, R31, R32, R33, R41, R42, R43）と、R32を取り囲む（２ｎ）行（２ｎ）列、または、２（ｎ＋１）行２（ｎ＋１）列 の左視点マッチング評価データ（L11 ,L12, L13, L14, L21, L22, L23, L24, L31, L32, L33, L34, L41, L42, L43, L44）を用いる。
　ｎの値を大きく設定した場合、視差検出の精度を上げられる反面、２つの視差画像の差異が大きい部分（オクル―ジョンなど）でエラーが発生し易くなる。このため演算コストも考慮しながら適切な値を設定する。
　任意のΔｘ、Δｙにおいて、サブピクセルレベルでのマッチング度合を評価するための評価関数をｆ（Δｘ、Δｙ）と定義すると、ｆ（Δｘ、Δｙ）が最も高評価となるΔｘ、Δｙを求めればよいことになる。この時、Δｘ、Δｙの探査範囲は１ピクセル視差検出の精度が十分に高い場合、±0.5ピクセルの範囲で行えばよい。性能が低い場合には、±数ピクセルの範囲で探査を行う。
　位相差算出部２３１は、上記第１のピクセル群と上記第２のピクセル群とをピクセル単位で相互に重ね合わせときに相互に隣接する複数のピクセル間の輝度差に関連する評価関数を用いて上記相関値を算出する。本実施形態では、複数のピクセルの輝度値を繋ぎ合わせたときに得られる折れ線の長さを評価関数として用いる。
　図１５に示すように、任意のΔｘ、Δｙにおけるマッチング評価データ（R21, R22, R23, R31, R32, R33, R41, R42, R43, L11, L12, L13, L14, L21, L22, L23, L24, L31, L32, L33, L34, L41, L42, L43, L44）を観測角θから見た射影像に変換し、隣り合う輝度値を直線で結び、図１６に示すような、折れ線形状を生成する。観測角θは、Ｘ軸（水平軸）に平行な基準軸とＸＹ平面に平行な観測軸とのなす角度をいうが、基準軸は任意に設定可能であり、図示の例に限られない。
　２つの視差画像がサブピクセルレベルで一致し、更に観測角θが適切な角度でるとき、この折れ線形状が凹凸無く滑らかに繋がることが期待できる。従って、この折れ線形状が滑らかに繋がったことを評価すればよい。凹凸が無く滑らかになると折れ線の長さは最小になるため、折れ線形状の長さを評価関数として用いればよいことになる。図１７および図１８はサブピクセルレベルでマッチングが取れ、長さ最小となった場合の例である。
　図１５～図１８の例では、R32を中心に全てのマッチング評価データ（R21, R22, R23, R31, R32, R33, R41, R42, R43, L11, L12, L13, L14, L21, L22, L23, L24, L31, L32, L33, L34, L41, L42, L43, L44）を（－θ）度回転させ、ｘｚ平面に描いたものが観測角θから見た射影像になる。ある評価データの初期座標を(ｘ＋Δｘ，ｙ＋Δｙ)とすると、回転後の座標(ｘr，ｙr)は以下の式で求まる。実際には、ｘrのみ活用するため、ｙrは計算しなくてもよい。
　　ｘr = (ｘ＋Δｘ) cos（－θ）－(ｙ+Δｙ) sin（－θ）
　　ｙr = (ｘ＋Δｘ) sin（－θ）＋(ｙ+Δｙ) cos（－θ）
　次に、射影した輝度値を繋いで、折れ線の長さを求める方法を示す。例えば L11, R21の回転後のｘ座標をそれそれ ｘL11、ｘR21、輝度値をそれぞれB1、B2とし、L11とR21を結んだ線分の長さをD1とすると、D1は以下の式で表すことができる。
　　D1 = √( (ｘL11－ｘR21)2 + (a(B1 - B2))2 )
　この式には係数aが使われている。この係数aは輝度を空間の距離情報に変換するためのパラメータであり、評価関数の性能を左右する。このため、評価関数の性能が高くなるよう十分に考慮して値を決定する必要がある。このようにして全ての線分（D1, D2, D3,・・・・・・D3, D24）の長さを求め、R32を中心とした幅（２ｎ＋１）の範囲のみ折れ線の長さを求めたものが評価関数ｆ（Δｘ、Δｙ）となる。
　折れ線長最小法による評価では、撮影画像の局所領域がある方向を向いたエッジの集合体であることを前提とした評価法である。従ってエッジの無いエリアでは評価困難となるが、エッジの無いエリアは、そもそもサブピクセルを求めるための情報が乏しいため、評価対象としないように排除してもよい。
　以上のようにしてサブピクセル単位の第２の位相差分布が生成される。第１の実施形態では、左画像と右画像とでエッジ角度を別個に推定した後、両画像のマッチング処理を行って第２の位相差分布を生成したが、本実施形態では、右画像と左画像とを相互に重ね合わせた状態でエッジ情報に基づく第２の位相差分布を生成する。本実施形態においても第１の実施形態と同様の作用効果を得ることができる。
＜第３の実施形態＞
　次に、本技術の第３の実施形態について説明する。本実施形態では、制御部２０（位相差算出部２３１）における第２の位相差分布（ＤＭ２）の生成方法が上述の第１，第２の実施形態と異なる。以下、第１，第２の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。
　位相差算出部２３１は、第２の実施形態と同様に、第１の視差画像を構成する第１のピクセル群における輝度分布と、第２の視差画像を構成し第１のピクセル群に対応する第２のピクセル群における輝度分布との間の相関値を算出することで、第２の位相差分布を生成する。位相差算出部２３１は、上記第１のピクセル群と上記第２のピクセル群とをピクセル単位で相互に重ね合わせときに相互に隣接する複数のピクセル間の輝度差に関連する評価関数を用いて上記相関値を算出する。本実施形態では、複数のピクセルの輝度値を繋ぎ合わせたときに得られる所定の立体面の表面積を評価関数として用いる点で、第２の実施形態と異なる。
　図１９に示すように、任意のΔｘ、Δｙにおけるマッチング評価データ（R21, R22, R23, R31, R32, R33, R41, R42, R43, L11, L12, L13, L14, L21, L22, L23, L24, L31, L32, L33, L34, L41, L42, L43, L44）を３次元空間上で繋ぎ合わせ、図２０に示すような、立体面形状を生成する。
　２つの視差画像がサブピクセルレベルで一致するとき、この立体面形状が凹凸無く滑らかに繋がることが期待できる。従って、この立体面形状が滑らかに繋がったことを評価すればよい。凹凸が無く滑らかになると表面積は最小になるため、立体面形状の表面積を評価関数として用いればよいことになる。図２１および図２２は、サブピクセルレベルでマッチングが取れ、面積最小となった場合の例である。
　ここで、マッチング評価データを３次元空間上で繋ぎ合わせて表面積を求める方法の例を示す。図１９～図２２の例では、マッチング評価データL11, R21, L21から成る三角形の面積をS11、マッチング評価データL11, R21, L12から成る三角形の面積をS12というように、予め決めておいたルールに従って三角形を構成し、S11からS94まで合計３６個の三角形の面積を決定し、総和を求めればよい。
　次に、三角形の面積の決定方法を示す。例えば L11, R21, L21の輝度値をそれぞれB1, B2, B3とし、L11とR21を結ぶ線分の長さをD1、R21とL21を結ぶ線分の長さをD2、L21とL11を結ぶ線分の長さをD3とすると、D1, D2, D3は以下の式で表すことができる。
　　D1 = √(Δｘ2  + (１－Δｙ)2  + (ａ(B1－B2))2 )
　　D2 = √(Δｘ2  +   Δｙ2    + (ａ(B2－B3))2 )
　　D3 = √( １       +          (ａ(B3－B1))2 )
　これらの式には係数aが使われている。この係数aは輝度を空間の距離情報に変換するためのパラメータであり、評価関数の性能を左右する。このため、評価関数の性能が高くなるよう十分に考慮して値を決定する必要がある。このようにして求めた線分の長さD1, D2, D3より三角形の面積S11をヘロンの公式を用いて求める。
　　S11 = √(s(s－D1)(ｓ－D2)(ｓ－D3) )　ただし、ｓ= (D1 + D2 + D3) / 2
　その他の三角形面積(S12～S94)も同様の方法で求める。
　以上より、評価関数ｆ（Δｘ、Δｙ）は、
　ｆ（Δｘ、Δｙ）= S11 + S12 + S13+ S14 + S21 + …… + S84 + S91 + S92 + S93 + S94
となる。
　以上のようにしてサブピクセル単位の第２の位相差分布が生成される。本実施形態においても第１，第２の実施形態と同様の作用効果を得ることができる。特に本実施形態においては、評価関数として所定の三角形の面積を利用しているため、所定の折れ線の長さを評価関数に利用する第２の実施形態よりも高精度に相関値を求めることができる。
　（変形例）
　続いて、第３の実施形態の変形例について説明する。
　上述の第３の実施形態において制御部２０は、撮像部１０により取得された撮像データＤ０を現像し、現像された複数の視差画像に基づいてサブピクセル単位の第２の位相差分布を生成した。これに代えて、撮像データＤ０の現像前の画像すなわちＲＡＷ画像のままマッチング処理を行い、第２の位相差分布を生成してもよい。
　ＲＡＷデータのままマッチング評価を行う場合は、各色成分を分離し、それぞれの色について複数のピクセルの輝度値を繋ぎ合わせたときに得られる立体の表面積を求め、各色の表面積の合算値を評価関数として用いればよい。
　図２３～図２６は、ＲＡＷ画像のマッチング評価の一例を示す図である。本例では、１つの画素に４つの色画素（ＲＧＧＢ）が配置された例を説明する。
　図２３に、左画像のピクセル群の各色の画素輝度値と、右画像のピクセル群の各色の画素輝度値とを、ピクセル単位で相互に重ね合わせたときのデータを示す。これをそれぞれの色について上述と同様な手法で各画像間における輝度分布の相関値を算出する。図２４にＲ画素で構成される立体面の例を、図２５にＧ画素で構成される立体面の例を、そして図２６にＢ画素で構成される立体面の例をそれぞれ示す。
　次に、Ｒ画素で構成される立体面の表面積の評価関数ｆR（Δｘ、Δｙ）と、Ｇ画素で構成される立体面の表面積の評価関数ｆG（Δｘ、Δｙ）と、Ｂ画素で構成される立体面の表面積の評価関数ｆB（Δｘ、Δｙ）との合算値が最小となるΔｘ、Δｙを算出する。以上のようにして算出されたΔｘ、Δｙが、サブピクセルの第２の位相差分布として生成される。
　以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
　例えば以上の実施形態では、２台のカメラ１１，１２を有する撮像部１０を例に挙げて説明したが、撮像部として、単一のカメラの受光面にマイクロレンズアレイを配置した構造の撮像装置を用いてもよい。また、マイクロレンズアレイ１２に代えて、液晶レンズアレイ、液体レンズアレイ、回折レンズアレイ等の光線を振り分けることが可能な光学素子が用いられてもよい。
　また以上の実施形態では、画像処理部を撮像装置に組み込んだ例を説明したが、これに限られず、画像処理部をＰＣ（Personal Computer）端末等の情報処理装置で構成してもよい。この場合、多視点カメラで取得した複数の視点画像データを有線又は無線で受信することにより、上述したような手法で測定対象の距離情報が算出される。
　さらに以上の第３の実施形態においては、評価関数に所定の三角形の面積を用いたが、これに代えて、当該三角形の体積や、隣接する複数の三角形の総面積等を上記評価関数として用いてもよい。
　なお、本技術は以下のような構成も採ることができる。
（１）第１の視差画像と第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、前記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する視差情報生成部
　を具備する画像処理装置。
（２）上記（１）に記載の画像処理装置であって、
　前記第１の位相差分布に基づいて、前記第２の位相差分布を生成する位相差算出部をさらに具備する
　画像処理装置。
（３）上記（２）に記載の画像処理装置であって、
　前記位相差算出部は、前記第１の位相差分布を、前記第１の位相差分布から検出されたエッジ情報で補正することで、前記第２の位相差分布を生成する
　画像処理装置。
（４）上記（３）に記載の画像処理装置であって、
　前記位相差算出部は、前記第１の視差画像について算出されたエッジ部の局所的な輝度分布と、前記第２の視差画像について算出されたエッジ部の局所的な輝度分布とをマッチング処理することで、前記第２の位相差分布を生成する
　画像処理装置。
（５）上記（２）に記載の画像処理装置であって、
　前記位相差算出部は、第１の視差画像を構成する第１のピクセル群における輝度分布と、前記第２の視差画像を構成し前記第１のピクセル群に対応する第２のピクセル群における輝度分布との間の相関値を算出することで、前記第２の位相差分布を生成する
　画像処理装置。
（６）上記（５）に記載の画像処理装置であって、
　前記位相差算出部は、前記第１のピクセル群と前記第２のピクセル群とをピクセル単位で相互に重ね合わせときに相互に隣接する複数のピクセル間の輝度差に関連する評価関数を用いて前記相関値を算出する
　画像処理装置。
（７）上記（６）に記載の画像処理装置であって、
　前記位相差算出部は、前記複数のピクセルの輝度値を繋ぎ合わせたときに得られる折れ線の長さを前記評価関数として用いる
　画像処理装置。
（８）上記（６）に記載の画像処理装置であって、
　前記位相差算出部は、前記複数のピクセルの輝度値を繋ぎ合わせたときに得られる所定の立体面の表面積を前記評価関数として用いる
　画像処理装置。
（９）上記（１）～（８）のいずれか１つに記載の画像処理装置であって、
　前記視差情報生成部は、前記視差情報として測定対象の距離情報を生成する
　画像処理装置。
（１０）上記（９）に記載の画像処理装置であって、
　前記視差情報生成部により生成された距離情報を用いて、リフォーカス画像を生成する制御部をさらに具備する
　画像処理装置。
（１１）上記（１）～（１０）のいずれか１つに記載の画像処理装置であって、
　相互に視点が異なる複数の視差画像を取得する撮像部をさらに具備する
　画像処理装置。
（１２）第１の視差画像と第２の視差画像とを取得し、
　前記第１の視差画像と前記第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、前記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する
　画像処理方法。
　１…撮像装置
　２…被写体（撮像対象物）
　１０…撮像部
　１１，１２…カメラ
　２０…制御部
　２３１…位相差算出部
　２３２…視差情報生成部
　ＥＬ，ＥＲ…エッジ部
　ＰＬ…左画像
　ＰＲ…右画像

Claims (12)

  1. 　第１の視差画像と第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、前記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する視差情報生成部
    　を具備する画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記第１の位相差分布に基づいて、前記第２の位相差分布を生成する位相差算出部をさらに具備する
    　画像処理装置。
  3. 　請求項２に記載の画像処理装置であって、
    　前記位相差算出部は、前記第１の位相差分布を、前記第１の位相差分布から検出されたエッジ情報で補正することで、前記第２の位相差分布を生成する
    　画像処理装置。
  4. 　請求項３に記載の画像処理装置であって、
    　前記位相差算出部は、前記第１の視差画像について算出されたエッジ部の局所的な輝度分布と、前記第２の視差画像について算出されたエッジ部の局所的な輝度分布とをマッチング処理することで、前記第２の位相差分布を生成する
    　画像処理装置。
  5. 　請求項２に記載の画像処理装置であって、
    　前記位相差算出部は、第１の視差画像を構成する第１のピクセル群における輝度分布と、前記第２の視差画像を構成し前記第１のピクセル群に対応する第２のピクセル群における輝度分布との間の相関値を算出することで、前記第２の位相差分布を生成する
    　画像処理装置。
  6. 　請求項５に記載の画像処理装置であって、
    　前記位相差算出部は、前記第１のピクセル群と前記第２のピクセル群とをピクセル単位で相互に重ね合わせたときに相互に隣接する複数のピクセル間の輝度差に関連する評価関数を用いて前記相関値を算出する
    　画像処理装置。
  7. 　請求項６に記載の画像処理装置であって、
    　前記位相差算出部は、前記複数のピクセルの輝度値を繋ぎ合わせたときに得られる折れ線の長さを前記評価関数として用いる
    　画像処理装置。
  8. 　請求項６に記載の画像処理装置であって、
    　前記位相差算出部は、前記複数のピクセルの輝度値を繋ぎ合わせたときに得られる所定の立体面の表面積を前記評価関数として用いる
    　画像処理装置。
  9. 　請求項１に記載の画像処理装置であって、
    　前記視差情報生成部は、前記視差情報として測定対象の距離情報を生成する
    　画像処理装置。
  10. 　請求項９に記載の画像処理装置であって、
    　前記視差情報生成部により生成された距離情報を用いて、リフォーカス画像を生成する制御部をさらに具備する
    　画像処理装置。
  11. 　請求項１に記載の画像処理装置であって、
    　相互に視点が異なる複数の視差画像を取得する撮像部をさらに具備する
    　画像処理装置。
  12. 　第１の視差画像と第２の視差画像とを取得し、
    　前記第１の視差画像と前記第２の視差画像とを対象として、ピクセル単位で生成された第１の位相差分布と、前記第１の位相差分布に基づいてサブピクセル単位で生成された第２の位相差分布とに基づいて、視差情報を生成する
    　画像処理方法。
PCT/JP2013/004965 2012-10-24 2013-08-22 画像処理装置および画像処理方法 WO2014064875A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014543128A JP6365303B2 (ja) 2012-10-24 2013-08-22 画像処理装置および画像処理方法
CN201380048338.8A CN104641395B (zh) 2012-10-24 2013-08-22 图像处理设备及图像处理方法
EP13848331.8A EP2913793B1 (en) 2012-10-24 2013-08-22 Image processing device and image processing method
US14/427,403 US10134136B2 (en) 2012-10-24 2013-08-22 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012235121 2012-10-24
JP2012-235121 2012-10-24

Publications (1)

Publication Number Publication Date
WO2014064875A1 true WO2014064875A1 (ja) 2014-05-01

Family

ID=50544262

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/004965 WO2014064875A1 (ja) 2012-10-24 2013-08-22 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US10134136B2 (ja)
EP (1) EP2913793B1 (ja)
JP (1) JP6365303B2 (ja)
CN (1) CN104641395B (ja)
WO (1) WO2014064875A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748264B2 (en) 2015-09-09 2020-08-18 Sony Corporation Image processing apparatus and image processing method
WO2021200190A1 (ja) 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI676920B (zh) * 2018-11-22 2019-11-11 國家中山科學研究院 光斑影像精密比對定位方法
CN112866544B (zh) * 2019-11-12 2022-08-12 Oppo广东移动通信有限公司 相位差的获取方法、装置、设备及存储介质
CN112866548B (zh) * 2019-11-12 2022-06-14 Oppo广东移动通信有限公司 相位差的获取方法和装置、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002221405A (ja) * 2001-01-26 2002-08-09 Sumitomo Electric Ind Ltd 三次元位置計測方法及び三次元位置計測装置
WO2008050904A1 (fr) * 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
JP2009224982A (ja) * 2008-03-14 2009-10-01 Sony Corp 画像処理装置、画像処理プログラムおよび表示装置
JP2011171858A (ja) 2010-02-16 2011-09-01 Sony Corp 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5334606B2 (ja) * 2009-01-28 2013-11-06 三菱電機株式会社 レーダ画像信号処理装置
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
JP2012123296A (ja) * 2010-12-10 2012-06-28 Sanyo Electric Co Ltd 電子機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002221405A (ja) * 2001-01-26 2002-08-09 Sumitomo Electric Ind Ltd 三次元位置計測方法及び三次元位置計測装置
WO2008050904A1 (fr) * 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
JP2009224982A (ja) * 2008-03-14 2009-10-01 Sony Corp 画像処理装置、画像処理プログラムおよび表示装置
JP2011171858A (ja) 2010-02-16 2011-09-01 Sony Corp 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2913793A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748264B2 (en) 2015-09-09 2020-08-18 Sony Corporation Image processing apparatus and image processing method
WO2021200190A1 (ja) 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US10134136B2 (en) 2018-11-20
JPWO2014064875A1 (ja) 2016-09-08
CN104641395A (zh) 2015-05-20
EP2913793A1 (en) 2015-09-02
CN104641395B (zh) 2018-08-14
JP6365303B2 (ja) 2018-08-01
EP2913793B1 (en) 2020-06-03
US20150248766A1 (en) 2015-09-03
EP2913793A4 (en) 2016-08-10

Similar Documents

Publication Publication Date Title
US10958892B2 (en) System and methods for calibration of an array camera
US10043290B2 (en) Image processing to enhance distance calculation accuracy
CN107077743B (zh) 用于阵列相机的动态校准的系统和方法
US9686479B2 (en) Method for combining multiple image fields
JP6365303B2 (ja) 画像処理装置および画像処理方法
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
JP2014038151A (ja) 撮像装置及び位相差検出方法
US20220270210A1 (en) Method and device for restoring image obtained from array camera
WO2015159791A1 (ja) 測距装置および測距方法
JP2019527495A (ja) 立体画像キャプチャ
CN109089100A (zh) 一种双目立体视频的合成方法
WO2022107530A1 (ja) 信号処理装置と信号処理方法およびプログラム
CN112866550B (zh) 相位差获取方法和装置、电子设备、计算机可读存储介质
Darvatkar et al. Implementation of Barrel Distortion Correction Algorithm for Wide Angle Camera Based Systems
JP2023094234A (ja) 複数画像超解像システム
JP2019158776A (ja) 撮像装置、車両、及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13848331

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014543128

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14427403

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013848331

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE