WO2012086173A1 - ステレオ画像処理装置及びステレオ画像処理方法 - Google Patents

ステレオ画像処理装置及びステレオ画像処理方法 Download PDF

Info

Publication number
WO2012086173A1
WO2012086173A1 PCT/JP2011/007084 JP2011007084W WO2012086173A1 WO 2012086173 A1 WO2012086173 A1 WO 2012086173A1 JP 2011007084 W JP2011007084 W JP 2011007084W WO 2012086173 A1 WO2012086173 A1 WO 2012086173A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
reference image
pixel
sub
Prior art date
Application number
PCT/JP2011/007084
Other languages
English (en)
French (fr)
Inventor
卓也 南里
健介 丸谷
黒河　久
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180040250.2A priority Critical patent/CN103080973B/zh
Priority to EP11851244.1A priority patent/EP2657901B1/en
Priority to JP2012549631A priority patent/JP5891415B2/ja
Priority to US13/818,473 priority patent/US9055284B2/en
Publication of WO2012086173A1 publication Critical patent/WO2012086173A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • the present invention relates to a stereo image processing apparatus and a stereo image processing method for calculating an image shift caused by parallax from a stereo image (a base image and a reference image) obtained by photographing the same object.
  • stereo image processing apparatuses are known. Application of this stereo image processing apparatus to, for example, an apparatus that measures a distance from a vehicle or pedestrian stereo image taken by a vehicle-mounted camera to the vehicle or pedestrian is being considered.
  • the camera interval is also reduced, and as a result, the shift of the stereo image is also reduced. Therefore, a stereo image processing apparatus is required to have a highly accurate parallax calculation function.
  • a one-dimensional POC (Phase Only Correlation) method has been proposed as a high-precision stereo matching (stereo image processing parallax calculation) method in a stereo image processing apparatus (see, for example, Patent Document 1).
  • this one-dimensional POC method first, a partial image (one-dimensional image data string) is cut out from each of the standard image and the reference image using a Hanning window. Next, the cut-out partial standard image and partial reference image are subjected to a one-dimensional Fourier transform to be converted into Fourier image data and then synthesized. Next, the synthesized Fourier image data is subjected to a one-dimensional inverse Fourier transform after the amplitude component is normalized. Thereby, the phase only correlation coefficient is obtained. Then, an image shift amount (parallax) is calculated based on the correlation peak of the phase-only correlation coefficient.
  • the conventional technique is highly accurate for an object having a small size of an image area in the baseline length direction (hereinafter referred to as “image area size in the baseline length direction”) occupied on a stereo image, such as a pedestrian located far away.
  • image area size in the baseline length direction There is a problem that it is difficult to calculate parallax. This is because when the image region size in the baseline length direction is small, it is necessary to reduce the one-dimensional image data sequence in order to reduce the influence of the image around the background. This is because the accuracy is lowered.
  • the present invention has been made in view of the above points, and provides a stereo image processing apparatus and a stereo image processing method capable of calculating parallax with high accuracy even for an object having a small image area size in the baseline length direction.
  • the purpose is to provide.
  • a stereo image processing apparatus is a stereo image processing apparatus that calculates a shift amount in units of subpixels between a reference image and a reference image that form a stereo image, and the first window function is extracted as a target position.
  • Subpixel estimation unit reference image is cut out from the reference image, the first window function or the second window function to be set is applied, and the subpixel estimation unit is applied from the reference image.
  • Said second window function formed by shifting the window function comprises a a window function setting means for setting the cut-out means.
  • a stereo image processing method is a stereo image processing method for calculating a shift amount in units of subpixels between a reference image and a reference image constituting a stereo image, and the first window function is extracted as a target position.
  • Subpixel estimation unit reference image is cut out from the reference image, the first window function or the second window function to be set is applied, and the subpixel estimation unit is applied from the reference image.
  • a phase difference between a cutout step of cutting out a reference image, a data string composed of the luminance values of the cut out sub-pixel estimation unit reference image, and a data string consisting of the luminance values of the cut out sub-pixel estimation unit reference image Based on the calculation step for calculating the amount of deviation in subpixel units, and the amount of deviation in subpixel units calculated in the calculation step.
  • the present invention it is possible to provide a stereo image processing apparatus and a stereo image processing method capable of calculating parallax with high accuracy even for an object having a small image region size in the baseline length direction.
  • FIG. 1 is a block diagram showing a configuration of a stereo image processing apparatus according to Embodiment 1 of the present invention.
  • Block diagram showing the configuration of the filter unit Block diagram showing the configuration of the high-precision filter section Flow diagram for explaining the operation of the stereo image processing apparatus Diagram for explaining the processing of the image matching unit Flow chart showing details of sub-pixel unit arithmetic processing Diagram for explaining the concept of subpixel unit arithmetic processing Diagram for explaining the concept of subpixel unit arithmetic processing Diagram used to explain the processing concept of the window shift unit Diagram used to explain the processing concept of the window shift unit
  • FIG. 3 is a block diagram showing a configuration of a stereo image processing apparatus according to Embodiment 2 of the present invention. Flow diagram for explaining the operation of the stereo image processing apparatus
  • one pixel is one coordinate point, where the horizontal direction of the image is the X axis and the vertical direction of the image is the Y axis.
  • FIG. 1 shows a configuration of a stereo image processing apparatus 100 according to Embodiment 1 of the present invention.
  • the stereo image processing apparatus 100 includes a stereo image acquisition unit 101, an image matching unit 102, a filter unit 103, peak position detection units 104 and 106, and a high-accuracy filter unit 105.
  • the stereo image acquisition unit 101 acquires stereo images captured by two or more imaging systems (that is, cameras).
  • a stereo image includes a standard image and a reference image in which the same object is captured by two different imaging systems. Then, the stereo image acquisition unit 101 outputs the acquired stereo image to the image matching unit 102, the filter unit 103, and the high-accuracy filter unit 105.
  • the stereo image acquisition unit 101 acquires a stereo image captured by two cameras whose baseline length direction substantially matches the horizontal direction.
  • the image matching unit 102 acquires corresponding points at the pixel level of the reference image with respect to the reference point of the reference image. Specifically, the image matching unit 102 performs image matching processing on the standard image and the reference image acquired by the stereo image acquisition unit 101, thereby corresponding points at the pixel level of the reference image with respect to the standard point of the standard image. To get. Then, the image matching unit 102 calculates a “pixel level deviation amount n” between the standard image and the reference image. On the other hand, the unit of “parallax” between the standard image and the reference image obtained by the peak position detection unit 104 and the peak position detection unit 106 described later is a subpixel.
  • the deviation between the standard image and the reference image is roughly detected in “pixel units”, and thereafter, the deviation between the standard image and the reference image is detected by the peak position detection unit 104 and the peak position detection unit 106. Are detected in “sub-pixel units”.
  • the image matching unit 102 sets a predetermined pixel included in the reference image as a “reference point”, and a peripheral partial image centered on the reference point (hereinafter referred to as “unit reference image”) as the reference image. Cut out from. Further, the image matching unit 102 cuts out a plurality of partial images (hereinafter referred to as “unit reference images”) having the same size as the unit standard image from the reference images. The plurality of unit reference images are cut out from different positions in the reference image. For example, a rectangular window having a predetermined size rectangular window (vertical size: wv pixel, horizontal size: wh pixel) is used to cut out the unit standard image and the standard reference image.
  • the window function that defines the rectangular window is hereinafter referred to as a “pixel unit estimation window function”.
  • the image matching unit 102 only has to cut out a plurality of unit reference images by changing the cutout position in the baseline length direction. Then, the amount of deviation between the position of the reference point in the reference image and the position of the corresponding point in the reference image is calculated as the above-described amount of deviation n in pixels.
  • the image matching unit 102 identifies a unit reference image having the highest matching degree with the unit standard image among the plurality of cut unit reference images.
  • One pixel corresponding to the “reference point” in the specified unit reference image becomes the “pixel level corresponding point” in the reference image.
  • a SAD Sud of Absolute Differences
  • a luminance difference degree is used as an index representing the degree of matching.
  • the filter unit 103 receives the reference point and the shift amount n from the image matching unit 102 and the stereo image from the stereo image acquisition unit 101 as inputs.
  • the filter unit 103 calculates an antiphase filter coefficient based on the position of the reference image and the reference point, and performs a filtering process on the periphery of the corresponding point at the pixel level of the reference image using the calculated antiphase filter coefficient. .
  • FIG. 2 shows the configuration of the filter unit 103.
  • the filter unit 103 includes an image cutout unit 402 and a filtering unit 403.
  • the image cutout unit 402 cuts out a partial image from the reference image as a sub-pixel estimation unit reference image in the baseline length direction of the stereo image.
  • a subpixel unit estimation window function is used to cut out the subpixel estimation unit reference image.
  • the window function for subpixel unit estimation for example, a window function of a Hanning window can be used.
  • the image cutout unit 402 cuts out a partial image having the same size as the subpixel estimation unit reference image from the reference image as a subpixel estimation unit reference image using the subpixel unit estimation window function.
  • the image clipping unit 402 outputs the sub-pixel estimation unit reference image and the sub-pixel estimation unit reference image to the filtering unit 403.
  • the image cutout unit 402 determines the cutout position of the image in the reference image so that the reference point is included in the unit reference image for subpixel estimation. In addition, the image cutout unit 402 determines the cutout position of the image so that the pixel-level corresponding point is included in the unit reference image for subpixel estimation.
  • the filtering unit 403 calculates an anti-phase filter coefficient obtained by inverting the position of each pixel value in the sub-pixel estimation unit reference image cut out by the image cut-out unit 402 in the front-rear direction. Then, the filtering unit 403 performs a filtering process on the sub-pixel estimation unit reference image using the calculated anti-phase filter coefficient. Then, the filter generation unit 403 outputs the result of the filtering process (hereinafter referred to as “filtering result”) to the peak position detection unit 104.
  • the peak position detection unit 104 acquires the relative positional relationship in which the degree of correlation between the sub-pixel estimation unit reference image and the sub-pixel estimation unit reference image is the highest in the filtering result received from the filter unit 103. Then, based on the acquired relative positional relationship, the peak position detection unit 104 has a parallax (deviation amount) between the sub-pixel estimation unit reference image and the corresponding point at the sub-pixel level in the sub-pixel estimation unit reference image with respect to the reference point. ) Is calculated.
  • the high-precision filter unit 105 receives the reference point and the shift amount n from the image matching unit 102, the stereo image from the stereo image acquisition unit 101, and the shift amount in sub-pixel units from the peak position detection unit 104 as inputs.
  • the high-accuracy filter unit 105 calculates an antiphase filter coefficient based on the subpixel estimation unit reference image, and uses the calculated antiphase filter coefficient to refer to a subpixel estimation unit. Filter the image. That is, as with the filter unit 103, the high-accuracy filter unit 105 first cuts out a sub-pixel estimation unit reference image from the reference image and calculates an antiphase filter coefficient from the sub-pixel estimation unit reference image. That is, the antiphase filter coefficient is calculated based on the unit reference image for subpixel estimation extracted from the reference image.
  • the high-accuracy filter unit 105 inputs, from the peak position detection unit 104, the sub-pixel unit estimation window function used in the filter unit 103 to cut out the sub-pixel estimation unit reference image.
  • the sub-pixel unit estimation shift window function used to cut out the sub-pixel estimation unit reference image is formed in the high-accuracy filter unit 105 by shifting by the amount of shift of the sub-pixel unit. Then, using the subpixel unit estimation shift window function, the high-accuracy filter unit 105 cuts out the subpixel estimation unit reference image from the reference image, and uses the calculated antiphase filter coefficient to refer to the subpixel estimation unit reference.
  • a filtering process is performed on the image, and the filtering result is output to the peak position detection unit 106.
  • FIG. 3 shows the configuration of the high-precision filter unit 105.
  • the high accuracy filter unit 105 includes a window function shift unit 411, an image cutout unit 412, and a filtering unit 413.
  • the window function shift unit 411 shifts the sub-pixel unit estimation window function used for cutting out the sub-pixel estimation unit reference image by the filter unit 103 by the shift amount of the sub-pixel unit calculated by the peak position detection unit 104.
  • the sub-pixel unit estimation shift window function used to cut out the sub-pixel estimation unit reference image in the high-precision filter unit 105 is formed.
  • the image cutout unit 412 cuts out the subpixel estimation unit reference image including the reference point from the reference image.
  • the image cutout unit 412 uses the subpixel unit estimation shift window function formed in the window function shift unit 411 to use corresponding points (that is, points that are shifted by the shift amount n from the same coordinates as the reference point in the reference image). Is extracted from the reference image. That is, the image cutout unit 412 basically has the same function as the image cutout unit 402.
  • the filtering unit 413 calculates an anti-phase filter coefficient from the unit reference image for subpixel estimation cut out by the image cutout unit 412. Then, the filtering unit 413 performs filtering processing on the sub-pixel estimation unit reference image using the calculated antiphase filter coefficient, and outputs the filtering result to the peak position detection unit 106. That is, the filtering unit 413 basically has the same function as the filtering unit 403.
  • the peak position detection unit 106 detects the peak position in the filtering result received from the high-accuracy filter unit 105, thereby calculating a shift amount in subpixel units between the standard image and the reference image.
  • the peak is a position where the filtering result is the maximum value.
  • one pixel is one coordinate point with the horizontal direction of the image as the X axis and the vertical direction of the image as the Y axis.
  • the epipolar line direction baseline length direction
  • the epipolar line direction is assumed to be parallel to the X axis in the entire image.
  • FIG. 4 is a flowchart for explaining the operation of the stereo image processing apparatus 100.
  • the stereo image processing apparatus 100 sequentially moves the reference point in the entire reference image, and performs the following operations in steps S1 to S9. This is performed for all the pixels in the distance measurement target area.
  • step S ⁇ b> 1 the image matching unit 102 determines the position of a reference point to be analyzed in the distance measurement target region (hereinafter referred to as “analysis reference position”).
  • the image matching unit 102 cuts out a unit reference image from the reference image received from the stereo image acquisition unit 101.
  • the unit reference image is an image (image region) of a partial region based on the analysis reference position (that is, the reference point) determined in step S1.
  • the unit of the size of the unit reference image is a pixel. That is, the unit reference image is an image of a plurality of pixel rows (pixel rows) ⁇ a plurality of pixel columns (pixel columns).
  • step S3 the image matching unit 102 determines a search range and a search start position in the reference image based on the analysis reference position determined in step S1.
  • the parallax of the stereo image is determined from the baseline length, which is the distance between the cameras, the focal length of the lens, and the distance from the stereo camera to the object. Therefore, the image matching unit 102 may determine the search range based on the distance from the stereo camera to the object to be measured.
  • the image matching unit 102 sets the same coordinates as the reference point in the reference image as the search start position in the reference image. do it.
  • step S4 the image matching unit 102 determines a cutout reference position, and cuts out a unit reference image having the same size as the unit reference image from the reference image.
  • the image matching unit 102 determines the search start position determined in step S3 as, for example, the first cutout reference position, and thereafter moves the cutout reference position.
  • step S5 the image matching unit 102 calculates a matching degree between the unit standard image and the unit reference image.
  • this matching degree for example, an SAD value or a luminance similarity indicating a luminance dissimilarity is used.
  • step S6 the image matching unit 102 performs a process end determination process for the search range. That is, the image matching unit 102 determines whether or not the search range is covered by the movement of the cutout reference position. If it is determined here that the search range has not ended (step S6: No), the image matching unit 102 returns to step S4. As a result, the image matching unit 102 moves the cutout reference position within the search range so that the cutout region of the unit reference image in step S4 is shifted. In this way, the processing from steps S4 to S6 is repeated until the search range ends (step S6: Yes).
  • step S7 the image matching unit 102 specifies the position of the unit reference image having the maximum matching degree based on the plurality of matching degrees obtained by the processes in steps S4 to S6.
  • the image matching unit 102 detects a unit reference image having the minimum or minimum luminance difference.
  • step S2 to step S7 will be specifically described with reference to FIG.
  • the image matching unit 102 cuts out a peripheral partial image centered on the analysis reference position (reference point) (xa, ya) as a unit reference image in step S ⁇ b> 2 described above.
  • a rectangular window having a predetermined size vertical size: wv pixel, horizontal size: wh pixel
  • the center of the rectangular window defined by the pixel unit estimation window function and the analysis reference position are described as being coincident with each other. It suffices if a reference position exists.
  • the image matching unit 102 determines a search range and a search start position in the reference image based on the analysis reference position determined in step S1. For example, the same coordinates (xa, ya) as the analysis reference position in the reference image are used as the search start position (initial coordinates for cutting out the unit reference image in the reference image).
  • the image matching unit 102 cuts out a peripheral partial image centered on the search start position as a unit reference image from the reference image in step S4 while sequentially shifting the cutout reference position. The cutout reference position is shifted by one pixel here.
  • the same rectangular window as the rectangular window used for extracting the unit standard image is used. That is, a rectangular window defined by the same pixel unit estimation window function is used to cut out the unit standard image and the unit reference image.
  • the image matching unit 102 calculates the matching degree between the unit standard image and each unit reference image in step S5 described above.
  • this matching degree for example, an SAD value indicating the luminance difference degree is used. This SAD value is calculated by the following equation (1).
  • step S6 if it is determined in step S6 that the search range has not ended, the image matching unit 102 shifts the position to be extracted and returns to step S4 to refer to a new unit reference. Cut an image from a reference image.
  • the position to be cut out is shifted by one pixel.
  • the shifting direction is the direction of the right arrow extending from the coordinates (xa, ya) of the reference image in FIG.
  • the image matching unit 102 calculates the SAD value of each of the plurality of unit reference images for one unit standard image. Then, in step S7, the image matching unit 102 specifies a unit reference image having the maximum matching degree based on the plurality of matching degrees obtained by the process of step S5. Specifically, the image matching unit 102 specifies, for example, a unit reference image corresponding to the smallest SAD value among the plurality of SAD values. Assuming that the coordinates of the cut-out reference position of the specified unit reference image are (xa + n, ya), n is a shift amount in pixel units.
  • the image matching unit 102 sets the cutout reference position where the SAD value is minimum as the corresponding point at the pixel level of the analysis reference position (reference point).
  • the SAD value is used as an index of matching degree.
  • the present invention is not limited to this, and any one that can be used as an index of matching degree can be used.
  • the image matching unit 102 may use SSD (Sum of Squared Differences) as an index of matching degree.
  • step S8 of FIG. 4 the filter unit 103 and the peak position detection unit 104 perform sub-pixel units based on the corresponding points at the pixel level obtained in step S7 and the reference image and reference image received from the stereo image acquisition unit 101. Perform arithmetic processing.
  • FIG. 6 is a flowchart showing details of the subpixel unit arithmetic processing.
  • FIG. 7 is a diagram for explaining the concept of subpixel unit arithmetic processing.
  • step S12 the image cutout unit 402 cuts out a unit reference image for subpixel estimation from the unit reference image.
  • the unit of the size of the sub-pixel estimation unit reference image is a pixel.
  • the position where the unit reference image for subpixel estimation is cut out is the direction in the X-axis direction parallel to the epipolar line from the position of the reference point.
  • a subpixel unit estimation window function is used to cut out the subpixel estimation unit reference image.
  • the window function for subpixel unit estimation for example, the window function w (m) of the Hanning window represented by the equation (2) is used.
  • the window function includes a Hamming window, a Blackman window, A Kaiser window or the like may be used.
  • These window functions are selected according to which of the characteristics of the unit reference image for subpixel estimation (for example, frequency power characteristics, phase characteristics, cut-out edge continuity) is regarded as important. For example, when importance is attached to the phase characteristics, the Kaiser window is suitable. However, using a Kaiser window complicates the computation considerably. On the other hand, the Hanning window is suitable from the viewpoint of reducing the amount of calculation.
  • the cutout image does not include noise. This is for accurately obtaining the amount of deviation in sub-pixel units.
  • the image cut-out process in the image matching unit 102 is performed in units of pixels, the emphasis is on reducing the number of operations rather than accuracy. For this reason, a window function that simply cuts out image data is used as the pixel unit estimation window function used in the image matching unit 102.
  • the subpixel unit estimation window function used in the subpixel estimation unit reference image cut-out process emphasizes that there is less noise. It is preferably a function where the changes at both ends are continuous (ie a function where the first and last values of one period are zero).
  • the continuity of the subpixel estimation unit reference image signal is maintained, and noise components due to clipping included in the characteristics of the antiphase filter described later can be reduced. it can.
  • the pixel unit estimation window function is more likely to have a main lobe than the subpixel unit estimation window function. ) Is narrow and the amplitude of the side lobe is large.
  • the sub-pixel unit estimation window function w (m) uses a Hanning window having a size of 1 pixel on the vertical axis and “KJ” pixels on the horizontal axis.
  • M is an integer from J to K.
  • the subpixel unit estimation window function w (m) is set around the reference point (xa, ya). As a result, an image having a vertical axis size of 1 pixel and a horizontal axis size of “KJ” pixels centered on the reference point (xa, ya) is cut out as a unit reference image for subpixel estimation.
  • F ′ (m) represents the luminance value of the sub-pixel estimation unit reference image.
  • step S13 the image cutout unit 402 cuts out a unit reference image for subpixel estimation from the unit reference image having the maximum matching degree with the unit reference image detected in step S7.
  • the same subpixel unit estimation window function as that in the case of the subpixel estimation unit reference image is also used for the clipping process of the subpixel estimation unit reference image.
  • the subpixel unit estimation window function is set to the corresponding point (xa + n, ya).
  • g ′ (m) represents the luminance value of the unit reference image for subpixel estimation.
  • the sub-pixel unit estimation window function w (m) having the size of 1 pixel on the vertical axis and “KJ” on the horizontal axis is used.
  • This size is an example. Yes, it is not limited to this.
  • the vertical size is 3 pixels
  • the above processing may be performed for each pixel, and the obtained results may be averaged.
  • the vertical size includes a plurality of pixels
  • the above-described processing may be performed for each vertical pixel, and the results for each of the plurality of pixels included in the vertical size may be weighted and averaged.
  • the weighting coefficient used in this case may be determined by a window function like a two-dimensional POC.
  • the image cutout unit 402 When the vertical size of the sub-pixel estimation unit reference image and the sub-pixel estimation unit reference image is 2 pixels or more, the image cutout unit 402 performs the above-described averaging and the like, and performs the sub-pixel estimation unit standard. Each of the image and the unit reference image for subpixel estimation is converted into a one-dimensional data string.
  • step S14 the filtering unit 403 calculates anti-phase filter coefficients from the sub-pixel estimation unit reference image. Specifically, the filter unit 103 rearranges the data sequence in the reverse order so as to invert the position of each pixel of the constituent data sequence of the sub-pixel estimation unit reference image.
  • step S15 the filtering unit 403 filters the sub-pixel estimation unit reference image using the antiphase filter coefficient calculated in step S14, and outputs the filtering result to the peak position detection unit 104.
  • the parallax when obtaining the parallax of an object of the same size in real space, the parallax is smaller when the object is far from the stereo camera than when it is nearby, and the shift amount n in units of pixels is also smaller. At the same time, the image area size in the baseline length direction of the object is also reduced.
  • the tap length of the anti-phase filter is set according to the size of the shift amount n in units of pixels detected by the image matching unit 102. For example, when the shift amount n per pixel is small, the tap length of the antiphase filter is set to be short accordingly.
  • the stereo image processing apparatus 100 adaptively changes the tap length of the antiphase filter by changing the sizes of the sub-pixel estimation unit reference image and the sub-pixel estimation unit reference image with respect to the shift amount n. can do. Thereby, the parallax calculation according to the size of the object can be performed.
  • the filtering result is the output of the linear transition invariant system. Therefore, theoretically, the filtering result is the true deviation amount except for the distortion correction error of the lens, the error of gain noise caused by the image sensor such as CCD, and the error of the calculation accuracy of the image cutout by windowing. It is expressing. Therefore, the true peak position in the sub-pixel unit can be obtained by interpolating the numerical value between the pixels according to the sampling theorem for the output of the antiphase filter discretized in the pixel unit.
  • step S ⁇ b> 16 the peak position detection unit 104 detects the peak position based on the filtering result, and calculates a shift amount (that is, displacement of the peak position in the X-axis direction) between the base image and the reference image in subpixel units. . Then, the peak position detection unit 104 outputs the calculation result to the high accuracy filter unit 105.
  • a shift amount that is, displacement of the peak position in the X-axis direction
  • step S ⁇ b> 17 the window function shift unit 411 uses the reference image and the reference image calculated by the peak position detection unit 104 to calculate the sub-pixel unit estimation window function used by the filter unit 103 to cut out the sub-pixel estimation unit reference image.
  • a shift window function for subpixel unit estimation is formed by shifting the image by the amount of deviation in subpixel units from the image.
  • the subpixel unit estimation shift window function is used by the image cutout unit 412 to cut out the subpixel estimation unit reference image.
  • the window function shift unit 411 outputs the sub-pixel unit estimation shift window function to the image cutout unit 412. As a result, the shift window function for subpixel unit estimation is set in the image cutout unit 412.
  • step S18 the image cutout unit 412 cuts out the sub-pixel estimation unit reference image from the unit reference image using the sub-pixel unit estimation window function.
  • the cut-out process in step S18 is the same as the process in step S12.
  • step S19 the image cutout unit 412 uses the sub-pixel unit estimation shift window function to determine the unit reference image for sub-pixel estimation based on the position of the unit reference image having the maximum matching degree specified in step S7. Cut out.
  • the clipping process in step S19 is basically the same as the process in step S13, but the window function used when clipping the sub-pixel estimation unit reference image is different. That is, the window functions used in both steps (that is, the subpixel unit estimation window function and the subpixel unit estimation shift window function) are shifted by an interval corresponding to the shift amount detected in step S16.
  • step S20 the filtering unit 413 calculates an antiphase filter coefficient from the unit reference image for subpixel estimation.
  • the calculation process in step S20 is the same as the process in step S14.
  • step S ⁇ b> 21 the filtering unit 413 filters the sub-pixel estimation unit reference image using the antiphase filter coefficient calculated in step S ⁇ b> 20 and outputs the filtering result to the peak position detection unit 106.
  • step S ⁇ b> 22 the peak position detection unit 106 detects the peak position based on the filtering result, and calculates a shift amount (that is, displacement of the peak position in the X-axis direction) between the base image and the reference image in subpixel units. .
  • FIG. 8 is a diagram for explaining the concept of processing of the high-precision filter unit.
  • a Hanning window having a vertical axis of 1 pixel and a horizontal axis of “KJ” pixels is used as the sub-pixel unit estimation window function w (m) for the reference image.
  • M is an integer from J to K.
  • the subpixel unit estimation window function w (m) is set around the reference point (xa, ya).
  • F ′ (m) represents the luminance value of the sub-pixel estimation unit reference image.
  • the sub-pixel unit estimation window function w (m) for the reference image has a size of 1 pixel on the vertical axis and “KJ” pixels on the horizontal axis, and a sub-pixel unit estimation window function.
  • a Hanning window is used in which w (m) is shifted by the amount of shift in sub-pixel units calculated by the peak position detector 104.
  • the sub-pixel unit estimation shift window function w (m) is set around the corresponding point (xa + n, ya).
  • an image having a vertical axis size of 1 pixel and a horizontal axis size of “KJ” pixels centered on the corresponding point (xa + n, ya) is extracted as a sub-pixel estimation unit reference image.
  • FIG. 9 is a diagram for explaining the concept of processing of the window function shift unit 411.
  • FIG. 9A shows the luminance signal of the standard image in the cutout range (for example, 15 pixels) and the luminance signal of the reference image in the cutout range. That is, in FIG. 9A, the luminance values at each pixel of the standard image and reference image for 15 pixels are plotted.
  • FIG. 9B shows a sub-pixel unit estimation window function for cutting out the sub-pixel estimation unit reference image and the sub-pixel estimation unit reference image in the filter unit 103.
  • FIG. 9C shows the result of multiplying the base image and reference image shown in FIG. 9A by the sub-pixel unit estimation window function shown in FIG. 9B. That is, FIG. 9C shows a luminance signal in which the influence of discontinuity at the end points is reduced by multiplying the sub-pixel unit estimation window function.
  • FIG. 9D shows a subpixel unit estimation window function for subpixel estimation reference image segmentation and a subpixel unit estimation shift window function for subpixel estimation reference image segmentation in the high-precision filter unit 105. Indicates.
  • the shift amount between the subpixel unit estimation window function and the subpixel unit estimation shift window function is as shown in FIG.
  • the result obtained by multiplying the reference image by the subpixel unit estimation window function (subpixel estimation reference image output from the image cutout unit 402) and the reference image are multiplied by the subpixel unit estimation window function. This corresponds to the phase difference with the result (subpixel estimation reference image output by the image cutout unit 402).
  • FIG. 9E shows a result of multiplying the base image and the reference image shown in FIG. 9A by the sub-pixel unit estimation window function and the sub-pixel unit estimation shift window function (image cutout unit 402). Are subpixel estimation reference images and subpixel estimation reference images output by the image cutout unit 412).
  • FIG. 10 is a diagram for explaining the effect of the processing of the window function shift unit 411.
  • the horizontal axis represents the period of the sin function used as the window function
  • the vertical axis represents the difference value between the true value of the parallax and the calculated shift amount in subpixel units between the reference image and the reference image. Represents.
  • a curve 1001 formed by “ ⁇ ” plotted in FIG. 10 is a subpixel estimation clipped from the reference image by multiplying the subpixel unit estimation window function shown in FIG. 9C. Peak position detection performed based on the pixel data sequence of the unit reference image and the pixel data sequence of the unit reference image for subpixel estimation cut out from the reference image by multiplying the window function for subpixel unit estimation Results are shown.
  • a curve 1002 formed by “ ⁇ ” plotted in FIG. 10 is a subpixel cut out from the reference image by multiplying the subpixel unit estimation window function shown in FIG. Peaks based on the pixel data sequence of the unit reference image for estimation and the pixel data sequence of the unit reference image for subpixel estimation extracted from the reference image by multiplying the shift window function for subpixel unit estimation The result of position detection is shown.
  • the difference value (error) between the calculated shift amount of the subpixel unit and the true value becomes large.
  • the difference value (error) between the calculated shift amount of the sub-pixel unit and the true value is almost zero. In other words, the shift accuracy of the subpixel unit estimation window function can improve the accuracy of the calculated subpixel unit shift amount.
  • the standard image and the reference image shown in FIG. 9A are image data sequences that are referred to based on the “deviation amount n” calculated by the image matching unit 102.
  • the error is maximum (ie, when the error is 0.5 pixel)
  • the same subpixel unit estimation window function as shown in FIG. 9B is used for both the base image and the reference image. (That is, if the shift interval between the window function used for the reference image and the window function used for the reference image is zero), the difference from the true value is 0.5 pixels.
  • a shift in units of subpixels that is greatly affected by the phase difference of the window function used for both the image and the reference image being 0 pixels is calculated. For this reason, as shown in FIG. 10, a difference value (error) occurs between the calculated shift in subpixel units and the true value.
  • a pair of subpixel unit estimation window functions and subpixel unit estimation shift window functions given a shift interval corresponding to an error between the “deviation amount n” and the true value (see FIG. 9D). ) Can be used to cut out an image corresponding to the error between the “deviation amount n” and the true value.
  • the deviation in units of sub-pixels calculated using the image data thus cut out becomes a value closer to the true value, and the difference value (error) from the true value can be greatly reduced as shown in FIG. it can.
  • the effect of improving the parallax calculation accuracy by shifting the sub-pixel unit estimation window function increases as the error between the “deviation amount n” in pixel units and the true value increases. Further, the error between the “deviation amount n” in pixel units and the true value depends on the base line length of the camera (distance between stereo cameras), the focal length of the lens, and the distance between the camera and the object.
  • the window function shift unit 411 may normalize the coefficient of the sub-pixel unit estimation shift window function after shifting the sub-pixel unit estimation window function. The accuracy of parallax calculation can be further improved by normalizing the coefficients.
  • the shift window function for subpixel unit estimation with normalized coefficients is expressed by the following equation, for example.
  • step S18 and step S20 in FIG. 6 overlaps with step S12 and step S14, they may be omitted.
  • the antiphase filter obtained in steps S12 and S14 may be stored in a memory (not shown), and the stored antiphase filter may be used in step S21. By doing so, the amount of calculation can be reduced.
  • step S9 the distance measurement target region end determination process is performed. If there is an unprocessed area in which the processes from step S1 to step S8 have not yet been performed, steps S1 to S8 are performed for the unprocessed area. The process up to is performed.
  • the image cutout unit 402 uses the subpixel unit estimation window function from the standard image and the reference image, and uses the subpixel estimation unit standard image and subframe.
  • the pixel reference unit reference image is cut out, and the filtering unit 403 calculates the antiphase filter coefficient by inverting the data sequence of the data sequence composed of the luminance values of the sub-pixel estimation unit reference image cut out by the image cutout unit 402. Then, the data sequence composed of the luminance values of the sub-pixel estimation unit reference image is filtered using the anti-phase filter coefficient, and the peak position detection unit 104 determines the sub-pixel based on the peak position in the filtering result of the filtering means. The amount of deviation of the unit is calculated.
  • the window function shift unit 411 forms the sub-pixel unit estimation shift window function by shifting the sub-pixel unit estimation window function based on the sub-pixel unit shift amount calculated by the peak position detection unit 104. And set in the image cutout unit 412.
  • the image cutout unit 412 cuts out the subpixel estimation unit reference image from the reference image using the subpixel unit estimation window function, and calculates the subpixel unit estimation shift window function set by the window function shift unit 411.
  • a unit reference image for subpixel estimation is cut out from the reference image, and the filtering unit 413 reverses the data order of the data sequence composed of the luminance values of the unit reference image for subpixel estimation cut out by the image cutout unit 412.
  • the anti-phase filter coefficient is calculated by using the anti-phase filter coefficient to filter the data sequence composed of the luminance values of the sub-pixel estimation unit reference image, and the peak position detection unit 106 determines the peak in the filtering result of the filtering unit. Based on the position, the sub-pixel offset It is calculated.
  • FIG. 11 shows a configuration of stereo image processing apparatus 900 according to Embodiment 2 of the present invention.
  • the stereo image processing apparatus 900 includes a high-precision filter execution determination unit 901 and an output unit 902.
  • the high-accuracy filter execution determination unit 901 determines whether or not to execute the processing of the high-accuracy filter unit 105 and the peak position detection unit 106 according to the amount of deviation in subpixel units calculated by the peak position detection unit 104. judge.
  • the shift amount in subpixel units calculated by the peak position detection unit 104 takes any value between zero and the maximum value.
  • the range from zero to the reference value is set as the “non-execution region”, and the range from the reference value to the maximum value is set as the “execution region”.
  • the reference value may be determined by a trade-off between processing time and required parallax accuracy during operation. For example, when the parallax is not required to have a very high accuracy, but it is desired to shorten the processing time, the reference value may be set to a higher value.
  • the high-accuracy filter execution determination unit 901 determines whether the value of the shift amount in subpixel units calculated by the peak position detection unit 104 belongs to “non-execution region” or “execution region”. If it is determined that the pixel belongs to the “non-execution region”, the high-accuracy filter execution determination unit 901 outputs the shift amount in subpixel units output from the peak position detection unit 104 to the output unit 902. To do. On the other hand, when it is determined that it belongs to the “execution region”, the high-accuracy filter execution determination unit 901 sends the sub-pixel unit shift amount output from the peak position detection unit 104 to the high-accuracy filter unit 105. Output.
  • the output unit 902 outputs the shift amount in sub-pixel units output from the high-precision filter execution determination unit 901 or the peak position detection unit 106.
  • FIG. 12 is a flowchart showing details of the subpixel unit arithmetic processing according to the second embodiment. Compared with the flowchart shown in FIG. 6, in the flowchart shown in FIG. 12, step S31 of high-precision filter execution determination is provided.
  • step S ⁇ b> 31 the high-accuracy filter execution determination unit 901 causes the high-accuracy filter unit 105 and the peak position detection unit 106 to execute processing according to the amount of subpixel deviation calculated by the peak position detection unit 104. It is determined whether or not.
  • step S31 Yes
  • the processing from step S17 to step S22 is executed.
  • step S31 if it is determined not to be executed (step S31: No), the flow shown in FIG. 12 ends.
  • the high-accuracy filter execution determination unit 901 performs the determination based on the shift amount in subpixel units calculated by the peak position detection unit 104, and only when the effect of improving the parallax calculation accuracy is large, The processing of the peak position detection unit 106 can be executed. Thereby, when the improvement effect of the parallax calculation accuracy is small, the high-accuracy filter unit 105 and the peak position detection unit 106 can be omitted, and the amount of calculation can be reduced.
  • the image clipping unit 402 and the image clipping unit 412, the filtering unit 403 and the filtering unit 413, and the peak position detection unit 104 and the peak position detection unit 106 are described as separate functional units. It was. However, the present invention is not limited to this, and the image clipping unit 402 and the image clipping 412 are a single functional unit, the filtering unit 403 and the filtering unit 413 are a single functional unit, and the peak position detection unit 104.
  • the peak position detection unit 106 may be a single function unit.
  • step S17, step S19, step S21, and step S22 is not limited to once, but may be simply repeated a plurality of times, or the subpixel detected in step S22. It may be repeated until the value of the unit deviation amount is equal to or less than the reference value. Thereby, the parallax detection accuracy can be further improved.
  • the window function shifted by the shift amount in subpixel units detected in the immediately preceding step S22 is used as the subpixel unit estimation shift window function.
  • the image matching unit 102 roughly detects the amount of deviation between the standard image and the reference image in “pixel units”, and then the peak position detection unit 104 sets the amount of deviation to “sub-pixel units”.
  • the case where it is detected in detail is described. That is, the case where the amount of deviation is calculated in two stages has been described.
  • the present invention is not limited to this, and can be applied to a case where the amount of deviation is directly calculated in “sub-pixel unit” without performing detection in “pixel unit”.
  • Each functional block used in the description of each of the above embodiments is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. Although referred to as LSI here, it may be referred to as IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the stereo image processing apparatus and stereo image processing method of the present invention are useful as those capable of calculating parallax with high accuracy even for an object having a small image area size in the baseline length direction.
  • Stereo image processing apparatus 101 Stereo image acquisition part 102 Image matching part 103 Filter part 104,106 Peak position detection part 105 High precision filter part 402,412 Image clipping part 403,413 Filtering part 411 Window function shift part 901 High precision Filter execution determination unit 902 output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　基線長方向の画像領域が小さい対象物についても、高精度に視差を算出できるステレオ画像処理装置及びステレオ画像処理方法を提供すること。窓関数シフト部（４１１）がピーク位置検出部（１０４）にて算出されたサブピクセル単位のズレ量に基づいて第２窓関数をシフトすることにより形成した第３窓関数を画像切り出し部（４１２）に設定する。画像切り出し部（４１２）が、第２窓関数を切り出し対象位置に適用して、基準画像からサブピクセル推定用単位基準画像を切り出し、第２窓関数又は窓関数シフト部（４１１）によって設定された第３窓関数を適用して、参照画像からサブピクセル推定用単位参照画像を切り出す。ピーク位置検出部（１０６）が、切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列と、切り出されたサブピクセル推定用単位参照画像の輝度値からなるデータ列との位相差に基づいて、サブピクセル単位のズレ量を算出する。

Description

ステレオ画像処理装置及びステレオ画像処理方法
　本発明は、同一の対象物を撮影したステレオ画像（基準画像と参照画像）から、視差に起因する画像のずれを算出するステレオ画像処理装置及びステレオ画像処理方法に関する。
　従来から、ステレオカメラを用いて同一の対象物を撮影したときの二つの画像（基準画像と参照画像）から画像のずれを算出し、その画像のずれに基づいて対象物までの距離を測定するステレオ画像処理装置が知られている。このステレオ画像処理装置は、例えば、車載カメラで撮影した前方の車両又は歩行者のステレオ画像からその車両又は歩行者までの距離を測定する装置などへの適用が検討されている。ところが、近年のカメラ（車載カメラなど）の小型化の影響により、カメラ間隔も小さくなり、その結果、ステレオ画像のずれも小さくなっている。したがって、ステレオ画像処理装置には、高精度な視差演算機能が要求されるようになってきている。
　従来、ステレオ画像処理装置における、高精度なステレオマッチング（ステレオ画像処理の視差演算）の方式として、例えば１次元ＰＯＣ（Phase Only Correlation）方式が提案されている（例えば、特許文献１参照）。この１次元ＰＯＣ方式では、先ず、基準画像及び参照画像のそれぞれからハニング窓を用いて部分画像（１次元画像データ列）が切り出される。次に、切り出された部分基準画像及び部分参照画像は、１次元フーリエ変換が施されてフーリエ画像データとされた後に合成される。次に、合成されたフーリエ画像データは、その振幅成分が正規化された後に、１次元逆フーリエ変換が施される。これにより、位相限定相関係数が求められる。そして、位相限定相関係数の相関ピークに基づいて、画像のズレ量（視差）が算出される。
特開２００８－１２３１４１号公報
　しかしながら、従来技術は、遠くに位置する歩行者など、ステレオ画像上で占める基線長方向における画像領域のサイズ（以下「基線長方向の画像領域サイズ」という）が小さい対象物については、高精度に視差を算出することが難しいという課題を有する。なぜなら、基線長方向の画像領域サイズが小さい場合、背景周囲の画像の影響を低減するために１次元画像データ列を小さくする必要があるが、１次元画像データ列が小さいほど上述の相関ピークの精度は低くなるからである。
　本発明は、かかる点に鑑みてなされたものであり、基線長方向の画像領域サイズが小さい対象物についても、高精度に視差を算出することができる、ステレオ画像処理装置及びステレオ画像処理方法を提供することを目的とする。
　本発明の一態様のステレオ画像処理装置は、ステレオ画像を構成する基準画像と参照画像とのサブピクセル単位のズレ量を算出するステレオ画像処理装置であって、第１の窓関数を切り出し対象位置に適用して、前記基準画像からサブピクセル推定用単位基準画像を切り出し、前記第１の窓関数、又は、設定される第２の窓関数を適用して、前記参照画像からサブピクセル推定用単位参照画像を切り出す切り出し手段と、前記切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列と、前記切り出されたサブピクセル推定用単位参照画像の輝度値からなるデータ列との位相差に基づいて、前記サブピクセル単位のズレ量を算出する算出手段と、前記算出手段によって算出されたサブピクセル単位のズレ量に基づいて前記第１の窓関数をシフトすることにより形成した前記第２の窓関数を、前記切り出し手段に設定する窓関数設定手段と、を具備する。
　本発明の一態様のステレオ画像処理方法は、ステレオ画像を構成する基準画像と参照画像とのサブピクセル単位のズレ量を算出するステレオ画像処理方法であって、第１の窓関数を切り出し対象位置に適用して、前記基準画像からサブピクセル推定用単位基準画像を切り出し、前記第１の窓関数、又は、設定される第２の窓関数を適用して、前記参照画像からサブピクセル推定用単位参照画像を切り出す切り出しステップと、前記切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列と、前記切り出されたサブピクセル推定用単位参照画像の輝度値からなるデータ列との位相差に基づいて、前記サブピクセル単位のズレ量を算出する算出ステップと、前記算出ステップによって算出されたサブピクセル単位のズレ量に基づいて前記第１の窓関数をシフトすることにより前記第２の窓関数を形成し設定する窓関数設定ステップと、を具備する。
　本発明によれば、基線長方向の画像領域サイズが小さい対象物についても、高精度に視差を算出することができるステレオ画像処理装置及びステレオ画像処理方法を提供することができる。
本発明の実施の形態１に係るステレオ画像処理装置の構成を示すブロック図 フィルタ部の構成を示すブロック図 高精度フィルタ部の構成を示すブロック図 ステレオ画像処理装置の動作説明に供するフロー図 画像マッチング部の処理の説明に供する図 サブピクセル単位演算処理の詳細を示すフロー図 サブピクセル単位演算処理の概念の説明に供する図 サブピクセル単位演算処理の概念の説明に供する図 窓シフト部の処理の概念の説明に供する図 窓シフト部の処理の概念の説明に供する図 本発明の実施の形態２に係るステレオ画像処理装置の構成を示すブロック図 ステレオ画像処理装置の動作説明に供するフロー図
　以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。なお、以下、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるものとして説明する。
　［実施の形態１］
　［ステレオ画像処理装置１００の構成］
　図１は、本発明の実施の形態１に係るステレオ画像処理装置１００の構成を示す。図１において、ステレオ画像処理装置１００は、ステレオ画像取得部１０１と、画像マッチング部１０２と、フィルタ部１０３と、ピーク位置検出部１０４，１０６と、高精度フィルタ部１０５とを有する。
　ステレオ画像取得部１０１は、２つ以上の撮像系（つまり、カメラ）で撮影されたステレオ画像を取得する。ステレオ画像には、２つの異なる撮像系によって同一対象物が撮影された基準画像及び参照画像が含まれる。そして、ステレオ画像取得部１０１は、取得したステレオ画像を、画像マッチング部１０２、フィルタ部１０３、および高精度フィルタ部１０５へ出力する。なお、本実施の形態において、ステレオ画像取得部１０１は、基線長方向が水平方向にほぼ一致する２つのカメラにより撮影されたステレオ画像を取得するものとする。
　画像マッチング部１０２は、基準画像の基準点に対する参照画像のピクセルレベルの対応点を取得する。具体的には、画像マッチング部１０２は、ステレオ画像取得部１０１において取得された基準画像及び参照画像に対して画像マッチング処理を行うことにより、基準画像の基準点に対する参照画像のピクセルレベルの対応点を取得する。そして、画像マッチング部１０２は、基準画像と参照画像との「ピクセルレベルのズレ量ｎ」を算出する。一方、後述するピーク位置検出部１０４及びピーク位置検出部１０６によって得られる、基準画像と参照画像との「視差」の単位は、サブピクセルである。すなわち、画像マッチング部１０２では、基準画像と参照画像とのズレが「ピクセル単位」で粗く検出され、その後に、ピーク位置検出部１０４及びピーク位置検出部１０６によって、基準画像と参照画像とのズレが「サブピクセル単位」で細かく検出される。
　具体的には、画像マッチング部１０２は、基準画像に含まれる所定の１ピクセルを「基準点」とし、基準点を中心とした周辺の部分画像（以下、「単位基準画像」という）を基準画像から切り出す。また、画像マッチング部１０２は、単位基準画像と同一サイズである部分画像（以下、「単位参照画像」という）を参照画像から複数切り出す。複数の単位参照画像は、参照画像において、異なる位置から切り出される。単位基準画像と基準参照画像の切り出しには、例えば、所定サイズの矩形窓（縦サイズ：ｗｖピクセル、横サイズ：ｗｈピクセル）の矩形窓が用いられる。なお、この矩形窓を規定する窓関数を以下、「ピクセル単位推定用窓関数」という。
　ステレオカメラの場合、基準画像と参照画像との視差はカメラの基線長方向にしか発生しない。したがって、画像マッチング部１０２は、基線長方向に切出し位置を変更して、複数の単位参照画像を切り出せばよい。そして、基準画像における基準点の位置と、参照画像における対応点の位置とのズレ量が、上記したピクセル単位のズレ量ｎとして算出される。
　画像マッチング部１０２は、切り出された複数の単位参照画像の中で、単位基準画像とのマッチング度が最も大きい単位参照画像を特定する。特定された単位参照画像における「基準点」に対応する１ピクセルが、参照画像における、「ピクセルレベルの対応点」になる。マッチング度を表す指標としては、例えば、輝度相違度を意味するＳＡＤ（Sum of Absolute Differences）値が用いられる。
　フィルタ部１０３は、画像マッチング部１０２からの基準点及びズレ量ｎ、並びに、ステレオ画像取得部１０１からのステレオ画像を入力とする。
　そして、フィルタ部１０３は、基準画像および基準点の位置に基づいて逆位相フィルタ係数を算出し、算出された逆位相フィルタ係数を用いて、参照画像のピクセルレベルの対応点周辺に対するフィルタリング処理を行う。
　図２は、フィルタ部１０３の構成を示す。図２において、フィルタ部１０３は、画像切り出し部４０２とフィルタリング部４０３とを有する。
　画像切り出し部４０２は、ステレオ画像の基線長方向に、基準画像から部分画像をサブピクセル推定用単位基準画像として切り出す。サブピクセル推定用単位基準画像の切り出しには、サブピクセル単位推定用窓関数が用いられる。サブピクセル単位推定用窓関数としては、例えば、ハニング窓の窓関数を用いることができる。また、画像切り出し部４０２は、サブピクセル単位推定用窓関数を用いて、参照画像から、サブピクセル推定用単位基準画像と同一サイズの部分画像を、サブピクセル推定用単位参照画像として切り出す。
　そして、画像切り出し部４０２は、サブピクセル推定用単位基準画像およびサブピクセル推定用単位参照画像を、フィルタリング部４０３へ出力する。
　なお、本実施の形態において、画像切り出し部４０２は、サブピクセル推定用単位基準画像に基準点が含まれるように、基準画像における画像の切り出し位置を決定するものとする。また、画像切り出し部４０２は、サブピクセル推定用単位参照画像にピクセルレベルの対応点が含まれるように、画像の切り出し位置を決定するものとする。
　フィルタリング部４０３は、画像切り出し部４０２によって切り出されたサブピクセル推定用単位基準画像の各画素値の位置を、前後方向において反転させて得られる、逆位相フィルタ係数を算出する。そして、フィルタリング部４０３は、算出した逆位相フィルタ係数を用いて、サブピクセル推定用単位参照画像に対するフィルタリング処理を行う。そして、フィルタ生成部４０３は、フィルタリング処理の結果（以下、「フィルタリング結果」という）をピーク位置検出部１０４へ出力する。
　ピーク位置検出部１０４は、フィルタ部１０３から受け取るフィルタリング結果において、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像との相関度が最も高くなる相対位置関係を取得する。そして、ピーク位置検出部１０４は、取得した相対位置関係に基づいて、サブピクセル推定用単位基準画像と、基準点に対するサブピクセル推定用単位参照画像におけるサブピクセルレベルの対応点との視差（ズレ量）を算出する。
　高精度フィルタ部１０５は、画像マッチング部１０２からの基準点及びズレ量ｎ、ステレオ画像取得部１０１からのステレオ画像、並びに、ピーク位置検出部１０４からのサブピクセル単位のズレ量を入力とする。
　そして、高精度フィルタ部１０５は、フィルタ部１０３と同様に、サブピクセル推定用単位基準画像に基づいて逆位相フィルタ係数を算出し、算出された逆位相フィルタ係数を用いてサブピクセル推定用単位参照画像をフィルタリングする。すなわち、高精度フィルタ部１０５は、フィルタ部１０３と同様に、まず、基準画像からサブピクセル推定用単位基準画像を切り出し、サブピクセル推定用単位基準画像から逆位相フィルタ係数を算出する。すなわち、基準画像から抽出されたサブピクセル推定用単位基準画像に基づいて、逆位相フィルタ係数が算出される。
　ただし、次に、高精度フィルタ部１０５は、フィルタ部１０３と異なり、フィルタ部１０３においてサブピクセル推定用単位参照画像の切り出しに用いたサブピクセル単位推定用窓関数を、ピーク位置検出部１０４から入力されたサブピクセル単位のズレ量分シフトすることにより、高精度フィルタ部１０５においてサブピクセル推定用単位参照画像の切り出しに用いられるサブピクセル単位推定用シフト窓関数を形成する。そして、サブピクセル単位推定用シフト窓関数を用いて、高精度フィルタ部１０５は、参照画像からサブピクセル推定用単位参照画像を切り出し、算出した逆位相フィルタ係数を用いて、サブピクセル推定用単位参照画像に対してフィルタリング処理を行い、フィルタリング結果をピーク位置検出部１０６へ出力する。
　図３は、高精度フィルタ部１０５の構成を示す。図３において、高精度フィルタ部１０５は、窓関数シフト部４１１と、画像切り出し部４１２と、フィルタリング部４１３とを有する。
　窓関数シフト部４１１は、フィルタ部１０３においてサブピクセル推定用単位参照画像の切り出しに用いたサブピクセル単位推定用窓関数を、ピーク位置検出部１０４において算出されたサブピクセル単位のズレ量分シフトすることにより、高精度フィルタ部１０５においてサブピクセル推定用単位参照画像の切り出しに用いられるサブピクセル単位推定用シフト窓関数を形成する。
　画像切り出し部４１２は、基準点を含むサブピクセル推定用単位基準画像を基準画像から切り出す。また、画像切り出し部４１２は、窓関数シフト部４１１において形成されたサブピクセル単位推定用シフト窓関数を用いて、対応点（つまり参照画像において基準点と同じ座標からズレ量ｎだけずれた点）を含むサブピクセル推定用単位参照画像を参照画像から切り出す。すなわち、画像切り出し部４１２は、基本的に、画像切り出し部４０２と同じ機能を有する。
　フィルタリング部４１３は、画像切り出し部４１２において切り出されたサブピクセル推定用単位基準画像から逆位相フィルタ係数を算出する。そして、フィルタリング部４１３は、サブピクセル推定用単位参照画像に対して、算出した逆位相フィルタ係数を用いてフィルタリング処理を行い、フィルタリング結果をピーク位置検出部１０６へ出力する。すなわち、フィルタリング部４１３は、基本的に、フィルタリング部４０３と同じ機能を有する。
　図１に戻り、ピーク位置検出部１０６は、高精度フィルタ部１０５から受け取るフィルタリング結果におけるピークの位置を検出することにより、基準画像と参照画像とのサブピクセル単位のズレ量を算出する。ここで、ピークとは、フィルタリング結果が最大値となる位置である。
　［ステレオ画像処理装置１００の動作］
　以上の構成を有するステレオ画像処理装置１００の動作について説明する。
　なお、以下では、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるものとして説明する。また、説明の便宜のため、エピポーラ線の方向（基線長方向）は、画像全体において、Ｘ軸に平行であるものとする。
　図４は、ステレオ画像処理装置１００の動作説明に供するフロー図である。なお、以下では、基準画像におけるある１つの基準点についての処理を説明するが、ステレオ画像処理装置１００は、基準画像の全体で基準点を順次移動させ、以下のステップＳ１～Ｓ９の動作を、測距対象領域内の全ての画素について行う。
　＜分析基準位置決定処理＞
　ステップＳ１で、画像マッチング部１０２は、測距対象領域において分析の対象となる基準点の位置（以下、「分析基準位置」という）を決定する。
　＜単位基準画像の切り出し処理＞
　ステップＳ２で、画像マッチング部１０２は、ステレオ画像取得部１０１から受け取る基準画像から、単位基準画像を切り出す。単位基準画像は、ステップＳ１において決定された分析基準位置（つまり、基準点）を基準とした部分領域の画像（画像領域）である。単位基準画像の大きさの単位はピクセルである。つまり、単位基準画像は、複数のピクセル行（画素行）×複数のピクセル列（画素列）の画像である。
　＜サーチ範囲及びサーチ開始位置の決定処理＞
　ステップＳ３で、画像マッチング部１０２は、ステップＳ１で決定された分析基準位置に基づいて、参照画像におけるサーチ範囲及びサーチ開始位置を決定する。ステレオ画像の視差は、カメラ間の距離である基線長とレンズの焦点距離と、ステレオカメラから対象物までの距離とから、決定される。よって、画像マッチング部１０２は、ステレオカメラから測距しようとする対象物までの距離に基づいてサーチ範囲を決定すればよい。また、ステレオカメラから無限遠にある対象物は基準画像と参照画像の同じ位置に撮像されるため、画像マッチング部１０２は、基準画像における基準点と同じ座標を、参照画像におけるサーチ開始位置として設定すればよい。
　＜単位参照画像の切り出し処理＞
　ステップＳ４で、画像マッチング部１０２は、切り出し基準位置を決定し、単位基準画像と同一サイズの単位参照画像を参照画像から切り出す。画像マッチング部１０２は、ステップＳ３で決定されたサーチ開始位置を、例えば最初の切り出し基準位置に決定し、以降、切り出し基準位置を移動させていく。
　＜マッチング度の算出処理＞
　ステップＳ５で、画像マッチング部１０２は、単位基準画像と、単位参照画像とのマッチング度を算出する。このマッチング度には、例えば、輝度相違度を示すＳＡＤ値又は輝度類似度が用いられる。
　＜サーチ範囲の終了判定処理＞
　ステップＳ６で、画像マッチング部１０２は、サーチ範囲に対する処理の終了判定処理を行う。すなわち、画像マッチング部１０２は、切り出し基準位置の移動によりサーチ範囲を網羅したか否かを判定する。ここでサーチ範囲が終了していないと判定される場合（ステップＳ６：Ｎｏ）には、画像マッチング部１０２は、ステップＳ４へ戻る。この結果、画像マッチング部１０２は、ステップＳ４での単位参照画像の切り出し領域がずれるように、サーチ範囲内において切り出し基準位置を移動させる。このようにして、ステップＳ４～Ｓ６までの処理は、サーチ範囲が終了するまで（ステップＳ６：Ｙｅｓ）繰り返される。
　＜マッチング度の最大位置＞
　ステップＳ７で、画像マッチング部１０２は、ステップＳ４～Ｓ６までの処理によって得られた複数のマッチング度に基づいて、マッチング度が最大となる単位参照画像の位置を特定する。マッチング度として輝度相違度が用いられている場合には、画像マッチング部１０２は、輝度相違度が極小ないし最小となる単位参照画像を検出する。
　ここで、ステップＳ２～ステップＳ７の処理を、図５を参照して具体的に説明する。
　図５に示すように、画像マッチング部１０２は、上述のステップＳ２において、分析基準位置（基準点）（ｘａ，ｙａ）を中心とした周辺の部分画像を、単位基準画像として切り出す。この単位基準画像の切り出しには、ピクセル単位推定用窓関数で規定される、所定サイズ（縦サイズ：ｗｖピクセル、横サイズ：ｗｈピクセル）の矩形窓が用いられる。また、ここでは、ピクセル単位推定用窓関数によって規定される矩形窓の中心と分析基準位置とを一致させるものとして説明を行うが、厳密に中心でなくても良く、矩形窓の中心付近に分析基準位置が存在していれば良い。
　次に、画像マッチング部１０２は、上述のステップＳ３において、ステップＳ１において決定された分析基準位置に基づいて、参照画像におけるサーチ範囲およびサーチ開始位置を決定する。サーチ開始位置（参照画像において単位参照画像を切り出す初期座標）は、例えば、基準画像における分析基準位置と同じ座標（ｘａ，ｙａ）が用いられる。次に、画像マッチング部１０２は、図５に示すように、切り出し基準位置を順次ずらしながら、ステップＳ４において、サーチ開始位置を中心とした周辺の部分画像を参照画像から単位参照画像として切り出す。切り出し基準位置は、ここでは１ピクセルずつずらされる。この単位参照画像の切り出しには、単位基準画像の切り出しに用いられる矩形窓と同じ矩形窓が用いられる。つまり、単位基準画像と単位参照画像の切り出しには、同じピクセル単位推定用窓関数で規定される矩形窓が用いられる。
　そして、画像マッチング部１０２は、上述のステップＳ５において、単位基準画像と各単位参照画像とのマッチング度を算出する。このマッチング度には、例えば、輝度相違度を示すＳＡＤ値が用いられる。このＳＡＤ値は、次の式（１）によって算出される。
Figure JPOXMLDOC01-appb-M000001
　そして、図５に示すように、画像マッチング部１０２は、上述のステップＳ６において、サーチ範囲が終了していないと判定される場合には、切り出す位置をずらしてステップＳ４に戻り、新たな単位参照画像を参照画像から切り出す。切り出す位置は、ここでは１ピクセルずつずらされる。また、ずらす方向は、図５における参照画像の座標（ｘａ，ｙａ）から伸びる右矢印の方向である。
　このようにして、画像マッチング部１０２は、１つの単位基準画像に対して、複数の単位参照画像それぞれのＳＡＤ値を算出する。そして、画像マッチング部１０２は、ステップＳ７で、ステップＳ５の処理によって得られた複数のマッチング度に基づいて、マッチング度が最大となる単位参照画像を特定する。具体的には、画像マッチング部１０２は、複数のＳＡＤ値の内で、例えば最小のＳＡＤ値に対応する単位参照画像を特定する。この特定された単位参照画像の切り出し基準位置の座標を（ｘａ＋ｎ、ｙａ）とすると、ｎは、ピクセル単位のズレ量となる。そして、画像マッチング部１０２は、ＳＡＤ値が最小となる切り出し基準位置を、分析基準位置（基準点）のピクセルレベルの対応点とする。なお、ここでは、マッチング度の指標としてＳＡＤ値を用いたが、本発明はこれに限定されるものではなく、マッチング度の指標として用いることができるものであれば代用することができる。例えば、画像マッチング部１０２は、マッチング度の指標として、ＳＳＤ（Sum of Squared Differences）を用いても良い。
　以上で、ステップＳ２～Ｓ７の処理についての具体的な説明を終える。
　＜サブピクセル単位演算処理＞
　図４のステップＳ８で、フィルタ部１０３及びピーク位置検出部１０４は、ステップＳ７で得られたピクセルレベルの対応点と、ステレオ画像取得部１０１から受け取る基準画像及び参照画像に基づいて、サブピクセル単位演算処理を行う。
　図６は、サブピクセル単位演算処理の詳細を示すフロー図である。図７は、サブピクセル単位演算処理の概念の説明に供する図である。
　（サブピクセル推定用単位基準画像の切り出し処理）
　ステップＳ１２で、画像切り出し部４０２は、単位基準画像からサブピクセル推定用単位基準画像を切り出す。サブピクセル推定用単位基準画像の大きさの単位は、ピクセルである。サブピクセル推定用単位基準画像を切り出す位置は、基準点の位置から、向きはエピポーラ線に沿って平行な、Ｘ軸方向の向きとする。
　また、サブピクセル推定用単位基準画像の切り出しには、サブピクセル単位推定用窓関数が用いられる。サブピクセル単位推定用窓関数として、例えば、式（２）で表されるハニング窓の窓関数ｗ（ｍ）が用いられる。
Figure JPOXMLDOC01-appb-M000002
　なお、ここでは、サブピクセル単位推定用窓関数としてハニング窓の窓関数が用いられる場合について説明するが、本発明はこれに限定されるものではなく、窓関数として、ハミング窓、ブラックマン窓、カイザー窓などを用いても良い。これらの窓関数は、サブピクセル推定用単位基準画像の特性（例えば、周波数パワー特性、位相特性、切り出し端連続性）の内、どの特性を重要視するかに応じて選択される。例えば、位相特性を重要視する場合には、カイザー窓が適している。ただし、カイザー窓を用いると、演算がかなり複雑となる。一方、演算量削減の観点からは、ハニング窓が適している。
　ここで、サブピクセル単位で視差を推定するための画像切り出し処理では、切り出された画像にノイズが含まれないことが重要である。これは、サブピクセル単位のズレ量を正確に求めるためである。一方、画像マッチング部１０２における画像切り出し処理はピクセル単位で行われるため、精度よりも演算回数を削減することに重きが置かれる。このため、画像マッチング部１０２で用いられるピクセル単位推定用窓関数には、単に画像データを切り出すだけの窓関数が用いられる。これに対して、サブピクセル推定用単位基準画像の切り出し処理で用いられるサブピクセル単位推定用窓関数は、ノイズが少ないことが重要視されるため、ピクセル単位推定用窓関数に比べて、窓の両端における変化が連続的である関数（つまり、１周期の最初及び最後の値がゼロである関数）であることが好ましい。
　このようなサブピクセル単位推定用窓関数を用いることにより、サブピクセル推定用単位基準画像信号の連続性が保たれ、後述する逆位相フィルタの特性に含まれる、切り出しによるノイズ成分を低減することができる。なお、ピクセル単位推定用窓関数とサブピクセル単位推定用窓関数とを周波数特性について比較すると、ピクセル単位推定用窓関数の方が、サブピクセル単位推定用窓関数よりも、メインローブ（ｍａｉｎ－ｌｏｂｅ）の幅が狭く、サイドローブ（ｓｉｄｅ－ｌｏｂｅ）の振幅が大きい。
　図７において、サブピクセル単位推定用窓関数ｗ（ｍ）は、縦軸が１ピクセルで、横軸が“Ｋ－Ｊ”ピクセルのサイズを持つハニング窓が用いられている。そして、ｍは、Ｊ以上Ｋ以下の整数である。そして、サブピクセル単位推定用窓関数ｗ（ｍ）は、基準点（ｘａ，ｙａ）を中心に設定される。これにより、サブピクセル推定用単位基準画像として、基準点（ｘａ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ－Ｊ”ピクセルである画像が切り出される。また、ｆ’（ｍ）は、サブピクセル推定用単位基準画像の輝度値を表している。
　（サブピクセル推定用単位参照画像の切り出し処理）
　ステップＳ１３で、画像切り出し部４０２は、ステップＳ７で検出された、単位基準画像とのマッチング度が最大となる単位参照画像から、サブピクセル推定用単位参照画像を切り出す。サブピクセル推定用単位参照画像の切り出し処理にも、サブピクセル推定用単位基準画像の場合と同じサブピクセル単位推定用窓関数が用いられる。ただし、サブピクセル単位推定用窓関数は、対応点（ｘａ＋ｎ、ｙａ）に設定される。これにより、サブピクセル推定用単位参照画像として、対応点（ｘａ＋ｎ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ－Ｊ”ピクセルである画像が切り出される。図７において、ｇ’（ｍ）は、サブピクセル推定用単位参照画像の輝度値を表している。
　なお、以上の説明では、縦軸が１ピクセルで、横軸が“Ｋ－Ｊ”ピクセルのサイズを持つサブピクセル単位推定用窓関数ｗ（ｍ）が用いられているが、このサイズは一例であり、これに限定されるものではない。例えば、縦サイズを３ピクセルとする場合には、１ピクセル毎に上記した処理を行い、得られた結果を平均しても良い。更に、例えば、縦サイズが複数のピクセルを含む場合、縦１ピクセルずつに上述した処理を行い、縦サイズに含まれる複数のピクセルごとの結果を重み付けして平均化しても良い。この場合に用いられる重み付け係数は、２次元ＰＯＣのように、窓関数によって決定されても良い。画像切り出し部４０２は、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像の縦サイズが２ピクセル以上である場合には、上記したような平均化などを行い、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像それぞれを１次元のデータ列に変換する。
　（逆位相フィルタ係数算出処理）
　ステップＳ１４で、フィルタリング部４０３は、サブピクセル推定用単位基準画像から逆位相フィルタ係数を算出する。具体的には、フィルタ部１０３は、サブピクセル推定用単位基準画像の構成データ列の各画素の位置を反転させる形で、データ列を逆の順番に並べ換える。
　（フィルタリング処理）
　ステップＳ１５で、フィルタリング部４０３は、サブピクセル推定用単位参照画像をステップＳ１４で算出された逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果をピーク位置検出部１０４へ出力する。
　なお、実空間において同一サイズの対象物の視差を求める場合、対象物がステレオカメラから遠くに存在する場合は近くに存在する場合よりも視差は小さく、ピクセル単位のズレ量ｎも小さくなる。またそれと同時に、当該対象物の基線長方向の画像領域サイズも小さくなる。
　したがって、逆位相フィルタのタップ長は、画像マッチング部１０２で検出されたピクセル単位のズレ量ｎの大きさに応じて設定されることが望ましい。例えば、ピクセル単位のズレ量ｎが小さい場合には、それに応じて逆位相フィルタのタップ長も短く設定される。ステレオ画像処理装置１００は、ズレ量ｎに対して適応的にサブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像のサイズを変更することにより、逆位相フィルタのタップ長も適応的に変更することができる。これにより、対象物のサイズに応じた視差算出が可能となる。
　また、フィルタリング結果は、線形推移不変システムの出力である。したがって、フィルタリング結果は、レンズの歪補正の誤差、ＣＣＤなどのイメージセンサに起因するゲインノイズ等の誤差、窓掛けによる画像切り出しの演算精度の誤差を除けば、理論的には真のずれ量を表現していることになる。よって、ピクセル単位で離散化されている逆位相フィルタの出力をサンプリング定理に従ってピクセル間の数値を補間することにより、サブピクセル単位での真のピーク位置を求めることができる。
　（ピーク位置（サブピクセル単位のずれ）検出）
　ステップＳ１６で、ピーク位置検出部１０４は、フィルタリング結果に基づいてピーク位置を検出し、基準画像と参照画像とのサブピクセル単位のズレ量（つまり、ピーク位置のＸ軸方向の変位）を算出する。そして、ピーク位置検出部１０４は、その算出結果を高精度フィルタ部１０５へ出力する。
　（窓関数シフト）
　ステップＳ１７で、窓関数シフト部４１１は、フィルタ部１０３においてサブピクセル推定用単位参照画像の切り出しに用いたサブピクセル単位推定用窓関数を、ピーク位置検出部１０４において算出された、基準画像と参照画像とのサブピクセル単位のズレ量分、シフトすることにより、サブピクセル単位推定用シフト窓関数を形成する。サブピクセル単位推定用シフト窓関数は、画像切り出し部４１２においてサブピクセル推定用単位参照画像の切り出しに用いられる。窓関数シフト部４１１は、サブピクセル単位推定用シフト窓関数を画像切り出し部４１２へ出力する。これにより、サブピクセル単位推定用シフト窓関数が画像切り出し部４１２に設定される。
　（サブピクセル推定用単位基準画像の切り出し処理）
　ステップＳ１８で、画像切り出し部４１２は、サブピクセル単位推定用窓関数を用いて、単位基準画像からサブピクセル推定用単位基準画像を切り出す。ステップＳ１８での切り出し処理は、ステップＳ１２での処理と同様である。
　（サブピクセル推定用単位参照画像の切り出し処理）
　ステップＳ１９で、画像切り出し部４１２は、サブピクセル単位推定用シフト窓関数を用いて、ステップＳ７で特定されたマッチング度が最大となる単位参照画像の位置を基準とするサブピクセル推定用単位参照画像を切り出す。ステップＳ１９での切り出し処理は、ステップＳ１３での処理と基本的には同じであるが、サブピクセル推定用単位参照画像を切り出す際に用いられる窓関数が異なる。すなわち、両ステップで用いられる窓関数（つまり、サブピクセル単位推定用窓関数とサブピクセル単位推定用シフト窓関数）は、ステップＳ１６にて検出されたズレ量に対応する間隔だけずれている。
　（逆位相フィルタ係数算出処理）
　ステップＳ２０で、フィルタリング部４１３は、サブピクセル推定用単位基準画像から逆位相フィルタ係数を算出する。ステップＳ２０での算出処理は、ステップＳ１４での処理と同じである。
　（フィルタリング処理）
　ステップＳ２１で、フィルタリング部４１３は、サブピクセル推定用単位参照画像をステップＳ２０で算出された逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果をピーク位置検出部１０６へ出力する。
　（ピーク位置（サブピクセル単位のずれ）検出）
　ステップＳ２２で、ピーク位置検出部１０６は、フィルタリング結果に基づいてピーク位置を検出し、基準画像と参照画像とのサブピクセル単位のズレ量（つまり、ピーク位置のＸ軸方向の変位）を算出する。
　ここで、高精度フィルタ部１０５における処理の概念について説明する。
　図８は、高精度フィルタ部の処理の概念の説明に供する図である。図８において、基準画像に対するサブピクセル単位推定用窓関数ｗ（ｍ）としては、縦軸が１ピクセルで、横軸が“Ｋ－Ｊ”ピクセルのサイズを持つハニング窓が用いられている。そして、ｍは、Ｊ以上Ｋ以下の整数である。そして、サブピクセル単位推定用窓関数ｗ（ｍ）は、基準点（ｘａ，ｙａ）を中心に設定される。これにより、サブピクセル推定用単位基準画像として、基準点（ｘａ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ－Ｊ”ピクセルである画像が切り出される。また、ｆ’（ｍ）は、サブピクセル推定用単位基準画像の輝度値を表している。
　一方、参照画像に対するサブピクセル単位推定用シフト窓関数ｗ（ｍ）としては、縦軸が１ピクセルで、横軸が“Ｋ－Ｊ”ピクセルのサイズを持ち、且つ、サブピクセル単位推定用窓関数ｗ（ｍ）がピーク位置検出部１０４において算出されたサブピクセル単位のズレ量分シフトされた、ハニング窓が用いられている。そして、サブピクセル単位推定用シフト窓関数ｗ（ｍ）は、対応点（ｘａ＋ｎ，ｙａ）を中心に設定される。これにより、サブピクセル推定用単位参照画像として、対応点（ｘａ＋ｎ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ－Ｊ”ピクセルである画像が切り出される。
　図９は、窓関数シフト部４１１の処理の概念の説明に供する図である。図９（ａ）は、切り出される範囲（例えば、１５ピクセル）における基準画像の輝度信号と、切り出される範囲における参照画像の輝度信号とを示す。すなわち、図９（ａ）には、１５ピクセル分の基準画像及び参照画像それぞれの、各ピクセルにおける輝度値がプロットされている。図９（ｂ）は、フィルタ部１０３における、サブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像の切り出しのためのサブピクセル単位推定用窓関数を示す。
　図９（ｃ）は、図９（ａ）において示された基準画像及び参照画像に、図９（ｂ）において示されたサブピクセル単位推定用窓関数を掛け合わせた結果を示す。すなわち、図９（ｃ）は、サブピクセル単位推定用窓関数を掛けたことで端点での不連続性の影響が低減された輝度信号を示す。図９（ｄ）は、高精度フィルタ部１０５における、サブピクセル推定用基準画像切り出しのためのサブピクセル単位推定用窓関数とサブピクセル推定用参照画像切り出しのためのサブピクセル単位推定用シフト窓関数を示す。ここで、サブピクセル単位推定用窓関数とサブピクセル単位推定用シフト窓関数とのズレ量（つまり、サブピクセル単位推定用シフト窓関数に与えられているシフト量）は、図９（ｃ）における、基準画像に対してサブピクセル単位推定用窓関数が掛け合わされた結果（画像切り出し部４０２が出力するサブピクセル推定用基準画像）と、参照画像に対してサブピクセル単位推定用窓関数が掛け合わされた結果（画像切り出し部４０２が出力するサブピクセル推定用参照画像）との間の位相差に対応する。
　図９（ｅ）は、図９（ａ）において示された基準画像及び参照画像に、サブピクセル単位推定用窓関数及びサブピクセル単位推定用シフト窓関数をそれぞれ掛け合わせた結果（画像切り出し部４０２が出力するサブピクセル推定用基準画像と、画像切り出し部４１２が出力するサブピクセル推定用基準画像）を示す。
　図１０は、窓関数シフト部４１１の処理による効果の説明に供する図である。図１０において、横軸は、窓関数として用いられるsin関数の周期を表し、縦軸は、視差の真値と、算出された基準画像と参照画像とのサブピクセル単位のズレ量との差分値を表す。
　図１０においてプロットされた「◆」によって形成される曲線１００１は、図９（ｃ）に示された、サブピクセル単位推定用窓関数を掛け合わせることによって基準画像から切り出された、サブピクセル推定用単位基準画像の画素データ列と、サブピクセル単位推定用窓関数を掛け合わせることによって参照画像から切り出された、サブピクセル推定用単位参照画像の画素データ列とに基づいて行われたピーク位置検出の結果を示す。
　一方、図１０においてプロットされた「▲」によって形成される曲線１００２は、図９（ｅ）に示された、サブピクセル単位推定用窓関数を掛け合わせることによって基準画像から切り出された、サブピクセル推定用単位基準画像の画素データ列と、サブピクセル単位推定用シフト窓関数を掛け合わせることによって参照画像から切り出された、サブピクセル推定用単位参照画像の画素データ列とに基づいて行われたピーク位置検出の結果を示す。
　図１０の曲線１００１と曲線１００２からわかるように、サブピクセル単位推定用窓関数をシフトしない場合には、算出されるサブピクセル単位のズレ量と真値との差分値（誤差）が大きくなるのに対して、サブピクセル単位推定用窓関数をシフトする場合には、算出されるサブピクセル単位のズレ量と真値との差分値（誤差）がほぼ０に近くなっている。すなわち、サブピクセル単位推定用窓関数のシフトによって、算出されるサブピクセル単位のズレ量の精度を改善することができる。
　このようにサブピクセル単位推定用窓関数をシフトしない場合とサブピクセル単位推定用窓関数をシフトする場合とで、真値との誤差に差が生じる理由は、次の通りである。
　図９（ａ）で示す基準画像と参照画像は、画像マッチング部１０２において算出された「ズレ量ｎ」に基づいて参照される画像データ列である。画像マッチング部１０２において算出された「ズレ量ｎ」と真値との間には、最大０．５ピクセル、最小０ピクセルの誤差が存在する。誤差が最大となる場合（すなわち、誤差が０．５ピクセルの場合）に、基準画像及び参照画像の両方に対し、図９（ｂ）で示すような同じサブピクセル単位推定用窓関数が用いられると（つまり、基準画像に対して用いられる窓関数と参照画像に対して用いられる窓関数との間のシフト間隔をゼロとすると）、真値との差である０．５ピクセルよりも、基準画像及び参照画像の両方に対して用いられる窓関数の位相差が０ピクセルであることによる影響を大きく受けたサブピクセル単位のズレが算出されてしまう。このため、図１０に示すように、算出されるサブピクセル単位のズレと真値との間に差分値（誤差）が発生する。
　一方、「ズレ量ｎ」と真値との間の誤差に対応するシフト間隔が与えられた、サブピクセル単位推定用窓関数及びサブピクセル単位推定用シフト窓関数のペア（図９（ｄ）参照）を用いる場合には、「ズレ量ｎ」と真値との間の誤差に応じた画像切り出しを行うことができる。このように切り出された画像データを用いて算出されたサブピクセル単位のズレはより真値に近い値となり、図１０に示すように真値との差分値（誤差）を大幅に削減することができる。
　なお、サブピクセル単位推定用窓関数をシフトすることによる、視差算出精度の改善効果は、ピクセル単位の「ズレ量ｎ」と真値との誤差が大きい程大きくなる。また、ピクセル単位の「ズレ量ｎ」と真値との誤差は、カメラの基線長（ステレオカメラ間の距離）、レンズの焦点距離、及び、カメラと対象物との間の距離に依存する。
　また、窓関数シフト部４１１は、サブピクセル単位推定用窓関数をシフトした後、サブピクセル単位推定用シフト窓関数の係数を正規化しても良い。係数の正規化により、さらに視差算出の高精度化を図ることができる。係数を正規化されたサブピクセル単位推定用シフト窓関数は、例えば、次の式によって表される。
Figure JPOXMLDOC01-appb-M000003
　また、図６における、ステップＳ１８及びステップＳ２０の処理は、ステップＳ１２及びステップＳ１４と重複するので、省かれても良い。この場合には、ステップＳ１２及びステップＳ１４によって得られた逆位相フィルタをメモリ（図示せず）に保存しておき、ステップＳ２１では、この保存された逆位相フィルタが用いられても良い。このようにすることで、演算量を削減することができる。
　＜測距対象領域の終了判定処理＞
　ステップＳ９では、測距対象領域の終了判定処理が行われ、未だステップＳ１～ステップＳ８までの処理が行われていない未処理領域が存在する場合には、その未処理領域についてステップＳ１～ステップＳ８までの処理が行われる。
　以上のように本実施の形態によれば、ステレオ画像処理装置１００において、画像切り出し部４０２が基準画像及び参照画像からサブピクセル単位推定用窓関数を用いて、サブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像を切り出し、フィルタリング部４０３が、画像切り出し部４０２によって切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、サブピクセル推定用単位参照画像の輝度値からなるデータ列に対して逆位相フィルタ係数を用いてフィルタリングし、ピーク位置検出部１０４が、フィルタリング手段のフィルタリング結果におけるピーク位置に基づいて、サブピクセル単位のズレ量を算出する。
　そして、窓関数シフト部４１１が、ピーク位置検出部１０４によって算出されたサブピクセル単位のズレ量に基づいて、サブピクセル単位推定用窓関数をシフトすることによりサブピクセル単位推定用シフト窓関数を形成し画像切り出し部４１２に設定する。
　そして、画像切り出し部４１２が、サブピクセル単位推定用窓関数を用いて、サブピクセル推定用単位基準画像を基準画像から切り出し、窓関数シフト部４１１によって設定されたサブピクセル単位推定用シフト窓関数を用いて、参照画像からサブピクセル推定用単位参照画像を切り出し、フィルタリング部４１３が、画像切り出し部４１２によって切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、サブピクセル推定用単位参照画像の輝度値からなるデータ列に対して逆位相フィルタ係数を用いてフィルタリングし、ピーク位置検出部１０６が、フィルタリング手段のフィルタリング結果におけるピーク位置に基づいて、サブピクセル単位のズレ量を算出する。
　こうすることで、「ズレ量ｎ」と真値との間の誤差に応じた画像切り出しを行うことができる。このように切り出された画像データを用いて算出されたサブピクセル単位のズレはより真値に近い値となり、結果として、視差算出精度を向上させることができる。
　［実施の形態２］
　実施の形態２では、高精度フィルタ処理の前に、当該高精度フィルタ処理を実行するか否かの判定を行い、当該判定結果に応じて、高精度フィルタ処理を実行する。
　［ステレオ画像処理装置９００の構成］
　図１１は、本発明の実施の形態２に係るステレオ画像処理装置９００の構成を示す。図１１において、ステレオ画像処理装置９００は、高精度フィルタ実行判定部９０１と、出力部９０２とを有する。
　高精度フィルタ実行判定部９０１は、ピーク位置検出部１０４にて算出された、サブピクセル単位のズレ量に応じて、高精度フィルタ部１０５及びピーク位置検出部１０６の処理を実行させるか否かを判定する。ピーク位置検出部１０４にて算出されたサブピクセル単位のズレ量は、ゼロから最大値までの間のいずれかの値をとる。そして、ゼロから基準値までの範囲が、「不実行領域」とされ、基準値から最大値までの範囲が、「実行領域」とされる。ここで、基準値は運用時に処理時間と要求される視差の精度とのトレードオフで決定すればよい。例えば、視差についてはそれほど高い精度が要求されないが、処理時間を短くしたいという場合には、基準値を高めの値とすればよい。
　高精度フィルタ実行判定部９０１は、ピーク位置検出部１０４にて算出されたサブピクセル単位のズレ量の値が「不実行領域」及び「実行領域」のいずれに属しているかを判定する。そして、「不実行領域」に属していると判定される場合には、高精度フィルタ実行判定部９０１は、ピーク位置検出部１０４から出力されたサブピクセル単位のズレ量を、出力部９０２へ出力する。一方、「実行領域」に属していると判定される場合には、高精度フィルタ実行判定部９０１は、ピーク位置検出部１０４から出力されたサブピクセル単位のズレ量を、高精度フィルタ部１０５へ出力する。
　出力部９０２は、高精度フィルタ実行判定部９０１又はピーク位置検出部１０６から出力されたサブピクセル単位のズレ量を出力する。
　［ステレオ画像処理装置９００の動作］
　図１２は、実施の形態２に係るサブピクセル単位演算処理の詳細を示すフロー図である。図６に示されるフロー図と比べて、図１２に示されるフロー図では、高精度フィルタ実行判定のステップＳ３１が設けられている。
　ステップＳ３１では、高精度フィルタ実行判定部９０１は、ピーク位置検出部１０４にて算出された、サブピクセル単位のズレ量に応じて、高精度フィルタ部１０５及びピーク位置検出部１０６の処理を実行させるか否かを判定する。
　実行すると判定される場合（ステップＳ３１：Ｙｅｓ）には、ステップＳ１７～ステップＳ２２の処理が実行される。
　一方、実行しないと判定される場合（ステップＳ３１：Ｎｏ）には、図１２に示されるフローが終了する。
　ここで、上述のように、サブピクセル単位推定用窓関数をシフトすることによる、視差算出精度の改善効果は、ピクセル単位の「ズレ量ｎ」と真値との誤差が大きい程大きくなる。従って、高精度フィルタ実行判定部９０１が、ピーク位置検出部１０４にて算出された、サブピクセル単位のズレ量に基づく判定により、視差算出精度の改善効果が大きい場合にのみ高精度フィルタ部１０５及びピーク位置検出部１０６の処理を実行させることができる。これにより、視差算出精度の改善効果が小さい場合には、高精度フィルタ部１０５及びピーク位置検出部１０６を省くことができるので、演算量を削減することができる。
　［他の実施の形態］
　（１）上記各実施の形態では、画像切り出し部４０２と画像切り出し部４１２、フィルタリング部４０３とフィルタリング部４１３、及びピーク位置検出部１０４とピーク位置検出部１０６を、別個の機能部として説明を行った。しかしながら、本発明はこれに限定されるものではなく、画像切り出し部４０２と画像切り出し４１２とを単一の機能部、フィルタリング部４０３とフィルタリング部４１３とを単一の機能部、ピーク位置検出部１０４とピーク位置検出部１０６とを単一の機能部としても良い。
　（２）上記各実施の形態では、ステップＳ１７、ステップＳ１９、ステップＳ２１及びステップＳ２２の処理は、１回に限らず、単純に複数回繰り返されても良いし、ステップＳ２２で検出されたサブピクセル単位のずれ量の値が基準値以下となるまで繰り返されても良い。これにより、さらに、視差検出精度を向上させることができる。この場合、２回目以降のステップＳ１７では、直前のステップＳ２２にて検出されたサブピクセル単位のずれ量分シフトされた窓関数がサブピクセル単位推定用シフト窓関数として用いられる。
　（３）上記各実施の形態では、画像マッチング部１０２で基準画像と参照画像とのズレ量が「ピクセル単位」で粗く検出され、その後に、ピーク位置検出部１０４によってズレ量が「サブピクセル単位」で細かく検出される場合について説明を行った。すなわち、２段階でズレ量が算出される場合について説明を行った。しかしながら、本発明はこれに限定されるものではなく、「ピクセル単位」での検出を行わず、直接「サブピクセル単位」でズレ量を算出する場合にも適用可能である。
　（４）上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連係においてソフトウェアでも実現することも可能である。
　（５）上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　２０１０年１２月２０日出願の特願２０１０－２８３６２２の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明のステレオ画像処理装置及びステレオ画像処理方法は、基線長方向の画像領域サイズが小さい対象物についても、高精度に視差を算出することができるものとして有用である。
　１００，９００　ステレオ画像処理装置
　１０１　ステレオ画像取得部
　１０２　画像マッチング部
　１０３　フィルタ部
　１０４，１０６　ピーク位置検出部
　１０５　高精度フィルタ部
　４０２，４１２　画像切り出し部
　４０３，４１３　フィルタリング部
　４１１　窓関数シフト部
　９０１　高精度フィルタ実行判定部
　９０２　出力部

Claims (4)

  1. 　ステレオ画像を構成する基準画像と参照画像とのサブピクセル単位のズレ量を算出するステレオ画像処理装置であって、
    　第１の窓関数を切り出し対象位置に適用して、前記基準画像からサブピクセル推定用単位基準画像を切り出し、前記第１の窓関数、又は、設定される第２の窓関数を適用して、前記参照画像からサブピクセル推定用単位参照画像を切り出す切り出し手段と、
    　前記切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列と、前記切り出されたサブピクセル推定用単位参照画像の輝度値からなるデータ列との位相差に基づいて、前記サブピクセル単位のズレ量を算出する算出手段と、
    　前記算出手段によって算出されたサブピクセル単位のズレ量に基づいて前記第１の窓関数をシフトすることにより形成した前記第２の窓関数を、前記切り出し手段に設定する窓関数設定手段と、
    　を具備するステレオ画像処理装置。
  2. 　前記算出手段は、前記切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、前記サブピクセル推定用単位参照画像の輝度値からなるデータ列に対して前記逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果におけるピーク位置に基づいて前記サブピクセル単位のズレ量を算出する、
    　請求項１に記載のステレオ画像処理装置。
  3. 　前記第１の窓関数によって切り出されたサブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像に基づいて算出された前記サブピクセル単位のズレ量に応じて、前記窓関数設定手段の処理を実行させるか否かを判定する判定手段、をさらに具備する請求項１に記載のステレオ画像処理装置。
  4. 　ステレオ画像を構成する基準画像と参照画像とのサブピクセル単位のズレ量を算出するステレオ画像処理方法であって、
    　第１の窓関数を切り出し対象位置に適用して、前記基準画像からサブピクセル推定用単位基準画像を切り出し、前記第１の窓関数、又は、設定される第２の窓関数を適用して、前記参照画像からサブピクセル推定用単位参照画像を切り出す切り出しステップと、
    　前記切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列と、前記切り出されたサブピクセル推定用単位参照画像の輝度値からなるデータ列との位相差に基づいて、前記サブピクセル単位のズレ量を算出する算出ステップと、
    　前記算出ステップによって算出されたサブピクセル単位のズレ量に基づいて前記第１の窓関数をシフトすることにより前記第２の窓関数を形成し設定する窓関数設定ステップと、
    　を具備するステレオ画像処理方法。
PCT/JP2011/007084 2010-12-20 2011-12-19 ステレオ画像処理装置及びステレオ画像処理方法 WO2012086173A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180040250.2A CN103080973B (zh) 2010-12-20 2011-12-19 立体图像处理装置及立体图像处理方法
EP11851244.1A EP2657901B1 (en) 2010-12-20 2011-12-19 Stereo image processing apparatus and stereo image processing method
JP2012549631A JP5891415B2 (ja) 2010-12-20 2011-12-19 ステレオ画像処理装置
US13/818,473 US9055284B2 (en) 2010-12-20 2011-12-19 Stereo image processing apparatus and stereo image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010283622 2010-12-20
JP2010-283622 2010-12-20

Publications (1)

Publication Number Publication Date
WO2012086173A1 true WO2012086173A1 (ja) 2012-06-28

Family

ID=46313465

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/007084 WO2012086173A1 (ja) 2010-12-20 2011-12-19 ステレオ画像処理装置及びステレオ画像処理方法

Country Status (5)

Country Link
US (1) US9055284B2 (ja)
EP (1) EP2657901B1 (ja)
JP (1) JP5891415B2 (ja)
CN (1) CN103080973B (ja)
WO (1) WO2012086173A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014049919A1 (ja) * 2012-09-27 2014-04-03 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法
EP2803944A3 (en) * 2013-05-14 2015-04-29 Ricoh Company, Ltd. Image Processing Apparatus, Distance Measurement Apparatus, Vehicle-Device Control System, Vehicle, and Image Processing Program
CN104903915A (zh) * 2013-01-14 2015-09-09 罗伯特·博世有限公司 用于监视车辆的周围环境的方法和设备以及用于实施紧急制动的方法
WO2021256020A1 (ja) * 2020-06-19 2021-12-23 日立Astemo株式会社 ステレオ画像処理装置及び距離測定方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6551743B2 (ja) * 2013-06-05 2019-07-31 ソニー株式会社 画像処理装置および画像処理方法
JP5999127B2 (ja) * 2014-03-12 2016-09-28 トヨタ自動車株式会社 画像処理装置
US20170048511A1 (en) * 2014-05-28 2017-02-16 Inuitive Ltd. Method for Stereoscopic Reconstruction of Three Dimensional Images
US9807313B2 (en) * 2015-01-02 2017-10-31 Intel Corporation Method and system of increasing integer disparity accuracy for camera images with a diagonal layout

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123141A (ja) 2006-11-09 2008-05-29 Yamatake Corp 対応点探索方法および３次元位置計測方法
WO2009096520A1 (ja) * 2008-02-01 2009-08-06 Konica Minolta Holdings, Inc. 対応点探索装置および対応点探索方法
WO2010113389A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP2010283622A (ja) 2009-06-04 2010-12-16 Ricoh Co Ltd 画像処理デバイス、カラー画像形成装置、画像処理方法、画像処理プログラム及び記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684890A (en) * 1994-02-28 1997-11-04 Nec Corporation Three-dimensional reference image segmenting method and apparatus
US20020012459A1 (en) * 2000-06-22 2002-01-31 Chips Brain Co. Ltd. Method and apparatus for detecting stereo disparity in sequential parallel processing mode
CN101356831B (zh) * 2005-11-30 2010-09-01 意大利电信股份公司 用于确定立体视觉中的分散视差场的方法
JP2008140360A (ja) * 2006-11-02 2008-06-19 Konica Minolta Holdings Inc 画像照合装置
EP2247733A2 (en) * 2008-01-31 2010-11-10 National Institute of Biological Sciences Plants having altered growth and/or development and a method for making the same
US8233730B1 (en) * 2008-04-22 2012-07-31 Marvell International Ltd. Filter bank based phase correlation architecture for motion estimation
JP5387905B2 (ja) * 2009-12-25 2014-01-15 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123141A (ja) 2006-11-09 2008-05-29 Yamatake Corp 対応点探索方法および３次元位置計測方法
WO2009096520A1 (ja) * 2008-02-01 2009-08-06 Konica Minolta Holdings, Inc. 対応点探索装置および対応点探索方法
WO2010113389A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP2010283622A (ja) 2009-06-04 2010-12-16 Ricoh Co Ltd 画像処理デバイス、カラー画像形成装置、画像処理方法、画像処理プログラム及び記録媒体

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014049919A1 (ja) * 2012-09-27 2014-04-03 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法
CN104685535A (zh) * 2012-09-27 2015-06-03 松下知识产权经营株式会社 立体图像处理装置和立体图像处理方法
JPWO2014049919A1 (ja) * 2012-09-27 2016-08-22 パナソニックＩｐマネジメント株式会社 ステレオ画像処理装置およびステレオ画像処理方法
CN104685535B (zh) * 2012-09-27 2017-11-28 松下知识产权经营株式会社 立体图像处理装置和立体图像处理方法
US10009594B2 (en) 2012-09-27 2018-06-26 Panasonic Intellectual Property Management Co., Ltd. Stereo image processing device and stereo image processing method
CN104903915A (zh) * 2013-01-14 2015-09-09 罗伯特·博世有限公司 用于监视车辆的周围环境的方法和设备以及用于实施紧急制动的方法
EP2803944A3 (en) * 2013-05-14 2015-04-29 Ricoh Company, Ltd. Image Processing Apparatus, Distance Measurement Apparatus, Vehicle-Device Control System, Vehicle, and Image Processing Program
WO2021256020A1 (ja) * 2020-06-19 2021-12-23 日立Astemo株式会社 ステレオ画像処理装置及び距離測定方法
JP2022001830A (ja) * 2020-06-19 2022-01-06 日立Astemo株式会社 ステレオ画像処理装置及び距離測定方法
JP7394709B2 (ja) 2020-06-19 2023-12-08 日立Astemo株式会社 ステレオ画像処理装置及び距離測定方法

Also Published As

Publication number Publication date
US20130147922A1 (en) 2013-06-13
JP5891415B2 (ja) 2016-03-23
EP2657901A4 (en) 2014-02-26
CN103080973A (zh) 2013-05-01
CN103080973B (zh) 2016-06-15
US9055284B2 (en) 2015-06-09
EP2657901A1 (en) 2013-10-30
EP2657901B1 (en) 2018-07-04
JPWO2012086173A1 (ja) 2014-05-22

Similar Documents

Publication Publication Date Title
JP5891415B2 (ja) ステレオ画像処理装置
JP5567179B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
JP5874039B2 (ja) ステレオ画像処理装置及びステレオ画像処理方法
JP6258209B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
EP2597421B1 (en) Stereo distance measurement apparatus and stereo distance measurement method
US9275463B2 (en) Stereo image processing device and stereo image processing method
JP5810314B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
US20090304266A1 (en) Corresponding point searching method and three-dimensional position measuring method
CA3206206A1 (en) Device and method for correspondence analysis in images
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
Chen et al. Recovering depth from a single image using spectral energy of the defocused step edge gradient
US11475233B2 (en) Image processing device and image processing method

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180040250.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11851244

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012549631

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13818473

Country of ref document: US

Ref document number: 2011851244

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE