WO2012060093A1 - ステレオ画像処理装置及びステレオ画像処理方法 - Google Patents

ステレオ画像処理装置及びステレオ画像処理方法 Download PDF

Info

Publication number
WO2012060093A1
WO2012060093A1 PCT/JP2011/006113 JP2011006113W WO2012060093A1 WO 2012060093 A1 WO2012060093 A1 WO 2012060093A1 JP 2011006113 W JP2011006113 W JP 2011006113W WO 2012060093 A1 WO2012060093 A1 WO 2012060093A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
reference image
pixel
stereo
Prior art date
Application number
PCT/JP2011/006113
Other languages
English (en)
French (fr)
Inventor
卓也 南里
健介 丸谷
黒河　久
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP11837747.2A priority Critical patent/EP2636993A4/en
Priority to US13/883,141 priority patent/US9148653B2/en
Priority to JP2012541745A priority patent/JP5874039B2/ja
Priority to CN201180052153.5A priority patent/CN103189715B/zh
Publication of WO2012060093A1 publication Critical patent/WO2012060093A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a stereo image processing apparatus and a stereo image processing method for calculating parallax from stereo images (standard image and reference image) obtained by photographing the same object.
  • a stereo image processing apparatus that calculates an image shift from two images (a base image and a reference image) obtained by photographing a target using a stereo camera and calculates a distance to the target based on the shift. It has been.
  • application of the stereo image processing device to an in-vehicle device that measures the distance to the vehicle and the pedestrian based on a stereo image including the vehicle and the pedestrian has been studied.
  • the camera interval is reduced and the parallax is reduced due to the miniaturization of the camera. Therefore, high-precision stereo matching is required.
  • a one-dimensional POC (Phase Only Correlation) method has been proposed as a method of high-precision stereo matching (stereo image processing parallax calculation) (see, for example, Patent Document 1).
  • a partial image one-dimensional image data string
  • the cut-out partial standard image and partial reference image are subjected to a one-dimensional Fourier transform and synthesized.
  • the synthesized image data is subjected to a one-dimensional inverse Fourier transform after the amplitude component is normalized. Thereby, a phase-only correlation coefficient is calculated, and an image shift amount (parallax) is calculated based on the correlation peak of the phase-only correlation coefficient.
  • An object of the present invention is to provide a stereo image processing apparatus and a stereo image processing method capable of calculating parallax with high accuracy for an object having a small image area in the baseline length direction.
  • a stereo image processing device is a stereo image processing device that calculates a deviation amount between a reference image that forms a stereo image and a reference image, and the first partial region in the reference image is N ( N is a natural number greater than or equal to 2), and M (M is a natural number greater than or equal to 2 and less than or equal to N) divided reference images are extracted, and the reference image corresponding to the first partial region in the reference image is extracted.
  • the extraction means for extracting M divided reference images obtained by dividing the second partial region into N and M data strings each of which is composed of luminance values in each divided reference image are connected in series.
  • a stereo image processing method is a stereo image processing method for calculating a deviation amount between a standard image constituting a stereo image and a reference image, and the first partial region in the standard image is N ( N is a natural number greater than or equal to 2) and M (M is a natural number greater than or equal to 2 and less than or equal to N) divided reference images, and the reference image corresponding to the first partial region in the reference image is extracted.
  • a data string is formed and M data strings each of which is composed of luminance values in each divided reference image are connected in series to form a second combined data string, and the first combined data string Reverse the data order of Calculating the antiphase filter coefficients by, filtered using the antiphase filter coefficients for the second combined data sequence, on the basis of the peak position in the filtering result, and calculates the shift amount.
  • the present invention it is possible to provide a stereo image processing apparatus and a stereo image processing method capable of calculating parallax with high accuracy for an object having a small image region size in the baseline length direction.
  • FIG. 1 is a block diagram showing a configuration of a stereo image processing apparatus according to Embodiment 1 of the present invention.
  • Block diagram showing the configuration of the filter unit Flow diagram for explaining the operation of the stereo image processing apparatus Diagram for explaining the processing of the image matching unit
  • Flow chart showing details of sub-pixel unit arithmetic processing Diagram for explaining the concept of subpixel unit arithmetic processing Diagram for explaining the concept of processing of the image combining unit The block diagram which shows the structure of the filter part which concerns on Embodiment 2 of this invention.
  • Flow chart showing details of sub-pixel unit arithmetic processing Diagram used to explain the concept of low-frequency component suppression processing The block diagram which shows the structure of the filter part which concerns on Embodiment 3 of this invention.
  • one pixel is one coordinate point, where the horizontal direction of the image is the X axis and the vertical direction of the image is the Y axis.
  • FIG. 1 shows a configuration of a stereo image processing apparatus 100 according to Embodiment 1 of the present invention.
  • the stereo image processing apparatus 100 includes a stereo image acquisition unit 101, an image matching unit 102, a filter unit 103, and a peak position detection unit 104.
  • the stereo image acquisition unit 101 acquires stereo images captured by two or more imaging systems (that is, cameras).
  • the stereo image includes a standard image and a reference image in which the same object (target) is captured by two different imaging systems.
  • a stereo image will be described as an image taken by two cameras whose baseline length direction substantially matches the horizontal direction.
  • the stereo image acquisition unit 101 is, for example, an input terminal in a circuit device.
  • the image matching unit 102 acquires a stereo image from the stereo image acquisition unit 101, and performs image matching processing on the reference image and the reference image, thereby corresponding to the reference image pixel level corresponding to the reference image. Extract points.
  • the image matching unit 102 calculates a “pixel level deviation amount n” between the standard image and the reference image.
  • the unit of “parallax” between the standard image and the reference image obtained by the peak position detection unit 104 described later is a sub-pixel. That is, in the image matching unit 102, the deviation between the standard image and the reference image is roughly detected in “pixel units”, and in the peak position detection unit 104, the deviation between the standard image and the reference image is in “sub-pixel units”. It is detected finely.
  • the image matching unit 102 cuts out a partial image (hereinafter referred to as “unit reference image”) including a “reference point” that is a predetermined pixel included in the reference image from the reference image. Further, the image matching unit 102 cuts out a plurality of partial images (hereinafter referred to as “unit reference images”) having the same size as the unit standard image from the reference images. The plurality of unit reference images are cut out from different positions in the reference image.
  • the parallax between the base image and the reference image occurs only in the baseline length direction of the camera. Accordingly, the image matching unit 102 changes the cutout position in the baseline length direction, and cuts out a plurality of unit reference images. Then, the amount of deviation between the position of the reference point in the reference image and the position of the corresponding point in the reference image is calculated as the amount of deviation n described above.
  • the image matching unit 102 specifies a unit reference image having a maximum matching degree with the unit standard image among the plurality of cut unit reference images.
  • one pixel corresponding to the “reference point” is a “pixel level corresponding point” in the reference image.
  • an index representing the degree of matching for example, a SAD (Sum of Absolute Differences) value that represents a luminance difference degree is used.
  • the filter unit 103 acquires a stereo image from the stereo image acquisition unit 101. Further, the filter unit 103 acquires the reference point and the shift amount n from the image matching unit 102.
  • the filter unit 103 calculates a filter coefficient based on the reference image, and performs a filtering process on the reference image using the calculated filter coefficient. That is, the filter unit 103 calculates a filter coefficient based on the reference image and the position of the reference point. Further, the filter unit 103 performs a filtering process around the corresponding point of the pixel level of the reference image using the calculated filter coefficient, and outputs the filtering result to the peak position detection unit 104.
  • the filter coefficient is referred to as an “antiphase filter coefficient”.
  • FIG. 2 shows the configuration of the filter unit 103.
  • the filter unit 103 includes an image cutout unit 401, an image combining unit 402, and a filtering unit 403.
  • the image cutout unit 401 cuts out a partial image composed of a plurality of pixel rows parallel to the baseline length direction of the stereo image and a plurality of pixel columns from the reference image as a unit reference image for subpixel estimation. Similarly, the image cutout unit 401 cuts out a partial image including the same pixel row and pixel column (same size) as the subpixel estimation unit reference image from the reference image as a subpixel estimation unit reference image.
  • the image cutout unit 401 outputs the subpixel estimation unit reference image and the subpixel estimation unit reference image to the image combination unit 402.
  • the image cutout unit 401 determines the cutout position of the image in the reference image so that the reference point is included in the unit reference image for subpixel estimation. In addition, the image cutout unit 401 determines the cutout position of the image so that the pixel-level corresponding points are included in the unit reference image for subpixel estimation.
  • the image cutout unit 401 converts an M-division unit reference image obtained by dividing the unit reference image into N (N is a natural number of 2 or more) M (M is 2 or more N). Extract the following natural numbers). Similarly, the image cutout unit 401 obtains an N-division unit reference image obtained by dividing the unit reference image into N (N is a natural number of 2 or more) from the unit reference image having the highest matching degree with the unit standard image. Extract M. That is, the sub-pixel estimation unit reference image is an N-divided unit reference image obtained by dividing the unit reference image into N parts in the Y-axis direction.
  • the unit reference image for subpixel estimation is an N-divided unit reference image obtained by dividing a unit reference image having the highest degree of matching with the unit standard image into N in the Y-axis direction. Further, the image cutout unit 401 sets the value of M and the value of N based on the shift amount n calculated by the image matching unit 102. Note that, in order to reduce the amount of calculation, the image cutout unit 401 may set the value of M and the value of N as constant.
  • the direction in which the sub-pixel estimation unit reference image and the sub-pixel estimation unit reference image are cut out is a direction parallel to the epipolar line of the stereo image.
  • the position where the sub-pixel estimation unit reference image (or sub-pixel estimation unit reference image) is cut out is a position shifted from the reference point (or corresponding point) vertically (that is, in the Y-axis direction).
  • the position to be cut out is not limited to the top and bottom, and may be any peripheral position of the reference point (or corresponding point) or may include the reference point (or corresponding point).
  • the extracted sub-pixel estimation unit reference image (sub-unit reference image) and sub-pixel estimation unit reference image (sub-unit reference image) are output to the image combining unit 402. Note that, in the sub-pixel estimation unit reference image sequence and the sub-pixel estimation unit reference image, each component data is arranged in order from data having a smaller X coordinate value to data having a larger value.
  • the image combining unit 402 receives the plurality of subpixel estimation unit reference images and the plurality of subpixel estimation unit reference images output from the image cutout unit 401 as inputs.
  • the image combining unit 402 forms a one-dimensional data string (hereinafter referred to as “combined reference image”) in which a plurality of unit reference images for subpixel estimation are combined in series.
  • the image combining unit 402 forms a one-dimensional data sequence (hereinafter referred to as “combined reference image”) in which a plurality of unit reference images for subpixel estimation are combined in series.
  • the filtering unit 403 calculates the antiphase filter coefficient by inverting the order of the pixel values of the combined reference image formed in the image combining unit 402. The order of the pixel values is reversed in the front-rear direction. Then, the filtering unit 403 performs a filtering process on the combined reference image using the calculated antiphase filter coefficient. Then, the filtering unit 403 outputs the result of the filtering process (hereinafter referred to as “filtering result”) to the peak position detection unit 104. Details of the filtering process will be described later.
  • the peak position detection unit 104 detects the relative positional relationship in which the degree of correlation between the combined reference image and the combined reference image is the highest in the filtering result received from the filter unit 103. Then, based on the acquired relative positional relationship, the peak position detection unit 104 has a parallax (deviation amount) between the sub-pixel estimation unit reference image and the corresponding point at the sub-pixel level in the sub-pixel estimation unit reference image with respect to the reference point. ) Is calculated.
  • the peak position detecting unit 104 calculates the amount of deviation by detecting the peak position in the filtering result.
  • the peak in the filtering result is a position where the filtering result becomes the maximum value.
  • the stereo image processing apparatus 100 includes a storage medium such as a CPU and a RAM, for example. In this case, each functional unit described above is realized by the CPU executing the control program.
  • FIG. 3 is a flowchart for explaining the operation of the stereo image processing apparatus 100.
  • the stereo image processing apparatus 100 sequentially moves the reference point in the entire reference image, and performs the following operations in steps S1 to S9. This is performed for all the pixels in the distance measurement target area.
  • step S ⁇ b> 1 the image matching unit 102 determines the position of a reference point to be analyzed in the distance measurement target region (hereinafter referred to as “analysis reference position”).
  • the image matching unit 102 cuts out a unit reference image from the reference image received from the stereo image acquisition unit 101.
  • the unit reference image is an image (image range) of a partial region based on the analysis reference position (that is, the reference point) determined in step S1.
  • the unit of the size of the unit reference image is a pixel. That is, the unit reference image is an image of a plurality of pixel rows (pixel rows) ⁇ a plurality of pixel columns (pixel columns).
  • step S3 the image matching unit 102 determines a search range and a search start position in the reference image based on the analysis reference position determined in step S2.
  • the parallax of the stereo image is calculated based on the baseline length, which is the distance between the cameras, the focal length of the lens, and the distance from the stereo camera to the object. Therefore, the search range is determined based on the distance from the stereo camera to the object to be measured.
  • the search start position in the reference image may be set to the same coordinates as the standard point in the standard image.
  • step S4 the image matching unit 102 determines a cutout reference position, and cuts out a unit reference image having the same size as the unit reference image from the reference image.
  • the image matching unit 102 determines the search start position determined in step S3 as, for example, the first cutout reference position, and thereafter moves the cutout reference position.
  • step S5 the image matching unit 102 calculates a matching degree between the unit standard image and the unit reference image.
  • this matching degree for example, an SAD value or a luminance similarity indicating a luminance dissimilarity is used.
  • step S6 the image matching unit 102 performs a process end determination process for the search range. That is, the image matching unit 102 determines whether or not the search range is covered by moving the cutout reference position. If it is determined here that the search range has not ended (step S6: No), the image matching unit 102 returns to step S4. As a result, the image matching unit 102 moves the cutout reference position within the search range so that the cutout region of the unit reference image in step S4 is shifted. In this way, the processing from steps S4 to S6 is repeated until the search for the search range is completed (step S6: Yes).
  • step S7 the image matching unit 102 specifies the position of the unit reference image having the maximum matching degree based on the plurality of matching degrees obtained by the processes in steps S4 to S6.
  • the image matching unit 102 specifies a unit reference image having the minimum or minimum brightness difference.
  • step S2 to step S7 will be specifically described with reference to FIG.
  • the image matching unit 102 cuts out a peripheral partial image centering on the analysis reference position (reference point) (xa, ya) as a unit reference image in the above-described step S2.
  • a rectangular window having a predetermined size (vertical size: wv pixel, horizontal size: wh pixel) is used for cutting out the unit reference image.
  • the center of the rectangular window defined by the window function is described as being coincident with the analysis reference position.
  • the analysis reference position does not have to be exactly the center, and the analysis reference position exists near the center of the rectangular window. If you do.
  • the image matching unit 102 determines a search range and a search start position in the reference image based on the analysis reference position determined in step S1. For example, the same coordinates (xa, ya) as the analysis reference position in the reference image are used as the search start position (initial coordinates for cutting out the unit reference image in the reference image).
  • the image matching unit 102 cuts out a peripheral partial image centering on the search start position as a unit reference image from the reference image in step S4 while sequentially shifting the cutout reference position. The cutout reference position is shifted by one pixel here.
  • the same rectangular window as the rectangular window used for extracting the unit standard image is used.
  • the same coordinates (xa, ya) as the analysis reference position in the reference image are used as the initial coordinates of the extraction reference position in the reference image.
  • the image matching unit 102 calculates the matching degree between the unit standard image and each unit reference image in step S5 described above.
  • this matching degree for example, an SAD value indicating the luminance difference degree is used. This SAD value is calculated by the following equation (1).
  • step S6 if it is determined in step S6 that the search range has not been completed, the image matching unit 102 shifts the position to be extracted and returns to step S4, where a new unit reference is made. Cut an image from a reference image.
  • the position to be cut out is shifted by one pixel.
  • the position to be cut out is shifted in the X-axis direction from the coordinates (xa, ya) of the reference image.
  • the image matching unit 102 calculates the SAD value of each of the plurality of unit reference images for one unit standard image. Then, in step S7, the image matching unit 102 specifies a unit reference image having the maximum matching degree based on the plurality of matching degrees obtained by the process of step S5. Specifically, the image matching unit 102 specifies, for example, a unit reference image corresponding to the smallest SAD value among the plurality of SAD values. Assuming that the coordinates of the cut-out reference position of the specified unit reference image are (xa + n, ya), n is a shift amount in pixel units.
  • the image matching unit 102 sets the cutout reference position where the SAD value is minimum as the corresponding point at the pixel level of the analysis reference position (reference point).
  • the SAD value is used as an index of matching degree.
  • the present invention is not limited to this, and any one that can be used as an index of matching degree can be used.
  • SSD Squared Differences
  • step S8 of FIG. 3 the filter unit 103 and the peak position detection unit 104 perform sub-pixel units based on the pixel level corresponding points obtained in step S7 and the reference image and reference image received from the stereo image acquisition unit 101. Perform arithmetic processing.
  • FIG. 5 is a flowchart showing details of the subpixel unit arithmetic processing.
  • FIG. 6 is a diagram for explaining the concept of subpixel unit arithmetic processing.
  • step S12 the image cutout unit 401 of the filter unit 103 cuts out a plurality of sub-pixel estimation unit reference images from the unit reference image. That is, the image cutout unit 401 divides the unit reference image into N (N is a natural number of 2 or more) N division unit reference images (hereinafter referred to as “subpixel estimation unit reference images”). M) (M is a natural number between 2 and N).
  • the unit of the size of the unit reference image for subpixel estimation is a pixel.
  • the positions at which the plurality of subpixel estimation unit reference images are cut out are positions that are shifted in the vertical direction from the reference point.
  • the direction of cutting out the plurality of sub-pixel estimation unit reference images is the X-axis direction that is parallel along the epipolar line. That is, the sub-pixel estimation unit reference image is an N-divided unit reference image obtained by dividing the unit reference image into N parts in the Y-axis direction.
  • the position where the unit reference image for subpixel estimation is cut out is not limited to the top and bottom, and may be any peripheral position of the reference point (or corresponding point) or may include the reference point (or corresponding point).
  • the reason why the image cutout unit 401 cuts out from the reference point in the vertical direction is that the object for distance measurement has a vertically long shape like a pedestrian.
  • the target object has a shape that is inclined in an oblique direction
  • the size of the unit reference image for subpixel estimation is desirably a design value that matches the size of the target on the image area.
  • a window function is used to cut out the unit reference image for subpixel estimation.
  • this window function for example, the window function w (m) of the Hanning window represented by the equation (2) is used.
  • a window function of a Hanning window is used, but the present invention is not limited to this, and a Hamming window, a Blackman window, a Kaiser window, or the like may be used as the window function. .
  • the window function is selected according to which of the characteristics (for example, frequency power characteristics, phase characteristics, cut-out edge continuity) of the unit reference image for subpixel estimation is important.
  • the image cutout process for estimating the parallax in units of subpixels it is important that the cutout image does not include noise. This is for accurately obtaining the deviation in sub-pixel units.
  • the image cut-out process in the image matching unit 102 is performed in units of pixels, for example, and therefore, the emphasis is on reducing the number of computations rather than accuracy. Therefore, the first window function used in the image matching unit 102 is a window function that simply cuts out image data.
  • the second window function used in the sub-pixel estimation unit reference image cut-out process has less noise. Therefore, the second window function is a function in which changes at both ends of the window are continuous compared to the first window function (that is, a function in which the first and last values of one period are zero). preferable.
  • the continuity of the unit reference image signal for subpixel estimation is maintained, and noise components due to clipping included in the characteristics of the antiphase filter described later can be reduced.
  • the first window function has a narrower main lobe than the second window function, The amplitude of the side lobe is large.
  • the second window function w (m) uses a Hanning window having a size of 1 pixel on the vertical axis and “KJ” pixels on the horizontal axis.
  • M is an integer from J to K.
  • the second window function w (m) is set around the reference point (xa, ya).
  • F ′ (m) represents the luminance value of the sub-pixel estimation unit reference image.
  • the vertical axis size is 1 pixel around the reference point (xa, ya + 1), and the horizontal axis
  • An image with a size of “KJ” pixels is cut out.
  • an example is shown in which two sub-pixel estimation unit reference images are cut out.
  • the number may not be two, but can be cut out similarly in the case of three or more.
  • step S ⁇ b> 13 the image cutout unit 401 determines that the unit reference image is divided into N pieces from the unit reference image having the highest degree of matching with the unit reference image detected in step S ⁇ b> 7 ( That is, M unit reference images for subpixel estimation are extracted.
  • N is a natural number of 2 or more
  • M is a natural number of 2 or more and N or less.
  • the same second window function as that in the case of the sub-pixel estimation unit reference image is also used for the cut-out process of the sub-pixel estimation unit reference image.
  • the second window function is set to the corresponding point (xa + n, ya).
  • an image having a vertical axis size of 1 pixel and a horizontal axis size of “KJ” pixels centered on the corresponding point (xa + n, ya) is extracted as a sub-pixel estimation unit reference image.
  • g ′ (m) represents the luminance value of the unit reference image for subpixel estimation.
  • the vertical axis size is 1 pixel around the corresponding point (xa, ya + 1), and the horizontal axis
  • An image with a size of “KJ” pixels is cut out.
  • an example in which two sub-pixel estimation unit reference images are cut out is shown, but the number is not limited to two, and the same can be cut out in the case of three or more.
  • the second window function w (m) having a size of 1 pixel on the vertical axis and “KJ” pixels on the horizontal axis is used, but this size is an example. It is not limited to this. For example, when the vertical size is 3 pixels, the above processing may be performed for each pixel, and the obtained results may be averaged.
  • the above-described processing may be performed for each vertical pixel, and the results for each of the plurality of pixels included in the vertical size may be weighted and averaged.
  • the weighting coefficient used in this case may be determined by a window function like a two-dimensional POC.
  • the image cutout unit 401 performs the above-described averaging. Then, the image cutout unit 401 converts each of the subpixel estimation unit reference image and the subpixel estimation unit reference image into a one-dimensional data string.
  • step S14 the image combining unit 402 converts the data sequence of the M sub-pixel estimation unit reference images (when converted into a one-dimensional data sequence by averaging or the like, the converted sub-pixel estimation unit) The data sequence of the reference image) is coupled in series. Thereby, the image combining unit 402 forms a one-dimensional data sequence (hereinafter referred to as “combined reference image data sequence”).
  • step S15 the image combining unit 402 converts the data sequence of M subpixel estimation unit reference images (when converted into a one-dimensional data sequence by averaging or the like, the converted subpixel estimation unit).
  • the data sequence of the reference image is coupled in series.
  • the image combining unit 402 forms a one-dimensional data sequence (hereinafter referred to as “combined reference image data sequence”).
  • FIG. 7 is a diagram for explaining the concept of processing of the image combining unit 402.
  • FIG. 7A shows a state in which the sub-pixel estimation unit reference image is cut out from the reference image, and an image 701 in which the two sub-pixel estimation unit reference images are combined.
  • FIG. 7B shows a luminance signal of the data sequence (that is, the combined reference image data sequence) of the combined image 701 in FIG.
  • FIG. 7C shows a state in which the sub-pixel estimation unit reference image is cut out from the reference image, and the cut out two sub-pixel estimation unit reference images show the combined image 702.
  • FIG. 7D shows the luminance signal of the data sequence (that is, the combined reference image data sequence) of the combined image 702 in FIG. 7C.
  • each of the unit standard image and the unit reference image there is an image region in which the luminance value is frequently changed by a vertical line 703 (e.g., corresponding to a pedestrian to be measured) (that is, The case where a high-frequency component exists in the luminance signal is shown. It can be seen that a plurality of luminance value changes corresponding to the vertical lines 703 appear in the combined sub-pixel unit estimation unit reference image 701 and the combined sub-pixel estimation unit reference image 702.
  • the stereo image processing apparatus 100 can also use a plurality of pseudo-generated luminance value changes (low frequency components having a period corresponding to the window size) that are separated by about the window size. Can be improved.
  • the image combining unit 402 smoothly combines the end portions of the data strings of the images before combining the M sub-pixel estimation unit reference images (or the sub-pixel estimation unit reference images) in series. Therefore, the image data string end smoothing process may be performed. However, this is not necessary when a window function that smoothly cuts out the edge of the image data sequence, such as a Hanning window, is used to cut out a unit reference image for subpixel estimation (or a unit reference image for subpixel estimation). .
  • a window function that smoothly cuts out the edge of the image data sequence such as a Hanning window
  • step S16 the filtering unit 403 calculates antiphase filter coefficients from the combined reference image data sequence. Specifically, the filter unit 103 rearranges the data sequence in the reverse order so as to invert the position of each corresponding pixel in the combined reference image data sequence in the direction of the previous term.
  • step S ⁇ b> 17 the filtering unit 403 filters the combined reference image data sequence using the antiphase filter coefficient calculated in step S ⁇ b> 16 and outputs the filtering result to the peak position detection unit 104.
  • FIG. 15 is a schematic diagram for explaining the concept of filtering using antiphase filter coefficients.
  • the length (N) of the window function w (m) is 5 pixels.
  • the combined reference image data is “1, 2, 3, 4, 5”.
  • the combined reference image data x (m) is assumed to be “1, 2, 3, 4, 5”.
  • the pixel value used for filtering is a luminance value.
  • the filter unit 103 calculates “5, 4, 3, 2, 1” as the antiphase filter coefficient h (k).
  • the filter part 103 performs a filtering process with respect to joint reference image data using the anti-phase filter coefficient h (k), as shown in FIG.15 (B). Specifically, this filtering process is performed as follows. When the coordinate of an arbitrary constituent signal in the combined reference image data is k, the filter unit 103 applies the signal sequence having the constituent signal coordinates “k ⁇ 2, k ⁇ 1, k, k + 1, k + 2”. , And antiphase filter coefficient h (k). Thereby, the filter unit 103 performs a filtering process on the signal sequence, and calculates the sum of each multiplication result as the filtering result z (m). Here, m takes an integer value of 1 to 5.
  • the combined reference image data x (m) is “0, 0, 1, 2, 3, 4, 5, 0, 0 ".
  • the filter unit 103 obtains “26, 40, 55, 40, 26” as the filtering result z (m).
  • the anti-phase filter corresponds to a kind of so-called FIR filter and has a feature that it is a linear transition invariant system.
  • the linear transition invariant system is a system in which when the input signal is shifted, the output signal is shifted by the same amount as the input signal.
  • the parallax when obtaining the parallax of an object of the same size in real space, the parallax is smaller when the object is far from the stereo camera than when it is nearby, and the shift amount n in units of pixels is also smaller. At the same time, the image area size in the baseline length direction of the object is also reduced.
  • the tap length of the anti-phase filter is set according to the size of the shift amount n in units of pixels detected by the image matching unit 102. For example, when the shift amount n per pixel is small, the tap length of the antiphase filter is set to be short accordingly.
  • the stereo image processing apparatus 100 adaptively changes the tap length of the antiphase filter by changing the sizes of the sub-pixel estimation unit reference image and the sub-pixel estimation unit reference image with respect to the shift amount n. can do.
  • the filtering result is the output of the linear transition invariant system. Therefore, theoretically, the filtering result is the true deviation amount except for the distortion correction error of the lens, the error of gain noise caused by the image sensor such as CCD, and the error of the calculation accuracy of the image cutout by windowing. It is expressing. Therefore, the true peak position in the sub-pixel unit can be obtained by interpolating the numerical value between the pixels according to the sampling theorem for the output of the antiphase filter discretized in the pixel unit. This completes the description of the concept of filtering.
  • FIG. 16 is a schematic diagram illustrating an outline of an example of a peak position detection process using a sinc function.
  • the sinc function is a function defined by sin ( ⁇ x) / ⁇ x, and is a function used when returning the discretized sampling data to the original continuous data. It is proved by the sampling theorem that the original continuous data can be completely restored by performing a convolution operation between the sampled discrete data and the sinc function.
  • the peak position detection unit 104 performs a convolution operation on the discretized filtering result using a sinc function. Thereby, the peak position detection unit 104 can interpolate the signal data of the pixel unit interval, and derives the true peak position of the filtering result z (m) in which the signal data is theoretically interpolated even in the sub-pixel unit. be able to.
  • the peak position detection unit 104 detects the peak position by, for example, a binary search.
  • the peak position detection unit 104 calculates the value of the position C, which is the midpoint between the binary search reference point A and the binary search use point B, based on the sampling theorem, for example, using the following equation (4).
  • T is a sampling interval (pixel pitch).
  • the peak position detection unit 104 repeats the same process as described above, with the position C as a new binary search reference point.
  • the number of repetitions of this process can be set according to the required accuracy. That is, the peak position detection unit 104 may perform the above-described process once if the required subpixel accuracy is 1/2 pixel. In addition, the peak position detection unit 104 determines the number of repetitions according to the required sub-pixel accuracy, twice if the required sub-pixel accuracy is 1/4 pixel accuracy, and three times if the required sub-pixel accuracy is 1/8 pixel. That's fine.
  • the peak position detection unit 104 treats the finally obtained midpoint as the detected peak position ⁇ .
  • the peak position detection unit 104 may search for a peak position by a combination of a sinc function and a gradient method. That is, the peak position detection unit 104 can use various maximum value detection methods as long as the discretized filtering result is convolved with a sinc function to interpolate the signal data of the pixel unit interval.
  • the peak position detection unit 104 may detect the peak position using quadratic curve approximation. Thereby, the peak position detection part 104 can reduce the amount of calculations for peak position detection. In this case, the peak position detection unit 104 fits the discretized filtering result with a quadratic curve, and detects the position of the maximum value of the quadratic curve as the peak position. Thereby, the peak position detection part 104 can obtain
  • FIG. 17 is a schematic diagram showing an outline of an example of a peak position detection process using quadratic curve approximation.
  • the parallax of the analysis reference position in the reference image is obtained by adding the shift n in pixel units and the shift ⁇ ′ in subpixel units.
  • step S ⁇ b> 9 the image matching unit 102 performs a distance measurement target region end determination process. That is, the image matching unit 102 determines whether or not there is an unprocessed area in which the processes from Step S1 to Step S8 have not yet been performed in the entire reference image. If there is an unprocessed area (S9: No), the image matching unit 102 returns to step S1, shifts the analysis reference position, and performs the processes from step S1 to step S8 on the unprocessed area. Further, when there is no unprocessed area (S9: Yes), the image matching unit 102 ends the series of operations.
  • the image cutout unit 401 has the first partial region (here, the unit reference image) in the reference image as N (N is 2 or more). Natural number) M (M is a natural number between 2 and N) divided reference images. Further, the image cutout unit 401 extracts M divided reference images obtained by dividing the second partial region (here, the unit reference image) corresponding to the first partial region into N in the reference image. Then, the image combining unit 402 serially connects M data strings each of which includes a luminance value in each divided reference image, whereby a first combined data string (here, a combined reference image data string) is obtained.
  • N is 2 or more.
  • Natural number M M is a natural number between 2 and N divided reference images.
  • the image cutout unit 401 extracts M divided reference images obtained by dividing the second partial region (here, the unit reference image) corresponding to the first partial region into N in the reference image.
  • the image combining unit 402 serially connects M data strings each of which includes a luminance value in
  • the image combining unit 402 connects the M data strings each of which is a luminance value in each divided reference image in series, thereby connecting a second combined data string (here, a combined reference image data string).
  • a second combined data string here, a combined reference image data string.
  • the filtering unit 403 calculates an antiphase filter coefficient by inverting the data order of the first combined data string, and filters the second combined data string using the antiphase filter coefficient.
  • the peak position detection unit 104 calculates a deviation amount n based on the peak position in the filtering result of the filtering unit 403.
  • a plurality of pieces of information relating to changes in luminance values with a short width can be used simultaneously. Further, since there are a plurality of short-width luminance value changes separated by about the window size, a low-frequency component having a period corresponding to the window size can be used in a pseudo manner, so that the parallax calculation accuracy can be improved.
  • low frequency component suppression processing is performed as preprocessing for image cutout processing.
  • FIG. 8 shows the configuration of the filter unit 103 according to the second embodiment of the present invention.
  • the filter unit 103 includes a low frequency component suppression unit 501.
  • the low frequency component suppression unit 501 receives the standard image and the reference image acquired by the stereo image acquisition unit 101 as inputs, and relatively suppresses the amplitude of the low frequency component of the standard image and the reference image. Since the amplitude of the low frequency component only needs to be suppressed relative to the amplitude of the high frequency component, the low frequency component suppression unit 501 may emphasize the amplitude of the high frequency component.
  • FIG. 9 is a flowchart showing details of the sub-pixel unit arithmetic processing according to the second embodiment.
  • the low frequency component suppression unit 501 relatively suppresses the low frequency components of the unit standard image and the unit reference image. Since the amplitude of the low frequency component only needs to be suppressed relative to the amplitude of the high frequency component, the low frequency component suppression unit 501 may emphasize the amplitude of the high frequency component.
  • the amplitude enhancement process of the high-frequency component may use a general process, and can be realized by using, for example, a LoG (Laplacian of Gaussian) filter.
  • FIG. 10 is a diagram for explaining the concept of low-frequency component suppression processing.
  • 10A and 10B show a high-frequency luminance signal and frequency characteristics, respectively
  • FIGS. 10C and 10D show a low-frequency luminance signal and frequency characteristics, respectively.
  • T represents the window length (KJ) in FIG.
  • the luminance signal having a short period with respect to the cut-out width T by the window function as shown in FIG. 10A is a luminance signal having a spatial frequency of 1 / (2T) or more as shown in FIG. 10B.
  • a luminance signal having a period longer than the cut-out width T by the window function as shown in FIG. 10C is a luminance signal having a spatial frequency lower than 1 / (2T) as shown in FIG.
  • a criterion for determining whether 1 / (2T) is a high-frequency luminance signal to be emphasized or a low-frequency luminance signal to be suppressed that is, a determination threshold
  • a luminance signal having a period longer than the cut-out width T is a signal having a frequency that cannot be expressed in the cut-out width T. That is, a luminance signal having a cycle longer than the cutout width T is not expressed even in one cycle of the waveform in the cutout width T.
  • Such a luminance signal is a factor that degrades the accuracy of matching using frequency (that is, matching that focuses on the frequency component of the signal). Therefore, it is desirable to perform the subsequent cut-out process while suppressing the low frequency component as much as possible.
  • the low frequency component suppression unit 501 uses the image signal corresponding to the first partial area and the image signal corresponding to the second partial area.
  • the low frequency component is suppressed relative to the high frequency component.
  • the first partial area is a unit reference image
  • the second partial area is a unit reference image.
  • the low-frequency component suppression unit 501 is applied to a stereo image processing apparatus that does not include the image combining unit 402 (that is, calculates a parallax using one unit standard image and one unit reference image corresponding thereto). May be.
  • the filter unit may be provided with a low frequency component suppression unit that suppresses a low frequency component in each of the standard image and the reference image. good.
  • the image matching unit calculates a shift amount in pixel units between the base image and the reference image.
  • the filter unit calculates the anti-phase filter coefficient by inverting the data order of the data sequence composed of the luminance values in the standard image, and filters the reference image using the anti-phase filter coefficient.
  • FIG. 11 shows a configuration of the filter unit 103 according to the third embodiment of the present invention.
  • the filter unit 103 includes a high frequency component determination unit 601.
  • the high frequency component determination unit 601 receives the reference image and reference image in which the amplitude of the low frequency component is relatively suppressed in the low frequency component suppression unit 501, and the reference point and the shift amount n from the image matching unit 102, and Based on these, it is determined whether or not the subsequent processing is to be executed. Specifically, this determination is performed according to the magnitude of the amplitude of the high frequency component of the image data sequence at the reference point of the reference image and the amplitude of the high frequency component of the image data sequence at the corresponding point of the reference image. Is done.
  • the corresponding point of the reference image is a point that is shifted from the same coordinates as the reference point in the reference image by a shift amount n.
  • the subsequent processing is processing in the image cutout unit 401, the image combining unit 402, the filtering unit 403, and the peak position detecting unit 104 here.
  • FIG. 12 is a flowchart showing details of the sub-pixel unit arithmetic processing according to the third embodiment.
  • step S31 the high frequency component determination unit 601 determines the reference image and reference image in which the amplitude of the low frequency component is relatively suppressed in the low frequency component suppression unit 501, the reference point and the shift amount n from the image matching unit 102, and the like. Enter. Then, based on these, the high frequency component determination unit 601 determines whether or not to execute subsequent processing. Specifically, this determination is performed according to the magnitude of the amplitude of the high frequency component of the image data sequence at the reference point of the reference image and the amplitude of the high frequency component of the image data sequence at the corresponding point of the reference image. Is done.
  • the corresponding point of the reference image is a point that is shifted from the same coordinates as the reference point in the reference image by a shift amount n.
  • FIG. 13 is a diagram for explaining the concept of the high-frequency component determination processing.
  • FIGS. 13A and 13B respectively show a high-frequency luminance signal and frequency characteristics after low-frequency component suppression
  • FIGS. 13C and 13D show low-frequency luminance signals after low-frequency component suppression. And frequency characteristics respectively.
  • frequency conversion processing such as Fourier transform may be used, and in order to reduce the amount of calculation, the sum of absolute values of the luminance signal change rate is taken. Simple processing may be used.
  • a signal with a small high-frequency component is equivalent to a signal with zero parallax. That is, it is difficult to calculate an accurate parallax depending on a signal having a small amplitude of a high frequency component. Therefore, when the threshold value is less than the predetermined threshold value, it is possible to prevent unnecessary processing from being executed by terminating the sub-pixel unit calculation processing.
  • FIG. 14 is a diagram for explaining the concept of processing of the image combining unit 402.
  • FIG. 14A illustrates a state in which a sub-pixel estimation unit reference image is cut out from a reference image and a data string of a one-dimensional image in which two cut out sub-pixel estimation unit reference images are combined (that is, combined) Reference image data string).
  • FIG. 14B shows the luminance signal of the combined reference image data sequence.
  • FIG. 14C shows a state in which a sub-pixel estimation unit reference image is cut out from a reference image, and a one-dimensional image data string (that is, a combination) of two cut out sub-pixel estimation unit reference images. Reference image data string).
  • FIG. 14D shows the luminance signal of the combined reference image data sequence.
  • FIG. 14 shows a case where there is no high-frequency luminance value change in each of the unit standard image and the unit reference image (that is, there is almost no high-frequency component in the luminance signal).
  • each of the sub-pixel estimation unit reference image and the sub-pixel estimation unit reference image there is no frequent change in luminance value, and between the sub-pixel estimation unit reference images or the sub-pixel estimation unit.
  • the luminance value changes between reference images that is, the luminance value in the Y-axis direction (vertical direction) changes.
  • the parallax between the unit pixel image for subpixel estimation and the unit reference image for subpixel estimation (the phase difference between the luminance signal of the unit pixel image for subpixel estimation and the luminance signal of the unit reference image for subpixel estimation) Becomes pseudo zero. For this reason, it is impossible to calculate the correct parallax, which is a major factor in degrading the parallax calculation accuracy. For this reason, it is preferable that such a low frequency component is deleted in the high frequency determination process before performing the image combining process.
  • the high-frequency component determination unit 601 performs the image clipping unit 401, the image combining unit 402, the filtering unit 403, and the peak position detection only in the following cases.
  • the processing of the unit 104 is executed.
  • the amplitude of the high frequency component in the image signal corresponding to the first partial region (here, the unit reference image) and the image signal corresponding to the second partial region (here, the unit reference image) is This is the case where the threshold value is exceeded.
  • the high frequency component determination unit 601 is applied to the filter unit 103 according to the second embodiment.
  • the present invention is not limited to this, and the filter unit 103 according to the first embodiment is not limited thereto.
  • the high frequency component determination unit 601 may be applied.
  • the image matching unit 102 roughly detects the deviation between the standard image and the reference image in “pixel units”, and then the peak position detection unit 104 detects the deviation in “subpixel units”.
  • the case where it was detected finely was described. That is, the case where the deviation is calculated in two stages has been described.
  • the present invention is not limited to this, and can be applied to the case where the deviation is calculated in one step.
  • Each functional block used in the description of each of the above embodiments is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. Although referred to as LSI here, it may be referred to as IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the stereo image processing apparatus and stereo image processing method of the present invention are useful as those capable of calculating parallax with high accuracy even when the target image area occupies only a small area on the captured image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

　対象物が撮像画像上で小さな領域しか占めない場合にも、視差を高精度に算出することができるステレオ画像処理装置及びステレオ画像処理方法を提供する。ステレオ画像処理装置１００において、画像切り出し部４０１が基準画像内の第１の部分領域がＮ（Ｎは、２以上の自然数）分割された分割基準画像をＭ（Ｍは、２以上Ｎ以下の自然数）個抽出すると共に、参照画像における第２の部分領域がＮ分割された分割参照画像をＭ個抽出する。画像結合部４０２が各データ列が各分割基準画像における輝度値から成るＭ個のデータ列を直列に連結して第１の画像データ列を形成すると共に、各データ列が各分割参照画像における輝度値から成るＭ個のデータ列を直列に連結して第２の画像データ列を形成する。フィルタリング部４０３及びピーク位置検出部１０４が第１及び第２の画像データ列に基づいて基準画像と参照画像との視差を算出する。

Description

ステレオ画像処理装置及びステレオ画像処理方法
　本発明は、同一の対象物を撮影したステレオ画像（基準画像と参照画像）から、視差を算出するステレオ画像処理装置及びステレオ画像処理方法に関する。
　従来から、ステレオカメラを用いて対象物を撮影した二つの画像（基準画像と参照画像）から画像のずれを算出し、そのずれに基づいて対象物までの距離を算出するステレオ画像処理装置が知られている。ステレオ画像処理装置は、例えば、車両及び歩行者を含むステレオ画像に基づいて、車両及び歩行者までの距離を測定する車載装置への適用が検討されている。ところが、近年、カメラの小型化によってカメラ間隔が小さくなり、視差も小さくなる。そのため、高精度なステレオマッチングが要求されている。
　従来、高精度なステレオマッチング（ステレオ画像処理の視差演算）の方式として、例えば、１次元ＰＯＣ（Ｐｈａｓｅ　Ｏｎｌｙ　Ｃｏｒｒｅｌａｔｉｏｎ）方式が提案されている（例えば、特許文献１参照）。１次元ＰＯＣ方式においては、基準画像及び参照画像からハニング窓を用いて部分画像（１次元画像データ列）が切り出される。切り出された部分基準画像及び部分参照画像は、１次元フーリエ変換が施されて、合成される。合成された画像データは、振幅成分が正規化された後に、１次元逆フーリエ変換が施される。これにより、位相限定相関係数が算出され、位相限定相関係数の相関ピークに基づいて、画像のズレ量（視差）が算出される。
特開２００８－１２３１４１号公報
　しかしながら、従来技術は、ステレオ画像において、基線長方向の画像領域サイズが小さい対象物（例えば、遠方の歩行者など）については、高精度に視差を算出することが困難であった。なぜなら、基線長方向の画像領域サイズが小さい場合、周辺領域の影響を低減するために１次元画像データ列を小さくする必要があるが、１次元画像データ列が小さいほど相関ピークの精度が低くなるからである。
　本発明は、基線長方向の画像領域が小さい対象物について、高精度に視差を算出することができるステレオ画像処理装置及びステレオ画像処理方法を提供することを目的とする。
　本発明の一態様のステレオ画像処理装置は、ステレオ画像を構成する基準画像と参照画像とのズレ量を算出するステレオ画像処理装置であって、前記基準画像内の第１の部分領域がＮ（Ｎは、２以上の自然数）分割された分割基準画像をＭ（Ｍは、２以上Ｎ以下の自然数）個抽出すると共に、前記基準画像内の前記第１の部分領域に対応する前記参照画像内の第２の部分領域がＮ分割された分割参照画像をＭ個抽出する抽出手段と、各データ列が各分割基準画像における輝度値から成るＭ個のデータ列を直列に連結することにより、第１の結合データ列を形成すると共に、各データ列が各分割参照画像における輝度値から成るＭ個のデータ列を直列に連結することにより、第２の結合データ列を形成する連結手段と、前記第１の結合データ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、前記第２の結合データ列に対して前記逆位相フィルタ係数を用いてフィルタリングするフィルタリング手段と、前記フィルタリング手段のフィルタリング結果におけるピーク位置に基づいて、前記ズレ量を算出する算出手段と、を具備する。
　本発明の一態様のステレオ画像処理方法は、ステレオ画像を構成する基準画像と参照画像とのズレ量を算出するステレオ画像処理方法であって、前記基準画像内の第１の部分領域がＮ（Ｎは、２以上の自然数）分割された分割基準画像をＭ（Ｍは、２以上Ｎ以下の自然数）個抽出すると共に、前記基準画像内の前記第１の部分領域に対応する前記参照画像内の第２の部分領域がＮ分割された分割参照画像をＭ個抽出し、各データ列が各分割基準画像における輝度値から成るＭ個のデータ列を直列に連結することにより、第１の結合データ列を形成すると共に、各データ列が各分割参照画像における輝度値から成るＭ個のデータ列を直列に連結することにより、第２の結合データ列を形成し、前記第１の結合データ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、前記第２の結合データ列に対して前記逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果におけるピーク位置に基づいて、前記ズレ量を算出する。
　本発明によれば、基線長方向の画像領域サイズが小さい対象物ついて、高精度に視差を算出することができるステレオ画像処理装置及びステレオ画像処理方法を提供することができる。
本発明の実施の形態１に係るステレオ画像処理装置の構成を示すブロック図 フィルタ部の構成を示すブロック図 ステレオ画像処理装置の動作説明に供するフロー図 画像マッチング部の処理の説明に供する図 サブピクセル単位演算処理の詳細を示すフロー図 サブピクセル単位演算処理の概念の説明に供する図 画像結合部の処理の概念の説明に供する図 本発明の実施の形態２に係るフィルタ部の構成を示すブロック図 サブピクセル単位演算処理の詳細を示すフロー図 低周波成分抑制処理の概念の説明に供する図 本発明の実施の形態３に係るフィルタ部の構成を示すブロック図 サブピクセル単位演算処理の詳細を示すフロー図 高周波成分判定処理の概念の説明に供する図 画像結合部の処理の概念の説明に供する図 逆位相フィルタ係数によるフィルタリングの概念を説明するための模式図 ｓｉｎｃ関数を用いたピーク位置検出の処理の一例の概要を示す模式図 二次曲線近似を用いたピーク位置検出の処理の一例の概要を示す模式図
　以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。なお、以下、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるものとして説明する。
　［実施の形態１］
　［ステレオ画像処理装置１００の構成］
　図１は、本発明の実施の形態１に係るステレオ画像処理装置１００の構成を示す。図１において、ステレオ画像処理装置１００は、ステレオ画像取得部１０１と、画像マッチング部１０２と、フィルタ部１０３と、ピーク位置検出部１０４とを有する。
　ステレオ画像取得部１０１は、２つ以上の撮像系（つまり、カメラ）で撮影されたステレオ画像を取得する。ステレオ画像には、２つの異なる撮像系によって同一対象物（ターゲット）が撮影された基準画像及び参照画像が含まれる。なお、本実施の形態において、ステレオ画像は、基線長方向が水平方向にほぼ一致する２つのカメラにより撮影された画像として説明する。なお、ステレオ画像取得部１０１は、例えば、回路装置における入力端子である。
　画像マッチング部１０２は、ステレオ画像取得部１０１からステレオ画像を取得し、基準画像及び参照画像に対して画像マッチング処理を行うことにより、基準画像の基準点に対応する、参照画像のピクセルレベルの対応点を抽出する。画像マッチング部１０２は、基準画像と参照画像との「ピクセルレベルのズレ量ｎ」を算出する。
　なお、後述するピーク位置検出部１０４において得られる、基準画像と参照画像との「視差」の単位はサブピクセルである。すなわち、画像マッチング部１０２において、基準画像と参照画像とのズレは、「ピクセル単位」で粗く検出され、ピーク位置検出部１０４において、基準画像と参照画像とのズレは、「サブピクセル単位」で細かく検出される。
　具体的には、画像マッチング部１０２は、基準画像に含まれる所定の１ピクセルである「基準点」を含む部分画像（以下、「単位基準画像」という）を基準画像から切り出す。また、画像マッチング部１０２は、単位基準画像と同一サイズである部分画像（以下、「単位参照画像」という）を参照画像から複数切り出す。複数の単位参照画像は、参照画像において、異なる位置から切り出される。
　ステレオカメラの場合、基準画像と参照画像との視差はカメラの基線長方向にしか発生しない。従って、画像マッチング部１０２は、基線長方向に切出し位置を変更して、複数の単位参照画像を切り出す。そして、基準画像における基準点の位置と、参照画像における対応点の位置とのズレ量が、上記したズレ量ｎとして算出される。
　そして、画像マッチング部１０２は、切り出された複数の単位参照画像のうち、単位基準画像とのマッチング度が最大となる単位参照画像を特定する。特定された単位参照画像において、「基準点」に対応する１ピクセルが、参照画像における「ピクセルレベルの対応点」である。マッチング度を表す指標としては、例えば、輝度相違度を意味するＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅｓ）値が用いられる。
　フィルタ部１０３は、ステレオ画像取得部１０１から、ステレオ画像を取得する。また、フィルタ部１０３は、画像マッチング部１０２から、基準点及びズレ量ｎを取得する。
　フィルタ部１０３は、基準画像に基づいてフィルタ係数を算出し、算出されたフィルタ係数を用いて参照画像に対するフィルタリング処理を行う。すなわち、フィルタ部１０３は、基準画像及び基準点の位置に基づいてフィルタ係数を算出する。更に、フィルタ部１０３は、算出されたフィルタ係数を用いて、参照画像のピクセルレベルの対応点周辺に対してフィルタリング処理を行い、フィルタリング結果をピーク位置検出部１０４へ出力する。なお、フィルタ係数は、「逆位相フィルタ係数」と呼ぶ。
　図２は、フィルタ部１０３の構成を示す。図２において、フィルタ部１０３は、画像切り出し部４０１と、画像結合部４０２と、フィルタリング部４０３とを有する。
　画像切り出し部４０１は、基準画像から、ステレオ画像の基線長方向に平行な複数の画素行と、複数の画素列とからなる部分画像を、サブピクセル推定用単位基準画像として切り出す。また、画像切り出し部４０１は、同様に、参照画像から、サブピクセル推定用単位基準画像と同一の画素行、画素列（同一サイズ）からなる部分画像を、サブピクセル推定用単位参照画像として切り出す。
　そして、画像切り出し部４０１は、サブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像を、画像結合部４０２へ出力する。
　なお、本実施の形態において、画像切り出し部４０１は、サブピクセル推定用単位基準画像に基準点が含まれるように、基準画像における画像の切り出し位置を決定する。また、画像切り出し部４０１は、サブピクセル推定用単位参照画像にピクセルレベルの対応点が含まれるように、画像の切り出し位置を決定する。
　具体的には、画像切り出し部４０１は、単位基準画像から、当該単位基準画像がＮ（Ｎは、２以上の自然数）個に分割されたＮ分割単位基準画像をＭ（Ｍは、２以上Ｎ以下の自然数）個抽出する。同様に、画像切り出し部４０１は、単位基準画像とのマッチング度が最も大きい単位参照画像から、当該単位参照画像がＮ（Ｎは、２以上の自然数）個に分割されたＮ分割単位参照画像をＭ個抽出する。すなわち、サブピクセル推定用単位基準画像は、単位基準画像がＹ軸の方向でＮ分割されたＮ分割単位基準画像である。また、サブピクセル推定用単位参照画像は、単位基準画像とのマッチング度が最も大きい単位参照画像がＹ軸の方向でＮ分割されたＮ分割単位参照画像である。また、画像切り出し部４０１は、Ｍの値及びＮの値を、画像マッチング部１０２で算出されたズレ量ｎに基づいて設定する。なお、演算量削減のため、画像切り出し部４０１は、Ｍの値及びＮの値を、一定として設定しても良い。
　サブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像を切り出す方向は、ステレオ画像のエピポーラ線に沿って平行な方向である。そして、サブピクセル推定用単位基準画像（又はサブピクセル推定用単位参照画像）を切り出す位置は、基準点（又は対応点）から上下（つまり、Ｙ軸方向）にずれた位置とする。ただし、切り出す位置は、上下に限らず、基準点（又は対応点）の任意の周辺位置でも良いし、基準点（又は対応点）を含んでも良い。
　そして、切り出されたサブピクセル推定用単位基準画像（サブ単位基準画像）とサブピクセル推定用単位参照画像（サブ単位参照画像）は、画像結合部４０２へ出力される。なお、サブピクセル推定用単位基準画像列及びサブピクセル推定用単位参照画像において、各構成データは、Ｘ座標の値が小さいデータから大きいデータの順に並ぶものとする。
　画像結合部４０２は、画像切り出し部４０１から出力された複数のサブピクセル推定用単位基準画像と複数のサブピクセル推定用単位参照画像を入力とする。そして、画像結合部４０２は、複数のサブピクセル推定用単位基準画像を直列に結合した１次元のデータ列（以下、「結合基準画像」という）を形成する。また、同様に、画像結合部４０２は、複数のサブピクセル推定用単位参照画像を直列に結合した１次元のデータ列（以下、「結合参照画像」という）を形成する。
　フィルタリング部４０３は、画像結合部４０２において形成された結合基準画像の各画素値の順序を反転させることにより、逆位相フィルタ係数を算出する。各画素値の順序は、前後方向で反転される。そして、フィルタリング部４０３は、算出した逆位相フィルタ係数を用いて、結合参照画像に対するフィルタリング処理を行う。そしてフィルタリング部４０３は、フィルタリング処理の結果（以下、「フィルタリング結果」という）をピーク位置検出部１０４へ出力する。なお、フィルタリング処理の詳細については後述する。
　図１に戻り、ピーク位置検出部１０４は、フィルタ部１０３から受け取るフィルタリング結果において、結合基準画像と結合参照画像との相関度が最も高くなる相対位置関係を検出する。そして、ピーク位置検出部１０４は、取得した相対位置関係に基づいて、サブピクセル推定用単位基準画像と、基準点に対するサブピクセル推定用単位参照画像におけるサブピクセルレベルの対応点との視差（ズレ量）を算出する。
　具体的には、ピーク位置検出部１０４は、フィルタリング結果におけるピークの位置を検出することにより、かかるズレ量を算出する。ここで、フィルタリング結果におけるピークとは、フィルタリング結果が最大値となる位置である。このサブピクセル単位のズレ量と、画像マッチング部１０２において算出されるピクセル単位のズレ量（上記したズレ量ｎ）を加算することにより、基準画像と参照画像と間の正確なズレ量が算出される。
　ステレオ画像処理装置１００は、例えば、ＣＰＵ、ＲＡＭなどの記憶媒体を有する。この場合、上述の各機能部は、ＣＰＵが制御プログラムを実行することにより実現される。
　［ステレオ画像処理装置１００の動作］
　以上の構成を有するステレオ画像処理装置１００の動作について説明する。なお、以下では、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるとして説明する。また、説明の便宜のため、エピポーラ線の方向（基線長方向）は、画像全体において、Ｘ軸に平行であるとする。
　図３は、ステレオ画像処理装置１００の動作説明に供するフロー図である。なお、以下では、基準画像におけるある１つの基準点についての処理を説明するが、ステレオ画像処理装置１００は、基準画像の全体で基準点を順次移動させ、以下のステップＳ１～Ｓ９の動作を、測距対象領域内の全ての画素について行う。
　＜分析基準位置決定処理＞
　ステップＳ１で、画像マッチング部１０２は、測距対象領域において分析の対象となる基準点の位置（以下、「分析基準位置」という）を決定する。
　＜単位基準画像の切り出し処理＞
　ステップＳ２で、画像マッチング部１０２は、ステレオ画像取得部１０１から受け取る基準画像から、単位基準画像を切り出す。単位基準画像は、ステップＳ１において決定された分析基準位置（つまり、基準点）を基準とした部分領域の画像（画像範囲）である。単位基準画像の大きさの単位は、ピクセルである。つまり、単位基準画像は、複数のピクセル行（画素行）×複数のピクセル列（画素列）の画像である。
　＜サーチ範囲及びサーチ開始位置の決定処理＞
　ステップＳ３で、画像マッチング部１０２は、ステップＳ２で決定された分析基準位置に基づいて、参照画像におけるサーチ範囲及びサーチ開始位置を決定する。ステレオ画像の視差は、カメラ間の距離である基線長と、レンズの焦点距離と、ステレオカメラから対象物までの距離とに基づいて算出される。従って、サーチ範囲は、ステレオカメラから測距の対象物までの距離に基づいて定まる。また、ステレオカメラから無限遠にある対象物は、基準画像及び参照画像において同じ位置に撮像されるため、参照画像におけるサーチ開始位置は基準画像における基準点と同じ座標を設定すればよい。
　＜単位参照画像の切り出し処理＞
　ステップＳ４で、画像マッチング部１０２は、切り出し基準位置を決定し、参照画像から、単位基準画像と同一サイズの単位参照画像を切り出す。画像マッチング部１０２は、ステップＳ３で決定されたサーチ開始位置を、例えば最初の切り出し基準位置に決定し、以降、切り出し基準位置を移動させていく。
　＜マッチング度の算出処理＞
　ステップＳ５で、画像マッチング部１０２は、単位基準画像と、単位参照画像とのマッチング度を算出する。このマッチング度には、例えば、輝度相違度を示すＳＡＤ値または輝度類似度が用いられる。
　＜サーチ範囲の終了判定処理＞
　ステップＳ６で、画像マッチング部１０２は、サーチ範囲に対する処理の終了判定処理を行う。すなわち、画像マッチング部１０２は、切り出し基準位置の移動によりサーチ範囲を網羅したか否かを判断する。ここでサーチ範囲が終了していないと判定される場合（ステップＳ６：Ｎｏ）、画像マッチング部１０２は、ステップＳ４へ戻る。この結果、画像マッチング部１０２は、ステップＳ４での単位参照画像の切り出し領域がずれるように切り出し基準位置をサーチ範囲内において移動させる。このようにして、ステップＳ４～Ｓ６までの処理は、サーチ範囲に対するが終了するまで（ステップＳ６：Ｙｅｓ）、繰り返される。
　＜マッチング度の最大位置＞
　ステップＳ７で、画像マッチング部１０２は、ステップＳ４～Ｓ６までの処理によって得られた複数のマッチング度に基づいて、マッチング度が最大となる単位参照画像の位置を特定する。マッチング度として輝度相違度が用いられている場合には、画像マッチング部１０２は、輝度相違度が極小ないし最小となる単位参照画像を特定する。
　ここで、ステップＳ２～ステップＳ７の処理を、図４を参照して具体的に説明する。
　図４に示すように、画像マッチング部１０２は、上述のステップＳ２において、分析基準位置（基準点）（ｘａ，ｙａ）を中心とした周辺の部分画像を、単位基準画像として切り出す。この単位基準画像の切り出しには、所定サイズ（縦サイズ：ｗｖピクセル、横サイズ：ｗｈピクセル）の矩形窓が用いられる。なお、ここでは、窓関数によって規定される矩形窓の中心と分析基準位置とを一致させるものとして説明を行うが、厳密に中心でなくても良く、矩形窓の中心付近に分析基準位置が存在していれば良い。
　次に、画像マッチング部１０２は、上述のステップＳ３において、ステップＳ１において決定された分析基準位置に基づいて、参照画像におけるサーチ範囲およびサーチ開始位置を決定する。サーチ開始位置（参照画像において単位参照画像を切り出す初期座標）は、例えば、基準画像における分析基準位置と同じ座標（ｘａ，ｙａ）が用いられる。次に、画像マッチング部１０２は図４に示すように、切り出し基準位置を順次ずらしながら、ステップＳ４において、サーチ開始位置を中心とした周辺の部分画像を参照画像から単位参照画像として切り出す。切り出し基準位置は、ここでは１ピクセルずつずらされる。この単位参照画像の切り出しには、単位基準画像の切り出しに用いられる矩形窓と同じ矩形窓が用いられる。また、参照画像における切り出し基準位置の初期座標は、基準画像における分析基準位置と同じ座標（ｘａ，ｙａ）が用いられる。
　そして、画像マッチング部１０２は、上述のステップＳ５において、単位基準画像と各単位参照画像とのマッチング度を算出する。このマッチング度には、例えば、輝度相違度を示すＳＡＤ値が用いられる。このＳＡＤ値は、次の式（１）によって算出される。
Figure JPOXMLDOC01-appb-M000001
　そして、図４に示すように、画像マッチング部１０２は、上述のステップＳ６において、サーチ範囲が修了していないと判定される場合には、切り出す位置をずらしてステップS４に戻り、新たな単位参照画像を参照画像から切り出す。切り出す位置は、ここでは１ピクセルずつずらされる。なお、図４において、参照画像の座標（ｘａ，ｙａ）からＸ軸方向に、切り出す位置がずらされる。　
　このようにして、画像マッチング部１０２は、１つの単位基準画像に対して、複数の単位参照画像それぞれのＳＡＤ値を算出する。そして、画像マッチング部１０２は、ステップＳ７で、ステップＳ５の処理によって得られた複数のマッチング度に基づいて、マッチング度が最大となる単位参照画像を特定する。具体的には、画像マッチング部１０２は、複数のＳＡＤ値の内で、例えば最小のＳＡＤ値に対応する単位参照画像を特定する。この特定された単位参照画像の切り出し基準位置の座標を（ｘａ＋ｎ、ｙａ）とすると、ｎは、ピクセル単位のズレ量となる。
　そして、画像マッチング部１０２は、ＳＡＤ値が最小となる切り出し基準位置を、分析基準位置（基準点）のピクセルレベルの対応点とする。なお、ここでは、マッチング度の指標としてＳＡＤ値を用いたが、本発明はこれに限定されるものではなく、マッチング度の指標として用いることができるものであれば代用することができる。例えば、マッチング度の指標として、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）が用いられても良い。以上で、ステップＳ２～Ｓ７の処理についての具体的な説明を終える。
　＜サブピクセル単位演算処理＞
　図３のステップＳ８で、フィルタ部１０３及びピーク位置検出部１０４は、ステップＳ７で得られたピクセルレベルの対応点と、ステレオ画像取得部１０１から受け取る基準画像及び参照画像に基づいて、サブピクセル単位演算処理を行う。
　図５は、サブピクセル単位演算処理の詳細を示すフロー図である。図６は、サブピクセル単位演算処理の概念の説明に供する図である。
　（サブピクセル推定用単位基準画像の切り出し処理）
　ステップＳ１２で、フィルタ部１０３の画像切り出し部４０１は、単位基準画像から複数のサブピクセル推定用単位基準画像を切り出す。すなわち、画像切り出し部４０１は、単位基準画像から、当該単位基準画像がＮ（Ｎは、２以上の自然数）個に分割されたＮ分割単位基準画像（以下、「サブピクセル推定用単位基準画像」という）をＭ（Ｍは、２以上Ｎ以下の自然数）個抽出する。
　サブピクセル推定用単位基準画像の大きさの単位は、ピクセルである。複数のサブピクセル推定用単位基準画像を切り出す位置は、基準点から上下方向にずれた位置である。また、複数のサブピクセル推定用単位基準画像を切り出す向きは、エピポーラ線に沿って平行であるＸ軸方向である。すなわち、サブピクセル推定用単位基準画像は、単位基準画像がＹ軸の方向でＮ分割されたＮ分割単位基準画像である。
　なお、サブピクセル推定用単位基準画像を切り出す位置は、上下に限らず、基準点（又は対応点）の任意の周辺位置でも良いし、基準点（又は対応点）を含んでも良い。
　画像切り出し部４０１が、基準点から上下方向にずれた位置で切り出すのは、測距の対象物が、歩行者のように縦長の形状をしているためである。例えば、対象物が斜め方向に傾いている形状であれば、複数のサブピクセル推定用単位基準画像は、斜め方向にずれた位置で切り出されることが望ましい。すなわち、複数のサブピクセル推定用単位基準画像は、ステレオカメラから同じ距離にある対象物が映り込んだ画像領域に対して、切り出されることが望ましい。また、サブピクセル推定用単位基準画像のサイズは、対象物の画像領域上でのサイズに合わせた設計値とすることが望ましい。
　また、サブピクセル推定用単位基準画像の切り出しには、窓関数が用いられる。この窓関数には、例えば、式（２）で表されるハニング窓の窓関数ｗ（ｍ）を用いられる。
Figure JPOXMLDOC01-appb-M000002
　なお、ここでは、ハニング窓の窓関数が用いられる場合について説明するが、本発明はこれに限定されるものではなく、窓関数として、ハミング窓、ブラックマン窓、カイザー窓などを用いてもよい。窓関数は、サブピクセル推定用単位基準画像の特性（例えば、周波数パワー特性、位相特性、切り出し端連続性）の内、どの特性を重要視するかに応じて選択されるからである。
　ここで、サブピクセル単位で視差を推定するための画像切り出し処理では、切り出された画像にノイズが含まれないことが重要である。これは、サブピクセル単位のズレを正確に求めるためである。一方、画像マッチング部１０２における画像切り出し処理は、例えば、ピクセル単位で行われるため、精度よりも演算回数を削減することに重きが置かれる。従って、画像マッチング部１０２で用いられる第１の窓関数には、単に画像データを切り出すだけの窓関数が用いられる。これに対して、サブピクセル推定用単位基準画像の切り出し処理で用いられる第２の窓関数は、ノイズが少ないことが重要視される。そのため、第２の窓関数は、第１の窓関数に比べて、窓の両端における変化が連続的である関数（つまり、１周期の最初及び最後の値がゼロである関数）であることが好ましい。
　このような第２の窓関数を用いることにより、サブピクセル推定用単位基準画像信号の連続性が保たれ、後述する逆位相フィルタの特性に含まれる、切り出しによるノイズ成分を低減することができる。なお、第１の窓関数と第２の窓関数とを周波数特性について比較すると、第１の窓関数の方が、第２の窓関数よりも、メインローブ（ｍａｉｎ－ｌｏｂｅ）の幅が狭く、サイドローブ（ｓｉｄｅ－ｌｏｂｅ）の振幅が大きい。
　図６において、第２の窓関数ｗ（ｍ）は、縦軸が１ピクセルで、横軸が“Ｋ－Ｊ”ピクセルのサイズを持つハニング窓が用いられている。そして、ｍは、Ｊ以上Ｋ以下の整数である。そして、第２の窓関数ｗ（ｍ）は、基準点（ｘａ，ｙａ）を中心に設定される。これにより、サブピクセル推定用単位基準画像として、基準点（ｘａ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ－Ｊ”ピクセルである画像が切り出される。また、ｆ’（ｍ）は、サブピクセル推定用単位基準画像の輝度値を表している。同様に、基準点（ｘａ，ｙａ＋１）を中心に設定された第２の窓関数ｗ（ｍ）を用いて、基準点（ｘａ，ｙａ＋１）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ－Ｊ”ピクセルである画像が切り出される。ここでは、２つのサブピクセル推定用単位基準画像を切り出す例を示すが、２つでなくともよく、３つ以上の場合も同様に切り出すことが可能である。
　（サブピクセル推定用単位参照画像の切り出し処理）
　ステップＳ１３において、画像切り出し部４０１は、ステップＳ７で検出された、単位基準画像とのマッチング度が最大となる単位参照画像から、当該単位参照画像がＮ個に分割されたＮ分割単位参照画像（つまり、サブピクセル推定用単位参照画像）をＭ個抽出する。ここで、Ｎは、２以上の自然数であり、Ｍは、２以上Ｎ以下の自然数である。サブピクセル推定用単位参照画像の切り出し処理にも、サブピクセル推定用単位基準画像の場合と同じ第２の窓関数が用いられる。
　ただし、第２の窓関数は、対応点（ｘａ＋ｎ、ｙａ）に設定される。これにより、サブピクセル推定用単位参照画像として、対応点（ｘａ＋ｎ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ－Ｊ”ピクセルである画像が切り出される。
　図６において、ｇ’（ｍ）は、サブピクセル推定用単位参照画像の輝度値を表している。同様に、対応点（ｘａ，ｙａ＋１）を中心に設定された第２の窓関数ｗ（ｍ）を用いて、対応点（ｘａ，ｙａ＋１）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ－Ｊ”ピクセルである画像が切り出される。ここでは、２つのサブピクセル推定用単位参照画像を切り出す例を示すが、２つでなくともよく、３つ以上の場合も同様に切り出すことが可能である。
　なお、以上の説明では、縦軸が１ピクセルで、横軸が“Ｋ－Ｊ”ピクセルのサイズを持つ第２の窓関数ｗ（ｍ）が用いられているが、このサイズは一例であり、これに限定されるものではない。例えば、縦サイズを３ピクセルとする場合には、１ピクセル毎に上記した処理を行い、得られた結果を平均しても良い。
　更に、例えば、縦サイズが複数のピクセルを含む場合、縦１ピクセルずつに上述した処理を行い、縦サイズに含まれる複数のピクセルごとの結果を重み付けして平均化しても良い。この場合に用いられる重み付け係数は、２次元ＰＯＣのように、窓関数によって決定されても良い。画像切り出し部４０１は、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像の縦サイズが２ピクセル以上である場合には、上記したような平均化などを行う。そして、画像切り出し部４０１は、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像それぞれを１次元のデータ列に変換する。
　（サブピクセル推定用単位基準画像結合処理）
　ステップＳ１４で、画像結合部４０２は、Ｍ個のサブピクセル推定用単位基準画像のデータ列（平均化などによって１次元のデータ列に変換されている場合には、変換後のサブピクセル推定用単位基準画像のデータ列）を直列に結合する。それにより、画像結合部４０２は、１次元のデータ列（以下、「結合基準画像データ列」という）を形成する。
　（サブピクセル推定用単位参照画像結合処理）
　ステップＳ１５で、画像結合部４０２は、Ｍ個のサブピクセル推定用単位参照画像のデータ列（平均化などによって１次元のデータ列に変換されている場合には、変換後のサブピクセル推定用単位参照画像のデータ列）を直列に結合する。それにより、画像結合部４０２は、１次元のデータ列（以下、「結合参照画像データ列」という）を形成する。
　図７は、画像結合部４０２の処理の概念の説明に供する図である。図７（ａ）は、基準画像からサブピクセル推定用単位基準画像が切り出される様子と、切り出された２つのサブピクセル推定用単位基準画像が結合された画像７０１を示す。図７（ｂ）は、図７（ａ）の結合された画像７０１のデータ列（つまり、結合基準画像データ列）の輝度信号を示す。図７（ｃ）は、参照画像からサブピクセル推定用単位参照画像が切り出される様子と、切り出された２つのサブピクセル推定用単位参照画像が結合画像７０２を示す。図７（ｄ）は、図７（ｃ）の結合された画像７０２のデータ列（つまり、結合参照画像データ列）の輝度信号を示す。
　また、図７では、単位基準画像及び単位参照画像のそれぞれにおいて、縦線７０３（例えば、測距する対象である歩行者に相当）によって輝度値の変化の頻度が高い画像領域が存在（つまり、輝度信号に高周波成分が存在）する場合が示されている。結合されたサブピクセル単位推定用単位基準画像７０１と結合されたサブピクセル推定用単位参照画像７０２には、縦線７０３に対応する輝度値変化が複数個現れていることが分かる。
　このように、ステレオ画像処理装置１００は、擬似的に発生させた、窓サイズ程度離れて複数存在する輝度値変化（窓サイズ相当周期の低周波成分）も利用することができるので、視差算出精度を向上させることができる。
　なお、画像結合部４０２は、Ｍ個のサブピクセル推定用単位基準画像（もしくは、サブピクセル推定用単位参照画像）を直列に結合する前に、各画像のデータ列の端部を滑らかに結合するための画像データ列端部平滑化処理を行っても良い。ただし、サブピクセル推定用単位基準画像（もしくは、サブピクセル推定用単位参照画像）を切り出す場合に、ハニング窓など画像データ列端部を滑らかに切り出す窓関数を使用している場合には必要としない。
　（逆位相フィルタ係数算出処理）
　ステップＳ１６で、フィルタリング部４０３は、結合基準画像データ列から逆位相フィルタ係数を算出する。具体的には、フィルタ部１０３は、結合基準画像データ列の対応する各画素の位置を、前項方向において反転させる形で、データ列を逆の順番に並べ換える。
　（フィルタリング処理）
　ステップＳ１７で、フィルタリング部４０３は、結合参照画像データ列をステップＳ１６で算出された逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果をピーク位置検出部１０４へ出力する。
　ここで、フィルタリングの概念について説明する。図１５は、逆位相フィルタ係数によるフィルタリングの概念を説明するための模式図である。図１５において、窓関数ｗ（ｍ）の長さ（Ｎ）は、５画素であるものとする。そして、結合基準画像データは、「１，２，３，４，５」であるものとする。また、結合参照画像データｘ（ｍ）も、「１，２，３，４，５」であるものとする。また、フィルタリングに用いる画素値は、輝度値であるものとする。
　結合基準画像データが「１，２，３，４，５」の場合、フィルタ部１０３は、逆位相フィルタ係数ｈ（ｋ）として、「５，４，３，２，１」を算出する。
　そして、フィルタ部１０３は、図１５（Ｂ）に示すように、逆位相フィルタ係数ｈ（ｋ）を用いて、結合参照画像データに対してフィルタリング処理を施す。このフィルタリング処理は、具体的には次のように行われる。結合参照画像データにおける、任意の構成信号の座標をｋとした場合、フィルタ部１０３は、構成信号の座標が「ｋ－２、ｋ－１、ｋ、ｋ＋１、ｋ＋２」となる信号列に対して、逆位相フィルタ係数ｈ（ｋ）を乗算する。それにより、フィルタ部１０３は、信号列に対してフィルタリング処理を施し、各乗算結果の総和を、フィルタリング結果ｚ（ｍ）として算出する。ここで、ｍは、１～５の整数値を取る。
　ここで、結合参照画像データの両端の外部に、輝度が０の仮想的な座標点を考慮すると図１５（Ａ）に示すように、結合参照画像データｘ（ｍ）は、「０，０，１，２，３，４，５，０，０」となる。図１５（Ａ）におけるｍ（ｍ：０～４）を結合参照画像データの座標点とした場合（つまり、ｘ（０）=１、ｘ（１）=２、ｘ（２）=３、ｘ（３）=４、ｘ（４）=５）、フィルタリング処理は、次のように行われる。
　フィルタ部１０３は、ｍ＝０の場合、ｍ＝０を中心とする輝度値信号列「０、０、１、２、３」を、逆位相フィルタ「５、４、３、２、１」によってフィルタリング処理する。この結果、ｚ（０）は、２６（＝０×１＋０×２＋１×３＋２×４＋３×５）となる。
　また、フィルタ部１０３は、ｍ＝１の場合、ｍ＝１を中心とする輝度値信号列「０、１、２、３、４」を、逆位相フィルタ「５、４、３、２、１」によってフィルタリング処理する。この結果、ｚ（１）は、４０（＝０×１＋１×２＋２×３＋３×４＋４×５）となる。
　同様にして、ｚ（２）は、５５となり、ｚ（３）は、４０となり、ｚ（４）は、２６となる。したがって、フィルタ部１０３は、フィルタリング結果ｚ（ｍ）として、「２６、４０、５５、４０、２６」を得る。
　このようなフィルタリング処理は、式（３）によって表される。式（３）において、結合基準画像データが反転されたｆ'（－ｋ）は、逆位相フィルタのフィルタ係数ｈ（ｋ）として用いられている。また、ｇ'（ｍ）は、結合参照画像データの輝度値である。
Figure JPOXMLDOC01-appb-M000003
　逆位相フィルタを用いたフィルタリング処理によるフィルタリング結果ｚ（ｍ）は、図１５（Ｃ）に示すように、対称（図１５では、ｍ＝２を中心として左右対称）になると共に、中央付近にピークが存在するという特徴を有する。
　また、逆位相フィルタは、いわゆるＦＩＲフィルタの一種に相当するものであり、線形推移不変システムであるという特徴を有する。ここで、線形推移不変システムとは、入力信号にずれがある場合には、出力信号にも入力信号と同じだけのずれが生じるシステムである。
　上述した具体例では、結合参照画像データと結合基準画像データとの間にズレがない場合を例にとって説明した。ところが、結合参照画像データと結合基準画像データの間に小さなずれが存在する場合、フィルタリング結果であるｚ（ｍ）にも同じだけのずれが生じることになる。
　なお、実空間において同一サイズの対象物の視差を求める場合、対象物がステレオカメラから遠くに存在する場合は近くに存在する場合よりも視差は小さく、ピクセル単位のズレ量ｎも小さくなる。またそれと同時に、当該対象物の基線長方向の画像領域サイズも小さくなる。
　したがって、逆位相フィルタのタップ長は、画像マッチング部１０２で検出されたピクセル単位のズレ量ｎの大きさに応じて設定されることが望ましい。例えば、ピクセル単位のズレ量ｎが小さい場合には、それに応じて逆位相フィルタのタップ長も短く設定される。ステレオ画像処理装置１００は、ズレ量ｎに対して適応的にサブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像のサイズを変更することにより、逆位相フィルタのタップ長も適応的に変更することができる。
　これにより、対象物のサイズに応じた視差算出が可能となる。
　また、フィルタリング結果は、線形推移不変システムの出力である。したがって、フィルタリング結果は、レンズの歪補正の誤差、ＣＣＤなどのイメージセンサに起因するゲインノイズ等の誤差、窓掛けによる画像切り出しの演算精度の誤差を除けば、理論的には真のずれ量を表現していることになる。よって、ピクセル単位で離散化されている逆位相フィルタの出力をサンプリング定理に従ってピクセル間の数値を補間することにより、サブピクセル単位での真のピーク位置を求めることができる。以上で、フィルタリングの概念についての説明を終える。
　次に、フィルタリング結果におけるピーク位置検出の処理（ステップS１８）の概要を説明する。図１６は、ｓｉｎｃ関数を用いたピーク位置検出の処理の一例の概要を示す模式図である。
　ｓｉｎｃ関数は、ｓｉｎ（πｘ）／πｘで定義される関数であり、離散化されたサンプリングデータを元の連続データに戻す場合に用いられる関数である。サンプリングされた離散データとｓｉｎｃ関数との畳み込み演算を行うことにより、元の連続データを完全に復元可能であることは、サンプリング定理によって証明されている。
　したがって、ピーク位置検出部１０４は、離散化されているフィルタリング結果をｓｉｎｃ関数によって畳み込み演算する。これにより、ピーク位置検出部１０４は、ピクセル単位間隔の信号データを補間することができ、サブピクセル単位でも理論的に信号データが補間されたフィルタリング結果ｚ（ｍ）の真のピーク位置を導出することができる。
　図１６に示すように、ピーク位置検出部１０４は、例えば、２分探索によって、ピーク位置を検出する。
　例えば、ピーク位置検出部１０４は、ピクセル単位間隔のフィルタリング結果ｚ（ｍ）が最大となる位置ｍ＝０を、位置Ａ（つまり、２分探索基準点）とする。ピーク位置検出部１０４は、その最大位置Ａから左右に１ピクセルずつずれた位置のフィルタリング結果であるｚ（＋１）とｚ（－１）とを比較する。そして、ピーク位置検出部１０４は、大きい方の位置（ここでは、ｍ＝１）を、位置Ｂ（つまり、２分探索使用点）とする。
　そして、ピーク位置検出部１０４は、２分探索基準点Ａと２分探索使用点Ｂとの中点である位置Ｃの値を、サンプリング定理に基づき、例えば以下の式（４）を用いて算出する。なお、Ｔは、サンプリング間隔（画素ピッチ）である。
Figure JPOXMLDOC01-appb-M000004
　そして、ピーク位置検出部１０４は、位置Ｃを新たな２分探索基準点として、上記と同様の処理を繰り返す。
　この処理の繰り返し回数は、必要な精度に応じた数とすることができる。すなわち、ピーク位置検出部１０４は、必要なサブピクセル精度が１／２ピクセルであれば、上記した処理を１回行えばよい。また、ピーク位置検出部１０４は、必要なサブピクセル精度が１／４ピクセル精度であれば２回、１／８ピクセルであれば３回と、必要なサブピクセル精度に応じて繰り返し回数を決定すればよい。
　そして、ピーク位置検出部１０４は、最後に得られた中点を、検出したピーク位置δとして扱う。
　なお、以上の説明では、ｓｉｎｃ関数および２分探索方を用いてピーク位置を検出する方法について説明を行った。しかしながら、本発明はこれに限定されるものではなく、例えば、ピーク位置検出部１０４は、ｓｉｎｃ関数と勾配法との組み合わせによって、ピーク位置を探索してもよい。すなわち、ピーク位置検出部１０４は、離散化されているフィルタリング結果をｓｉｎｃ関数によって畳み込み演算してピクセル単位間隔の信号データを補間した後であれば、各種の最大値検出方法を用いることができる。
　または、ピーク位置検出部１０４は、二次曲線近似を用いてピーク位置を検出してもよい。これにより、ピーク位置検出部１０４は、ピーク位置検出のための演算量を削減することができる。この場合、ピーク位置検出部１０４は、離散化されているフィルタリング結果を二次曲線でフィッティングし、その二次曲線の極大値の位置を、ピーク位置として検出する。これにより、ピーク位置検出部１０４は、離散化の間隔以下の精度でピーク位置を求めることができる。
　図１７は、二次曲線近似を用いたピーク位置検出の処理の一例の概要を示す模式図である。
　図１７に示すように、ピーク位置検出部１０４は、まず、ピクセル単位間隔のフィルタリング結果ｚ（ｍ）が最大となる、位置ｍ＝０における値ｚ（０）を求める。また、ピーク位置検出部１０４は、その最大位置ｍ＝０から左右に１ピクセルずつずれた、位置ｍ＝＋１、－１のフィルタリング結果である、ｚ（＋１）、ｚ（－１）を取得する。そして、ピーク位置検出部１０４は、これら３点を通る二次曲線を求め、さらにその二次曲線が極大値をとる位置を、ピーク位置δとして検出する。このピーク位置δは、例えば、次の式（５）を用いて算出することができる。
Figure JPOXMLDOC01-appb-M000005
　基準画像における分析基準位置の視差は、ピクセル単位のずれｎと、サブピクセル単位のずれδ'を、加算することによって求められる。
　以上で、フィルタリング結果におけるピーク位置検出の処理の概要についての説明を終える。また、ステップＳ１６～Ｓ１８の処理についての具体的な説明を終える。
　（測距対象領域の終了判定処理）
　ステップＳ９では、画像マッチング部１０２は、測距対象領域の終了判定処理が行う。すなわち、画像マッチング部１０２は、基準画像の全体において、未だステップＳ１～ステップＳ８までの処理が行われていない未処理領域が存在するか否かを判断する。画像マッチング部１０２は、未処理領域が存在する場合には（Ｓ９：Ｎｏ）、ステップＳ１へ戻り、分析基準位置をずらしてその未処理領域についてステップＳ１～ステップＳ８までの処理を行う。また、画像マッチング部１０２は、未処理領域が存在しない場合には（Ｓ９：Ｙｅｓ）、一連の動作を終了する。
　以上のように本実施の形態によれば、ステレオ画像処理装置１００において、画像切り出し部４０１が、基準画像内の第１の部分領域（ここでは、単位基準画像）がＮ（Ｎは、２以上の自然数）分割された分割基準画像をＭ（Ｍは、２以上Ｎ以下の自然数）個抽出する。さらに、画像切り出し部４０１が、参照画像における、前記第１の部分領域に対応する第２の部分領域（ここでは、単位参照画像）がＮ分割された分割参照画像をＭ個抽出する。そして、画像結合部４０２が、各データ列が各分割基準画像における輝度値から成るＭ個のデータ列を直列に連結することにより、第１の結合データ列（ここでは、結合基準画像データ列）を形成する。さらに、画像結合部４０２が、各データ列が各分割参照画像における輝度値から成るＭ個のデータ列を直列に連結することにより、第２の結合データ列（ここでは、結合参照画像データ列）を形成する。そして、フィルタリング部４０３が、第１の結合データ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、前記第２の結合データ列に対して前記逆位相フィルタ係数を用いてフィルタリングする。そして、ピーク位置検出部１０４が、フィルタリング部４０３のフィルタリング結果におけるピーク位置に基づいて、ズレ量ｎを算出する。
　このように、結合基準画像データ列と結合参照画像データ列とに基づいて視差を算出することにより、短い幅の輝度値変化に関する情報を複数個同時に利用することができる。さらに、短い幅の輝度値変化が窓サイズ程度離れて複数存在することで擬似的に窓サイズ相当周期の低周波成分も利用することができるので、視差算出精度を向上させることができる。
　［実施の形態２］
　実施の形態２では、画像切り出し処理の前処理として、低周波成分抑制処理を行う。
　図８は、本発明の実施の形態２に係るフィルタ部１０３の構成を示す。図８において、フィルタ部１０３は、低周波成分抑制部５０１を有する。
　低周波成分抑制部５０１は、ステレオ画像取得部１０１において取得された基準画像及び参照画像を入力とし、基準画像及び参照画像の低周波成分の振幅を相対的に抑制する。高周波成分の振幅に対して相対的に低周波成分の振幅を抑制すれば良いので、低周波成分抑制部５０１は、高周波成分の振幅を強調させても良い。
　図９は、実施の形態２に係るサブピクセル単位演算処理の詳細を示すフロー図である。
　（低周波成分抑制処理）
　ステップＳ２１で、低周波成分抑制部５０１は、単位基準画像及び単位参照画像の低周波成分を相対的に抑制する。高周波成分の振幅に対して相対的に低周波成分の振幅を抑制すれば良いので、低周波成分抑制部５０１は、高周波成分の振幅を強調させても良い。高周波成分の振幅強調処理は、一般的な処理を利用してよく、例えば、ＬｏＧ（Ｌａｐｌａｃｉａｎ　ｏｆ　Ｇａｕｓｓｉａｎ）フィルタを利用することで実現できる。
　図１０は、低周波成分抑制処理の概念の説明に供する図である。図１０（ａ），（ｂ）は、高周波の輝度信号と周波数特性をそれぞれ表し、図１０（ｃ），（ｄ）は、低周波の輝度信号と周波数特性をそれぞれ表す。Ｔは、図６における窓長（Ｋ－Ｊ）を表す。図１０（ａ）のように窓関数による切り出し幅Ｔに対して短い周期を持つ輝度信号は、図１０（ｂ）のように空間周波数で１／（２Ｔ）以上の周波数を持つ輝度信号である。一方、図１０（ｃ）のように窓関数による切り出し幅Ｔに対して長い周期を持つ輝度信号は、図１０（ｄ）のように空間周波数で１／（２Ｔ）より低い周波数を持つ輝度信号である。低周波成分抑制処理では、１／（２Ｔ）が、強調対象である高周波の輝度信号であるか又は抑制対象である低周波の輝度信号であるかを判定するための判定基準（つまり、判定閾値）として用いられる。
　ここで、切り出し幅Ｔに対して長い周期を持つ輝度信号は、切り出し幅Ｔにおいては表現できない周波数を持つ信号である。すなわち、切り出し幅Ｔに対して長い周期を持つ輝度信号は、切り出し幅Ｔにおいては１周期の波形すら表現されない。そして、このような輝度信号は、周波数を用いたマッチング（つまり、信号の周波数成分に着目するマッチング）の精度を劣化させる要因となる。従って、低周波成分はできる限り抑制した上で、後段の切り出し処理を行うことが望ましい。
　以上のように本実施の形態によれば、ステレオ画像処理装置１００において、低周波成分抑制部５０１が、第１の部分領域に対応する画像信号及び前記第２の部分領域に対応する画像信号における低周波数成分を高周波数成分に対して相対的に抑制する。ここでは、第１の部分領域は単位基準画像となり、第２の部分領域は単位参照画像となる。
　こうすることで、周波数を用いたマッチング（つまり、信号の周波数成分に着目するマッチング）の精度を劣化させる要因となる低周波数成分を抑制することができるので、視差算出精度を向上することができる。
　なお、以上の説明では、実施の形態１に係るフィルタ部１０３に低周波成分抑制部５０１を適用する場合について説明したが、これに限定されるものではない。例えば、画像結合部４０２を有さない（つまり、１つの単位基準画像と、これに対応する１つの単位参照画像とによって視差を算出する）ステレオ画像処理装置に低周波成分抑制部５０１を適用しても良い。また、次のような画像マッチング部と、フィルタ部とを具備するステレオ画像処理装置において、フィルタ部に、基準画像及び参照画像のそれぞれにおける低周波成分を抑制する低周波成分抑制部を設けても良い。画像マッチング部は、基準画像と参照画像とのピクセル単位のズレ量を算出する。フィルタ部は、基準画像内の輝度値から成るデータ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、参照画像に対して逆位相フィルタ係数を用いてフィルタリングする。
　［実施の形態３］
　実施の形態３では、画像切り出し処理の前段に、高周波成分の振幅に基づいて画像切り出し処理以降の処理を実行するか否かを判定する。
　図１１は、本発明の実施の形態３に係るフィルタ部１０３の構成を示す。図１１において、フィルタ部１０３は、高周波成分判定部６０１を有する。
　高周波成分判定部６０１は、低周波成分抑制部５０１において低周波成分の振幅が相対的に抑制された基準画像及び参照画像と、画像マッチング部１０２からの基準点及びズレ量ｎとを入力とし、これらに基づいて、後段の処理を実行するか否かを判定する。この判定は、具体的には、基準画像の基準点における画像データ列の高周波成分の振幅の大きさ、及び、参照画像の対応点における画像データ列の高周波成分の振幅の大きさに応じて実行される。参照画像の対応点とは、つまり、参照画像において基準点と同じ座標からズレ量ｎだけずれた点である。また、後段の処理とは、ここでは、画像切り出し部４０１、画像結合部４０２、フィルタリング部４０３、及びピーク位置検出部１０４における処理である。
　図１２は、実施の形態３に係るサブピクセル単位演算処理の詳細を示すフロー図である。
　（高周波成分判定処理）
　ステップＳ３１で、高周波成分判定部６０１は、低周波成分抑制部５０１において低周波成分の振幅が相対的に抑制された基準画像及び参照画像と、画像マッチング部１０２からの基準点及びズレ量ｎとを入力する。そして、高周波成分判定部６０１は、これらに基づいて、後段の処理を実行するか否かを判定する。この判定は、具体的には、基準画像の基準点における画像データ列の高周波成分の振幅の大きさ、及び、参照画像の対応点における画像データ列の高周波成分の振幅の大きさに応じて実行される。参照画像の対応点とは、つまり、参照画像において基準点と同じ座標からズレ量ｎだけずれた点である。そして、基準画像の基準点における画像データ列の高周波成分の振幅の大きさ、及び、参照画像の対応点における画像データ列の高周波成分の振幅の大きさの両方が所定の閾値以上の場合（つまり、振幅が大きいと判定される場合）には、後段の処理が実行される。一方、所定の閾値未満の場合には、サブピクセル単位演算処理が終了される。
　図１３は、高周波成分判定処理の概念の説明に供する図である。図１３（ａ），（ｂ）は、低周波成分抑制後の高周波の輝度信号と周波数特性をそれぞれ表し、図１３（ｃ），（ｄ）は、低周波成分抑制後の低周波の輝度信号と周波数特性をそれぞれ表す。高周波成分の振幅の有無を判定するためには、フーリエ変換などの周波数変換処理を利用しても良いし、演算量を削減するために、輝度信号の変化率の絶対値の和を取るなどの簡易的な処理を利用しても良い。
　上述の通り窓関数の切り出し幅との関係により、低周波成分によっては正確なマッチングが実現できないので、高周波成分の振幅が小さい信号は、視差がゼロの信号と等価である。すなわち、高周波成分の振幅が小さい信号によっては、正確な視差を算出することが難しい。従って、所定の閾値未満の場合には、サブピクセル単位演算処理が終了されることにより、無駄な処理が実行されることを防止することができる。
　図１４は、画像結合部４０２の処理の概念の説明に供する図である。図１４（ａ）は、基準画像からサブピクセル推定用単位基準画像が切り出される様子と、切り出された２つのサブピクセル推定用単位基準画像が結合された１次元の画像のデータ列（つまり、結合基準画像データ列）を示す。図１４（ｂ）は、結合基準画像データ列の輝度信号を示す。図１４（ｃ）は、参照画像からサブピクセル推定用単位参照画像が切り出される様子と、切り出された２つのサブピクセル推定用単位参照画像が結合された１次元の画像のデータ列（つまり、結合参照画像データ列）を示す。図１４（ｄ）は、結合参照画像データ列の輝度信号を示す。図１４には、単位基準画像及び単位参照画像のそれぞれにおいて、高い頻度での輝度値変化が存在しない（つまり、輝度信号に高周波成分がほとんど存在しない）場合が示されている。
　このようにサブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像のそれぞれにおいて、高い頻度での輝度値変化が存在せず、且つ、サブピクセル推定用単位基準画像間又はサブピクセル推定用単位参照画像間では輝度値が変化する（つまり、Ｙ軸方向（縦方向）の輝度値が変化する）場合を検討する。この場合には、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像との視差（サブピクセル推定用単位基準画像の輝度信号とサブピクセル推定用単位参照画像の輝度信号との位相差）が擬似的にゼロとなってしまう。このため、正しい視差を算出することができず、視差算出精度劣化の大きな要因となる。このため、このような低周波成分は、画像結合処理を行う前に高周波判定処理において削除されることが好ましい。
　以上のように本実施の形態によれば、ステレオ画像処理装置１００において、高周波成分判定部６０１が、次の場合にのみ、画像切り出し部４０１、画像結合部４０２、フィルタリング部４０３、及びピーク位置検出部１０４の処理を実行させる。上記の場合とは、第１の部分領域（ここでは、単位基準画像）に対応する画像信号及び第２の部分領域（ここでは、単位参照画像）に対応する画像信号における高周波数成分の振幅が閾値以上である場合である。
　こうすることで、正確な視差を算出することが難しい場合に無駄な処理が実行されることを防止することができる。
　なお、以上の説明では、実施の形態２に係るフィルタ部１０３に高周波成分判定部６０１を適用した場合について説明したが、これに限定されるものではなく、実施の形態１に係るフィルタ部１０３に高周波成分判定部６０１を適用しても良い。
　上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
　［他の実施の形態］
　（１）上記各実施の形態では、画像マッチング部１０２で基準画像と参照画像とのズレが「ピクセル単位」で粗く検出され、その後に、ピーク位置検出部１０４によってズレが「サブピクセル単位」で細かく検出される場合について説明を行った。すなわち、２段階でズレが算出される場合について説明を行った。しかしながら、本発明はこれに限定されるものではなく、１段階でズレを算出する場合にも適用可能である。
　（２）上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　２０１０年１１月５日出願の特願２０１０－２４８６９１の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明のステレオ画像処理装置及びステレオ画像処理方法は、ターゲット画像領域が撮像画像上で小さな領域しか占めない場合にも、視差を高精度に算出することができるものとして有用である。
　１００　ステレオ画像処理装置
　１０１　ステレオ画像取得部
　１０２　画像マッチング部
　１０３　フィルタ部
　１０４　ピーク位置検出部
　４０１　画像切り出し部
　４０２　画像結合部
　４０３　フィルタリング部
　５０１　低周波成分抑制部
　６０１　高周波成分判定部
 
 
 
 

Claims (6)

  1. 　ステレオ画像を構成する基準画像と参照画像とのズレ量を算出するステレオ画像処理装置であって、
    　前記基準画像内の第１の部分領域がＮ（Ｎは、２以上の自然数）分割された分割基準画像をＭ（Ｍは、２以上Ｎ以下の自然数）個抽出すると共に、前記基準画像内の前記第１の部分領域に対応する前記参照画像内の第２の部分領域がＮ分割された分割参照画像をＭ個抽出する抽出手段と、
    　各データ列が各分割基準画像における輝度値から成るＭ個のデータ列を直列に連結することにより、第１の結合データ列を形成すると共に、各データ列が各分割参照画像における輝度値から成るＭ個のデータ列を直列に連結することにより、第２の結合データ列を形成する連結手段と、
    　前記第１の結合データ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、前記第２の結合データ列に対して前記逆位相フィルタ係数を用いてフィルタリングするフィルタリング手段と、
    　前記フィルタリング手段のフィルタリング結果におけるピーク位置に基づいて、前記ズレ量を算出する算出手段と、
    　を具備するステレオ画像処理装置。
  2. 　前記抽出手段の入力段に設けられ、前記第１の部分領域に対応する画像信号及び前記第２の部分領域に対応する画像信号における低周波数成分を高周波数成分に対して相対的に抑制する抑制手段、をさらに具備する請求項１に記載のステレオ画像処理装置。
  3. 　前記第１の部分領域に対応する画像信号及び前記第２の部分領域に対応する画像信号における高周波数成分の振幅が閾値以上である場合にのみ、前記抽出手段、前記連結手段、前記フィルタリング手段、及び前記算出手段の処理を実行させる制御手段、をさらに具備する請求項１に記載のステレオ画像処理装置。
  4. 　前記低周波数成分と前記高周波数成分とを分ける周波数値は、１／（２Ｔ）であり、Ｔは、前記第１の部分領域及び前記第２の部分領域の幅である、
    　請求項２に記載のステレオ画像処理装置。
  5. 　前記基準画像と前記参照画像とのピクセル単位のズレ量を算出する算出手段、をさらに具備し、
    　前記Ｍの値及び前記Ｎの値は、前記算出されたピクセル単位のズレ量に基づいて設定される、
    　請求項１に記載のステレオ画像処理装置。
  6. 　ステレオ画像を構成する基準画像と参照画像とのズレ量を算出するステレオ画像処理方法であって、
    　前記基準画像内の第１の部分領域がＮ（Ｎは、２以上の自然数）分割された分割基準画像をＭ（Ｍは、２以上Ｎ以下の自然数）個抽出すると共に、前記基準画像内の前記第１の部分領域に対応する前記参照画像内の第２の部分領域がＮ分割された分割参照画像をＭ個抽出し、
    　各データ列が各分割基準画像における輝度値から成るＭ個のデータ列を直列に連結することにより、第１の結合データ列を形成すると共に、各データ列が各分割参照画像における輝度値から成るＭ個のデータ列を直列に連結することにより、第２の結合データ列を形成し、
    　前記第１の結合データ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、前記第２の結合データ列に対して前記逆位相フィルタ係数を用いてフィルタリンし、
    　フィルタリング結果におけるピーク位置に基づいて、前記ズレ量を算出する、
    　ステレオ画像処理方法。
     
PCT/JP2011/006113 2010-11-05 2011-11-01 ステレオ画像処理装置及びステレオ画像処理方法 WO2012060093A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11837747.2A EP2636993A4 (en) 2010-11-05 2011-11-01 STEREOSCOPIC IMAGE PROCESSING DEVICE AND STEREOSCOPIC IMAGE PROCESSING METHOD
US13/883,141 US9148653B2 (en) 2010-11-05 2011-11-01 Stereo image processing device and stereo image processing method
JP2012541745A JP5874039B2 (ja) 2010-11-05 2011-11-01 ステレオ画像処理装置及びステレオ画像処理方法
CN201180052153.5A CN103189715B (zh) 2010-11-05 2011-11-01 立体图像处理装置及立体图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-248691 2010-11-05
JP2010248691 2010-11-05

Publications (1)

Publication Number Publication Date
WO2012060093A1 true WO2012060093A1 (ja) 2012-05-10

Family

ID=46024219

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/006113 WO2012060093A1 (ja) 2010-11-05 2011-11-01 ステレオ画像処理装置及びステレオ画像処理方法

Country Status (5)

Country Link
US (1) US9148653B2 (ja)
EP (1) EP2636993A4 (ja)
JP (1) JP5874039B2 (ja)
CN (1) CN103189715B (ja)
WO (1) WO2012060093A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014003557A (ja) * 2012-06-20 2014-01-09 Oki Data Corp 画像読取装置
JP2015232455A (ja) * 2014-06-09 2015-12-24 株式会社リコー 画像処理装置、画像処理方法、プログラム、視差データの生産方法、機器制御システム
CN105247860A (zh) * 2013-06-05 2016-01-13 索尼公司 图像处理设备及图像处理方法
WO2018015304A1 (en) 2016-07-21 2018-01-25 Novozymes A/S Serine protease variants and polynucleotides encoding same

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6017399B2 (ja) * 2013-10-23 2016-11-02 オリンパス株式会社 撮像装置及び位相差検出方法
JP6332951B2 (ja) * 2013-11-29 2018-05-30 キヤノン株式会社 画像処理装置および画像処理方法、およびプログラム
US11528297B1 (en) 2019-12-12 2022-12-13 Zimperium, Inc. Mobile device security application for malicious website detection based on representative image
DE102021102233B4 (de) * 2021-02-01 2022-08-18 Recognitionfocus Gmbh Vorrichtung und Verfahren zur Korrespondenzanalyse in Bildern
CN114268780B (zh) * 2021-12-20 2024-04-16 京东方科技集团股份有限公司 基于柱透镜的自由立体图像处理方法、装置、设备及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175725A (ja) * 1997-12-11 1999-07-02 Tech Res & Dev Inst Of Japan Def Agency フレーム処理型ステレオ画像処理装置
JP2000171214A (ja) * 1998-12-08 2000-06-23 Meidensha Corp 対応点検索方法及びこれを利用した三次元位置計測方法
WO2010113389A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法
WO2012001982A1 (ja) * 2010-06-30 2012-01-05 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US20020012459A1 (en) * 2000-06-22 2002-01-31 Chips Brain Co. Ltd. Method and apparatus for detecting stereo disparity in sequential parallel processing mode
WO2007063352A1 (en) * 2005-11-30 2007-06-07 Telecom Italia S.P.A. Method for determining scattered disparity fields in stereo vision
JP2008089402A (ja) * 2006-10-02 2008-04-17 Konica Minolta Holdings Inc 情報処理システム、プログラムおよび情報処理方法
JP4382797B2 (ja) 2006-11-09 2009-12-16 株式会社山武 対応点探索方法および３次元位置計測方法
JP5387905B2 (ja) * 2009-12-25 2014-01-15 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175725A (ja) * 1997-12-11 1999-07-02 Tech Res & Dev Inst Of Japan Def Agency フレーム処理型ステレオ画像処理装置
JP2000171214A (ja) * 1998-12-08 2000-06-23 Meidensha Corp 対応点検索方法及びこれを利用した三次元位置計測方法
WO2010113389A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法
WO2012001982A1 (ja) * 2010-06-30 2012-01-05 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2636993A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014003557A (ja) * 2012-06-20 2014-01-09 Oki Data Corp 画像読取装置
CN105247860A (zh) * 2013-06-05 2016-01-13 索尼公司 图像处理设备及图像处理方法
JP2015232455A (ja) * 2014-06-09 2015-12-24 株式会社リコー 画像処理装置、画像処理方法、プログラム、視差データの生産方法、機器制御システム
WO2018015304A1 (en) 2016-07-21 2018-01-25 Novozymes A/S Serine protease variants and polynucleotides encoding same

Also Published As

Publication number Publication date
EP2636993A4 (en) 2016-01-20
US20130215232A1 (en) 2013-08-22
JPWO2012060093A1 (ja) 2014-05-12
CN103189715B (zh) 2015-12-02
JP5874039B2 (ja) 2016-03-01
CN103189715A (zh) 2013-07-03
US9148653B2 (en) 2015-09-29
EP2636993A1 (en) 2013-09-11

Similar Documents

Publication Publication Date Title
JP5874039B2 (ja) ステレオ画像処理装置及びステレオ画像処理方法
JP6258209B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
JP5891415B2 (ja) ステレオ画像処理装置
JP5404773B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
US9275463B2 (en) Stereo image processing device and stereo image processing method
JP5810314B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP5705611B2 (ja) 画像の正置からの回転角度検知装置および方法
KR101528604B1 (ko) 이미지 처리 방법 및 장치
JP2023112222A (ja) 画像処理装置、画像処理方法、およびプログラム
KR20150000331A (ko) 이미지 처리 방법 및 장치
KR20160055672A (ko) 영상 처리 장치 및 영상 처리 방법
JPH10307915A (ja) 直線検出方法及び装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11837747

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012541745

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2011837747

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13883141

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE