WO2009096520A1 - 対応点探索装置および対応点探索方法 - Google Patents

対応点探索装置および対応点探索方法 Download PDF

Info

Publication number
WO2009096520A1
WO2009096520A1 PCT/JP2009/051577 JP2009051577W WO2009096520A1 WO 2009096520 A1 WO2009096520 A1 WO 2009096520A1 JP 2009051577 W JP2009051577 W JP 2009051577W WO 2009096520 A1 WO2009096520 A1 WO 2009096520A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
image
search
reference image
interest
Prior art date
Application number
PCT/JP2009/051577
Other languages
English (en)
French (fr)
Inventor
Hironori Sumitomo
Original Assignee
Konica Minolta Holdings, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Holdings, Inc. filed Critical Konica Minolta Holdings, Inc.
Priority to JP2009551597A priority Critical patent/JP4941565B2/ja
Publication of WO2009096520A1 publication Critical patent/WO2009096520A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Definitions

  • the present invention relates to a corresponding point searching apparatus and a corresponding point searching method for searching for corresponding points between images.
  • a search for corresponding points between two images is generally performed.
  • a method for searching for corresponding points for example, a method called SAD (Sum of Absolute Difference) method is known.
  • SAD Sud of Absolute Difference
  • this method first, a window that includes this attention point is set for the attention point on the base image that is one of the two images, and the reference image that is the other image is set on the reference image. Set multiple windows of the same size. These two images may be images taken from different viewpoints, such as a stereo camera. Then, the correlation value is calculated between the window on the standard image and each window on the reference image, the window on the reference image having the highest correlation value is searched, and the center of gravity position of the window is associated with the attention point. Find as a point.
  • Patent Literature 1 generates distance information and a two-dimensional optical flow at each time in an image by searching for corresponding points based on stereo images acquired at different times.
  • a method for generating a three-dimensional optical flow based on the above is described. In this method, attention points and corresponding points are given at a pixel level (pixel unit).
  • Non-Patent Document 1 discloses a high-accuracy corresponding point search method using a phase only correlation method (POC method).
  • POC method phase only correlation method
  • the pixel level corresponding point on the reference image corresponding to the pixel level attention point on the reference image is calculated, and then the sub-pixel level shift amount of the corresponding point with respect to the target point is obtained, thereby obtaining a more accurate result.
  • Patent Document 1 does not consider the case where the position of the corresponding point is at the subpixel level. Therefore, even when the corresponding point is actually a sub-pixel level position, the corresponding point search is performed with respect to a pixel level position in the vicinity of the sub-pixel level position. Therefore, the position and deviation of the correct corresponding point will occur. Therefore, even if the distance information, the two-dimensional optical flow, and the three-dimensional optical flow are obtained based on the corresponding points obtained in this way, an accurate value cannot be obtained. Even if information on the obtained corresponding points is interpolated to bring it closer to a more accurate value, it is only due to interpolation and cannot be said to have high accuracy.
  • the point of interest is changed to the subpixel level in the intermediate stage of the calculation for obtaining the shift amount of the subpixel level of the corresponding point with respect to the point of interest, but is set at the subpixel level. You are not searching for the point of interest. Therefore, similarly to Patent Document 1, the method of Non-Patent Document 1 does not require the position of the correct corresponding point, and it cannot be said that the correspondence is performed with high accuracy.
  • the present invention has been made in view of the above circumstances, and its purpose is to obtain a point corresponding to the position directly even if the point of interest is a sub-pixel level position. It is to provide a corresponding point search device and a corresponding point search method for performing a corresponding point search.
  • the corresponding point search device of the present invention searches for a point corresponding to the target point on the corresponding image using a search template having the target point on the image as the center of gravity.
  • FIG. 1 shows schematic structure of the mobile body detection apparatus which concerns on this embodiment. It is a figure for demonstrating the method of the three-dimensional calculation by the moving body detection apparatus of this embodiment. It is a figure for demonstrating the corresponding point search method. It is a figure for demonstrating the SAD method which is a corresponding point search method. It is a figure which shows the structure of the arithmetic unit which calculates a POC value. It is a figure which shows the POC value calculated
  • FIG. 8A is a diagram for explaining the input of a point of interest, and is a diagram illustrating a case where the point of interest is input to the barycentric position of a pixel.
  • FIG. 8B is a diagram for explaining the input of a point of interest, and shows a case where the point of interest is input at a sub-pixel level position.
  • FIG. 9A is a diagram for explaining the search template, and is a diagram showing a reference image and a reference image when the point of interest is a pixel level position.
  • FIG. 9B is a diagram for explaining the search template, and is a diagram showing a standard image and a reference image when the point of interest is at a subpixel level. It is a figure for demonstrating the method of image interpolation. It is a figure which shows the window function containing deviation
  • FIG. 1 is a diagram illustrating a schematic configuration of a moving object detection apparatus according to the present embodiment.
  • the moving body detection apparatus 1 includes a first camera 2 and a second camera 3 that constitute a stereo camera that is installed on the left and right sides at an appropriate distance,
  • An arithmetic processing device 4 that calculates the three-dimensional coordinates in the images from the output images of the first camera 2 and the second camera 3, and a display that displays the three-dimensional shape of the detected subject 6 that is the result of the arithmetic processing
  • the apparatus 5 is comprised.
  • the first camera 2 and the second camera 3 output a pair of left and right images (standard image and reference image) obtained by capturing the subject 6 at the same timing. It is assumed that the aberrations of the first camera 2 and the second camera 3 are well corrected and are installed in parallel to each other.
  • the image obtained by photographing the subject 6 by the first camera 2 and the second camera 3 is sent to the arithmetic processing unit 4.
  • the arithmetic processing device 4 includes a corresponding point searching device 7 and an image generating unit 8.
  • the corresponding point search device 7 inputs an arbitrary attention point with respect to the reference image among the images taken by the first camera 2 and the second camera 3, for example, and selects a corresponding point corresponding to the attention point in the reference image. Search and calculate distance information from them.
  • the image generation unit 8 generates an image indicating the three-dimensional shape of the subject 6 based on the distance information calculated by the corresponding point search device 7 and sends the image to the display device 5.
  • the display device 5 displays an image to which the three-dimensional information of the subject 6 transmitted from the image generation unit 8 is added.
  • FIG. 2 is a diagram for explaining a three-dimensional calculation method by the moving object detection device of the present embodiment.
  • the first camera 2 and the second camera 3 have the same focal length f, the number of pixels of the image sensor, and the size of one pixel.
  • the imaging elements are arranged on the imaging surface 2 b of the first camera 2 and the imaging surface 3 b of the second camera 3.
  • the optical axis 2a and the optical axis 3a of the first camera 2 and the second camera 3 are arranged so as to be parallel to each other while being separated from each other by a predetermined baseline length B.
  • the three-dimensional position (X, Y, Z) of each part of the subject 6 is expressed by the following expressions 2, 3 and 4 where x and y are positions on the pixel.
  • X x ⁇ D / f (2)
  • Y y ⁇ D / f (3)
  • Z D (4)
  • FIG. 3 is a diagram for explaining the corresponding point search method. This method is also used in this embodiment.
  • one image is a standard image 21a and the other image is a reference image 21b.
  • a point (corresponding point) on the reference image 21b is searched for an arbitrary point (attention point) on the reference image 21a.
  • a window 9 is set, which is a region having a certain size configured in units of pixels and in which the point of interest is set at the center of gravity.
  • the window 9 is an area on the image having a certain size as described above, and includes information (image pattern) such as a luminance value of each pixel included in the area. Then, a window corresponding to this window 9 is searched on the reference image 21b.
  • the window 10 which is an area having the same size as the window 9 of the standard image 21a is set at an arbitrary position on the reference image 21b, and the similarity (correlation value) between the window 9 and the window 10 is set.
  • the window 10 of the reference image 21b having a high similarity to the window 9 of the standard image 21a is obtained.
  • the window 10 corresponding to the window 9 can be obtained.
  • the position of the center of gravity of the window 10 thus obtained becomes a corresponding point.
  • the distance information that is the distance to the subject can be calculated from the coordinates of the corresponding point and the point of interest obtained in this way. Specifically, it can be calculated by the calculation described with reference to FIG.
  • distance information at the time can be calculated from the reference point and the corresponding point of the reference image and the reference image in the image obtained by shooting the subject at different times by the same stereo camera.
  • a two-dimensional optical flow can be calculated from the coordinates of the attention point in the previous photographing and the attention point in the subsequent photographing.
  • the attention point in the subsequent shooting is a point on the subsequent reference image corresponding to the attention point on the previous reference image.
  • Corresponding points in the subsequent shooting are points on the later reference image corresponding to the attention points on the later reference image.
  • a three-dimensional optical flow can be calculated from the distance information and the two-dimensional optical flow calculated above.
  • the corresponding point corresponding to the attention point can be obtained by the above-described method, if the similarity between all the windows 10 that can be set on the reference image 21b and the window 9 of the standard image 21a is obtained, the time is Take it. Therefore, there are various methods for shortening the search time. Specific examples are shown below.
  • the corresponding points on the reference image 21b are the same height as the attention point on the standard image 21a. It can be assumed that it is in the position.
  • the height direction is the vertical direction in FIG. Therefore, it is only necessary to set the window 10 having the height position as the center of gravity.
  • the setting range of the window 10 is Further limitation can be made. In this way, by limiting the setting range of the window 10, the number of windows for which the degree of similarity is obtained can be suppressed, so that a search can be performed in a short time.
  • a method of narrowing down the range where the corresponding points exist by lowering the resolution of each image that is, by reducing the number of pixels of the window to be searched and obtaining the positions of the corresponding points.
  • the time required for the corresponding point search can be shortened. That is, by lowering the resolution of each image, information on the image pattern can be reduced and the similarity between windows can be obtained in a short time. Since the original corresponding point in the original resolution should exist near the corresponding point in the low resolution, the image resolution is restored to the original, and the window 10 is set around the corresponding point obtained in the low resolution, What is necessary is just to judge the similarity with 9.
  • This method is called a corresponding point search method using a multi-resolution strategy.
  • the range in which the corresponding points exist in the original resolution image can be determined in a short time. Therefore, it is possible to reduce the time required for the corresponding point search.
  • a plurality of low-resolution images divided into several stages may be created, and the search position may be gradually narrowed down.
  • FIG. 4 is a diagram for explaining the SAD method, which is a corresponding point search method.
  • SAD Sud of The correlation value calculation by the Absolute Difference method
  • FIG. 4 is a diagram for explaining the SAD method, which is a corresponding point search method.
  • a window on the reference image 21b corresponding to the portion of the window Img1 on the standard image 21a is searched.
  • a window Img1 having a size corresponding to w pixels in the vertical and horizontal directions is set with the target point on the base image 21a as the center of gravity, and similarly, a window having the same size on the reference image 21b.
  • Set Img2 Set Img2.
  • the window Img2 on the reference image 21b is shifted in a certain range p (0 ⁇ p ⁇ max_disp) in the baseline length direction, and the correlation calculation between the window Img2 and the window Img1 is performed at each position.
  • the first coordinate position of the window Img2 on the reference image 21b is the same position as the coordinate position of the window Img1 on the standard image 21a.
  • the correlation value (COR p ) is expressed by Equation 5.
  • SAD p shown in Equation 6 In order to obtain the correlation value, first, SAD p shown in Equation 6 must be obtained.
  • Img1 (i, j) represents the luminance value of the window Img1
  • Img2 (i, j + p) represents the luminance value of the window Img2.
  • SAD p is a value obtained by obtaining the absolute value of the difference in brightness of the corresponding pixel in each window and adding it over all the pixels in the window.
  • Such correlation value calculation includes SSD (Sum of Squared Difference) method (square residual method), NCC (Normalize Cross Correlation) method (normalized cross correlation method), and the like.
  • this is a method of calculating the similarity using only the phase component signal with the amplitude component suppressed from the frequency resolution signal of the image pattern. It is possible to realize a correlation operation that is not easily affected and has robustness.
  • Known techniques for calculating the frequency-resolved signal of an image pattern include, for example, Fast Fourier Transform (FFT), Discrete Fourier Transform (DFT), Discrete Cosine Transform (DCT), Discrete Sine Transform (DST), Wavelet Transform, Hadamard Transform, etc. It has been.
  • FFT Fast Fourier Transform
  • DFT Discrete Fourier Transform
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • Wavelet Transform Hadamard Transform
  • FIG. 5 is a diagram showing a configuration of an arithmetic unit that calculates a POC value
  • FIG. 6 is a diagram showing a POC value obtained by the POC method.
  • the POC method similarly to the SAD method, a window having the center of interest as the center of gravity is set on the standard image, and a window having the same size is set on the reference image. Then, the correlation value between the windows is calculated while shifting the windows on the reference image, and the corresponding window is obtained from the similarity. Specifically, a POC value that is a correlation value is calculated. Since the POC value is obtained discretely for each pixel, the correlation value for each pixel in the window can be obtained.
  • the correlation value for each window is obtained, but the correlation value for each pixel in the window can also be obtained by using the POC method. Thereby, a range having a high degree of similarity in the window can be obtained. Therefore, it is easy to narrow down the setting range of the window, and there is an effect that processing for obtaining corresponding points can be performed at high speed.
  • the correlation value calculation method having robustness such as the POC method, it is not necessary to calculate the correlation value by shifting the window by one pixel as in the SAD method, and the window is divided into a plurality of pixels. Even if it is shifted, the correlation value is calculated.
  • the arithmetic device for calculating a POC value having the configuration shown in FIG. 5 performs a correlation operation using only a phase component in which the amplitude component of the Fourier series is suppressed using a two-dimensional discrete Fourier transform.
  • the standard image window and the reference image window are Fourier-transformed by Fourier transform units 31 and 32, normalized by normalization units 33 and 34, and then synthesized by synthesis unit 35.
  • the inverse Fourier transform unit 36 performs inverse Fourier transform. This flow is expressed as follows:
  • the image signals f (n 1 , n 2 ) and g (n 1 , n 2 ) in the standard image and the reference image represented by Expression 7 and Expression 8 are Fourier-transformed by the Fourier transform units 31 and 32, respectively. , F (k 1 , k 2 ) and G (k 1 , k 2 ) expressed in Equation 9 and Equation 10. Furthermore, each normalized at normalizing unit 33, the F'of formula 11 (k 1, k 2) and G'(k 1, k 2) . Further, these are synthesized in the synthesis unit 35 and become R (k 1 , k 2 ) represented by Expression 12. Further, inverse Fourier transform is performed in the inverse Fourier transform unit 36 to obtain r (k 1 , k 2 ) represented by Expression 13. This is called a POC value.
  • the POC value has a steep similarity peak as shown in FIG.
  • the height of the POC value indicates the image pattern similarity.
  • the amount of misalignment between images can be estimated from the peak position of the POC value. Since the POC value is obtained discretely, high resolution corresponding point coordinates can be obtained by interpolating and estimating the peak position with subpixels.
  • the peak position interpolation estimation method can be performed by fitting a function such as a parabola.
  • a method of performing a correlation calculation using a signal having only a phase component in which an amplitude component is suppressed from a frequency resolution signal of an image pattern is known.
  • DCT code only correlation method Fusion of image signal processing and image pattern recognition-DCT code limited correlation and its application", Hitoshi Kiya, Tokyo Metropolitan University, Faculty of System Design, Dynamic Image Processing Utilization Workshop 2007, 2007.3 Etc.
  • corresponding point search may be performed using these.
  • the corresponding point search apparatus searches for a corresponding point directly based on the attention point even if the attention point is at a sub-pixel level. Specifically, a window called a search template is set in which the point of interest at the sub-pixel level is the center of gravity, and the corresponding point is searched using the window.
  • FIG. 7 is a block diagram showing the configuration of the corresponding point search apparatus according to the present embodiment.
  • the corresponding point search device 7 acquires an image from a stereo camera and stores the image as a reference image among the image acquisition unit 11 and the stereo image stored in the image acquisition unit 11.
  • a point-of-interest input unit 12 that inputs a point of interest at the sub-pixel level, and a search that is a region having the point of interest as a centroid position in order to search for a corresponding point corresponding to the point of interest in a reference image or the like corresponding to the base image
  • the search template generation unit 13 for generating a search template, the search unit 14 for searching for corresponding points by sequentially determining the similarity of windows set in the search template and the reference image, and the like are obtained.
  • a calculation unit 15 that calculates distance information, two-dimensional optical flow, three-dimensional optical flow, and the like from the attention point and corresponding points.
  • the corresponding point searching device 7 is composed of, for example, various electronic components, integrated circuit components, a CPU (Central Processing Unit), a storage unit, and the like.
  • the image acquisition unit 11 functions to acquire and hold an image from a stereo camera (not shown) as data.
  • a stereo camera In order to detect a moving body image instead of a still image, it is necessary for the stereo camera to continuously capture images over time to obtain time-series stereo images. These images are sequentially held in the image acquisition unit 11, but necessary calculations for calculating distance information, two-dimensional optical flow, three-dimensional optical flow, and the like are finished. It should just be deleted.
  • the attention point input unit 12 inputs the attention point to the image held in the image acquisition unit 11.
  • the point of interest input to the image may be input at the center of gravity of the pixel (pixel level position) or at the sub pixel level.
  • the position of the point of interest is input to the original position without being corrected.
  • FIG. 8A is a diagram for explaining the input of the attention point, and is a diagram illustrating a case where the attention point is input to the barycentric position of the pixel.
  • FIG. 8B is a diagram for explaining the input of a point of interest, and shows a case where the point of interest is input at a sub-pixel level position.
  • the image 21 is divided into grids, but the plurality of squares represent the pixels 22.
  • the case where the point of interest 23a is input at the barycentric position (pixel level position) of the pixel 22 is a state as shown in FIG. 8A. Specifically, the attention point 23 a is in the center of the pixel 22. Further, the case where the attention point 23b is input at the sub-pixel level position of the pixel 22 is a state as shown in FIG. 8B. Specifically, this is the case where the attention point 23 b is at a position shifted from the center of the pixel 22.
  • the search template generation unit 13 generates a search template with the attention point input to the image by the attention point input unit 12 as the barycentric position. Specifically, the search template generation unit 13 sets the position of the search template and calculates an image pattern that is information such as a luminance value within the range. The search template generation unit 13 sets a region where the nearest pixel of the target point is the center of gravity, and generates a search template with the target point as the center of gravity by shifting this region at the sub-pixel level. It is preferable to do.
  • the search template has almost the same meaning as the window used for searching for corresponding points in the past.
  • the search for corresponding points is performed by cutting out corresponding images from each other in an area of a certain range and taking a correlation value between the areas. As described above, this area is called a window.
  • the window which is this area, is generated in units of pixels, and only a part of the pixels is included in the window, and the other is not included.
  • the search template in the present application is not a pixel unit region because the center of gravity is a point of interest at a sub-pixel level.
  • FIG. 9A is a diagram for explaining the search template, and is a diagram showing a standard image and a reference image when the point of interest is a pixel level position.
  • FIG. 9B is a diagram for explaining the search template, and shows a reference image and a reference image when the point of interest is at the sub-pixel level.
  • FIG. 9A when the point of interest in the reference image 21a having a plurality of pixels 22 is a pixel level position, for example, a 3 ⁇ 3 search with the point of interest 24a as the center of gravity position on the reference image 21a.
  • a template for use 25a is set.
  • a 3 ⁇ 3 window is set in the reference image 21b composed of the pixels 22, and the similarity between the image pattern of the search template 25a and the image pattern of the window of the reference image 21b is obtained, whereby the corresponding point 24b is obtained.
  • the position at the sub-pixel level can be obtained by using interpolation or the like as shown in FIG. 9A.
  • the degree of similarity with the window 25c on the reference image 21b is obtained, the window 25c corresponding to the search template 25b is obtained based on the degree of similarity, and the barycentric position of the window 25c is obtained as the corresponding point 24d.
  • the attention point 24a, the corresponding point 24b, the attention point 24c, and the corresponding point 24d are actually points, but are shown in the same size as the pixel in FIGS. 9A and 9B in consideration of ease of viewing. ing.
  • search template Since the search template is generated at a sub-pixel level position, it is necessary to obtain an image pattern from the arrangement of each pixel.
  • FIG. 10 is a diagram for explaining an image interpolation method.
  • (i, j), (i + 1, j), (i, j + 1) and (i + 1, j + 1) indicate pixel positions
  • (x, y) is the coordinates of the target point at the subpixel level position. is there.
  • the luminance value of (x, y) is obtained by interpolation using the luminance values of pixels located around (x, y).
  • interpolation is performed using the luminance values of the pixels (i, j), (i + 1, j), (i, j + 1) and (i + 1, j + 1) which are positions around (x, y).
  • the luminance value of (x, y) is obtained.
  • the luminance value at the sub-pixel level position deviated from the pixel level position can be obtained, the image pattern of the search template can be obtained, and the search template can be generated.
  • the luminance value I (x, y) at (x, y) using bilinear interpolation (bilinear interpolation) is shown below.
  • I (i, j), I (i + 1, j), I (i, j + 1), and I (i + 1, j + 1) indicate the luminance value of each pixel.
  • Equation 14 shows the coordinate position of (x, y), and Equation 15 shows the luminance value.
  • i and j are integers, and ⁇ x and ⁇ y are numbers greater than 0 and less than 1.
  • a search template may be generated by obtaining a luminance value at a sub-pixel level position by interpolation other than this.
  • the interpolation may be performed using bicubic interpolation (bicubic interpolation) or the like. Thereby, a search template can be generated.
  • the second method for generating the search template is a method of applying a window function.
  • frequency decomposition is usually performed after applying a window function in order to remove the influence of discontinuity.
  • the window function include a Hanning window, a Hamming window, and a Kaiser window. If the window function includes the amount of deviation from the pixel position at the point of interest at the sub-pixel level, a search template having an image pattern at the sub-pixel level can be obtained by applying the window function. Can be generated.
  • a method for including the shift amount in the window function will be described.
  • a Hanning window will be used as an example.
  • the Hanning window equation is expressed by equation 16.
  • Equation 16 represents a one-dimensional Hanning window. Expansion to two dimensions can be easily performed, and an expression representing a two-dimensional Hanning window is represented by Expression 17.
  • the window function to be applied which is obtained by adding the shift amount of the target point at the sub-pixel level to Expression 17, is expressed by Expression 18.
  • FIG. 11 is a diagram showing a window function including a deviation amount.
  • FIG. 11 shows a one-dimensional (x direction) case, and shows a window function that does not include a deviation amount and a window function when the deviation amount ⁇ x is 0.5. As can be seen from FIG. 11, the two are shifted.
  • the shift amount can be included in the window function other than the Hanning window in the same manner.
  • a search template having the position at the sub-pixel level as the position of the center of gravity can be generated.
  • a third method of generating a search template is a method of rotating a phase component in a frequency space. Details of this method are shown in “A High-Accuracy Passive 3D Measurement System Using Phase-Based Image Matching”, IEICE Transactions. Fundamentals, March 2006, E89-A, no. 3, pp. 686--697. ing. In particular, it is described in lines 19 to 32 in the right column on page 688 of this paper.
  • the corresponding point search method using frequency decomposition when calculating the shift amount of the subpixel level by iterative calculation, it is not necessary to perform frequency decomposition again, and by rotating the phase component in the frequency space, A search template can be generated. Thereby, a corresponding point search can be performed at high speed.
  • the search template generation unit 13 generates a search point template by using the above-described method or the like.
  • the search unit 14 uses the search template generated by the search template generation unit 13 to determine, for example, the similarity to the window of the reference image and search for a corresponding point. Specifically, the correlation value calculation such as the SAD method or the POC method described above may be performed.
  • the search template 25a is located at the pixel level, and thus is the same as the general corresponding point search described above.
  • FIG. 9B since the point of interest is at the sub-pixel level, the position of the center of gravity of the search template 25b deviates from the pixel position. Note that when setting the window 25c on the reference image 21b, the window 25c may be set at the pixel level, or the window 25c is set at the position of the sub-pixel level in the reference image 21b as in the standard image 21a. May be.
  • the resolution is rough, so that the attention point on the reference side is given at the pixel level instead of the sub-pixel. Good.
  • high-precision association is possible by giving the attention point on the reference side as a sub-pixel. Become. In this way, the position of the corresponding point at the low resolution is obtained, the original resolution is restored, and the window for obtaining the corresponding point is set by narrowing down to the vicinity of the corresponding point obtained at the low resolution. . Thereby, a corresponding point search can be performed at high speed.
  • the calculation unit 15 calculates distance information, a two-dimensional optical flow, a three-dimensional optical flow, and the like from the attention point input by the attention point input unit and the reference point for the attention point obtained by the search unit 14.
  • FIG. 12 is a diagram for explaining a method of calculating a three-dimensional optical flow using a stereo image. Here, a calculation method of distance information, a two-dimensional optical flow, and a three-dimensional optical flow will be described with reference to FIG.
  • a base image B1 and a reference image R1 taken at time T1 are shown. Further, a base image B2 and a reference image R2 taken at time T2, which is a time later than time T1, are shown.
  • the attention point 41 in the reference image B1 at the time T1 is input.
  • a corresponding point 42 on the reference image R1, which is a point corresponding to the attention point 41 is obtained.
  • a point of interest 43 on the reference image B2 at time T2 which is a point corresponding to the point of interest 41, is obtained.
  • the attention point 43 is a corresponding point with respect to the attention point 41, but is an attention point in the reference image R2 at time T2.
  • a corresponding point 44 on the reference image R2 at time T2 which is a point corresponding to the attention point 43, is obtained.
  • the attention point 41, the corresponding point 42, the attention point 43, and the corresponding point 44 are actually points, but are shown in the same size as the pixel in FIG.
  • the coordinates of the attention point 41 are (p1x, p1y), the coordinates of the corresponding point 42 are (q1x, q1y), the coordinates of the attention point 43 are (p2x, p2y), and the coordinates of the corresponding point 44 are (q2x, q2y).
  • the vertical direction in the drawing is the Y direction of each image, and the horizontal direction is the X direction of each image.
  • the stereo cameras of the two cameras that have captured these images are installed in parallel to each other, and the Y coordinates of the attention point 41 and the corresponding point 42 are the same, and the attention point 43 and the corresponding point The Y coordinate of the point 44 is also the same.
  • distance information such as the parallax ⁇ d1 in the image at the time T1 can be obtained from the coordinates of the attention point 41 and the corresponding point 42.
  • ⁇ d1 is (q1x ⁇ p1x).
  • distance information such as the parallax ⁇ d2 in the image at the time T2 can be obtained.
  • ⁇ d2 is (q2x ⁇ p2x).
  • a two-dimensional optical flow can be obtained from the coordinates of the attention point 41 and the attention point 43.
  • the two-dimensional optical flow is This is a vector represented by (p2x ⁇ p1x, p2y ⁇ p1y).
  • the distance D1 of the depth of the image obtained from the image at time T1 is obtained.
  • the depth is a coordinate in the direction perpendicular to the paper surface in FIG. 12, and this coordinate is a Z coordinate.
  • D1 is expressed by Expression 20.
  • D1 fB / ⁇ d1 (20)
  • the distance D2 of the depth (Z coordinate direction) of the image obtained from the image at time T2 is expressed by Equation 21 using the parallax ⁇ d2.
  • D2 fB / ⁇ d2 (21)
  • the three-dimensional coordinates (X1, Y1, Z1) of the attention point 41 at time T1 are (P1x ⁇ D1 / f, p1y ⁇ D1 / f, D1)
  • the three-dimensional coordinates (X2, Y2, Z2) of the point of interest 43 at time T2 are (P2x ⁇ D2 / f, p2y ⁇ D2 / f, D2).
  • a three-dimensional optical flow is obtained from these three-dimensional coordinates (X1, Y1, Z1) and (X2, Y2, Z2). Specifically, the three-dimensional optical flow is This is a vector represented by (X2-X1, Y2-Y1, Z2-Z1).
  • the fixed first camera 2 and second camera 3 photograph the subject 6 at the same time (time T1), and output the photographed standard image and reference image as data.
  • the first camera 2 and the second camera 3 continue shooting while sequentially shifting the time, and output time-series stereo images.
  • the images that are the data output from the first camera 2 and the second camera 3 are input to the arithmetic processing device 4 and further input to the corresponding point search device 7.
  • the image input to the corresponding point search device 7 is captured and held in the image acquisition unit 11.
  • the image acquisition unit 11 sends the held image to the attention point input unit 12.
  • the attention point input unit 12 inputs an arbitrary attention point in the reference image among the images and sends it to the search template generation unit 13.
  • the search template generation unit 13 generates a search template with the attention point input in the reference image as the center of gravity position. Specifically, an arbitrary area having the attention point as the center of gravity is set, and an image pattern in the area is obtained. Since the first point of interest may be set at the pixel level, the above-described interpolation, window function including a shift amount, and the like are unnecessary.
  • the image in which the search template is generated is sent to the search unit 14.
  • the search unit 14 sets a window on the reference image corresponding to the reference image that generated the search template, and determines the similarity between the image patterns of the reference image search template and the reference image window as described above in the SAD method and the POC method. Corresponding points are searched for by calculating the correlation value by the above. This corresponding point may be a sub-pixel level position.
  • the base image and the reference image taken at time T2 taken after time T1 are input to the search unit 14 so as to be associated with the image taken at time T1.
  • the search unit 14 obtains a corresponding point of the reference image at time T2 with respect to the point of interest of the reference image at time T1. This corresponding point may be a sub-pixel level position.
  • an instruction to input the position to the reference image at time T2 with the position as the target point is sent from the search unit 14 to the target point input unit 12.
  • the attention point input unit 12 inputs the attention point to the reference image at the time T ⁇ b> 2 from the image acquisition unit 11, and sends it to the search template generation unit 13.
  • the search template generation unit 13 generates a search template having the attention point input in the reference image at time T2 as the barycentric position.
  • the point of interest is the position at the sub-pixel level
  • the template for searching in consideration of the shift amount with respect to the pixel level by performing the above-described interpolation, applying the window function including the shift amount, etc. is generated. Specifically, an image pattern of an area having the position at the sub-pixel level as the center of gravity position is generated.
  • the search unit 14 sets a window for the reference image at time T2, and determines the similarity of the image pattern between the reference image search template at time T2 and the reference image window at time T2, as described above. Corresponding points are searched for by calculating the correlation value by the above. Further, the above-described operation is repeated for images taken at a later time.
  • the calculation unit 15 obtains distance information, a two-dimensional optical flow, and a three-dimensional optical flow from the attention point and corresponding point of the image at each time obtained by the above processing. Specifically, distance information at time T1 is obtained from the point of interest and corresponding points in the standard image and reference image at time T1, and distance information at time T2 is obtained from the point of interest and corresponding points in the standard image and reference image at time T2. be able to. In addition, a two-dimensional optical flow can be obtained from points of interest in the reference image at time T1 and the reference image at time T2. Further, a three-dimensional optical flow can be obtained based on the distance information at time T1, the distance information at time T2, and the two-dimensional optical flow. The calculation unit 15 sends the obtained data to the image generation unit 8.
  • the image generation unit 8 generates a three-dimensional image to be displayed on the display device 5 based on each data obtained by the calculation unit 15 and sends it to the display device 5.
  • the display device 5 displays the image sent from the image generation unit 8.
  • corresponding points are searched using stereo images, but when a time-series image output from a monocular device having only one camera is captured and corresponding points are searched for between those images. It can also be used.
  • the corresponding point search apparatus can directly obtain the corresponding point for the position even when the attention point is in the position at the sub-pixel level. Thereby, there exists an effect that a more exact corresponding point search can be performed.
  • the corresponding point search device acquires an image acquisition unit that acquires and holds two or more images, and a subpixel level on any one of the images stored in the image acquisition unit.
  • An attention point input unit that inputs the attention point of the image
  • a search template generation unit that generates a search template having the attention point as the center of gravity position
  • the search template are held in the image acquisition unit.
  • the search template generation unit sets a region where the pixel nearest to the target point is a centroid position, and shifts the region at a sub-pixel level, whereby the target point A search template having a center of gravity as a position is generated.
  • the image acquired and held by the image acquisition unit is a stereo image.
  • distance information can be obtained by using a stereo image, more accurate distance information can be obtained.
  • the above-described corresponding point search device further includes a calculation unit, and the stereo image is an image that is simultaneously captured by two imaging devices, and the image acquisition unit is the first captured at the first time.
  • the search unit is a point of interest on a reference image of the first stereo image
  • the calculation unit determines a point of interest on the reference image of the first stereo image and a point of interest on the reference image of the first stereo image. It is preferable to calculate a two-dimensional optical flow from corresponding points on the reference image of the second stereo image.
  • a stereo image is composed of two images simultaneously captured by two imaging devices, one of which is a reference image and the other is a reference image.
  • the attention point input unit sets a point on the reference image of the second stereo image corresponding to the attention point on the reference image of the first stereo image as the second stereo image.
  • the search unit searches for a corresponding point on the reference image of the second stereo image corresponding to the point of interest on the reference image of the second stereo image, and the calculation
  • the unit calculates distance information at the second time from a point of interest on the standard image of the second stereo image and a corresponding point on the reference image of the second stereo image.
  • the search unit searches for a corresponding point on a reference image of the first stereo image corresponding to a point of interest on a reference image of the first stereo image, and the arithmetic unit Calculates distance information at the first time from an attention point on the standard image of the first stereo image and a corresponding point on the reference image of the first stereo image, and further, distance information at the first time.
  • a three-dimensional optical flow is calculated from the distance information at the second time and the two-dimensional optical flow.
  • the search unit searches for a corresponding point using an image pattern of the search template in which the frequency decomposition is performed and the amplitude component is suppressed.
  • the search template generation unit generates a search template by interpolating an image.
  • the search template generation unit generates a search template by using a window function.
  • the window function it is possible to generate a search template that is pseudo-subpixel shifted. Therefore, it is possible to generate a search template with the position at the subpixel level as the center of gravity by causing a subpixel shift in a pseudo manner by a window function used when searching for corresponding points using frequency decomposition. Accordingly, an appropriate search template can be easily generated and processed at high speed.
  • the search template generation unit generates a search template by rotating a phase component of the image pattern in a frequency space.
  • the frequency resolution is preferably one of FFT, DFT, DCT, DST, wavelet transform, and Hadamard transform.
  • the frequency decomposition is performed by a generally used and already established method, the frequency decomposition can be reliably performed.
  • the search unit searches for a corresponding point using a phase-only correlation method.
  • the corresponding point search method includes a step of inputting an attention point at a sub-pixel level on any one of the corresponding images, and the attention point as a center of gravity position.
  • the point of interest is a sub-pixel level position
  • a point corresponding to the position can be directly obtained, so that a corresponding point search with high accuracy can be performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

　対応点探索装置は、２以上の画像を取得し、保持する画像取得部と、画像取得部に保持されている画像のうちいずれかの画像上にサブピクセルレベルの注目点を入力する注目点入力部と、注目点を重心位置とする探索用テンプレートを生成する探索用テンプレート生成部と、探索用テンプレートを用いて、画像取得部に保持されている画像のうち、注目点を入力した画像に対応する画像上において、注目点に対応する点を探索する探索部とを備えている。

Description

対応点探索装置および対応点探索方法
　本発明は、画像同士における対応点を探索するための対応点探索装置および対応点探索方法に関する。
　３次元形状の認識、あるいは測距や画像の動きの検出などを行う場合には、一般的に、２つの画像間における対応点の探索が行われる。対応点を探索する方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）法と呼ばれる方法が知られている。この方法は、まず、２つの画像のうち、一方の画像である基準画像上の注目点に対して、この注目点を内包するようなウィンドウを設定するとともに、他方の画像である参照画像上にも同サイズのウィンドウを複数設定する。なお、これら２つの画像は、例えばステレオカメラのように異なる視点から撮影した画像とすればよい。そして、基準画像上のウィンドウと、参照画像上の各ウィンドウとの間で相関値を算出して、最も相関値が高い参照画像上のウィンドウを探索し、そのウィンドウの重心位置を注目点の対応点として求める。
　例えば、特許文献１には、異なる時刻に取得されたステレオ画像をもとに、対応点の探索を行うことにより、画像におけるそれぞれの時刻における距離情報および２次元オプティカルフローを生成し、さらに、これらをもとに３次元オプティカルフローを生成する方法が記載されている。この方法では、注目点および対応点はピクセルレベル（画素単位）で与えられる。
　また、非特許文献１には、位相限定相関法（ＰＯＣ法）を用いた高精度な対応点探索手法が開示されている。この手法では、基準画像上のピクセルレベルの注目点に対応する参照画像上のピクセルレベルの対応点を算出した後に、注目点に対する対応点のサブピクセルレベルのずれ量を求めることで、より正確な対応点を求めている。
　しかし、上述の特許文献１の方法では、対応点の位置がサブピクセルレベルの場合を考慮していない。したがって、対応点が実際にはサブピクセルレベルの位置である場合であっても、そのサブピクセルレベル位置近傍のピクセルレベルの位置に対して対応点探索を行うことになる。そのため、正しい対応点の位置とずれが生じてしまう。したがって、このようにして求められた対応点をもとに、距離情報、２次元オプティカルフローおよび３次元オプティカルフローを求めても正確な値を得ることはできない。仮に、得られた対応点の情報を補間するなどして、より正確な値に近づけたとしても、あくまでも補間によるものであり、高精度とはいえない。
　また、非特許文献１の方法では、注目点に対する対応点のサブピクセルレベルのずれ量を求める演算の中間段階において、注目点をサブピクセルレベルに変更しているが、サブピクセルレベルで設定された注目点に対する探索を行っているというわけではない。したがって、特許文献１と同様に、非特許文献１の方法も、正しい対応点の位置を求めているわけではなく、高精度の対応付けがなされているとはいえない。
　このように、従来においては、サブピクセルレベルの位置にある注目点から対応点を求めることはなかった。仮に、サブピクセルレベルの位置に注目点がある場合には、ピクセルレベルの位置に補正して対応点を求めていた。したがって、正しい対応点の位置を求めることはできなかった。
特開２００１－８４３８３号公報 Kenji　TAKITA,　Mohammad　Abdul　MUQUIT,　Takafumi　AOKI,　Tatsuo　HIGUCHI,　"A　Sub-Pixel　Correspondence　Search　Technique　for　Computer　Vision　Applications",　IEICE　Transactions.　Fundamentals,　Aug.　2004,　E87-A,　no.8,　pp.1913-1923
　本発明は、上述の事情に鑑みて為された発明であり、その目的は、注目点がサブピクセルレベルの位置であっても、その位置に対応する点を直接的に求めることで、より正確な対応点探索を行う対応点探索装置および対応点探索方法を提供することである。
　本発明の対応点探索装置は、画像上の注目点を重心位置とする探索用テンプレートを用いて、対応する画像上における注目点に対応する点を探索する。これにより、注目点がサブピクセルレベルの位置であっても、その位置に対応する点を直接的に求めることができるので、対応付け精度をより向上させることができる。
本実施形態に係る移動体検出装置の概略構成を示す図である。 本実施形態の移動体検出装置による３次元演算の方法について説明するための図である。 対応点探索方法を説明するための図である。 対応点探索手法であるＳＡＤ法を説明するための図である。 ＰＯＣ値を算出する演算装置の構成を示す図である。 ＰＯＣ法で求められたＰＯＣ値を示す図である。 本実施形態に係る対応点探索装置の構成を示すブロック図である。 図８Ａは注目点の入力について説明する図であって、画素の重心位置に注目点を入力する場合を示す図である。図８Ｂは注目点の入力について説明する図であって、サブピクセルレベルの位置に注目点を入力する場合を示す図である。 図９Ａは探索用テンプレートについて説明するための図であって、注目点がピクセルレベルの位置である場合の基準画像と参照画像とを示す図である。図９Ｂは探索用テンプレートについて説明するための図であって、注目点がサブピクセルレベルの場合の基準画像と参照画像とを示す図である。 画像補間の方法を説明するための図である。 ずれ量を含む窓関数を示す図である。 ステレオ画像による３次元オプティカルフローの算出方法を説明するための図である。
　以下、本発明に係る実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。
　まず、本発明の実施形態に係る移動体検出装置の構成について説明する。図１は本実施形態に係る移動体検出装置の概略構成を示す図である。この移動体検出装置１は、被写体６の２次元入力画像を得るために、適当な距離だけ離間させて左右に設置されたステレオカメラを構成する第１のカメラ２および第２のカメラ３と、これら第１のカメラ２および第２のカメラ３の出力画像から画像における３次元座標等を演算する演算処理装置４と、その演算処理結果である検出された被写体６の３次元形状を表示する表示装置５とを備えて構成される。
　第１のカメラ２および第２のカメラ３は、被写体６を同じタイミングで撮影した左右一対の画像（基準画像と参照画像）を出力する。なお、これら第１のカメラ２および第２のカメラ３の収差は良好に補正されており、かつ、これらは相互に平行に設置されているものとする。
　このように、第１のカメラ２および第２のカメラ３を平行に設置することで、平行化された画像が得られる。それにより、対応点の探索領域を１次元に限定できるという効果を奏する。なお、実際には平行化された画像が得られなくても、画像処理によって画像を平行化することは可能である。なお、画像処理によって平行化する場合は、画像にノイズが重畳されるので、平行化された画像で対応点の探索を行うと精度が低下する。そこで、平行化前の画像から直接対応点を求めてから、最後に３次元化することが好ましく、それにより、ノイズの影響を最小限に抑えることができる。
　第１のカメラ２および第２のカメラ３により、被写体６を撮影した画像は演算処理装置４に送られる。また、演算処理装置４は対応点探索装置７および画像生成部８を有している。対応点探索装置７は、例えば第１のカメラ２および第２のカメラ３が撮影した画像のうち基準画像に対して任意の注目点を入力し、参照画像において前記注目点に対応する対応点を探索し、それらから距離情報等を算出する。画像生成部８は、対応点探索装置７により算出された距離情報等に基づいて、被写体６の３次元形状を示す画像を生成し、表示装置５に送る。表示装置５は画像生成部８から送信された被写体６の３次元情報を加えた画像を表示する。
　次に、移動体検出装置１による３次元演算の具体例として、距離演算について説明する。図２は、本実施形態の移動体検出装置による３次元演算の方法について説明するための図である。第１のカメラ２および第２のカメラ３は、焦点距離ｆ、撮像素子の画素数および１画素の大きさが互いに等しい。なお、撮像素子は、第１のカメラ２の撮像面２ｂおよび第２のカメラ３の撮像面３ｂに配置されている。さらに、第１のカメラ２および第２のカメラ３の光軸２ａおよび光軸３ａは、所定の基線長Ｂだけ左右に離間させて平行となるように配置されている。被写体６を撮影したとき、撮像面２ｂおよび撮像面３ｂ上の視差がΔｄ（＝ｄｌ＋ｄｒ）であると、被写体６までの距離Ｄは以下に示す式１で表される。
　　Ｄ＝ｆ・Ｂ／Δｄ　・・・（１）
　また、被写体６の各部の３次元位置（Ｘ，Ｙ，Ｚ）は、ｘ、ｙを画素上での位置とすると、以下に示す式２、式３、式４で表される。
　　Ｘ＝ｘ・Ｄ／ｆ　・・・（２）
　　Ｙ＝ｙ・Ｄ／ｆ　・・・（３）
　　Ｚ＝Ｄ　・・・（４）
　次に、本発明の実施形態に係る対応点探索装置について説明するが、その前に、一般的な対応点探索方法について図３を用いて簡単に説明する。図３は対応点探索方法を説明するための図である。なお、この方法は本実施形態においても用いられている。
　２つの画像のうち、一方の画像を基準画像２１ａとし、他方の画像を参照画像２１ｂとする。基準画像２１ａ上の任意の点（注目点）に対する、参照画像２１ｂ上の点（対応点）を探索する。まず、基準画像２１ａにおいて、画素単位で構成された一定の大きさを有する領域であり、注目点が重心位置に設定されたウィンドウ９を設定する。ウィンドウ９は、このように一定の大きさを有する画像上の領域であり、その領域内に含まれる各画素の輝度値等の情報（画像パターン）を含んでいる。そして、参照画像２１ｂ上において、このウィンドウ９に対応するウィンドウを探索する。具体的には、参照画像２１ｂ上の任意の位置に、基準画像２１ａのウィンドウ９と同じ大きさを有する領域であるウィンドウ１０を設定し、ウィンドウ９とウィンドウ１０との類似度（相関値）を求める。つまり、これらウィンドウ９とウィンドウ１０との画像パターンの類似度を求める。この類似度より、参照画像２１ｂのウィンドウ１０が基準画像２１ａのウィンドウ９に対応するか否かを判断する。仮に、これらの類似度が低く、対応しないと判断されれば、参照画像２１ｂにおいて、ウィンドウ１０は、例えば１画素いずれかの方向にずれた位置に設定し直され、設定し直されたウィンドウ１０と基準画像２１ａのウィンドウ９との類似度を求める。このようにして、基準画像２１ａのウィンドウ９と類似度の高い参照画像２１ｂのウィンドウ１０を求める。それにより、ウィンドウ９に対応するウィンドウ１０を求めることができる。こうして求められたウィンドウ１０の重心位置が対応点となる。
　こうして求めた対応点および注目点の座標から、被写体までの距離である距離情報を算出することができる。具体的には、図２により説明した計算により算出することができる。また、同じステレオカメラにより、時間をずらして被写体を撮影した画像における基準画像および参照画像の注目点および対応点からその時刻の距離情報を算出することができる。また、先の撮影における注目点と後の撮影における注目点との座標により、２次元オプティカルフローを算出することができる。なお、後の撮影における注目点は、先の基準画像上における注目点に対応する後の基準画像上における点である。また後の撮影における対応点は後の基準画像上における注目点に対応する後の参照画像上における点である。以上で算出した距離情報および２次元オプティカルフローにより、３次元オプティカルフローを算出することができる。
　上述の方法により、注目点に対応する対応点を求めることができるが、参照画像２１ｂ上に設定され得るすべてのウィンドウ１０と基準画像２１ａのウィンドウ９との類似度を求めていては、時間がかかる。そこで、探索時間を短縮するために、種々の方法がある。以下にその具体例を示す。
　例えば、２つのカメラが平行に配置されており、基準画像２１ａと参照画像２１ｂとがほとんど平行に配置されている場合は、参照画像２１ｂ上における対応点は基準画像２１ａ上における注目点と同じ高さ位置にあると仮定できる。なお、高さ方向は図３の上下方向である。したがって、この高さ位置を重心とするウィンドウ１０のみを設定すればよい。また、基準画像２１ａと参照画像２１ｂとがほとんど平行に配置されていて、かつ基準画像２１ａの注目点と参照画像２１ｂの対応点との視差がある程度分かっている場合は、ウィンドウ１０の設定範囲はさらに限定することができる。このように、ウィンドウ１０の設定範囲を限定することで、類似度を求めるウィンドウの数を抑制できるので、短時間で探索を行うことができる。
　また、一旦、それぞれの画像の解像度を低くして、すなわち探索するウィンドウの画素数を減少させて対応点の位置を求めることで、対応点の存在する範囲を絞り込む方法もある。この方法を用いることで、対応点探索にかかる時間を短縮できる。つまり、それぞれの画像の解像度を低くすることで、画像パターンの情報を減少させ、ウィンドウ同士の類似度を短時間で求めることができる。元の解像度における本来の対応点は、低解像度での対応点付近に存在するはずであるから、画像の解像度を元に戻して、低解像度で求めた対応点付近についてウィンドウ１０を設定し、ウィンドウ９との類似度を判断すればよい。この方法は、多重解像度戦略による対応点の探索方法とよばれている。低解像度の画像において対応点探索をすることで、元の解像度の画像における対応点が存在する範囲を短時間で確定することができる。そのため、対応点探索にかかる時間を短縮することができる。なお、この方法においては、何段階かに分けた複数の低解像度画像を作成して、徐々に探索位置を絞り込んでいってもよい。
　次に、具体的な対応付けの方法について説明する。まず、ＳＡＤ（Sum of
Absolute Difference）法による相関値演算について説明する。図４は、対応点探索手法であるＳＡＤ法を説明するための図である。このＳＡＤ法では、基準画像２１ａ上のウィンドウＩｍｇ１の部分に対応する参照画像２１ｂ上のウィンドウを探索する。具体的には、基準画像２１ａ上の注目点を重心とする、縦横方向にそれぞれｗ画素分の大きさを持つウィンドウＩｍｇ１を設定し、同様に、参照画像２１ｂ上にも同じ大きさを持つウィンドウＩｍｇ２を設定する。そして、参照画像２１ｂ上におけるウィンドウＩｍｇ２を、基線長方向のある範囲ｐ（０＜ｐ＜ｍａｘ＿ｄｉｓｐ）においてずらしながら、それぞれの位置でウィンドウＩｍｇ２とウィンドウＩｍｇ１との相関演算を行う。このとき、参照画像２１ｂ上でのウィンドウＩｍｇ２の最初の座標位置は、基準画像２１ａ上におけるウィンドウＩｍｇ１の座標位置と同じ位置である。相関値（ＣＯＲｐ）は式５で表される。
　相関値を求めるためには、まず式６に示すＳＡＤｐを求めなければならない。式６において、Ｉｍｇ１（ｉ，ｊ）はウィンドウＩｍｇ１の輝度値を、Ｉｍｇ２（ｉ，ｊ＋ｐ）はウィンドウＩｍｇ２の輝度値を表す。式６に示すように、ＳＡＤｐは、それぞれのウィンドウ内における対応画素の明るさの差の絶対値をそれぞれ求め、それをウィンドウ内の全画素に亘って加算した値である。
Figure JPOXMLDOC01-appb-I000001
　上述の方法により、基準画像２１ａ上のウィンドウＩｍｇ１と、最も相関値の高い、参照画像２１ｂ上のウィンドウを求め、そのウィンドウの重心位置にある対応点を求める。なお、このような相関値演算には、他にＳＳＤ(Sum of Squared Difference)法（２乗残差法）、ＮＣＣ（Normalize　Cross　Correlation）法（正規化相互相関法）等がある。
　次に、上記ＳＡＤ法等に比べてロバスト性を有する対応点探索手法について説明する。具体的には、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う方法であり、画像の左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバスト性を有する相関演算が実現可能である。画像パターンの周波数分解信号を計算する手法として、例えば高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換、アダマール変換などが知られている。ここでは、このようなロバスト性を有する対応点探索手法のうち位相限定相関法（以下、ＰＯＣ法という）について説明する。
　図５はＰＯＣ値を算出する演算装置の構成を示す図であり、図６はＰＯＣ法で求められたＰＯＣ値を示す図である。ＰＯＣ法においても、上記ＳＡＤ法と同様に、基準画像上に、注目点を重心とするウィンドウを設定し、参照画像上に同じ大きさを持つウィンドウを設定する。そして、参照画像上のウィンドウをずらしながら、ウィンドウ同士の相関値を計算し、それらの類似度から対応するウィンドウを求める。具体的には、相関値であるＰＯＣ値を計算する。なお、ＰＯＣ値は画素ごとに離散的に求まるため、ウィンドウ内における画素ごとの相関値を求めることができる。つまり、上述のＳＡＤ法等では、ウィンドウごとの相関値を求めるが、ＰＯＣ法を用いることで、ウィンドウ内の画素ごとの相関値も求めることができる。それにより、ウィンドウ内における、類似度の高い範囲を求めることができる。したがって、ウィンドウの設定範囲を絞り込むことが容易であり、対応点を求める処理が高速でできるという効果を奏する。また、上記ＰＯＣ法等のロバスト性を有する相関値演算方法においては、ＳＡＤ法等のようにウィンドウが１画素ずつずらされることで、相関値の算出が行われる必要はなく、ウィンドウが複数画素分ずらされても、相関値の算出は行われる。
　図５に示す構成を有する、ＰＯＣ値を算出する演算装置は、２次元離散フーリエ変換を用い、フーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行う。図５に示すように、基準画像のウィンドウおよび参照画像のウィンドウは、フーリエ変換部３１、３２においてそれぞれフーリエ変換され、規格化部３３、３４において規格化された後、合成部３５において合成され、逆フーリエ変換部３６において逆フーリエ変換される。この流れを数式で表すと以下に示すとおりである。
Figure JPOXMLDOC01-appb-I000002
　具体的には、式７および式８で示す基準画像および参照画像における画像信号ｆ（ｎ１，ｎ２）およびｇ（ｎ１，ｎ２）が、フーリエ変換部３１、３２においてそれぞれフーリエ変換され、式９および式１０に表すＦ（ｋ１，ｋ２）およびＧ（ｋ１，ｋ２）に変換される。さらに、それぞれが規格化部３３、３４において規格化され、式１１で表されるＦ´（ｋ１，ｋ２）およびＧ´（ｋ１，ｋ２）となる。さらにこれらが合成部３５において合成され、式１２で表されるＲ（ｋ１，ｋ２）となる。さらに、逆フーリエ変換部３６において逆フーリエ変換され、式１３で表されるｒ（ｋ１，ｋ２）が求められる。これをＰＯＣ値という。
　ＰＯＣ値は、図６に示すように、急峻な類似度ピークを有している。例えば、基準画像のウィンドウに対して、参照画像のウィンドウが移動している場合には、これらのＰＯＣ値は、その移動量を示す座標に急峻な類似度ピークを持つことが知られている。また、ＰＯＣ法は、画像マッチングにおけるロバスト性が高い。ＰＯＣ値の高さは、画像パターン類似度を示す。ＰＯＣ値のピーク位置より、画像間の位置ずれ量を推定できる。ＰＯＣ値は離散的に求まるため、ピーク位置をサブピクセルで補間推定することにより、高分解な対応点座標を求めることができる。ピーク位置の補間推定方法としては、放物線などの関数をフィッティングして行うことができる。
　ＰＯＣ法以外でも、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて相関演算を行う方法は知られている。例えばＤＣＴ符号限定相関法（「画像信号処理と画像パターン認識の融合－ＤＣＴ符号限定相関とその応用」，貴家仁志，首都大学東京　システムデザイン学部　動的画像処理実利用化ワークショップ２００７，２００７．３．８－９参照）等があり、これらを用いて対応点探索を行ってもよい。
　以上、一般的な対応点探索について説明した。次に、本実施形態に係る対応点探索装置について説明する。本実施形態の対応点探索装置は、注目点がサブピクセルレベルの位置であっても、その注目点に基づいて直接対応点を探索するものである。具体的には、サブピクセルレベルの位置にある注目点を重心位置とする探索用テンプレートと呼ぶウィンドウを設定して、それを用いて対応点を探索する。
　図７は本実施形態に係る対応点探索装置の構成を示すブロック図である。図７に示すように、対応点探索装置７は、ステレオカメラからの画像を取得し、保持しておく画像取得部１１と、画像取得部１１に保持されているステレオ画像のうち、基準画像にサブピクセルレベルで注目点を入力する注目点入力部１２と、基準画像に対応する参照画像等における注目点に対応する対応点を探索するために、前記注目点を重心位置とする領域である探索用テンプレートを生成する探索用テンプレート生成部１３と、探索用テンプレートおよび参照画像等に設定されたウィンドウの類似度を順次求めていくことで、対応点を探索する探索部１４と、これらにより求められた注目点および対応点等から距離情報、２次元オプティカルフローおよび３次元オプティカルフロー等を算出する演算部１５とを備えて構成されている。対応点探索装置７は、例えば、各種電子部品や集積回路部品、ＣＰＵ（Central Processing Unit）、記憶部等から構成されている。
　画像取得部１１は、ステレオカメラ（図示せず）からの画像をデータとして取得し、保持しておく働きをする。なお、静止画像ではなく移動体画像を検出等するためには、ステレオカメラは時間経過とともに順次撮影を続け、時系列ステレオ画像を得る必要がある。それらの画像は、画像取得部１１に順次保持されていくが、距離情報、２次元オプティカルフローおよび３次元オプティカルフロー等を算出するための必要な演算が終了し、不要になった画像については順次削除されていくこととすればよい。
　注目点入力部１２は、画像取得部１１に保持されている画像に注目点を入力する。なお、画像への注目点の入力は、画素の重心位置（ピクセルレベルの位置）に入力しても、サブピクセルレベルの位置に入力してもどちらでもかまわない。注目点の位置を補正等せずに、本来の位置に入力する。図８Ａは、注目点の入力について説明する図であって、画素の重心位置に注目点を入力する場合を示す図である。また、図８Ｂは、注目点の入力について説明する図であって、サブピクセルレベルの位置に注目点を入力する場合を示す図である。図８Ａおよび図８Ｂにおいて、画像２１はマス目状に区切られているが、これら複数のマスは画素２２を表している。注目点２３ａが画素２２の重心位置（ピクセルレベルの位置）に入力されている場合とは、図８Ａに示すような状態である。具体的には、注目点２３ａが画素２２の中心にある状態である。また、注目点２３ｂが画素２２のサブピクセルレベルの位置に入力されている場合とは、図８Ｂに示すような状態である。具体的には、注目点２３ｂが画素２２の中心からずれた位置にある場合である。
　探索用テンプレート生成部１３は、注目点入力部１２により画像に入力された注目点を重心位置とする探索用テンプレートを生成する。具体的には、探索用テンプレート生成部１３は、探索用テンプレートの位置の設定およびその範囲内の輝度値等の情報である画像パターンの算出を行う。なお、探索用テンプレート生成部１３は、注目点の最近傍の画素が重心位置となる領域を設定し、この領域をサブピクセルレベルでずらすことで、注目点を重心位置とする探索用テンプレートを生成することが好ましい。
　ここで、探索用テンプレートとは、従来対応点を探索するために用いているウィンドウとほぼ同様の意味である。対応点の探索は、対応する画像同士をそれぞれ一定の範囲の領域で切り出し、その領域同士の相関値をとることで行うが、上述したように、この領域をウィンドウという。従来では、この領域であるウィンドウは画素単位で生成されていて、画素の一部のみがウィンドウに含まれ、それ以外は含まれないということはない。しかし、本願における探索用テンプレートは、重心位置がサブピクセルレベルの位置である注目点であることから、画素単位の領域になるとは限らない。
　具体的に、探索用テンプレートについて説明する。図９Ａは、探索用テンプレートについて説明するための図であって、注目点がピクセルレベルの位置である場合の基準画像と参照画像とを示す図である。また、図９Ｂは、探索用テンプレートについて説明するための図であって、注目点がサブピクセルレベルの場合の基準画像と参照画像とを示す図である。図９Ａに示すように、複数の画素２２を有する基準画像２１ａにおける注目点がピクセルレベルの位置である場合は、基準画像２１ａ上において、注目点２４ａを重心位置とする、例えば３×３の探索用テンプレート２５ａが設定される。また、画素２２からなる参照画像２１ｂにおいては３×３のウィンドウが設定され、探索用テンプレート２５ａの画像パターンと参照画像２１ｂのウィンドウの画像パターンとの類似度を求め、それにより、対応点２４ｂを求める。なお、対応点２４ｂの探索においては補間等を用いることにより、図９Ａに示すようにサブピクセルレベルでの位置を求めることができる。
　しかし、図９Ｂに示すように、注目点２４ｃの位置が画素の重心からずれている場合は、画素を構成単位とするウィンドウを設定することはできず、設定するためには、例えば、注目点２４ｃの位置を画素の重心位置となるように補正等しなければならない。しかし、それでは、本来の値からずれた値を求めることになる。そこで、注目点２４ｃを重心位置とし、画素を構成単位とせず、３×３の大きさである探索用テンプレート２５ｂを生成する。そして、参照画像２１ｂ上のウィンドウ２５ｃとの類似度を求め、その類似度により探索用テンプレート２５ｂに対応するウィンドウ２５ｃを求め、そのウィンドウ２５ｃの重心位置を対応点２４ｄとして求める。なお、注目点２４ａ、対応点２４ｂ、注目点２４ｃおよび対応点２４ｄは、実際には点であるが、見易さを考慮して図９Ａおよび図９Ｂにおいては、画素と同じ大きさに図示している。
　ここで、探索用テンプレートの生成方法について説明する。探索用テンプレートはサブピクセルレベルの位置に生成されることから、各画素の配置から、画像パターンを求める必要がある。
　探索用テンプレートを生成するための第１の方法として、画像を補間する方法がある。図１０は画像補間の方法を説明するための図である。図１０において、（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）および（ｉ＋１，ｊ＋１）は画素の位置を示し、（ｘ，ｙ）がサブピクセルレベル位置の注目点の座標である。この場合に、探索用テンプレートの画像パターンを求めるためには、具体的には（ｘ，ｙ）における輝度値を求める必要がある。そこで、（ｘ，ｙ）の周りに位置する画素の輝度値を用いて補間により、（ｘ，ｙ）の輝度値を求める。具体的には、（ｘ，ｙ）の周りの位置である（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）および（ｉ＋１，ｊ＋１）の画素の輝度値を用いて補間することで、（ｘ，ｙ）の輝度値を求める。このようにして、ピクセルレベルの位置からずれている、サブピクセルレベルの位置における輝度値を求め、探索用テンプレートの画像パターンを求めることができ、探索用テンプレートを生成することができる。以下に、双一次補間（バイリニア補間）を用いた、（ｘ，ｙ）における輝度値Ｉ（ｘ，ｙ）を示す。ここで、Ｉ（ｉ，ｊ）、Ｉ（ｉ＋１，ｊ）、Ｉ（ｉ，ｊ＋１）およびＩ（ｉ＋１，ｊ＋１）は各画素の輝度値を示す。なお、式１４は（ｘ，ｙ）の座標位置を示し、式１５にその輝度値を示している。ここで、ｉおよびｊは整数であり、δｘおよびδｙは０よりも大きく、１よりも小さい数である。
　（ｘ，ｙ）＝（ｉ＋δｘ，ｊ＋δｙ）　・・・（１４）
　Ｉ（ｘ，ｙ）＝｛（１－δｘ）（１－δｙ）×Ｉ（ｉ，ｊ）｝
　　　　　　　　＋｛（１－δｘ）×δｙ×Ｉ（ｉ＋１，ｊ）｝
　　　　　　　　＋｛δｘ×（１－δｙ）×Ｉ（ｉ，ｊ＋１）｝
　　　　　　　　＋｛δｘ×δｙ×Ｉ（ｉ＋１，ｊ＋１）｝　　　・・・（１５）
　双一次補間について、上述したがこれ以外の補間により、サブピクセルレベルの位置での輝度値を求め、探索用テンプレートを生成してもよい。例えば、双三次補間（バイキュービック補間）等を用いて補間すればよい。それにより、探索用テンプレートを生成することができる。
　探索用テンプレートを生成するための第２の方法は、窓関数を適用する方法である。上記対応点探索の方法のうち、例えばＰＯＣ法等のように周波数分解を行う方法において、周波数分解を行う際、通常は不連続性の影響などを取り除くために窓関数を適用後、周波数分解を行う。窓関数としては、例えばハニング窓、ハミング窓、カイザー窓等が挙げられる。この窓関数に、サブピクセルレベルの位置にある注目点における、画素の位置からのずれ量を含ませておけば、窓関数を適用することで、サブピクセルレベルの画像パターンを有する探索用テンプレートを生成することができる。以下に、窓関数にずれ量を含ませる方法について説明する。ここでは一例として、ハニング窓を用いて説明する。ハニング窓の式は式１６で表される。
Figure JPOXMLDOC01-appb-I000003
　式１６は１次元のハニング窓を表す。２次元への拡張は容易に行うことができ、２次元のハニング窓を表す式は式１７で表される。
Figure JPOXMLDOC01-appb-I000004
　式１７にサブピクセルレベルの位置にある注目点のずれ量を加味することで求めた、適用させるべき窓関数は式１８で表される。
Figure JPOXMLDOC01-appb-I000005
　図１１は、ずれ量を含む窓関数を示す図である。図１１では、１次元（ｘ方向）の場合を示していて、ずれ量を含まない窓関数と、ずれ量δｘを０．５とした場合の窓関数とを示した。図１１からわかるように、両者は、ずれている。
　このようにして、求めたずれ量を含む窓関数を適用後、周波数分解を行い、例えばＰＯＣ法を用いて、対応付けを行えばよい。なお、周波数分解を用いる必要のない、ＳＡＤ法等の対応付け方法においても、画素（ｉ，ｊ）の輝度値であるＩ（ｉ，ｊ）に、このずれ量を含む窓関数を乗じることで、サブピクセルレベルの位置における注目点の輝度値Ｉ（ｘ，ｙ）を求めることができる。具体的には、式１９で表される。
　Ｉ（ｘ，ｙ）＝ＤＨ（ｉ，ｊ）×Ｉ（ｉ，ｊ）・・・（１９）
　したがって、サブピクセルレベルの位置を重心位置とする探索用テンプレートを生成することができる。
　なお、ハニング窓以外の窓関数においても、同様にしてずれ量を含ませることができる。それにより、サブピクセルレベルの位置を重心位置とする探索用テンプレートを生成することができる。
　探索用テンプレートの生成方法の第３の方法は、周波数空間で位相成分を回転させる方法である。この方法の詳細は、「“A　High-Accuracy　Passive　3D　Measurement　System　Using　Phase-Based　Image　Matching”,　IEICE　Transactions.　Fundamentals,　March　2006,　E89-A,　no.　3,　pp.　686--697」に示されている。特に本論文の６８８ページにおける右欄の１９行～３２行に記載されている。この方法により、周波数分解を利用する対応点探索手法において、サブピクセルレベルのずれ量を反復演算で算出する場合は、周波数分解を再度行う必要はなく、周波数空間で位相成分を回転することで、探索用テンプレートを生成することができる。それにより、対応点探索を高速に行うことができる。
　探索用テンプレート生成部１３は、上述の方法等を用いることにより、探索用点テンプレートを生成する。
　探索部１４は、探索用テンプレート生成部１３で生成された探索用テンプレートを用いて、例えば参照画像のウィンドウとの類似度を判断し、対応点を探索する。具体的には、上述したＳＡＤ法、ＰＯＣ法等の相関値演算を行えばよい。図９Ａにおいては、探索用テンプレート２５ａはピクセルレベルで位置するので、上述した一般的な対応点探索と同様である。図９Ｂにおいては、注目点がサブピクセルレベルなので、探索用テンプレート２５ｂの重心位置は画素の位置からずれる。なお、参照画像２１ｂ上にウィンドウ２５ｃを設定する際、ピクセルレベルでウィンドウ２５ｃを設定してもよいし、基準画像２１ａと同じように、参照画像２１ｂにおいてサブピクセルレベルの位置にウィンドウ２５ｃを設定してもよい。
　なお、多重解像度戦略による場合は、低解像度における対応点探索において、ピクセル対応付けを行うのであれば、分解能が粗いので、基準側の注目点をサブピクセルではなく、ピクセルレベルで与えるようにすればよい。また、低解像度での精度を高めるために、低解像度でもサブピクセルレベルの対応付けを行うのであれば、基準側の注目点もサブピクセルで与えるようにすることで高精度な対応付けが可能になる。このようにして、低解像度での対応点の位置を求めておき、元の解像度に戻して、低解像度で求めた対応点の付近に絞って、対応点を求めるためのウィンドウを設定すればよい。それにより、対応点探索を高速で行うことができる。
　演算部１５は、注目点入力部で入力された注目点、探索部１４により求められたその注目点に対する参照点等から距離情報、２次元オプティカルフローおよび３次元オプティカルフロー等を算出する。図１２はステレオ画像による３次元オプティカルフローの算出方法を説明するための図である。ここで、図１２を用いて、距離情報、２次元オプティカルフローおよび３次元オプティカルフローの算出方法について説明する。
　図１２において、時刻Ｔ１に撮影された基準画像Ｂ１と参照画像Ｒ１とが示されている。また、時刻Ｔ１よりも後の時刻である時刻Ｔ２に撮影された基準画像Ｂ２と参照画像Ｒ２とが示されている。まず、時刻Ｔ１における基準画像Ｂ１における注目点４１が入力されているとする。この注目点４１に対応する点である、参照画像Ｒ１上の対応点４２が求められている。また、注目点４１に対応する点である、時刻Ｔ２での基準画像Ｂ２上の注目点４３が求められている。なお、この注目点４３は注目点４１に対しては対応点ではあるが、時刻Ｔ２における参照画像Ｒ２においては注目点となる。すなわち、注目点４３に対応する点である、時刻Ｔ２での参照画像Ｒ２上の対応点４４が求められている。なお、注目点４１、対応点４２、注目点４３および対応点４４は実際には点であるが、見易さを考慮して、図１２においては画素と同じ大きさで図示している。
　注目点４１の座標を（ｐ１ｘ，ｐ１ｙ)とし、対応点４２の座標を（ｑ１ｘ，ｑ１ｙ)とし、注目点４３の座標を（ｐ２ｘ，ｐ２ｙ)とし、対応点４４の座標を（ｑ２ｘ，ｑ２ｙ)とする。なお、図面の上下方向が各画像のＹ方向であり、左右方向が各画像のＸ方向である。ここで、これらの画像を撮影した２つのカメラで構成されるステレオカメラのカメラ同士は互いに平行に設置されていて、注目点４１および対応点４２のＹ座標は同じであり、注目点４３および対応点４４のＹ座標も同じであることとする。
　まず、注目点４１および対応点４２の座標より、時刻Ｔ１の画像における視差Δｄ１等の距離情報を求めることができる。具体的には、Δｄ１は（ｑ１ｘ－ｐ１ｘ）である。
注目点４３および対応点４４の座標より、時刻Ｔ２の画像における視差Δｄ２等の距離情報を求めることができる。具体的には、Δｄ２は（ｑ２ｘ－ｐ２ｘ）である。
　また、注目点４１および注目点４３の座標より２次元オプティカルフローを求めることができる。具体的には、２次元オプティカルフローは、
（ｐ２ｘ－ｐ１ｘ，ｐ２ｙ－ｐ１ｙ）で表されるベクトルである。
　視差Δｄ１をもとに、時刻Ｔ１における画像より得た画像の奥行きの距離Ｄ１が求まる。この奥行きは、具体的には、図１２における紙面垂直方向の座標であり、この座標をＺ座標とする。ここで、焦点距離をｆとし、基線長をＢとすると、Ｄ１は式２０で表される。
　Ｄ１＝ｆＢ／Δｄ１・・・（２０）
　また、同様に、時刻Ｔ２における画像より得た画像の奥行き（Ｚ座標方向）の距離Ｄ２は、視差Δｄ２を用いて、式２１で表される。
　Ｄ２＝ｆＢ／Δｄ２・・・（２１）
　これらより、時刻Ｔ１における注目点４１の３次元座標（Ｘ１，Ｙ１，Ｚ１）は、
（ｐ１ｘ・Ｄ１／ｆ，ｐ１ｙ・Ｄ１／ｆ，Ｄ１）と表すことができ、時刻Ｔ２における注目点４３の３次元座標（Ｘ２，Ｙ２，Ｚ２）は、
（ｐ２ｘ・Ｄ２／ｆ，ｐ２ｙ・Ｄ２／ｆ，Ｄ２）と表すことができる。
　これら、３次元座標（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）から３次元オプティカルフローを求める。具体的には、３次元オプティカルフローは、
（Ｘ２－Ｘ１，Ｙ２－Ｙ１，Ｚ２－Ｚ１）で表されるベクトルである。
　次に、図１および図７を用いて、本実施形態に係る移動体検出装置１の動作について、対応点探索装置７の動作を中心に説明する。
　まず、固定された第１カメラ２および第２カメラ３は同時（時刻Ｔ１）に被写体６を撮影し、撮影した基準画像および参照画像をデータとして出力する。第１カメラ２および第２カメラ３は同時に、順次時間をずらしながら撮影を続け、時系列ステレオ画像を出力している。第１カメラ２および第２カメラ３から出力された、それらデータである画像は演算処理装置４に入力され、さらに対応点探索装置７に入力される。
　対応点探索装置７に入力された画像は、画像取得部１１に取り込まれ保持される。画像取得部１１は、保持している画像を注目点入力部１２に送る。注目点入力部１２では画像のうち基準画像において任意の注目点を入力して、探索用テンプレート生成部１３へと送る。
　探索用テンプレート生成部１３では、基準画像において入力された注目点を重心位置とする探索用テンプレートを生成する。具体的には、注目点を重心位置とする任意の領域を設定し、その領域における画像パターンを求める。最初の注目点はピクセルレベルに設定すればいいので、上述したような補間、ずれ量を含む窓関数等は不要である。探索用テンプレートが生成された画像は探索部１４に送られる。
　探索部１４は、探索用テンプレートを生成した基準画像に対応する参照画像にウィンドウを設定し、基準画像の探索用テンプレートと参照画像のウィンドウとの画像パターンの類似度を上述のＳＡＤ法、ＰＯＣ法等による相関値演算により求め、対応点を探索する。なお、この対応点は、サブピクセルレベルの位置とすればよい。
　また、時刻Ｔ１の後に撮影された、時刻Ｔ２での基準画像および参照画像が、時刻Ｔ１に撮影された画像と対応付けされるよう、探索部１４に入力される。探索部１４は、時刻Ｔ１での基準画像の注目点に対する時刻Ｔ２での基準画像の対応点を求める。なお、この対応点は、サブピクセルレベルの位置とすればよい。探索部１４で時刻Ｔ２での基準画像の対応点が求まると、その位置を注目点として時刻Ｔ２での基準画像に入力する指示が、探索部１４から注目点入力部１２に送られる。注目点入力部１２は、画像取得部１１からの時刻Ｔ２での基準画像に注目点を入力し、探索用テンプレート生成部１３へと送る。
　探索用テンプレート生成部１３では、時刻Ｔ２での基準画像において入力された注目点を重心位置とする探索用テンプレートを生成する。この際、注目点はサブピクセルレベルの位置であることから、必要であれば上述したような補間、ずれ量を含む窓関数の適用等を行って、ピクセルレベルに対するずれ量を考慮した探索用テンプレートを生成する。具体的には、サブピクセルレベルの位置を重心位置とする領域の画像パターンを生成する。
　探索部１４は時刻Ｔ２での参照画像にウィンドウを設定し、時刻Ｔ２での基準画像の探索用テンプレートと時刻Ｔ２での参照画像のウィンドウとの画像パターンの類似度を上述のＳＡＤ法、ＰＯＣ法等による相関値演算により求め、対応点を探索する。また、これ以降の時刻に撮影された画像に対しても、上述した動作を繰り返していく。
　演算部１５は、上記処理により求められた、各時刻における画像の注目点および対応点より、距離情報、２次元オプティカルフローおよび３次元オプティカルフローを求める。具体的には、時刻Ｔ１の基準画像および参照画像における注目点および対応点から時刻Ｔ１の距離情報を求め、時刻Ｔ２の基準画像および参照画像における注目点および対応点から時刻Ｔ２の距離情報を求めることができる。また、時刻Ｔ１の基準画像および時刻Ｔ２の基準画像における注目点同士から２次元オプティカルフローを求めることができる。また、時刻Ｔ１の距離情報、時刻Ｔ２の距離情報および２次元オプティカルフローをもとに３次元オプティカルフローを求めることができる。演算部１５は求めた各データを画像生成部８に送る。
　画像生成部８は、演算部１５で求めた各データをもとに、表示装置５に表示するための３次元画像を生成し、表示装置５に送る。
　表示装置５は、画像生成部８から送られた画像を表示する。
　本実施形態ではステレオ画像を用いて対応点探索を行っているが、カメラを１つしか持たない単眼の装置において出力された時系列の画像を取り込み、それらの画像間で対応点を探索する際に用いることもできる。
　このように、本実施形態に係る対応点探索装置は、サブピクセルレベルの位置に注目点があった場合でも、その位置に対する対応点を直接求めることができる。これにより、より正確な対応点探索を行うことができるという効果を奏する。
　例えば、時系列の画像間で対応点を求める必要があるとき等に、求めた対応点を、注目点としてその点の対応点を求めていくといった動作を繰り返す場合がある。そのような場合でも、サブピクセルレベルの位置にある注目点を、ピクセルレベルの位置に補正等せずに、サブピクセルレベルの位置に対する対応点を直接求めていくことができる。そのため、対応付けの精度が向上するという効果を奏する。さらに、ステレオ画像において求められる距離情報、２次元オプティカルフロー、３次元オプティカルフロー等の精度も向上するという効果を奏する。
　本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
　本発明に係る一態様に係る対応点探索装置は、２以上の画像を取得し、保持する画像取得部と、前記画像取得部に保持されている画像のうちいずれかの画像上にサブピクセルレベルの注目点を入力する注目点入力部と、前記注目点を重心位置とする探索用テンプレートを生成する探索用テンプレート生成部と、前記探索用テンプレートを用いて、前記画像取得部に保持されている画像のうち、前記注目点を入力した画像に対応する画像上において、前記注目点に対応する点を探索する探索部とを備えている。
　これにより、注目点がサブピクセルレベルの位置であっても、その位置に対応する点を直接的に求めることができるので、対応付け精度をより向上させることができる。
　また、上述の対応点探索装置において、前記探索用テンプレート生成部は、前記注目点の最近傍の画素が重心位置となる領域を設定し、前記領域をサブピクセルレベルでずらすことで、前記注目点を重心位置とする探索用テンプレートを生成する。
　これにより、重心位置をサブピクセルレベルとする探索用テンプレートを生成することができる。
　また、上述の対応点探索装置において、前記画像取得部が、取得し、保持する画像はステレオ画像であることが好ましい。
　このように、ステレオ画像を用いることで距離情報を得ることができるため、より正確な距離情報を得ることができる。
　また、上述の対応点探索装置は、さらに、演算部を備え、前記ステレオ画像は、２つの撮像装置により同時に撮像された画像であり、前記画像取得部は、第１の時刻に撮像された第１ステレオ画像および前記第１の時刻後である第２の時刻に撮像された第２ステレオ画像を取得し、保持していて、前記探索部は、前記第１ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の基準画像上における点を探索し、前記演算部は、前記第１ステレオ画像の基準画像上における注目点および前記第１ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の基準画像上における点から、２次元オプティカルフローを算出することが好ましい。なお、ステレオ画像は、２つの撮像装置により同時に撮像された２つの画像より構成されるが、このうちの一方を基準画像とし、他方を参照画像とする。
　これにより、より正確な２次元オプティカルフローを求めることができる。
　また、上述の対応点探索装置において、前記注目点入力部は、前記第１ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の基準画像上における点を、前記第２ステレオ画像の基準画像の注目点として入力し、前記探索部は、前記第２ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の参照画像上における対応点を探索し、前記演算部は、前記第２ステレオ画像の基準画像上における注目点および前記第２ステレオ画像の参照画像上における対応点から、前記第２の時刻における距離情報を算出することが好ましい。
　これにより、より正確な距離情報を求めることができる。
　また、上述の対応点探索装置において、前記探索部は、前記第１ステレオ画像の基準画像上における注目点に対応する、前記第１ステレオ画像の参照画像上における対応点を探索し、前記演算部は、前記第１ステレオ画像の基準画像上における注目点および前記第１ステレオ画像の参照画像上における対応点から、前記第１の時刻における距離情報を算出し、さらに前記第１の時刻における距離情報、前記第２の時刻における距離情報および前記２次元オプティカルフローから、３次元オプティカルフローを算出することが好ましい。
　これにより、より正確な距離情報および３次元オプティカルフローを求めることができる。
　また、上述の対応点探索装置において、前記探索部は、周波数分解され、振幅成分が抑制された前記探索用テンプレートの画像パターンを用いて、対応する点を探索することが好ましい。
　このように、周波数成分から振幅成分を抑制することで、画像間の輝度差やノイズの影響を受けにくいため、ロバスト性を有する対応点探索が可能である。
　また、上述の対応点探索装置において、前記探索用テンプレート生成部は、画像を補間することで探索用テンプレートを生成することが好ましい。
　これにより、例えば双一次補間（バイリニア）や双三次補間（バイキュービック）等の、よく知られた画像処理方法を用いることができ、容易に適切な探索用テンプレートを生成することができる。
　また、上述の対応点探索装置において、前記探索用テンプレート生成部は、窓関数を用いることで探索用テンプレートを生成することが好ましい。
　このように、窓関数を用いることで、擬似的にサブピクセルずれした探索用テンプレートを生成することができる。そのため、周波数分解を用いて対応点探索を行う場合に用いる窓関数により擬似的にサブピクセルずれを生じさせることで、サブピクセルレベルの位置を重心とする探索用テンプレートを生成することができる。したがって、容易に適切な探索用テンプレートを生成することができ、高速に処理することができる。
　また、上述の対応点探索装置において、前記探索用テンプレート生成部は、周波数空間で前記画像パターンの位相成分を回転させることで探索用テンプレートを生成することが好ましい。
　これにより、周波数分解を利用する対応点探索において、サブピクセルずれ量を反復演算で算出するような場合は、周波数分解を再度行う必要がなく、周波数空間で位相成分を回転することで、サブピクセルレベルの位置を重心とする探索用テンプレートを生成することができる。したがって、高速に処理することができる。
　また、上述の対応点探索装置において、前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかであることが好ましい。
　このように、一般的に使用され、すでに確立されている手法により周波数分解を行うので、確実に周波数分解を行うことができる。
　また、上述の対応点探索装置において、前記探索部は、位相限定相関法を用いて対応点を探索することが好ましい。
　このように、位相限定相関法を用いることで、より高精度な探索が可能となる。
　また、本発明の他の一態様に係る対応点探索方法は、それぞれ対応する画像のうち、いずれかの画像上にサブピクセルレベルの注目点を入力する工程と、前記注目点を重心位置とする探索用テンプレートを生成する工程と、前記探索用テンプレートを用いて、前記注目点を入力した画像に対応する画像上において、前記注目点に対応する点を探索する工程とを備えている。
　これにより、注目点がサブピクセルレベルの位置であっても、その位置に対応する点を直接的に求めることができるので、精度の高い対応点探索を行うことができる。
　本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
　本発明によれば、画像同士における対応点を探索するための対応点探索装置および対応点探索方法を提供することができる。

Claims (13)

  1. 　２以上の画像を取得し、保持する画像取得部と、
    　前記画像取得部に保持されている画像のうちいずれかの画像上にサブピクセルレベルの注目点を入力する注目点入力部と、
    　前記注目点を重心位置とする探索用テンプレートを生成する探索用テンプレート生成部と、
    　前記探索用テンプレートを用いて、前記画像取得部に保持されている画像のうち、前記注目点を入力した画像に対応する画像上において、前記注目点に対応する点を探索する探索部とを備えた対応点探索装置。
  2. 　前記探索用テンプレート生成部は、前記注目点の最近傍の画素が重心位置となる領域を設定し、前記領域をサブピクセルレベルでずらすことで、前記注目点を重心位置とする探索用テンプレートを生成する請求項１に記載の対応点探索装置。
  3. 　前記画像取得部が、取得し、保持する画像はステレオ画像である請求項１に記載の対応点探索装置。
  4. 　さらに、演算部を備え、
    　前記ステレオ画像は、２つの撮像装置により同時に撮像された画像であり、
    　前記画像取得部は、第１の時刻に撮像された第１ステレオ画像および前記第１の時刻後である第２の時刻に撮像された第２ステレオ画像を取得し、保持していて、
    　前記探索部は、前記第１ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の基準画像上における点を探索し、
    　前記演算部は、前記第１ステレオ画像の基準画像上における注目点および前記第１ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の基準画像上における点から、２次元オプティカルフローを算出する請求項３に記載の対応点探索装置。
  5. 　前記注目点入力部は、前記第１ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の基準画像上における点を、前記第２ステレオ画像の基準画像の注目点として入力し、
    　前記探索部は、前記第２ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の参照画像上における対応点を探索し、
    　前記演算部は、前記第２ステレオ画像の基準画像上における注目点および前記第２ステレオ画像の参照画像上における対応点から、前記第２の時刻における距離情報を算出する請求項４に記載の対応点探索装置。
  6. 　前記探索部は、前記第１ステレオ画像の基準画像上における注目点に対応する、前記第１ステレオ画像の参照画像上における対応点を探索し、
    　前記演算部は、前記第１ステレオ画像の基準画像上における注目点および前記第１ステレオ画像の参照画像上における対応点から、前記第１の時刻における距離情報を算出し、さらに前記第１の時刻における距離情報、前記第２の時刻における距離情報および前記２次元オプティカルフローから、３次元オプティカルフローを算出する請求項５に記載の対応点探索装置。
  7. 　前記探索部は、周波数分解され、振幅成分が抑制された前記探索用テンプレートの画像パターンを用いて、対応する点を探索する請求項１ないし請求項６のいずれかに記載の対応点探索装置。
  8. 　前記探索用テンプレート生成部は、画像を補間することで探索用テンプレートを生成する請求項１ないし請求項７のいずれかに記載の対応点探索装置。
  9. 　前記探索用テンプレート生成部は、窓関数を用いることで探索用テンプレートを生成する請求項１ないし請求項７のいずれかに記載の対応点探索装置。
  10. 　前記探索用テンプレート生成部は、周波数空間で前記画像パターンの位相成分を回転させることで探索用テンプレートを生成する請求項７に記載の対応点探索装置。
  11. 　前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかである請求項７に記載の対応点探索装置。
  12. 　前記探索部は、位相限定相関法を用いて対応点を探索する請求項１１に記載の対応点探索装置。
  13. 　それぞれ対応する画像のうち、いずれかの画像上にサブピクセルレベルの注目点を入力する工程と、
    　前記注目点を重心位置とする探索用テンプレートを生成する工程と、
    　前記探索用テンプレートを用いて、前記注目点を入力した画像に対応する画像上において、前記注目点に対応する点を探索する工程とを備えた対応点探索方法。
PCT/JP2009/051577 2008-02-01 2009-01-30 対応点探索装置および対応点探索方法 WO2009096520A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009551597A JP4941565B2 (ja) 2008-02-01 2009-01-30 対応点探索装置および対応点探索方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008023323 2008-02-01
JP2008-023323 2008-02-01

Publications (1)

Publication Number Publication Date
WO2009096520A1 true WO2009096520A1 (ja) 2009-08-06

Family

ID=40912863

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/051577 WO2009096520A1 (ja) 2008-02-01 2009-01-30 対応点探索装置および対応点探索方法

Country Status (2)

Country Link
JP (1) JP4941565B2 (ja)
WO (1) WO2009096520A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011134062A (ja) * 2009-12-24 2011-07-07 Hamamatsu Photonics Kk 画像パターン照合装置および方法
JP2011134064A (ja) * 2009-12-24 2011-07-07 Hamamatsu Photonics Kk 画像パターン照合装置および方法
JP2012100129A (ja) * 2010-11-04 2012-05-24 Jvc Kenwood Corp 画像処理方法及び画像処理装置
WO2012086173A1 (ja) * 2010-12-20 2012-06-28 パナソニック株式会社 ステレオ画像処理装置及びステレオ画像処理方法
JP2012133573A (ja) * 2010-12-21 2012-07-12 Canon Inc 画像認識装置、画像認識方法及びプログラム
JP2017041113A (ja) * 2015-08-20 2017-02-23 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
WO2020076737A1 (en) * 2018-10-07 2020-04-16 Ocula Corporation Fixed-element digital-optical measuring device
US11052287B2 (en) 2018-01-07 2021-07-06 Ocula Corporation Digital-optical object tracker

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7195965B2 (ja) 2019-02-15 2022-12-26 シチズン時計株式会社 時計

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084383A (ja) * 1999-09-09 2001-03-30 Univ Tokyo 移動検出方法
JP2003016427A (ja) * 2001-07-02 2003-01-17 Telecommunication Advancement Organization Of Japan ステレオ画像の視差推定方法
JP2004104425A (ja) * 2002-09-09 2004-04-02 Nippon Hoso Kyokai <Nhk> 視差分布測定方法、視差分布測定装置および視差分布測定プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4351090B2 (ja) * 2004-03-08 2009-10-28 独立行政法人産業技術総合研究所 画像処理装置および画像処理方法
JP4809134B2 (ja) * 2006-06-05 2011-11-09 株式会社トプコン 画像処理装置及びその処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084383A (ja) * 1999-09-09 2001-03-30 Univ Tokyo 移動検出方法
JP2003016427A (ja) * 2001-07-02 2003-01-17 Telecommunication Advancement Organization Of Japan ステレオ画像の視差推定方法
JP2004104425A (ja) * 2002-09-09 2004-04-02 Nippon Hoso Kyokai <Nhk> 視差分布測定方法、視差分布測定装置および視差分布測定プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MUQUIT MOHAMMAD ABDUL: "A High-Accuracy Passive 3D Measurement System Using Phase-Based Image Matching", IEICE TRANSACTIONS. FUNDAMENTALS, vol. E89-A, no. 3, March 2006 (2006-03-01), pages 686 - 697 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011134062A (ja) * 2009-12-24 2011-07-07 Hamamatsu Photonics Kk 画像パターン照合装置および方法
JP2011134064A (ja) * 2009-12-24 2011-07-07 Hamamatsu Photonics Kk 画像パターン照合装置および方法
JP2012100129A (ja) * 2010-11-04 2012-05-24 Jvc Kenwood Corp 画像処理方法及び画像処理装置
EP2657901A4 (en) * 2010-12-20 2014-02-26 Panasonic Corp STEREO IMAGE PROCESSING APPARATUS AND STEREO IMAGE PROCESSING METHOD
EP2657901A1 (en) * 2010-12-20 2013-10-30 Panasonic Corporation Stereo image processing apparatus and stereo image processing method
WO2012086173A1 (ja) * 2010-12-20 2012-06-28 パナソニック株式会社 ステレオ画像処理装置及びステレオ画像処理方法
US9055284B2 (en) 2010-12-20 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Stereo image processing apparatus and stereo image processing method
JP5891415B2 (ja) * 2010-12-20 2016-03-23 パナソニックＩｐマネジメント株式会社 ステレオ画像処理装置
JP2012133573A (ja) * 2010-12-21 2012-07-12 Canon Inc 画像認識装置、画像認識方法及びプログラム
JP2017041113A (ja) * 2015-08-20 2017-02-23 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
US11052287B2 (en) 2018-01-07 2021-07-06 Ocula Corporation Digital-optical object tracker
US11185737B2 (en) 2018-01-07 2021-11-30 Ocula Corporation Fixed-element digital-optical measuring device
WO2020076737A1 (en) * 2018-10-07 2020-04-16 Ocula Corporation Fixed-element digital-optical measuring device

Also Published As

Publication number Publication date
JP4941565B2 (ja) 2012-05-30
JPWO2009096520A1 (ja) 2011-05-26

Similar Documents

Publication Publication Date Title
JP4883223B2 (ja) 動きベクトル生成装置および動きベクトル生成方法
JP4941565B2 (ja) 対応点探索装置および対応点探索方法
US9109891B2 (en) Stereo camera
JP4382797B2 (ja) 対応点探索方法および３次元位置計測方法
JP5567179B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
US8649593B2 (en) Image processing apparatus, image processing method, and program
JP2010139288A (ja) ステレオカメラユニット及びステレオマッチング方法
US9495611B2 (en) Image processing apparatus, image processing method, and image processing program
JP2013005258A (ja) ブレ補正装置、ブレ補正方法及び帳票
US9514528B2 (en) Image processing apparatus, distortion-corrected map creation apparatus, and semiconductor measurement apparatus
JP4631973B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
JP5098369B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2008216127A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
US20160005158A1 (en) Image processing device and image processing method
JP6040782B2 (ja) 画像処理装置及びプログラム
JP4877243B2 (ja) 対応点探索装置および該方法
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
EP3832600A1 (en) Image processing device and three-dimensional measuring system
JPWO2013001885A1 (ja) 画像処理装置、画像処理方法、およびプログラム
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及系统
JP5887974B2 (ja) 類似画像領域探索装置、類似画像領域探索方法、及び類似画像領域探索プログラム
JP2013148467A (ja) 計測装置、方法及びプログラム
JP2009187138A (ja) 対応点探索装置
JP2009282635A (ja) サブピクセル推定装置およびサブピクセル推定方法
JP4985863B2 (ja) 対応点探索装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09705799

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009551597

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09705799

Country of ref document: EP

Kind code of ref document: A1