WO2013001710A1 - 対応点探索装置 - Google Patents

対応点探索装置 Download PDF

Info

Publication number
WO2013001710A1
WO2013001710A1 PCT/JP2012/003317 JP2012003317W WO2013001710A1 WO 2013001710 A1 WO2013001710 A1 WO 2013001710A1 JP 2012003317 W JP2012003317 W JP 2012003317W WO 2013001710 A1 WO2013001710 A1 WO 2013001710A1
Authority
WO
WIPO (PCT)
Prior art keywords
corresponding point
correlation
search
value
hierarchy
Prior art date
Application number
PCT/JP2012/003317
Other languages
English (en)
French (fr)
Inventor
墨友　博則
遠山　修
Original Assignee
コニカミノルタホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタホールディングス株式会社 filed Critical コニカミノルタホールディングス株式会社
Priority to JP2013522699A priority Critical patent/JP5924340B2/ja
Priority to EP12805045.7A priority patent/EP2728547A4/en
Priority to US14/129,660 priority patent/US9117135B2/en
Publication of WO2013001710A1 publication Critical patent/WO2013001710A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Definitions

  • the present invention relates to a technique for searching for a corresponding point corresponding to a point of interest in a standard image from a reference image.
  • Patent Document 1 the reliability for evaluating the reliability of the corresponding point is calculated, and for the corresponding point having a low reliability, the corresponding point is changed to another point, and one based on the changed corresponding point.
  • a technique for determining an initial search position of an upper hierarchy is disclosed.
  • a point of interest is set in the base image, and a correlation value with the point of interest is obtained at each position of the search range set in the reference image. The highest position is determined as the corresponding point.
  • the correlation value is calculated using, for example, SAD or POC.
  • Such a corresponding point search method is based on the premise that there are subjects having substantially the same distance from the camera within the search range.
  • An object of the present invention is to provide a corresponding point search apparatus capable of accurately obtaining corresponding points even when a plurality of correlation peaks appear in a certain layer in a multi-resolution strategy.
  • the corresponding point search apparatus includes an image acquisition unit that acquires one input image as a standard image and the remaining input images as reference images among at least two input images, and the image acquisition unit.
  • a multi-resolution image generation unit that hierarchically generates a plurality of standard images and reference images having different resolutions, and a corresponding point for the target point in the base image of the target layer
  • a corresponding point search unit that searches from a reference image of a hierarchy; an initial position setting unit that sets an initial search position in a reference image of the target hierarchy based on a corresponding point searched in a hierarchy one level below the target hierarchy;
  • a search control unit that causes the corresponding point search unit to search for corresponding points sequentially from a lower hierarchy to an upper hierarchy, and the corresponding point search unit includes the initial point set in the target hierarchy Based on the search position, a predetermined search range is set in the reference image of the target hierarchy, a correlation value for the target point is calculated at each position within the set search range
  • FIG. 1 is a block diagram of a corresponding point search system to which a corresponding point search device according to an embodiment of the present invention is applied. It is the figure which showed the standard image and the reference image which were hierarchized by the multi-resolution image generation part. It is the figure which showed the flow of the process of the corresponding point determination part which searches a corresponding point under control by a search control part. It is the figure which extracted a part of standard image and a reference image in each of the hierarchy L2 and the hierarchy L3.
  • A is the figure which showed the flow of processing of POC.
  • (B) is a graph showing the distribution of POC values obtained by inverse Fourier transform of the phase difference image.
  • FIG. 1 is a block diagram of a corresponding point search system to which a corresponding point search device according to an embodiment of the present invention is applied.
  • the corresponding point search system is mounted on the body of a vehicle such as an automobile, and includes a camera 101 (camera A), a camera 102 (camera B), and a corresponding point search device 110.
  • the cameras 101 and 102 are arranged at the same height so as to be symmetrical with respect to the traveling direction with a predetermined interval in the left-right direction that is orthogonal to the traveling direction of the vehicle body and parallel to the horizontal direction. Then, the front of the vehicle body is imaged at a predetermined frame rate.
  • the optical axes of the cameras 101 and 102 are parallel.
  • the cameras 101 and 102 are synchronized in shooting timing so that frames are shot at the same time.
  • the number of cameras is not limited to two, and may be three or more.
  • Corresponding point search device 110 is constituted by, for example, a microcontroller, and executes corresponding point search processing on two images captured at time t in cameras 101 and 102, for example.
  • the corresponding point search device 110 includes an image acquisition unit 103, a multi-resolution image generation unit 104, a search control unit 105, an initial position setting unit 106, and a corresponding point search unit 109.
  • the corresponding point search unit 109 includes a corresponding point determination unit 107 and a corresponding point candidate determination unit 108.
  • the image acquisition unit 103 acquires the input image captured by the camera 101 as a reference image, acquires the input image captured by the camera 102 as a reference image, and stores it in a memory (not shown).
  • the input image for example, digital image data in which a plurality of pixels having 256 gradation values from 0 (black) to 255 (white) are arranged in a matrix can be employed.
  • the input image captured by any one of the cameras is used as a standard image, and the remaining plurality of input images are used as reference images.
  • the multi-resolution image generation unit 104 reduces the resolution of each of the base image and the reference image acquired by the image acquisition unit 103, so that the resolution increases so that the resolution increases from the lower layer to the upper layer.
  • a plurality of standard images and reference images are generated hierarchically. Here, a predetermined value can be adopted as the number of layers and the resolution of each layer.
  • the base image and the reference image in the highest hierarchy an image that has not been reduced in resolution is employed.
  • the resolution of the standard image and the reference image is the same.
  • one noticeable hierarchy is described as an “attention hierarchy”.
  • FIG. 2 is a diagram showing a standard image and a reference image hierarchized by the multi-resolution image generation unit 104.
  • the number of hierarchies is four.
  • the resolution of the input image is VGA (640 ⁇ 480), and the conversion rate of resolution between layers is set to 1 ⁇ 2.
  • the resolution of the standard image and the reference image of the first layer L1 (the highest layer) is VGA.
  • the resolution of the standard image and the reference image of the second hierarchy L2 is QVGA (320 ⁇ 240).
  • the resolution of the standard image and the reference image of the third layer L3 is (160 ⁇ 120).
  • the resolution of the base image and the reference image of the fourth layer L4 (the lowest layer) is (80 ⁇ 60).
  • a point (x, y) in the layer L3 is an average value of 2 ⁇ 2 pixels in the points (2x, 2y), (2x + 1, 2y), (2x, 2y + 1), and (2x + 1, 2y + 1) in the layer L2. As required.
  • the conversion magnification is not limited to 1/2 but may be reduced to 1/3 and the number of layers may be reduced. In this case, high-speed processing is possible.
  • the conversion magnification may be increased to 1 / 1.5 to increase the number of layers.
  • the number of hierarchies increases and the calculation load increases, but a finer search becomes possible and the robustness can be improved.
  • the conversion magnification may be reduced in the upper hierarchy and the conversion magnification may be increased toward the lower hierarchy.
  • search range set in each hierarchy is constant, there are a plurality of subjects with different distances in the search range set in the lower hierarchy. That is, distance mixing becomes intense in the search range of the lower hierarchy.
  • the conversion magnification toward the lower layer the number of layers with low resolution increases, and corresponding points can be searched finely in the lower layer, and robustness can be ensured.
  • the number of hierarchies with high resolution is reduced, and higher-order hierarchies can be more focused on robustness than robustness. Accordingly, it is possible to search for corresponding points with a total balance from the lower hierarchy to the upper hierarchy.
  • FIG. 3 is a diagram illustrating a flow of processing of the corresponding point determination unit 107 that searches for corresponding points under the control of the search control unit 105.
  • the corresponding point determination unit 107 obtains a corresponding point T3 (p3, q3) on the reference image corresponding to a certain point of interest R3 (x3, y3) on the base image of the hierarchy L3.
  • the search result in the layer L3 is used.
  • the corresponding point T2 (p2, q2) of the hierarchy L2 is considered to be in the vicinity of a position where the corresponding point T3 (p3, q3) of the hierarchy L3 is approximately doubled.
  • the corresponding point determination unit 107 sets a search range on the basis of a position where the corresponding point T3 (p3, q3) is doubled in the hierarchy L2, and searches for the vicinity of this position with priority. Thereby, the corresponding point T2 (p2, q2) can be searched efficiently.
  • the corresponding point determination unit 107 searches for the corresponding point T2 (p2, q2)
  • the corresponding point determination unit 107 sets a search range on the basis of the position where the corresponding point T2 (p2, q2) is doubled in the hierarchy L1, and this position Search around the area with emphasis.
  • the corresponding point T1 (p1, q1) can be searched efficiently.
  • the multi-resolution strategy is also called a coarse / fine strategy.
  • the initial position setting unit 106 sets the initial search position in the reference image of the target hierarchy based on the corresponding points searched in the hierarchy one level below the target hierarchy.
  • the initial position setting unit 106 sets the initial search position for each corresponding point on the reference image of the target layer. Set.
  • FIG. 4 is a diagram in which a part of the standard image and the reference image is cut out in each of the hierarchy L2 and the hierarchy L3.
  • processing by the initial position setting unit 106 will be described with reference to FIG.
  • the point of interest (bx, by) of the layer L3 is generated by the multi-resolution image generation unit 104 by 2 ⁇ of the points (BX, BY), (BX + 1, BY), (BX, BY + 1), (BX + 1, BY + 1) of the layer L2.
  • the average value of 2 is obtained.
  • the point (rx, ry) of the reference image in the hierarchy L3 is a corresponding point of the point of interest (bx, by). From the corresponding point (rx, ry) in the layer L3, an initial search position is set in the reference image of the layer L2 by the following formula.
  • the corresponding point search unit 109 searches the reference image of the target layer for the corresponding point corresponding to the target point in the reference image of the target layer.
  • the corresponding point search unit 109 includes a corresponding point determination unit 107 and a corresponding point candidate determination unit 108.
  • the corresponding point determination unit 107 sets a predetermined search range in the reference image of the target layer with reference to the initial search position set in the target layer, and calculates a correlation value for the target point at each position within the set search range. To do.
  • FIG. 5A is a diagram showing a flow of POC processing.
  • the corresponding point determination unit 107 sets a standard window around the attention point of the standard image, and sets a reference window in the reference image (S1). Note that the sizes of the standard window and the reference window are the same, and each is a quadrangle.
  • the corresponding point determination unit 107 performs Fourier transform on the image in the standard window and the image in the reference window (S2).
  • x and y represent horizontal and vertical directions of the input image
  • u and v represent frequencies corresponding to the x and y directions
  • N1 and N2 represent window sizes
  • f (x, y) represents A pixel value is represented
  • F (u, v) represents a frequency space value of f (x, y).
  • the frequency u is represented by one DC component and 16 AC components
  • the frequency v is expressed by one DC component and eight frequency components. It is represented by Actually, there are 32 alternating current components of the frequency u, but since it has symmetric data centered on the direct current component, it has 16 alternating current components.
  • the window size is a power of 2
  • an FFT Fast Fourier Transform
  • the window size is a power of 2 from the viewpoint of speeding up the processing.
  • the frequency u is represented by one direct current component and 15 alternating current components
  • the frequency v is represented by one direct current component and seven alternating current components.
  • the corresponding point determination unit 107 divides the Fourier transformed image in the reference window into a phase component ⁇ (u, v) and an amplitude component A (u, v) using Equation (2), and Then, the Fourier transformed image in the reference window is divided into a phase component ⁇ (u, v) and an amplitude component B (u, v) using equation (2) (S3).
  • Re (u, v) represents the real part of the Fourier transformed image
  • Im (u, v) represents the imaginary part of the Fourier transformed image
  • the corresponding point determination unit 107 obtains a phase difference image by taking the difference between the phase component ⁇ (u, v) and the phase component ⁇ (u, v) (S4).
  • FIG. 5B is a graph showing the distribution of POC values obtained by inverse Fourier transform of the phase difference image. As shown in FIG. 5B, the POC value at each position of the image in the standard window and the image in the reference window is obtained by performing inverse Fourier transform on the phase difference image.
  • the x axis and the y axis indicate the x component and the y component of the shift amount of the image in the reference window with respect to the image in the standard window, respectively, and the z axis indicates the POC value.
  • the phase-only correlation method is characterized in that a steep correlation peak appears at a position indicating the shift amount, and the shift amount of the image in the reference window with respect to the image in the reference window can be accurately obtained.
  • the POC value at each position represented by the x-axis and the y-axis corresponds to the correlation value at each position in the search range.
  • the corresponding point determination unit 107 determines a position shifted by (xs, ys) from the center of the reference window.
  • the corresponding point candidate determining unit 108 determines whether or not a plurality of correlation peaks appear based on the correlation value calculated by the corresponding point determining unit 107.
  • the corresponding point determination unit 107 calculates a ratio between correlation values indicated by the correlation peak, and based on the calculated ratio, One or a plurality of corresponding points are determined and notified to the initial position setting unit 106.
  • FIG. 6 is a graph showing an example of the distribution of the POC value, where the vertical axis shows the POC value and the horizontal axis shows the position.
  • FIG. 6 shows the distribution of POC values in a one-dimensional graph for the sake of simplicity.
  • the position having the highest POC value is determined as the corresponding point, and the reliability of the corresponding point is obtained based on the size of the POC value at that position.
  • the reliability indicates the likelihood of the corresponding point and depends on the algorithm design. For example, a value obtained by normalizing each POC value so that the total sum of all POC values is 1 is adopted. If the reliability is, for example, 0.2 or more, it is determined that the corresponding point is highly reliable.
  • FIG. 7 is a graph for explaining the problems of the conventional method.
  • FIG. 7A is a graph showing the distribution of POC values when two correlation peaks appear in a certain layer L (i).
  • B) and (C) are graphs showing the distribution of POC values in the hierarchy L (i ⁇ 1) one level higher than the hierarchy L (i).
  • a search range is set based on the corresponding point, and the corresponding point is searched in the hierarchy L (i ⁇ 1), as shown in FIG. 7B.
  • a sharp correlation peak appears in the POC value distribution, and a correct corresponding point can be searched for in the layer L (i-1).
  • the correlation values of both correlation peaks are antagonistic, and it is difficult to determine which one is correct. Rather than using one correlation peak to determine corresponding points, two corresponding peaks are used together to determine two corresponding points. Then, the search for the corresponding points is performed by setting a search range for each of the corresponding points in the hierarchy L (i-1), and the determination of the corresponding points is left to the hierarchy L (i-1). .
  • the relative size of the search range with respect to the reference image becomes smaller toward the upper layer. Therefore, the higher the hierarchy, the narrower the search range, and the lower the possibility that a plurality of subjects with different distances are included in the search range. As a result, it is possible to increase the possibility that only one correlation peak will finally appear, and it is possible to realize a corresponding point search with high accuracy.
  • the corresponding point candidate determination unit 108 extracts a position having the maximum POC value in the search range, and determines that the first correlation peak appears at that position.
  • the corresponding point candidate determination unit 108 determines that the second correlation peak appears at that position. In this case, it is determined that a plurality of correlation peaks appear.
  • the corresponding point candidate determination unit 108 determines only the first correlation peak as the correlation peak. In this case, it is determined that only one correlation peak appears.
  • the threshold ⁇ 1 a correlation value that clearly does not represent a correlation peak can be adopted.
  • the corresponding point determination unit 107 has a ratio of the correlation value P2 of the second correlation peak to the correlation value P1 of the first correlation peak ( P2 / P1) is calculated.
  • the corresponding point determination unit 107 determines the corresponding point using only the position of the first correlation peak when the ratio is equal to or less than the predetermined value Vth1. On the other hand, when the ratio is larger than the value Vth1, the corresponding point determination unit 107 determines two corresponding points using the positions of the first and second correlation peaks.
  • FIG. 8 is a graph for explaining the corresponding point search processing according to the present embodiment, where the vertical axis indicates the POC value and the horizontal axis indicates the position.
  • FIG. 8A two correlation peaks PK1 and PK2 appear, but the ratio of the correlation value P2 to the correlation value P1 is lower than the value Vth1.
  • the corresponding point determination unit 107 determines only the correlation peak PK1 as the correlation peak.
  • the correlation peak PK1 is likely to indicate a corresponding point. Therefore, in such a case, the corresponding point is determined using only the correlation peak PK1. Then, in the hierarchy L (i ⁇ 1), as shown in FIG. 8B, it is possible to increase the possibility that one steep correlation peak appears.
  • P2 / P1 is used as the ratio, but this reciprocal (P1 / P2) may be used.
  • the corresponding point candidate determination unit 108 determines that a plurality of correlation peaks appear when the ratio is smaller than the predetermined value Vth2, and assumes that one correlation peak appears when the ratio is equal to or greater than the value Vth2. What is necessary is just to judge.
  • the corresponding point candidate determination unit 108 determines that a plurality of correlation peaks appear when the difference value (P1 ⁇ P2) obtained by subtracting the correlation value P2 from the correlation value P1 is smaller than the predetermined value Vth3. May be determined to be one correlation peak when the value is greater than or equal to the value Vth3.
  • the predetermined values Vth1 to Vth3 may be fixed values or may be determined using the following formula.
  • Vth1 to Vth3 ⁇ ⁇ P1 ( ⁇ is a fixed value)
  • the values of Vth1 to Vth3 are appropriately determined according to the value of the correlation value P1.
  • FIG. 9 is a flowchart showing the operation of the corresponding point search apparatus according to the embodiment of the present invention. Note that the processing shown in FIG. 9 is executed each time an input image is captured by the cameras 101 and 102.
  • the image acquisition unit 103 acquires the input image captured by the camera 101 as a standard image and the input image captured by the camera 102 as a reference image (S101).
  • the multi-resolution image generation unit 104 lowers the resolution of the standard image and the reference image, and generates a plurality of standard images and reference images having different resolutions (S102).
  • S102 standard images and reference images of four layers of layers L1 to L4 are generated.
  • the search control unit 105 sets a target hierarchy (S103).
  • the search control unit 105 sequentially sets the hierarchy L4 from the hierarchy L4 to the hierarchy L1 so as to set the hierarchy L4 as the attention hierarchy and then set the hierarchy L3 as the attention hierarchy. Set the attention hierarchy.
  • the search control unit 105 determines whether or not the search process for all layers has been completed. If the search process for all layers has been completed (YES in S104), the process ends. On the other hand, if the search process for all layers has not been completed (NO in S104), the search control unit 105 has completed the search process for all points that should be set as points of interest on the reference image of the layer of interest. It is determined whether or not (S105).
  • search control unit 105 determines that the search process for all points has been completed (YES in S105)
  • the search control unit 105 returns the process to S103, and sets the hierarchy one level higher than the target hierarchy as the target hierarchy.
  • the search control unit 105 determines that the search process for all points has not been completed (NO in S105)
  • the corresponding point determination unit 107 sets a point of interest in the reference image of the layer of interest (S106).
  • a position obtained by multiplying the coordinates of the target point set in the next lower layer by the reciprocal of the conversion magnification may be set as the target point in the target layer.
  • the corresponding point determination unit 107 sets a reference window in the reference image of the target layer around the target point set in S106 (S107).
  • the initial position setting unit 106 uses the method shown in FIG. 4 to set the initial search position in the reference image of the target layer using the corresponding point searched for in the layer immediately below the target layer. (S108).
  • the initial position setting unit 106 sets two initial search positions in the reference image of the target hierarchy. If the lowest hierarchy is the target hierarchy, there is no next lower hierarchy, so the initial position setting unit 106 sets a predetermined position (for example, the center position) as the initial search position. Good.
  • the corresponding point determination unit 107 sets a search range on the reference image of the target hierarchy based on the initial search position set in S108 (S109).
  • the search range is set so that the center is located at the initial search position, and has the same size in all layers.
  • the corresponding point determination unit 107 sets a plurality of search ranges based on each initial search position.
  • the corresponding point determination unit 107 executes a corresponding point search process (S110).
  • S110 a corresponding point search process
  • the corresponding point determination unit 107 searches for corresponding points from the entire search range.
  • the process of S110 ends, the process returns to S105 and the process continues.
  • FIG. 10 is a flowchart showing details of the process of S110 of FIG. First, the corresponding point determination unit 107 sets a reference window in the search range set in S109 (S201).
  • the corresponding point determination unit 107 performs Fourier transform on each of the image in the standard window and the image in the reference window (S202).
  • the corresponding point determination unit 107 extracts the phase components ⁇ (u, v) and ⁇ (u, v) of the image in the reference window and the image in the reference window that have been subjected to Fourier transform (S203).
  • the corresponding point determination unit 107 calculates a phase difference image by taking the difference between both phase components ( ⁇ (u, v) ⁇ (u, v)) (S204).
  • the corresponding point determination unit 107 performs inverse Fourier transform on the phase difference image to calculate a distribution of POC values (S205). Thereby, the POC value at each position in the search range is obtained.
  • the corresponding point candidate determination unit 108 determines whether or not a plurality of correlation peaks appear (S206). If it is determined that the first and second correlation peaks appear (YES in S206), the corresponding point determination unit 107 has a ratio (P2 / P1) of the correlation value P2 to the correlation value P1 greater than the value Vth1. It is determined whether or not (S207).
  • the corresponding point determination unit 107 determines two corresponding points using the positions of the first and second correlation peaks (S208). . Specifically, the corresponding point determination unit 107 obtains the shift amount of the image in the reference window with respect to the image in the reference window from the position of the first correlation peak, and corresponds the position where the center of the reference window is shifted by the shift amount. Determine as a point. Corresponding point determination section 107 also determines corresponding points for the second correlation peak in the same manner as for the first correlation peak.
  • the corresponding point determination unit 107 advances the process to S209. If the ratio (P2 / P1) is equal to or less than the value Vth1 (NO in S207), the corresponding point determination unit 107 advances the process to S209.
  • the corresponding point determination unit 107 determines one corresponding point using the position of the first correlation peak (S209).
  • ⁇ Modification 1> it is determined whether or not a plurality of correlation peaks appear from the magnitude of the POC value. In the first modification, it is determined whether or not a plurality of correlation peaks appear using another criterion in addition to the magnitude of the POC value.
  • the correlation value is determined as the correlation peak.
  • the corresponding point candidate determination unit 108 first specifies the maximum correlation value P1. Then, it is determined whether or not the correlation value P1 is located at the peak apex. If the correlation value P1 is located at the peak peak, the correlation value P1 is determined as the first correlation peak. Here, whether or not it is located at the peak apex may be determined by differentiating the correlation value. On the other hand, if the correlation value P1 is not located at the peak apex, the correlation value P1 'may be determined as the first correlation peak if the next largest correlation value P1' is located at the peak apex.
  • the corresponding point candidate determination unit 108 identifies a correlation value P2 larger than the threshold value ⁇ 1.
  • the correlation value P2 is determined as the second correlation peak.
  • the correlation value P2 is not located at the top of the peak, the correlation value P2 ′ that is the next largest correlation value and larger than the threshold value ⁇ 1 is specified, and in the same manner as the correlation value P2, the second correlation peak It is determined whether or not there is.
  • the corresponding point candidate determination unit 108 first specifies the maximum correlation value P1. Next, a correlation value P1_1 at a position adjacent to the correlation value P1 is specified. When P1_1 / P1 is equal to or smaller than a predetermined threshold ⁇ 2, it is determined that the correlation value P1 is the first correlation peak. Note that a position near 4 or a position near 8 may be adopted as a position adjacent to the target position.
  • the correlation values of positions near 4 are P1_1 to P1_4, at least one of P1_1 / P1, P1_2 / P1, P1_3 / P1, P1_4 / P1, 2, 3, If one or all of them are equal to or less than the threshold value ⁇ 2, the correlation value P1 may be determined to be the first correlation peak.
  • the next largest correlation value P1 ′ is specified, and whether or not the correlation value P1 ′ is the first correlation peak in the same manner as the correlation value P1. Can be determined.
  • the corresponding point candidate determination unit 108 identifies the first correlation peak by specifying the correlation value P2 that is the next largest correlation value and is larger than the threshold ⁇ 1.
  • the second correlation peak is detected using the same method as in FIG.
  • the corresponding point candidate determination unit 108 first specifies the maximum correlation value P1. Next, a correlation value P1_1 at a position adjacent to the correlation value P1 is specified. Then, the difference value ⁇ P1 is obtained from P1 ⁇ P1_1. Next, when the difference value ⁇ P1 is larger than the predetermined threshold value ⁇ 3, it is determined that the correlation value P1 is the first correlation peak. Note that a position near 4 or a position near 8 may be adopted as a position adjacent to the target position.
  • the correlation values at the positions near 4 are P1_1 to P1_4, respectively, the difference values ⁇ P1 to ⁇ P4 between the correlation value P1 and the correlation values P1_1 to P1_4 are obtained. If two, three, or the total difference value is larger than the threshold value ⁇ 3, it may be determined that the correlation value P1 is the first correlation peak.
  • the next largest correlation value P1 ′ is specified, and whether or not the correlation value P1 ′ is the first correlation peak in the same manner as the correlation value P1. Can be determined.
  • the corresponding point candidate determination unit 108 identifies the first correlation peak by specifying the correlation value P2 that is the next largest correlation value and is larger than the threshold ⁇ 1.
  • the second correlation peak is detected using the same method as in FIG.
  • the correlation peak can be detected more accurately by using any of the methods i) to iii) shown in the first modification.
  • the maximum correlation value P1 is determined as the first correlation peak
  • the correlation value P2 having the next largest correlation value after the correlation value P1 is determined as the second correlation peak.
  • FIG. 11 is a graph showing the distribution of POC values when large correlation values are distributed adjacent to each other. The vertical axis indicates the POC value, and the horizontal axis indicates the position.
  • the correlation value P1 'adjacent to the correlation value P1 is large, it is not preferable to detect it as a correlation peak because it is not located at the peak.
  • the second modification is characterized in that it is not determined that a correlation peak appears at an adjacent position.
  • the corresponding point candidate determination unit 108 first determines the maximum correlation value P1 as the first correlation peak. Then, a correlation value P2 that is the next largest correlation value P1 and is larger than the threshold value ⁇ 1 is detected. If the correlation value P2 is adjacent to the correlation value P1, the correlation value P2 is not detected as the second correlation peak.
  • the corresponding point candidate determination unit 108 sets the correlation value P2 to the second value if the correlation value P2 is separated from the correlation value P1, for example, by two pixels or more, that is, if the correlation value P2 is separated by one pixel. What is necessary is just to detect as a correlation peak.
  • the first and second correlation peaks are detected for each search range, and even if three or more corresponding points are searched, all corresponding points are identified. It is characterized by being passed to the next higher level.
  • FIG. 12 is a diagram showing a state in which a plurality of corresponding points are transferred to a higher hierarchy.
  • L (i) correlation peaks PK1 and PK2 that are first and second correlation peaks are detected.
  • the search range A1 is set based on the correlation peak PK1
  • the search range A2 is set based on the correlation value PK2.
  • the corresponding point candidate determination unit 108 determines whether or not the first and second correlation peaks appear individually for the search ranges A1 and A2.
  • Corresponding point determination unit 107 determines two corresponding points based on correlation peaks PK1_a and PK2_b from search range A1. Therefore, in the hierarchy L (i-2), a search range B1 based on the correlation peak PK1_a and a search range B2 based on the correlation peak PK1_b are set.
  • the corresponding point determination unit 107 determines one corresponding point based on only the correlation peak PK2_a among the two correlation peaks in the search range A2. Therefore, the search range B3 based on the correlation peak PK2_a is set in the hierarchy L (i-2).
  • the corresponding point candidate determination unit 108 detects the first and second peaks for each of the search ranges B1 to B3.
  • one steep correlation peak appears in the search range B1, but no steep correlation peak appears in the search ranges B2 and B3.
  • search ranges when a plurality of search ranges are set, it is determined whether or not a plurality of correlation peaks appear for each search range, a plurality of correlation peaks appear, and a plurality of corresponding points are detected.
  • the search range for each corresponding point is set in the upper hierarchy.
  • a limit is added to the number of corresponding points passed to the upper hierarchy.
  • the maximum number of corresponding points to be passed to the upper hierarchy is determined for each hierarchy.
  • the maximum number is set to be higher in the lower hierarchy, and the maximum number is set to decrease as it goes to the upper hierarchy.
  • the corresponding point determination unit 107 selects only the maximum number of candidate points from the candidate points having a high correlation value, and sets the corresponding points in the upper hierarchy. Just give it.
  • Modification 5 is characterized in that, when a plurality of corresponding points are detected in the highest hierarchy, one corresponding point as a solution is determined. Specifically, any of the following methods may be employed.
  • the corresponding point having the maximum correlation value is determined as a solution.
  • a corresponding point having the highest similarity with surrounding pixels is determined as a solution.
  • the similarity indicates, for example, the degree of parallax with surrounding pixels.
  • the parallax of a corresponding point T1 is d1.
  • the parallax of the pixel T1_1 located in the vicinity of the corresponding point T1 is d2.
  • the similarity of another corresponding point T2 is SIM2.
  • the corresponding point T1 is the solution.
  • the corresponding point having the highest stability is determined as a solution.
  • Stability is defined as low stability at corresponding points where multiple correlation peaks are continuously detected from the lower hierarchy, and high stability when multiple correlation peaks do not appear very often. .
  • the history of the correlation peak at the corresponding point T1 is PK1 ⁇ PK1_a ⁇ PK11.
  • PK1 is bifurcated in the hierarchy L (i)
  • PK1_a is bifurcated in the hierarchy L (i-1). Therefore, the stability of the corresponding point T1 is (1/2) 2 .
  • “two branches” means that two corresponding points have been detected. Therefore, when three corresponding points are detected, there are three branches.
  • the history of the correlation peak at the corresponding point T2 is PK1 ⁇ PK1_b ⁇ PK12.
  • PK1 is bifurcated at level L (i)
  • PK1_b is bifurcated at level L (i-1). Therefore, the stability of the corresponding point T2 is (1/2) 2 .
  • the history of the correlation peak at the corresponding point T3 is PK2 ⁇ PK2_a ⁇ PK13.
  • PK2 is bifurcated at level L (i)
  • PK2_a is not bifurcated at level L (i-1). Therefore, the stability of the corresponding point T3 is 1/2. In this case, since the corresponding point T3 has the highest stability, the corresponding point T3 is determined as a solution.
  • the corresponding points as a solution may be determined by combining the processes i) to iii) shown in the modified example 5. For example, first, when trying to determine one corresponding point using the method of iii), if there are a plurality of corresponding points having the same stability, and one corresponding point could not be determined, i) Alternatively, one corresponding point may be determined using the method ii).
  • the correlation values P1, P2, and P3 may be detected as correlation peaks.
  • the corresponding point candidate determination unit 108 obtains P2 / P1, P3 / P1, and when P2 / P1, P3 / P1 is larger than the value Vth1, based on the three correlation peaks of the correlation values P1 to P3, 3 What is necessary is just to detect a corresponding point.
  • the corresponding point candidate determination unit 108 may detect two corresponding points based on the two correlation peaks of the correlation values P1 and P2.
  • the correlation value is calculated using POC, but other methods may be used. Other methods include, for example, DCT code limited correlation method and SAD (Sum of Absolute Difference). For details on the DCT code-only correlation method, see “Fusion of Image Signal Processing and Image Pattern Recognition-DCT Code-Only Correlation and its Application, Hitoshi Kiya, Tokyo Metropolitan University, Faculty of System Design, Dynamic Image Processing Utilization Workshop 2007 (2007. 3.8-9) ”.
  • FIG. 13 is an explanatory diagram of SAD.
  • the attention point CP is set in the reference image, and the reference window W1 is set around the attention point CP.
  • the attention point CP is sequentially set so that all pixels on the reference image or each pixel thinned out at a constant interval are raster-scanned, for example.
  • a predetermined pixel within the search range set in the reference image is set as the center point O1 of the reference window W2, and the reference window W2 is set around the center point O1.
  • the search range a region on the linear reference image having the same height in the vertical direction as the point of interest CP and parallel to the horizontal direction can be employed.
  • a correlation value CORp between the image Img1 in the standard window W1 and the image Img2 in the reference window W2 is calculated using the following equation.
  • W represents the window size of the standard window W1 and the reference window W2
  • i represents the vertical coordinate
  • j represents the horizontal coordinate
  • p is a variable that satisfies 0 ⁇ p ⁇ max_disp
  • max_disp is Indicates the final search point.
  • the correlation value CORp is adopted as the correlation value of the center point O1 of the image in the reference window W2, the position where the correlation value is highest in the reference image is searched, and the point of interest where the searched position is set as the reference image It is specified as a corresponding point of CP.
  • the correlation value CORp has a higher correlation between the image Img1 and the image Img2, and the higher the similarity, the higher the correlation value CORp.
  • SSD sum of squares of concentration difference
  • NCC normalized cross correlation
  • FIG. 14 is a block diagram of a stereo ranging system.
  • the stereo distance measuring system is mounted on the body of a vehicle such as an automobile, and includes cameras 101 and 102, an arithmetic processing unit 11, and a display unit 12.
  • the arithmetic processing unit 11 includes the corresponding point search device 110 shown in FIG. 1 and calculates the distance of the object in front of the vehicle body using the stereo method using the corresponding points detected by the corresponding point determination unit 107.
  • the display device 12 includes a display device such as a liquid crystal display or an organic EL display, and displays information generated by the arithmetic processing device 11.
  • FIG. 15 is an explanatory diagram of a distance measuring method using the stereo method.
  • f indicates the focal length of the lenses of the cameras 101 and 102, and the number of pixels on the imaging plane (CCD) of the cameras 101 and 102 is the same.
  • the cameras 101 and 102 are arranged so as to be separated from each other in the left-right direction by a predetermined baseline length B and to have parallel optical axes.
  • the distance D from the lens position to the object is expressed by the following equation.
  • x and y indicate the coordinates of the point of interest CP.
  • the arithmetic processing unit 11 determines the target object as an obstacle, and information indicating that the obstacle is approaching the own vehicle body. Generate and display on the display device 12. This notifies the user that an obstacle is approaching.
  • the usage example 2 is characterized in that the corresponding point search device 110 according to the present embodiment is applied to a system that searches for corresponding points with respect to input images that move back and forth in time series.
  • FIG. 16 is a block diagram of a system for associating input images that move back and forth in time series.
  • This system includes a camera 101, a corresponding point search device 13, and a display device 12.
  • the camera 101 images a subject at a predetermined frame rate.
  • the corresponding point search device 13 has the same configuration as the corresponding point search device 110 shown in FIG. 1, but the way of specifying the reference image and the reference image is different.
  • an image captured by the camera 101 at time t is a standard image
  • an image captured by the camera 102 is a reference image.
  • an image captured by the camera 101 at time t is a standard image
  • an image captured by the camera 102 at time t ⁇ 1 is a reference image.
  • the corresponding point search device 13 detects the corresponding point of the attention point on the standard image from the reference image. Then, the corresponding point search device 13 calculates the optical flow of the object by taking the difference between the corresponding point and the point of interest, for example.
  • the corresponding point search device is acquired by an image acquisition unit that acquires one input image as a standard image and a remaining input image as a reference image among at least two input images, and the image acquisition unit.
  • a multi-resolution image generation unit that hierarchically generates a plurality of reference images and reference images having different resolutions for each of the reference image and the reference image, and a corresponding point for the target point in the reference image of the target layer.
  • a corresponding point search unit that searches from a reference image; an initial position setting unit that sets an initial search position in a reference image of the target layer based on a corresponding point searched in a layer one level below the target layer;
  • a search control unit for causing the corresponding point search unit to search for corresponding points sequentially from a lower hierarchy to an upper hierarchy, and the corresponding point search unit is configured to set the initial search position set in the target hierarchy.
  • a predetermined search range is set in the reference image of the target hierarchy, a correlation value for the target point is calculated at each position in the set search range, and a plurality of correlation peaks are generated based on the calculated correlation value.
  • the initial position setting unit is configured by a plurality of corresponding point search units.
  • the initial search position for each corresponding point is set.
  • the correlation values of both correlation peaks are antagonized, and it is difficult to determine which is the correct answer.
  • a plurality of corresponding points are detected using each of a plurality of correlation peaks. Then, a corresponding range is searched by setting a search range for each corresponding point in a layer one level above the target layer, and the determination of the corresponding point is left to the upper layer.
  • the relative size of the search range with respect to the reference image becomes smaller toward the upper layer. Therefore, the higher the hierarchy, the narrower the search range, and the lower the possibility that a plurality of subjects with different distances are included in the search range. As a result, it is possible to increase the possibility that only one correlation peak will finally appear, and it is possible to realize a corresponding point search with high accuracy.
  • the corresponding point search unit determines that a plurality of correlation peaks appear, the second correlation peak other than the first correlation peak with respect to the correlation value of the first correlation peak having the maximum correlation value If a second correlation peak having a ratio greater than a predetermined value does not exist, a corresponding point is determined only from the first correlation peak, and a second value having a ratio greater than the predetermined value is determined.
  • a correlation peak exists, it is preferable that the corresponding point is determined from a second correlation peak whose ratio is larger than a predetermined value, and the corresponding point is determined from the first correlation peak.
  • the first correlation peak is likely to indicate a corresponding point. Therefore, in such a case, the corresponding point is determined using only the first correlation peak. Then, it is possible to increase the possibility of one steep correlation peak appearing in the upper layer.
  • the corresponding point search unit calculates the correlation value using a phase only correlation method.
  • the correlation value is calculated using the phase-only correlation method, which has a feature that a steep correlation peak appears, so that the detection accuracy of the correlation peak is improved and high-accuracy corresponding point search is realized. Can do.
  • the corresponding point search unit determines the maximum value of the correlation values as the first correlation peak, and for the correlation values of the second and subsequent magnitudes, a correlation value larger than a predetermined value is set as the second correlation value. It is preferable to determine as a correlation peak.
  • the corresponding point search unit determines a correlation value located at the peak apex as a correlation peak in the correlation value distribution.
  • the correlation peak can be detected with high accuracy.
  • the corresponding point search unit has a correlation peak at the target position. It is preferable to determine that it has appeared.
  • the corresponding point search unit has a correlation peak at the position of interest. It is preferable to determine that has appeared.
  • the corresponding point search unit detects a correlation peak at a position separated by a predetermined distance or more.
  • the corresponding point search unit sets the search range based on each initial search position when a plurality of initial search positions are determined by the initial position setting unit in the reference image of the target hierarchy,
  • the initial position setting unit sets the initial search position for all corresponding points to the reference image of the layer one level above the target layer, even when the corresponding point search unit searches for a plurality of corresponding points in each search range. It is preferable to set to.
  • the initial position setting unit performs the initial search for corresponding points equal to or lower than the upper limit value. It is preferable to set the position.
  • the corresponding point search unit determines one corresponding point in the highest hierarchy.
  • one corresponding point can be determined with certainty in the end.

Abstract

対応点候補決定部１０８は、対応点決定部１０７により算出された相関値に基づき、複数の相関ピークが現れているか否かを判定する。対応点決定部１０７は、対応点候補決定部１０８により複数の相関ピークが現れていると判定された場合、相関ピークが示す相関値同士の比を算出し、算出した比に基づいて、１又は複数の対応点を決定し、初期位置設定部１０６に通知する。初期位置設定部１０６は、対応点決定部１０７により複数の対応点が探索された場合、各対応点に対する初期探索位置を１つ上の階層の参照画像上に設定する。

Description

対応点探索装置
　本発明は、基準画像における注目点に対応する対応点を参照画像から探索する技術に関するものである。
　近年、基準画像及び参照画像をそれぞれにつき、解像度の異なる複数の基準画像及び参照画像に階層的に生成し、下位の階層で探索された対応点に基づいて上位の階層に探索範囲を設定し、設定した探索範囲内で対応点を探索する対応点探索手法が知られている。このような対応点探索手法は多重解像度戦略と呼ばれている。
　例えば、特許文献１では、対応点の信頼性を評価するための信頼度を算出し、信頼度が低い対応点については、別の点に対応点を変更し、変更した対応点に基づき１つ上の階層の初期探索位置を決定する技術が開示されている。
　このような多重解像度戦略を利用した対応点探索手法では、基準画像に注目点が設定され、参照画像に設定された探索範囲の各位置において、注目点との相関値が求められ、相関値が最も高い位置が対応点として決定される。なお、相関値は、例えばＳＡＤやＰＯＣを用いて算出される。
　このような、対応点探索手法では、探索範囲内にはカメラからの距離がほぼ同じ被写体が存在していることが前提とされている。
　しかしながら、探索範囲内にはカメラからの距離が異なる複数の被写体が存在することもある。この場合、探索範囲内に複数の鋭い相関ピークが出現するという現象が確認されている。このように複数の鋭い相関ピークが現れてしまうと、どちらの相関ピークが正しい対応点を示しているかを判断することが難しい。
特開２００９－２８２７６２号公報
　本発明の目的は、多重解像度戦略において、ある階層に複数の相関ピークが現れた場合であっても、精度良く対応点を得ることができる対応点探索装置を提供することである。
　本発明の一態様の対応点探索装置は、少なくとも２枚の入力画像のうち、１枚の入力画像を基準画像、残りの入力画像を参照画像として取得する画像取得部と、前記画像取得部で取得された基準画像及び参照画像のそれぞれにつき、解像度の異なる複数の基準画像及び参照画像を階層的に生成する多重解像度画像生成部と、注目階層の基準画像における注目点に対する対応点を、前記注目階層の参照画像から探索する対応点探索部と、前記注目階層の１つ下の階層で探索された対応点を基に、前記注目階層の参照画像における初期探索位置を設定する初期位置設定部と、前記対応点探索部に下位の階層から上位の階層に向けて順次に対応点を探索させる探索制御部とを備え、前記対応点探索部は、前記注目階層において設定された前記初期探索位置を基準として、前記注目階層の前記参照画像に所定の探索範囲を設定し、設定した探索範囲内の各位置において前記注目点に対する相関値を算出し、算出した相関値に基づき、複数の相関ピークが現れているか否かを判定し、複数の相関ピークが現れていると判定した場合、各相関ピークを用いて複数の対応点を決定し、前記初期位置設定部は、前記対応点探索部により複数の対応点が探索された場合、各対応点に対する前記初期探索位置を設定する。
本発明の実施の形態による対応点探索装置が適用された対応点探索システムのブロック図である。 多重解像度画像生成部により階層化された基準画像及び参照画像を示した図である。 探索制御部による制御の下、対応点を探索する対応点決定部の処理の流れを示した図である。 階層Ｌ２及び階層Ｌ３のそれぞれにおいて基準画像及び参照画像の一部を切り出した図である。 （Ａ）はＰＯＣの処理の流れを示した図である。（Ｂ）は位相差画像を逆フーリエ変換することで得られたＰＯＣ値の分布を示したグラフである。 ＰＯＣ値の分布の一例を示したグラフであり、縦軸はＰＯＣ値を示し、横軸は位置を示している。 従来の手法の問題点を説明するためのグラフであり、（Ａ）はある階層Ｌ（ｉ）において２つの相関ピークが現れた場合のＰＯＣ値の分布を示すグラフであり、（Ｂ）、（Ｃ）は階層Ｌ（ｉ）よりも１つ上の階層Ｌ（ｉ－１）におけるＰＯＣ値の分布を示すグラフである。 （Ａ）、（Ｂ）は本実施の形態による対応点の探索処理を説明するグラフであり、縦軸はＰＯＣ値を示し、横軸は位置を示している。 本発明の実施の形態による対応点探索装置の動作を示すフローチャートである。 図９のＳ１１０の処理の詳細を示すフローチャートである。 大きな相関値が隣接して分布している場合のＰＯＣ値の分布を示したグラフであり、縦軸はＰＯＣ値を示し、横軸は位置を示している。 複数の対応点が上位の階層に渡される様子を示した図である。 ＳＡＤの説明図である。 ステレオ測距システムのブロック図である。 ステレオ法による測距方法の説明図である。 時系列的に前後する入力画像に対して対応付けを行わせるシステムのブロック図である。
　以下、本発明の実施の形態による対応点探索装置について説明する。図１は、本発明の実施の形態による対応点探索装置が適用された対応点探索システムのブロック図である。この対応点探索システムは、例えば自動車等の車両の車体に搭載され、カメラ１０１（カメラＡ）、カメラ１０２（カメラＢ）、及び対応点探索装置１１０を備えている。
　カメラ１０１，１０２は、車体の進行方向に直交し、かつ水平方向に平行な方向である左右方向に所定の間隔を設けて、進行方向を中心に対称となるように同一高さ位置に配設され、所定のフレームレートで車体の前方を撮像する。ここで、カメラ１０１，１０２の光軸は平行である。
　また、カメラ１０１，１０２は、同一時刻においてフレームが撮影されるように撮影タイミングの同期が図られている。なお、カメラの台数は２台に限定されず、３台以上にしてもよい。
　対応点探索装置１１０は、例えば、マイクロコントローラにより構成され、カメラ１０１，１０２において例えば時刻ｔで撮像された２枚の画像に対して対応点の探索処理を実行する。
　具体的には、対応点探索装置１１０は、画像取得部１０３、多重解像度画像生成部１０４、探索制御部１０５、初期位置設定部１０６、及び対応点探索部１０９を備えている。対応点探索部１０９は、対応点決定部１０７及び対応点候補決定部１０８を備えている。
　画像取得部１０３は、カメラ１０１により撮影された入力画像を基準画像として取得すると共に、カメラ１０２により撮影された入力画像を参照画像として取得し、図略のメモリに記憶する。ここで、入力画像としては、例えば０（黒）～２５５（白）の２５６階調値を有する複数の画素がマトリックス状に配列されたデジタルの画像データを採用することができる。
　なお、カメラの台数が３台以上の場合は、いずれか１台のカメラで撮像された入力画像が基準画像とされ、残りの複数の入力画像がそれぞれ参照画像とされる。
　多重解像度画像生成部１０４は、画像取得部１０３により取得された基準画像及び参照画像をそれぞれ低解像度化することで、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の基準画像及び参照画像をそれぞれ階層的に生成する。ここで、階層の数及び各階層の解像度としては予め定められた値を採用することができる。また、最上位の階層の基準画像及び参照画像は、低解像度化がされていない画像が採用される。また、同一階層において、基準画像及び参照画像の解像度は同一である。また、階層化された基準画像及び参照画像の複数の階層のうち、注目する１つの階層を“注目階層”と記述する。
　図２は、多重解像度画像生成部１０４により階層化された基準画像及び参照画像を示した図である。図２の例では、階層数は４とされている。また、図２の例では入力画像の解像度はＶＧＡ（６４０×４８０）であり、階層間の解像度の変換倍率は１／２に設定されている。
　よって、１番目の階層Ｌ１（最上位の階層）の基準画像及び参照画像の解像度はＶＧＡとなる。また、２番目の階層Ｌ２の基準画像及び参照画像の解像度はＱＶＧＡ（３２０×２４０）となる。また、３番目の階層Ｌ３の基準画像及び参照画像の解像度は（１６０×１２０）となる。また、４番目の階層Ｌ４（最下位の階層層）の基準画像及び参照画像の解像度は（８０×６０）となる。
　例えば、階層Ｌ３のある点（ｘ，ｙ）は、階層Ｌ２の点（２ｘ，２ｙ）、（２ｘ＋１，２ｙ）、（２ｘ，２ｙ＋１）、（２ｘ＋１，２ｙ＋１）の２×２の画素の平均値として求められる。
　変換倍率は１／２に限らず、１／３など小さくし、階層数を少なくしてもよい。この場合、高速な処理が可能となる。
　また、逆に変換倍率を１／１．５のように大きくし、階層数を増大させても良い。この場合、階層数が増加して、演算負荷は大きくなるが、より細かな探索が可能となり、ロバスト性を向上させることができる。
　また、階層間で変換倍率を等しくする必要はなく、例えば、上位の階層では変換倍率を小さくして、下位の階層に向かうにつれて変換倍率を大きくしてもよい。
　各階層で設定される探索範囲を一定とすると、下位の階層に設定された探索範囲内には距離の異なる複数の被写体が存在する。つまり、下位の階層の探索範囲では距離混合が激しくなってしまう。
　そこで、下位の階層に向かうにつれて変換倍率を大きくすることで、解像度の低い階層が多くなり、下位の階層において対応点をきめ細かく探索することができ、ロバスト性を担保することができる。また、解像度の高い階層が少なくなり、上位の階層ではロバスト性よりも高速化に重きを置くことができる。これにより、下位の階層から上位の階層に渡りトータルバランスが取れた対応点の探索処理が可能となる。
　図１に戻り、探索制御部１０５は、対応点決定部１０７に下位の階層から上位の階層に向けて順次に対応点を探索させる。図３は、探索制御部１０５による制御の下、対応点を探索する対応点決定部１０７の処理の流れを示した図である。
　なお、図３において、階層数、変換倍率は図２と同じである。例えば、階層Ｌ３の基準画像上のある注目点Ｒ３（ｘ３、ｙ３）に対応する参照画像上の対応点Ｔ３（ｐ３、ｑ３）が対応点決定部１０７によって求められる。
　次に、階層Ｌ２の基準画像上の注目点Ｒ２（ｘ２、ｙ２）に対応する参照画像上の対応点Ｔ２（ｐ２，ｑ２）を探索するとき、階層Ｌ３における探索結果を利用する。具体的には、階層Ｌ２の対応点Ｔ２（ｐ２，ｑ２）は、階層Ｌ３の対応点Ｔ３（ｐ３、ｑ３）をおよそ２倍にした位置の近傍にあると考えられる。
　そこで、対応点決定部１０７は、階層Ｌ２において、対応点Ｔ３（ｐ３，ｑ３）を２倍した位置を基準に探索範囲を設定し、この位置の周辺を重点的に探索する。これにより、効率良く対応点Ｔ２（ｐ２，ｑ２）を探索することができる。
　そして、対応点決定部１０７は、対応点Ｔ２（ｐ２，ｑ２）を探索すると、階層Ｌ１において、対応点Ｔ２（ｐ２，ｑ２）を２倍にした位置を基準に探索範囲を設定し、この位置の周辺を重点的に探索する。これにより、効率良く対応点Ｔ１（ｐ１，ｑ１）を探索することができる。
　このように、下位の階層の探索結果を利用して上位の階層に探索範囲を設定し、対応点を探索していく多重解像度戦略を用いることで、対応点を効率良く探索することができる。なお、多重解像度戦略は、粗密戦略とも呼ばれている。
　図１に戻り、初期位置設定部１０６は、注目階層の１つ下の階層で探索された対応点を基に、注目階層の参照画像における初期探索位置を設定する。ここで、初期位置設定部１０６は、対応点決定部１０７により注目階層の１つ下の階層で複数の対応点が探索された場合、各対応点に対する初期探索位置を注目階層の参照画像上に設定する。
　図４は、階層Ｌ２及び階層Ｌ３のそれぞれにおいて基準画像及び参照画像の一部を切り出した図である。以下、図４を用いて、初期位置設定部１０６による処理を説明する。階層Ｌ３の注目点（ｂｘ，ｂｙ）は、多重解像度画像生成部１０４により、階層Ｌ２の点（ＢＸ，ＢＹ），（ＢＸ＋１，ＢＹ），（ＢＸ，ＢＹ＋１），（ＢＸ＋１，ＢＹ＋１）の２×２の平均値として求められている。
　階層Ｌ３の参照画像の点（ｒｘ，ｒｙ）は注目点（ｂｘ，ｂｙ）の対応点である。階層Ｌ３における対応点（ｒｘ，ｒｙ）から、階層Ｌ２の参照画像には下記の式により初期探索位置が設定される。
　（ＲＸ，ＲＹ）＝（２×ｒｘ，２×ｒｙ）
　（ＲＸ＋１，ＲＹ）＝（２×ｒｘ＋１，２×ｒｙ）
　（ＲＸ，ＲＹ＋１）＝（２×ｒｘ，２×ｒｙ＋１）
　（ＲＸ＋１，ＲＹ＋１）＝（２×ｒｘ＋１，２×ｒｙ＋１）
　これら４つの点（ＲＸ，ＲＹ），（ＲＸ＋１，ＲＹ），（ＲＸ，ＲＹ＋１），（ＲＸ＋１，ＲＹ＋１）が階層Ｌ２の初期探索位置となる。これにより、初期探索位置をより正確に設定することができる。なお、演算を簡略化するために、（ＲＸ，ＲＹ），（ＲＸ＋１，ＲＹ），（ＲＸ，ＲＹ＋１），（ＲＸ＋１，ＲＹ＋１）の４点を求めることなく、（ＲＸ，ＲＹ）＝（２×ｒｘ，２×ｒｙ）を初期探索位置として設定してもよい。
　図１に戻り、対応点探索部１０９は、注目階層の基準画像における注目点に対する対応点を、注目階層の参照画像から探索する。対応点探索部１０９は、対応点決定部１０７及び対応点候補決定部１０８を備えている。
　対応点決定部１０７は、注目階層において設定された初期探索位置を基準として、注目階層の参照画像に所定の探索範囲を設定し、設定した探索範囲内の各位置において注目点に対する相関値を算出する。
　ここで、対応点決定部１０７は、例えば、ＰＯＣ（位相限定相関法）を用いて探索範囲の各位置の相関値を算出する。図５（Ａ）は、ＰＯＣの処理の流れを示した図である。まず、対応点決定部１０７は、基準画像の注目点を中心として基準ウィンドウを設定し、かつ、参照画像に参照ウィンドウを設定する（Ｓ１）。なお、基準ウィンドウと参照ウィンドウとのサイズは同じであり、それぞれ、四角形である。
　次に、対応点決定部１０７は、基準ウィンドウ内の画像及び参照ウィンドウ内の画像に対して、フーリエ変換を行う（Ｓ２）。
　なお、フーリエ変換は式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
 　ここで、ｘ，ｙは入力画像の水平，垂直方向を表し、ｕ，ｖは、ｘ方向，ｙ方向に対応する周波数を表し、Ｎ１，Ｎ２はウィンドウサイズを表し、ｆ（ｘ，ｙ）は画素値を表し、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）の周波数空間の値を表す。
　例えば、基準ウィンドウ及び参照ウィンドウのサイズが３３×１７の場合、周波数ｕは１個の直流成分と１６個の交流成分とで表され、周波数ｖは１個の直流成分と８個の周波数成分とで表される。なお、実際には、周波数ｕの交流成分は３２個存在するが、直流成分を中心に対称的なデータを持つので、１６個の交流成分を持つ。
　フーリエ変換は、ウィンドウサイズが２のべき乗の場合は、バタフライ演算を特徴とするＦＦＴ（高速フーリエ変換）を使用することができる。そのため、処理の高速化の観点からはウィンドウサイズは２のべき乗にすることが好ましい。例えば、ウィンドウサイズが３２×１６の場合、周波数ｕは１個の直流成分と１５個の交流成分とで表され、周波数ｖは１個の直流成分と７個の交流成分とで表される。
　次に、対応点決定部１０７は、フーリエ変換した基準ウィンドウ内の画像を、式（２）を用いて、位相成分θ（ｕ，ｖ）と振幅成分Ａ（ｕ，ｖ）とに分け、かつ、フーリエ変換した参照ウィンドウ内の画像を、式（２）を用いて、位相成分φ（ｕ，ｖ）と振幅成分Ｂ（ｕ，ｖ）とに分ける（Ｓ３）。
Figure JPOXMLDOC01-appb-M000002
 　ここで、Ｒｅ（ｕ，ｖ）はフーリエ変換された画像の実部を示し、Ｉｍ（ｕ，ｖ）はフーリエ変換された画像の虚部を示している。
　次に、対応点決定部１０７は、位相成分θ（ｕ，ｖ）と位相成分φ（ｕ，ｖ）との差分をとり、位相差画像を求める（Ｓ４）。
　次に、対応点決定部１０７は、位相差画像を逆フーリエ変換し（Ｓ５）、相関値であるＰＯＣ値を求める。図５（Ｂ）は、位相差画像を逆フーリエ変換することで得られたＰＯＣ値の分布を示したグラフである。図５（Ｂ）に示すように、位相差画像を逆フーリエ変換することで、基準ウィンドウ内の画像と参照ウィンドウ内の画像との各位置におけるＰＯＣ値が求められる。
　具体的には、ｘ軸及びｙ軸は、それぞれ、基準ウィンドウ内の画像に対する参照ウィンドウ内の画像のずれ量のｘ成分及びｙ成分を示し、ｚ軸はＰＯＣ値を示している。
　基準ウィンドウ内の画像に対して、参照ウィンドウ内の画像が（ｘｓ，ｙｓ）ずれていたとすると、（ｘｓ，ｙｓ）の位置に相関ピークが現れる。このように、位相限定相関法は、ずれ量を示す位置に急峻な相関ピークが現れることが特徴であり、基準ウィンドウ内の画像に対する参照ウィンドウ内の画像のずれ量を正確に求めることができる。なお、このｘ軸及びｙ軸で表される各位置のＰＯＣ値が探索範囲内の各位置の相関値に相当する。
　そして、対応点決定部１０７は、相関ピークが現れた位置が（ｘｓ，ｙｓ）であったとすると、参照ウィンドウの中心を（ｘｓ，ｙｓ）ずらした位置を対応点として決定する。
　図１に戻り、対応点候補決定部１０８は、対応点決定部１０７により算出された相関値に基づき、複数の相関ピークが現れているか否かを判定する。そして、対応点決定部１０７は、対応点候補決定部１０８により複数の相関ピークが現れていると判定された場合、相関ピークが示す相関値同士の比を算出し、算出した比に基づいて、１又は複数の対応点を決定し、初期位置設定部１０６に通知する。
　図６は、ＰＯＣ値の分布の一例を示したグラフであり、縦軸はＰＯＣ値を示し、横軸は位置を示している。なお、図６は、説明を簡素化するために１次元のグラフでＰＯＣ値の分布を示している。
　従来はＰＯＣ値が最も高い位置を対応点として決定し、かつ、その位置のＰＯＣ値の大きさに基づき、対応点の信頼度を求めていた。ここで、信頼度は、対応点の確からしさを示し、アルゴリズムの設計に依存するが、例えば、全ＰＯＣ値の総和が１となるように各ＰＯＣ値を正規化した値が採用される。そして、信頼度が例えば０．２以上であれば、その対応点は信頼性が高いと判定される。
　次に、本実施の形態による対応点探索装置が解決したいケースについて説明する。図７は、従来の手法の問題点を説明するためのグラフであり、（Ａ）はある階層Ｌ（ｉ）において２つの相関ピークが現れた場合のＰＯＣ値の分布を示すグラフであり、（Ｂ）、（Ｃ）は階層Ｌ（ｉ）よりも１つ上の階層Ｌ（ｉ－１）におけるＰＯＣ値の分布を示すグラフである。
　従来の手法では、図７（Ａ）に示すように２つの相関ピークが現れた場合、信頼度が高い方の相関ピークが現れている位置を用いて対応点が決定されていた。しかしながら、２つの相関ピークのうちどちらが本当の対応点を示しているかを特定するのは容易ではない。特に、２つの相関ピークの信頼度が共に拮抗しているような場合、本当の対応点を決定することは困難である。
　図７（Ａ）において正しい方の対応点を選択した場合、その対応点に基づいて探索範囲を設定し、階層Ｌ（ｉ－１）で対応点を探索すると、図７（Ｂ）に示すようにＰＯＣ値の分布に急峻な相関ピークが現れ、階層Ｌ（ｉ－１）においても正しい対応点を探索できる。
　一方、図７（Ａ）において正しくない方の対応点を選択した場合、その対応点に基づいて探索範囲を設定し、階層Ｌ（ｉ－１）で対応点を探索すると、図７（Ｃ）に示すように、急峻な相関ピークが現れず、階層Ｌ（ｉ－１）において正しい対応点を探索できる可能性が低くなる。
　そこで、本実施の形態では、階層Ｌ（ｉ）において２個の相関ピークが検出された場合において、両相関ピークの相関値が拮抗しており、どちらが正解であるかの判定がし難い場合、一方の相関ピークを用いて対応点を決定するのではなく、２個の相関ピークを共に用いて２個の対応点を決定する。そして、階層Ｌ（ｉ－１）において両対応点のそれぞれに対して探索範囲を設定して対応点を探索するというようにして、対応点の判断を階層Ｌ（ｉ－１）に委ねている。
　ここで、探索範囲のサイズは全階層において一定であるため、参照画像に対する探索範囲の相対的なサイズは、上位の階層に向かうにつれて小さくなる。そのため、上位の階層に向かうほど、探索範囲が絞られ、探索範囲内に距離が異なる複数の被写体が含まれる可能性が低くなる。その結果、最終的に１つの相関ピークのみが現れる可能性を高くすることができ、精度の良い対応点探索を実現することができる。
　具体的には、まず、対応点候補決定部１０８は、探索範囲においてＰＯＣ値が最大の位置を抽出し、その位置に第１相関ピークが現れていると判定する。次に、対応点候補決定部１０８は、２番目に大きいＰＯＣ値が所定の閾値α１より大きい場合、その位置に第２相関ピークが現れていると判定する。この場合、複数の相関ピークが現れていると判定される。
　一方、２番目に大きいＰＯＣ値が閾値α１以下である場合、対応点候補決定部１０８は、第１相関ピークのみを相関ピークとして判定する。この場合、相関ピークが１つだけ現れていると判定される。なお、閾値α１としては、相関ピークを表していないことが明白な相関値を採用することができる。
　そして、対応点決定部１０７は、対応点候補決定部１０８により複数の相関ピークが現れていると判定された場合、第１相関ピークの相関値Ｐ１に対する第２相関ピークの相関値Ｐ２の比（Ｐ２／Ｐ１）を算出する。
　そして、対応点決定部１０７は、比が所定の値Ｖｔｈ１以下の場合、第１相関ピークの位置のみを用いて対応点を決定する。一方、対応点決定部１０７は、比が値Ｖｔｈ１より大きい場合、第１、第２相関ピークの位置をそれぞれ用いて２つの対応点を決定する。
　図８は、本実施の形態による対応点の探索処理を説明するグラフであり、縦軸はＰＯＣ値を示し、横軸は位置を示している。図８（Ａ）では２つの相関ピークＰＫ１，ＰＫ２が現れているが、相関値Ｐ１に対する相関値Ｐ２の比が値Ｖｔｈ１よりも低い。この場合、対応点決定部１０７は、相関ピークＰＫ１のみを相関ピークとして決定する。
　つまり、相関ピークが２つ現れていても相関ピークＰＫ１の相関値Ｐ１に比べて相関ピークＰＫ２の相関値Ｐ２が小さければ、相関ピークＰＫ１が対応点を示している可能性が高い。そこで、このような場合、相関ピークＰＫ１のみを用いて対応点を決定する。すると、階層Ｌ（ｉ－１）において、図８（Ｂ）に示すように、急峻な１つの相関ピークが現れる可能性が高くすることができる。
　なお、本実施の形態では比としてＰ２／Ｐ１を用いたが、この逆数（Ｐ１／Ｐ２）を採用してもよい。この場合、対応点候補決定部１０８は、比が所定の値Ｖｔｈ２より小さい場合、複数の相関ピークが現れていると判定し、比が値Ｖｔｈ２以上の場合、１つの相関ピークが現れていると判定すればよい。
　また、対応点候補決定部１０８は、相関値Ｐ１から相関値Ｐ２を差し引いた差分値（Ｐ１－Ｐ２）が所定の値Ｖｔｈ３より小さい場合、複数の相関ピークが現れていると判定し、差分値が値Ｖｔｈ３以上の場合、１つの相関ピークが現れていると判定してもよい。
　なお、所定の値Ｖｔｈ１～Ｖｔｈ３は、固定値であっても良いし、下記の式を用いて決定してもよい。
　Ｖｔｈ１～Ｖｔｈ３＝α×Ｐ１（αは固定値）
　この場合、相関値Ｐ１の値に応じて適宜、Ｖｔｈ１～Ｖｔｈ３の値が決定される。
　図９は、本発明の実施の形態による対応点探索装置の動作を示すフローチャートである。なお、図９に示す処理は、カメラ１０１，１０２により入力画像が撮影される毎に実行される。
　まず、画像取得部１０３は、カメラ１０１により撮影された入力画像を基準画像、カメラ１０２により撮影された入力画像を参照画像として取得する（Ｓ１０１）。次に、多重解像度画像生成部１０４は、基準画像及び参照画像を低解像度化し、解像度の異なる複数の基準画像及び参照画像を生成する（Ｓ１０２）。ここでは、図２に示すように、階層Ｌ１～Ｌ４の４つの階層の基準画像及び参照画像が生成されたとする。
　次に、探索制御部１０５は、注目階層を設定する（Ｓ１０３）。ここで、探索制御部１０５は、図２の例では、まず、階層Ｌ４を注目階層として設定し、次に階層Ｌ３を注目階層として設定するというように、階層Ｌ４から階層Ｌ１に向けて順次に注目階層を設定する。
　次に、探索制御部１０５は、全階層に対する探索処理が終了したか否かを判定し、全階層の探索処理が終了している場合（Ｓ１０４でＹＥＳ）、処理を終了する。一方、全階層の探索処理が終了していない場合（Ｓ１０４でＮＯ）、探索制御部１０５は、注目階層の基準画像上の注目点として設定されるべき全ての点に対する探索処理が終了しているか否かを判定する（Ｓ１０５）。
　そして、探索制御部１０５は、全ての点に対する探索処理が終了していると判定した場合（Ｓ１０５でＹＥＳ）、処理をＳ１０３に戻し、注目階層の１つ上の階層を注目階層として設定する。
　一方、探索制御部１０５が全ての点に対する探索処理が終了していないと判定した場合（Ｓ１０５でＮＯ）、対応点決定部１０７は、注目階層の基準画像に注目点を設定する（Ｓ１０６）。この場合、１つ下の階層で設定された注目点の座標に変換倍率の逆数を乗じた位置を注目階層の注目点として設定すればよい。
　次に、対応点決定部１０７は、Ｓ１０６で設定された注目点を中心として注目階層の基準画像に基準ウィンドウを設定する（Ｓ１０７）。
　次に、初期位置設定部１０６は、図４で示した手法を用いて、注目階層の１つ下の階層で探索された対応点を用いて、注目階層の参照画像に初期探索位置を設定する（Ｓ１０８）。
　この場合、初期位置設定部１０６は、注目階層の１つ下の階層で例えば２個の対応点が探索されたとすると、注目階層の参照画像に２個の初期探索位置を設定する。また、最下位の階層が注目階層である場合、１つ下の階層が存在していないため、初期位置設定部１０６は、所定の位置（例えば、中心の位置）を初期探索位置として設定すればよい。
　次に、対応点決定部１０７は、Ｓ１０８で設定した初期探索位置を基準に注目階層の参照画像上に探索範囲を設定する（Ｓ１０９）。ここで、探索範囲は、初期探索位置に中心が位置するように設定され、全階層において同じサイズを持つ。
　また、Ｓ１０８において、複数の初期探索位置が設定された場合、対応点決定部１０７は、各初期探索位置を基準に複数の探索範囲を設定する。
　次に、対応点決定部１０７は対応点探索処理を実行する（Ｓ１１０）。ここで、Ｓ１０９において複数の探索範囲が設定された場合、対応点決定部１０７は、全探索範囲から対応点を探索する。Ｓ１１０の処理が終了すると、処理がＳ１０５に戻され、処理が継続される。
　図１０は、図９のＳ１１０の処理の詳細を示すフローチャートである。まず、対応点決定部１０７は、Ｓ１０９で設定した探索範囲において参照ウィンドウを設定する（Ｓ２０１）。
　次に、対応点決定部１０７は、基準ウィンドウ内の画像及び参照ウィンドウ内の画像のそれぞれに対してフーリエ変換を行う（Ｓ２０２）。
　次に、対応点決定部１０７は、フーリエ変換された基準ウィンドウ内の画像及び参照ウィンドウ内の画像の位相成分θ（ｕ，ｖ），φ（ｕ，ｖ）を抽出する（Ｓ２０３）。
　次に、対応点決定部１０７は、両位相成分の差分をとり（θ（ｕ，ｖ）－φ（ｕ，ｖ））、位相差画像を算出する（Ｓ２０４）。
　次に、対応点決定部１０７は、位相差画像を逆フーリエ変換し、ＰＯＣ値の分布を算出する（Ｓ２０５）。これにより、探索範囲の各位置におけるＰＯＣ値が得られる。
　次に、対応点候補決定部１０８は、複数の相関ピークが現れているか否かを判定する（Ｓ２０６）。そして、第１、第２相関ピークが現れていると判定された場合（Ｓ２０６でＹＥＳ）、対応点決定部１０７は、相関値Ｐ１に対する相関値Ｐ２の比（Ｐ２／Ｐ１）が値Ｖｔｈ１より大きいか否かを判定する（Ｓ２０７）。
　そして、対応点決定部１０７は、比（Ｐ２／Ｐ１）が値Ｖｔｈ１より大きい場合（Ｓ２０７でＹＥＳ）、第１、第２相関ピークの位置を用いて２個の対応点を決定する（Ｓ２０８）。具体的には、対応点決定部１０７は、第１相関ピークの位置から基準ウィンドウ内の画像に対する参照ウィンドウ内の画像のずれ量を求め、参照ウィンドウの中心をずれ量分だけずらした位置を対応点として決定する。また、対応点決定部１０７は、第２相関ピークについても第１相関ピークと同様にして、対応点を決定する。
　一方、第１、第２相関ピークが現れていないと判定された場合（Ｓ２０６でＮＯ）、対応点決定部１０７は処理をＳ２０９に進める。また、比（Ｐ２／Ｐ１）が値Ｖｔｈ１以下である場合（Ｓ２０７でＮＯ）、対応点決定部１０７は処理をＳ２０９に進める。
　次に、対応点決定部１０７は、第１相関ピークの位置を用いて１個の対応点を決定する（Ｓ２０９）。
　＜変形例１＞
　上記実施の形態では、ＰＯＣ値の大きさから複数の相関ピークが現れているか否かを判定していた。変形例１は、ＰＯＣ値の大きさに加えて他の判断基準を用いて複数の相関ピークが現れているか否かを判定する。
　具体的には下記の通りである。
　ｉ）相関値がピークの頂点に位置している場合、その相関値を相関ピークとして決定する。この場合、対応点候補決定部１０８は、まず、最大の相関値Ｐ１を特定する。そして、相関値Ｐ１がピークの頂点に位置しているか否かを判定する。そして、相関値Ｐ１がピークの頂点に位置していれば、相関値Ｐ１を第１相関ピークと判定する。ここで、ピークの頂点に位置するか否かは、相関値を微分することで判定すればよい。一方、相関値Ｐ１がピークの頂点に位置していない場合、次に大きな相関値Ｐ１’がピークの頂点に位置していれば、相関値Ｐ１’を第１相関ピークと判定すればよい。
　次に、対応点候補決定部１０８は、第１相関ピークが特定できた場合、閾値α１より大きな相関値Ｐ２を特定する。次に、相関値Ｐ２がピークの頂点に位置していれば、相関値Ｐ２を第２相関ピークと判定する。一方、相関値Ｐ２がピークの頂点に位置していなければ、次に大きな相関値であって閾値α１よりも大きな相関値Ｐ２’を特定し、相関値Ｐ２と同様にして、第２相関ピークであるか否かを判定する。
　ｉｉ）探索範囲内の注目位置の相関値に対する、注目位置に隣接する位置の相関値の比が、所定の値より小さい場合、注目位置に相関ピークが現れていると判定する。
　この場合、対応点候補決定部１０８は、まず、最大の相関値Ｐ１を特定する。次に、相関値Ｐ１に隣接する位置の相関値Ｐ１＿１を特定する。そして、Ｐ１＿１／Ｐ１が所定の閾値α２以下の場合、相関値Ｐ１が第１相関ピークであると判定する。なお、注目位置に隣接する位置として４近傍の位置、８近傍の位置を採用してもよい。例えば、４近傍の位置を採用した場合、４近傍の位置の相関値をそれぞれＰ１＿１～Ｐ１＿４とすると、Ｐ１＿１／Ｐ１，Ｐ１＿２／Ｐ１，Ｐ１＿３／Ｐ１，Ｐ１＿４／Ｐ１の少なくとも１つ、２つ、３つ、又は全部が閾値α２以下の場合、相関値Ｐ１が第１相関ピークであると判定すればよい。
　ここで、相関値Ｐ１が第１相関ピークでないと判定した場合、次に大きな相関値Ｐ１’を特定し、相関値Ｐ１と同様にして、相関値Ｐ１’が第１相関ピークであるか否かを判定すればよい。
　次に、対応点候補決定部１０８は、第１相関ピークが判定できた場合、次に大きな相関値であって、閾値α１よりも大きな相関値Ｐ２を特定し、第１相関ピークを判定した手法と同じ手法を用いて第２相関ピークを検出する。
　ｉｉｉ）探索範囲内の注目位置の相関値から注目位置に隣接する位置の相関値を差し引いた差分値が所定の値より大きい場合、注目位置に相関ピークが現れていると判定する。
　この場合、対応点候補決定部１０８は、まず、最大の相関値Ｐ１を特定する。次に、相関値Ｐ１に隣接する位置の相関値Ｐ１＿１を特定する。そして、Ｐ１－Ｐ１＿１により差分値ΔＰ１を求める。次に、差分値ΔＰ１が所定の閾値α３より大きい場合、相関値Ｐ１が第１相関ピークであると判定する。なお、注目位置に隣接する位置として４近傍の位置、８近傍の位置を採用してもよい。例えば、４近傍の位置を採用した場合、４近傍の位置の相関値をそれぞれＰ１＿１～Ｐ１＿４とすると、相関値Ｐ１とそれぞれの相関値Ｐ１＿１～Ｐ１＿４との差分値ΔＰ１～ΔＰ４を求め、１つ、２つ、３つ、又は全差分値が閾値α３より大きい場合、相関値Ｐ１が第１相関ピークであると判定すればよい。
　ここで、相関値Ｐ１が第１相関ピークでないと判定した場合、次に大きな相関値Ｐ１’を特定し、相関値Ｐ１と同様にして、相関値Ｐ１’が第１相関ピークであるか否かを判定すればよい。
　次に、対応点候補決定部１０８は、第１相関ピークが判定できた場合、次に大きな相関値であって、閾値α１よりも大きな相関値Ｐ２を特定し、第１相関ピークを判定した手法と同じ手法を用いて第２相関ピークを検出する。
　変形例１に示すｉ）～ｉｉｉ）のいずれかの手法を用いることで相関ピークをより正確に検出することができる。
　＜変形例２＞
　上記実施の形態では、最大の相関値Ｐ１を第１相関ピーク、相関値Ｐ１の次に相関値が大きく、かつ、閾値α１より大きな相関値Ｐ２を第２相関ピークと判定していた。図１１は、大きな相関値が隣接して分布している場合のＰＯＣ値の分布を示したグラフであり、縦軸はＰＯＣ値を示し、横軸は位置を示している。
　図１１に示すように、相関値Ｐ１に隣接する相関値Ｐ１’は、値は大きいが、ピークの頂点に位置していないため、相関ピークとして検出することは好ましくない。
　そこで、変形例２は、隣接した位置に相関ピークが現れているとは判定しないことを特徴とする。具体的には、対応点候補決定部１０８は、まず、最大の相関値Ｐ１を第１相関ピークとして判定する。そして、相関値Ｐ１の次に大きな相関値であって、閾値α１よりも大きな相関値Ｐ２を検出する。そして、相関値Ｐ２が相関値Ｐ１に隣接していれば、相関値Ｐ２を第２相関ピークとして検出しない。
　一方、相関値Ｐ２が相関値Ｐ１に隣接していなければ、相関値Ｐ２を第２相関ピークとして検出する。ここで、対応点候補決定部１０８は、相関値Ｐ２が相関値Ｐ１に対して例えば２画素以上離間していれば、つまり、１画素分離れて位置していれば、相関値Ｐ２を第２相関ピークとして検出すればよい。
　＜変形例３＞
　上記実施の形態では、複数の探索範囲を設定した場合、全探索範囲から２つの第１、第２相関ピークを検出し、注目階層から最大２つの対応点が決定されるようにしていた。
　変形例３では、複数の探索範囲を設定した場合、各探索範囲につき第１、第２相関ピークを検出し、３個以上の対応点が探索された場合であっても、全対応点を一つ上の階層に渡すことを特徴とする。
　図１２は、複数の対応点が上位の階層に渡される様子を示した図である。階層Ｌ（ｉ）において、第１、第２相関ピークである相関ピークＰＫ１，ＰＫ２が検出されている。
　階層Ｌ（ｉ－１）では、相関ピークＰＫ１に基づき探索範囲Ａ１が設定され、相関値ＰＫ２に基づき探索範囲Ａ２が設定されている。この場合、対応点候補決定部１０８は、探索範囲Ａ１，Ａ２について個別に第１、第２相関ピークが現れているか否かを判定する。
　その結果、階層Ｌ（ｉ－１）では、探索範囲Ａ１に２個の相関ピークＰＫ１＿ａ，ＰＫ１＿ｂが検出されている。また、探索範囲Ａ２にも２個の相関ピークＰＫ２＿ａ，ＰＫ２＿ｂが検出されている。
　対応点決定部１０７は、探索範囲Ａ１から相関ピークＰＫ１＿ａ，ＰＫ２＿ｂに基づき２個の対応点を決定している。そのため、階層Ｌ（ｉ－２）では、相関ピークＰＫ１＿ａに基づく探索範囲Ｂ１と、相関ピークＰＫ１＿ｂに基づく探索範囲Ｂ２が設定されている。
　一方、対応点決定部１０７は、探索範囲Ａ２の２個の相関ピークのうち、相関ピークＰＫ２＿ａのみに基づいて１個の対応点を決定している。そのため、階層Ｌ（ｉ－２）では、相関ピークＰＫ２＿ａに基づく探索範囲Ｂ３が設定されている。
　そして、対応点候補決定部１０８は、探索範囲Ｂ１～Ｂ３のそれぞれにつき、第１，第２ピークを検出する。図１２の例では、探索範囲Ｂ１において、急峻な１個の相関ピークが現れているが、探索範囲Ｂ２，Ｂ３において、急峻な相関ピークが現れていない。
　このように、複数の探索範囲を設定した場合、各探索範囲につき個別に複数の相関ピークが現れているか否かを判定し、複数の相関ピークが現れ、複数の対応点が検出された場合、各対応点に対する探索範囲を上位の階層に設定する。
　こうすることで、正解となる対応点が候補から外される事態を回避することができる。その結果、図１２の階層Ｌ（ｉ－２）に示すように、最終的に１つの急峻な相関ピークを得る可能性が高まり、対応点の探索精度をより高めることができる。なお、変形例３は変形例１，２と組み合わせても良い。
　＜変形例４＞
　変形例３の手法では、探索範囲毎に２つの対応点が検出されているため、上位の階層に向かうにつれて次々と対応点の個数が増大することが懸念される。この場合、上位の階層において非常に多くの対応点が検出され、どの対応点を最終的な解として選択すべきかが分からなくなり、却って検出精度が低くなる虞がある。
　そこで、変形例４では、上の階層に渡す対応点の個数に制限を加えている。具体的には、階層毎に上の階層に渡す対応点の個数の最大数が決められている。下位の階層では、参照画像に対する参照ウィンドウの相対サイズが大きいため、距離混合が激しくなる。そこで、下位の階層ほど最大数が大きく、上位の階層に向かうにつれて最大数を少なくするように設定する。対応点決定部１０７は、注目階層で最大数を超える対応点の候補点が検出された場合、相関値の高い候補点から最大数分だけの候補点を選択し、対応点として上の階層に渡せばよい。
　これにより、上位の階層において非常に多くの対応点が検出され、どの対応点を最終的な解として選択すべきかが分からなく事態を防止することができる。
　＜変形例５＞
　変形例５は、最上位の階層において、複数の対応点が検出された場合、解となる１つの対応点を決定することを特徴とする。具体的には、下記のいずれかの手法を採用すればよい。
　ｉ）最上位の階層において検出された複数の対応点のうち、相関値が最大の対応点を解として決定する。
　ｉｉ）最上位の階層において検出された複数の対応点のうち、周辺の画素との類似度が最も高い対応点を解として決定する。ここで、類似度とは、例えば周辺画素との視差の近さを示す。例えば、ある対応点Ｔ１の視差がｄ１であったとする。また、対応点Ｔ１の近傍に位置する画素Ｔ１＿１の視差がｄ２であったとする。この場合、視差ｄ１と視差ｄ２との差分Δｄ１２の逆数（＝１／Δｄ１２）が対応点Ｔ１の類似度ＳＩＭ１となる。同様に、別の対応点Ｔ２の類似度がＳＩＭ２であったとする。そして、ＳＩＭ１＞ＳＩＭ２であったとする。この場合、対応点Ｔ１が解となる。
　ｉｉｉ）最上位の階層において検出された複数の対応点のうち、安定度が最も高い対応点を解として決定する。安定度は、下位の階層から複数の相関ピークが続けて検出されているような対応点は安定度が低く、複数の相関ピークがあまり出てこないような場合は安定度が高いと定義される。
　図１２を用いて安定度を説明する。階層Ｌ（ｉ－２）を最上位の階層とし、相関ピークＰＫ１１，ＰＫ１２，ＰＫ１３に基づき対応点Ｔ１～Ｔ３が検出されたとする。
　対応点Ｔ１の相関ピークの履歴は、ＰＫ１→ＰＫ１＿ａ→ＰＫ１１である。ＰＫ１は階層Ｌ（ｉ）において２分岐され、ＰＫ１＿ａは階層Ｌ（ｉ－１）において二分岐されている。そのため、対応点Ｔ１の安定度は、（１／２）２となる。ここで、２分岐とは、対応点が２つ検出されたことを意味する。したがって、対応点が３個検出された場合は３分岐となる。
　対応点Ｔ２の相関ピークの履歴は、ＰＫ１→ＰＫ１＿ｂ→ＰＫ１２である。ＰＫ１は階層Ｌ（ｉ）で２分岐され、ＰＫ１＿ｂは階層Ｌ（ｉ－１）で２分岐されている。よって、対応点Ｔ２の安定度は、（１／２）２となる。
　対応点Ｔ３の相関ピークの履歴は、ＰＫ２→ＰＫ２＿ａ→ＰＫ１３である。ＰＫ２は階層Ｌ（ｉ）で２分岐され、ＰＫ２＿ａは階層Ｌ（ｉ－１）で２分岐されていない。よって、対応点Ｔ３の安定度は、安定度は、１／２となる。この場合、対応点Ｔ３の安定度が最も高いため、対応点Ｔ３が解として決定される。
　なお、変形例５の処理は、最上位の階層に適用されたが、これに限定されずに、途中の階層において適用してもよい。この場合、不要な対応点を排除して、計算時間の増大を防止することができる。
　また、変形例５に示すｉ）～ｉｉｉ）の処理を組み合わせて解となる対応点を決定してもよい。例えば、まず、ｉｉｉ）の手法を用いて１つの対応点を決定しようとしたが、安定度が同一の対応点が複数存在し、１つの対応点を決定することができなかった場合、ｉ）又はｉｉ）の手法を用いて１つの対応点を決定すればよい。
　＜変形例６＞
　上記実施の形態では、説明を簡単にするために第１、第２相関ピークというように２つの相関ピークを検出するものとして説明したが、３つの相関ピークを検出するようにしてもよい。
　例えば、探索範囲において、閾値α１よりも大きな相関値が３つ存在した場合、相関値Ｐ１，Ｐ２，Ｐ３を相関ピークとして検出すればよい。但し、Ｐ１＞Ｐ２＞Ｐ３である。この場合、対応点候補決定部１０８は、Ｐ２／Ｐ１，Ｐ３／Ｐ１を求め、Ｐ２／Ｐ１，Ｐ３／Ｐ１が値Ｖｔｈ１より大きい場合、相関値Ｐ１～Ｐ３の３個の相関ピークに基づき、３個の対応点を検出すればよい。
　一方、対応点候補決定部１０８は、Ｐ２／Ｐ１のみが値Ｖｔｈ１より大きい場合、相関値Ｐ１，Ｐ２の２個の相関ピークに基づき、２個の対応点を検出すればよい。
　＜変形例７＞
　上記実施の形態ではＰＯＣを用いて相関値を算出したが、他の手法を用いてもよい。他の手法としては例えばＤＣＴ符号限定相関法、及びＳＡＤ（Sum of Absolute Difference）が挙げられる。ＤＣＴ符号限定相関法の詳細については、“画像信号処理と画像パターン認識の融合－ＤＣＴ符号限定相関とその応用、貴家仁志　首都大学東京　システムデザイン学部　動的画像処理実利用化ワークショップ2007（2007．3．8－9）”に開示されている。
　図１３は、ＳＡＤの説明図である。図１３に示すように、基準画像に注目点ＣＰが設定され、注目点ＣＰを中心として基準ウインドウＷ１が設定される。ここで、注目点ＣＰは、基準画像上の全画素、又は一定の間隔で間引かれた各画素が例えばラスタ走査されるようにして順次設定される。
　次に、参照画像に設定された探索範囲内の所定の画素が参照ウインドウＷ２の中心点Ｏ１として設定され、この中心点Ｏ１を中心として参照ウインドウＷ２が設定される。ここで、探索範囲としては、注目点ＣＰと垂直方向の高さが同一であり、かつ、水平方向と平行な直線状の参照画像上の領域を採用することができる。次に、基準ウインドウＷ１内の画像Ｉｍｇ１と参照ウインドウＷ２内の画像Ｉｍｇ２との相関値ＣＯＲｐが下記の式を用いて算出される。
Figure JPOXMLDOC01-appb-M000003
 　但し、Ｗは基準ウインドウＷ１、参照ウインドウＷ２のウィンドウサイズを示し、ｉは垂直方向の座標を示し、ｊは水平方向の座標を示し、ｐは０≦ｐ≦ｍａｘ＿ｄｉｓｐを満たす変数であり、ｍａｘ＿ｄｉｓｐは最終探索点を示す。
　そして、相関値ＣＯＲｐが求まると、ｐが１増加されて参照ウインドウＷ２が水平方向にずらされ、次の相関値ＣＯＲｐが求められる。
　そして、相関値ＣＯＲｐが参照ウインドウＷ２内の画像の中心点Ｏ１の相関値として採用され、参照画像において相関値が最も高くなる位置が探索され、探索された位置が基準画像に設定された注目点ＣＰの対応点として特定される。図１３のグラフに示すように、相関値ＣＯＲｐは、画像Ｉｍｇ１と画像Ｉｍｇ２との相関が高く、類似しているほど高くなる。
　なお、ＳＡＤ以外にも例えば、ＳＳＤ（濃度差の二乗和）、又はＮＣＣ（正規化相互相関）等を採用してもよい。
　＜使用例１＞
　使用例１は、上記実施の形態による対応点探索装置をステレオ測距システムに適用したことを特徴とする。図１４は、ステレオ測距システムのブロック図である。ステレオ測距システムは、自動車等の車両の車体に搭載され、カメラ１０１，１０２、演算処理装置１１、及び表示装置１２を備えている。
　演算処理装置１１は、図１に示す対応点探索装置１１０を備え、対応点決定部１０７により検出された対応点を用いて車体前方の物体の距離をステレオ法を用いて算出する。表示装置１２は、液晶表示ディスプレイ、有機ＥＬディスプレイといった表示装置から構成され、演算処理装置１１により生成された情報を表示する。
　図１５は、ステレオ法による測距方法の説明図である。図１５において、ｆは、カメラ１０１，１０２のレンズの焦点距離を示し、カメラ１０１，１０２の撮影面（ＣＣＤ）の画素数は等しいものとする。また、カメラ１０１，１０２は、所定の基線長Ｂだけ左右方向に離間され、かつ、光軸が平行となるように配置されている。この場合、注目点ＣＰと対応点ＴＰとの座標から得られる撮影面上の視差をΔｄとすると、レンズ位置から対象物までの距離Ｄは、下記の式により表される。
　Ｄ＝ｆＢ／Δｄ
　また、対象物の３次元位置（Ｘ，Ｙ，Ｚ）は下記の式により表される。
　Ｘ＝ｘ・Ｄ／ｆ
　Ｙ＝ｙ・Ｚ／ｆ
　Ｚ＝Ｄ
　但し、ｘ，ｙは注目点ＣＰの座標を示す。
　そして、演算処理装置１１は、対象物の３次元位置から対象物と車体との距離が所定の値より短い場合、対象物を障害物として判定し、自車体に障害物が迫っている情報を生成して表示装置１２に表示する。これにより、障害物が迫っていることがユーザに報知される。
　＜使用例２＞
　使用例２は、本実施の形態の対応点探索装置１１０を時系列的に前後する入力画像に対して対応点探索を行うシステムに適用したことを特徴としている。図１６は、時系列的に前後する入力画像に対して対応付けを行わせるシステムのブロック図である。
　このシステムは、カメラ１０１、対応点探索装置１３、及び表示装置１２を備えている。カメラ１０１は、所定のフレームレートで被写体を撮像する。対応点探索装置１３は、図１に示す対応点探索装置１１０と同一構成であるが、基準画像と参照画像との特定の仕方が異なる。図１では、時刻ｔにカメラ１０１が撮像した画像を基準画像、カメラ１０２が撮像した画像を参照画像としていた。本使用例２では、時刻ｔにカメラ１０１が撮像した画像を基準画像、時刻ｔ－１にカメラ１０２が撮像した画像を参照画像とする。
　そして、対応点探索装置１３は、基準画像上の注目点の対応点を参照画像から検出する。そして、対応点探索装置１３は、例えば、対応点と注目点との差分をとって対象物のオプティカルフローを算出する。
　（上記の対応点探索装置の纏め）
　（１）上記対応点探索装置は、少なくとも２枚の入力画像のうち、１枚の入力画像を基準画像、残りの入力画像を参照画像として取得する画像取得部と、前記画像取得部で取得された基準画像及び参照画像のそれぞれにつき、解像度の異なる複数の基準画像及び参照画像を階層的に生成する多重解像度画像生成部と、注目階層の基準画像における注目点に対する対応点を、前記注目階層の参照画像から探索する対応点探索部と、前記注目階層の１つ下の階層で探索された対応点を基に、前記注目階層の参照画像における初期探索位置を設定する初期位置設定部と、前記対応点探索部に下位の階層から上位の階層に向けて順次に対応点を探索させる探索制御部とを備え、前記対応点探索部は、前記注目階層において設定された前記初期探索位置を基準として、前記注目階層の前記参照画像に所定の探索範囲を設定し、設定した探索範囲内の各位置において前記注目点に対する相関値を算出し、算出した相関値に基づき、複数の相関ピークが現れているか否かを判定し、複数の相関ピークが現れていると判定した場合、各相関ピークを用いて複数の対応点を決定し、前記初期位置設定部は、前記対応点探索部により複数の対応点が探索された場合、各対応点に対する前記初期探索位置を設定する。
　この構成によれば、注目階層において複数の相関ピークが検出された場合において、両相関ピークの相関値が拮抗しており、どちらが正解であるかの判定がし難い場合、いずれか１個の相関ピークを用いて１個の対応点を決定するのではなく、複数の相関ピークのそれぞれを用いて複数の対応点を検出する。そして、注目階層の１つ上の階層において各対応点のそれぞれに対して探索範囲を設定して対応点を探索するというようにして、対応点の判断を上位の階層に委ねている。
　ここで、探索範囲のサイズを全階層において同一とすると、参照画像に対する探索範囲の相対的なサイズは、上位の階層に向かうにつれて小さくなる。そのため、上位の階層に向かうほど、探索範囲が絞られ、探索範囲内に距離が異なる複数の被写体が含まれる可能性が低くなる。その結果、最終的に１つの相関ピークのみが現れる可能性を高くすることができ、精度の良い対応点探索を実現することができる。
　（２）前記対応点探索部は、複数の相関ピークが現れていると判定した場合、前記相関値が最大である第１相関ピークの相関値に対する、前記第１相関ピーク以外の第２相関ピークの相関値の比を算出し、前記比が所定の値よりも大きな第２相関ピークが存在しない場合、前記第１相関ピークのみから対応点を決定し、前記比が所定の値より大きい第２相関ピークが存在する場合、前記比が所定の値より大きい第２相関ピークから対応点を決定し、かつ、前記第１相関ピークから対応点を決定することが好ましい。
　相関ピークが２つ現れていても第１相関ピークの相関値に比べて第２相関ピークの相関値が小さければ、第１相関ピークが対応点を示している可能性が高い。そこで、このような場合、第１相関ピークのみを用いて対応点を決定する。すると、上位の階層において、急峻な１つの相関ピークが現れる可能性を高くすることができる。
　（３）前記対応点探索部は、位相限定相関法を用いて前記相関値を算出することが好ましい。
　この構成によれば、急峻な相関ピークが現れるという特徴を持った位相限定相関法を用いて相関値が算出されるため、相関ピークの検出精度を高め、高精度な対応点探索を実現することができる。
　（４）前記対応点探索部は、前記相関値の最大値を前記第１相関ピークとして判定し、大きさが２番目以降の相関値については、所定の値より大きい相関値を、前記第２相関ピークとして判定することが好ましい。
　この構成によれば、少なくとも１つの相関ピークが検出されるため、対応点探索が途中の階層で途切れてしまうことを防止することができる。また、相関値が所定の値より小さい位置は第２相関ピークとして判定されないため、解の可能性が低い相関ピークを除外して対応点探索を行うことができ、処理コストの削減を図ることができる。
　（５）前記対応点探索部は、前記相関値の分布において、ピークの頂点に位置する相関値を相関ピークとして判定することが好ましい。
　この構成によれば、相関ピークを高精度に検出することができる。
　（６）前記対応点探索部は、前記探索範囲内の注目位置の相関値に対する、前記注目位置に隣接する位置の相関値の比が、所定の値以下の場合、前記注目位置に相関ピークが現れていると判定することが好ましい。
　この構成によれば、周辺の相関値よりもある程度大きな相関値を持つ位置に相関ピークが現れていると判定されるため、ピークの中腹位置の相関値が相関ピークとして検出されることが防止され、高精度に相関ピークを検出することができる。
　（７）前記対応点探索部は、前記探索範囲内の注目位置の相関値から前記注目位置に隣接する位置の相関値を差し引いた差分値が所定の値より大きい場合、前記注目位置に相関ピークが現れていると判定することが好ましい。
　この構成によれば、周辺の相関値よりもある程度大きな相関値を持つ位置に相関ピークが現れていると判定されるため、ピークの中腹位置の相関値が相関ピークとして検出されることが防止され、高精度に相関ピークを検出することができる。
　（８）前記対応点探索部は、所定距離以上離間した位置に相関ピークを検出することが好ましい。
　この構成によれば、隣接した位置に相関ピークが検出されることが防止され、高精度に相関ピークを検出することができる。
　（９）前記対応点探索部は、前記注目階層の参照画像において、前記初期位置設定部により複数の初期探索位置が決定された場合、各初期探索位置を基準として前記探索範囲を設定し、前記初期位置設定部は、前記対応点探索部により各探索範囲において複数の対応点が探索された場合であっても、全対応点に対する初期探索位置を前記注目階層の１つ上の階層の参照画像に設定することが好ましい。
　この構成によれば、正解となる対応点が候補から外される事態を回避することができ、対応点の探索精度をより高めることができる。
　（１０）前記初期位置設定部は、前記注目階層において前記対応点探索部により探索された対応点の個数が所定の上限値を超えた場合、前記上限値以下の対応点に対して前記初期探索位置を設定することが好ましい。
　この構成によれば、上位の階層において非常に多くの対応点が検出され、どの対応点を最終的な解として選択すべきかが分からなく事態を防止することができる。
　（１１）前記対応点探索部は、最上位の階層において、１つの対応点を決定することが好ましい。
　この構成によれば、最終的に１つの対応点を確実に決定することができる。

Claims (11)

  1. 　少なくとも２枚の入力画像のうち、１枚の入力画像を基準画像、残りの入力画像を参照画像として取得する画像取得部と、
    　前記画像取得部で取得された基準画像及び参照画像のそれぞれにつき、解像度の異なる複数の基準画像及び参照画像を階層的に生成する多重解像度画像生成部と、
    　注目階層の基準画像における注目点に対する対応点を、前記注目階層の参照画像から探索する対応点探索部と、
    　前記注目階層の１つ下の階層で探索された対応点を基に、前記注目階層の参照画像における初期探索位置を設定する初期位置設定部と、
    　前記対応点探索部に下位の階層から上位の階層に向けて順次に対応点を探索させる探索制御部とを備え、
    　前記対応点探索部は、前記注目階層において設定された前記初期探索位置を基準として、前記注目階層の前記参照画像に所定の探索範囲を設定し、設定した探索範囲内の各位置において前記注目点に対する相関値を算出し、算出した相関値に基づき、複数の相関ピークが現れているか否かを判定し、複数の相関ピークが現れていると判定した場合、各相関ピークを用いて複数の対応点を決定し、
    　前記初期位置設定部は、前記対応点探索部により複数の対応点が探索された場合、各対応点に対する前記初期探索位置を設定する対応点探索装置。
  2. 　前記対応点探索部は、複数の相関ピークが現れていると判定した場合、前記相関値が最大である第１相関ピークの相関値に対する、前記第１相関ピーク以外の第２相関ピークの相関値の比を算出し、前記比が所定の値よりも大きな第２相関ピークが存在しない場合、前記第１相関ピークのみから対応点を決定し、前記比が所定の値より大きい第２相関ピークが存在する場合、前記比が所定の値より大きい第２相関ピークから対応点を決定し、かつ、前記第１相関ピークから対応点を決定する請求項１記載の対応点探索装置。
  3. 　前記対応点探索部は、位相限定相関法を用いて前記相関値を算出する請求項１又は２記載の対応点探索装置。
  4. 　前記対応点探索部は、前記相関値の最大値を前記第１相関ピークとして判定し、大きさが２番目以降の相関値については、所定の値より大きい相関値を、前記第２相関ピークとして判定する請求項２記載の対応点探索装置。
  5. 　前記対応点探索部は、前記相関値の分布において、ピークの頂点に位置する相関値を相関ピークとして判定する請求項１～４のいずれかに記載の対応点探索装置。
  6. 　前記対応点探索部は、前記探索範囲内の注目位置の相関値に対する、前記注目位置に隣接する位置の相関値の比が、所定の値以下の場合、前記注目位置に相関ピークが現れていると判定する請求項１～４のいずれかに記載の対応点探索装置。
  7. 　前記対応点探索部は、前記探索範囲内の注目位置の相関値から前記注目位置に隣接する位置の相関値を差し引いた差分値が所定の値より大きい場合、前記注目位置に相関ピークが現れていると判定する請求項１～４のいずれかに記載の対応点探索装置。
  8. 　前記対応点探索部は、所定距離以上離間した位置に相関ピークを検出する請求項１～７のいずれかに記載の対応点探索装置。
  9. 　前記対応点探索部は、前記注目階層の参照画像において、前記初期位置設定部により複数の初期探索位置が決定された場合、各初期探索位置を基準として前記探索範囲を設定し、
    　前記初期位置設定部は、前記対応点探索部により各探索範囲において複数の対応点が探索された場合であっても、全対応点に対する初期探索位置を前記注目階層の１つ上の階層の参照画像に設定する請求項１～８のいずれかに記載の対応点探索装置。
  10. 　前記初期位置設定部は、前記注目階層において前記対応点探索部により探索された対応点の個数が所定の上限値を超えた場合、前記上限値以下の対応点に対して前記初期探索位置を設定する請求項１～９のいずれかに記載の対応点探索装置。
  11. 　前記対応点探索部は、最上位の階層において、１つの対応点を決定する請求項１～１０のいずれかに記載の対応点探索装置。
PCT/JP2012/003317 2011-06-29 2012-05-22 対応点探索装置 WO2013001710A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013522699A JP5924340B2 (ja) 2011-06-29 2012-05-22 対応点探索装置
EP12805045.7A EP2728547A4 (en) 2011-06-29 2012-05-22 SEARCH DEVICE FOR CORRESPONDING POINTS
US14/129,660 US9117135B2 (en) 2011-06-29 2012-05-22 Corresponding point searching apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-144828 2011-06-29
JP2011144828 2011-06-29

Publications (1)

Publication Number Publication Date
WO2013001710A1 true WO2013001710A1 (ja) 2013-01-03

Family

ID=47423643

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003317 WO2013001710A1 (ja) 2011-06-29 2012-05-22 対応点探索装置

Country Status (4)

Country Link
US (1) US9117135B2 (ja)
EP (1) EP2728547A4 (ja)
JP (1) JP5924340B2 (ja)
WO (1) WO2013001710A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084245A (ja) * 2015-10-30 2017-05-18 アズビル株式会社 対応点探索装置および方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001885A1 (ja) * 2011-06-27 2013-01-03 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
EP3161728B1 (en) * 2014-10-10 2023-05-17 Beijing Kuangshi Technology Co., Ltd. Hierarchical interlinked multi-scale convolutional network for image parsing
JP6408893B2 (ja) * 2014-12-16 2018-10-17 オリンパス株式会社 ３次元位置情報取得方法及び３次元位置情報取得装置
JP6423314B2 (ja) * 2015-06-04 2018-11-14 株式会社Ｓｏｋｅｎ 対応点探索方法および距離測定装置
EP3764319B1 (en) * 2018-03-05 2023-11-22 NEC Corporation Image comparison device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007179354A (ja) * 2005-12-28 2007-07-12 Fujitsu Ltd オプティカルフロー算出装置、オプティカルフロー算出方法、オプティカルフロー算出プログラムおよび記録媒体
JP2008209275A (ja) * 2007-02-27 2008-09-11 Konica Minolta Holdings Inc 相関演算装置、相関演算方法及びプログラム
JP2008216126A (ja) * 2007-03-06 2008-09-18 Konica Minolta Holdings Inc 距離画像生成装置、距離画像生成方法及びプログラム
JP2009015696A (ja) * 2007-07-06 2009-01-22 Konica Minolta Holdings Inc 情報処理システム
JP2009282762A (ja) 2008-05-22 2009-12-03 Konica Minolta Holdings Inc 対応点探索装置
JP2009294733A (ja) * 2008-06-03 2009-12-17 Konica Minolta Holdings Inc 画像処理装置および画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7054850B2 (en) * 2000-06-16 2006-05-30 Canon Kabushiki Kaisha Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements
JP4196302B2 (ja) * 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN103488968B (zh) * 2012-06-14 2016-12-21 株式会社日立制作所 遥感图像的混合像素物质构成精细化分解装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007179354A (ja) * 2005-12-28 2007-07-12 Fujitsu Ltd オプティカルフロー算出装置、オプティカルフロー算出方法、オプティカルフロー算出プログラムおよび記録媒体
JP2008209275A (ja) * 2007-02-27 2008-09-11 Konica Minolta Holdings Inc 相関演算装置、相関演算方法及びプログラム
JP2008216126A (ja) * 2007-03-06 2008-09-18 Konica Minolta Holdings Inc 距離画像生成装置、距離画像生成方法及びプログラム
JP2009015696A (ja) * 2007-07-06 2009-01-22 Konica Minolta Holdings Inc 情報処理システム
JP2009282762A (ja) 2008-05-22 2009-12-03 Konica Minolta Holdings Inc 対応点探索装置
JP2009294733A (ja) * 2008-06-03 2009-12-17 Konica Minolta Holdings Inc 画像処理装置および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2728547A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084245A (ja) * 2015-10-30 2017-05-18 アズビル株式会社 対応点探索装置および方法

Also Published As

Publication number Publication date
JP5924340B2 (ja) 2016-05-25
JPWO2013001710A1 (ja) 2015-02-23
US20140147049A1 (en) 2014-05-29
EP2728547A4 (en) 2015-04-15
US9117135B2 (en) 2015-08-25
EP2728547A1 (en) 2014-05-07

Similar Documents

Publication Publication Date Title
JP5924340B2 (ja) 対応点探索装置
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
US20100195898A1 (en) Method and apparatus for improving quality of depth image
US20170171525A1 (en) Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method
WO2010113239A1 (ja) 画像統合装置および画像統合方法
WO2008001967A1 (en) Device and method for transforming 2-d image into 3-d image
WO2013108554A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2013105343A (ja) 画像処理装置、方法、及び画像表示装置
JP5110235B1 (ja) 画像処理装置、画像処理方法、およびプログラム
US10043106B2 (en) Corresponding point searching method and distance detection device
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
KR101875532B1 (ko) 계층적 스테레오 매칭 장치 및 방법
JP4985542B2 (ja) 対応点探索装置
JP4946896B2 (ja) 距離計測装置及び距離計測方法
US9936189B2 (en) Method for predicting stereoscopic depth and apparatus thereof
US11164286B2 (en) Image processing apparatus, image processing method, and storage medium
US20150281672A1 (en) Stereo Matching Apparatus Using Image Property
Sato et al. Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system
US10430971B2 (en) Parallax calculating apparatus
CN104125446A (zh) 一种视频图像2d转3d中优化处理深度图的方法和装置
Jiang et al. Stereo matching based on random speckle projection for dynamic 3D sensing
KR20060115237A (ko) 에지투영을 이용한 스테레오 매칭방법
KR101607504B1 (ko) 합산 영역 테이블 방식을 이용한 스테레오 매칭방법
JP2011198378A (ja) 対応点探索装置
JP5654956B2 (ja) 視差画像生成装置および視差画像生成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12805045

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013522699

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14129660

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012805045

Country of ref document: EP