WO2021245973A1 - 演算装置、視差探索方法 - Google Patents

演算装置、視差探索方法 Download PDF

Info

Publication number
WO2021245973A1
WO2021245973A1 PCT/JP2021/003117 JP2021003117W WO2021245973A1 WO 2021245973 A1 WO2021245973 A1 WO 2021245973A1 JP 2021003117 W JP2021003117 W JP 2021003117W WO 2021245973 A1 WO2021245973 A1 WO 2021245973A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
unit
search
pixel
target pixel
Prior art date
Application number
PCT/JP2021/003117
Other languages
English (en)
French (fr)
Inventor
裕介 内田
圭介 稲田
雅士 高田
進一 野中
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to DE112021001833.7T priority Critical patent/DE112021001833T5/de
Publication of WO2021245973A1 publication Critical patent/WO2021245973A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to an arithmetic unit and a parallax search method.
  • a position measuring device measures the distance to an object existing in the field of view of a camera based on a stereo image taken by a stereo camera having a pair of cameras by the principle of triangulation.
  • the principle of triangulation is to calculate the distance from the camera to the object by using the parallax, which is the positional deviation of the images of the same object taken by the left and right cameras.
  • the derivation of parallax is realized by identifying where the object image on one image is on the other image.
  • Various methods have been proposed for deriving parallax. For example, in the classical method, block matching is known in which a region consisting of a plurality of pixels in one image is searched for a region having the lowest dissimilarity in the other image. In block matching, it is known that parallax differs greatly when mismatching occurs in which areas are erroneously associated.
  • stereo matching processing is performed to specify a corresponding region by obtaining a mutual correlation for each small region of an imaging means for imaging an object and a pair of images captured by the imaging means, and stereo.
  • An evaluation function that is the result of matching processing, a stereo processing means that acquires distance information to the object obtained based on the evaluation function and reliability information indicating the reliability thereof, and a small target according to the reliability.
  • a re-search range is set around the region, and based on the evaluation function obtained for the small area within the re-search range, the evaluation function obtained for the target small area is modified to obtain a modified evaluation function.
  • a stereo image processing apparatus is disclosed, which comprises a parallax correction means for correcting distance information based on a obtained correction evaluation function.
  • Patent Document 1 does not sufficiently deal with erroneous matching.
  • the arithmetic unit includes a reference image obtained by being photographed by the first imaging unit, an acquisition unit for acquiring a reference image obtained by being photographed by the second imaging unit, and the reference image.
  • the initial search unit that determines the calculation target pixel, which is the target pixel for calculating the difference, and calculates the initial difference, which is the difference between the calculation target pixels by referring to the reference image, and the initial difference of the calculation target pixel.
  • an isolation determination unit that determines whether or not the calculation target pixel is a divergent pixel satisfying the isolation condition isolated from the peripheral pixel based on the comparison with the disparity in the pixels around the calculation target pixel.
  • a search range setting unit that sets a re-search range that is a range of re-search in the reference image targeting the dissociated pixels, and a search range set by the search range setting unit in the reference image.
  • a re-search unit for calculating the re-search parallax, which is the parallax of the dissociated pixel is provided.
  • the disparity search method according to the second aspect of the present invention is executed by an arithmetic unit having an acquisition unit that acquires a reference image captured by the first imaging unit and a reference image obtained by the second imaging unit.
  • the calculation target pixel which is the target pixel for calculating the disparity included in the reference image
  • the initial disparity which is the disparity of the calculation target pixel
  • the deviation pixel satisfying the isolation condition that the calculation target pixel is isolated from the peripheral pixels.
  • Conceptual diagram showing the presence or absence of isolated parallax The figure which shows the peripheral pixel in 1st Embodiment The figure explaining the determination of isolated parallax Flow chart showing the processing of the arithmetic unit
  • FIG. 1 is a block diagram showing the configuration of the arithmetic unit 1 according to the first embodiment.
  • the arithmetic unit 1 includes an acquisition unit 107, an initial search unit 103, an isolation determination unit 104, a search range setting unit 105, a re-search unit 106, and an output unit 108.
  • a central processing unit (not shown) is a ROM for which a read-only storage device is used. It is realized by expanding the program stored in the RAM to RAM, which is a readable / writable storage device, and executing it.
  • each of these is realized by FPGA (Field Programmable Gate Array), which is a rewritable logic circuit instead of a combination of CPU, ROM, and RAM, and ASIC (Application Specific Integrated Circuit), which is an integrated circuit for specific applications. May be good.
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the arithmetic resources that realize the respective functions may be shared or may be independent.
  • the arithmetic resources of one CPU core may be shared by all functions by a time division method. Also, only some functions may share computing resources.
  • the arithmetic unit 1 is connected to the first imaging unit 101 and the second imaging unit 102.
  • the first image pickup unit 101 and the second image pickup unit 102 are cameras mounted on a vehicle, for example, and take pictures in substantially the same direction, and transmit the pictures obtained by taking pictures to the arithmetic unit 1.
  • the image taken by the first image pickup unit 101 and obtained is referred to as a “reference image”
  • the image taken by the second image pickup unit 102 and obtained is referred to as a “reference image”.
  • the positional relationship between the first image pickup unit 101 and the second image pickup unit 102 is not limited in practice of the present invention, but for the convenience of the description of the present invention, the first image pickup unit 101 and the second image pickup unit 102 are horizontally oriented. It is assumed that they are arranged side by side. Further, the positions and postures of the first imaging unit 101 and the second imaging unit 102 with respect to the ground are known.
  • the acquisition unit 107 acquires a reference image from the first image pickup unit 101 and acquires a reference image from the second image pickup unit 102.
  • the acquisition unit 107 outputs the acquired reference image and reference image to the initial search unit 103.
  • the initial search unit 103 determines the calculation target pixel which is the target pixel for calculating the parallax included in the reference image, and calculates the parallax candidate value which is the parallax candidate value of the calculation target pixel with reference to the reference image. .. More specifically, in the reference image, a region for which parallax is to be calculated (hereinafter, also referred to as a “calculation range”) is preset as, for example, a region of 300 pixel angles in the entire region or the central portion, and the initial search unit 103 describes the region. The pixels in the area are sequentially set as the calculation target pixels. Then, the initial search unit 103 calculates the parallax for all the pixels in the calculation range.
  • the parallax calculated by the initial search unit 103 is referred to as "first parallax".
  • the dissimilarity is calculated for a relatively wide range on the reference image that may correspond to the pixel to be calculated, for example, all the pixels on the epipolar line.
  • the pixel on the reference image having the smallest dissimilarity or the pixel on the reference image having the minimum value is specified.
  • the difference between, for example, the Y coordinate value on the reference image of the pixel and the Y coordinate value on the reference image of the calculation target pixel is defined as the initial parallax.
  • the search by the initial search unit 103 can also be called a "first search" in comparison with the search by the re-search unit 106, which will be described later.
  • the initial search unit 103 outputs the calculated parallax to the isolation determination unit 104 and the output unit 108.
  • the initial search unit 103 outputs the parallax of each calculation target pixel to the isolation determination unit 104 and the output unit 108.
  • the isolation determination unit 104 determines that the calculation target pixel satisfying the isolation condition described later is a divergent pixel. For example, the isolation determination unit 104 compares the value of the parallax of the calculation target pixel calculated by the initial search unit 103 with the value of the parallax in the pixels around the calculation target pixel, and corresponds to the deviation pixel in which the calculation target pixel has the isolated parallax. Decide whether to do it or not.
  • the isolated parallax means that the parallax searched by the initial search unit 103 deviates from the surrounding pixels. That is, the "periphery" in the present embodiment means the periphery in the spatial positional relationship.
  • the search range setting unit 105 determines the search range for re-search by using the calculation target pixel determined by the isolation determination unit 104 as the dissociated pixel as the processing target.
  • the re-search unit 106 performs a re-search using the determination result of the isolation determination unit 104 and the re-search range set by the search range setting unit 105, and outputs the obtained parallax information to the output unit 108.
  • the parallax calculated by the re-search unit 106 is also referred to as “re-search parallax” in order to distinguish it from the parallax calculated by the initial search unit 103.
  • the parallax that is not determined to be isolated parallax by the isolation determination unit 104 is directly output as parallax information by the initial search unit 103.
  • the output unit 108 outputs parallax information regarding at least a part of the reference image based on the outputs of the initial search unit 103 and the re-search unit 106.
  • the output unit 108 is described so as to output the parallax information to the outside of the arithmetic unit 1, but it may be used inside the arithmetic unit 1.
  • the output unit 108 uses all the parallax information output by the re-search unit 106 for output, and the parallax information output by the initial search unit 103 uses only the parallax information that is not output by the re-search unit 106. That is, the output unit 108 outputs only the re-search parallax when both the initial parallax and the re-search parallax are obtained for a certain pixel.
  • FIG. 2 is a conceptual diagram showing the presence or absence of isolated parallax. However, the presence or absence of isolated parallax is not determined from the information shown in FIG. 2, and FIG. 2 merely conceptually shows in what cases isolated parallax is likely to occur. The specific judgment of isolated parallax will be described later.
  • the horizontal axis shows the position of the reference image
  • the vertical axis shows the dissimilarity between the calculation target pixel and a specific pixel on the reference image.
  • the dissimilarity is, for example, SSD (Sum of Squared Difference), SAD (Sum of Absolute Difference), ZSAD (Zero-means Sum of Absolute Difference), NCC (Normalized Cross-Correlation) and the like.
  • FIG. 2 shows the dissimilarity of two different calculation target pixels that are close to each other in the reference image.
  • the solid line L201 which tends to have no isolated parallax
  • the broken line L203 which tends to have isolated parallax
  • the solid line L201 clearly has only one peak 202 having the minimum dissimilarity and no peak having a value close to the other, it is possible to specify a matching point and output accurate parallax.
  • the broken line L203 has another peak 205 having the same degree of dissimilarity with respect to the matching point 204 that should be originally specified.
  • a point 205 different from the true matching point 204 may be erroneously determined as a matching point, and a parallax value having a value significantly different from the original, that is, an isolated parallax may be output.
  • the true matching point 204 can be corrected by locally re-searching by limiting the search range to a range of values close to the peripheral parallax with reference to the peripheral parallax as shown by the broken line 201. can.
  • the determination by the isolation determination unit 104 whether or not the calculation target pixel has isolated parallax is referred to as a pixel around the calculation target pixel (hereinafter, referred to as "peripheral pixel").
  • peripheral pixel The determination of the isolated parallax is performed based on whether or not there are a predetermined number or more of peripheral pixels whose initial parallax deviates from the calculation target pixel by a predetermined threshold value or more.
  • the peripheral pixel in the present embodiment is a pixel having a spatially relative position defined with the calculation target pixel as a reference.
  • the peripheral pixels may be, for example, a total of 4 pixels adjacent to the top, bottom, left, and right of the calculation target pixel, or 8 pixels in which the diagonal direction is added. A total of 24 pixels separated by 2 pixels may be used, or other variations may be used. Peripheral pixels will be described in detail with reference to the figure.
  • FIG. 3 is a diagram showing peripheral pixels.
  • C3 in the center is the calculation target pixel.
  • the peripheral pixels may be C2, C4, B3, and D3, which are adjacent to each other in the vertical and horizontal directions, for a total of four pixels.
  • the peripheral pixels may be 8 pixels of B2 to B4, C3, C4, D2 to D4 in which diagonal directions are added vertically and horizontally.
  • the peripheral pixels may be 24 pixels of A1 to A5, B1 to B5, C1, C2, C4, C5, D1 to D5, E1 to E5, which are separated by two pixels vertically, horizontally and diagonally.
  • the peripheral pixels are 8 pixels obtained by adding diagonal directions to the top, bottom, left, and right of the calculation target pixel.
  • the absolute value of the difference between the initial parallax and the calculated target pixel is calculated for each peripheral pixel, and the absolute value is equal to or higher than a predetermined threshold (hereinafter referred to as "parallax threshold”).
  • Parallax threshold a predetermined threshold
  • Count the number of pixels. Then, when the count number is equal to or higher than a predetermined threshold value (hereinafter referred to as "count threshold value"), the calculation target pixel is determined to be a divergent pixel.
  • the parallax threshold and the count threshold may be predetermined fixed values or may be dynamically set.
  • the parallax threshold value may be dynamically set based on the value of the initial parallax of the calculation target pixel, or the count threshold value may be dynamically set based on the number of pixels included in the peripheral pixels.
  • the isolation condition is that the number of peripheral pixels whose absolute value of the difference between the initial parallax and the calculation target pixel is equal to or greater than the parallax threshold is equal to or greater than the count threshold.
  • FIG. 4 is a diagram for explaining the determination of isolated parallax.
  • the pixel of reference numeral 401 shown in the center is the calculation target pixel, and the eight peripheral pixels thereof are peripheral pixels.
  • the numbers in the figure indicate the initial parallax in each pixel.
  • the parallax threshold is set to "20" and the count threshold is set to "6".
  • the peripheral pixels having the initial parallax whose absolute value differs from the calculation target pixel 401 by "20" or more are "7" pixels indicated by hatching. Since "7" is larger than the count threshold value "6", in the example shown in FIG. 4, the calculation target pixel is determined to be a divergent pixel having isolated parallax.
  • the isolated parallax may be determined as follows. For example, it may be an additional condition that the peripheral pixels to be compared with the count threshold value are within a predetermined threshold value (hereinafter referred to as “dense threshold value”). For example, in the example shown in FIG. 4, if the density threshold value is "20", the calculation target pixel 401 is determined to be a divergent pixel, and if the density threshold value is "10", the calculation target pixel 401 is not determined to be a divergence pixel. In this case, the amount of calculation increases, but the reliability of the corrected value of the isolated parallax can be improved.
  • a predetermined threshold value hereinafter referred to as “dense threshold value”.
  • the isolation condition may be based on the average value of the initial parallax of the peripheral pixels.
  • the isolation condition may be set so that the initial parallax of the calculation target pixel is twice or more the average value of the initial parallax of the peripheral pixels, or half or less of the average value of the initial parallax of the peripheral pixels.
  • the initial parallax of the peripheral pixels is used to determine the re-search range by the re-search unit 106.
  • the re-search unit 106 averages the initial parallax of peripheral pixels whose absolute value of the difference between the initial parallax and the calculation target pixel is equal to or greater than the parallax threshold value, and from the average value, a predetermined range (hereinafter referred to as “specified search range”” is used.
  • (Call) for example, plus or minus 10 is set as the re-search range. For example, in the example shown in FIG.
  • the peripheral pixels having the initial parallax whose absolute value differs from the calculation target pixel 401 by “20” or more are 7 pixels shown by hatching as described above. Since the average value of the initial parallax of these 7 pixels is "50”, "40 to 60" is set in the re-search range.
  • the re-search range may be determined without using the specified search range as follows, for example. That is, the re-search range may be between the maximum value and the minimum value of the initial parallax of the peripheral pixels whose absolute value of the difference between the initial parallax and the calculation target pixel is equal to or larger than the parallax threshold value.
  • the defined search range may be determined based on the value of the initial parallax of the calculation target pixel. In this case, for example, the specified search range is set to half the value of the initial parallax of the calculation target pixel.
  • FIG. 5 is a flowchart showing the processing of the arithmetic unit 1.
  • the arithmetic unit 1 executes the process shown in FIG. 5 each time an image is acquired from the first image pickup unit 101 and the second image pickup unit 102.
  • the initial search unit 103 of the arithmetic unit 1 first selects the calculation target pixel in step S301.
  • the initial search unit 103 selects unprocessed pixels from, for example, a predetermined reference image area.
  • the initial search unit 103 searches for the corresponding pixel of the calculation target pixel in the reference image and calculates the initial parallax.
  • the dissimilarity is calculated for a relatively wide range of pixels on the reference image that may correspond to the calculation target pixel, and for example, the pixel on the reference image having the smallest dissimilarity is specified. Then, the difference between, for example, the Y coordinate value on the reference image of the pixel and the Y coordinate value on the reference image of the calculation target pixel is defined as the initial parallax.
  • step S303 the initial search unit 103 determines whether or not all the calculation of the initial parallax in the calculation range is completed.
  • the initial search unit 103 proceeds to step S304 when it is determined that all the calculation of the initial parallax in the calculation range is completed, and returns to step S301 when it is determined that there is a pixel for which the calculation of the initial parallax has not been completed.
  • step S304 the isolation determination unit 104 selects the calculation target pixel in the same manner as in step S301. There is no difference in the processing contents of step S304 and step S301, and the difference is the execution subject. In the following step S305, the isolation determination unit 104 determines whether or not the calculation target pixel selected in step S304 corresponds to the divergent pixel.
  • the isolation determination unit 104 proceeds to step S306 when it is determined that the calculation target pixel corresponds to the deviation pixel, and proceeds to step S308 when it is determined that the calculation target pixel does not correspond to the deviation pixel.
  • the search range setting unit 105 determines the re-search range and outputs the range to the re-search unit 106.
  • the re-search unit 106 calculates the dissimilarity for the re-search range output by the search range setting unit 105, and uses, for example, the Y coordinate value of the pixel having the smallest dissimilarity in the re-search range. , The difference from the Y coordinate value of the calculation target pixel is calculated as the re-search parallax.
  • step S308 the output unit 108 outputs parallax information. However, all the parallax information output by the re-search unit 106 is used for output, and only the parallax information not output by the re-search unit 106 is used as the parallax information output by the initial search unit 103.
  • the isolation determination unit 104 determines whether or not all the processing of step S305 targeting the calculation range has been completed. When the isolation determination unit 104 determines that all the processing of step S305 in the calculation range is completed, the processing of FIG. 5 is completed, and when it is determined that there is a pixel for which the processing of step S305 has not been completed, the process returns to step S304. ..
  • the initial search unit 103 that determines the calculation target pixel that is a pixel and calculates the initial misalignment that is the parallax of the calculation target pixel by referring to the reference image, the initial misalignment of the calculation target pixel, and the pixels around the calculation target pixel.
  • the isolation determination unit 104 that determines whether or not the calculation target pixel is a divergent pixel satisfying the isolation condition isolated from the surrounding pixels, and the reference image for the divergent pixel again.
  • the search range setting unit 105 that sets the re-search range, which is the search range, and the re-search range set by the search range setting unit 105 in the reference image.
  • the re-search parallax which is the discrepancy of the dissociated pixels, is calculated.
  • a re-search unit 106 is provided.
  • the arithmetic unit 1 re-searches when the initial parallax of the calculation target pixel deviates from the peripheral pixels, it is possible to deal with the erroneous matching, that is, to eliminate the erroneous matching.
  • the pixels around the pixel to be calculated are pixels that are spatially present in the periphery.
  • the isolation determination unit 104 is a deviation pixel satisfying the isolation condition in which the calculation target pixel is isolated from the peripheral pixels based on the comparison between the initial parallax of the calculation target pixel and the initial parallax of the pixels around the calculation target pixel. Judge whether or not. Therefore, the arithmetic unit 1 can solve the problem that the parallax of the calculation target pixel is significantly different from the initial parallax of the adjacent pixels and the like.
  • the isolation condition is based on the average value of the initial parallax in the pixels around the calculation target pixel. Therefore, the arithmetic unit 1 can set a flexible threshold value based on the captured reference image and reference image.
  • the search range setting unit 105 sets the re-search range based on the initial parallax of the pixels spatially surrounding the dissociated pixel. Therefore, the arithmetic unit 1 can spatially align the parallax of the dissociated pixels with the surrounding pixels.
  • the search range setting unit 105 sets the re-search range based on the average value of the initial parallax in the pixels around the dissociated pixel. Therefore, the arithmetic unit 1 can spatially align the parallax of the dissociated pixels with the surrounding pixels.
  • the position of the calculation target pixel in the reference image may be used for the isolation determination and the setting of the re-search range. Since the mounting position of the first imaging unit 101 and the posture with respect to the ground are known, the distance from the first imaging unit 101 to the subject can be estimated from the position of the subject in the reference image, assuming that the subject is on the ground. The farther the subject is, the smaller it is, and the closer it is, the larger the image is taken. Therefore, the closer the subject is to the lower part of the reference image, the narrower the range of peripheral pixels. As described above, the isolation determination and the search range are set for the peripheral pixels. Therefore, if the peripheral pixel range is expanded, the isolation determination and the search range setting range is also expanded, and the peripheral pixel range is reduced. If so, the setting range of the isolation judgment and the re-search range is also reduced.
  • the reference image is divided into three in the vertical direction, and the definition of peripheral pixels is changed as follows depending on which of the upper, middle, and lower pixels to be calculated belongs to.
  • the peripheral pixels are set to a total of 24 pixels separated from the calculation target pixel by 2 pixels.
  • the peripheral pixels are set to a total of 8 pixels in the vertical, horizontal, and diagonal directions of the calculation target pixel.
  • the peripheral pixels are set to a total of 4 pixels on the top, bottom, left, and right of the calculation target pixel.
  • peripheral pixels when determining isolation may be different.
  • the peripheral pixels may be constant regardless of the position of the calculation target pixel in the reference image, and the position of the calculation target pixel in the reference image may be used only when the re-search range is set.
  • the following effects can be obtained.
  • the number of pixels around the calculation target pixel is based on the position of the calculation target pixel in the reference image. Therefore, when the calculation target pixel is located at the upper part of the reference image, that is, far from the first image pickup unit 101, the calculation load can be reduced by reducing the peripheral pixels. Further, since the size of the subject on the captured image changes according to the distance to the subject, it is rational to change the number of pixels to be referred to according to the position of the calculation target pixel.
  • the search range setting unit 105 determines the number of pixels around the calculation target pixel used for setting the re-search range based on the position of the calculation target pixel in the reference image. Therefore, when the calculation target pixel is located at the upper part of the reference image, that is, far from the first image pickup unit 101, the calculation load can be reduced by reducing the peripheral pixels. Further, since the size of the subject on the captured image changes according to the distance to the subject, it is rational to change the number of pixels to be referred to according to the position of the calculation target pixel.
  • FIG. 6 is a block diagram showing the configuration of the arithmetic unit 1A in the second embodiment.
  • the arithmetic unit 1A includes a search unit 109 in which the initial search unit 103 and the re-search unit 106 of the arithmetic unit 1 according to the first embodiment are integrated.
  • the content of the process executed by the arithmetic unit 1A is the same as that of the arithmetic unit 1.
  • the arithmetic unit 1A shares the arithmetic resources of the initial search unit 103 and the re-search unit 106.
  • the search unit 109 in the present embodiment that one hardware circuit is commonly used by the initial search unit 103 and the re-search unit 106. Further, for example, when the same CPU realizes the initial search unit 103 and the re-search unit 106, it corresponds to the search unit 109 in the present embodiment.
  • the hardware cost can be reduced, more complicated processing can be performed at the same cost, and as a result, the output quality can be indirectly improved.
  • FIG. 7 A third embodiment of the arithmetic unit will be described with reference to FIG. 7.
  • the same components as those in the first embodiment are designated by the same reference numerals, and the differences will be mainly described.
  • the points not particularly described are the same as those of the second embodiment. This embodiment differs from the second embodiment mainly in that time is managed.
  • FIG. 7 is a block diagram showing the configuration of the arithmetic unit 1B in the third embodiment.
  • the arithmetic unit 1B further includes a search time management unit 601 for notifying the search unit 109 of the possibility of re-search, in addition to the configuration of the arithmetic unit 1A in the second embodiment.
  • the first imaging unit 101 and the second imaging unit 102 periodically take pictures every fixed time frame, for example, 16 ms. In this case, unless the search unit 109 completes not only the processing of the initial search unit 103 but also the processing of the re-search unit 106 within this time frame, it becomes impossible to process the image acquired in the next time frame.
  • the search time management unit 601 records, for example, the cumulative processing time within the time frame, and determines whether or not the re-search processing is possible within the time frame.
  • the search unit 109 determines whether to perform a re-search based on the result of the determination by the search time management unit 601 and output the result, or to output the first search result, that is, the initial parallax without performing the search. ..
  • the initial search unit 103 and the re-search unit 106 are realized as the search unit 109 by using the same arithmetic resource.
  • the arithmetic unit 1B includes a search time management unit 601 that determines whether or not the calculation of the re-search parallax by the re-search unit 106 is completed within a predetermined time.
  • the re-search unit 106 calculates the re-search parallax when the search time management unit determines that the search time is completed within a predetermined time. Therefore, the arithmetic unit 1B can always complete the process within a predetermined time.
  • the search unit 109 may add an invalid flag to the dissociated pixel and output it.
  • the invalid flag is a flag indicating that the parallax is uncertain. Further, the search unit 109 may output an invalid flag instead of outputting the initial parallax for the isolated parallax.
  • FIG. 8 is a block diagram showing the configuration of the arithmetic unit 1C according to the fourth embodiment.
  • the arithmetic unit 1C further includes a parallax storage unit 701 in addition to the configuration of the first embodiment.
  • the parallax storage unit 701 is realized by, for example, a RAM.
  • the parallax storage unit 701 stores the calculation result of the parallax (hereinafter referred to as "past parallax") in the previous time frame at least immediately before.
  • the parallax storage unit 701 stores information on the initial parallax for pixels that have not been calculated for the first parallax, and stores information on the research parallax for pixels for which the initial parallax and the research parallax have been calculated.
  • the information stored in the parallax storage unit 701 is read out from the isolation determination unit 104 and the search range setting unit 105.
  • the "periphery” in the present embodiment means the periphery in a temporal relative relationship.
  • the "peripheral pixel” in the present embodiment is a pixel having the same coordinates as the calculation target pixel and existing in the periphery in time.
  • the isolation determination unit 104 compares the value of the parallax of the calculation target pixel calculated by the initial search unit 103 with the past parallax of the peripheral pixel, that is, the calculation target pixel stored in the parallax storage unit 701, and the calculation target pixel is calculated. It is determined whether or not it corresponds to a dissociated pixel having isolated parallax. For example, when the coordinates of the reference image of the calculation target pixel are (100,200), the isolation determination unit 104 reads the parallax of the same coordinates in the immediately preceding time frame from the parallax storage unit 701, and sets it as the initial parallax of the calculation target pixel. The parallax read from the parallax storage unit 701 is compared.
  • the isolation determination unit 104 may determine the calculation target pixel as a divergent pixel when these differences are equal to or greater than a predetermined threshold value, and may determine the calculation target pixel as a divergent pixel when these ratios are equal to or greater than a predetermined threshold value. You may judge that.
  • the isolation determination unit 104 may use, for example, a simple average value of the parallax of the past 10 frames at the same coordinates as a comparison target. Further, instead of the simple average value, a weighting that increases the weight as it is closer to the present may be applied to calculate the comparison target.
  • the re-search unit 106 refers to the parallax value having the same coordinates as the dissociated pixel stored in the parallax storage unit 701 in order to determine the re-search range of the dissociated pixel. For example, the re-search unit 106 sets a predetermined range centered on the parallax value of the same coordinates in the time frame immediately before stored in the parallax storage unit 701 as the re-search range. For example, when the parallax value of the same coordinates is "50" and the predetermined range is "20", the re-search unit 106 sets "40 to 60" as the re-search range.
  • the re-search unit 106 researches a predetermined range centered on the simple average value of the parallax of the past 10 frames at the same coordinates, for example. May be set to. Further, the re-search unit 106 may calculate the parallax at the center by applying a weighting that increases the weight as it is closer to the present, instead of the simple average value.
  • the pixels around the pixel to be calculated are pixels that exist in the periphery in time.
  • the isolation determination unit 104 satisfies the isolation condition in which the calculation target pixel is isolated from the peripheral pixels based on the comparison between the initial parallax of the calculation target pixel and the initial parallax or the re-searching parallax in the pixels around the calculation target pixel. Judge whether or not it is a dissociated pixel. Therefore, the arithmetic unit 1C can detect as a dissociated pixel when the parallax value suddenly changes in time series.
  • the isolation determination unit 104 determines the initial parallax of the calculation target pixel and the initial parallax or the re-search parallax at the same coordinates as the dissociated pixel in the reference image taken immediately before the reference image to which the calculation target pixel belongs. Based on the comparison, it is determined whether or not the calculation target pixel is a divergent pixel satisfying the isolation condition isolated from the surrounding pixels. Therefore, it is possible to make a comparison with the most important immediately before when capturing changes in time series.
  • the search range setting unit 105 sets the re-search range based on the initial parallax or re-search parallax at the same coordinates as the dissociated pixel in the previously captured reference image and the initial parallax of the dissociated pixel. Therefore, the arithmetic unit 1C can set the re-search range of the dissociated pixel by referring to the time-series parallax.
  • the search range setting unit 105 sets the re-search range based on the initial parallax or re-search parallax at the same coordinates as the dissociated pixel in the reference image taken immediately before and the initial parallax of the dissociated pixel. Therefore, the arithmetic unit 1C can set the re-search range of the dissociated pixel by referring to the value of the immediately preceding parallax, which is the most important in the time-series parallax information.
  • the parallax of the pixels in the spatial periphery of the calculation target pixel is used for the determination by the isolation determination unit 104 as in the first to third embodiments, and the fourth is used for the determination of the re-search range by the re-search unit 106.
  • the parallax of the pixels around the time of the calculation target pixel may be used.
  • the parallax of the pixels around the time of the calculation target pixel is used for the determination by the isolation determination unit 104 as in the fourth embodiment, and the fourth embodiment is used for the re-search unit 106 to determine the re-search range.
  • the parallax of the pixels in the spatial periphery of the pixel to be calculated may be used as in.
  • the definitions of "periphery” and “peripheral pixel” may be different between the isolation determination unit 104 and the re-search unit 106.
  • the configuration of the functional block is only an example.
  • Several functional configurations shown as separate functional blocks may be integrally configured, or the configuration represented by one functional block diagram may be divided into two or more functions. Further, a configuration in which a part of the functions of each functional block is provided in another functional block may be provided.
  • the program is stored in a ROM (not shown), but the program may be stored in a writable storage device.
  • the arithmetic unit may have an input / output interface (not shown), and the program may be read from another device when necessary via the input / output interface and a medium in which the arithmetic unit can be used.
  • the medium refers to, for example, a storage medium that can be attached to and detached from an input / output interface, or a communication medium, that is, a network such as wired, wireless, or optical, or a carrier wave or digital signal that propagates in the network.
  • some or all of the functions realized by the program may be realized by the hardware circuit or FPGA.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

演算装置は、第１撮像部が撮影して得られる基準画像、および第２撮像部が撮影して得られる参照画像を取得する取得部と、基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、参照画像を参照して算出対象画素の視差である初回視差を算出する初回探索部と、算出対象画素の初回視差と、算出対象画素の周辺の画素における視差との比較に基づき、算出対象画素が周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する孤立判定部と、乖離画素を対象とした参照画像における再度の探索の範囲である再探索範囲を設定する探索範囲設定部と、参照画像において探索範囲設定部が設定した再探索範囲を探索することで、乖離画素の視差である再探索視差を算出する再探索部と、を備える。

Description

演算装置、視差探索方法
　本発明は、演算装置、および視差探索方法に関する。
　一対のカメラを有するステレオカメラで撮影されたステレオ画像に基づき、カメラ視野内に存在する物体までの距離を三角測量の原理で計測する位置測定装置が知られている。三角測量の原理とはすなわち、左右のカメラによって撮影された同一の物体の像の位置のずれである視差を用いて、カメラからその物体までの距離を算出するものである。視差の導出は、一方の画像上における物体像が、他方の画像上のどこに存在するかを特定することによって実現する。視差の導出としては様々な手法が提案されている。例えば古典的手法では、一方の画像中の複数画素からなる領域に対して、他方の画像中で最も非類似度の低い領域を探索するブロックマッチングが知られている。ブロックマッチングにおいて、領域の対応付けを誤る誤マッチングが発生すると、視差が大きく異なる問題が知られている。
　特許文献１には、対象物を撮像する撮像手段と、前記撮像手段で撮像した一対の画像の小領域毎に、互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、ステレオマッチング処理結果である評価関数、該評価関数に基づいて得られる前記対象物までの距離情報及びその信頼度を示す信頼度情報を取得するステレオ処理手段と、前記信頼度に応じて対象となる小領域の周辺に再探索範囲を設定し、前記再探索範囲内の小領域について求めた前記評価関数に基づいて、前記対象となる小領域について求めた評価関数を修正して修正評価関数を求め、求めた修正評価関数に基づいて距離情報を補正する視差補正手段とを備えたことを特徴とするステレオ画像処理装置が開示されている。
日本国特開２００６－０９０８９６号公報
　特許文献１に記載されている発明では、誤マッチングへの対応が十分でない。
　本発明の第１の態様による演算装置は、第１撮像部が撮影して得られる基準画像、および第２撮像部が撮影して得られる参照画像を取得する取得部と、前記基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、前記参照画像を参照して前記算出対象画素の視差である初回視差を算出する初回探索部と、前記算出対象画素の前記初回視差と、前記算出対象画素の周辺の画素における視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する孤立判定部と、前記乖離画素を対象とした前記参照画像における再度の探索の範囲である再探索範囲を設定する探索範囲設定部と、前記参照画像において前記探索範囲設定部が設定した前記再探索範囲を探索することで、前記乖離画素の視差である再探索視差を算出する再探索部と、を備える。
　本発明の第２の態様による視差探索方法は、第１撮像部が撮影して得られる基準画像、および第２撮像部が撮影して得られる参照画像を取得する取得部を有する演算装置が実行する視差探索方法であって、前記基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、前記参照画像を参照して前記算出対象画素の視差である初回視差を算出することと、前記算出対象画素の前記初回視差と、前記算出対象画素の周辺の画素における視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断することと、前記乖離画素を対象とした前記参照画像における再度の探索の範囲である再探索範囲を設定することと、前記参照画像において前記再探索範囲を探索することで、前記乖離画素の視差である再探索視差を算出することとを含む。
　本発明によれば、誤マッチングの発生に対応できる。
第１の実施の形態における演算装置の構成を示すブロック図 孤立視差の有無を示す概念図 第１の実施の形態における周辺画素を示す図 孤立視差の判定を説明する図 演算装置の処理を示すフローチャート 第２の実施の形態における演算装置の構成を示すブロック図 第３の実施の形態における演算装置の構成を示すブロック図 第４の実施の形態における演算装置の構成を示すブロック図
―第１の実施の形態―
　以下、図１～図５を参照して、本発明に係る演算装置の第１の実施の形態を説明する。本実施の形態では、演算装置が車両に搭載される例を説明するが、演算装置は車両に搭載されなくてもよい。
　図１は、第１の実施の形態における演算装置１の構成を示すブロック図である。演算装置１は、取得部１０７と、初回探索部１０３と、孤立判定部１０４と、探索範囲設定部１０５と、再探索部１０６と、出力部１０８とを備える。取得部１０７、初回探索部１０３、孤立判定部１０４、探索範囲設定部１０５、再探索部１０６、および出力部１０８のそれぞれは、たとえば不図示の中央演算装置が、読み出し専用の記憶装置であるＲＯＭに格納されるプログラムを、読み書き可能な記憶装置であるＲＡＭに展開して実行することで実現する。
　ただしこれらのそれぞれは、ＣＰＵ、ＲＯＭ、およびＲＡＭの組み合わせの代わりに書き換え可能な論理回路であるＦＰＧＡ（Field　Programmable　Gate　Array）や特定用途向け集積回路であるＡＳＩＣ（Application　Specific　Integrated　Circuit）により実現されてもよい。またこれらは、ＣＰＵ、ＲＯＭ、およびＲＡＭの組み合わせの代わりに、異なる構成の組み合わせ、たとえばＣＰＵ、ＲＯＭ、ＲＡＭとＦＰＧＡの組み合わせにより実現されてもよい。本実施の形態では、それぞれの機能を実現する演算リソースは共有されてもよいし独立してもよい。たとえば、１つのＣＰＵコアの演算リソースを時分割方式により全機能で共有してもよい。また、いくつかの機能だけが演算リソースを共有してもよい。
　演算装置１は、第１撮像部１０１および第２撮像部１０２と接続される。第１撮像部１０１および第２撮像部１０２はたとえば車両に搭載されるカメラであり、略同一の方向を撮影し、撮影して得られた画像を演算装置１に送信する。以下では、第１撮像部１０１が撮影して得られた画像を「基準画像」と呼び、第２撮像部１０２が撮影して得られた画像を「参照画像」と呼ぶ。また第１撮像部１０１および第２撮像部１０２の位置関係は本発明の実施上は何ら制限されないが、本実施の説明の都合により、第１撮像部１０１および第２撮像部１０２は水平方向に並んで配置されていることとする。また第１撮像部１０１および第２撮像部１０２の地面に対する位置や姿勢は既知である。
　取得部１０７は、第１撮像部１０１から基準画像を取得し、第２撮像部１０２から参照画像を取得する。取得部１０７は取得した基準画像および参照画像を初回探索部１０３に出力する。
　初回探索部１０３は、基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、参照画像を参照して算出対象画素の視差の候補の値である視差候補値を算出する。詳述すると、基準画像には視差を算出すべき領域（以下、「算出範囲」とも呼ぶ）が、たとえば全域や中央部の３００画素角の領域とあらかじめ設定されており、初回探索部１０３はその領域内の画素を順番に算出対象画素とする。そして初回探索部１０３は、算出範囲の全ての画素を対象に視差を算出する。以下では、初回探索部１０３が算出する視差を「初回視差」と呼ぶ。
　この視差の算出では、たとえばまず算出対象画素に対応する可能性がある参照画像上の比較的広範囲、たとえばエピポーラ線上の全ての画素を対象に非類似度を算出する。次に、非類似度が最も小さい参照画像上の画素、または極小値を有する参照画像上の画素を特定する。そして、その画素の参照画像上のたとえばＹ座標値と、算出対象画素の基準画像上のＹ座標値との差を初回視差とする。
　ただし後述するように、この探索では真の視差が得られないことがある。また初回探索部１０３による探索は、後述する再探索部１０６による探索と対比すると「初回の探索」とも呼べる。初回探索部１０３は、算出した視差を孤立判定部１０４および出力部１０８に出力する。初回探索部１０３は、それぞれの算出対象画素の視差を孤立判定部１０４および出力部１０８に出力する。
　孤立判定部１０４は、後述する孤立条件を満たす算出対象画素を乖離画素と判断する。たとえば孤立判定部１０４は、初回探索部１０３が算出した算出対象画素の視差の値を、算出対象画素の周辺の画素における視差の値と比較し、算出対象画素が孤立視差を有する乖離画素に相当するか否かを判断する。孤立視差とは、初回探索部１０３により探索された視差が周辺の画素と乖離していることである。すなわち本実施の形態における「周辺」とは、空間的な位置関係における周辺を意味する。孤立判定部１０４が乖離画素と判断した算出対象画素は更なる処理が行われ、乖離画素と判断されなかった算出対象画素は初回探索部１０３により探索された視差が採用される。孤立判定部１０４の処理は後に詳述する。
　探索範囲設定部１０５は、孤立判定部１０４が乖離画素と判断した算出対象画素を処理対象とし、再探索のための探索範囲を決定する。再探索部１０６は、孤立判定部１０４の判定結果と探索範囲設定部１０５の設定した再探索範囲を用いて再探索を実施し、得られた視差情報を出力部１０８に出力する。再探索部１０６が算出した視差は、初回探索部１０３が算出した視差と区別するために「再探索視差」とも呼ぶ。孤立判定部１０４で孤立視差と判定されなかった視差に関しては、そのまま初回探索部１０３より視差情報として出力する。
　出力部１０８は、初回探索部１０３および再探索部１０６の出力に基づき基準画像の少なくとも一部分に関する視差情報を出力する。図１では出力部１０８は視差情報を演算装置１の外部に出力するように記載しているが、演算装置１の内部で利用されてもよい。出力部１０８はたとえば、再探索部１０６が出力する視差情報は全て出力に利用し、初回探索部１０３が出力する視差情報は再探索部１０６が出力しない視差情報のみを利用する。すなわち出力部１０８は、ある画素について初回視差と再探索視差の両方が得られた場合には再探索視差のみを出力する。
（孤立視差）
　図２は、孤立視差の有無を示す概念図である。ただし図２に示す情報から孤立視差の有無が判断されるわけではなく、図２はどのような場合に孤立視差が発生しやすいのかを概念的に示しているにすぎない。孤立視差の具体的な判断は後述する。図２は、横軸に参照画像の位置を示し、縦軸に算出対象画素と参照画像上の特定の画素との非類似度を示す。非類似度とはたとえばＳＳＤ（Sum　of　Squared　Difference）、ＳＡＤ（Sum　of　Absolute　Difference）、ＺＳＡＤ（Zero-means　Sum　of　Absolute　Difference）、ＮＣＣ（Normalized　Cross-Correlation）などである。
　図２には、基準画像において近接する異なる２つの算出対象画素の非類似度を示している。具体的には、孤立視差を有さない傾向にある実線Ｌ２０１で示す例と、孤立視差を有する傾向にある破線Ｌ２０３で示す例を示している。実線Ｌ２０１は、非類似度が最小となるピーク２０２が明確に１つだけ存在し、他に近い値のピークが無いため、マッチング点を特定でき正確な視差を出力することが可能である。破線Ｌ２０３は、本来特定すべきマッチング点２０４に対し、同程度の非類似度を持つピーク２０５が他に存在する。
　そのため、真のマッチング点２０４と異なる点２０５をマッチング点と誤判定して、本来と大きく異なる値の視差値、すなわち孤立視差を出力することがある。本実施の形態では、破線２０１で示したような周辺視差を参照して、探索範囲を周辺視差に近い値の範囲に限定して局所再探索することで真のマッチング点２０４に修正することができる。
（孤立視差の判定）
　孤立判定部１０４による算出対象画素が孤立視差を有するか否かの判定は、換言すると孤立条件に該当するか否かの判定は、算出対象画素の周辺の画素（以下、「周辺画素」と呼ぶ）における初回視差を用いて行われる。孤立視差の判定は、初回視差が算出対象画素よりも所定の閾値以上乖離している周辺画素が所定の数以上存在するか否かにより行われる。まず周辺画素の定義を説明し、次に判定方法を説明する。
　本実施の形態における周辺画素とは、算出対象画素を基準として定義される空間的に相対的な位置を有する画素である。周辺画素はたとえば算出対象画素の上下左右に隣接する合計４画素でもよいし、斜め方向を加えた８画素でもよい。さらに２画素離れた合計２４画素でもよいし、さらに他のバリエーションでもよい。図を参照して周辺画素を詳しく説明する。
　図３は、周辺画素を示す図である。図３において中央のＣ３が算出対象画素である。この場合に周辺画素は、上下左右に隣接するＣ２，Ｃ４、Ｂ３，Ｄ３の合計４画素でもよい。また周辺画素は、上下左右に斜め方向を加えたＢ２～Ｂ４、Ｃ３，Ｃ４，Ｄ２～Ｄ４の８画素でもよい。さらに周辺画素は、上下左右斜めに２画素離れたＡ１～Ａ５、Ｂ１～Ｂ５、Ｃ１，Ｃ２，Ｃ４，Ｃ５，Ｄ１～Ｄ５，Ｅ１～Ｅ５の２４画素でもよい。ただし以下の説明では、周辺画素は算出対象画素の上下左右に斜め方向を加えた８画素とする。
　乖離画素の判定は、それぞれの周辺画素を対象として算出対象画素との初回視差の差の絶対値を算出し、その絶対値が所定の閾値（以下、「視差閾値」と呼ぶ）以上である周辺画素の数をカウントする。そしてそのカウント数が所定の閾値（以下、「カウント閾値」と呼ぶ）以上である場合にその算出対象画素を乖離画素と判定する。視差閾値およびカウント閾値は、あらかじめ定められる固定値でもよいし、動的に設定されてもよい。たとえば視差閾値は算出対象画素の初回視差の値に基づいて動的に設定されてもよいし、カウント閾値は周辺画素に含まれる画素の数に基づいて動的に設定されてもよい。この例では孤立条件は、算出対象画素との初回視差の差の絶対値が視差閾値以上である周辺画素の数がカウント閾値以上であることである。
　図４は、孤立視差の判定を説明する図である。図４に示す例では、中央に示す符号４０１の画素が算出対象画素、その周辺の８画素が周辺画素である。図中の数字は、各画素における初回視差を示す。ここで、視差閾値を「２０」、カウント閾値を「６」とする。この場合に、算出対象画素４０１に対して絶対値が「２０」以上異なる初回視差を有する周辺画素は、ハッチングで示す「７」画素である。「７」はカウント閾値である「６」よりも大きいので、図４に示す例では算出対象画素は孤立視差を有する乖離画素と判断される。
　孤立視差は次のように判定してもよい。たとえば、カウント閾値との比較対象となる周辺画素が、所定の閾値（以下、「密集閾値」と呼ぶ）以内に収まっていることを追加の条件としてもよい。たとえば図４に示した例では、密集閾値が「２０」であれば算出対象画素４０１は乖離画素と判断され、密集閾値が「１０」であれば算出対象画素４０１は乖離画素と判断されない。この場合には計算量は増加するが、孤立視差の修正後の値の信頼性を高めることができる。
　また孤立条件は、周辺画素の初回視差の平均値に基づいてもよい。たとえば孤立条件が、算出対象画素の初回視差が、周辺画素の初回視差の平均値の２倍以上、または周辺画素の初回視差の平均値の半分以下と設定されてもよい。
（再探索範囲の決定）
　再探索部１０６による再探索範囲の決定には、周辺画素の初回視差が利用される。再探索部１０６はたとえば、算出対象画素との初回視差の差の絶対値が視差閾値以上である周辺画素の初回視差を平均し、その平均値から所定の範囲（以下、「規定探索範囲」と呼ぶ）、たとえばプラスマイナス１０を再探索範囲とする。たとえば図４に示す例では、算出対象画素４０１に対して絶対値が「２０」以上異なる初回視差を有する周辺画素は、前述のとおりハッチングで示す７画素である。この７画素の初回視差の平均値は「５０」なので、「４０～６０」が再探索範囲に設定される。
　再探索範囲はたとえば、次のように規定探索範囲を用いずに決定されてもよい。すなわち、算出対象画素との初回視差の差の絶対値が視差閾値以上である周辺画素の初回視差の最大値と最小値の間を再探索範囲としてもよい。さらに別の例として、規定探索範囲を算出対象画素の初回視差の値に基づき決定してもよい。この場合はたとえば、規定探索範囲は算出対象画素の初回視差の半分の値に設定される。
（フローチャート）
　図５は、演算装置１の処理を示すフローチャートである。演算装置１は、第１撮像部１０１および第２撮像部１０２から画像を取得するたびに図５に示す処理を実行する。演算装置１の初回探索部１０３は、まずステップＳ３０１において、算出対象画素を選択する。初回探索部１０３はたとえばあらかじめ定められた基準画像の領域から未処理の画素を選択する。続くステップＳ３０２では初回探索部１０３は、参照画像における算出対象画素の対応画素を探索して初回視差を算出する。具体的には、算出対象画素に対応する可能性がある参照画像上の比較的広範囲の画素を対象に非類似度を算出し、たとえば非類似度が最も小さい参照画像上の画素を特定する。そしてその画素の参照画像上のたとえばＹ座標値と、算出対象画素の基準画像上のＹ座標値との差を初回視差とする。
　続くステップＳ３０３では初回探索部１０３は、算出範囲の初回視差の算出が全て完了したか否かを判断する。初回探索部１０３は算出範囲における初回視差の算出がすべて完了したと判断する場合はステップＳ３０４に進み、初回視差の算出が完了していない画素が存在すると判断する場合はステップＳ３０１に戻る。
　ステップＳ３０４では孤立判定部１０４は、ステップＳ３０１と同様に算出対象画素を選択する。ステップＳ３０４とステップＳ３０１の処理内容に違いはなく、異なるのは実行主体である。続くステップＳ３０５では孤立判定部１０４は、ステップＳ３０４において選択した算出対象画素が乖離画素に相当するか否かを判断する。
　孤立判定部１０４は、算出対象画素が乖離画素に相当すると判断する場合はステップＳ３０６に進み、算出対象画素が乖離画素に相当しないと判断する場合はステップＳ３０８に進む。ステップＳ３０６では探索範囲設定部１０５は、再探索範囲を決定して再探索部１０６にその範囲を出力する。続くステップＳ３０７では再探索部１０６は、探索範囲設定部１０５が出力する再探索範囲を対象として非類似度を算出し、その再探索範囲で最も小さい非類似度を有する画素のたとえばＹ座標値と、算出対象画素のＹ座標値との差を再探索視差として算出する。
　ステップＳ３０８では出力部１０８は、視差情報を出力する。ただし再探索部１０６が出力する視差情報は全て出力に利用し、初回探索部１０３が出力する視差情報は再探索部１０６が出力しない視差情報のみを利用する。続くステップＳ３０９では孤立判定部１０４は、算出範囲を対象とするステップＳ３０５の処理が全て完了したか否かを判断する。孤立判定部１０４は算出範囲におけるステップＳ３０５の処理がすべて完了したと判断する場合は図５の処理を完了し、ステップＳ３０５の処理が完了していない画素が存在すると判断する場合はステップＳ３０４に戻る。
　上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）第１撮像部１０１が撮影して得られる基準画像、および第２撮像部１０２が撮影して得られる参照画像を取得する取得部１０７と、基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、参照画像を参照して算出対象画素の視差である初回視差を算出する初回探索部１０３と、算出対象画素の初回視差と、算出対象画素の周辺の画素における視差との比較に基づき、算出対象画素が周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する孤立判定部１０４と、乖離画素を対象とした参照画像における再度の探索の範囲である再探索範囲を設定する探索範囲設定部１０５と、参照画像において探索範囲設定部１０５が設定した再探索範囲を探索することで、乖離画素の視差である再探索視差を算出する再探索部１０６と、を備える。そのため演算装置１は算出対象画素の初回視差が周辺画素から乖離していると再探索を行うので、誤マッチングへの対応、すなわち誤マッチングの解消が可能である。
（２）算出対象画素の周囲の画素とは、空間的に周辺に存在する画素である。孤立判定部１０４は、算出対象画素の初回視差と、算出対象画素の周辺の画素における初回視差との比較に基づき、算出対象画素が周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する。そのため演算装置１は、算出対象画素の視差が隣接する画素などの初回視差と大きく異なることを解消できる。
（３）孤立条件は、算出対象画素の周囲の画素における初回視差の平均値に基づく。そのため演算装置１は、撮影された基準画像および参照画像に基づき柔軟な閾値を設けることができる。
（４）探索範囲設定部１０５は、乖離画素に対して空間的に周辺に存在する画素の初回視差に基づき再探索範囲を設定する。そのため演算装置１は、乖離画素の視差を空間的に周囲の画素にそろえることができる。
（５）探索範囲設定部１０５は、乖離画素の周囲の画素における初回視差の平均値に基づき再探索範囲を設定する。そのため演算装置１は、乖離画素の視差を空間的に周囲の画素にそろえることができる。
（変形例１）
　孤立判定と再探索範囲の設定に、基準画像における算出対象画素の位置を利用してもよい。第１撮像部１０１の取り付け位置および地面に対する姿勢は既知なので、被写体が地面上に存在することを仮定すれば、基準画像における被写体の位置により第１撮像部１０１から被写体までの距離が推定できる。被写体は距離が遠いほど小さく、近いほど大きく撮影されるので、被写体が基準画像の下部に近いほど周辺画素の範囲を狭くする。前述のように孤立判定および再探索範囲の設定は周辺画素を対象に行われるので、周辺画素の範囲が拡大すれば孤立判定および再探索範囲の設定範囲も拡大され、周辺画素の範囲が縮小すれば孤立判定および再探索範囲の設定範囲も縮小される。
　たとえば、基準画像を垂直方向に３分割し、算出対象画素が３分割した上中下のいずれに属するかにより以下のように周辺画素の定義を変更する。算出対象画素が下部に属する場合は、周辺画素を算出対象画素から２画素離れた合計２４画素とする。算出対象画素が中部に属する場合は、周辺画素を算出対象画素の上下左右および斜めの合計８画素とする。算出対象画素が上部に属する場合は、周辺画素を算出対象画素の上下左右の合計４画素とする。
　なお、孤立判定の際の周辺画素の定義と、再探索範囲の設定の際の周辺画素の定義は異なっていてもよい。たとえば、孤立判定の際には周辺画素は算出対象画素の基準画像内の位置によらず一定とし、再探索範囲の設定の際のみ基準画像における算出対象画素の位置を利用してもよい。
　この変形例１によれば、次の作用効果が得られる。
（６）算出対象画素の周辺の画素の数は、基準画像における算出対象画素の位置に基づく。そのため、算出対象画素が基準画像の上部、すなわち第１撮像部１０１から遠方に存在する場合には周辺の画素を減らすことで演算の負荷を軽減できる。また被写体までの距離に応じて被写体の撮影画像上の大きさも変化するので、算出対象画素の位置に応じて参照する画素の数を変化させることが合理的である。
（７）探索範囲設定部１０５は、基準画像における算出対象画素の位置に基づき、再探索範囲の設定に用いる算出対象画素の周辺の画素の数を決定する。そのため、算出対象画素が基準画像の上部、すなわち第１撮像部１０１から遠方に存在する場合には周辺の画素を減らすことで演算の負荷を軽減できる。また被写体までの距離に応じて被写体の撮影画像上の大きさも変化するので、算出対象画素の位置に応じて参照する画素の数を変化させることが合理的である。
―第２の実施の形態―
　図６を参照して、演算装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、初回探索部と再探索部が一体化している点で、第１の実施の形態と異なる。
　図６は、第２の実施の形態における演算装置１Ａの構成を示すブロック図である。演算装置１Ａは、第１の実施の形態における演算装置１の初回探索部１０３および再探索部１０６を一体化した探索部１０９を備える。演算装置１Ａが実行する処理の内容は演算装置１と同一である。演算装置１Ａは、初回探索部１０３および再探索部１０６の演算リソースを共通化している。
　たとえばある１つのハードウエア回路を初回探索部１０３および再探索部１０６で共通して利用するのが本実施の形態における探索部１０９である。またたとえば、同一のＣＰＵが初回探索部１０３および再探索部１０６を実現すると本実施の形態における探索部１０９に相当する。
　上述した第２の実施の形態によれば、ハードウエアのコストを低減できるので、同一コストでより複雑な処理が可能になり、結果として間接的に出力品質を上げることができる。
―第３の実施の形態―
　図７を参照して、演算装置の第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第２の実施の形態と同じである。本実施の形態では、主に、時間の管理を行う点で、第２の実施の形態と異なる。
　図７は、第３の実施の形態における演算装置１Ｂの構成を示すブロック図である。演算装置１Ｂは、第２の実施の形態における演算装置１Ａの構成に加えて、探索部１０９に対して再探索の可否を通知する探索時間管理部６０１をさらに備える。本実施の形態では、第１撮像部１０１および第２撮像部１０２が一定の時間フレーム、たとえば１６ｍｓごとに周期的に撮影する。この場合に探索部１０９は、この時間フレーム内に初回探索部１０３の処理だけでなく再探索部１０６の処理も完了させなければ、次の時間フレームに取得した画像の処理が不可能になる。
　そのため探索時間管理部６０１は、たとえば当該時間フレーム内の累計処理時間を記録して、再探索処理が当該時間フレーム内に可能か否かを判定する。探索部１０９は、探索時間管理部６０１による判定の結果に基づいて再探索を実施して結果を出力するか、実施を実施せずに最初の探索結果、すなわち初回視差を出力するかを決定する。
　上述した第３の実施の形態によれば、次の作用効果が得られる。
（８）演算装置１Ｂでは、初回探索部１０３および再探索部１０６が同一の演算リソースを利用して探索部１０９として実現される。演算装置１Ｂは、再探索部１０６による再探索視差の算出が所定の時間内に完了するか否かを判断する探索時間管理部６０１を備える。再探索部１０６は、探索時間管理部が所定の時間内に完了すると判断すると再探索視差を算出する。そのため、演算装置１Ｂは必ず所定時間内に処理を完了できる。
（第３の実施の形態の変形例）
　探索部１０９は、再探索が必要であるが当該時間フレーム内に再探索処理が不可能であると判断する場合には、乖離画素について無効フラグを付加して出力してもよい。無効フラグとは、視差が不確かであることを示すフラグである。さらに探索部１０９は、孤立視差について初回視差を出力する代わりに無効フラグを出力してもよい。
　本変形例によれば次の作用効果が得られる。
（９）再探索部１０６は、探索時間管理部６０１が所定の時間内に完了しないと判断すると乖離画素について視差が無効である旨を出力する。そのため、明確に無効である旨を伝達することができる。
―第４の実施の形態―
　図８を参照して、演算装置の第４の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、算出した視差情報を一時的に記憶し、孤立判定および再探索範囲の決定に利用する点で、第１の実施の形態と異なる。また「周辺」および「周辺画素」の定義も第１の実施の形態と異なる。
　図８は、第４の実施の形態における演算装置１Ｃの構成を示すブロック図である。演算装置１Ｃは、第１の実施の形態の構成に加えて、視差記憶部７０１をさらに備える。視差記憶部７０１はたとえばＲＡＭにより実現される。視差記憶部７０１には、従前の、少なくとも直前の時間フレームにおける視差の算出結果（以下、「過去視差」と呼ぶ）が格納される。視差記憶部７０１には、初回視差しか算出されていない画素については初回視差の情報が格納され、初回視差および再探索視差が算出された画素については再探索視差の情報が格納される。視差記憶部７０１に格納された情報は、孤立判定部１０４および探索範囲設定部１０５から読み出される。
　本実施の形態における「周辺」とは、時間的な相対関係における周辺を意味する。本実施の形態における「周辺画素」とは、算出対象画素と同一の座標であり時間的に周辺に存在する画素である。
　孤立判定部１０４は、初回探索部１０３が算出した算出対象画素の視差の値を、周辺画素、すなわち視差記憶部７０１に格納されている算出対象画素の過去の視差と比較し、算出対象画素が孤立視差を有する乖離画素に相当するか否かを判断する。たとえば孤立判定部１０４は、算出対象画素の基準画像における座標が（１００，２００）の場合に、直前の時間フレームにおける同一の座標の視差を視差記憶部７０１から読み出し、算出対象画素の初回視差と視差記憶部７０１から読み出した視差とを比較する。孤立判定部１０４は、これらの差が所定の閾値以上である場合に算出対象画素を乖離画素と判断してもよいし、これらの比が所定の閾値以上である場合に算出対象画素を乖離画素と判断してもよい。
　さらに孤立判定部１０４は、視差記憶部７０１に複数フレームの視差情報が格納されている場合には、たとえば同一座標における過去１０フレームの視差の単純平均値を比較対象に用いてもよい。また単純平均値の代わりに、現在に近いほど重みを大きくする重みづけを施して比較対象を算出してもよい。
　再探索部１０６は、乖離画素の再探索範囲を決定するために視差記憶部７０１に格納された乖離画素と同一の座標の視差値を参照する。再探索部１０６はたとえば、視差記憶部７０１に格納された直前の時間フレームにおける同一座標の視差値を中心とする所定の範囲を再探索範囲に設定する。たとえば同一座標の視差値が「５０」で所定の範囲が「２０」の場合には、再探索部１０６は「４０～６０」を再探索範囲に設定する。
　また、視差記憶部７０１に複数フレームの視差情報が格納されている場合には、再探索部１０６はたとえば同一座標における過去１０フレームの視差の単純平均値を中心とする所定の範囲を再探索範囲に設定してもよい。さらに再探索部１０６は、また単純平均値の代わりに、現在に近いほど重みを大きくする重みづけを施して中心とする視差を算出してもよい。
　上述した第４の実施の形態によれば、次の作用効果が得られる。
（１０）算出対象画素の周囲の画素とは、時間的に周辺に存在する画素である。孤立判定部１０４は、算出対象画素の初回視差と、算出対象画素の周辺の画素における初回視差または再探索視差との比較に基づき、算出対象画素が周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する。そのため演算装置１Ｃは、時系列的に急激に視差の値が変化すると乖離画素として検出できる。
（１１）孤立判定部１０４は、算出対象画素の初回視差と、算出対象画素が属する基準画像に対して直前に撮影された基準画像における乖離画素と同一の座標における初回視差または再探索視差との比較に基づき、算出対象画素が周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する。そのため、時系列の変化をとらえる際に最も重要な直前との比較ができる。
（１２）探索範囲設定部１０５は、従前に撮影された基準画像において乖離画素と同一の座標における初回視差または再探索視差と、乖離画素の初回視差とに基づき再探索範囲を設定する。そのため演算装置１Ｃは、時系列の視差を参照して乖離画素の再探索範囲を設定できる。
（１３）探索範囲設定部１０５は、直前に撮影された基準画像において乖離画素と同一の座標における初回視差または再探索視差と、乖離画素の初回視差とに基づき再探索範囲を設定する。そのため演算装置１Ｃは、時系列の視差情報において最も重要な直前の視差の値を参照して乖離画素の再探索範囲を設定できる。
（第４の実施の形態の変形例１）
　本実施の形態と他の実施の形態とを組み合わせてもよい。たとえば、孤立判定部１０４による判定に第１～第３の実施の形態のように算出対象画素の空間的な周辺の画素の視差を用い、再探索部１０６による再探索範囲の決定に第４の実施の形態のように算出対象画素の時間的な周辺の画素の視差を用いてもよい。また、孤立判定部１０４による判定に第４の実施の形態のように算出対象画素の時間的な周辺の画素の視差を用い、再探索部１０６による再探索範囲の決定に第４の実施の形態のように算出対象画素の空間的な周辺の画素の視差を用いてもよい。換言すると、「周辺」および「周辺画素」の定義が孤立判定部１０４と再探索部１０６とで異なってもよい。
　上述した各実施の形態および変形例において、機能ブロックの構成は一例に過ぎない。別々の機能ブロックとして示したいくつかの機能構成を一体に構成してもよいし、１つの機能ブロック図で表した構成を２以上の機能に分割してもよい。また各機能ブロックが有する機能の一部を他の機能ブロックが備える構成としてもよい。
　上述した各実施の形態および変形例において、プログラムは不図示のＲＯＭに格納されるとしたが、プログラムは書き込み可能な記憶装置に格納されていてもよい。また、演算装置が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと演算装置が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。
　上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
１、１Ａ、１Ｂ、１Ｃ…演算装置
１０１…第１撮像部
１０２…第２撮像部
１０３…初回探索部
１０４…孤立判定部
１０５…探索範囲設定部
１０６…再探索部
１０７…取得部
１０９…探索部
６０１…探索時間管理部
７０１…視差記憶部

Claims (14)

  1. 　第１撮像部が撮影して得られる基準画像、および第２撮像部が撮影して得られる参照画像を取得する取得部と、
    　前記基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、前記参照画像を参照して前記算出対象画素の視差である初回視差を算出する初回探索部と、
    　前記算出対象画素の前記初回視差と、前記算出対象画素の周辺の画素における視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する孤立判定部と、
    　前記乖離画素を対象とした前記参照画像における再度の探索の範囲である再探索範囲を設定する探索範囲設定部と、
    　前記参照画像において前記探索範囲設定部が設定した前記再探索範囲を探索することで、前記乖離画素の視差である再探索視差を算出する再探索部と、を備える演算装置。
  2. 　請求項１に記載の演算装置において、
    　前記算出対象画素の周囲の画素とは、空間的に周辺に存在する画素であり、
    　前記孤立判定部は、前記算出対象画素の前記初回視差と、前記算出対象画素の周辺の画素における前記初回視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する演算装置。
  3. 　請求項２に記載の演算装置において、
    　前記孤立条件は、前記算出対象画素の周囲の画素における前記初回視差の平均値に基づく演算装置。
  4. 　請求項２に記載の演算装置において、
    　前記算出対象画素の周辺の画素の数は、前記基準画像における前記算出対象画素の位置に基づく演算装置。
  5. 　請求項１に記載の演算装置において、
    　前記算出対象画素の周囲の画素とは、時間的に周辺に存在する画素であり、
    　前記孤立判定部は、前記算出対象画素の前記初回視差と、前記算出対象画素の周辺の画素における前記初回視差または再探索視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する演算装置。
  6. 　請求項５に記載の演算装置において、
    　前記孤立判定部は、前記算出対象画素の前記初回視差と、前記算出対象画素が属する前記基準画像に対して直前に撮影された前記基準画像における前記乖離画素と同一の座標における前記初回視差または再探索視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する演算装置。
  7. 　請求項１に記載の演算装置において、
    　前記探索範囲設定部は、前記乖離画素に対して空間的に周辺に存在する画素の前記初回視差に基づき前記再探索範囲を設定する演算装置。
  8. 　請求項７に記載の演算装置において、
    　前記探索範囲設定部は、前記乖離画素の周囲の画素における前記初回視差の平均値に基づき前記再探索範囲を設定する演算装置。
  9. 　請求項７に記載の演算装置において、
    　前記探索範囲設定部は、前記基準画像における前記算出対象画素の位置に基づき、前記再探索範囲の設定に用いる前記算出対象画素の周辺の画素の数を決定する演算装置。
  10. 　請求項１に記載の演算装置において、
    　前記探索範囲設定部は、従前に撮影された前記基準画像において前記乖離画素と同一の座標における前記初回視差または前記再探索視差と、前記乖離画素の前記初回視差とに基づき前記再探索範囲を設定する演算装置。
  11. 　請求項１０に記載の演算装置において、
    　前記探索範囲設定部は、直前に撮影された前記基準画像において前記乖離画素と同一の座標における前記初回視差または前記再探索視差と、前記乖離画素の前記初回視差とに基づき前記再探索範囲を設定する演算装置。
  12. 　請求項１に記載の演算装置において、
    　前記初回探索部および前記再探索部が同一の演算リソースを利用して実現され、
    　前記再探索部による前記再探索視差の算出が所定の時間内に完了するか否かを判断する探索時間管理部をさらに備え、
    　前記再探索部は、前記探索時間管理部が所定の時間内に完了すると判断すると前記再探索視差を算出する演算装置。
  13. 　請求項１２に記載の演算装置において、
    　前記再探索部は、前記探索時間管理部が所定の時間内に完了しないと判断すると前記乖離画素について視差が無効である旨を出力する演算装置。
  14. 　第１撮像部が撮影して得られる基準画像、および第２撮像部が撮影して得られる参照画像を取得する取得部を有する演算装置が実行する視差探索方法であって、
    　前記基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、前記参照画像を参照して前記算出対象画素の視差である初回視差を算出することと、
    　前記算出対象画素の前記初回視差と、前記算出対象画素の周辺の画素における視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断することと、
    　前記乖離画素を対象とした前記参照画像における再度の探索の範囲である再探索範囲を設定することと、
    　前記参照画像において前記再探索範囲を探索することで、前記乖離画素の視差である再探索視差を算出することとを含む、視差探索方法。
     
PCT/JP2021/003117 2020-06-05 2021-01-28 演算装置、視差探索方法 WO2021245973A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112021001833.7T DE112021001833T5 (de) 2020-06-05 2021-01-28 Recheneinrichtung und parallaxensuchverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-098686 2020-06-05
JP2020098686A JP2021192177A (ja) 2020-06-05 2020-06-05 演算装置、視差探索方法

Publications (1)

Publication Number Publication Date
WO2021245973A1 true WO2021245973A1 (ja) 2021-12-09

Family

ID=78830360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/003117 WO2021245973A1 (ja) 2020-06-05 2021-01-28 演算装置、視差探索方法

Country Status (3)

Country Link
JP (1) JP2021192177A (ja)
DE (1) DE112021001833T5 (ja)
WO (1) WO2021245973A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221603A (ja) * 2004-08-09 2006-08-24 Toshiba Corp ３次元情報復元装置、３次元情報復元方法および３次元情報復元プログラム
JP2006313445A (ja) * 2005-05-09 2006-11-16 Sony Corp 画像処理方法、画像処理装置およびプログラム
JP2009276906A (ja) * 2008-05-13 2009-11-26 Panasonic Corp 走行情報提供装置
JP2013242854A (ja) * 2012-04-17 2013-12-05 Panasonic Corp 視差算出装置及び視差算出方法
JP2019113434A (ja) * 2017-12-25 2019-07-11 ＩＴＤ Ｌａｂ株式会社 校正装置、校正方法及び校正プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4554316B2 (ja) 2004-09-24 2010-09-29 富士重工業株式会社 ステレオ画像処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221603A (ja) * 2004-08-09 2006-08-24 Toshiba Corp ３次元情報復元装置、３次元情報復元方法および３次元情報復元プログラム
JP2006313445A (ja) * 2005-05-09 2006-11-16 Sony Corp 画像処理方法、画像処理装置およびプログラム
JP2009276906A (ja) * 2008-05-13 2009-11-26 Panasonic Corp 走行情報提供装置
JP2013242854A (ja) * 2012-04-17 2013-12-05 Panasonic Corp 視差算出装置及び視差算出方法
JP2019113434A (ja) * 2017-12-25 2019-07-11 ＩＴＤ Ｌａｂ株式会社 校正装置、校正方法及び校正プログラム

Also Published As

Publication number Publication date
JP2021192177A (ja) 2021-12-16
DE112021001833T5 (de) 2023-01-12

Similar Documents

Publication Publication Date Title
JP5954668B2 (ja) 画像処理装置、撮像装置および画像処理方法
US8199202B2 (en) Image processing device, storage medium storing image processing program, and image pickup apparatus
JP4554316B2 (ja) ステレオ画像処理装置
WO2013105381A1 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP5747797B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5318168B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
JP4193342B2 (ja) ３次元データ生成装置
JP4394487B2 (ja) ステレオ画像処理装置
JP2000121319A (ja) 画像処理装置および画像処理方法、並びに提供媒体
WO2021245973A1 (ja) 演算装置、視差探索方法
JP2016070774A (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP4605582B2 (ja) ステレオ画像認識装置及びその方法
JP2018092547A (ja) 画像処理装置、画像処理方法およびプログラム
JP2004245701A (ja) 距離分布検知装置
JP4209647B2 (ja) 画像処理装置および画像処理方法
JPH11125522A (ja) 画像処理装置および方法
JPH06269025A (ja) 多眼式立体映像の符号化方式
WO2018235256A1 (ja) ステレオ計測装置及びシステム
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법
JP2016062447A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP4435525B2 (ja) ステレオ画像処理装置
JP2013190938A (ja) ステレオ画像処理装置
JP7180739B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP2004048263A (ja) 監視装置および監視方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21816644

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21816644

Country of ref document: EP

Kind code of ref document: A1