WO2015097969A1 - 対応点検出装置および対応点検出方法 - Google Patents

対応点検出装置および対応点検出方法 Download PDF

Info

Publication number
WO2015097969A1
WO2015097969A1 PCT/JP2014/005704 JP2014005704W WO2015097969A1 WO 2015097969 A1 WO2015097969 A1 WO 2015097969A1 JP 2014005704 W JP2014005704 W JP 2014005704W WO 2015097969 A1 WO2015097969 A1 WO 2015097969A1
Authority
WO
WIPO (PCT)
Prior art keywords
peak
image
corresponding point
sets
point detection
Prior art date
Application number
PCT/JP2014/005704
Other languages
English (en)
French (fr)
Inventor
覚 大浦
Original Assignee
株式会社ベイビッグ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ベイビッグ filed Critical 株式会社ベイビッグ
Publication of WO2015097969A1 publication Critical patent/WO2015097969A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a corresponding point detection apparatus and a corresponding point detection method for detecting a plurality of corresponding points from a plurality of images.
  • Patent Documents 1 to 4 are documents related to such a technique.
  • Patent Document 1 and Patent Document 2 disclose a method using isoluminance lines. Further, Patent Literature 3 and Patent Literature 4 disclose a method of using data correlation between images.
  • the apparatus can appropriately calculate the distance corresponding to each position on the surface of the subject by using an appropriate corresponding point, and appropriately specify the three-dimensional shape of the surface of the subject. it can.
  • the present invention provides a corresponding point detection apparatus that can detect corresponding points with a low calculation amount and high accuracy.
  • a corresponding point detection device includes a first corresponding point and a second corresponding point corresponding to the same position of a subject from a first image and a second image with different viewpoints.
  • a peak detection unit for detecting a plurality of peak portions respectively corresponding to a peak or a bottom of a pixel value for each parallel line segment in each of the first image and the second image; , By connecting each of the plurality of peak portions detected for each of the parallel line segments to a peak portion of an adjacent parallel line segment, and determining a peak set to each of the first image and the second image And a plurality of peak sets of the second image, a connecting unit that determines a plurality of peak sets, a first peak set that is one of the plurality of peak sets of the first image, and the second peak set of the second image.
  • the corresponding point detection device detects the corresponding point based on the peak portion.
  • the corresponding point detection apparatus can detect the corresponding point with a lower calculation amount than when the isoluminance line is used by using the peak portion.
  • the peak portion is based on the relationship between pixel values between adjacent pixels, the influence of color unevenness between images is reduced.
  • the increase in the number of comparisons of data between images is suppressed by associating peak sets. Therefore, the corresponding point detection apparatus can detect the corresponding point with a small amount of computation and high accuracy.
  • the peak detection unit detects the plurality of peak portions for each of the parallel lines parallel to the epipolar line in each of the first image and the second image
  • the corresponding point detection unit Determining the first corresponding point on the epipolar line of the first image from the first peak set and determining the second corresponding point on the epipolar line of the second image from the second peak set; The corresponding point and the second corresponding point may be detected.
  • the corresponding point detection device can appropriately detect the corresponding point based on the epipolar constraint.
  • the peak detection unit detects the plurality of peak portions for each of the parallel line segments corresponding to the scanning lines scanned with pixel values in each of the first image and the second image. Also good.
  • the corresponding point detection device can efficiently detect the peak portion in the scanning order.
  • the peak detection unit may determine a plurality of peak points corresponding to a peak or a bottom of a pixel value for each parallel line segment in each of the first image and the second image.
  • the connecting unit determines the linear peak set by connecting each of the plurality of peak points detected for each parallel line segment to a peak point of an adjacent parallel line segment.
  • the plurality of linear peak sets may be determined for each of the first image and the second image.
  • the corresponding point detection device can detect the corresponding point with a smaller amount of calculation.
  • the association unit may associate the first peak set with the second peak set based on the length of the first peak set and the length of the second peak set. .
  • the corresponding point detection apparatus can perform the correlation of the peak sets based on the length that is the feature of the peak set.
  • the associating unit includes a longest first peak set among a plurality of peak sets intersecting with a predetermined reference line in the first image and a plurality of peaks intersecting with a predetermined reference line in the second image.
  • the longest second peak set in the set may be associated.
  • the corresponding point detection apparatus can appropriately associate a pair of peak sets having similar characteristics using the length.
  • the peak detection unit includes a plurality of peak line segments each including a point corresponding to a peak or bottom of a pixel value for each of the parallel line segments in each of the first image and the second image.
  • the plurality of peak portions are detected, and the connecting portion connects each of the plurality of peak line segments detected for each parallel line segment to an adjacent parallel line segment peak line segment, and has a region.
  • the plurality of peak sets each having a region may be determined for each of the first image and the second image by determining a peak set.
  • the corresponding point detection device can appropriately detect the corresponding point without being limited to the peak point.
  • the association unit may associate the first peak set with the second peak set based on the size of the first peak set and the size of the second peak set. .
  • the corresponding point detection apparatus can perform the correlation of the peak sets based on the size that is the characteristic of the peak set.
  • the associating unit includes the largest first peak set among a plurality of peak sets intersecting with a predetermined reference line in the first image and a plurality of peaks intersecting with a predetermined reference line in the second image.
  • the largest second peak set in the set may be associated.
  • the corresponding point detection apparatus can appropriately associate a pair of peak sets having similar characteristics using the size.
  • the peak detection unit may include the plurality of peak portions each corresponding to a peak or bottom of a pixel value that is a luminance value for each parallel line segment in each of the first image and the second image. May be detected.
  • the corresponding point detection device can appropriately detect the corresponding point based on the peak portion corresponding to the luminance value.
  • the corresponding point detection apparatus can detect a plurality of corresponding points from a plurality of images with a low calculation amount and high accuracy.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing system according to the first embodiment.
  • FIG. 2 is a diagram illustrating a first example of the imaging method according to the first embodiment.
  • FIG. 3 is a diagram illustrating a second example of the imaging method according to the first embodiment.
  • FIG. 4 is a diagram showing an epipolar line according to the first embodiment.
  • FIG. 5A is a diagram showing a first image according to Embodiment 1.
  • FIG. 5B is a diagram showing a second image according to Embodiment 1.
  • FIG. 6 is a block diagram showing a configuration of the corresponding point detection apparatus according to the first embodiment.
  • FIG. 7 is a flowchart showing the operation of the corresponding point detection apparatus according to the first embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing system according to the first embodiment.
  • FIG. 2 is a diagram illustrating a first example of the imaging method according to the first embodiment.
  • FIG. 3 is a diagram illustrating
  • FIG. 8A is a diagram showing luminance on the epipolar line of the first image according to Embodiment 1.
  • FIG. 8B is a diagram showing luminance on the epipolar line of the second image according to Embodiment 1.
  • FIG. 9 is a diagram showing a peak set according to the first embodiment.
  • 10A is a diagram showing a peak set of the first image according to Embodiment 1.
  • FIG. 10B is a diagram showing a peak set of the second image according to Embodiment 1.
  • FIG. 11 is a diagram showing a peak set according to the second embodiment.
  • FIG. 12A is a diagram showing a peak set of the first image according to the second embodiment.
  • FIG. 12B is a diagram showing a peak set of the second image according to Embodiment 2.
  • FIG. 13A is a diagram showing a peak set of the first image according to Embodiment 3.
  • FIG. 13B is a diagram showing a peak set of the second image according to Embodiment 3.
  • FIG. 14 is a diagram illustrating a first example of the association method according to the third embodiment.
  • FIG. 15 is a diagram illustrating a second example of the association method according to the third embodiment.
  • FIG. 16A is a diagram showing a peak set of the first image according to Embodiment 4.
  • FIG. 16B is a diagram showing a peak set of the second image according to Embodiment 4.
  • FIG. 17 is a diagram illustrating an association method according to the fourth embodiment.
  • FIG. 1 is a block diagram showing a configuration of an image processing system according to the present embodiment.
  • the image processing system 100 includes an imaging device 110, a corresponding point detection device 120, a shape calculation device 130, and a display device 140.
  • the imaging device 110 acquires a plurality of images with different viewpoints.
  • the imaging device 110 may include a plurality of cameras such as a stereo camera, and may acquire a plurality of images by the plurality of cameras.
  • the imaging device 110 may include a single camera that moves and acquire a plurality of images using the single camera that moves.
  • the imaging apparatus 110 may include a plurality of moving cameras, and may acquire a plurality of images using the plurality of moving cameras.
  • Corresponding point detection device 120 detects a plurality of corresponding points corresponding to each other from a plurality of images having different viewpoints.
  • Corresponding points are points included in each image and are points indicating the same position of the subject.
  • Corresponding points appear at different positions for each image according to the difference in viewpoint.
  • the shape calculation device 130 calculates the actual position of the subject based on the position of the corresponding point detected for each image by the corresponding point detection device 120.
  • the shape calculation device 130 may use information such as the camera position, angle, and setting parameters. Then, the shape calculation device 130 calculates the surface shape of the subject by calculating a plurality of positions on the surface of the subject based on the plurality of corresponding points.
  • the shape calculating device 130 can calculate more positions on the surface of the subject. Thereby, the shape calculation apparatus 130 can calculate the surface shape of the subject more accurately. Further, the shape calculation device 130 generates an image (stereoscopic image) indicating the surface shape of the subject, and displays the generated image on the display device 140.
  • Corresponding point detection device 120 may include imaging device 110, shape calculation device 130, and display device 140.
  • FIG. 2 is a diagram illustrating a first example of an imaging method performed by the imaging device 110 illustrated in FIG.
  • the imaging device 110 includes two cameras arranged in parallel so that the optical axes are parallel, and images the subject by the two cameras. Thereby, two images with different viewpoints are obtained.
  • FIG. 3 is a diagram showing a second example of the imaging method by the imaging device 110 shown in FIG.
  • the imaging device 110 includes one moving camera, and images the subject a plurality of times with the one moving camera. Thereby, a plurality of images having different viewpoints are obtained.
  • a plurality of images obtained by the imaging method shown in FIG. 2 may be used, or a plurality of images obtained by the imaging method shown in FIG. 3 may be used.
  • a plurality of epipolar lines included in each of the two images obtained by the imaging method of FIG. 2 are parallel.
  • a plurality of epipolar lines included in each of the two images obtained by the imaging method of FIG. 3 are not parallel.
  • FIG. 4 is a diagram showing epipolar lines.
  • a plane passing through the first viewpoint position p1, the second viewpoint position p2, and the subject position p3 is an epipolar plane.
  • An intersection line between the epipolar plane and the image plane (projection plane) is an epipolar line.
  • This definition is an example, and equivalent epipolar planes and epipolar lines may be defined using different expressions.
  • the imaging apparatus 110 may correct two images so that a plurality of epipolar lines included in each of the two images are parallel to each other in the relationship between the two images obtained by the imaging method of FIG. Then, the imaging device 110 may provide the two corrected images to the corresponding point detection device 120. Such correction may be performed by a separate dedicated device.
  • the corresponding point detection device 120 may include a correction unit that performs such correction.
  • the imaging device 110 includes two cameras that are arranged in parallel vertically so that their optical axes are parallel and move left and right (circumferentially), and the subject is composed of two cameras that move left and right (circumferentially). May be imaged. Thereby, a plurality of pairs of images can be obtained from various angles.
  • the image processing system 100 can more accurately calculate the surface shape of the subject by using a plurality of pairs of images obtained from various angles.
  • FIG. 5A and 5B show two images obtained by the imaging device 110.
  • FIG. Two viewpoints corresponding to the two images are different from each other. That is, the two images have parallax. Based on this parallax, the same position of the subject appears at different positions in the two images. A point indicating the same position of the subject in each image is a corresponding point.
  • corresponding points corresponding to the same position of the subject appear on a set of epipolar lines that share the epipolar plane in a set (one pair) of images. Another corresponding point corresponding to another same position may appear on another set of epipolar lines sharing another epipolar plane.
  • the corresponding point detection device 120 detects corresponding points from, for example, the region 301 including the epipolar line illustrated in FIG. 5A and the region 302 including the epipolar line illustrated in FIG. 5B. To do. Epipolar lines and regions 301 and 302 may be determined in advance or may be searched before detection of corresponding points.
  • the epipolar line may be determined in advance based on the position and angle of the viewpoint.
  • Corresponding point detection device 120 may search similar regions 301 and 302 by pattern matching for each block before detecting corresponding points. Another device may perform such a search. Note that the corresponding point detection device 120 is not limited to the regions 301 and 302, and the corresponding points are detected from the entire region of the first image shown in FIG. 5A and the entire region of the second image shown in FIG. 5B. May be detected.
  • the region 301 of the first image shown in FIG. 5A may simply be called a first image
  • the region 302 of the second image shown in FIG. 5B may be simply called a second image.
  • FIG. 6 is a block diagram showing a configuration of the corresponding point detection device 120 shown in FIG.
  • the corresponding point detection device 120 includes a peak detection unit 121, a connection unit 122, an association unit 123, and a corresponding point detection unit 124.
  • they are each implemented by a dedicated or general purpose circuit.
  • these may be mounted by one circuit and may be mounted by a plurality of circuits.
  • the operation of each component will be described.
  • FIG. 7 is a flowchart showing the operation of the corresponding point detection apparatus 120 shown in FIG.
  • the peak detection unit 121 detects a plurality of peak portions for each parallel line segment in each of the plurality of images input to the corresponding point detection device 120 (S101).
  • the peak portion is a peak point corresponding to the peak of the pixel value.
  • the peak point may correspond to the bottom of the pixel value.
  • the peak and the bottom mean a maximum and a minimum. Therefore, a plurality of peak portions are detected from one line segment.
  • the pixel value may be a luminance (luminance value) or a color difference (color difference value).
  • the pixel value may be a value of a color component expressed in RGB format.
  • the parallel line segment is a line segment parallel to the epipolar line.
  • the parallel line segment is not limited to being parallel to the epipolar line.
  • the parallel line segment may be a line segment along the scanning line. That is, the peak detector 121 may detect a peak portion for each scanning line.
  • the connecting unit 122 determines a peak set by connecting each of a plurality of peak portions detected for each parallel line segment to a peak portion of an adjacent parallel line segment, thereby a plurality of peak sets in each image. Is determined (S102).
  • the associating unit 123 associates the plurality of peak sets of the first image and the plurality of peak sets of the second image as a plurality of peak sets (S103). At that time, the associating unit 123 associates one of the plurality of peak sets included in the first image with one of the plurality of peak sets included in the second image as one set of peak sets.
  • the associating unit 123 has the highest similarity to the first peak set among the plurality of peak sets included in the first image and the plurality of peak sets included in the second image. Correlate two peak sets.
  • the degree of similarity may be based on the position of the peak set or may be based on the shape of the peak set.
  • the corresponding point detection unit 124 detects a corresponding point from each of the two peak sets associated in the first image and the second image (S104). That is, the corresponding point detection unit 124 detects one set of corresponding points from one set of peak sets.
  • the corresponding point detection device 120 can detect an appropriate corresponding point from each of the first image and the second image. Details of the operation will be specifically shown below.
  • FIG. 8A is a diagram showing the luminance on the epipolar line of the first image.
  • FIG. 8B is a diagram illustrating the luminance on the epipolar line of the second image.
  • peak points 411 and 412 exist on the epipolar line of the first image.
  • peak points 421, 422, and 423 exist on the epipolar line of the second image.
  • one peak point of the first image and one peak point of the second image correspond to the same position of the subject. That is, one peak point of the first image and one peak point of the second image are assumed to be corresponding points.
  • the corresponding point detection device 120 determines a peak set by connecting each peak point to a peak point detected by another parallel line segment. Then, the corresponding point detection device 120 detects an appropriate corresponding point based on the association of the peak sets between the images.
  • FIG. 9 is a diagram showing a peak set according to the present embodiment.
  • the peak detection unit 121 detects a plurality of peak points according to a change in luminance on one line segment along the X direction.
  • the peak detection part 121 detects a some peak point according to the change of the brightness
  • the peak detector 121 repeats such an operation to detect a plurality of peak points in each of a plurality of line segments along the X direction.
  • the connection part 122 connects the some peak point contained in a some line segment.
  • the connecting unit 122 connects the first peak point included in the first line segment to the second peak point included in the second line segment.
  • the first line segment and the second line segment are each one of a plurality of line segments along the X direction and are adjacent to each other.
  • the first peak point is one of a plurality of peak points included in the first line segment.
  • the second peak point is a peak point within a predetermined range from the first peak point among the plurality of peak points included in the second line segment.
  • the connecting unit 122 repeats the above operation, connects a plurality of peak points, and determines a plurality of peak sets.
  • a plurality of peak sets are represented by linear trajectories.
  • FIG. 10A is a diagram illustrating an example of a plurality of peak sets of the first image.
  • FIG. 10B is a diagram illustrating an example of a plurality of peak sets of the second image.
  • the first image includes a plurality of peak sets 511, 512, 513, 514, 515 and 516.
  • the second image includes a plurality of peak sets 521, 522, 523, 524, 525, and 526.
  • the associating unit 123 associates two peak sets based on the position of each peak set. Specifically, the associating unit 123 searches the peak set closest to the position of the peak set 511 in the first image from the plurality of peak sets 521, 522, 523, 524, 525, and 526 in the second image. Of the plurality of peak sets 521, 522, 523, 524, 525 and 526 in the second image, the position of the peak set 521 is closest to the position of the peak set 511 in the first image.
  • the associating unit 123 associates the peak set 511 with the peak set 521. Similarly, the associating unit 123 associates the peak set 512 with the peak set 522, associates the peak set 513 with the peak set 523, associates the peak set 514 with the peak set 524, and associates the peak set 515 with the peak set 524.
  • the set 525 is associated, and the peak set 516 and the peak set 526 are associated.
  • the association unit 123 may associate a plurality of peak sets based on relative positions instead of the absolute positions of the peak sets.
  • a set of corresponding points indicating the same position of the subject may appear at different positions in each image.
  • the relative positional relationship between the plurality of corresponding points in the first image matches the relative positional relationship between the plurality of corresponding points in the second image.
  • the associating unit 123 determines a plurality of peak sets based on the absolute position in the vertical direction and the relative position in the horizontal direction of each peak set. You may associate.
  • the association unit 123 may associate a plurality of peak sets based on the similarity of the shapes of the plurality of peak sets.
  • the corresponding point detection unit 124 detects the peak point 411 and the peak point 421 as corresponding points from the corresponding peak set 513 and peak set 523, respectively. Also, the peak point 412 and the peak point 423 are detected as corresponding points from the peak set 515 and the peak set 525 that are associated with each other.
  • the corresponding point detection device 120 can appropriately detect a plurality of sets of corresponding points on a set of epipolar lines in a set of images based on the correspondence between a plurality of sets of peak sets. .
  • the corresponding point detection device 120 according to the present embodiment can appropriately detect a set of corresponding points from a large number of peak points based on the association of peak sets.
  • a large number of peaks appear on the epipolar line of the image obtained by imaging the face according to the large number of pores.
  • the corresponding point detection device 120 can detect a large number of corresponding points using such a large number of peaks. That is, the corresponding point detection device 120 can appropriately detect a number of corresponding points for detecting the surface shape of the face with high accuracy.
  • the corresponding point detection device 120 may detect the corresponding point without using the epipolar line.
  • the peak detection unit 121 may detect a peak portion in each of a plurality of scanning lines regardless of the epipolar line.
  • the connecting unit 122 and the associating unit 123 connect a plurality of peak portions and associate a plurality of peak sets with the same procedure as described above.
  • the corresponding point detection unit 124 detects a set of corresponding points from a set of peaks regardless of the epipolar line.
  • the corresponding point detecting unit 124 may detect the point having the maximum pixel value from the peak set represented by the linear trajectory as the corresponding point. . Alternatively, the corresponding point detection unit 124 may detect the center of the peak set as a corresponding point. Alternatively, the corresponding point detection unit 124 may detect the center of the peak set as a corresponding point regardless of whether or not it is within the peak set.
  • the corresponding point detection unit 124 may detect the center of gravity of the peak set as the corresponding point.
  • the center of gravity detected as the corresponding point may be based on a predetermined weight determined arbitrarily.
  • the weighting may be based on each pixel value (each luminance) in the peak set, may be based on a distance from the end or center of the peak set, or may be based on a combination thereof.
  • the center of gravity based on weighting is also called a weighted center of gravity, and the method of determining the center of gravity based on weighting is also called a weighted center of gravity method.
  • the peak detection unit 121 may detect not only the peak point corresponding to the peak but also the peak point (bottom point) corresponding to the bottom. As a result, more peak sets are identified and more corresponding points are detected.
  • the peak detector 121 may further detect a half-value position between the peak and the bottom as a peak point corresponding to the peak. As a result, more peak sets are identified, and more corresponding points are detected.
  • the corresponding point detection unit 124 may detect the half-value positions in the four directions of the corresponding points as new corresponding points. Thereby, more corresponding points are detected.
  • Corresponding point detection apparatus 120 searches regions 301 and 302 similar to each other from the first image and the second image shown in FIGS. 5A and 5B, and detects regions 301 and 302 as corresponding point detection targets. You may provide the area
  • the area determination unit may search for a face area from the first image and the second image, and determine the face area as a detection target area of the corresponding point. Then, each component of the corresponding point detection device 120 may perform the above-described process only in the searched face area. Thereby, the corresponding point detection apparatus 120 can detect corresponding points in the face region while suppressing the processing amount.
  • the corresponding point detection device 120 can appropriately detect a plurality of sets of corresponding points based on the above-described operation.
  • Embodiment 2 Next, an image processing system and corresponding point detection apparatus according to Embodiment 2 will be described.
  • the basic configuration and operation of the image processing system and corresponding point detection apparatus according to the present embodiment are the same as the configuration and operation of the first embodiment shown in FIGS.
  • the image processing system and the corresponding point detection apparatus according to the present embodiment will be described using the configuration shown in FIGS.
  • a peak set composed of a plurality of peak points is used for detecting corresponding points.
  • the corresponding point does not always coincide with the peak point.
  • the second corresponding point corresponding to the first corresponding point may be slightly shifted from the peak point of the second image. Therefore, the corresponding point detection apparatus 120 according to the present embodiment detects a corresponding point using a peak set including a position that is not a peak point.
  • FIG. 11 is a diagram showing a peak set according to the present embodiment.
  • a plurality of peak points in a plurality of parallel line segments are connected to determine a linear peak set.
  • a plurality of peak line segments in a plurality of parallel line segments are connected to determine a peak set having a region.
  • the peak line segment is a line segment from the generation to the disappearance of the portion forming the pixel value peak in the parallel line segment.
  • the peak line segment is a line segment between the start of increase in luminance and the end of decrease along the X direction.
  • the peak line segment may be a line segment corresponding to a range between two inflection points on both sides of the peak.
  • the peak line segment may be a line segment corresponding to a range between two points where two tangents to the two inflection points on both sides of the peak intersect the specified line.
  • the prescribed line corresponds to a predetermined luminance.
  • the peak line segment may be a portion having a luminance larger than the luminance moving average.
  • the moving average of the luminance corresponds to an average at a predetermined interval or a smoothed luminance.
  • the peak line segment may be a portion having a luminance larger than a predetermined luminance.
  • the peak line segment may be a portion having a luminance larger than a threshold value set between a peak value and a bottom value adjacent to the peak.
  • the peak line segment may correspond to the bottom. That is, the peak line segment may be a line segment from the generation to the disappearance of the portion forming the bottom of the pixel value in the parallel line segment. Specifically, for example, the peak line segment may be a line segment from when the luminance starts decreasing until the increase ends along the X direction. The peak line segment may be a line segment corresponding to a range between two inflection points on both sides of the bottom. Alternatively, the peak line segment may be a line segment corresponding to a range between two points where two tangents corresponding to the two inflection points on both sides of the bottom intersect the specified line.
  • the peak line segment may be a portion having a luminance smaller than the moving average of luminance.
  • the peak line segment may be a portion having a luminance smaller than a predetermined luminance.
  • the peak line segment may be a portion having a luminance smaller than a threshold value set between a bottom value and a peak value adjacent to the bottom.
  • the peak line segment may have a half width.
  • the full width at half maximum may be obtained from a peak value, a bottom value, and the like.
  • the peak detector 121 detects a plurality of peak segments for each parallel segment.
  • the connection part 122 connects each peak line segment with the peak line segment of an adjacent parallel line segment, and determines a peak set.
  • the connecting unit 122 connects the peak line segment to the peak line segment within a predetermined range.
  • FIG. 12A is a diagram showing a plurality of peak sets of the first image.
  • FIG. 12B is a diagram showing a plurality of peak sets of the second image.
  • the first image includes a plurality of peak sets 611, 612, 613, 614, 615, and 616.
  • the second image includes a plurality of peak sets 621, 622, 623, 624, 625, and 626.
  • the association unit 123 can associate the peak set 611 and the peak set 621 with the same method as in the first embodiment. Similarly, the associating unit 123 associates the peak set 612 with the peak set 622, associates the peak set 613 with the peak set 623, associates the peak set 614 with the peak set 624, and associates the peak set 615 with the peak set 615.
  • the set 625 can be associated, and the peak set 616 and the peak set 626 can be associated.
  • the associating unit 123 may associate the two peak sets based on the overlapping of the relative positions of the two peak sets in the two images.
  • Corresponding point detection unit 124 detects a set of corresponding points from the associated peak set 613 and peak set 623. A pair of corresponding points is detected from the peak set 615 and the peak set 625 that are associated with each other.
  • each corresponding point may be the center of a line segment where a peak set and an epipolar line intersect.
  • Each corresponding point may be a point having the maximum pixel value among the line segments where the peak set and the epipolar line intersect.
  • the corresponding point detection device 120 may detect the corresponding point without using the epipolar line.
  • the corresponding point detection unit 124 may detect a point having the maximum pixel value in the peak set region as a corresponding point.
  • the corresponding point detection unit 124 may detect the center of the peak set as a corresponding point regardless of whether or not it is within the peak set.
  • the corresponding point detection unit 124 may detect the center of gravity of the peak set as the corresponding point.
  • the center of gravity detected as the corresponding point may be based on a predetermined weight determined arbitrarily.
  • the weighting may be based on each pixel value (each luminance) in the peak set, may be based on a distance from the end or center of the peak set, or may be based on a combination thereof.
  • the center of gravity based on weighting is also called a weighted center of gravity, and the method of determining the center of gravity based on weighting is also called a weighted center of gravity method.
  • the corresponding point detection unit 124 detects the half-value positions in the four directions of the corresponding points as new corresponding points. Also good. Thereby, more corresponding points are detected.
  • the corresponding point detection device 120 can appropriately detect a plurality of sets of corresponding points based on the above-described operation.
  • Embodiment 3 Next, an image processing system and corresponding point detection apparatus according to Embodiment 3 will be described.
  • the basic configuration and operation of the image processing system and corresponding point detection apparatus according to the present embodiment are the same as the configuration and operation of the first embodiment shown in FIGS. 1 to 10B.
  • the image processing system and the corresponding point detection apparatus according to the present embodiment will be described using the configuration shown in FIGS.
  • the present embodiment shows a method for associating the peak set of the first image with the peak set of the second image.
  • FIG. 13A is a diagram showing an example of a plurality of peak sets of the first image according to the present embodiment.
  • FIG. 13B is a diagram showing an example of a plurality of peak sets of the second image according to the present embodiment.
  • the first image includes a plurality of peak sets 811 to 822.
  • the second image includes a plurality of peak sets 831 to 842.
  • the plurality of peak sets 811 to 822 and 831 to 842 are determined by the connecting unit 122.
  • Each of the plurality of peak points 711 to 718 shown in FIG. 13A corresponds to a luminance peak on the epipolar line in the first image.
  • a plurality of peak points 721 to 728 shown in FIG. 13B correspond to luminance peaks on the epipolar line in the second image, respectively.
  • the epipolar line in the first image shown in FIG. 13A and the epipolar line in the second image shown in FIG. 13B are a pair of epipolar lines on one and the same epipolar plane.
  • the plurality of peak sets 811 to 818 include a plurality of peak points 711 to 718, respectively.
  • the plurality of peak sets 831 to 838 includes a plurality of peak points 721 to 728, respectively.
  • the associating unit 123 associates one of the plurality of peak sets 811 to 822 of the first image with one of the plurality of peak sets 831 to 842 of the second image. At this time, the associating unit 123 may use information on a plurality of peak points 711 to 718 and 721 to 728.
  • the corresponding points in the second image corresponding to the points on the epipolar line of the first image are assumed to be points on the epipolar line of the second image.
  • the corresponding point corresponding to the peak point in the first image in the second image is assumed to be the peak point in the second image.
  • the corresponding point in the second image corresponding to the peak point on the epipolar line of the first image is assumed to be the peak point on the epipolar line of the second image. That is, one of the plurality of peak points 711 to 718 of the first image and one of the plurality of peak points 721 to 728 of the second image are assumed to be a pair of corresponding points corresponding to each other.
  • the associating unit 123 determines a pair of corresponding points that are a pair of peak points on a pair of epipolar lines. A pair of peak sets each including the determined pair of corresponding points is associated with each other. The association unit 123 can associate another pair of peak sets with each other based on a relative position (distance) from the pair of peak sets associated with each other.
  • FIG. 14 is a diagram illustrating a first example of the association method according to the present embodiment.
  • the magnitude of luminance is used.
  • a luminance curve 710 is a curve indicating the magnitude of luminance on the epipolar line of the first image.
  • the luminance curve 710 includes a plurality of peaks at a plurality of peak points 711 to 718.
  • a luminance curve 720 is a curve indicating the magnitude of luminance on the epipolar line of the second image.
  • the luminance curve 720 includes a plurality of peaks at a plurality of peak points 721 to 728.
  • the associating unit 123 may determine a pair of peak points having the largest feature (feature amount) in the luminance curve 710 and the luminance curve 720 as a pair of corresponding points. Specifically, the luminance at the peak point 714 is the highest in the luminance curve 710. In the luminance curve 720, the luminance at the peak point 723 is the highest. Therefore, the associating unit 123 may determine the peak point 714 and the peak point 723 as a pair of corresponding points.
  • the associating unit 123 determines the peak point 714 having the highest luminance in the epipolar line of the first image and the peak point 723 having the highest luminance in the epipolar line of the second image as a pair of corresponding points. May be.
  • the associating unit 123 increases the accuracy based on the degree of coincidence between the luminance of the peak points 713 and 715 adjacent to the peak point 714 and the luminance of the peak points 722 and 724 adjacent to the peak point 723. It may be determined whether or not the peak point 723 is a pair of corresponding points.
  • the associating unit 123 associates the peak set 814 including the peak point 714 with the peak set 833 including the peak point 723.
  • the association unit 123 can associate another pair of peak sets with each other based on the relative position from the peak set 814 or the peak set 833.
  • the associating unit 123 associates the peak set 815 on the right side of the peak set 814 with the peak set 834 on the right side of the peak set 833. Similarly, the associating unit 123 associates the peak set 816 with the peak set 835, associates the peak set 817 with the peak set 836, and associates the peak set 818 with the peak set 837.
  • the associating unit 123 associates the peak set 813 on the left side of the peak set 814 with the peak set 832 on the left side of the peak set 833. Similarly, the associating unit 123 associates the peak set 812 with the peak set 831.
  • the associating unit 123 assigns a peak set 821 and a peak set 839 that do not intersect with the epipolar lines based on the relative positions from the plurality of associated peak sets 812 to 818 and 831 to 837, respectively. You may associate. Similarly, the association unit 123 may associate the peak set 822 and the peak set 840 with each other.
  • the associating unit 123 associates a pair of peak sets with each other using a pair of peak points having the largest feature.
  • the associating unit 123 may perform pattern matching between the waveform of the luminance curve 710 and the waveform of the luminance curve 720 to determine a plurality of pairs of peak sets.
  • window processing may be performed in consideration of distortion.
  • the peak interval on the epipolar line of the first image is different from the peak interval on the epipolar line of the second image due to parallax. Waveform pattern matching may not be performed properly due to differences in peak intervals. Therefore, the associating unit 123 may modify the luminance curve 710 and the luminance curve 720 so that peaks appear at regular intervals. Thereby, the associating unit 123 can perform appropriate pattern matching between the waveform of the luminance curve 710 and the waveform of the luminance curve 720.
  • the luminance pattern 911 in the luminance curve 710 matches the luminance pattern 912 in the luminance curve 720. Therefore, the peak points 715, 716, and 717 in the pattern 911 correspond to the peak points 724, 725, and 726 in the pattern 912, respectively. Therefore, the associating unit 123 can associate the peak sets 815, 816, and 817 with the peak sets 834, 835, and 836, respectively.
  • the association unit 123 can associate another pair of peak sets with each other based on the pair of peak sets associated with each other. Therefore, the associating unit 123 can determine a plurality of pairs of peak sets also by pattern matching.
  • Corresponding point detection unit 124 detects a pair of corresponding points from a pair of peak sets associated with each other. For example, the corresponding point detection unit 124 detects a pair of peak points on a pair of epipolar lines as a pair of corresponding points. The corresponding point detection unit 124 may detect not only the epipolar line but also the center, center, centroid, weighted centroid, and the like of the peak set as corresponding points as in the first embodiment.
  • the corresponding point detection device 120 uses a pair of epipolar lines.
  • a pair of epipolar lines may not be obtained accurately. Therefore, the corresponding point detection device 120 may use not only a pair of epipolar lines but also a pair of reference lines.
  • the pair of reference lines is a pair of straight lines having the same relative position in the first image and the second image. More specifically, the pair of reference lines may be a pair of central horizontal lines in the two images. The pair of reference lines may coincide with the pair of epipolar lines or may coincide with the scanning lines.
  • the imaging device 110 may include an irradiation unit that irradiates the subject with a light beam or the like when imaging the subject.
  • the corresponding point detection device 120 may include an extraction unit that extracts a pair of reference lines based on light rays or the like reflected in the pair of images.
  • the peak detection unit 121 may extract a pair of reference lines, or other components may extract a pair of reference lines.
  • the imaging device 110 may include an irradiation unit.
  • Corresponding points corresponding to the peak point on the reference line of the first image in the second image are likely to exist on the reference line of the second image or near the reference line of the second image. For this reason, the corresponding point detection device 120 can associate peak points using a reference line and associate peak sets as in the case of using epipolar lines. Further, the corresponding point detection device 120 can detect the corresponding point more appropriately, not only on the epipolar line, by detecting the center, center, center of gravity, or weighted center of gravity of the peak set as the corresponding point.
  • the corresponding point detection device 120 shifts a pair of reference lines in the first image and the second image, and sets a peak set that intersects the reference line of the first image and a peak set that intersects the reference line of the second image. You may associate. As a result, the peak set is appropriately associated with the entire first image and second image.
  • the corresponding point detection device 120 can appropriately determine a plurality of pairs of peak sets and appropriately detect a plurality of pairs of corresponding points.
  • the luminance is directly used in associating peak sets.
  • the luminance may change depending on the viewpoint. Therefore, there is a possibility that appropriate association is not performed.
  • the corresponding point detection device 120 may use the feature (feature amount) of the peak set instead of the luminance. If the features of the peak set of the first image and the features of the peak set of the second image match, it is assumed that these peak sets correspond to the same part of the subject. Therefore, the associating unit 123 has the largest feature among the plurality of peak sets intersecting with the epipolar line of the first image and the largest peak set among the plurality of peak sets intersecting with the epipolar line of the second image. A peak set may be associated.
  • the longest peak set among the plurality of peak sets intersecting with the epipolar line of the first image and the longest peak set among the plurality of peak sets intersecting with the epipolar line of the second image are the same part of the subject. It is assumed that Therefore, the associating unit 123 associates the longest peak set among the plurality of peak sets intersecting with the epipolar line of the first image and the longest peak set among the plurality of peak sets intersecting with the epipolar line of the second image. May be.
  • the deviation between the first image and the second image is large with respect to the direction along the epipolar line. Conversely, the deviation is small with respect to the direction perpendicular to the epipolar line. Therefore, the length in the vertical direction may be used for the feature of the peak set. Thereby, the degree of coincidence between the two peak sets is more accurately determined.
  • FIG. 15 is a diagram illustrating a second example of the association method according to the present embodiment.
  • the length of the peak set is used.
  • the upper graph shows the length of each of a plurality of peak sets 811 to 818 intersecting with the epipolar line of the first image.
  • the lower graph shows the length of each of a plurality of peak sets 831 to 838 that intersect the epipolar line of the second image.
  • the length shown in FIG. 15 may be a length in a predetermined direction.
  • the length may be a vertical length.
  • the peak set 814 is the longest of the peak sets 811 to 818.
  • the peak set 832 is the longest of the peak sets 831 to 838. Therefore, the associating unit 123 associates the peak set 814 with the peak set 832.
  • the associating unit 123 may associate a pair of peaks having the shortest length with each other. For example, the associating unit 123 may associate the peak set 814 with the peak set 832 having a length closest to the length of the peak set 814.
  • the association unit 123 may compare the lengths of the peak sets 813 and 815 adjacent to the peak set 814 with the lengths of the peak sets 831 and 833 adjacent to the peak set 832 in order to improve accuracy. Then, the associating unit 123 determines whether to associate the peak set 814 with the peak set 832 based on the degree of coincidence between the lengths of the peak sets 813 and 815 and the lengths of the peak sets 831 and 833. Good.
  • the associating unit 123 performs pattern matching between a plurality of peak set length patterns of the first image and a plurality of peak set length patterns of the second image, so that a plurality of pairs of peaks are obtained.
  • a set may be determined.
  • window processing may be performed in consideration of distortion.
  • the associating unit 123 may arrange a plurality of peak sets at equal intervals in the X direction. Thereby, the matching part 123 can perform suitable pattern matching.
  • the peak set length pattern 921 in the first image matches the peak set length pattern 922 in the second image. Therefore, the peak sets 815, 816, and 817 in the pattern 921 correspond to the peak sets 833, 834, and 835 in the pattern 922, respectively. Therefore, the associating unit 123 associates the peak sets 815, 816, and 817 with the peak sets 833, 834, and 835, respectively.
  • the associating unit 123 can associate another pair of peak sets with each other based on the pair of peak sets associated with each other.
  • the corresponding point detection unit 124 detects a pair of corresponding points from the pair of peak sets.
  • the corresponding point detection unit 124 may detect not only the epipolar line but also the center, center, center of gravity, or weighted center of gravity of the peak set as corresponding points.
  • the corresponding point detection device 120 is not limited to a pair of epipolar lines, and may use a pair of reference lines.
  • the associating unit 123 uses the feature of the peak set extending in the vertical direction, even when there is a vertical deviation between the first image and the second image, Correspondence can be performed appropriately.
  • the corresponding point detection device 120 includes a peak set intersecting the reference line of the first image while shifting a pair of reference lines in the first image and the second image.
  • the peak set that intersects the reference line of the second image may be associated. Thereby, appropriate association of peak sets is performed.
  • the corresponding point detection device 120 can appropriately determine a plurality of pairs of peaks and appropriately detect a plurality of pairs of corresponding points. Further, the corresponding point detection device 120 can appropriately perform the peak set association by using the feature of the peak set.
  • the length of the peak set is an example of the characteristics of the peak set, and other characteristics of the peak set may be used.
  • Embodiment 4 Next, an image processing system and a corresponding point detection apparatus according to Embodiment 4 will be described.
  • the basic configuration and operation of the image processing system and corresponding point detection apparatus according to the present embodiment are the same as the configuration and operation of the first embodiment shown in FIGS. 1 to 7, and FIGS.
  • the configuration and operation of the second embodiment shown in 12B and the like are the same.
  • the present embodiment shows a method for associating the peak set of the first image with the peak set of the second image.
  • the method of associating the peak set of the first image with the peak set of the second image using the length of each peak set is shown.
  • a method of associating the peak set of the first image with the peak set of the second image using the size of each peak set is shown.
  • FIG. 16A is a diagram showing an example of a plurality of peak sets of the first image according to the present embodiment.
  • FIG. 16B is a diagram showing an example of a plurality of peak sets of the second image according to the present embodiment.
  • the first image includes a plurality of peak sets 851 to 862.
  • the second image includes a plurality of peak sets 871 to 882.
  • the plurality of peak sets 851 to 862 and 871 to 882 are determined by the connecting unit 122.
  • the plurality of peak points 711 to 718 shown in FIG. 16A respectively correspond to luminance peaks on the epipolar line in the first image.
  • the plurality of peak points 721 to 728 shown in FIG. 16B correspond to luminance peaks on the epipolar line in the second image, respectively.
  • the epipolar line in the first image shown in FIG. 16A and the epipolar line in the second image shown in FIG. 16B are a pair of epipolar lines on one and the same epipolar plane.
  • the plurality of peak sets 851 to 858 include a plurality of peak points 711 to 718, respectively. Further, the plurality of peak sets 871 to 878 include a plurality of peak points 721 to 728, respectively.
  • the associating unit 123 associates one of the plurality of peak sets 851 to 862 of the first image with one of the plurality of peak sets 871 to 882 of the second image using the characteristics of each peak set. .
  • the associating unit 123 may perform associating based on the first example according to the third embodiment. That is, the associating unit 123 may perform associating by directly using the luminance on the epipolar line. Alternatively, the association unit 123 may perform association using the features of the peak set.
  • the size of the peak set is used as the feature of the peak set instead of the length of the peak set used as the feature of the peak set in the third embodiment. Except for the difference in length and size, the peak sets are associated as in the third embodiment.
  • the size of the peak set may be the size in the direction perpendicular to the epipolar line.
  • FIG. 17 is a diagram showing an association method according to the present embodiment.
  • the area (size) of the peak set is used.
  • the upper graph shows the area of each of a plurality of peak sets 851 to 858 that intersect the epipolar line of the first image.
  • the lower graph shows the area of each of a plurality of peak sets 871 to 878 intersecting with the epipolar line of the second image.
  • the peak set 854 is the largest of the peak sets 851 to 858.
  • the peak set 872 is the largest of the peak sets 871 to 878. Therefore, the associating unit 123 associates the peak set 854 with the peak set 872.
  • the associating unit 123 may associate a pair of peaks having the closest area with each other. For example, the association unit 123 may associate the peak set 854 with the peak set 872 having an area closest to the area of the peak set 854.
  • the association unit 123 may compare the areas of the peak sets 853 and 855 adjacent to the peak set 854 with the areas of the peak sets 871 and 873 adjacent to the peak set 872 in order to improve accuracy. Then, the associating unit 123 determines whether to associate the peak set 854 with the peak set 872 based on the degree of coincidence between the areas of the peak sets 853 and 855 and the areas of the peak sets 871 and 873. Good.
  • the associating unit 123 performs pattern matching between the pattern of the area of the plurality of peak sets of the first image and the pattern of the area of the plurality of peak sets of the second image, thereby obtaining a plurality of pairs of peak sets. You may decide.
  • the association unit 123 may arrange a plurality of peak sets at equal intervals in the X direction in order to appropriately perform pattern matching. Further, window processing may be performed in consideration of distortion.
  • the peak set area pattern 931 in the first image matches the peak set area pattern 932 in the second image. Accordingly, the peak sets 855, 856, and 857 in the pattern 931 correspond to the peak sets 873, 874, and 875 in the pattern 932, respectively. Therefore, the association unit 123 associates the peak sets 855, 856, and 857 with the peak sets 873, 874, and 875, respectively.
  • the associating unit 123 can associate another pair of peak sets with each other based on the pair of peak sets associated with each other.
  • the corresponding point detection unit 124 detects a pair of corresponding points from the pair of peak sets.
  • the corresponding point detection unit 124 may detect not only the epipolar line but also the center, center, center of gravity, or weighted center of gravity of the peak set as corresponding points.
  • the corresponding point detection device 120 is not limited to a pair of epipolar lines, and may use a pair of reference lines.
  • the associating unit 123 uses the feature of the peak set extending in the vertical direction, even when there is a vertical deviation between the first image and the second image, Correspondence can be performed appropriately.
  • the corresponding point detection device 120 shifts a pair of reference lines in the first image and the second image while shifting the pair of reference lines in the first image and the second image.
  • a peak set that intersects the reference line may be associated. Thereby, appropriate association of peak sets is performed.
  • the corresponding point detection device 120 can appropriately determine a plurality of pairs of peaks and appropriately detect a plurality of pairs of corresponding points.
  • the corresponding point detection device 120 can appropriately associate the peak sets by using the size of the peak set as the feature of the peak set.
  • the corresponding point detection device has been described based on a plurality of embodiments, but the present invention is not limited to the embodiments. Embodiments obtained by subjecting the embodiments to modifications conceivable by those skilled in the art and other embodiments realized by arbitrarily combining components in the embodiments are also included in the present invention.
  • another processing unit may execute a process executed by a specific processing unit.
  • the order in which the processes are executed may be changed, or a plurality of processes may be executed in parallel.
  • the present invention can be realized not only as a corresponding point detection apparatus but also as a method using the processing means constituting the corresponding point detection apparatus as a step. For example, these steps are performed by a computer.
  • the present invention can be realized as a program for causing a computer to execute the steps included in these methods.
  • the present invention can be realized as a non-transitory computer-readable recording medium such as a CD-ROM in which the program is recorded.
  • the plurality of components included in the corresponding point detection device may be realized as an LSI that is an integrated circuit. These components may be individually made into one chip, or may be made into one chip so as to include a part or all of them. Although referred to here as an LSI, it may be referred to as an IC (Integrated Circuit), a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • LSI Integrated Circuit
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the corresponding point detection apparatus can detect corresponding points from each of a plurality of images.
  • a distance measurement system that measures the position of the subject
  • a shape detection system that detects the surface shape of the subject, and the like Is available.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　対応点検出装置（１２０）は、第１画像および第２画像のそれぞれにおいて、平行線分毎に複数のピーク部分を検出するピーク検出部（１２１）と、平行線分毎に検出された複数のピーク部分のそれぞれを隣接する平行線分のピーク部分に連結してピーク集合を決定することにより、第１画像および第２画像のそれぞれに対して複数のピーク集合を決定する連結部（１２２）と、第１画像の複数のピーク集合のうちの１つである第１ピーク集合と、第２画像の複数のピーク集合のうちの１つである第２ピーク集合とを対応付ける対応付け部（１２３）と、第１ピーク集合から第１対応点を決定し、第２ピーク集合から第２対応点を決定することにより、第１対応点と第２対応点とを検出する対応点検出部（１２４）とを備える。

Description

対応点検出装置および対応点検出方法
　本発明は、複数の画像から複数の対応点を検出する対応点検出装置および対応点検出方法に関する。
　従来、視点が互いに異なる複数の画像のそれぞれから、被写体の表面上の同じ位置に対応する対応点を検出し、各視点の情報および各対応点の情報に基づいて、被写体の表面の立体的な形状を特定する技術がある。例えば、特許文献１～４は、このような技術に関連する文献である。
　特に、対応点の検出に関して、特許文献１および特許文献２には、等輝度線を利用する方法が示されている。また、特許文献３および特許文献４には、画像間におけるデータの相関を利用する方法が示されている。
　このような技術に係る装置は、適切な対応点を利用することによって、被写体の表面の各位置に対応する距離を適切に算出し、被写体の表面の立体的な形状を適切に特定することができる。
特開平５－３４１１７号公報 特開２００１－１９４１２８号公報 特開２００８－１２３１４１号公報 特開２００８－１２３１４２号公報
　しかしながら、対応点の検出に等輝度線を利用する方法では、画像全体の輝度情報が用いられるため、演算量が大きくなる可能性がある。また、画像間で色むら（輝度むら）が存在する場合、対応点を適切に求めることが困難である。
　また、画像間におけるデータの相関が用いられる場合に、画像間におけるデータの比較回数が増加する可能性がある。したがって、相関の高いデータの検出に時間がかかることになり、対応点の検出に時間がかかる可能性がある。
　そこで、本発明は、対応点を低演算量で高精度に検出することができる対応点検出装置を提供する。
　上記課題を解決するため、本発明の一態様に係る対応点検出装置は、視点が互いに異なる第１画像および第２画像から、被写体の同一位置にそれぞれ対応する第１対応点および第２対応点を検出する対応点検出装置であって、前記第１画像および前記第２画像のそれぞれにおいて平行線分毎に、画素値のピークまたはボトムにそれぞれ対応する複数のピーク部分を検出するピーク検出部と、前記平行線分毎に検出された前記複数のピーク部分のそれぞれを隣接する平行線分のピーク部分に連結してピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して複数のピーク集合を決定する連結部と、前記第１画像の前記複数のピーク集合のうちの１つである第１ピーク集合と、前記第２画像の前記複数のピーク集合のうちの１つである第２ピーク集合とを対応付ける対応付け部と、前記第１ピーク集合から前記第１対応点を決定し、前記第２ピーク集合から前記第２対応点を決定することにより、前記第１対応点と前記第２対応点とを検出する対応点検出部とを備える。
　これにより、対応点検出装置は、ピーク部分に基づいて、対応点を検出する。特に、対応点検出装置は、ピーク部分を利用することにより、等輝度線を利用するよりも低演算量で対応点を検出することができる。また、ピーク部分は隣接画素間の画素値の関係に基づいているため、画像間の色むら等による影響が低減される。そして、ピーク集合の対応付けによって、画像間におけるデータの比較回数の増加が抑制される。したがって、対応点検出装置は、対応点を低演算量で高精度に検出することができる。
　例えば、前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、エピポーラ線に平行な前記平行線分毎に、前記複数のピーク部分を検出し、前記対応点検出部は、前記第１ピーク集合から前記第１画像のエピポーラ線上の前記第１対応点を決定し、前記第２ピーク集合から前記第２画像のエピポーラ線上の前記第２対応点を決定することにより、前記第１対応点と前記第２対応点とを検出してもよい。
　これにより、エピポーラ線上の対応点が適切に検出される。例えば、エピポーラ線が事前に特定されている場合、対応点検出装置は、エピポーラ制約に基づいて対応点を適切に検出することができる。
　また、例えば、前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、画素値が走査される走査線に対応する前記平行線分毎に、前記複数のピーク部分を検出してもよい。
　これにより、対応点検出装置は、走査順序に沿って、ピーク部分を効率的に検出することができる。
　また、例えば、前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、前記平行線分毎に、画素値のピークまたはボトムにそれぞれが対応する複数のピーク点を前記複数のピーク部分として検出し、前記連結部は、前記平行線分毎に検出された前記複数のピーク点のそれぞれを隣接する平行線分のピーク点に連結して線状の前記ピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して、それぞれ線状の前記複数のピーク集合を決定してもよい。
　これにより、対応点の検出に用いられる情報量が抑制される。したがって、対応点検出装置は、より少ない演算量で対応点を検出することができる。
　また、例えば、前記対応付け部は、前記第１ピーク集合の長さと、前記第２ピーク集合の長さとに基づいて、前記第１ピーク集合と、前記第２ピーク集合とを対応付けてもよい。
　これにより、対応点検出装置は、ピーク集合の特徴である長さに基づいて、ピーク集合の対応付けを行うことができる。
　また、例えば、前記対応付け部は、前記第１画像における所定の基準線に交わる複数のピーク集合のうち最も長い前記第１ピーク集合と、前記第２画像における所定の基準線に交わる複数のピーク集合のうち最も長い前記第２ピーク集合とを対応付けてもよい。
　これにより、対応点検出装置は、長さを用いて、特徴が類似する１対のピーク集合を適切に対応付けることができる。
　また、例えば、前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、前記平行線分毎に、画素値のピークまたはボトムに対応する点をそれぞれが含む複数のピーク線分を前記複数のピーク部分として検出し、前記連結部は、前記平行線分毎に検出された前記複数のピーク線分のそれぞれを隣接する平行線分のピーク線分に連結して、領域を有する前記ピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して、それぞれが領域を有する前記複数のピーク集合を決定してもよい。
　これにより、対応点検出装置は、ピーク点に限定せずに、対応点を適切に検出することができる。
　また、例えば、前記対応付け部は、前記第１ピーク集合の大きさと、前記第２ピーク集合の大きさとに基づいて、前記第１ピーク集合と、前記第２ピーク集合とを対応付けてもよい。
　これにより、対応点検出装置は、ピーク集合の特徴である大きさに基づいて、ピーク集合の対応付けを行うことができる。
　また、例えば、前記対応付け部は、前記第１画像における所定の基準線に交わる複数のピーク集合のうち最も大きい前記第１ピーク集合と、前記第２画像における所定の基準線に交わる複数のピーク集合のうち最も大きい前記第２ピーク集合とを対応付けてもよい。
　これにより、対応点検出装置は、大きさを用いて、特徴が類似する１対のピーク集合を適切に対応付けることができる。
　また、例えば、前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、前記平行線分毎に、輝度値である画素値のピークまたはボトムにそれぞれが対応する前記複数のピーク部分を検出してもよい。
　これにより、対応点検出装置は、輝度値に対応するピーク部分に基づいて、対応点を適切に検出することができる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本発明に係る対応点検出装置は、複数の画像から複数の対応点を低演算量で高精度に検出することができる。
図１は、実施の形態１に係る画像処理システムの構成を示すブロック図である。 図２は、実施の形態１に係る撮像方法の第１例を示す図である。 図３は、実施の形態１に係る撮像方法の第２例を示す図である。 図４は、実施の形態１に係るエピポーラ線を示す図である。 図５Ａは、実施の形態１に係る第１画像を示す図である。 図５Ｂは、実施の形態１に係る第２画像を示す図である。 図６は、実施の形態１に係る対応点検出装置の構成を示すブロック図である。 図７は、実施の形態１に係る対応点検出装置の動作を示すフローチャートである。 図８Ａは、実施の形態１に係る第１画像のエピポーラ線上の輝度を示す図である。 図８Ｂは、実施の形態１に係る第２画像のエピポーラ線上の輝度を示す図である。 図９は、実施の形態１に係るピーク集合を示す図である。 図１０Ａは、実施の形態１に係る第１画像のピーク集合を示す図である。 図１０Ｂは、実施の形態１に係る第２画像のピーク集合を示す図である。 図１１は、実施の形態２に係るピーク集合を示す図である。 図１２Ａは、実施の形態２に係る第１画像のピーク集合を示す図である。 図１２Ｂは、実施の形態２に係る第２画像のピーク集合を示す図である。 図１３Ａは、実施の形態３に係る第１画像のピーク集合を示す図である。 図１３Ｂは、実施の形態３に係る第２画像のピーク集合を示す図である。 図１４は、実施の形態３に係る対応付け方法の第１例を示す図である。 図１５は、実施の形態３に係る対応付け方法の第２例を示す図である。 図１６Ａは、実施の形態４に係る第１画像のピーク集合を示す図である。 図１６Ｂは、実施の形態４に係る第２画像のピーク集合を示す図である。 図１７は、実施の形態４に係る対応付け方法を示す図である。
　以下、図面を用いて、本発明に係る実施の形態について説明する。なお、以下で説明する実施の形態は、本発明の好ましい一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より望ましい形態を構成する任意の構成要素として説明される。
　（実施の形態１）
　図１は、本実施の形態に係る画像処理システムの構成を示すブロック図である。図１のように、画像処理システム１００は、撮像装置１１０、対応点検出装置１２０、形状算出装置１３０、および、表示装置１４０を備える。
　撮像装置１１０は、視点が互いに異なる複数の画像を取得する。撮像装置１１０は、ステレオカメラのように複数のカメラを備え、複数のカメラによって複数の画像を取得してもよい。撮像装置１１０は、移動する１つのカメラを備え、移動する１つのカメラによって複数の画像を取得してもよい。また、撮像装置１１０は、移動する複数のカメラを備え、移動する複数のカメラによって複数の画像を取得してもよい。
　対応点検出装置１２０は、視点が互いに異なる複数の画像から、画像間で互いに対応する複数の対応点を検出する。対応点は、各画像に含まれる点であり、被写体の同一位置を示す点である。対応点は、視点の違いに従って、画像毎に異なる位置に現れる。
　形状算出装置１３０は、対応点検出装置１２０で画像毎に検出された対応点の位置に基づいて、被写体の現実の位置を算出する。形状算出装置１３０は、被写体の現実の位置を算出する際、カメラの位置、角度および設定パラメータ等の情報を用いてもよい。そして、形状算出装置１３０は、複数の対応点に基づいて、被写体の表面上の複数の位置を算出することで、被写体の表面形状を算出する。
　対応点検出装置１２０がより多くの対応点を検出することにより、形状算出装置１３０は、被写体の表面上のより多くの位置を算出することができる。これにより、形状算出装置１３０は、被写体の表面形状をより正確に算出することができる。さらに、形状算出装置１３０は、被写体の表面形状を示す画像（立体画像）を生成し、生成された画像を表示装置１４０に表示する。
　対応点検出装置１２０は、撮像装置１１０、形状算出装置１３０および表示装置１４０を含んでもよい。
　図２は、図１に示された撮像装置１１０による撮像方法の第１例を示す図である。図２の場合、撮像装置１１０は、光軸が平行になるように並列に配置された２つのカメラを備え、２つのカメラによって被写体を撮像する。これにより、視点が互いに異なる２つの画像が得られる。
　図３は、図１に示された撮像装置１１０による撮像方法の第２例を示す図である。図３の例では、撮像装置１１０は、移動する１つのカメラを備え、移動する１つのカメラによって被写体を複数回撮像する。これにより、視点が互いに異なる複数の画像が得られる。
　本実施の形態では、図２に示された撮像方法で得られた複数の画像が用いられてもよいし、図３に示された撮像方法で得られた複数の画像が用いられてもよい。図２の撮像方法で得られた２つの画像のそれぞれに含まれる複数のエピポーラ線は平行である。図３の撮像方法で得られた２つの画像のそれぞれに含まれる複数のエピポーラ線は平行でない。
　図４は、エピポーラ線を示す図である。第１視点の位置ｐ１と第２視点の位置ｐ２と被写体の位置ｐ３とを通る面がエピポーラ面である。エピポーラ面と画像の面（投影面）との交線がエピポーラ線である。この定義は一例であり、別の表現を用いて同等のエピポーラ面およびエピポーラ線が定義されてもよい。
　撮像装置１１０は、図３の撮像方法で得られた２つの画像の関係において、２つの画像のそれぞれに含まれる複数のエピポーラ線が平行になるように、２つの画像を補正してもよい。そして、撮像装置１１０は、補正された２つの画像を対応点検出装置１２０に提供してもよい。このような補正は、別途の専用装置で行われてもよい。対応点検出装置１２０が、このような補正を行う補正部を備えてもよい。
　撮像装置１１０は、光軸が平行になるように上下に並列に配置された、左右（円周上）に移動する２つのカメラを備え、左右（円周上）に移動する２つのカメラによって被写体を撮像してもよい。これにより、複数対の画像が、様々な角度から得られる。画像処理システム１００は、様々な角度から得られる複数対の画像を用いることで、被写体の表面形状をより正確に算出することができる。
　図５Ａおよび図５Ｂは、撮像装置１１０によって得られた２つの画像を示す。２つの画像に対応する２つの視点は、互いに異なる。つまり、２つの画像は、視差を有する。この視差に基づいて、被写体の同一位置が２つの画像において互いに異なる位置に現れる。各画像において被写体の同一位置を示す点が対応点である。
　なお、被写体の同一位置に対応する対応点は、１組（１対）の画像においてエピポーラ面を共有する１組のエピポーラ線上に現れる。別の同一位置に対応する別の対応点は、別のエピポーラ面を共有する別の１組のエピポーラ線上に現れる場合がある。
　本実施の形態において、対応点検出装置１２０は、例えば、図５Ａに示されたエピポーラ線を含む領域３０１、および、図５Ｂに示されたエピポーラ線を含む領域３０２から、それぞれ、対応点を検出する。エピポーラ線、領域３０１および３０２は、予め定められていてもよいし、対応点の検出前に探索されてもよい。
　具体的には、エピポーラ線は、視点の位置および角度に基づいて、予め定められていてもよい。また、対応点検出装置１２０は、対応点の検出前に、互いに類似する領域３０１および３０２をブロック毎のパターンマッチングによって探索してもよい。別の装置が、このような探索を行ってもよい。なお、対応点検出装置１２０は、領域３０１および３０２に限定せずに、図５Ａに示された第１画像の全領域、および、図５Ｂに示された第２画像の全領域から、対応点を検出してもよい。
　以降の説明において、図５Ａに示された第１画像の領域３０１を単に第１画像と呼び、図５Ｂに示された第２画像の領域３０２を単に第２画像と呼ぶ場合がある。
　図６は、図１に示された対応点検出装置１２０の構成を示すブロック図である。図６のように、対応点検出装置１２０は、ピーク検出部１２１、連結部１２２、対応付け部１２３および対応点検出部１２４を備える。例えば、これらは、それぞれ、専用または汎用の回路によって実装される。また、これらは、１つの回路で実装されてもよいし、複数の回路で実装されてもよい。以下、各構成要素の動作を説明する。
　図７は、図６に示された対応点検出装置１２０の動作を示すフローチャートである。まず、ピーク検出部１２１は、対応点検出装置１２０に入力された複数の画像のそれぞれにおいて、平行線分毎に複数のピーク部分を検出する（Ｓ１０１）。
　本実施の形態において、ピーク部分は、画素値のピークに対応するピーク点である。ピーク点は、画素値のボトムに対応してもよい。ここで、ピークおよびボトムは、極大および極小を意味する。そのため、１つの線分から複数のピーク部分が検出される。画素値は、輝度（輝度値）でもよいし、色差（色差値）でもよい。あるいは、画素値は、ＲＧＢ形式で表現される色成分の値などでもよい。
　また、本実施の形態では、平行線分は、エピポーラ線に平行な線分である。しかし、平行線分は、エピポーラ線に平行であることに限られない。平行線分は、走査線に沿う線分でもよい。つまり、ピーク検出部１２１は、走査線毎にピーク部分を検出してもよい。
　次に、連結部１２２は、平行線分毎に検出された複数のピーク部分のそれぞれを隣接する平行線分のピーク部分に連結してピーク集合を決定することにより、各画像において複数のピーク集合を決定する（Ｓ１０２）。
　次に、対応付け部１２３は、第１画像の複数のピーク集合と第２画像の複数のピーク集合とを複数組のピーク集合として対応付ける（Ｓ１０３）。その際、対応付け部１２３は、第１画像に含まれる複数のピーク集合のうちの１つと、第２画像に含まれる複数のピーク集合のうちの１つとを１組のピーク集合として対応付ける。
　例えば、対応付け部１２３は、第１画像に含まれる複数のピーク集合のうち第１ピーク集合と、第２画像に含まれる複数のピーク集合のうち、第１ピーク集合に対する類似度が最も大きい第２ピーク集合とを対応付ける。類似度は、ピーク集合の位置に基づいていてもよいし、ピーク集合の形状に基づいていてもよい。
　次に、対応点検出部１２４は、第１画像および第２画像において対応付けられた２つのピーク集合のそれぞれの中から対応点を検出する（Ｓ１０４）。つまり、対応点検出部１２４は、１組のピーク集合から１組の対応点を検出する。
　上記の動作によって、本実施の形態に係る対応点検出装置１２０は、第１画像および第２画像のそれぞれから、適切な対応点を検出することができる。以下、動作の詳細を具体的に示す。
　図８Ａは、第１画像のエピポーラ線上の輝度を示す図である。図８Ｂは、第２画像のエピポーラ線上の輝度を示す図である。図８Ａのように、第１画像のエピポーラ線上には、ピーク点４１１および４１２が存在する。図８Ｂのように、第２画像のエピポーラ線上には、ピーク点４２１、４２２および４２３が存在する。
　第１画像の１つのピーク点と、第２画像の１つのピーク点とは、それぞれ、被写体の同一位置に対応すると想定される。すなわち、第１画像の１つのピーク点と、第２画像の１つのピーク点とは、それぞれ、対応点と想定される。
　しかしながら、図８Ａに示されたピーク点４１１が、図８Ｂに示されたピーク点４２１、４２２および４２３のいずれに対応するかは不明である。そのため、対応点検出装置１２０は、各ピーク点を他の平行線分で検出されたピーク点に連結してピーク集合を決定する。そして、対応点検出装置１２０は、画像間のピーク集合の対応付けに基づいて、適切な対応点を検出する。
　図９は、本実施の形態に係るピーク集合を示す図である。例えば、ピーク検出部１２１は、Ｘ方向に沿う１つの線分上の輝度の変化に応じて、複数のピーク点を検出する。そして、ピーク検出部１２１は、Ｘ方向に沿う別の線分上の輝度の変化に応じて、複数のピーク点を検出する。ピーク検出部１２１は、このような動作を繰り返して、Ｘ方向に沿う複数の線分のそれぞれにおいて、複数のピーク点を検出する。そして、連結部１２２は、複数の線分に含まれる複数のピーク点を連結する。
　例えば、連結部１２２は、第１線分に含まれる第１ピーク点を第２線分に含まれる第２ピーク点に連結する。ここで、第１線分および第２線分は、それぞれＸ方向に沿う複数の線分のうちの１つであって、互いに隣接する。第１ピーク点は、第１線分に含まれる複数のピーク点のうちの１つである。第２ピーク点は、第２線分に含まれる複数のピーク点のうち、第１ピーク点から所定範囲内のピーク点である。
　連結部１２２は、上記の動作を繰り返して、複数のピーク点を連結し、複数のピーク集合を決定する。特に、本実施の形態では、複数のピーク集合は、線状の軌跡で表現される。
　図１０Ａは、第１画像の複数のピーク集合の例を示す図である。図１０Ｂは、第２画像の複数のピーク集合の例を示す図である。図１０Ａのように、第１画像は、複数のピーク集合５１１、５１２、５１３、５１４、５１５および５１６を含む。また、図１０Ｂのように、第２画像は、複数のピーク集合５２１、５２２、５２３、５２４、５２５および５２６を含む。
　例えば、対応付け部１２３は、各ピーク集合の位置に基づいて、２つのピーク集合を対応付ける。具体的には、対応付け部１２３は、第１画像におけるピーク集合５１１の位置に最も近いピーク集合を第２画像の複数のピーク集合５２１、５２２、５２３、５２４、５２５および５２６から探索する。第２画像における複数のピーク集合５２１、５２２、５２３、５２４、５２５および５２６のうちピーク集合５２１の位置が、第１画像におけるピーク集合５１１の位置に最も近い。
　したがって、対応付け部１２３は、ピーク集合５１１とピーク集合５２１とを対応付ける。同様に、対応付け部１２３は、ピーク集合５１２とピーク集合５２２とを対応付け、ピーク集合５１３とピーク集合５２３とを対応付け、ピーク集合５１４とピーク集合５２４とを対応付け、ピーク集合５１５とピーク集合５２５とを対応付け、ピーク集合５１６とピーク集合５２６とを対応付ける。
　対応付け部１２３は、各ピーク集合の絶対的な位置ではなく、相対的な位置に基づいて、複数のピーク集合を対応付けてもよい。
　被写体の同一位置を示す１組の対応点は、各画像において異なる位置に現れる可能性がある。しかし、第１画像における複数の対応点の相対的な位置関係は、第２画像における複数の対応点の相対的な位置関係に一致すると想定される。複数のピーク集合の相対的な位置関係も同様である。したがって、各画像の複数のピーク集合に対して、左から順番に順序付けを行って、同じ順番を有する２つのピーク集合を対応付けてもよい。
　視差が垂直方向には存在せず水平方向に存在する場合、対応付け部１２３は、各ピーク集合の垂直方向の絶対的な位置と水平方向の相対的な位置に基づいて、複数のピーク集合を対応付けてもよい。対応付け部１２３は、複数のピーク集合の形状の類似性に基づいて、複数のピーク集合を対応付けてもよい。
　そして、対応点検出部１２４は、対応付けられたピーク集合５１３とピーク集合５２３とから、ピーク点４１１とピーク点４２１とをそれぞれ対応点として検出する。また、対応付けられたピーク集合５１５とピーク集合５２５とから、ピーク点４１２とピーク点４２３とをそれぞれ対応点として検出する。
　すなわち、本実施の形態に係る対応点検出装置１２０は、１組の画像における１組のエピポーラ線上の複数組の対応点を複数組のピーク集合の対応付けに基づいて適切に検出することができる。特に、１組のエピポーラ線上に存在する多数のピーク点から、１組のピーク点（対応点）を検出することが難しい場合がある。しかし、本実施の形態に係る対応点検出装置１２０は、ピーク集合の対応付けに基づいて、多数のピーク点から１組の対応点を適切に検出することができる。
　例えば、顔を撮像することで得られた画像のエピポーラ線上には、多数の毛穴に応じて、多数のピークが現れる。対応点検出装置１２０は、このような多数のピークを用いて、多数の対応点を検出することができる。つまり、対応点検出装置１２０は、顔の表面形状を高精度に検出するための多数の対応点を適切に検出することができる。
　なお、対応点検出装置１２０は、エピポーラ線を用いずに、対応点を検出してもよい。例えば、ピーク検出部１２１は、エピポーラ線によらず、複数の走査線のそれぞれにおいて、ピーク部分を検出してもよい。この場合、連結部１２２および対応付け部１２３は、上記と同じ手順で、複数のピーク部分を連結し、複数のピーク集合を対応付ける。そして、対応点検出部１２４は、エピポーラ線によらず、１組のピーク集合から１組の対応点を検出する。
　対応点検出部１２４は、エピポーラ線を用いずに対応点を検出する場合、線状の軌跡で表現されるピーク集合の中から、最大の画素値を有する点を対応点として検出してもよい。あるいは、対応点検出部１２４は、ピーク集合の中央を対応点として検出してもよい。あるいは、対応点検出部１２４は、ピーク集合内であるか否かにかかわらず、ピーク集合の中心を対応点として検出してもよい。
　あるいは、対応点検出部１２４は、ピーク集合の重心を対応点として検出してもよい。ここで、対応点として検出される重心は、任意に定められる所定の重み付けに基づいていてもよい。例えば、重み付けは、ピーク集合における各画素値（各輝度）に基づいていてもよいし、ピーク集合の端または中心からの距離に基づいていてもよいし、これらの組み合わせに基づいていてもよい。なお、重み付けに基づく重心は、重み付け重心とも呼ばれ、重み付けに基づいて重心を決定する方法は、重み付け重心法とも呼ばれる。
　また、上記の通り、ピーク検出部１２１は、ピークに対応するピーク点のみでなく、ボトムに対応するピーク点（ボトム点）を検出してもよい。これにより、より多くのピーク集合が特定され、より多くの対応点が検出される。ピーク検出部１２１は、さらに、ピークおよびボトムの間の半値位置をピークに対応するピーク点として検出してもよい。これにより、さらに、より多くのピーク集合が特定され、より多くの対応点が検出される。
　また、対応点検出部１２４は、検出された対応点の総数が所定の数よりも少ない場合、各対応点の四方における半値位置を新たな対応点として検出してもよい。これにより、より多くの対応点が検出される。
　また、対応点検出装置１２０は、図５Ａおよび図５Ｂに示された第１画像および第２画像の中から互いに類似する領域３０１および３０２を探索して、領域３０１および３０２を対応点の検出対象領域として決定する領域決定部を備えていてもよい。
　上記の領域決定部は、第１画像および第２画像の中から顔領域を探索し、顔領域を対応点の検出対象領域として決定してもよい。そして、対応点検出装置１２０の各構成要素は、探索された顔領域に限定して、上記の処理を行ってもよい。これにより、対応点検出装置１２０は、処理量を抑制しつつ、顔領域において対応点を検出することができる。
　本実施の形態に係る対応点検出装置１２０は、上記の動作に基づいて、複数組の対応点を適切に検出することができる。
　（実施の形態２）
　次に、実施の形態２に係る画像処理システムおよび対応点検出装置を説明する。本実施の形態に係る画像処理システムおよび対応点検出装置の基本的な構成および動作は、図１～図７に示された実施の形態１の構成および動作と同様である。以下、図１および図６等に示された構成を用いて、本実施の形態に係る画像処理システムおよび対応点検出装置を説明する。
　実施の形態１では、対応点の検出に、複数のピーク点で構成されるピーク集合が用いられる。しかし、対応点は、ピーク点に一致するとは限らない。例えば、第１対応点が第１画像のピーク点に一致する場合でも、第１対応点に対応する第２対応点が、第２画像のピーク点から少しずれている可能性がある。そのため、本実施の形態に係る対応点検出装置１２０は、ピーク点でない位置を含むピーク集合を用いて、対応点を検出する。
　図１１は、本実施の形態に係るピーク集合を示す図である。実施の形態１では、図９のように、複数の平行線分における複数のピーク点が連結され、線状のピーク集合が決定される。実施の形態２では、図１１のように、複数の平行線分における複数のピーク線分が連結され、領域を有するピーク集合が決定される。
　ピーク線分は、平行線分において画素値のピークを形成する部分の発生から消滅までの線分である。具体的には、例えば、ピーク線分は、Ｘ方向に沿って、輝度が上昇を開始してから下降を終了するまでの間の線分である。ピーク線分は、ピークの両側の２つの変曲点間の範囲に対応する線分でもよい。あるいは、ピーク線分は、ピークの両側の２つの変曲点に対する２つの接線が規定ラインに交わる２点間の範囲に対応する線分でもよい。ここで、規定ラインは、所定の輝度に対応する。
　あるいは、ピーク線分は、輝度の移動平均よりも大きい輝度を有する部分でもよい。ここで、輝度の移動平均は、所定間隔における平均、または、平滑化された輝度などに対応する。あるいは、ピーク線分は、予め定められた輝度よりも大きい輝度を有する部分でもよい。あるいは、ピーク線分は、ピークの値と、ピークに隣接するボトムの値との間で設定される閾値よりも大きい輝度を有する部分でもよい。
　ピーク線分は、ボトムに対応していてもよい。つまり、ピーク線分は、平行線分において画素値のボトムを形成する部分の発生から消滅までの線分でもよい。具体的には、例えば、ピーク線分は、Ｘ方向に沿って、輝度が下降を開始してから上昇を終了するまでの間の線分でもよい。ピーク線分は、ボトムの両側の２つの変曲点間の範囲に対応する線分でもよい。あるいは、ピーク線分は、ボトムの両側の２つの変曲点に対応する２つの接線が規定ラインに交わる２点間の範囲に対応する線分でもよい。
　あるいは、ピーク線分は、輝度の移動平均よりも小さい輝度を有する部分でもよい。あるいは、ピーク線分は、予め定められた輝度よりも小さい輝度を有する部分でもよい。あるいは、ピーク線分は、ボトムの値と、ボトムに隣接するピークの値との間で設定される閾値よりも小さい輝度を有する部分でもよい。
　あるいは、ピーク線分は、半値幅でもよい。半値幅は、ピークの値およびボトムの値などから求められてもよい。
　本実施の形態において、ピーク検出部１２１は、平行線分毎に複数のピーク線分を検出する。そして、連結部１２２は、複数のピーク線分のそれぞれを隣接する平行線分のピーク線分に連結して、ピーク集合を決定する。例えば、連結部１２２は、ピーク線分を所定の範囲内のピーク線分に連結する。
　図１２Ａは、第１画像の複数のピーク集合を示す図である。図１２Ｂは、第２画像の複数のピーク集合を示す図である。図１２Ａのように、第１画像は、複数のピーク集合６１１、６１２、６１３、６１４、６１５および６１６を含む。図１２Ｂのように、第２画像は、複数のピーク集合６２１、６２２、６２３、６２４、６２５および６２６を含む。
　実施の形態１と同じ方法で、対応付け部１２３は、ピーク集合６１１とピーク集合６２１とを対応付けることができる。対応付け部１２３は、同様に、ピーク集合６１２とピーク集合６２２とを対応付け、ピーク集合６１３とピーク集合６２３とを対応付け、ピーク集合６１４とピーク集合６２４とを対応付け、ピーク集合６１５とピーク集合６２５とを対応付け、ピーク集合６１６とピーク集合６２６とを対応付けることができる。
　本実施の形態において、対応付け部１２３は、２つの画像における２つのピーク集合の相対的な位置の重なりに基づいて、２つのピーク集合を対応付けてもよい。
　対応点検出部１２４は、対応付けられたピーク集合６１３とピーク集合６２３とから１組の対応点を検出する。また、対応付けられたピーク集合６１５とピーク集合６２５とから１組の対応点を検出する。例えば、各対応点は、ピーク集合とエピポーラ線とが交わる線分の中心でもよい。各対応点は、ピーク集合とエピポーラ線とが交わる線分のうち、最大の画素値を有する点でもよい。
　なお、実施の形態１と同様に、対応点検出装置１２０は、エピポーラ線を用いずに、対応点を検出してもよい。エピポーラ線が用いられない場合、対応点検出部１２４は、ピーク集合の領域のうち、最大の画素値を有する点を対応点として検出してもよい。あるいは、対応点検出部１２４は、ピーク集合内であるか否かにかかわらず、ピーク集合の中心を対応点として検出してもよい。
　あるいは、対応点検出部１２４は、ピーク集合の重心を対応点として検出してもよい。ここで、対応点として検出される重心は、任意に定められる所定の重み付けに基づいていてもよい。例えば、重み付けは、ピーク集合における各画素値（各輝度）に基づいていてもよいし、ピーク集合の端または中心からの距離に基づいていてもよいし、これらの組み合わせに基づいていてもよい。なお、重み付けに基づく重心は、重み付け重心とも呼ばれ、重み付けに基づいて重心を決定する方法は、重み付け重心法とも呼ばれる。
　また、実施の形態１と同様に、対応点検出部１２４は、検出された対応点の総数が所定の数よりも少ない場合、各対応点の四方における半値位置を新たな対応点として検出してもよい。これにより、より多くの対応点が検出される。
　本実施の形態に係る対応点検出装置１２０は、上記の動作に基づいて、複数組の対応点を適切に検出することができる。
　（実施の形態３）
　次に、実施の形態３に係る画像処理システムおよび対応点検出装置を説明する。本実施の形態に係る画像処理システムおよび対応点検出装置の基本的な構成および動作は、図１～図１０Ｂに示された実施の形態１の構成および動作と同様である。以下、図１および図６等に示された構成を用いて、本実施の形態に係る画像処理システムおよび対応点検出装置を説明する。特に、本実施の形態では、第１画像のピーク集合と第２画像のピーク集合とを対応付ける方法を示す。
　図１３Ａは、本実施の形態に係る第１画像の複数のピーク集合の例を示す図である。図１３Ｂは、本実施の形態に係る第２画像の複数のピーク集合の例を示す図である。図１３Ａのように、第１画像は、複数のピーク集合８１１～８２２を含む。図１３Ｂのように、第２画像は、複数のピーク集合８３１～８４２を含む。複数のピーク集合８１１～８２２および８３１～８４２は、連結部１２２によって決定される。
　図１３Ａに示された複数のピーク点７１１～７１８は、それぞれ、第１画像におけるエピポーラ線上の輝度のピークに対応する。また、図１３Ｂに示された複数のピーク点７２１～７２８は、それぞれ、第２画像におけるエピポーラ線上の輝度のピークに対応する。図１３Ａに示された第１画像におけるエピポーラ線、および、図１３Ｂに示された第２画像におけるエピポーラ線は、１つの同じエピポーラ面上の１対のエピポーラ線である。
　そして、複数のピーク集合８１１～８１８は、それぞれ、複数のピーク点７１１～７１８を含む。また、複数のピーク集合８３１～８３８は、それぞれ、複数のピーク点７２１～７２８を含む。
　対応付け部１２３は、第１画像の複数のピーク集合８１１～８２２のうちの１つと、第２画像の複数のピーク集合８３１～８４２のうちの１つとを対応付ける。その際、対応付け部１２３は、複数のピーク点７１１～７１８および７２１～７２８の情報を用いてもよい。
　エピポーラ制約に基づいて、第１画像のエピポーラ線上の点に対して第２画像において対応する対応点は、第２画像のエピポーラ線上の点であると想定される。また、基本的には、第１画像におけるピーク点に対して第２画像において対応する対応点は、第２画像におけるピーク点であると想定される。
　したがって、第１画像のエピポーラ線上のピーク点に対して第２画像において対応する対応点は、第２画像のエピポーラ線上のピーク点であると想定される。つまり、第１画像の複数のピーク点７１１～７１８のうちの１つと、第２画像の複数のピーク点７２１～７２８のうちの１つとは、互いに対応する１対の対応点であると想定される。
　例えば、対応付け部１２３は、１対のエピポーラ線上の１対のピーク点である１対の対応点を決定する。決定された１対の対応点をそれぞれ含む１対のピーク集合を互いに対応付ける。対応付け部１２３は、互いに対応づけられた１対のピーク集合からの相対的な位置（距離）に基づいて、別の１対のピーク集合を互いに対応付けることができる。
　しかしながら、１対の対応点は、視点の違いによって、互いに異なる位置に現れる可能性が高い。したがって、どのピーク点とどのピーク点とが互いに対応するかを判定することは困難である。そこで、以下のような対応付け方法が用いられる。
　図１４は、本実施の形態に係る対応付け方法の第１例を示す図である。この例では、輝度の大きさが利用される。輝度曲線７１０は、第１画像のエピポーラ線上の輝度の大きさを示す曲線である。輝度曲線７１０は、複数のピーク点７１１～７１８において、複数のピークを含む。輝度曲線７２０は、第２画像のエピポーラ線上の輝度の大きさを示す曲線である。輝度曲線７２０は、複数のピーク点７２１～７２８において、複数のピークを含む。
　例えば、対応付け部１２３は、輝度曲線７１０および輝度曲線７２０において最も大きな特徴（特徴量）を有する１対のピーク点を１対の対応点として決定してもよい。具体的には、輝度曲線７１０において、ピーク点７１４の輝度が最も大きい。また、輝度曲線７２０において、ピーク点７２３の輝度が最も大きい。そこで、対応付け部１２３は、ピーク点７１４とピーク点７２３とを１対の対応点として決定してもよい。
　つまり、対応付け部１２３は、第１画像のエピポーラ線において最も大きい輝度を有するピーク点７１４と、第２画像のエピポーラ線において最も大きい輝度を有するピーク点７２３とを１対の対応点として決定してもよい。対応付け部１２３は、精度向上のため、ピーク点７１４に隣接するピーク点７１３、７１５の輝度と、ピーク点７２３に隣接するピーク点７２２、７２４の輝度との一致度に基づいて、ピーク点７１４とピーク点７２３とが１対の対応点であるか否かを決定してもよい。
　そして、対応付け部１２３は、ピーク点７１４を含むピーク集合８１４と、ピーク点７２３を含むピーク集合８３３とを対応付ける。対応付け部１２３は、ピーク集合８１４またはピーク集合８３３からの相対的な位置に基づいて、別の１対のピーク集合を互いに対応付けることができる。
　例えば、対応付け部１２３は、ピーク集合８１４の右隣のピーク集合８１５と、ピーク集合８３３の右隣のピーク集合８３４とを対応付ける。同様に、対応付け部１２３は、ピーク集合８１６とピーク集合８３５とを対応付け、ピーク集合８１７とピーク集合８３６とを対応付け、ピーク集合８１８とピーク集合８３７とを対応付ける。
　また、対応付け部１２３は、ピーク集合８１４の左隣のピーク集合８１３と、ピーク集合８３３の左隣のピーク集合８３２とを対応付ける。同様に、対応付け部１２３は、ピーク集合８１２とピーク集合８３１とを対応付ける。
　対応付け部１２３は、対応付けられた複数のピーク集合８１２～８１８および８３１～８３７からの相対的な位置に基づいて、それぞれエピポーラ線に交わりを有していないピーク集合８２１とピーク集合８３９とを対応付けてもよい。同様に、対応付け部１２３は、ピーク集合８２２とピーク集合８４０とを対応付けてもよい。
　上記において、対応付け部１２３は、最も大きな特徴を有する１対のピーク点を用いて１対のピーク集合を互いに対応付けている。対応付け部１２３は、輝度曲線７１０の波形と、輝度曲線７２０の波形との間でパターンマッチングを行って、複数対のピーク集合を決定してもよい。パターンマッチングにおいて、歪みを考慮して窓処理が行われてもよい。
　基本的には、視差によって、第１画像のエピポーラ線上のピーク間隔と、第２画像のエピポーラ線上のピーク間隔とは異なる。ピーク間隔の違いによって波形のパターンマッチングが適切に行われない可能性がある。そのため、対応付け部１２３は、ピークが等間隔で現れるように、輝度曲線７１０および輝度曲線７２０を変形してもよい。これにより、対応付け部１２３は、輝度曲線７１０の波形と、輝度曲線７２０の波形との間で適切なパターンマッチングを行うことができる。
　具体的には、輝度曲線７１０における輝度のパターン９１１は、輝度曲線７２０における輝度のパターン９１２に適合する。したがって、パターン９１１におけるピーク点７１５、７１６、７１７は、パターン９１２におけるピーク点７２４、７２５、７２６にそれぞれ対応する。したがって、対応付け部１２３は、ピーク集合８１５、８１６および８１７をピーク集合８３４、８３５および８３６にそれぞれ対応付けることができる。
　上記の通り、対応付け部１２３は、互いに対応づけられた１対のピーク集合に基づいて、別の１対のピーク集合を互いに対応付けることができる。したがって、対応付け部１２３は、パターンマッチングによっても、複数対のピーク集合を決定することができる。
　対応点検出部１２４は、互いに対応づけられた１対のピーク集合から１対の対応点を検出する。例えば、対応点検出部１２４は、１対のエピポーラ線上の１対のピーク点を１対の対応点として検出する。対応点検出部１２４は、エピポーラ線上に限らず、実施の形態１と同様に、ピーク集合の中央、中心、重心または重み付け重心等を対応点として検出してもよい。
　上記では、対応点検出装置１２０は、１対のエピポーラ線を用いる。しかしながら、１対のエピポーラ線が正確に得られない場合がある。そのため、対応点検出装置１２０は、１対のエピポーラ線に限らず、１対の基準線を用いてもよい。例えば、１対の基準線は、第１画像および第２画像における相対的な位置が互いに等しい１対の直線である。より具体的には、１対の基準線は、２つの画像における１対の中央の水平線でもよい。１対の基準線は、１対のエピポーラ線に一致していてもよいし、走査線に一致していてもよい。
　また、例えば、撮像装置１１０は、被写体を撮像する際、被写体に向かって光線等を照射する照射部を備えてもよい。そして、対応点検出装置１２０は、１対の画像に映る光線等に基づいて、１対の基準線を抽出する抽出部を備えてもよい。あるいは、抽出部ではなく、ピーク検出部１２１が、１対の基準線を抽出してもよいし、その他の構成要素が１対の基準線を抽出してもよい。また、撮像装置１１０ではなく、対応点検出装置１２０が照射部を備えてもよい。
　第１画像の基準線上のピーク点に対して第２画像において対応する対応点は、第２画像の基準線上、または、第２画像の基準線の近くに存在する可能性が高い。そのため、対応点検出装置１２０は、エピポーラ線を用いる場合と同様に、基準線を用いて、ピーク点の対応付けを行い、ピーク集合の対応付けを行うことができる。また、対応点検出装置１２０は、ピーク集合の中央、中心、重心または重み付け重心等を対応点として検出することにより、エピポーラ線上に限らず、対応点をより適切に検出することができる。
　また、対応点検出装置１２０は、第１画像および第２画像における１対の基準線をずらしながら、第１画像の基準線に交わるピーク集合と、第２画像の基準線に交わるピーク集合とを対応付けてもよい。これにより、第１画像および第２画像の全体に対して、ピーク集合の適切な対応付けが行われる。
　上記のように、対応点検出装置１２０は、複数対のピーク集合を適切に決定し、複数対の対応点を適切に検出することができる。上記では、ピーク集合の対応付けにおいて、輝度が直接的に用いられる。しかし、輝度は、視点に応じて変化する可能性がある。そのため、適切な対応付けが行われない可能性がある。
　そこで、対応点検出装置１２０は、輝度ではなく、ピーク集合の特徴（特徴量）を用いてもよい。第１画像のピーク集合の特徴と、第２画像のピーク集合の特徴とが一致する場合、これらのピーク集合は、被写体の同じ部分に対応すると想定される。したがって、対応付け部１２３は、第１画像のエピポーラ線に交わる複数のピーク集合のうち最も大きな特徴を有するピーク集合と、第２画像のエピポーラ線に交わる複数のピーク集合のうち最も大きな特徴を有するピーク集合とを対応付けてもよい。
　具体的には、第１画像のエピポーラ線に交わる複数のピーク集合のうち最も長いピーク集合と、第２画像のエピポーラ線に交わる複数のピーク集合のうち最も長いピーク集合とは、被写体の同じ部分に対応すると想定される。そこで、対応付け部１２３は、第１画像のエピポーラ線に交わる複数のピーク集合のうち最も長いピーク集合と、第２画像のエピポーラ線に交わる複数のピーク集合のうち最も長いピーク集合とを対応付けてもよい。
　視点の違いにより、第１画像と第２画像との間で、エピポーラ線に沿う方向に対して、ずれは大きい。逆に、エピポーラ線に対して垂直方向に対して、ずれは小さい。したがって、垂直方向の長さがピーク集合の特徴に用いられてもよい。これにより、２つのピーク集合の一致度がより正確に判定される。
　図１５は、本実施の形態に係る対応付け方法の第２例を示す図である。この例では、ピーク集合の長さが利用される。図１５において、上のグラフは、第１画像のエピポーラ線に交わる複数のピーク集合８１１～８１８のそれぞれの長さを示す。図１５において、下のグラフは、第２画像のエピポーラ線に交わる複数のピーク集合８３１～８３８のそれぞれの長さを示す。図１５に示される長さは、所定方向の長さでもよい。例えば、長さは、垂直方向の長さでもよい。
　ピーク集合８１４は、ピーク集合８１１～８１８のうち、最も長い。ピーク集合８３２は、ピーク集合８３１～８３８のうち、最も長い。そこで、対応付け部１２３は、ピーク集合８１４とピーク集合８３２とを対応付ける。
　また、対応付け部１２３は、長さが最も近い１対のピーク集合を互いに対応付けてもよい。例えば、対応付け部１２３は、ピーク集合８１４と、ピーク集合８１４の長さに最も近い長さを有するピーク集合８３２とを対応付けてもよい。
　対応付け部１２３は、精度向上のため、ピーク集合８１４に隣接するピーク集合８１３、８１５の長さと、ピーク集合８３２に隣接するピーク集合８３１、８３３の長さとを比較してもよい。そして、対応付け部１２３は、ピーク集合８１３、８１５の長さと、ピーク集合８３１、８３３の長さとの一致度に基づいて、ピーク集合８１４とピーク集合８３２とを対応付けるか否かを判定してもよい。
　また、対応付け部１２３は、第１画像の複数のピーク集合の長さのパターンと、第２画像の複数のピーク集合の長さのパターンとの間でパターンマッチングを行って、複数対のピーク集合を決定してもよい。その際、歪みを考慮して窓処理が行われてもよい。
　本実施の形態に係る第１例と同様に、ピーク間隔の違いによってパターンマッチングが適切に行われない可能性がある。そのため、対応付け部１２３は、Ｘ方向に複数のピーク集合を等間隔に並べてもよい。これにより、対応付け部１２３は、適切なパターンマッチングを行うことができる。
　具体的には、第１画像におけるピーク集合の長さのパターン９２１は、第２画像におけるピーク集合の長さのパターン９２２に適合する。したがって、パターン９２１におけるピーク集合８１５、８１６、８１７は、パターン９２２におけるピーク集合８３３、８３４、８３５にそれぞれ対応する。そこで、対応付け部１２３は、ピーク集合８１５、８１６および８１７をピーク集合８３３、８３４および８３５にそれぞれ対応付ける。
　本実施の形態に係る第１例と同様に、対応付け部１２３は、互いに対応づけられた１対のピーク集合に基づいて、別の１対のピーク集合を互いに対応付けることができる。また、対応点検出部１２４は、１対のピーク集合から１対の対応点を検出する。対応点検出部１２４は、エピポーラ線上に限らず、ピーク集合の中央、中心、重心または重み付け重心等を対応点として検出してもよい。
　また、本実施の形態に係る第１例と同様に、対応点検出装置１２０は、１対のエピポーラ線に限らず、１対の基準線を用いてもよい。特に、本第２例では、対応付け部１２３は、垂直方向に跨るピーク集合の特徴を用いるため、第１画像と第２画像との間に垂直方向のずれが存在する場合でも、ピーク集合の対応付けを適切に行うことができる。
　また、本実施の形態に係る第１例と同様に、対応点検出装置１２０は、第１画像および第２画像における１対の基準線をずらしながら、第１画像の基準線に交わるピーク集合と、第２画像の基準線に交わるピーク集合とを対応付けてもよい。これにより、ピーク集合の適切な対応付けが行われる。
　上記のように、本実施の形態において、対応点検出装置１２０は、複数対のピーク集合を適切に決定し、複数対の対応点を適切に検出することができる。また、対応点検出装置１２０は、ピーク集合の特徴を用いることにより、ピーク集合の対応付けを適切に行うことができる。ピーク集合の長さはピーク集合の特徴の一例であり、ピーク集合の他の特徴が用いられてもよい。
　（実施の形態４）
　次に、実施の形態４に係る画像処理システムおよび対応点検出装置を説明する。本実施の形態に係る画像処理システムおよび対応点検出装置の基本的な構成および動作は、図１～図７に示された実施の形態１の構成および動作と同様であり、かつ、図１１～１２Ｂ等に示された実施の形態２の構成および動作と同様である。
　以下、図１および図６等に示された構成を用いて、本実施の形態に係る画像処理システムおよび対応点検出装置を説明する。特に、本実施の形態では、第１画像のピーク集合と第２画像のピーク集合とを対応付ける方法を示す。実施の形態３では、各ピーク集合の長さを用いて、第１画像のピーク集合と第２画像のピーク集合とを対応付ける方法が示された。本実施の形態では、各ピーク集合の大きさを用いて、第１画像のピーク集合と第２画像のピーク集合とを対応付ける方法を示す。
　図１６Ａは、本実施の形態に係る第１画像の複数のピーク集合の例を示す図である。図１６Ｂは、本実施の形態に係る第２画像の複数のピーク集合の例を示す図である。図１６Ａのように、第１画像は、複数のピーク集合８５１～８６２を含む。図１６Ｂのように、第２画像は、複数のピーク集合８７１～８８２を含む。複数のピーク集合８５１～８６２および８７１～８８２は、連結部１２２によって決定される。
　図１６Ａに示された複数のピーク点７１１～７１８は、それぞれ、第１画像におけるエピポーラ線上の輝度のピークに対応する。また、図１６Ｂに示された複数のピーク点７２１～７２８は、それぞれ、第２画像におけるエピポーラ線上の輝度のピークに対応する。図１６Ａに示された第１画像におけるエピポーラ線、および、図１６Ｂに示された第２画像におけるエピポーラ線は、１つの同じエピポーラ面上の１対のエピポーラ線である。
　そして、複数のピーク集合８５１～８５８は、それぞれ、複数のピーク点７１１～７１８を含む。また、複数のピーク集合８７１～８７８は、それぞれ、複数のピーク点７２１～７２８を含む。
　対応付け部１２３は、各ピーク集合の特徴を用いて、第１画像の複数のピーク集合８５１～８６２のうちの１つと、第２画像の複数のピーク集合８７１～８８２のうちの１つとを対応付ける。対応付け部１２３は、実施の形態３に係る第１例に基づいて対応付けを行ってもよい。つまり、対応付け部１２３は、エピポーラ線上の輝度を直接用いて、対応付けを行ってもよい。あるいは、対応付け部１２３は、ピーク集合の特徴を用いて、対応付けを行ってもよい。
　実施の形態３でピーク集合の特徴として用いられたピーク集合の長さの代わりに、本実施の形態では、ピーク集合の特徴としてピーク集合の大きさが用いられる。長さと大きさの違いを除いて、実施の形態３と同様に、ピーク集合の対応付けが行われる。ピーク集合の大きさは、エピポーラ線に対して垂直方向の大きさでもよい。
　図１７は、本実施の形態に係る対応付け方法を示す図である。本実施の形態では、ピーク集合の面積（大きさ）が利用される。図１７において、上のグラフは、第１画像のエピポーラ線に交わる複数のピーク集合８５１～８５８のそれぞれの面積を示す。図１７において、下のグラフは、第２画像のエピポーラ線に交わる複数のピーク集合８７１～８７８のそれぞれの面積を示す。
　ピーク集合８５４は、ピーク集合８５１～８５８のうち、最も大きい。ピーク集合８７２は、ピーク集合８７１～８７８のうち、最も大きい。そこで、対応付け部１２３は、ピーク集合８５４とピーク集合８７２とを対応付ける。
　また、対応付け部１２３は、面積が最も近い１対のピーク集合を互いに対応付けてもよい。例えば、対応付け部１２３は、ピーク集合８５４と、ピーク集合８５４の面積に最も近い面積を有するピーク集合８７２とを対応付けてもよい。
　対応付け部１２３は、精度向上のため、ピーク集合８５４に隣接するピーク集合８５３、８５５の面積と、ピーク集合８７２に隣接するピーク集合８７１、８７３の面積とを比較してもよい。そして、対応付け部１２３は、ピーク集合８５３、８５５の面積と、ピーク集合８７１、８７３の面積との一致度に基づいて、ピーク集合８５４とピーク集合８７２とを対応付けるか否かを判定してもよい。
　また、対応付け部１２３は、第１画像の複数のピーク集合の面積のパターンと、第２画像の複数のピーク集合の面積のパターンとの間でパターンマッチングを行って、複数対のピーク集合を決定してもよい。対応付け部１２３は、適切にパターンマッチングを行うため、Ｘ方向に複数のピーク集合を等間隔に並べてもよい。また、歪みを考慮して窓処理が行われてもよい。
　例えば、第１画像におけるピーク集合の面積のパターン９３１は、第２画像におけるピーク集合の面積のパターン９３２に適合する。したがって、パターン９３１におけるピーク集合８５５、８５６、８５７は、パターン９３２におけるピーク集合８７３、８７４、８７５にそれぞれ対応する。そこで、対応付け部１２３は、ピーク集合８５５、８５６および８５７をピーク集合８７３、８７４および８７５にそれぞれ対応付ける。
　実施の形態３と同様に、対応付け部１２３は、互いに対応づけられた１対のピーク集合に基づいて、別の１対のピーク集合を互いに対応付けることができる。また、対応点検出部１２４は、１対のピーク集合から１対の対応点を検出する。対応点検出部１２４は、エピポーラ線上に限らず、ピーク集合の中央、中心、重心または重み付け重心等を対応点として検出してもよい。
　また、実施の形態３と同様に、対応点検出装置１２０は、１対のエピポーラ線に限らず、１対の基準線を用いてもよい。特に、本実施の形態では、対応付け部１２３は、垂直方向に跨るピーク集合の特徴を用いるため、第１画像と第２画像との間に垂直方向のずれが存在する場合でも、ピーク集合の対応付けを適切に行うことができる。
　また、実施の形態３と同様に、対応点検出装置１２０は、第１画像および第２画像における１対の基準線をずらしながら、第１画像の基準線に交わるピーク集合と、第２画像の基準線に交わるピーク集合とを対応付けてもよい。これにより、ピーク集合の適切な対応付けが行われる。
　上記のように、本実施の形態において、対応点検出装置１２０は、複数対のピーク集合を適切に決定し、複数対の対応点を適切に検出することができる。また、対応点検出装置１２０は、ピーク集合の特徴としてピーク集合の大きさを用いることにより、ピーク集合の対応付けを適切に行うことができる。
　以上、本発明に係る対応点検出装置について、複数の実施の形態に基づいて説明したが、本発明は実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態、および、複数の実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。
　例えば、特定の処理部が実行する処理を別の処理部が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、本発明は、対応点検出装置として実現できるだけでなく、対応点検出装置を構成する処理手段をステップとする方法として実現できる。例えば、それらのステップは、コンピュータによって実行される。そして、本発明は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本発明は、そのプログラムを記録したＣＤ－ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体として実現できる。
　また、対応点検出装置に含まれる複数の構成要素は、集積回路であるＬＳＩとして実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、対応点検出装置に含まれる構成要素の集積回路化を行ってもよい。
　本発明に係る対応点検出装置は、複数の画像のそれぞれから対応点を検出することができ、例えば、被写体の位置を測定する距離測定システム、および、被写体の表面形状を検出する形状検出システムなどに利用可能である。
　　１００　画像処理システム
　　１１０　撮像装置
　　１２０　対応点検出装置
　　１２１　ピーク検出部
　　１２２　連結部
　　１２３　対応付け部
　　１２４　対応点検出部
　　１３０　形状算出装置
　　１４０　表示装置
　　３０１、３０２　領域
　　４１１、４１２、４２１、４２２、４２３、７１１、７１２、７１３、７１４、７１５、７１６、７１７、７１８、７２１、７２２、７２３、７２４、７２５、７２６、７２８　ピーク点
　　５１１、５１２、５１３、５１４、５１５、５１６、５２１、５２２、５２３、５２４、５２５、５２６、６１１、６１２、６１３、６１４、６１５、６１６、６２１、６２２、６２３、６２４、６２５、６２６、８１１、８１２、８１３、８１４、８１５、８１６、８１７、８１８、８１９、８２０、８２１、８２２、８３１、８３２、８３３、８３４、８３５、８３６、８３７、８３８、８３９、８４０、８４１、８４２、８５１、８５２、８５３、８５４、８５５、８５６、８５７、８５８、８５９、８６０、８６１、８６２、８７１、８７２、８７３、８７４、８７５、８７６、８７７、８７８、８７９、８８０，８８１、８８２　　ピーク集合
　　７１０、７２０　輝度曲線
　　９１１、９１２、９２１、９２２、９３１、９３２　パターン

Claims (12)

  1. 　視点が互いに異なる第１画像および第２画像から、被写体の同一位置にそれぞれ対応する第１対応点および第２対応点を検出する対応点検出装置であって、
    　前記第１画像および前記第２画像のそれぞれにおいて平行線分毎に、画素値のピークまたはボトムにそれぞれ対応する複数のピーク部分を検出するピーク検出部と、
    　前記平行線分毎に検出された前記複数のピーク部分のそれぞれを隣接する平行線分のピーク部分に連結してピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して複数のピーク集合を決定する連結部と、
    　前記第１画像の前記複数のピーク集合のうちの１つである第１ピーク集合と、前記第２画像の前記複数のピーク集合のうちの１つである第２ピーク集合とを対応付ける対応付け部と、
    　前記第１ピーク集合から前記第１対応点を決定し、前記第２ピーク集合から前記第２対応点を決定することにより、前記第１対応点と前記第２対応点とを検出する対応点検出部とを備える
    　対応点検出装置。
  2. 　前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、エピポーラ線に平行な前記平行線分毎に、前記複数のピーク部分を検出し、
    　前記対応点検出部は、前記第１ピーク集合から前記第１画像のエピポーラ線上の前記第１対応点を決定し、前記第２ピーク集合から前記第２画像のエピポーラ線上の前記第２対応点を決定することにより、前記第１対応点と前記第２対応点とを検出する
    　請求項１に記載の対応点検出装置。
  3. 　前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、画素値が走査される走査線に対応する前記平行線分毎に、前記複数のピーク部分を検出する
    　請求項１に記載の対応点検出装置。
  4. 　前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、前記平行線分毎に、画素値のピークまたはボトムにそれぞれが対応する複数のピーク点を前記複数のピーク部分として検出し、
    　前記連結部は、前記平行線分毎に検出された前記複数のピーク点のそれぞれを隣接する平行線分のピーク点に連結して線状の前記ピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して、それぞれ線状の前記複数のピーク集合を決定する
    　請求項１～３のいずれか１項に記載の対応点検出装置。
  5. 　前記対応付け部は、前記第１ピーク集合の長さと、前記第２ピーク集合の長さとに基づいて、前記第１ピーク集合と、前記第２ピーク集合とを対応付ける
    　請求項４に記載の対応点検出装置。
  6. 　前記対応付け部は、前記第１画像における所定の基準線に交わる複数のピーク集合のうち最も長い前記第１ピーク集合と、前記第２画像における所定の基準線に交わる複数のピーク集合のうち最も長い前記第２ピーク集合とを対応付ける
    　請求項５に記載の対応点検出装置。
  7. 　前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、前記平行線分毎に、画素値のピークまたはボトムに対応する点をそれぞれが含む複数のピーク線分を前記複数のピーク部分として検出し、
    　前記連結部は、前記平行線分毎に検出された前記複数のピーク線分のそれぞれを隣接する平行線分のピーク線分に連結して、領域を有する前記ピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して、それぞれが領域を有する前記複数のピーク集合を決定する
    　請求項１～３のいずれか１項に記載の対応点検出装置。
  8. 　前記対応付け部は、前記第１ピーク集合の大きさと、前記第２ピーク集合の大きさとに基づいて、前記第１ピーク集合と、前記第２ピーク集合とを対応付ける
    　請求項７に記載の対応点検出装置。
  9. 　前記対応付け部は、前記第１画像における所定の基準線に交わる複数のピーク集合のうち最も大きい前記第１ピーク集合と、前記第２画像における所定の基準線に交わる複数のピーク集合のうち最も大きい前記第２ピーク集合とを対応付ける
    　請求項８に記載の対応点検出装置。
  10. 　前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、前記平行線分毎に、輝度値である画素値のピークまたはボトムにそれぞれが対応する前記複数のピーク部分を検出する
    　請求項１～９のいずれか１項に記載の対応点検出装置。
  11. 　視点が互いに異なる第１画像および第２画像から、被写体の同一位置にそれぞれ対応する第１対応点および第２対応点を検出する対応点検出方法であって、
    　前記第１画像および前記第２画像のそれぞれにおいて平行線分毎に、画素値のピークまたはボトムにそれぞれ対応する複数のピーク部分を検出するピーク検出ステップと、
    　前記平行線分毎に検出された前記複数のピーク部分のそれぞれを隣接する平行線分のピーク部分に連結してピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して複数のピーク集合を決定する連結ステップと、
    　前記第１画像の前記複数のピーク集合のうちの１つである第１ピーク集合と、前記第２画像の前記複数のピーク集合のうちの１つである第２ピーク集合とを対応付ける対応付けステップと、
    　前記第１ピーク集合から前記第１対応点を決定し、前記第２ピーク集合から前記第２対応点を決定することにより、前記第１対応点と前記第２対応点とを検出する対応点検出ステップとを含む
    　対応点検出方法。
  12. 　請求項１１に記載の対応点検出方法をコンピュータに実行させるためのプログラム。
PCT/JP2014/005704 2013-12-26 2014-11-13 対応点検出装置および対応点検出方法 WO2015097969A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013270090A JP5509441B1 (ja) 2013-12-26 2013-12-26 対応点検出装置および対応点検出方法
JP2013-270090 2013-12-26

Publications (1)

Publication Number Publication Date
WO2015097969A1 true WO2015097969A1 (ja) 2015-07-02

Family

ID=51031113

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005704 WO2015097969A1 (ja) 2013-12-26 2014-11-13 対応点検出装置および対応点検出方法

Country Status (2)

Country Link
JP (1) JP5509441B1 (ja)
WO (1) WO2015097969A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6586852B2 (ja) * 2015-10-15 2019-10-09 サクサ株式会社 画像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997342A (ja) * 1995-08-03 1997-04-08 Sumitomo Electric Ind Ltd 樹木離隔距離計測システム
JP2008123141A (ja) * 2006-11-09 2008-05-29 Yamatake Corp 対応点探索方法および３次元位置計測方法
JP2009186228A (ja) * 2008-02-04 2009-08-20 Konica Minolta Holdings Inc ３次元計測装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000171214A (ja) * 1998-12-08 2000-06-23 Meidensha Corp 対応点検索方法及びこれを利用した三次元位置計測方法
JP4207008B2 (ja) * 2005-02-21 2009-01-14 住友電気工業株式会社 画像処理システム、画像処理装置、コンピュータプログラム、及び画像遅延量算出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997342A (ja) * 1995-08-03 1997-04-08 Sumitomo Electric Ind Ltd 樹木離隔距離計測システム
JP2008123141A (ja) * 2006-11-09 2008-05-29 Yamatake Corp 対応点探索方法および３次元位置計測方法
JP2009186228A (ja) * 2008-02-04 2009-08-20 Konica Minolta Holdings Inc ３次元計測装置

Also Published As

Publication number Publication date
JP5509441B1 (ja) 2014-06-04
JP2015125618A (ja) 2015-07-06

Similar Documents

Publication Publication Date Title
EP3754295B1 (en) Three-dimensional measuring system and three-dimensional measuring method
US9613425B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method and program
EP2568253B1 (en) Structured-light measuring method and system
JP6465682B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102424135B1 (ko) 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭
US9799117B2 (en) Method for processing data and apparatus thereof
JP2014013147A5 (ja)
US20170032530A1 (en) Information processing apparatus, information processing method, and storage medium
EP2887313A1 (en) Image processing apparatus, system, image processing method, and computer-readable recording medium
JP2017142613A (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP6668594B2 (ja) 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP2008275366A (ja) ステレオ３次元計測システム
TWI571099B (zh) 深度估測裝置及方法
US9674503B2 (en) Stereo matching apparatus using image property
JP5509441B1 (ja) 対応点検出装置および対応点検出方法
WO2014054124A1 (ja) 路面標示検出装置及び路面標示検出方法
JP2015045919A (ja) 画像認識方法及びロボット
US20170064286A1 (en) Parallax detection device
US20160379354A1 (en) Apparatus and method for measuring position of stereo camera
JP6852406B2 (ja) 距離測定装置、距離測定方法および距離測定プログラム
US20130325397A1 (en) Dimension measuring apparatus and computer readable medium
KR102187192B1 (ko) 영상시차 획득방법 및 장치
KR101869226B1 (ko) 이종 카메라를 위한 시차 맵 생성 방법
JP2019164837A (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JPH10289315A (ja) 視差算出装置、距離算出装置およびこれらの方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14873907

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14873907

Country of ref document: EP

Kind code of ref document: A1