WO2019160032A1 - ３次元計測システム及び３次元計測方法 - Google Patents

３次元計測システム及び３次元計測方法 Download PDF

Info

Publication number
WO2019160032A1
WO2019160032A1 PCT/JP2019/005332 JP2019005332W WO2019160032A1 WO 2019160032 A1 WO2019160032 A1 WO 2019160032A1 JP 2019005332 W JP2019005332 W JP 2019005332W WO 2019160032 A1 WO2019160032 A1 WO 2019160032A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
parallax
feature point
unit
imaging unit
Prior art date
Application number
PCT/JP2019/005332
Other languages
English (en)
French (fr)
Inventor
康裕 大西
清水　隆史
松本　慎也
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to US16/963,248 priority Critical patent/US11302022B2/en
Priority to EP19753905.9A priority patent/EP3754295B1/en
Priority to CN201980007572.3A priority patent/CN111566437B/zh
Publication of WO2019160032A1 publication Critical patent/WO2019160032A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present disclosure relates to a three-dimensional measurement system and a three-dimensional measurement method.
  • the search range of the three-dimensional measurement by the stereo camera method performed thereafter is changed to the search range of the conventional stereo camera method based on the three-dimensional information obtained by the three-dimensional measurement method different from the stereo camera method. Therefore, the processing speed can be improved as compared with the conventional method of performing the three-dimensional measurement by the stereo camera method alone. Moreover, since three-dimensional information acquired by the stereo camera method is used, high measurement resolution can be realized.
  • the “measurement light” is not particularly limited as long as it is projection light or illumination light used in various three-dimensional measurement methods. For example, pattern light having a predetermined fixed dot pattern, pattern light having a random dot pattern. And slit light. Such a configuration is particularly useful when a predetermined measurement light is projected using an active measurement method as a three-dimensional measurement method different from the stereo camera method.
  • a part of an object is subjected to a first three-dimensional measurement (three-dimensional measurement by a three-dimensional measurement method different from the stereo camera method) prior to the three-dimensional measurement by the stereo camera method, and a three-dimensional point group. Even if the image cannot be restored, it is not necessary to perform stereo matching with an expanded search range for the entire captured image, and the processing speed can be increased.
  • the first calculation unit restores a three-dimensional point group indicating a three-dimensional position of the first feature point, and each of the first image processing unit in the restored three-dimensional point group.
  • a second image processing unit that two-dimensionally projects the three-dimensional coordinates of one feature point on the image to obtain the two-dimensional coordinates of each first feature point, and calculates the parallax of each first feature point from the two-dimensional coordinates You may have.
  • the above-described calculation of the parallax of the first feature point and the calculation of the parallax of the second feature point described above can be suitably executed, thereby further realizing high measurement resolution and high-speed processing in three-dimensional measurement. can do.
  • the distance between the optical axis of the first imaging unit and the optical axis of the second imaging unit is such that the optical axis of the projection unit (the optical axis of measurement light) and the light of the first imaging unit.
  • the distance may be equal to the axis or the distance from the optical axis of the second imaging unit.
  • the “optical axis of the imaging unit” refers to the optical central axis of the imaging unit, and is incident perpendicularly to the center of the imaging surface defined by the imaging device, regardless of the configuration of the optical system in the imaging unit.
  • the optical path of the light beam (in other words, the direction perpendicular to the imaging surface and passing through the center of the imaging surface).
  • high-speed processing can be realized by increasing the measurement resolution in three-dimensional measurement and narrowing the search range.
  • high-speed processing can improve the processing speed of the entire system, save storage capacity, reduce the amount of communication data, and improve processing reliability.
  • (A) and (B) are the image which imaged an example of the target object with the three-dimensional measurement system which concerns on embodiment, respectively, and the three-dimensional point cloud image restored
  • (A) is a parallel image of an image obtained by imaging an example of an object by the three-dimensional measurement system according to the embodiment, and a portion of an image obtained by two-dimensionally projecting the three-dimensional coordinates of the restored three-dimensional point on the parallel image. An enlarged view is shown.
  • or (D) is a perspective view which respectively shows typically the 1st structural example thru
  • (A) And (B) is a perspective view showing typically the 5th example of composition and the 6th example of composition of a sensor unit concerning an embodiment, respectively.
  • or (C) is a top view which shows typically the 9th structural example of the sensor unit which concerns on embodiment, thru
  • the 3D projector 110 projects illumination (hereinafter also referred to as “3D illumination”) including measurement light (for example, pattern light) for performing three-dimensional measurement of the object OB onto the object OB in the projection area S110.
  • the first camera 210 and the second camera 220 are each configured to include a camera device on which, for example, a general optical sensor is mounted, and the object OB on which the 3D illumination is projected is viewed at the viewing angles S210, S210, respectively. Imaging is performed in S220.
  • the computer 300 performs first image processing to fourth image processing shown in the following (1) to (4) as image processing of the images Img1 and Img2.
  • First image processing For example, three-dimensional measurement by an active one-shot method, and from three of a plurality of target pixels corresponding to a pattern included in measurement light (pattern light) from at least one of images Img1 and Img2. A three-dimensional point group indicating a three-dimensional position is restored. At this time, for example, the plurality of target pixels are distributed with a coarser density than the pixel units in the images Img1 and Img2.
  • the passive measurement method is used as a three-dimensional measurement method different from the stereo camera method, the measurement light is not projected, that is, the 3D projector 110 may not be provided.
  • an estimated value of the parallax between the second feature point and the corresponding point is obtained based on the parallax of the first feature point existing at a predetermined position near the second feature point in the reference image.
  • the search region for the corresponding point with respect to the second feature point is limitedly set (that is, the search region is limited to a narrow range).
  • stereo matching is performed in the search region to calculate the parallax of the second feature point.
  • An integrated parallax map is created by integrating the parallax maps obtained in the above (1) to (3), and appropriate filtering is performed on the integrated parallax map as necessary. After performing post-processing, the parallax of each pixel (the first feature point in (1) above and the second feature point in (3) above) for which the parallax has been obtained is converted into a distance in the depth direction (so-called parallax / depth) Conversion) to identify the three-dimensional shape of the object OB.
  • the sensor unit 200 corresponds to an example of the “projection unit” (“first projection unit”) and the “imaging unit” in the present disclosure
  • the 3D projector 110 includes the “projection unit” (“first unit” in the present disclosure. 1 projection unit ")
  • the first camera 210 and the second camera 220 correspond to examples of" first imaging unit “and” second imaging unit “in the present disclosure, respectively.
  • the images Img1 and Img2 correspond to an example of “different images of the object” in the present disclosure.
  • a part that performs image processing in the computer 300 includes a “first image processing unit”, a “second image processing unit”, and a “first calculation unit” including them in the present disclosure.
  • first, other pixels (second feature points and their corresponding points) located between the first feature points where the parallax information is obtained by a three-dimensional measurement method different from the stereo camera method. ) can be supplemented by a stereo camera system. Then, by limiting the search area for stereo matching at that time to a certain narrow range, an extremely short processing time can be achieved. As a result, it is possible to greatly reduce the search time and therefore the processing time in stereo matching while maintaining high measurement resolution by the stereo camera system. In addition, by limiting the search area in this way, it is possible to realize excellent robustness against mutual reflection and to reduce erroneous correspondence between pixels in stereo matching.
  • FIG. 2 is a plan view schematically showing an example of the hardware configuration of the three-dimensional measurement system 100 according to the present embodiment.
  • the computer 300 includes a control operation unit 301, a communication interface (I / F) unit 302, a storage unit 303, an input unit 304, and an output unit 305, and each unit can be connected to be communicable with each other via a bus line 306. .
  • the input unit 304 is an interface device for accepting various input operations from the user, which can be realized with, for example, a mouse, a keyboard, a touch panel, or the like.
  • the output unit 305 is an interface device for notifying various types of information to a user or the like using the three-dimensional measurement system 100 by, for example, a display, a speaker, a printer, etc., display, sound, printing, and the like.
  • control unit 310 projects the 3D illumination from the 3D projector 110 to the object OB in the sensor unit 200, and captures the object OB on which the 3D illumination is projected by the first camera 210 and the second camera 220.
  • the image acquisition unit 320 acquires images Img1 and Img2 of the object OB captured by the first camera 210 and the second camera 220.
  • the image recording unit 330 is a three-dimensional image showing the three-dimensional shape of the object OB finally obtained by the image processing in the image processing unit 350 and the images Img1 and Img2 of the object OB acquired by the image acquisition unit 320. Holds point cloud images and the like.
  • the image output unit 340 outputs a three-dimensional point cloud image indicating the three-dimensional shape of the object OB thus obtained to a display, a printer, or the like so that the user of the three-dimensional measurement system 100 can visually recognize.
  • each function realized by the computer 300 included in the three-dimensional measurement system 100 is realized by a general-purpose CPU.
  • part or all of the above functions may be one or more. It may be realized by a dedicated processor.
  • the functional configuration of the computer 300 provided in the three-dimensional measurement system 100 it is of course possible that functions may be omitted, replaced, or added as appropriate according to the embodiment.
  • the “computer” can be understood as a general information processing apparatus.
  • FIG. 4 is a flowchart illustrating an example of a processing procedure of the three-dimensional measurement system 100 according to the present embodiment, and is also a flowchart illustrating an example of a processing procedure of a three-dimensional measurement method using the three-dimensional measurement system 100.
  • FIG. 5 is a timing chart in an example of a processing procedure of the three-dimensional measurement system 100 according to the present embodiment. Note that the processing procedure described below is merely an example, and each processing may be changed as much as possible. Further, in the processing procedure described below, steps can be omitted, replaced, and added as appropriate according to the embodiment. Furthermore, each “time t” described below indicates the start and end timing of the processing in FIG.
  • Step S10 First, in step S10, the relative arrangement of the object OB and the sensor unit 200 is adjusted as necessary, the projection conditions of the 3D illumination from the 3D projector 110, the first camera 210, and the first camera 210 are adjusted. After the imaging conditions of the two cameras 220 are set, 3D illumination including pattern light is projected from the 3D projector 110 onto the object OB from time t1 to time t2 based on an appropriate trigger (timing signal) at time t1. To do.
  • step S10 the relative arrangement of the object OB and the sensor unit 200 is adjusted as necessary, the projection conditions of the 3D illumination from the 3D projector 110, the first camera 210, and the first camera 210 are adjusted. After the imaging conditions of the two cameras 220 are set, 3D illumination including pattern light is projected from the 3D projector 110 onto the object OB from time t1 to time t2 based on an appropriate trigger (timing signal) at time t1. To do.
  • step S40 the following processing is performed from time t6 to time t7. That is, here, first, general parallelization processing of the images Img1 and Img2 is performed, and the second image processing (restoration 3) of (2) is performed using the parallelized images Img1 and Img2 (parallelization images). Dimension point cloud projection). Thereby, the three-dimensional coordinates of each first feature point (restored three-dimensional point) in the restored three-dimensional point group (that is, the three-dimensional coordinates of each point in FIG. 6B) are two-dimensionally projected on the images Img1 and Img2. . Note that the two-dimensional projection onto the image Img1 can be executed substantially simultaneously from the time t4 to the time t6 in the processing of the image Img1 in step S30.
  • the origin coordinates of the first camera 210 are set as reference coordinates.
  • the lens distortion of the first camera 210 and the second camera 220 has been removed in advance from the images Img1 and Img2, and considering a linear model, the three-dimensional point X A in the active one-shot method, the first camera
  • the corresponding two-dimensional coordinate point U L in the image Img1 by 210 and the corresponding two-dimensional coordinate point U R in the image Img2 by the second camera 220 are modeled as a relationship expressed by the following expressions (1) and (2). can do.
  • the first camera 210 and the second camera 220 are installed horizontally, the first camera 210 and the second camera 220 are virtually arranged so that corresponding pixels in the images Img1 and Img2 appear at the same position in the vertical direction. Both the second cameras 220 are rotated to obtain an ideal parallel state.
  • the rotation camera R rect and the virtual camera matrix K rect satisfying the condition expressed by the following expression (3) are used, and the first camera 210 is R rect ⁇ R 2 and the second camera. 220 is virtually rotated by R rect .
  • collimated image corresponding to the restored three-dimensional point X A with different three-dimensional measurement system e.g. an active one-shot method
  • a stereo camera system Img1 Corresponding two-dimensional coordinates U ′ L in ′ and corresponding two-dimensional coordinates U ′ R in the parallelized image Img2 ′ can be obtained.
  • Step S50 Next, in step S50, using the images Img1 and Img2, the same (3) third image processing (three-dimensional measurement by the stereo camera method) is executed from time t6 to time t7 as in step S40, and the image Img1 , Img2 (images Img1 ′ and Img2 ′ in the case of parallelization processing) are set as a reference image and the other as a comparison image, an arbitrary second feature point in the reference image and corresponding points in the comparison image And stereo matching.
  • the image Img2 may be a reference image and the image Img1 may be a comparative image.
  • this estimation method is not limited to the following method.
  • a case where the first feature point and the second feature point are different points and are located in the vicinity of each other will be described as an example.
  • the first feature point and the second feature point are the same point.
  • the present invention is not limited to an example in which both are present in the vicinity of each other.
  • the first feature point is determined by the stereo camera method. By excluding the process of obtaining point distance information, the calculation speed can be increased.
  • the parallax d GA of the pixel GA that is the second feature point is, for example, It can be estimated that the value is within a range that satisfies 6).
  • ⁇ d represents a margin that can be set as appropriate (the same applies hereinafter).
  • Step S60 the parallax information obtained in steps S30 and S50 is integrated from time t7 to time t8.
  • a parallax map having a fine density distribution is integrated to obtain an integrated parallax map (for example, a map in which the parallax of all the pixels shown in FIG. 8 is found).
  • FIG. 9A and FIG. 9B respectively show an image ImgM (example of an integrated parallax map obtained by the three-dimensional measurement system 100 for an example of the object OB (metal workpiece).
  • the magnitude of the parallax is schematically shown in gray scale.
  • a three-dimensional point group image Img3DM representing a three-dimensional shape restored using the image ImgM is shown.
  • the search time in stereo matching of the stereo camera system having a high measurement resolution in pixel units (as shown in FIG. 5, the processing time in step S40 is an extremely short time from time t6 to time t7) and the whole. Processing time can be greatly reduced.
  • the search area in this way it is possible to realize excellent robustness against mutual reflection and to reduce erroneous correspondence between pixels in stereo matching.
  • FIG. 10 shows, in a tabular form, a list of images representing a parallax map that is finally obtained as a result of performing three-dimensional measurement by various methods on the objects OB having different surface properties.
  • the sensor unit 200 in the three-dimensional measurement system 100 of the present embodiment is used as the sensor unit.
  • FIG. 10 shows two types of obtained images Img1, Img2 (however, the pattern is erased). ).
  • the results obtained by performing only the image processing by the active one-shot method and the results obtained by performing the image processing by the stereo camera method are referred to as “Comparative Example 1” and “Comparative Example 2”, respectively. As shown.
  • Comparative Example 1 As shown in FIG. 10, in Comparative Example 1 (only image processing by the active one-shot method), A. no texture and D. Although a good result was obtained for a work causing specular reflection, B. Having a shape edge; and C.I. Good results were not obtained for those having a texture. On the other hand, in Comparative Example 2 (only stereo camera image processing), Having a shape edge; and C.I. Although good results were obtained for those having a texture, A. no texture and D. Good results were not obtained for workpieces that caused specular reflection. On the other hand, in Example 1 (image processing by the three-dimensional measurement system 100 of the present embodiment), good results were obtained for any object OB.
  • FIG. 11A is a perspective view schematically showing a first configuration example of the sensor unit 200.
  • the optical axis P21 of the first camera 210 and the optical axis P22 of the second camera 220 are arranged on the same plane P1, and the optical axis P11 of the 3D projector 110 is not arranged on the plane P1. It is composed of.
  • the optical axis P11 of the 3D projector 110 is a position on the virtual plane P1 defined by the optical axis P21 of the first camera 210 and the optical axis P22 of the second camera 220. It is comprised so that it may be arrange
  • the base line length (distance) between the first camera 210 and the second camera 220 is the base line length between the 3D projector 110 and the first camera 210, and the 3D projector 110 and the second camera 220. Therefore, the measurement accuracy in the three-dimensional measurement can be improved.
  • the measurement accuracy by the active one-shot method using the first camera 210 and the measurement accuracy by the active one-shot method using the second camera 220 can be made equal, and the active one-shot method is used for both cameras. This is useful when performing three-dimensional measurement by the method.
  • the footprint of the sensor unit 200 can be made relatively small, the installation area of the three-dimensional measurement system can be reduced.
  • FIG. 11B is a perspective view schematically showing a second configuration example of the sensor unit 200.
  • the optical axis P21 of the first camera 210 and the optical axis P22 of the second camera 220 are arranged on the same plane P1, and the optical axis P11 of the 3D projector 110 is not arranged on the plane P1. It is composed of.
  • the optical axis P11 of the 3D projector 110 is a position on the virtual plane P1 defined by the optical axis P21 of the first camera 210 and the optical axis P22 of the second camera 220. It is comprised so that it may be arrange
  • the distance between the optical axis P21 of the first camera 210 and the optical axis P22 of the second camera 220 is the distance between the optical axis P11 of the 3D projector 110 and the optical axis P21 of the first camera 210. It is configured to be longer than the distance.
  • the baseline length between the first camera 210 and the second camera 220 is the baseline length between the 3D projector 110 and the first camera 210, and the baseline between the 3D projector 110 and the second camera 220. Since it becomes larger than any of the lengths, the measurement accuracy in the three-dimensional measurement can be improved. In addition, since the baseline length of the 3D projector 110 and the first camera 210 and the baseline length of the 3D projector 110 and the second camera 220 are equal, measurement by the active one-shot method using the first camera 210 is performed. The accuracy and the measurement accuracy by the active one-shot method using the second camera 220 can be made equal, which is useful when performing three-dimensional measurement by the active one-shot method with both cameras.
  • the base line length of the first camera 210 and the second camera 220 can be made larger than, for example, the first configuration example (FIG. 11A) or the second configuration example (FIG. 11B). Therefore, if other measurement parameters and algorithms are the same, the measurement accuracy by the stereo camera method can be further improved, and the measurement accuracy by the stereo camera method can be improved even if the installation area of the sensor unit 200 is widened. Useful when you want to increase.
  • FIG. 11D is a perspective view schematically showing a fourth configuration example of the sensor unit 200.
  • the optical axis P11 of the 3D projector 110 is on a virtual plane P2 defined by the optical axis P21 of the first camera 210 and the optical axis P22 of the second camera 220 (that is, all on the same plane). (On P2).
  • the distance between the optical axis P21 of the first camera 210 and the optical axis P22 of the second camera 220 is the distance between the optical axis P11 of the 3D projector 110 and the optical axis P21 of the first camera 210. Configured to be equivalent to distance.
  • the baseline length of the first camera 210 and the second camera 220 is equal to the baseline length of the 3D projector 110 and the first camera 210, so that the measurement accuracy in the three-dimensional measurement is improved. be able to.
  • the measurement accuracy by the active one-shot method using the second camera 220 can be higher than the measurement accuracy by the active one-shot method in the third configuration example (FIG. 11C), and one camera This is useful when three-dimensional measurement is performed by the active one-shot method and measurement accuracy by the active one-shot method is desired to be further increased.
  • FIG. 12A is a perspective view schematically showing a fifth configuration example of the sensor unit 200.
  • the fifth configuration example has an arrangement in which a 2D projector 120 is additionally provided in the second configuration example shown in FIG.
  • the optical axis P21 of the first camera 210 and the optical axis P22 of the second camera 220 are arranged on the same plane P1, and the optical axis P11 of the 3D projector 110 and the light of the 2D projector 120
  • the axis P12 is configured to be disposed on the same plane P3 different from the plane P1.
  • the plane P1 and the plane P3 are parallel.
  • the configuration of the sensor unit 200 excluding the 2D projector 120 is the same as that of the second configuration example, so that the measurement accuracy in the three-dimensional measurement can be improved as in the second configuration example.
  • the measurement accuracy by the active one-shot method using the second camera 220 can be made higher than the measurement accuracy by the active one-shot method in the first configuration example (FIG. 11A), and one camera This is useful when performing three-dimensional measurement by the active one-shot method.
  • the footprint of the sensor unit 200 can be made relatively small, the installation area of the three-dimensional measurement system can be reduced.
  • the baseline lengths of the first camera 210 and the second camera 220 are the baseline lengths of the 3D projector 110 and the first camera 210, and the 3D projector 110 and the second camera 220. Therefore, the measurement accuracy in the three-dimensional measurement can be improved.
  • the measurement accuracy by the active one-shot method using the second camera 220 can be higher than the measurement accuracy by the active one-shot method in the third configuration example (FIG. 11C), and one camera This is useful when three-dimensional measurement is performed by the active one-shot method and measurement accuracy by the active one-shot method is desired to be further increased.
  • the baseline length of the first camera 210 and the second camera 220 can be further increased as compared with, for example, the third configuration example (FIG. 11C), other measurement parameters and algorithms can be used. Under the same conditions, the measurement accuracy by the stereo camera method can be further improved, which is useful when it is desired to further improve the measurement accuracy by the stereo camera method even if the installation area of the sensor unit 200 is further increased.
  • the arrangement of the sensor units 200 in the first to sixth configuration examples is based on measurement information obtained by a measurement method based on triangulation as a basic principle as a three-dimensional measurement method different from the stereo camera method. It was exemplified as a useful configuration when performing stereo matching by the stereo camera system.
  • FIG. 13A is a plan view schematically showing a ninth configuration example of the sensor unit 200.
  • the projection area S110 of the 3D illumination covers the overlapping portion (common field of view) of the viewing angle S210 of the first camera 210 and the viewing angle S220 of the second camera 220 as the 3D projector 110.
  • images Img1 and Img2 are captured at the time of projection of one-time 3D illumination, and hybrid three-dimensional measurement is performed using these images Img1 and Img2. It is particularly suitable when performed.
  • FIG. 13B is a plan view schematically showing a tenth configuration example of the sensor unit 200.
  • the projection area S110 of the 3D illumination has one of the viewing angle S210 of the first camera 210 and the viewing angle S220 of the second camera 220 (single field of view) as a whole.
  • the thing which covers is provided.
  • the tenth configuration example is useful when capturing an image used in the active one-shot method in the three-dimensional measurement system 100 according to the above-described embodiment. In this case, an image used in the stereo camera method has a different projection area. Imaging can be performed with another illumination (for example, a 2D projector).
  • FIG. 13C is a plan view schematically showing an eleventh configuration example of the sensor unit 200.
  • the projection area S110 of the 3D illumination covers the entire viewing angle S210 of the first camera 210 and the entire viewing angle S220 of the second camera 220 (multiple viewing fields).
  • the images Img1 and Img2 are captured at the time of one-time projection of 3D illumination, and the hybrid three-dimensional measurement is performed using the images Img1 and Img2. It is possible to suitably cope with both the case where the image is used and the case where the image used in the active one-shot method and the image used in the stereo camera method are separately captured.
  • the search range in stereo matching is set to a predetermined range.
  • the hardware configuration in the twelfth configuration example can be equivalent to that of the other embodiments and other configuration examples.
  • the first three-dimensional measurement prior to the three-dimensional measurement by the stereo camera method (three-dimensional measurement by a three-dimensional measurement method different from the stereo camera method; Even when the three-dimensional point group cannot be restored by the active one-shot method, it is not necessary to perform stereo matching with the search range widened on the entire images Img1 and Img2, and the processing speed can be increased.
  • a second calculation unit (350) that calculates and identifies the three-dimensional shape of the object (OB) from the parallax (d 0 to d 3 ) of the first feature point and the parallax of the second feature point; With The second calculation unit (350) sets a search range of the corresponding points with respect to the second feature points based on parallax (d 0 to d 3 ) of the first feature points.
  • Appendix 2 A projection unit (200, 110) for projecting measurement light onto the object (OB) in order to specify a three-dimensional shape;
  • the three-dimensional measurement system (100) according to appendix 1.
  • the first feature point and the second feature point are the same point or exist in the vicinity of each other,
  • the three-dimensional measurement system (100) according to appendix 1 or 2.
  • a three-dimensional measurement method different from the stereo camera method is to obtain three-dimensional information of the object (OB) by one-time imaging by the imaging unit (200).
  • the three-dimensional measurement system (100) according to any one of appendices 1 to 3.
  • a third image processing unit that calculates a parallax of the second feature point by setting a search region of the corresponding point based on the stereo matching between the second feature point and the corresponding point in the search region; 353), a fourth image processing unit (354) for specifying a three-dimensional shape of the object (OB) based on the parallax (d 0 to d 3 ) of the first feature point and the parallax of the second feature point And having The three-dimensional measurement system (100) according to any one of appendices 1 to 6.
  • the optical axis (P11) of the projection unit (110), the optical axis (P21) of the first imaging unit (210), and the optical axis (P22) of the second imaging unit (220) are on the same plane (P2). Arranged, The three-dimensional measurement system (100) according to any one of appendices 2 to 9.
  • the projection unit (200, 120) projects normal illumination light different from the measurement light onto the object (OB).
  • the three-dimensional measurement system (100) according to any one of appendices 2 to 11.
  • a three-dimensional unit including an imaging unit (200) having a first imaging unit (210) and a second imaging unit (220) that are spaced apart from each other, a first calculation unit (350), and a second calculation unit (350).
  • the imaging unit (200) imaging different images (Img1, Img2) of the object (OB);
  • the first calculation unit (350) uses at least one of the first imaging unit (210) and the second imaging unit (220), and distance information or distance of a three-dimensional measurement method different from the stereo camera method Calculating parallax (d 0 -d 3 ) of the first feature point in the image by using information for calculating
  • the second calculation unit (350) uses the first imaging unit (210) and the second imaging unit (220) to search for a corresponding point for the second feature point by a stereo camera method, Calculating a parallax of the second feature point based on the parallax (d 0 to d 3 ) of the first feature point and a parallax of the second

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

計測分解能を高めつつ高速処理を実現可能な画像処理システム及び方法を提供するべく、画像処理システムは、離間配置された第１撮像部及び第２撮像部を有し、対象物における互いに異なる画像を撮像する撮像部と、第１撮像部及び第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、第１特徴点の視差を算出する第１算出部と、第１撮像部及び第２撮像部を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索した結果に基づいて第２特徴点の視差を算出し、第１特徴点の視差及び第２特徴点の視差から対象物の３次元形状を特定する第２算出部を備え、第２算出部は、探索範囲を第１特徴点の視差に基づいて設定する。

Description

３次元計測システム及び３次元計測方法 関連出願の相互参照
　本出願は、２０１８年２月１４日に出願された日本特許出願番号２０１８－０２３７４４に基づくもので、ここにその記載内容を援用する。
　本開示は、３次元計測システム及び３次元計測方法に関する。
　従来、対象物の３次元計測を行うための種々の手法が知られており、それらは、光の性質に着目して、光の直進性を用いる手法と光の速度を用いる手法に大別される。これらのうち、光の直進性を用いる手法には、アクティブ計測（能動型計測）及びパッシブ計測（受動型計測）の何れかに分類される方式が含まれ、光の速度を用いる手法には、アクティブ計測（能動型計測）に分類される方式が含まれる。ここで、例えば非特許文献１には、アクティブ計測方式の一例である空間コード化パターン投影法の具体例として、空間的な符号化（コード化）がなされたパターンの単一画像を含むパターン光を対象物に投影し、その単一画像が投影された対象物を撮像装置で撮像して距離計算することにより３次元形状を取得するいわゆるアクティブワンショット方式を用いた方法が記載されている。
　また、パッシブ計測方式の一例として、２台の撮像装置を用いて対象物の３次元形状を求めるいわゆるステレオカメラ方式による方法が知られている。このステレオカメラ方式では、カメラ等の撮像装置を例えば左右に配置して対象物を同時に撮像し、得られた左右画像から対応する画素の対（すなわち基準画像における特徴点と比較画像における対応点）を探索し、左右画像における特徴点と対応点との視差（離間距離）を求め、この視差に基づいて各画素の３次元位置を算出することにより、対象物の３次元形状を特定する。
P. Vuylsteke and A. Oosterlinck, Range Image Acquisition with a Single Binary-Encoded Light Pattern, IEEE PAMI 12(2), pp. 148-164, 1990.
　しかしながら、従来のステレオカメラ方式による方法では、計測分解能を撮像装置の画素単位まで高めることが可能である反面、その原理に起因して、計測時間が比較的長くかかってしまうと不都合があった。
　そこで、本開示は、一側面では、かかる事情を鑑みてなされたものであり、３次元計測における計測分解能が高く、探索範囲を狭くすることにより高速処理を実現することが可能な３次元計測技術を提供することを目的とする。
　本開示は、上述した課題を解決するために、以下の構成を採用する。
　すなわち、本開示に係る３次元計測システムの一例は、概して、ステレオカメラ方式とは異なる３次元計測方式により、対象物の３次元情報として第１特徴点の視差を取得し、その結果に基づいて設定された制限された探索範囲においてステレオマッチングを行うステレオカメラ方式により、対象物の３次元情報として、第２特徴点の視差を取得し、得られた第１特徴点の視差及び第２特徴点の視差の両方を用いて、対象物の３次元形状を特定するものである。このとおり、本開示に係る３次元計測システムの一例では、ステレオカメラ方式とは異なる３次元計測方式により３次元計測を行った後に、ステレオカメラ方式による３次元計測を行う。
　かかる構成では、ステレオカメラ方式とは異なる３次元計測方式によって得られた３次元情報に基づいて、その後に実施されるステレオカメラ方式による３次元計測の探索範囲を従来のステレオカメラ方式の探索範囲に比して狭くすることができるので、従来の如くステレオカメラ方式単独で３次元計測を行う手法に比して、処理速度を向上させることが可能となる。また、ステレオカメラ方式によって取得される３次元情報を用いるので、高い計測分解能を実現することができる。
〔１〕具体的には、本開示に係る３次元計測システムの一例は、互いに離間配置された第１撮像部及び第２撮像部を有しており、且つ、前記対象物における互いに異なる画像を撮像する撮像部と、前記第１撮像部及び前記第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差を算出する第１算出部と、前記第１撮像部及び前記第２撮像部を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差及び前記第２特徴点の視差から前記対象物の３次元形状を特定する第２算出部とを備える。そして、前記第２算出部は、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差に基づいて設定する。
　当該構成では、第１撮像部及び第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、第１特徴点の視差を算出することで、第１特徴点の間隔に応じた比較的粗い密度分布の視差マップが得られる。それから、ステレオカメラ方式により、第１撮像部及び第２撮像部を用いて、第２特徴点に対する対応点の探索を行い、その探索結果に基づいて第２特徴点の視差を算出することにより、撮像された画像の画素単位での比較的細かい密度分布の視差マップが得られる。そして、両者の視差マップから対象物の３次元形状が特定される。
　ここで、従来のステレオカメラ方式のみによる画像処理では、通常、撮像された画像における広い範囲（計測レンジ）でのステレオマッチングによって特徴点に対する対応点の探索を行う必要があるため、処理時間が不可避的に長くなってしまう。これに対し、当該構成では、ステレオカメラ方式以外の３次元計測方式の距離情報又は距離を算出するための情報（例えば、位相情報、波長情報、焦点ぼけ情報等）を用いて得た第１特徴点の視差に基づいて、ステレオカメラ方式による探索を行う。これにより、各第２特徴点に対する対応点の探索範囲を、従来のステレオカメラ方式に比して格段に狭い範囲に限定することができる。その結果、ステレオマッチングの探索時間を格別に短縮して高速処理が可能となる。その一方で、ステレオマッチングにおける第２特徴点と対応点の探索は、撮像された画像の画素単位で行うことができるので、高い計測分解能を実現することができる。
　なお、当該構成では、第２特徴点の視差を求めるための探索範囲を、各第１特徴点について得られた視差のうち１つの視差に基づいて設定してもよいし、各第１特徴点について得られた視差のうち複数の視差に基づいて設定してもよい。複数の視差に基づいて探索範囲を設定する場合、１つの視差に基づいて探索範囲を設定する場合に比して、探索領域をより正確に限定することができ、その結果、処理時間の更なる短縮、及び／又は、ステレオマッチング精度の更なる向上を実現することができる。
〔２〕上記構成において、より具体的には、３次元形状を特定するために前記対象物に計測光を投射する投射部を備えてもよい。
　ここで、「計測光」としては、各種３次元計測方式で用いられる投射光又は照明光であれば特に制限されず、例えば、所定の固定ドットパターンを有するパターン光、ランダムドットパターンを有するパターン光、スリット光等を挙げることができる。かかる構成では、ステレオカメラ方式とは異なる３次元計測方式として特にアクティブ計測方式を用いて所定の計測光を投射する場合に有用である。
〔３〕上記構成において、前記第１特徴点及び前記第２特徴点は、同一点であっても異なる点であってもよい。特に、前記第１特徴点及び前記第２特徴点が、同一点であるか、又は、互いの近傍位置に存在するようにすると、第２の特徴点の探索範囲を更に正確に限定することができ、これにより、処理時間をより一層短縮し、及び／又は、ステレオマッチング精度をより一層向上させることができる。
　ここで、一般に、対象物の３次元計測方式のうち光の直進性を用いるアクティブ計測方式としては、例えば、三角測距を基本原理とする空間コード化パターン投影方式、時間コード化パターン投影方式、モアレトポグラフィ方式（等高線方式）、照度差ステレオ方式（照射方向/Photometric Stereo）等、及び、同軸測距を基本原理とする照度差方式（単照射／Inverse Square+ Regression Forest）、レーザ共焦点方式、白色共焦点方式、干渉方式等が挙げられる。また、光の直進性を用いるパッシブ計測方式としては、例えば、三角測距を基本原理とするステレオカメラ方式（マルチベースラインステレオ含む）、視体積交差方式（Shape from silhouette）、因子分解方式（factorization）、Depth from Motion（Structure from Motion）方式、Depth from Shading方式等、及び、同軸測距を基本原理とするDepth from focusing方式、Depth from defocus方式、Depth from zoom方式等が挙げられる。さらに、光の速度を用いるアクティブ計測方式としては、例えば、同時測距を基本原理とする光時間差（TOF）測定方式、レーザースキャン方式、光時間差（TOF）測定方式、シングルショット方式、光位相差（TOF）測定方式、並びに、電波、音波及びミリ波による（TOF）方式等が挙げられる。
〔４〕そして、本開示に係る３次元計測システムの一例における「ステレオカメラ方式とは異なる３次元計測方式」としては、上述の各方式のうちステレオカメラ方式を除く方式であれば何れも制限なく適用することができ、また、これらの方式のなかでも、前記ステレオマッチングとは異なる３次元計測方式として、前記撮像部による１度の撮影により前記対象物の３次元情報を得るものを用いてもよい。
　かかる構成では、ステレオカメラ方式による３次元計測の前に実施するステレオカメラ方式とは異なる３次元計測方式における撮像にかかる時間を短くすることができ、ひいては３次元計測システム全体で必要とする処理時間を短くすることができる。
〔５〕上記構成において、前記第２算出部は、前記探索範囲を前記第１特徴点の視差に基づいて設定しない場合に比して、前記ステレオカメラ方式における（ステレオマッチング）のマッチング度合いの指標の閾値を下げるように構成してもよい。
　かかる構成では、従来のステレオカメラ方式では達成不能であった相互反射に対する優れたロバスト性を実現することもできる。
〔６〕上記構成において、前記第１算出部は、前記第１特徴点の３次元位置を示す３次元点群を復元するものであり、前記第２算出部は、前記第１特徴点の一部について前記３次元点群が復元されなかった場合に、前記３次元点群が復元された前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を前記第１特徴点の視差に基づいて設定し、前記３次元点群が復元されなかった前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を予め定めた所定の範囲に設定してもよい。
　かかる構成によれば、対象物のうちの一部について、ステレオカメラ方式による３次元計測に先立つ最初の３次元計測（ステレオカメラ方式とは異なる３次元計測方式による３次元計測）で３次元点群を復元できない場合であっても、撮像された画像の全体に対して探索範囲を広げたステレオマッチングを行う必要がなく、処理の高速化が可能である。
〔７〕上記構成において、前記第１算出部が、前記第１特徴点の３次元位置を示す３次元点群を復元する第１画像処理部と、復元された前記３次元点群における各第１特徴点の３次元座標を前記画像に２次元投影して前記各第１特徴点の２次元座標を求め、該２次元座標から前記各第１特徴点の視差を算出する第２画像処理部とを有してもよい。また、前記第２算出部が、前記第２特徴点の視差の推定値を、前記第１特徴点の視差から求め、前記第２特徴点の視差の推定値に基づいて前記対応点の探索領域を設定し、該探索領域において前記第２特徴点と前記対応点とのステレオマッチングを行うことにより、前記第２特徴点の視差を算出する第３画像処理部と、前記第１特徴点の視差及び前記第２特徴点の視差に基づいて前記対象物の３次元形状を特定する第４画像処理部とを有してもよい。
　当該構成では、上述した第１特徴点の視差の算出及び第２特徴点の視差の算出を好適に実行することができ、これにより、３次元計測における高い計測分解能と高速処理を一層確実に実現することができる。
〔８〕上記構成において、前記第１撮像部の光軸と前記第２撮像部の光軸との距離が、前記投射部の光軸（計測光の光軸）と前記第１撮像部の光軸又は前記第２撮像部の光軸との距離と同等であるようにしてもよい。ここで、「撮像部の光軸」とは、撮像部の光学的な中心軸を示し、撮像部における光学系の構成によらず、撮像素子によって画成される撮像面の中心に垂直に入射する光線の光路（換言すれば、撮像面に垂直で且つ撮像面の中心を通る方向）をいう。また、「投射部の光軸」とは、投射部の光学的な中心軸を示し、投射部における光学系の構成によらず、光源又は発光素子によって画成される投射面の中心から垂直に出射される光線の光路（換言すれば、投射面に垂直で且つ投射面の中心を通る方向、或いは、投射面から投射される光の強度が最も大きくなる方向）をいう。
　当該構成では、第１撮像部と第２撮像部との基線長が、投射部と第１撮像部又は第２撮像部との基線長と同等となり得るので、３次元計測における計測精度を向上させることができる。
〔９〕上記構成において、前記第１撮像部の光軸と前記第２撮像部の光軸との距離が、前記投射部の光軸（計測光の光軸）と前記第１撮像部の光軸又は前記第２撮像部の光軸との距離よりも長いようにしてもよい。
　当該構成では、第１撮像部と第２撮像部との基線長が、投射部と第１撮像部又は第２撮像部との基線長よりも大きくなり得るので、３次元計測における計測精度を向上させることができる。
〔１０〕上記構成において、前記投射部の光軸（計測光の光軸）と前記第１撮像部の光軸と前記第２撮像部の光軸が同一平面上に配置されるようにしてもよい。
　当該構成では、上記〔８〕及び〔９〕の何れの配置も構成することができ、また、投射部と第１撮像部及び第２撮像部を一体化して例えばセンサユニットを構成する場合に、第１撮像部と第２撮像部との基線長を比較的大きくすることができるので、ステレオカメラ方式による計測精度を更に向上させることが可能となる。
〔１１〕上記構成において、前記第１撮像部の光軸と前記第２撮像部の光軸が同一平面上に配置され、前記投射部の光軸（計測光の光軸）が該平面上に配置されないようにしてもよい。
　当該構成でも、上記〔８〕及び〔９〕の何れの配置も構成することができ、また、投射部と第１撮像部及び第２撮像部を一体化して例えばセンサユニットを構成する場合に、そのセンサユニットのフットプリントを比較的小さくしてシステムの設置面積を低減することができる。
〔１２〕上記構成において、前記投射部が、前記計測光とは異なる通常照明光を前記対象物に投射するようにしてもよい。なお、便宜的に、後記の実施形態においては、計測光を対象物に投射する構成要素を「第１投射部」と呼び、通常照明光を対象物に投射する構成要素を「第２投射部」と呼ぶことがある。
　当該構成では、計測光とは異なる通常照明光を例えば検査用途の一般照明として使用することができるので、対象物が暗い周辺環境下にある場合においても、３次元計測を好適に実施することができる。さらに、通常照明が投射された対象物を撮像した画像と、予め設定又は保持された対象物の形状設計データ（ＣＡＤモデルデータ）とを対比し、例えばいわゆるＣＡＤマッチングを行うことにより、対象物の位置姿勢をより正確に把握することが可能となる。
〔１３〕本開示に係る３次元計測方法の一例は、上記構成の３次元計測システムの一例を用いて有効に実施し得る方法であり、以下の各ステップを含む。すなわち、当該方法は、互いに離間配置された第１撮像部及び第２撮像部を有する撮像部と、第１算出部と、第２算出部とを備える３次元計測システムを用い、前記撮像部が、前記対象物における互いに異なる画像を撮像するステップと、前記第１算出部が、前記第１撮像部及び前記第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差を算出するステップと、前記第２算出部が、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、該第２特徴点の視差から前記対象物の３次元形状を特定するステップとを含む。そして、前記対象物の３次元形状を特定するステップにおいては、前記第２算出部が、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差に基づいて設定する。
　なお、本開示において、「部」、「手段」、「装置」、及び「システム」とは、単に物理的手段を意味するものではなく、その「部」、「手段」、「装置」、及び「システム」が有する機能をソフトウェアによって実現する構成も含む。また、１つの「部」、「手段」、「装置」、及び「システム」が有する機能が２つ以上の物理的手段や装置によって実現されてよく、或いは、２つ以上の「部」、「手段」、「装置」、及び「システム」の機能が１つの物理的手段や装置によって実現されてもよい。
　本開示によれば、３次元計測における計測分解能を高め、探索範囲を狭くすることにより高速処理を実現することが可能となる。また、かかる高速処理により、システム全体の処理速度を向上させ、記憶容量を節約でき、かつ、通信のデータ量を減らすことができるとともに、処理の信頼性を高めることができる。
実施形態に係る３次元計測システムの適用場面の一例の概略を模式的に示す平面図である。 実施形態に係る３次元計測システムのハードウェアの構成の一例を模式的に示す平面図である。 実施形態に係る３次元計測システムの機能構成の一例を模式的に示す平面図である。 実施形態に係る３次元計測システムの処理手順の一例を示すフローチャートである。 実施形態に係る３次元計測システムの処理手順の一例におけるタイミングチャートである。 （Ａ）及び（Ｂ）は、それぞれ、実施形態に係る３次元計測システムにより対象物の一例を撮像した画像、及び、該画像を用いて第１画像処理を行って復元した３次元点群画像を示す。 （Ａ）は、実施形態に係る３次元計測システムにより対象物の一例を撮像した画像の平行化画像、及び、その平行化画像に復元３次元点の３次元座標を２次元投影した画像の部分拡大図を示す。（Ｂ）は、実施形態に係る３次元計測システムにより対象物の一例を撮像した画像の平行化画像、及び、その平行化画像に復元３次元点の３次元座標を２次元投影した画像の部分拡大図を示す。 複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップを模式的に示す概念図である。 （Ａ）及び（Ｂ）は、それぞれ、対象物の一例に対して実施形態に係る３次元計測システムによって得た統合視差マップの一例を示す画像、及び、該画像を用いて復元した３次元形状を表す３次元点群画像を示す。 種々の対象物について、種々の方式による３次元計測を行った結果として最終的に得られた視差マップを表す画像の一覧を示す。 （Ａ）乃至（Ｄ）は、それぞれ、実施形態に係るセンサユニットの第１構成例乃至第４構成例を模式的に示す斜視図である。 （Ａ）及び（Ｂ）は、それぞれ、実施形態に係るセンサユニットの第５構成例及び第６構成例を模式的に示す斜視図である。 （Ａ）乃至（Ｃ）は、それぞれ、実施形態に係るセンサユニットの第９構成例乃至第１１構成例を模式的に示す平面図である。
　以下、本開示の一例に係る実施の形態（以下「実施形態」とも表記する）について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　§１　適用例
　まず、図１を用いて、本開示の一例が適用される場面の一例について説明する。図１は、本実施形態に係る３次元計測システム１００の適用場面の一例の概略を模式的に示す平面図である。本実施形態に係る３次元計測システム１００は、計測対象である対象物ＯＢの３次元形状を計測するためのシステムである。
　図１の例では、３次元計測システム１００は、対象物ＯＢに対向配置されたセンサユニット２００、及び、センサユニット２００に接続されたコンピュータ３００を備える。センサユニット２００は、３Ｄ用プロジェクタ１１０と、例えばその３Ｄ用プロジェクタ１１０を挟むように配置された第１カメラ２１０及び第２カメラ２２０とが、一体に構成されたものである。なお、３Ｄ用プロジェクタ１１０、第１カメラ２１０、及び第２カメラ２２０は、センサユニット２００として全部が一体化されておらず、それぞれ別体に設けられてもよく、一部が一体化されていてもよい。
　３Ｄ用プロジェクタ１１０は、対象物ＯＢの３次元計測を行うための計測光（例えばパターン光）を含む照明（以下「３Ｄ用照明」ともいう）を、投射エリアＳ１１０で対象物ＯＢへ投射する。また、第１カメラ２１０及び第２カメラ２２０は、それぞれ例えば一般的な光学センサが搭載されたカメラ装置を含んで構成されており、３Ｄ用照明が投射された対象物ＯＢをそれぞれ視野角Ｓ２１０，Ｓ２２０で撮像する。
　コンピュータ３００は、３Ｄ用プロジェクタ１１０による投射処理、並びに、第１カメラ２１０及び第２カメラ２２０による撮像処理を制御するとともに、第１カメラ２１０及び第２カメラ２２０によってそれぞれ撮像された互いに異なる画像Ｉｍｇ１，Ｉｍｇ２の画像処理を実行して、対象物ＯＢの３次元形状を特定する。
　より具体的には、コンピュータ３００は、画像Ｉｍｇ１，Ｉｍｇ２の画像処理として、以下の（１）乃至（４）に示す第１画像処理乃至第４画像処理を行う。
（１）第１画像処理
　例えばアクティブワンショット方式による３次元計測であり、画像Ｉｍｇ１，Ｉｍｇ２の少なくも何れか一方から、計測光（パターン光）に含まれるパターンに応じた複数の対象画素の３次元位置を示す３次元点群を復元する。このとき、例えば、複数の対象画素は、画像Ｉｍｇ１，Ｉｍｇ２における画素単位よりも粗い密度で分布している。なお、ステレオカメラ方式とは異なる３次元計測方式としてパッシブ計測方式を用いる場合には、計測光の投射を行わない、すなわち３Ｄ用プロジェクタ１１０を備えなくともよい。
（２）第２画像処理
　複数の第１特徴点（対象画素）について復元された３次元点群における各点（復元３次元点）の３次元座標を画像Ｉｍｇ１，Ｉｍｇ２（それらに対して必要に応じて適宜の処理が施された画像を含む。以下同様とする。）に２次元投影し、画像Ｉｍｇ１，Ｉｍｇ２のそれぞれにおける各第１特徴点の２次元座標を求め、その２次元座標から各第１特徴点の視差を算出する。これにより、複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップが得られる。
（３）第３画像処理
　ステレオカメラ方式による３次元計測であり、画像Ｉｍｇ１，Ｉｍｇ２の一方を基準画像とし且つ他方を比較画像とし、ステレオマッチングを行う。ここでは、まず、基準画像において、第２特徴点の所定の近傍位置に存在する第１特徴点の視差に基づいて、第２特徴点と対応点との視差の推定値を求める。それから、その第２特徴点の視差の推定値に基づいて、第２特徴点に対する対応点の探索領域を限定的に設定（すなわち、探索領域を狭い範囲に限定）する。そして、その探索領域においてステレオマッチングを行って、第２特徴点の視差を算出する。これにより、上記（２）で得られた比較的粗い密度分布の視差マップを補完するように、画像Ｉｍｇ１，Ｉｍｇ２の画素単位での比較的細かい密度分布の視差マップが得られる。なお、第２特徴点の視差を求めるための探索範囲は、各第１特徴点について得られた視差のうち１つの視差に基づいて設定してもよいし、各第１特徴点について得られた視差のうち複数の視差に基づいて設定してもよい（後述する図８の説明も参照されたい。）。
（４）第４画像処理
　上記（１）乃至（３）で得られたそれぞれの視差マップを統合して統合視差マップを作成し、その統合視差マップに対して必要に応じて適宜のフィルタリング等の後処理を実施した後、視差が求められた各画素（上記（１）における第１特徴点と上記（３）における第２特徴点）の視差を深さ方向の距離に変換（いわゆる視差・デプス変換）することにより、対象物ＯＢの３次元形状を特定する。
　このとおり、センサユニット２００は、本開示における「投射部」（「第１投射部」）及び「撮像部」の一例に相当し、３Ｄ用プロジェクタ１１０は、本開示における「投射部」（「第１投射部」）の一例に相当し、第１カメラ２１０及び第２カメラ２２０は、それぞれ本開示における「第１撮像部」及び「第２撮像部」の一例に相当する。また、画像Ｉｍｇ１，Ｉｍｇ２は、本開示における「対象物における互いに異なる画像」の一例に相当する。さらに、コンピュータ３００における特に画像処理を行う部分（例えば後述する画像処理部３５０）は、本開示における「第１画像処理部」、「第２画像処理部」、及びそれらを有する「第１算出部」、並びに、「第３画像処理部」、「第４画像処理部」、及びそれらを有する「第２算出部」のそれぞれの一例に相当する。
　以上のとおり、本実施形態は、対象物ＯＢの３次元形状を求めることができるステレオカメラ方式とは異なる３次元計測方式（例えば、計測光としてパターン光を対象物に投射するアクティブワンショット方式。但し、これに限定されない。）による３次元計測と、ステレオマッチングによって対象物ＯＢの３次元形状を求めることができるステレオカメラ方式による３次元計測を融合したハイブリッド３次元計測システム及びその方法の一例であるといえる。しかし、たとえ従来の両方式を単に組み合わせて用いたとしても、計測分解能を高めつつ、高速処理を実現し得ないことは、既述の個々の従来技術の課題から明らかである。
　これに対し、本実施形態は、ステレオカメラ方式とは異なる３次元計測方式とステレオカメラ方式をただ単に組み合わせただけのものではなく、ステレオカメラ方式とは異なる３次元計測方式で得られた３次元情報（第１特徴点の視差）を用いることにより、ステレオマッチングにおける第２特徴点に対する対応点の探索領域を、通常のステレオカメラ方式に比して格段に狭い範囲に限定することを可能にしたものである。
　換言すれば、本実施形態によれば、まず、ステレオカメラ方式とは異なる３次元計測方式で視差情報が得られた第１特徴点間に位置する他の画素（第２特徴点とその対応点）に関する視差情報をステレオカメラ方式によって補完することができる。そして、その際のステレオマッチングの探索領域を確からしい狭い範囲に限定することによって極めて短い処理時間を達成することができる。それらの結果、ステレオカメラ方式による高い計測分解能を保持しつつ、ステレオマッチングにおける探索時間ひいては処理時間を大幅に短縮することができる。しかも、そのように探索領域を限定することにより、相互反射に対する優れたロバスト性を実現することができるとともに、ステレオマッチングにおける画素間の誤対応を軽減することも可能となる。
　§２　構成例
　［ハードウェア構成］
　次に、図２を用いて、本実施形態に係る３次元計測システム１００のハードウェア構成の一例について説明する。図２は、本実施形態に係る３次元計測システム１００のハードウェアの構成の一例を模式的に示す平面図である。
　図２の例では、３次元計測システム１００は、図１にも例示した３Ｄ用プロジェクタ１１０並びに第１カメラ２１０及び第２カメラ２２０を有して一体に構成されたセンサユニット２００と、センサユニット２００に接続されたコンピュータ３００を備える。
　３Ｄ用プロジェクタ１１０は、例えば、レーザ光源１１１と、パターンマスク１１２と、レンズ１１３とを備える。レーザ光源１１１から出射された光は、パターンマスク１１２によって所定のパターンを有する計測光（パターン光）に変換され、レンズ１１３を介して外部へ投射される。レーザ光源１１１が生成するレーザ光の波長は特に限定されず、例えば赤外光、可視光、紫外光等を用いることができる。パターンマスク１１２は、所定のパターンが形成されたパターンマスクである。なお、３Ｄ用プロジェクタ１１０は、上記構成に限定されず、一般的なプロジェクタを利用してもよい。この場合、所定のパターンを形成するパターンマスク１１２をプロジェクタ本体に保存等して対応すればよい。なお、３Ｄ用プロジェクタ１１０の構成は上記に限定されず、各種の３次元計測方式で用いられる適宜の光源及び他の光学系部位を含む投影装置等を適用することができる。
　コンピュータ３００は、制御演算部３０１、通信インタフェース（Ｉ／Ｆ）部３０２、記憶部３０３、入力部３０４、及び出力部３０５を含み、各部はバスライン３０６を介して相互に通信可能に接続され得る。
　制御演算部３０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御及び各種演算を行う。
　通信Ｉ／Ｆ部３０２は、例えば、有線又は無線により他の装置と通信するための通信モジュールである。通信Ｉ／Ｆ部３０２が他の装置との通信に用いる通信方式は任意であり、例えば、ＬＡＮ（Local Area Network）やＵＳＢ（Universal Serial Bus）等が挙げられる。特に、センサユニット２００における３Ｄ用プロジェクタ１１０、第１カメラ２１０、及び第２カメラ２２０は、通信Ｉ／Ｆ部３０２を介して、制御演算部３０１等と通信可能に設けることが可能である。
　記憶部３０３は、例えばハード・ディスク・ドライブ（ＨＤＤ）、ソリッド・ステート・ドライブ（ＳＳＤ）等の補助記憶装置であり制御演算部３０１で実行される各種プログラム（センサユニット２００等のハードウェアの制御プログラム、画像処理プログラム等）、及び、計測光（例えば所定のパターンを有するパターン光）、撮像される画像Ｉｍｇ１，Ｉｍｇ２等のデータを記憶する。この他、対象物ＯＢのＣＡＤモデルデータ等も記憶部３０３に記憶されてもよい。ここで、画像処理プログラムは、上記適用例で説明した第１画像処理乃至第４画像処理を実行させるためのプログラムを含むものであり、かかる画像処理プログラムが制御演算部３０１で実行されることにより、後述する機能構成例における画像処理機能が実現される。
　入力部３０４は、例えば、マウスやキーボード、タッチパネル等で実現し得る、ユーザからの各種入力操作を受け付けるためのインタフェースデバイスである。出力部３０５は、例えば、ディスプレイ、スピーカ、プリンタ等、表示、音声、印刷等により、３次元計測システム１００を利用するユーザ等へ各種情報を報知するためのインタフェースデバイスである。
　［機能構成］
　次に、図３を用いて、本実施形態に係る３次元計測システム１００の機能構成の一例を説明する。図３は、本実施形態に係る３次元計測システム１００の機能構成の一例を模式的に示す平面図である。
　図２に示す３次元計測システム１００の制御演算部３０１は、記憶部３０３に記憶された各種プログラム（制御プログラム、画像処理プログラム等）をＲＡＭに展開する。そして、制御演算部３０１は、ＲＡＭに展開された各種プログラムをＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、図３に例示の如く、本実施形態に係る３次元計測システム１００は、制御部３１０、画像取得部３２０、画像記録部３３０、画像出力部３４０、及び画像処理部３５０を備える構成を実現し得る。
　制御部３１０は、特に、センサユニット２００における３Ｄ用プロジェクタ１１０から対象物ＯＢへの３Ｄ用照明の投射、及び３Ｄ用照明が投射された対象物ＯＢの第１カメラ２１０及び第２カメラ２２０による撮像を制御する。画像取得部３２０は、第１カメラ２１０及び第２カメラ２２０から、それらによって撮像された対象物ＯＢの画像Ｉｍｇ１，Ｉｍｇ２を取得する。画像記録部３３０は、画像取得部３２０によって取得された対象物ＯＢの画像Ｉｍｇ１，Ｉｍｇ２、及び、画像処理部３５０での画像処理によって最終的に得られる対象物ＯＢの３次元形状を示す３次元点群画像等を保持する。画像出力部３４０は、そうして得られた対象物ＯＢの３次元形状を示す３次元点群画像等を、３次元計測システム１００のユーザが視認可能なようにディスプレイやプリンタ等に出力する。
　画像処理部３５０は、第１画像処理部３５１、第２画像処理部３５２、第３画像処理部３５３、及び第４画像処理部３５４を備えて構成される。これらの第１画像処理部３５１、第２画像処理部３５２、第３画像処理部３５３、及び第４画像処理部３５４は、それぞれ、前記（１）乃至（４）に示す第１画像処理乃至第４画像処理を実行し、対象物ＯＢの３次元形状を示す３次元点群画像を得る。
　なお、本実施形態では、３次元計測システム１００に備わるコンピュータ３００で実現される各機能が汎用のＣＰＵによって実現される例について説明したが、以上の機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、３次元計測システム１００に備わるコンピュータ３００の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてももちろんよい。また、「コンピュータ」とは、一般的な情報処理装置と解することができる。
　§３　動作例
　次いで、図４乃至図８を用いて、３次元計測システム１００の動作の一例について説明する。図４は、本実施形態に係る３次元計測システム１００の処理手順の一例を示すフローチャートであり、３次元計測システム１００を用いた３次元計測方法の処理手順の一例を示すフローチャートでもある。また、図５は、本実施形態に係る３次元計測システム１００の処理手順の一例におけるタイミングチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。さらに、以下に説明する各「時刻ｔ」は、図５における処理の開始及び終了のタイミングを示す。
　（起動）
　まず、３次元計測システム１００のユーザは、３次元計測システム１００を起動し、起動した３次元計測システム１００に各種プログラム（制御プログラム、画像処理プログラム等）を実行させる。それから、コンピュータ３００における制御部３１０は、以下の処理手順に従って、センサユニット２００及びコンピュータ３００における各動作を制御し、また、対象物ＯＢの画像Ｉｍｇ１，Ｉｍｇ２の画像処理を行う。
（ステップＳ１０）
　まず、ステップＳ１０では、必要に応じて対象物ＯＢとセンサユニット２００との相対的な配置を調整し、また、３Ｄ用プロジェクタ１１０からの３Ｄ用照明の投射条件、並びに、第１カメラ２１０及び第２カメラ２２０の撮像条件を設定した後、時刻ｔ１における適宜のトリガ（タイミング信号）に基づいて、時刻ｔ１から時刻ｔ２において、３Ｄ用プロジェクタ１１０からパターン光を含む３Ｄ用照明を対象物ＯＢへ投射する。
（ステップＳ２０）
　次に、ステップＳ２０では、３Ｄ用照明が投射されている時刻ｔ１から時刻ｔ２までの間に、第１カメラ２１０及び第２カメラ２２０による対象物ＯＢの撮像を行い、時刻ｔ１から時刻ｔ３において、それぞれ得られた画像Ｉｍｇ１，Ｉｍｇ２を第１カメラ２１０及び第２カメラ２２０から読み出す。続いて、時刻ｔ３から時刻ｔ５において、画像Ｉｍｇ１，Ｉｍｇ２を、それぞれ個別に連続して又は同時にコンピュータ３００へ転送する。なお、図５においては、時刻ｔ３から時刻ｔ４の間に画像Ｉｍｇ１を転送し，時刻ｔ４から時刻ｔ５の間に画像Ｉｍｇ２を転送する場合について例示する。
（ステップＳ３０）
　次いで、ステップＳ３０では、画像Ｉｍｇ１，Ｉｍｇ２の少なくとも何れか一方を用いて、時刻ｔ４から時刻ｔ６において、前記（１）の第１画像処理（例えばアクティブワンショット方式による３次元計測）を実行し、画像Ｉｍｇ１，Ｉｍｇ２の少なくも何れか一方から、計測光（パターン光）に含まれるパターンに応じた複数の第１特徴点の３次元位置を示す３次元点群を復元する。なお、図４及び図５においては、画像Ｉｍｇ１を用いる場合について例示するが、画像Ｉｍｇ２を用いてもよく、画像Ｉｍｇ１，Ｉｍｇ２の両方を用いてもよい。ここで、図６（Ａ）及び図６（Ｂ）は、それぞれ、３次元計測システム１００により対象物ＯＢの一例（金属製のワーク）を撮像した画像Ｉｍｇ１、及び、該画像Ｉｍｇ１を用いてステップＳ３０における第１画像処理を行って復元した３次元点群画像Ｉｍｇ３Ｄ１を示す。
（ステップＳ４０）
　続いて、ステップＳ４０では、時刻ｔ６から時刻ｔ７において、以下の処理を行う。すなわち、ここでは、まず、画像Ｉｍｇ１，Ｉｍｇ２の一般的な平行化処理を行い、平行化された画像Ｉｍｇ１，Ｉｍｇ２（平行化画像）を用いて、前記（２）の第２画像処理（復元３次元点群投影）を実行する。これにより、復元３次元点群における各第１特徴点（復元３次元点）の３次元座標（つまり図６（Ｂ）における各点の３次元座標）が画像Ｉｍｇ１，Ｉｍｇ２に２次元投影される。なお、画像Ｉｍｇ１への２次元投影はステップＳ３０における画像Ｉｍｇ１の処理において、時刻ｔ４から時刻ｔ６の間に、実質的に同時に実行され得る。
　ここで、図７（Ａ）は、３次元計測システム１００により対象物ＯＢの一例（金属製のワーク）を撮像した画像Ｉｍｇ１の平行化画像Ｉｍｇ１’（図６（Ａ）と実質的に同等）、及び、その平行化画像Ｉｍｇ１’に復元３次元点の３次元座標を２次元投影した画像Ｉｍｇ１０の部分拡大図を示す。同様に、図７（Ｂ）は、３次元計測システム１００により対象物ＯＢの一例（金属製のワーク）を撮像した画像Ｉｍｇ２の平行化画像Ｉｍｇ２’、及び、その平行化画像Ｉｍｇ２’に復元３次元点の３次元座標を２次元投影した画像Ｉｍｇ２０の部分拡大図を示す。画像Ｉｍｇ１０，２０における「＋」印のシンボルが復元３次元点（対象画素）の２次元投影点に相当する。
　次に、画像Ｉｍｇ１，Ｉｍｇ２間における複数の第１特徴点（対象画素）の各視差として、画像Ｉｍｇ１０，Ｉｍｇ２０間における各復元３次元点の視差を算出する。ここで、図７（Ａ）の画像Ｉｍｇ１０に符号を例示した対象画素Ｇ１０～Ｇ１３は、それぞれ、図７（Ｂ）の画像Ｉｍｇ２０に符号を例示した対象画素Ｇ２０～Ｇ２３に対応し、対応する対象画素間の２次元座標から各第１特徴点（対象画素）の視差が算出される。これにより、複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップを得る。
　ここでさらに、上述した画像Ｉｍｇ１，Ｉｍｇ２の平行化処理と、平行化画像に復元３次元点の３次元座標を２次元投影して２次元座標を得るための数値処理のより具体的な一例について、以下に説明する。
　まず、平行化処理において、第１カメラ２１０の原点座標を基準座標と設定する。次に、第１カメラ２１０及び第２カメラ２２０のレンズの歪みは画像Ｉｍｇ１，Ｉｍｇ２から事前に除去されているとし、線形モデルで考えると、アクティブワンショット方式における３次元点ＸＡ、第１カメラ２１０による画像Ｉｍｇ１における対応２次元座標点ＵＬ、及び、第２カメラ２２０による画像Ｉｍｇ２における対応２次元座標点ＵＲは、下記式（１）及び式（２）で表される関係としてモデル化することができる。
Figure JPOXMLDOC01-appb-M000001
  
　上記式中、ＫＬは、第１カメラ２１０の内部行列を示し、ＫＲは、第２カメラ２２０の内部行列を示し、回転行列Ｒ２と並進ベクトルｔ２は、第１カメラ２１０に対する第２カメラ２２０の姿勢を表す。
　次に、第１カメラ２１０及び第２カメラ２２０が水平設置されている場合、両者の画像Ｉｍｇ１，Ｉｍｇ２における対応画素が垂直方向において同じ位置に現れるようにするため、仮想的に第１カメラ２１０及び第２カメラ２２０の両方を回転させ、理想的な平行状態とする。ここでの平行化処理では、下記式（３）で表される条件を満たす回転行列Ｒｒｅｃｔと仮想的なカメラ行列Ｋｒｅｃｔと用い、第１カメラ２１０をＲｒｅｃｔ・Ｒ２だけ、第２カメラ２２０をＲｒｅｃｔだけ、仮想的に回転させる。
Figure JPOXMLDOC01-appb-M000002
  
 そして、下記式（４）及び式（５）で表される関係から、ステレオカメラ方式とは異なる３次元計測方式（例えばアクティブワンショット方式）による復元３次元点ＸＡに対応する平行化画像Ｉｍｇ１’における対応２次元座標Ｕ’Ｌ、及び、平行化画像Ｉｍｇ２’における対応２次元座標Ｕ’Ｒを求めることができる。
Figure JPOXMLDOC01-appb-M000003
  
（ステップＳ５０）
　次に、ステップＳ５０では、画像Ｉｍｇ１，Ｉｍｇ２を用いて、ステップＳ４０と同じく時刻ｔ６から時刻ｔ７において、前記の（３）第３画像処理（ステレオカメラ方式による３次元計測）を実行し、画像Ｉｍｇ１，Ｉｍｇ２（平行化処理を行った場合には、画像Ｉｍｇ１’，Ｉｍｇ２’）の一方を基準画像とし且つ他方を比較画像とし、基準画像における任意の第２特徴点とそれに対する比較画像における対応点とのステレオマッチングを行う。なお、画像Ｉｍｇ２を基準画像とし、画像Ｉｍｇ１を比較画像としてもよい。
　まず、基準画像（例えば画像Ｉｍｇ１’）における第２特徴点を抽出し、その第２特徴点の所定の近傍位置に存在する第１特徴点の視差に基づいて、第２特徴点と対応点との視差の推定値を算出する。
　ここで、図８は、ステップＳ４０で得た複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップを模式的に示す概念図である。図８においては、行列に区分けされた各領域が基準画像における単位画素に相当し、任意に抽出された第２特徴点である画素ＧＡと、その近傍位置に存在し且つ視差マップにおいて視差が既知である第１特徴点である例えば対象画素Ｇ１０～Ｇ１３（図７（Ａ）参照）を併せて示す。ここで、第２特徴点である画素ＧＡとその対応点との視差の推定値を算出する手法の一例について、以下に説明する。但し、かかる推定方法は以下の手法に限定されない。また、ここでは、第１特徴点及び第２特徴点が異なる点であり且つ互いの近傍位置に存在する場合を例に説明するが、第１特徴点及び第２特徴点は、同一点であってもよく、また、異なる点である場合でも、両者が互いに近傍位置に存在する例に限定されない。さらに、第１特徴点及び第２特徴点が異なる点であり、ステレオカメラ以外の３次元計測方式により求めた第１特徴点の距離情報の精度が十分であれば、ステレオカメラ方式により第１特徴点の距離情報を求める処理を除外することで、計算速度を速めることが可能となる。
　すなわち、第２特徴点である画素ＧＡの近傍位置に存在する第１特徴点である画素の視差がｄであった場合、第２特徴点である画素ＧＡの視差ｄＧＡは、例えば下記式（６）を満たす範囲内の値であると推定することができる。下記式（６）中、Δｄは、適宜設定され得るマージンを示す（以下同様）。
Figure JPOXMLDOC01-appb-M000004
  
　また、例えば図８に示すように、第２特徴点である画素ＧＡの近傍位置に、視差が得られている第１特徴点である複数の対象画素Ｇ１０～Ｇ１３が存在する場合、式（６）の概念を発展させ、第２特徴点である画素ＧＡの視差ｄＧＡは、例えば下記式（７）を満たす範囲内の値であると推定することもできる。下記式（７）中、ｍｉｎ（ｄｎ）は、最小のｄｎを選択する演算を示し、ｍａｘ（ｄｎ）は、最大のｄｎを選択する演算を示し、ｄ０～ｄ３は、それぞれ、第１特徴点である画素Ｇ１０～Ｇ１３の視差を示す。
Figure JPOXMLDOC01-appb-M000005
  
　こうして推定された第２特徴点である画素ＧＡの視差ｄＧＡに基づいて、その第２特徴点に対する対応点の探索領域を限定的に設定（すなわち、探索領域を狭い範囲に限定）する。そして、その探索領域において、平行化画像Ｉｍｇ１’，Ｉｍｇ２’のステレオマッチングを行い、第２特徴点である画素ＧＡにおける真の視差を算出する。なお、ステレオマッチングに先立って、必要に応じて、平行化画像Ｉｍｇ１’，Ｉｍｇ２’に対して適宜のフィルタリング等の前処理を実施してもよい。なお、ここでは、第２特徴点の視差を求めるための探索範囲を、各第１特徴点について得られた視差のうち複数の（４つの）視差に基づいて設定したが、これに限定されず、各第１特徴点について得られた視差のうち、１つ、２つ、３つ、又は５つ以上の視差に基づいて、第２特徴点の視差を求めるための探索範囲を設定してもよい。
　以上の処理を複数の第２特徴点（例えば、図８に示す第１特徴点である画素以外の全ての画素）に対して実行することにより、複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップ（図８）を補完するように、画像Ｉｍｇ１，Ｉｍｇ２の画素単位での比較的細かい密度分布の視差マップを得る（例えば、図８に示す第１特徴点である画素Ｇ１０～Ｇ１３以外の全ての第２特徴点の画素の視差が算出される。）。
（ステップＳ６０）
　それから、ステップＳ６０では、時刻ｔ７から時刻ｔ８において、ステップＳ３０，Ｓ５０で得た視差情報を統合し、換言すれば、ステップＳ３０で得た比較的粗い密度分布の視差マップとステップＳ５０で得た比較的細かい密度分布の視差マップを統合して統合視差マップ（例えば、図８に示す全ての画素の視差が判明したマップ）を得る。次いで、その統合視差マップに対して必要に応じて適宜のフィルタリング等の後処理を実施した後、第１特徴点及び第２特徴点の全画素の視差を深さ方向の距離に変換（いわゆる視差・デプス変換）することにより、対象物ＯＢの３次元形状を特定する。
　そして、得られた対象物ＯＢの３次元形状を示す３次元点群画像を、必要に応じて、３次元計測システム１００のユーザが視認可能なようにディスプレイやプリンタ等に出力して、一連の処理を終了する。ここで、図９（Ａ）及び図９（Ｂ）は、それぞれ、対象物ＯＢの一例（金属製のワーク）に対して３次元計測システム１００によって得た統合視差マップの一例を示す画像ＩｍｇＭ（ここでは、視差の大小をグレースケールで模式的に示す。）、及び、該画像ＩｍｇＭを用いて復元した３次元形状を表す３次元点群画像Ｉｍｇ３ＤＭを示す。
　§４　作用・効果
　以上のとおり、本実施形態に係る３次元計測システム及び３次元計測方法の一例は、ステレオカメラ方式とは異なる３次元計測方式による３次元計測と、ステレオマッチングによって対象物の３次元位置を求めることができるステレオカメラ方式による３次元計測を融合したハイブリッド３次元計測システム及びその方法を提供する。
　但し、本実施形態の一例は、ステレオカメラ方式とは異なる３次元計測方式とステレオカメラ方式をただ単に組み合わせただけのものではなく、ステレオカメラ方式とは異なる３次元計測方式で得られた３次元情報（第１特徴点の視差）を用いることにより、ステレオマッチングにおける第２特徴点に対する対応点の探索領域を、通常のステレオカメラ方式に比して格段に狭い範囲に限定することができる。
　換言すれば、本実施形態の一例によれば、ステレオカメラ方式とは異なる３次元計測方式で得られた第１特徴点間の画素に注目し、その画素（第２特徴点とその対応点）に対する視差情報をステレオカメラ方式によって補完することができ、その際のステレオマッチングの探索領域を確からしい狭い範囲に限定することにより、極めて短い処理時間を達成することができる。その結果、画素単位の高い計測分解能を有するステレオカメラ方式のステレオマッチングにおける探索時間（図５に示す如く、ステップＳ４０の処理時間は時刻ｔ６から時刻ｔ７までの極めて短時間である。）及び全体の処理時間を大幅に短縮することができる。しかも、そのように探索領域を限定することにより、相互反射に対する優れたロバスト性を実現することができるとともに、ステレオマッチングにおける画素間の誤対応を軽減することも可能となる。
　ここで、図１０は、表面の性状が種々異なる対象物ＯＢについて、種々の方式による３次元計測を行った結果として最終的に得られた視差マップを表す画像の一覧を表形式で示す。なお、何れの方式においても、センサユニットとしては、本実施形態の３次元計測システム１００におけるセンサユニット２００を用い、図１０には、得られた２種類の画像Ｉｍｇ１，Ｉｍｇ２（但し、パターンを消去）を示す。また、アクティブワンショット方式による画像処理のみを行って得た結果、及び、ステレオカメラ方式による画像処理のみを行って得た結果を、それぞれ便宜的に、「比較例１」及び「比較例２」として示す。また、本実施形態の３次元計測システム１００による画像処理を行って得た結果を「実施例１」として示す。さらに、対象物ＯＢとしては、Ａ. テクスチャなしのもの、Ｂ．形状エッジを有するもの、Ｃ．テクスチャを有するもの、及び、Ｄ．正反射を生じるワークを選定した。またさらに、図１０においては、各対象物ＯＢに対して各方式によって得られた視差マップの画像の欄に、良好な結果を示したものには「○」印を付し、良好な結果を示さなかったものには「×」印を付した。
　図１０に示すとおり、比較例１（アクティブワンショット方式による画像処理のみ）では、Ａ. テクスチャなしのもの、及び、Ｄ．正反射を生じるワークに対しては良好な結果が得られたものの、Ｂ．形状エッジを有するもの、及び、Ｃ．テクスチャを有するものに対しては良好な結果が得られなかった。反対に、比較例２（ステレオカメラ方式による画像処理のみ）では、Ｂ．形状エッジを有するもの、及び、Ｃ．テクスチャを有するものに対しては良好な結果が得られたものの、Ａ. テクスチャなしのもの、及び、Ｄ．正反射を生じるワークに対しては良好な結果が得られなかった。これらに対し、実施例１（本実施形態の３次元計測システム１００による画像処理）では、何れの対象物ＯＢに対しても良好な結果が得られた。これらの結果は、本実施形態の３次元計測システム１００の他方式に対する優位性（特に対象物ＯＢの表面の性状の相違に対する高いロバスト性）の一例を示すものといえる。このとおり、本実施形態の一例は、ステレオカメラ方式とは異なる３次元計測方式（例えばアクティブワンショット方式）及びステレオカメラ方式のそれぞれの計測原理の相違に基づく計測可能領域の違いを効果的に組み合わせることにより、従来に比して優位な効果を得ることが確認された。
　§５　変形例
　以上、本開示の一例としての実施形態について詳細に説明してきたが、前述までの説明はあらゆる点において本開示の一例を示すに過ぎず、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
　＜５．１＞
　例えば、上記実施形態の動作例におけるステップＳ３０における（１）第１画像処理においては、画像Ｉｍｇ１，Ｉｍｇ２のうち画像Ｉｍｇ１のみを用いる場合について言及したが、（１）第１画像処理は、画像Ｉｍｇ１，Ｉｍｇ２のうち画像Ｉｍｇ２のみを用いて実施してもよく、画像Ｉｍｇ１，Ｉｍｇ２の両方を用いて実施してもよい。
　特に、画像Ｉｍｇ１，Ｉｍｇ２の両方を用いる構成によれば、比較的粗い密度分布の視差マップが２つ得られるので、特徴点の未知の視差の推定における精度及び／又は確度を向上させ得る。また、２つの画像のうち比較的良好な何れか一方の画像を選択的に用いる構成によっても、比較的粗い密度分布の視差マップ自体の精度が高まるので、この場合にも、特徴点の未知の視差の推定における精度及び／又は確度を向上させ得る。
　なお、センサユニット２００に備わるカメラも各１台の第１カメラ２１０及び第２カメラ２２０（合計２台）に限られず、第１カメラ２１０及び第２カメラ２２０の少なくとも何れか一方が複数台（合計３台以上）であってもよい。また、各カメラで撮像される画像Ｉｍｇ１，Ｉｍｇ２は、それぞれ１画像に限られず、それぞれ複数画像であってももちろんよい。これらの構成によれば、比較的粗い密度分布の視差マップを得るために用いる画像の選択の幅が広がるので、この場合にも、特徴点の未知の視差の推定における精度及び／又は確度を更に向上させ得るとともに、ステレオカメラ方式で用いる２つの画像の選択性も高めることができるので、最終的に特定される３次元形状の精度及び／又は確度を一層向上させ得る。
　＜５．２＞
　ここでは、図１１（Ａ）乃至（Ｄ）を用いて、センサユニット２００における３Ｄ用プロジェクタ１１０並びに第１カメラ２１０及び第２カメラ２２０の相対的な幾何学的配置に係る構成例について説明する。
　＜５．２．１＞
　図１１（Ａ）は、センサユニット２００の第１構成例を模式的に示す斜視図である。当該第１構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２が同一平面Ｐ１上に配置され、３Ｄ用プロジェクタ１１０の光軸Ｐ１１がその平面Ｐ１上に配置されないように構成されたものである。換言すれば、当該第１構成例では、３Ｄ用プロジェクタ１１０の光軸Ｐ１１が、第１カメラ２１０の光軸Ｐ２１及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ１上の位置とは異なる位置に配置されるように構成される。また、当該第１構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２との距離が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第１カメラ２１０の光軸Ｐ２１との距離、及び、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第２カメラ２２０の光軸Ｐ２２との距離の何れとも同等となるように構成される。
　当該第１構成例では、第１カメラ２１０と第２カメラ２２０との基線長（距離）が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長、及び、３Ｄ用プロジェクタ１１０と第２カメラ２２０との基線長の何れとも同等となるので、３次元計測における計測精度を向上させることができる。また、この場合、第１カメラ２１０を用いたアクティブワンショット方式による計測精度と、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を同等にすることができ、両方のカメラでアクティブワンショット方式による３次元計測を行う場合に有用である。さらに、センサユニット２００のフットプリントを比較的小さくすることができるので、３次元計測システムの設置面積を低減することができる。
　＜５．２．２＞
　図１１（Ｂ）は、センサユニット２００の第２構成例を模式的に示す斜視図である。当該第２構成例も、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２が同一平面Ｐ１上に配置され、３Ｄ用プロジェクタ１１０の光軸Ｐ１１がその平面Ｐ１上に配置されないように構成されたものである。換言すれば、当該第２構成例でも、３Ｄ用プロジェクタ１１０の光軸Ｐ１１が、第１カメラ２１０の光軸Ｐ２１及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ１上の位置とは異なる位置に配置されるように構成される。また、当該第２構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２との距離が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第１カメラ２１０の光軸Ｐ２１との距離よりも長くなるように構成される。
　当該第２構成例では、第１カメラ２１０と第２カメラ２２０との基線長が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長よりも大きくなるので、３次元計測における計測精度を向上させることができる。また、この場合、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を、第１構成例（図１１（Ａ））におけるアクティブワンショット方式による計測精度よりも高めることができ、片方のカメラでアクティブワンショット方式による３次元計測を行う場合に有用である。さらに、センサユニット２００のフットプリントを比較的小さくすることができるので、３次元計測システムの設置面積を低減することができる。
　＜５．２．３＞
　図１１（Ｃ）は、センサユニット２００の第３構成例を模式的に示す斜視図である。当該第３構成例は、３Ｄ用プロジェクタ１１０の光軸Ｐ１１が、第１カメラ２１０の光軸Ｐ２１及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ２上に（すなわち全て同一平面上に）配置されるように構成される。また、当該第３構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２との距離が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第１カメラ２１０の光軸Ｐ２１との距離、及び、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第２カメラ２２０の光軸Ｐ２２との距離の何れとも同等となるように構成される。
　当該第３構成例では、第１カメラ２１０と第２カメラ２２０との基線長が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長、及び、３Ｄ用プロジェクタ１１０と第２カメラ２２０との基線長の何れよりも大きくなるので、３次元計測における計測精度を向上させることができる。また、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長、及び、３Ｄ用プロジェクタ１１０と第２カメラ２２０との基線長が同等となるので、第１カメラ２１０を用いたアクティブワンショット方式による計測精度と、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を同等にすることができ、両方のカメラでアクティブワンショット方式による３次元計測を行う場合に有用である。さらに、第１カメラ２１０と第２カメラ２２０との基線長を、例えば第１構成例（図１１（Ａ））や第２構成例（図１１（Ｂ））に比して大きくすることが可能となるので、他の計測パラメータやアルゴリズムが同一の条件であれば、ステレオカメラ方式による計測精度を更に向上させることができ、センサユニット２００の設置面積を広くしてでもステレオカメラ方式による計測精度を高めたい場合に有用である。
　＜５．２．４＞
　図１１（Ｄ）は、センサユニット２００の第４構成例を模式的に示す斜視図である。当該第４構成例も、３Ｄ用プロジェクタ１１０の光軸Ｐ１１が、第１カメラ２１０の光軸Ｐ２１及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ２上に（すなわち全て同一平面Ｐ２上に）配置されるように構成される。また、当該第４構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２との距離が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第１カメラ２１０の光軸Ｐ２１との距離と同等になるように構成される。
　当該第４構成例では、第１カメラ２１０と第２カメラ２２０との基線長が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長と同等になるので、３次元計測における計測精度を向上させることができる。また、この場合、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を、第３構成例（図１１（Ｃ））におけるアクティブワンショット方式による計測精度よりも高めることができ、片方のカメラでアクティブワンショット方式による３次元計測を行い、且つ、アクティブワンショット方式による計測精度を更に高めたい場合に有用である。
　＜５．３＞
　次に、図１２（Ａ）及び（Ｂ）を用いて、センサユニット２００に、通常照明光を対象物ＯＢに投射するための２Ｄ用プロジェクタ１２０を加えて配置した構成例について説明する。このとおり、２Ｄ用プロジェクタ１２０は、本開示における「投射部」（「第２投射部」）の一例に相当し、３Ｄ用プロジェクタ１１０及び２Ｄ用プロジェクタ１２０は、本開示における「投射部」の一例に相当し、２Ｄ用プロジェクタ１２０を有するセンサユニット２００も、本開示における「投射部」の一例に相当する。
　＜５．３．１＞
　図１２（Ａ）は、センサユニット２００の第５構成例を模式的に示す斜視図である。当該第５構成例は、図１１（Ｂ）に示す第２構成例に、２Ｄ用プロジェクタ１２０が追設された配置を有している。また、当該第５構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２が同一平面Ｐ１上に配置され、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と２Ｄ用プロジェクタ１２０の光軸Ｐ１２が、平面Ｐ１とは異なる同一平面Ｐ３上に配置されるように構成される。なお、平面Ｐ１と平面Ｐ３は、平行とされている。
　当該第５構成例では、２Ｄ用プロジェクタ１２０を例えば検査用途の一般照明として使用することができるので、対象物ＯＢが暗い周辺環境下にある場合においても、３次元形状の計測を好適に実施することができる。また、２Ｄ用プロジェクタ１２０から通常照明が投射された対象物ＯＢを撮像した画像を取得し、その画像と、例えばコンピュータ３００の記憶部３０３又は画像記録部３３０に予め設定又は保持された対象物ＯＢの形状設計データ（ＣＡＤモデルデータ）とを対比し、例えばいわゆるＣＡＤマッチングを行うことにより、対象物ＯＢの位置姿勢をより正確に把握することが可能となる。
　また、当該第５構成例は、２Ｄ用プロジェクタ１２０を除くセンサユニット２００の構成が第２構成例と同様であるので、第２構成例と同じく、３次元計測における計測精度を向上させることができる。また、この場合、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を、第１構成例（図１１（Ａ））におけるアクティブワンショット方式による計測精度よりも高めることができ、片方のカメラでアクティブワンショット方式による３次元計測を行う場合に有用である。さらに、センサユニット２００のフットプリントを比較的小さくすることができるので、３次元計測システムの設置面積を低減することができる。
　＜５．３．２＞
　図１２（Ｂ）は、センサユニット２００の第６構成例を模式的に示す斜視図である。当該第６構成例は、図１１（Ｃ）に示す第３構成例に、２Ｄ用プロジェクタ１２０が追設された配置を有している。また、当該第６構成例は、２Ｄ用プロジェクタ１２０の光軸Ｐ１２が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１、第１カメラ２１０の光軸Ｐ２１、及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ４上の位置に（すなわち全て同一平面Ｐ４上に）配置されるように、且つ、２Ｄ用プロジェクタ１２０が、３Ｄ用プロジェクタ１１０と第２カメラ２２０との間に配置されるように構成される。
　当該第６構成例では、第５構成例と同様に、２Ｄ用プロジェクタ１２０を例えば検査用途の一般照明として使用することができるので、対象物ＯＢが暗い周辺環境下にある場合においても、３次元形状の計測を好適に実施することができる。また、２Ｄ用プロジェクタ１２０から通常照明が投射された対象物ＯＢを撮像した画像を取得し、その画像と、例えばコンピュータ３００の記憶部３０３又は画像記録部３３０に予め設定又は保持された対象物ＯＢの形状設計データ（ＣＡＤモデルデータ）とを対比し、例えばいわゆるＣＡＤマッチングを行うことにより、対象物ＯＢの位置姿勢をより正確に把握することが可能となる。
　また、当該第６構成例は、第１カメラ２１０と第２カメラ２２０との基線長が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長、及び、３Ｄ用プロジェクタ１１０と第２カメラ２２０との基線長の何れよりも大きくなるので、３次元計測における計測精度を向上させることができる。また、この場合、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を、第３構成例（図１１（Ｃ））におけるアクティブワンショット方式による計測精度よりも高めることができ、片方のカメラでアクティブワンショット方式による３次元計測を行い、且つ、アクティブワンショット方式による計測精度を更に高めたい場合に有用である。さらに、第１カメラ２１０と第２カメラ２２０との基線長を、例えば第３構成例（図１１（Ｃ））に比して更に大きくすることが可能となるので、他の計測パラメータやアルゴリズムが同一の条件であれば、ステレオカメラ方式による計測精度を更に一層向上させることができ、センサユニット２００の設置面積を更に広くしてでもステレオカメラ方式による計測精度を更に高めたい場合に有用である。
　＜５．４＞
　なお、上記第１構成例乃至第６構成例におけるセンサユニット２００の配置は、ステレオカメラ方式とは異なる３次元計測方式として三角測距を基本原理とする計測方式によって得た計測情報に基づいて、ステレオカメラ方式によるステレオマッチングを実施する際に有用な構成として例示した。
　一方、他の３次元計測方式を用いた形態として、ステレオカメラ方式とは異なる３次元計測方式として同軸測距を基本原理とする計測方式（各種TOF測定方式等）によって得た計測情報に基づいて、ステレオカメラ方式によるステレオマッチングを実施する第７構成例が挙げられる。当該第７構成例の場合でも、図１１（Ａ）乃至（Ｄ）並びに図１２（Ａ）及び（Ｂ）に示すセンサユニット２００を用いることができ、これらのなかでは、３Ｄ用プロジェクタ１１０（時間計測用の照明光）と第１カメラ２１０との基線長が極力短く（距離が近づく）なり、且つ、第１カメラ２１０と第２カメラとの基線長が極力長く（距離が離れる）なる図１１（Ｃ）及び図１２（Ｂ）に示す配置のものが、計測精度をより高めることができ、殊に図１２（Ｂ）に示す配置が有用である。
　＜５．５＞
　また、上記実施形態においては、例えば、第１カメラ２１０及び第２カメラ２２０のうちの一方（片方）を用い、アクティブワンショット方式による計測で測距した後に、第１特徴点の視差を求める構成について説明した。一方、更に他の３次元計測方式を用いた形態として、対象物ＯＢにパターン光を投影した状態で第１カメラ２１０及び第２カメラ２２０の両方を用いて空間コードを特定することにより、第１特徴点の視差を求める第８構成例が挙げられる。当該第８構成例による計測は、具体的には、空間コード化パターン投影方式、及び／又は、時間コード化パターン投影方式によって実施することができる。
　＜５．６＞
　さらに、図１３（Ａ）乃至（Ｃ）を用いて、センサユニット２００における３Ｄ用プロジェクタ１１０から投射される３Ｄ用照明の投射エリアＳ１１０に係る構成例について説明する。
　＜５．６．１＞
　図１３（Ａ）は、センサユニット２００の第９構成例を模式的に示す平面図である。当該第９構成例は、３Ｄ用プロジェクタ１１０として、３Ｄ用照明の投射エリアＳ１１０が、第１カメラ２１０の視野角Ｓ２１０及び第２カメラ２２０の視野角Ｓ２２０の重複部分（共通視野）を覆うものを備える。当該第９構成例は、上述した実施形態における３次元計測システム１００において、１度の３Ｄ用照明の投射時に画像Ｉｍｇ１，Ｉｍｇ２を撮像し、それらの画像Ｉｍｇ１，Ｉｍｇ２を用いてハイブリッド３次元計測を行う場合に特に好適である。
　＜５．６．２＞
　図１３（Ｂ）は、センサユニット２００の第１０構成例を模式的に示す平面図である。当該第１０構成例は、３Ｄ用プロジェクタ１１０として、３Ｄ用照明の投射エリアＳ１１０が、第１カメラ２１０の視野角Ｓ２１０及び第２カメラ２２０の視野角Ｓ２２０の何れか一方（単一視野）の全体を覆うものを備える。当該第１０構成例は、上述した実施形態における３次元計測システム１００において、アクティブワンショット方式で用いる画像を撮像する際に有用であり、この場合、ステレオカメラ方式で用いる画像は、異なる投射エリアの別の照明（例えば２Ｄ用プロジェクタ）で撮像することができる。
　＜５．６．３＞
　図１３（Ｃ）は、センサユニット２００の第１１構成例を模式的に示す平面図である。当該第１１構成例は、３Ｄ用プロジェクタ１１０として、３Ｄ用照明の投射エリアＳ１１０が、第１カメラ２１０の視野角Ｓ２１０及び第２カメラ２２０の視野角Ｓ２２０の両方の全体部分（複数視野）を覆うものを備える。当該第１１構成例では、上述した実施形態における３次元計測システム１００において、１度の３Ｄ用照明の投射時に画像Ｉｍｇ１，Ｉｍｇ２を撮像し、それらの画像Ｉｍｇ１，Ｉｍｇ２を用いてハイブリッド３次元計測を行う場合、及び、アクティブワンショット方式で用いる画像とステレオカメラ方式で用いる画像を別々に撮像する場合の何れにも好適に対応することができる。
　＜５．７＞
　上記実施形態においては、ステップＳ３０において、画像Ｉｍｇ１，Ｉｍｇ２の少なくとも何れか一方を用いて、計測光（パターン光）に含まれるパターンに応じた複数の第１特徴点の３次元位置を示す３次元点群を復元したが、対象物ＯＢの形状や計測条件によっては、第１特徴点の一部について３次元点群を復元することができない場合も想定される。そこで、当該第１２構成例では、かかる場合に、例えば、３次元点群が復元された第１特徴点の領域に対応する第２特徴点については、ステレオマッチングにおける探索範囲を第１特徴点の視差に基づいて狭い範囲に設定する一方、３次元点群が復元されなかった第１特徴点の領域に対応する第２特徴点については、ステレオマッチングにおける探索範囲を予め定めた所定の範囲に設定するように構成する。なお、当該第１２構成例におけるハード構成は、他の実施形態及び他の構成例と同等のものとすることができる。
　当該第１２構成例によれば、対象物ＯＢのうちの一部について、ステレオカメラ方式による３次元計測に先立つ最初の３次元計測（ステレオカメラ方式とは異なる３次元計測方式による３次元計測；例えばアクティブワンショット方式）で３次元点群を復元できない場合であっても、画像Ｉｍｇ１，Ｉｍｇ２の全体に対して探索範囲を広げたステレオマッチングを行う必要がなく、処理の高速化が可能となる。
　§６　付記
　以上説明した実施形態は、本開示の理解を容易にするためのものであり、本開示を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
（付記１）
　互いに離間配置された第１撮像部（２１０）及び第２撮像部（２２０）を有しており、且つ、前記対象物（ＯＢ）における互いに異なる画像（Ｉｍｇ１，Ｉｍｇ２）を撮像する撮像部（２００）と、
　前記第１撮像部（２１０）及び前記第２撮像部（２２０）の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差（ｄ０～ｄ３）を算出する第１算出部（３５０）と、
　前記第１撮像部（２１０）及び前記第２撮像部（２２０）を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差（ｄ０～ｄ３）と前記第２特徴点の視差から前記対象物（ＯＢ）の３次元形状を特定する第２算出部（３５０）と、
を備え、
　前記第２算出部（３５０）は、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差（ｄ０～ｄ３）に基づいて設定する、
３次元計測システム（１００）。
（付記２）
　３次元形状を特定するために前記対象物（ＯＢ）に計測光を投射する投射部（２００，１１０）を備える、
付記１記載の３次元計測システム（１００）。
（付記３）
　前記第１特徴点及び前記第２特徴点は、同一点であるか、又は、互いの近傍位置に存在する、
付記１又は２記載の３次元計測システム（１００）。
（付記４）
　前記ステレオカメラ方式とは異なる３次元計測方式は、前記撮像部（２００）による１度の撮像により前記対象物（ＯＢ）の３次元情報を得るものである、
付記１乃至３の何れか記載の３次元計測システム（１００）。
（付記５）
　前記第２算出部（３５０）は、前記探索範囲を前記第１特徴点の視差（ｄ０～ｄ３）に基づいて設定しない場合に比して、前記ステレオカメラ方式におけるマッチング度合いの指標の閾値を下げる、
付記１乃至４の何れか記載の３次元計測システム（１００）。
（付記６）
　前記第１算出部（３５０）は、前記第１特徴点の３次元位置を示す３次元点群を復元するものであり、
　前記第２算出部（３５０）は、前記第１特徴点の一部について前記３次元点群が復元されなかった場合に、前記３次元点群が復元された前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を前記第１特徴点の視差（ｄ０～ｄ３）に基づいて設定し、前記３次元点群が復元されなかった前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を予め定めた所定の範囲に設定する、
付記１乃至５の何れか記載の３次元計測システム。
（付記７）
　前記第１算出部（３５０）が、前記第１特徴点の３次元位置を示す３次元点群を復元する第１画像処理部（３５１）と、復元された前記３次元点群における各第１特徴点の３次元座標を前記画像に２次元投影して前記各第１特徴点の２次元座標を求め、該２次元座標から前記各第１特徴点の視差（ｄ０～ｄ３）を算出する第２画像処理部（３５２）とを有し、
　前記第２算出部（３５０）が、前記第２特徴点の視差の推定値を、前記第１特徴点の視差（ｄ０～ｄ３）から求め、前記第２特徴点の視差の推定値に基づいて前記対応点の探索領域を設定し、該探索領域において前記第２特徴点と前記対応点とのステレオマッチングを行うことにより、前記第２特徴点の視差を算出する第３画像処理部（３５３）と、前記第１特徴点の視差（ｄ０～ｄ３）及び前記第２特徴点の視差に基づいて前記対象物（ＯＢ）の３次元形状を特定する第４画像処理部（３５４）とを有する、
付記１乃至６の何れか記載の３次元計測システム（１００）。
（付記８）
　前記第１撮像部（２１０）の光軸（Ｐ２１）と前記第２撮像部（２２０）の光軸（Ｐ２２）との距離が、前記投射部（１１０）の光軸（Ｐ１１）と前記第１撮像部（２１０）の光軸（Ｐ２１）又は前記第２撮像部（２２０）の光軸（Ｐ２２）との距離と同等である、
付記２乃至７の何れか記載の３次元計測システム（１００）。
（付記９）
　前記第１撮像部（２１０）の光軸（Ｐ２１）と前記第２撮像部（２２０）の光軸（Ｐ２２）との距離が、前記投射部（１１０）の光軸（Ｐ１１）と前記第１撮像部（２１０）の光軸（Ｐ２１）又は前記第２撮像部（２２０）の光軸（Ｐ２２）との距離よりも長い、
付記２乃至７の何れか記載の３次元計測システム（１００）。
（付記１０）
　前記投射部（１１０）の光軸（Ｐ１１）と前記第１撮像部（２１０）の光軸（Ｐ２１）と前記第２撮像部（２２０）の光軸（Ｐ２２）が同一平面（Ｐ２）上に配置される、
付記２乃至９の何れか記載の３次元計測システム（１００）。
（付記１１）
　前記第１撮像部（２１０）の光軸（Ｐ２１）と前記第２撮像部（２２０）の光軸（Ｐ２２）が同一平面（Ｐ１）上に配置され、前記投射部（１１０）の光軸（Ｐ１１）が該平面（Ｐ１）上に配置されない、
付記２乃至９の何れか記載の３次元計測システム（１００）。
（付記１２）
　前記投射部（２００，１２０）は、前記計測光とは異なる通常照明光を前記対象物（ＯＢ）に投射する、
付記２乃至１１の何れか記載の３次元計測システム（１００）。
（付記１３）
　互いに離間配置された第１撮像部（２１０）及び第２撮像部（２２０）を有する撮像部（２００）と、第１算出部（３５０）と、第２算出部（３５０）とを備える３次元計測システム（１００）を用い、
　前記撮像部（２００）が、前記対象物（ＯＢ）における互いに異なる画像（Ｉｍｇ１，Ｉｍｇ２）を撮像するステップと、
　前記第１算出部（３５０）が、前記第１撮像部（２１０）及び前記第２撮像部（２２０）の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差（ｄ０～ｄ３）を算出するステップと、
　前記第２算出部（３５０）が、前記第１撮像部（２１０）及び前記第２撮像部（２２０）を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差（ｄ０～ｄ３）及び前記第２特徴点の視差から前記対象物（ＯＢ）の３次元形状を特定するステップと、
を含み、
　前記対象物（ＯＢ）の３次元形状を特定するステップにおいては、前記第２算出部（３５０）が、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差（ｄ０～ｄ３）に基づいて設定する、
３次元計測方法。
　１００…３次元計測システム、１１０…３Ｄ用プロジェクタ、１１１…レーザ光源、１１２…パターンマスク、１１３…レンズ、１２０…２Ｄ用プロジェクタ、２００…センサユニット、２１０…第１カメラ、２２０…第２カメラ、３００…コンピュータ、３０１…制御演算部、３０２…通信Ｉ／Ｆ部、３０３…記憶部、３０４…入力部、３０５…出力部、３０６…バスライン、３１０…制御部、３２０…画像取得部、３３０…画像記録部、３４０…画像出力部、３５０…画像処理部、３５１…第１画像処理部、３５２…第２画像処理部、３５３…第３画像処理部、３５４…第４画像処理部、ＯＢ…対象物、ｄ０～ｄ３…第１特徴点の視差、ｄＧＡ…画素（第２特徴点）の視差（の推定値）、Ｇ１０～Ｇ１３…第１特徴点である画素、Ｇ２０～Ｇ２３…第１特徴点である画素、ＧＡ…画素（第２特徴点）、Ｉｍｇ１，Ｉｍｇ２…画像、Ｉｍｇ１’，Ｉｍｇ２’…平行化画像、Ｉｍｇ１０，２０…２次元投影した画像、Ｉｍｇ３Ｄ１，Ｉｍｇ３ＤＭ…３次元点群画像、ＩｍｇＭ…画像（統合視差マップ）、Ｐ１，Ｐ２，Ｐ３，Ｐ４…仮想的な平面、Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２…光軸、Ｓ１０～Ｓ６０…ステップ、Ｓ１１０…投射エリア、Ｓ２１０，Ｓ２２０…視野角、ｔ１～ｔ８…時刻。

Claims (13)

  1. 　互いに離間配置された第１撮像部及び第２撮像部を有しており、且つ、前記対象物における互いに異なる画像を撮像する撮像部と、
    　前記第１撮像部及び前記第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差を算出する第１算出部と、
    　前記第１撮像部及び前記第２撮像部を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差及び前記第２特徴点の視差から前記対象物の３次元形状を特定する第２算出部と、
    を備え、
    　前記第２算出部は、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差に基づいて設定する、
    ３次元計測システム。
  2. 　３次元形状を特定するために前記対象物に計測光を投射する投射部を備える、
    請求項１記載の３次元計測システム。
  3. 　前記第１特徴点及び前記第２特徴点は、同一点であるか、又は、互いの近傍位置に存在する、
    請求項１又は２記載の３次元計測システム。
  4. 　前記ステレオカメラ方式とは異なる３次元計測方式は、前記撮像部による１度の撮像により前記対象物の３次元情報を得るものである、
    請求項１乃至３の何れか１項記載の３次元計測システム。
  5. 　前記第２算出部は、前記探索範囲を前記第１特徴点の視差に基づいて設定しない場合に比して、前記ステレオカメラ方式におけるマッチング度合いの指標の閾値を下げる、
    請求項１乃至４の何れか１項記載の３次元計測システム。
  6. 　前記第１算出部は、前記第１特徴点の３次元位置を示す３次元点群を復元するものであり、
    　前記第２算出部は、前記第１特徴点の一部について前記３次元点群が復元されなかった場合に、前記３次元点群が復元された前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を前記第１特徴点の視差に基づいて設定し、前記３次元点群が復元されなかった前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を予め定めた所定の範囲に設定する、
    請求項１乃至５の何れか１項記載の３次元計測システム。
  7. 　前記第１算出部が、前記第１特徴点の３次元位置を示す３次元点群を復元する第１画像処理部と、復元された前記３次元点群における各第１特徴点の３次元座標を前記画像に２次元投影して前記各第１特徴点の２次元座標を求め、該２次元座標から前記各第１特徴点の視差を算出する第２画像処理部とを有し、
    　前記第２算出部が、前記第２特徴点の視差の推定値を、前記第１特徴点の視差から求め、前記第２特徴点の視差の推定値に基づいて前記対応点の探索領域を設定し、該探索領域において前記第２特徴点と前記対応点とのステレオマッチングを行うことにより、前記第２特徴点の視差を算出する第３画像処理部と、前記第１特徴点の視差及び前記第２特徴点の視差に基づいて前記対象物の３次元形状を特定する第４画像処理部とを有する、
    請求項１乃至６の何れか１項記載の３次元計測システム。
  8. 　前記第１撮像部の光軸と前記第２撮像部の光軸との距離が、前記投射部の光軸と前記第１撮像部の光軸又は前記第２撮像部の光軸との距離と同等である、
    請求項２乃至７の何れか１項記載の３次元計測システム。
  9. 　前記第１撮像部の光軸と前記第２撮像部の光軸との距離が、前記投射部の光軸と前記第１撮像部の光軸又は前記第２撮像部の光軸との距離よりも長い、
    請求項２乃至７の何れか１項記載の３次元計測システム。
  10. 　前記投射部の光軸と前記第１撮像部の光軸と前記第２撮像部の光軸が同一平面上に配置される、
    請求項２乃至９の何れか１項記載の３次元計測システム。
  11. 　前記第１撮像部の光軸と前記第２撮像部の光軸が同一平面上に配置され、前記投射部の光軸が該平面上に配置されない、
    請求項２乃至９の何れか１項記載の３次元計測システム。
  12. 　前記投射部は、前記計測光とは異なる通常照明光を前記対象物に投射する、
    請求項２乃至１１の何れか１項記載の３次元計測システム。
  13. 　互いに離間配置された第１撮像部及び第２撮像部を有する撮像部と、第１算出部と、第２算出部とを備える３次元計測システムを用い、
    　前記撮像部が、前記対象物における互いに異なる画像を撮像するステップと、
    　前記第１算出部が、前記第１撮像部及び前記第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差を算出するステップと、
    　前記第２算出部が、前記第１撮像部及び前記第２撮像部を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差及び前記第２特徴点の視差から前記対象物の３次元形状を特定するステップと、
    を含み、
    　前記対象物の３次元形状を特定するステップにおいては、前記第２算出部が、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差に基づいて設定する、
    ３次元計測方法。
PCT/JP2019/005332 2018-02-14 2019-02-14 ３次元計測システム及び３次元計測方法 WO2019160032A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/963,248 US11302022B2 (en) 2018-02-14 2019-02-14 Three-dimensional measurement system and three-dimensional measurement method
EP19753905.9A EP3754295B1 (en) 2018-02-14 2019-02-14 Three-dimensional measuring system and three-dimensional measuring method
CN201980007572.3A CN111566437B (zh) 2018-02-14 2019-02-14 三维测量系统以及三维测量方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-023744 2018-02-14
JP2018023744A JP7253323B2 (ja) 2018-02-14 2018-02-14 ３次元計測システム及び３次元計測方法

Publications (1)

Publication Number Publication Date
WO2019160032A1 true WO2019160032A1 (ja) 2019-08-22

Family

ID=67619431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/005332 WO2019160032A1 (ja) 2018-02-14 2019-02-14 ３次元計測システム及び３次元計測方法

Country Status (5)

Country Link
US (1) US11302022B2 (ja)
EP (1) EP3754295B1 (ja)
JP (2) JP7253323B2 (ja)
CN (1) CN111566437B (ja)
WO (1) WO2019160032A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021193672A1 (ja) * 2020-03-27 2021-09-30 パナソニックＩｐマネジメント株式会社 三次元モデル生成方法及び三次元モデル生成装置
TWI748696B (zh) * 2019-11-18 2021-12-01 德商博斯特比勒費爾德有限公司 用於決定印刷機之印刷參數的方法及測試平台
US11252386B1 (en) * 2020-10-23 2022-02-15 Himax Technologies Limited Structured-light scanning system and method
TWI762182B (zh) * 2021-02-05 2022-04-21 德制國際有限公司 自動加工方法及自動加工系統
EP4156681A4 (en) * 2020-06-30 2023-11-01 ZTE Corporation CAMERA SYSTEM, MOBILE TERMINAL AND THREE-DIMENSIONAL IMAGE ACQUISITION METHOD

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111829456A (zh) 2019-04-19 2020-10-27 株式会社三丰 三维形状测定装置以及三维形状测定方法
CN114341940A (zh) * 2019-09-10 2022-04-12 欧姆龙株式会社 图像处理装置、三维测量系统、图像处理方法
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
WO2021202526A1 (en) * 2020-03-30 2021-10-07 Sg Gaming, Inc. Gaming state object tracking
JP7415028B2 (ja) 2020-09-28 2024-01-16 ファナック株式会社 撮像条件調整装置、及び撮像条件調整方法
US11677921B2 (en) * 2021-01-02 2023-06-13 Dreamvu Inc. System and method for generating dewarped image using projection patterns captured from omni-directional stereo cameras
CN113763545A (zh) * 2021-09-22 2021-12-07 拉扎斯网络科技（上海）有限公司 图像确定方法、装置、电子设备和计算机可读存储介质
WO2023139254A1 (en) * 2022-01-24 2023-07-27 Trinamix Gmbh Enhanced material detection by stereo beam profile analysis
CN116481456B (zh) * 2023-06-25 2023-09-08 湖南大学 基于光度立体视觉的单相机三维形貌与变形测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0942940A (ja) * 1995-08-03 1997-02-14 Canon Inc ３次元物体の形状計測方法及び装置
JP2009053059A (ja) * 2007-08-27 2009-03-12 Mitsubishi Electric Corp 対象特定装置、対象特定方法および対象特定プログラム
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
JP2018023744A (ja) 2016-06-30 2018-02-15 株式会社サンセイアールアンドディ 遊技機

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028672A (en) * 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
JP4752918B2 (ja) * 2009-01-16 2011-08-17 カシオ計算機株式会社 画像処理装置、画像照合方法、および、プログラム
WO2012111404A1 (ja) * 2011-02-17 2012-08-23 コニカミノルタホールディングス株式会社 画像処理装置、そのプログラム、および画像処理方法
JP2012247364A (ja) * 2011-05-30 2012-12-13 Panasonic Corp ステレオカメラ装置、ステレオカメラシステム、プログラム
EP2711891B1 (en) * 2011-06-17 2016-03-23 Panasonic Intellectual Property Management Co., Ltd. Stereo image processing device and stereo image processing method
JP5769248B2 (ja) * 2011-09-20 2015-08-26 Ｎｅｃソリューションイノベータ株式会社 ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム
JP2013156109A (ja) * 2012-01-30 2013-08-15 Hitachi Ltd 距離計測装置
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
JP5773944B2 (ja) * 2012-05-22 2015-09-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
CN103900494B (zh) * 2014-03-31 2016-06-08 中国科学院上海光学精密机械研究所 用于双目视觉三维测量的同源点快速匹配方法
EP2955544B1 (en) 2014-06-11 2020-06-17 Sony Depthsensing Solutions N.V. A TOF camera system and a method for measuring a distance with the system
CN104268880A (zh) * 2014-09-29 2015-01-07 沈阳工业大学 基于特征和区域匹配相结合的深度信息获取方法
US9794543B2 (en) * 2015-03-02 2017-10-17 Ricoh Company, Ltd. Information processing apparatus, image capturing apparatus, control system applicable to moveable apparatus, information processing method, and storage medium of program of method
US10853625B2 (en) * 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
JP6397801B2 (ja) * 2015-06-30 2018-09-26 日立オートモティブシステムズ株式会社 物体検知装置
US10455216B2 (en) * 2015-08-19 2019-10-22 Faro Technologies, Inc. Three-dimensional imager
US9858672B2 (en) 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
CN106355570B (zh) 2016-10-21 2019-03-19 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0942940A (ja) * 1995-08-03 1997-02-14 Canon Inc ３次元物体の形状計測方法及び装置
JP2009053059A (ja) * 2007-08-27 2009-03-12 Mitsubishi Electric Corp 対象特定装置、対象特定方法および対象特定プログラム
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
JP2018023744A (ja) 2016-06-30 2018-02-15 株式会社サンセイアールアンドディ 遊技機

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
P. VUYLSTEKEA. OOSTERLINCK: "Range Image Acquisition with a Single Binary-Encoded Light Pattern", IEEE PAMI, vol. 12, no. 2, 1990, pages 148 - 164
See also references of EP3754295A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748696B (zh) * 2019-11-18 2021-12-01 德商博斯特比勒費爾德有限公司 用於決定印刷機之印刷參數的方法及測試平台
US11247450B2 (en) 2019-11-18 2022-02-15 Bobst Bielefeld Gmbh Method for determining print parameters of a printing machine and test stand
WO2021193672A1 (ja) * 2020-03-27 2021-09-30 パナソニックＩｐマネジメント株式会社 三次元モデル生成方法及び三次元モデル生成装置
EP4156681A4 (en) * 2020-06-30 2023-11-01 ZTE Corporation CAMERA SYSTEM, MOBILE TERMINAL AND THREE-DIMENSIONAL IMAGE ACQUISITION METHOD
US11252386B1 (en) * 2020-10-23 2022-02-15 Himax Technologies Limited Structured-light scanning system and method
TWI762182B (zh) * 2021-02-05 2022-04-21 德制國際有限公司 自動加工方法及自動加工系統

Also Published As

Publication number Publication date
US20210358157A1 (en) 2021-11-18
CN111566437A (zh) 2020-08-21
US11302022B2 (en) 2022-04-12
EP3754295B1 (en) 2023-07-19
JP7282317B2 (ja) 2023-05-29
EP3754295A1 (en) 2020-12-23
JP2019138822A (ja) 2019-08-22
CN111566437B (zh) 2021-10-29
JP2021192064A (ja) 2021-12-16
JP7253323B2 (ja) 2023-04-06
EP3754295A4 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
WO2019160032A1 (ja) ３次元計測システム及び３次元計測方法
JP6426968B2 (ja) 情報処理装置およびその方法
JP6236118B2 (ja) 三次元データ処理装置、三次元データ処理システム、三次元データ処理方法およびプログラム
JP5870273B2 (ja) 物体検出装置、物体検出方法及びプログラム
WO2018049998A1 (zh) 交通标志牌信息获取方法及装置
US8447099B2 (en) Forming 3D models using two images
US8452081B2 (en) Forming 3D models using multiple images
US9275431B2 (en) Method and system for calibrating laser measuring apparatus
US20120176478A1 (en) Forming range maps using periodic illumination patterns
JP2019120591A (ja) 視差値算出装置、視差値算出方法及びプログラム
JP6091658B2 (ja) 情報処理装置及び情報処理方法及びプログラム
JP4701848B2 (ja) 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
JP2015206768A (ja) 前景領域抽出装置、前景領域抽出方法及びプログラム
US11348271B2 (en) Image processing device and three-dimensional measuring system
JP6285686B2 (ja) 視差画像生成装置
JP2009186287A (ja) 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
JP2019120590A (ja) 視差値算出装置、視差値算出方法及びプログラム
JP7298687B2 (ja) 物体認識装置及び物体認識方法
JP6388806B2 (ja) 射影画像生成装置と射影画像生成プログラムと射影画像生成方法
JP6867766B2 (ja) 情報処理装置およびその制御方法、プログラム
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법
JP2023525534A (ja) ３次元画像から外形を抽出する方法及び装置
JP2005091115A (ja) 奥行計測装置
CN117115242B (zh) 标志点的识别方法、计算机存储介质和终端设备
CN117635675A (zh) 多目相机的同名点配对方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19753905

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019753905

Country of ref document: EP

Effective date: 20200914